• フリーランス案件一覧

Pysparkの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数：11件

Pysparkの案件を探す

募集終了
【Azure】小中学生向け学習支援サービスにおけるデータ分析基盤の保守開発の求人・案件

リモート
案件内容

・既存システムのキャッチアップ
・データ分析基盤の保守開発
必須スキル
・データ分析基盤の構築経験が豊富
・既存システムの仕様把握・キャッチアップ能力が高い方
・以下の技術を利用したシステム構築および開発経験
Azure関連：Azure Data Factory, Azure Data Lake Storage, Azure Databricks
ツール,言語関連：SQL, Python（特にPySpark）, Apache Spark

【Python/SQL】某製造業向けdatabricks基盤エンジニアの求人・案件

リモート・常駐 併用
案件内容

FY24にデータ基盤検証環境として Azure databricksを導入済み。
FY25もデータ連携機能、メタデータ・カタログなどの検証・構築を支援予定

役割：databricks 要件定義・設計・構築・テスト、利活用QA対応
必須スキル
①ビジネス面
・顧客報告資料作成(pptx/xlsx/word)
・プロジェクト推進に向けたチャットツール等での顧客とのやり取り
②業務経験面
（開発サイクル）
・要件定義、要件定義書作成
・基本/詳細設計、各種設計書作成
・テスト計画、テスト仕様書作成
（製品・サービス）
・Databricks
・AzureのRDBサービス
（言語）
・Python
・SQL

募集終了
【データ集計・分析補佐】メガバンク向けETL開発の求人・案件

リモート・常駐 併用
案件内容

作業概要　：2~3名チームのリーダー業務
想定作業　：
・メンバーのサポート（技術面／進め方など）
・Alteryxを利用した開発作業
・課題発生時の対応方法検討および顧客報告
・打合せで発生した顧客からの問合せ対応
必須スキル
・ETL開発経験（5年以上）
・リーダー経験

募集終了
【Python/SQL】大手通信会社　効果検証 分析業務支援の求人・案件

リモート・常駐 併用
案件内容

【概要】
・通信会社とコンサルティング会社の合弁会社がクライアントで、その中で通信会社のマーケティング支援を行っている部署のプロジェクト
・毎月行っている施策効果検証で利用しているスクリプトの高度化を行っていくことが主目的

【業務内容】
・スクリプトの効率化、パラメータを変更したときのシミュレーション、自動化、マートの整理
・効果検証の運用自体は継続して行うが、運用チームとは別で動くイメージ
※運用チーム：5名
　高度化について運用チームと別で枠が発足したことにより本枠の募集が開始している
必須スキル
・定常的に運用するデータマートの開発・改修経験
・定常的に運用する集計プログラムの設計経験
・PythonもしくはSQLを用いたデータ分析、データ集計経験（3年以上目安）
・他者のコードのレビュー経験

募集終了
【Python/SQL】ビッグデータ利活用のため加工修正業務の求人・案件

リモート
案件内容

クライアントが保有するビッグデータの利活用を進めていくにあたりAWSでのデータの加工、修正をお願いいたします。
必須スキル
・ AWSの基礎的な知識/構築経験(AWS SAA相当の知識)
・以下のプログラミング経験
– AWSと連携する機能を設計・実装・テストした経験
– Python, SQL、シェルスクリプトをメインで使用。別言語の経験でも可
・ コミュニケーションスキル
・ Linuxの基本的なコマンド操作

募集終了
【pandas】データ(分析)エンジニアの求人・案件

リモート・常駐 併用
案件内容

pandas ライブラリを利用した ETL 処理
をしていただきます。

担当フェイズ
設計～開発～テスト
必須スキル
pandas ライブラリを利用した ETL 処理に慣れている方
— データソース：csv, parquet, Redshift/RDS table, boto3 API
— 加工処理：カラムの追加・削除、行列抽出、値の置換、四則演算、日付演算等
— アウトプットの書き込み：S3(csv, parquet, json), Redshift, RDS
静的解析ツールのチェック結果に基づいてコードの修正が可能な方（flake8, mypy）
ユニットテストを実装できる方（pytest）

募集終了
【Python】②分析用マート作成業務支援の求人・案件

常駐
案件内容

【概要】
通信会社サービスのデータ分析データマート開発・改修業務。
・BtoBのデータトリブンを進めていくためにDWHにデータを集める作業
・通信会社独自ツールよりデータを加工し、移行
・テーブル内データの整備がメイン。
必須スキル
・Python分析経験（pandas）
・データ加工、抽出経験
・DWH構築経験
・基盤構築経験

募集終了
【Python/SQL】分析用マート作成業務支援の求人・案件

リモート・常駐 併用
案件内容

特典型サービスの改善に向けたデータ分析データマート開発・改修業務。
データ調査、加工、集計　等
必須スキル
・Python分析経験2~3年以上
・SQLを問題無く扱えるスキル
・AWS上での業務経験
・ビッグデータ分析に携わった経験

募集終了
【AWS】IoTデータ分析基盤（レイクハウス）の設計・構築・テストの求人・案件

リモート
案件内容

AWS上にIoTデータを集積したレイクハウスを設計・構築いたします。
設計・構築の依頼はAWS Glue、StepFunctionsによる設計・構築、テストが依頼範囲となります。
データ規模が大きいシステムのため、AWS Glue、Sparkの技術に明るく性能面、コスト面から最適化のアプローチができる方を希望します。
必須スキル
・AWS上でのデータ分析基盤を構築した経験
・AWS Glueを前提としたPython（PySpark）によるETL開発経験
・Gitを前提とした開発フローの経験

募集終了
【Scala/Java/Pythonなど】大手広告代理店におけるデータ基盤の開発、運用、保守の求人・案件

リモート
案件内容

【業務内容】
大手広告代理店が展開しているインターネット広告代理店業における、膨大な広告データを収集・蓄積したデータレイクからデータを展開するためのデータ基盤（ETL処理、DWH、DM）の開発、運用、保守をお願いします。

【ポイント】

  • データレイクが取り扱うデータ量は数十TB/月を誇り、毎日数10億単位のレコードを蓄積しているため、そんな大規模データと向き合った開発にチャレンジすることができます。
  • 複数のプロダクトを管理しているチームのため、様々な技術を習得することができます。

【開発チームと配属先について】
当事業部には現状で約60名のエンジニアが在籍しており、複数のチームに分かれて開発を進めています。
今回お願いしたいポジションはサーバサイドエンジニアです。

チームには現在18名のエンジニアが在籍しています。
また、複数のプロダクトを管理しているチームのため、担当領域ごとにグループ分けをしています。

  • Infeed領域の広告運用のためのプロダクトを開発するグループ
  • インターネット広告関連データをデータレイクに蓄積するシステムを開発するグループ
  • インターネット広告関連データが蓄積されたデータレイクを用いたデータ基盤を開発するグループ
  • 機械学習を用いたプロダクトを開発するグループ
  • 掲載情報や実績情報を出力・レポーティングするための分析用プロダクトを開発するグループ

【技術キーワード】

  • ApacheSpark
  • AWS Glue
  • Snowflake
  • データレイク/データウェアハウス/データマート
必須スキル
– Scala,Java,Pythonなどを用いた開発経験 3年以上
– ApacheSpark,PySparkなどを用いたETL処理の開発・保守経験 1年以上
– SQLを用いた開発経験 3年以上
– AWSを利用した開発経験
– Dockerなど、コンテナ技術を利用した開発経験
– GitHubでのPRを利用した開発経験

検索結果11件中1-10件