• フリーランス案件一覧

Pysparkの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数：13件

Pysparkの案件を探す

募集終了
【AWS】IoTデータ分析基盤（レイクハウス）の設計・構築・テストの求人・案件

リモート
案件内容

AWS上にIoTデータを集積したレイクハウスを設計・構築いたします。
設計・構築の依頼はAWS Glue、StepFunctionsによる設計・構築、テストが依頼範囲となります。
データ規模が大きいシステムのため、AWS Glue、Sparkの技術に明るく性能面、コスト面から最適化のアプローチができる方を希望します。
必須スキル
・AWS上でのデータ分析基盤を構築した経験
・AWS Glueを前提としたPython（PySpark）によるETL開発経験
・Gitを前提とした開発フローの経験

募集終了
【Scala/Java/Pythonなど】大手広告代理店におけるデータ基盤の開発、運用、保守の求人・案件

リモート
案件内容

【業務内容】
大手広告代理店が展開しているインターネット広告代理店業における、膨大な広告データを収集・蓄積したデータレイクからデータを展開するためのデータ基盤（ETL処理、DWH、DM）の開発、運用、保守をお願いします。

【ポイント】

  • データレイクが取り扱うデータ量は数十TB/月を誇り、毎日数10億単位のレコードを蓄積しているため、そんな大規模データと向き合った開発にチャレンジすることができます。
  • 複数のプロダクトを管理しているチームのため、様々な技術を習得することができます。

【開発チームと配属先について】
当事業部には現状で約60名のエンジニアが在籍しており、複数のチームに分かれて開発を進めています。
今回お願いしたいポジションはサーバサイドエンジニアです。

チームには現在18名のエンジニアが在籍しています。
また、複数のプロダクトを管理しているチームのため、担当領域ごとにグループ分けをしています。

  • Infeed領域の広告運用のためのプロダクトを開発するグループ
  • インターネット広告関連データをデータレイクに蓄積するシステムを開発するグループ
  • インターネット広告関連データが蓄積されたデータレイクを用いたデータ基盤を開発するグループ
  • 機械学習を用いたプロダクトを開発するグループ
  • 掲載情報や実績情報を出力・レポーティングするための分析用プロダクトを開発するグループ

【技術キーワード】

  • ApacheSpark
  • AWS Glue
  • Snowflake
  • データレイク/データウェアハウス/データマート
必須スキル
– Scala,Java,Pythonなどを用いた開発経験 3年以上
– ApacheSpark,PySparkなどを用いたETL処理の開発・保守経験 1年以上
– SQLを用いた開発経験 3年以上
– AWSを利用した開発経験
– Dockerなど、コンテナ技術を利用した開発経験
– GitHubでのPRを利用した開発経験

募集終了
【Python/SQL】分析用マート作成業務支援の求人・案件

リモート
案件内容

特典型サービスの改善に向けたデータ分析、データマート開発/改修、データ調査、加工、集計業務
必須スキル
・Pythonを扱えるスキル
・SQLを問題無く扱えるスキル
・AWS上での業務経験

検索結果13件中11-13件