• フリーランス案件一覧

Pysparkの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数：2件

Pysparkの案件を探す

【Scala/Java/Pythonなど】大手広告代理店におけるデータ基盤の開発、運用、保守の求人・案件

リモート/在宅
案件内容

【業務内容】
大手広告代理店が展開しているインターネット広告代理店業における、膨大な広告データを収集・蓄積したデータレイクからデータを展開するためのデータ基盤（ETL処理、DWH、DM）の開発、運用、保守をお願いします。

【ポイント】

  • データレイクが取り扱うデータ量は数十TB/月を誇り、毎日数10億単位のレコードを蓄積しているため、そんな大規模データと向き合った開発にチャレンジすることができます。
  • 複数のプロダクトを管理しているチームのため、様々な技術を習得することができます。

【開発チームと配属先について】
当事業部には現状で約60名のエンジニアが在籍しており、複数のチームに分かれて開発を進めています。
今回お願いしたいポジションはサーバサイドエンジニアです。

チームには現在18名のエンジニアが在籍しています。
また、複数のプロダクトを管理しているチームのため、担当領域ごとにグループ分けをしています。

  • Infeed領域の広告運用のためのプロダクトを開発するグループ
  • インターネット広告関連データをデータレイクに蓄積するシステムを開発するグループ
  • インターネット広告関連データが蓄積されたデータレイクを用いたデータ基盤を開発するグループ
  • 機械学習を用いたプロダクトを開発するグループ
  • 掲載情報や実績情報を出力・レポーティングするための分析用プロダクトを開発するグループ

【技術キーワード】

  • ApacheSpark
  • AWS Glue
  • Snowflake
  • データレイク/データウェアハウス/データマート
必須スキル
– Scala,Java,Pythonなどを用いた開発経験 3年以上
– ApacheSpark,PySparkなどを用いたETL処理の開発・保守経験 1年以上
– SQLを用いた開発経験 3年以上
– AWSを利用した開発経験
– Dockerなど、コンテナ技術を利用した開発経験
– GitHubでのPRを利用した開発経験

検索結果2件中1-2件