分析基盤エンジニアの案件一覧

FY2023末に現行DWH移管、共通IT基盤への切替を計画している。
お客様の各部門でBIツール（Tableau）導入が進んでおり、共通IT基盤等のデータを活用した全社データ活用基盤を構築することを目標としている。
現在、フェーズ1(案件目的整理、ロードマップ策定、グランドデザイン策定)をやっており、8月からのフェーズ2(全社将来像整理、データ活用基盤PoC検討/要件定義、データ分析基盤検討/要件定義)から参画の要員を募集している。※PJチームが増え規模が大きくなるためフェーズ2は8月〜10月でスケジュールをひいているが、後続フェーズも控えているため契約更新想定。

デジタルマーケティングツールやデータ分析ツールへのデータ投入のための ETL 準備、実装を行います。

作業内容：
・某社向けデータ分析のためのデータ処理基盤の開発・保守・運用・機能追加

土地・建物に関する情報の収集・クレンジングを行うデータ連携基盤(データレイク/DWH)の構築

【業務内容】
大手広告代理店が展開しているインターネット広告代理店業における、膨大な広告データを収集・蓄積したデータレイクからデータを展開するためのデータ基盤（ETL処理、DWH、DM）の開発、運用、保守をお願いします。

【ポイント】

• データレイクが取り扱うデータ量は数十TB/月を誇り、毎日数10億単位のレコードを蓄積しているため、そんな大規模データと向き合った開発にチャレンジすることができます。
• 複数のプロダクトを管理しているチームのため、様々な技術を習得することができます。

【開発チームと配属先について】
当事業部には現状で約60名のエンジニアが在籍しており、複数のチームに分かれて開発を進めています。
今回お願いしたいポジションはサーバサイドエンジニアです。

チームには現在18名のエンジニアが在籍しています。
また、複数のプロダクトを管理しているチームのため、担当領域ごとにグループ分けをしています。

• Infeed領域の広告運用のためのプロダクトを開発するグループ
• インターネット広告関連データをデータレイクに蓄積するシステムを開発するグループ
• インターネット広告関連データが蓄積されたデータレイクを用いたデータ基盤を開発するグループ
• 機械学習を用いたプロダクトを開発するグループ
• 掲載情報や実績情報を出力・レポーティングするための分析用プロダクトを開発するグループ

【技術キーワード】

• ApacheSpark
• AWS Glue
• Snowflake
• データレイク/データウェアハウス/データマート

データ分析基盤の開発・構築を行なっていただきます。

データパイプラインの構築エンジニア
主業務：要件に合わせルールに則ったデータモデリングを行い、各基盤のツール群を使ってデータ加工するパイプラインバッチの構築を担当いただきます。

技術要素(★が特に重要)
GoogleCloud
★Cloud Composer2（及びAirflow2）
★Cloud Dataproc（Apache Spark(scala)）
Cloud Build
Cloud Storage
BigQuery
Cloud Monitoring / Cloud Logging
AWS
★Kinesis firehose
★SQS / SNS
★ECS
★Lambda
ECR
S3
Cloud Watch
その他
GithubActions
Terraform

旧環境システムにおけるETL処理の作成、バッチ、ストアド対応
●工程：改修～テスト

●案件：管理システム追加開発
●内容：
・管理システムのクラウド化に伴いオンプレ環境からクラウド環境にシフトします。
管理パッケージはOracle EMP Cloudです。
●工程：基本設計～総合テスト
●場所：フルリモート ※打合せで目黒駅にご出社頂く場合がございます。

データを用いた意思決定や課題解決に活用するため、各事業・プロダクト・サービスの全てのデータを一元的に収集・保存・管理するデータ基盤の構築を担うポジションです。

データ基盤の開発・改修・保守運用
・データ基盤の物理・論理データモデル設計・開発・保守運用
・データ基盤のシステムアーキテクチャの設計
・データパイプライン (ETL) の設計・開発・保守運用

[開発環境]
インフラ：GCP (データ基盤) / AWS (関連システム)
データパイプライン (ETL)：CloudComposer (Airflow)
DWH：BigQuery
その他インフラ管理：Docker、GKE / GAE / CloudRun
可視化ツール：Google Data Portal / Tableau
分析環境：Jupyter Notebook / Google Colab / Google Cloud ML
その他：GitHub / Slack / Notion

[チーム体制（業務委託の方含む）]
・統括ディレクター: 1名
・データエンジニア: 1名
・機械学習エンジニア: 1名 (兼務)
・データサイエンティスト: 3名
・技術顧問: 1名

某ベンチャー企業にて、在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。

業務内容
顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。

・新規データ取得のETL及びデータウェアハウスの実装
・データ基盤の運用及び保守開発
・データの可視化
・定例MTG対応
・仕様書等ドキュメント作成（一部）

技術環境
O S 　　 ：Linux, Windows
言 語 　　 ：Python, SQL
D B　　　 ：Redshift, Aurora(PostgreSQL互換)
Cloud　　 ：AWS（ECS, S3, StepFunctions, Lambda, Redshift, Aurora等）
DWH　　 ：BigQuery, TreasureData等
機械学習系：Kedro, MLflow
C I　　　 ：CircleCI
監視系　　：Sentry
その他　　： GitHub, Slack, CircleCI