BigQueryの案件一覧

デジタルマーケティングツールやデータ分析ツールへのデータ投入のための ETL 準備、実装を行います。

作業内容：
・某社向けデータ分析のためのデータ処理基盤の開発・保守・運用・機能追加

・事業成長のための最も重要な課題の発見、整理、解決
・オペレーション、マーケティング、事業推進、ハードウェアなど各チームの課題解決のための分析設計、データ分析、データ可視化、ダッシュボード設計
・モニタリング基盤の構築、メトリクスの設計
・プロジェクトの実証設計、仮説検証、機械学習プロジェクト等の設計・実行

【業務内容】
大手広告代理店が展開しているインターネット広告代理店業における、膨大な広告データを収集・蓄積したデータレイクからデータを展開するためのデータ基盤（ETL処理、DWH、DM）の開発、運用、保守をお願いします。

【ポイント】

• データレイクが取り扱うデータ量は数十TB/月を誇り、毎日数10億単位のレコードを蓄積しているため、そんな大規模データと向き合った開発にチャレンジすることができます。
• 複数のプロダクトを管理しているチームのため、様々な技術を習得することができます。

【開発チームと配属先について】
当事業部には現状で約60名のエンジニアが在籍しており、複数のチームに分かれて開発を進めています。
今回お願いしたいポジションはサーバサイドエンジニアです。

チームには現在18名のエンジニアが在籍しています。
また、複数のプロダクトを管理しているチームのため、担当領域ごとにグループ分けをしています。

• Infeed領域の広告運用のためのプロダクトを開発するグループ
• インターネット広告関連データをデータレイクに蓄積するシステムを開発するグループ
• インターネット広告関連データが蓄積されたデータレイクを用いたデータ基盤を開発するグループ
• 機械学習を用いたプロダクトを開発するグループ
• 掲載情報や実績情報を出力・レポーティングするための分析用プロダクトを開発するグループ

【技術キーワード】

• ApacheSpark
• AWS Glue
• Snowflake
• データレイク/データウェアハウス/データマート

データ分析基盤の開発・構築を行なっていただきます。

データパイプラインの構築エンジニア
主業務：要件に合わせルールに則ったデータモデリングを行い、各基盤のツール群を使ってデータ加工するパイプラインバッチの構築を担当いただきます。

技術要素(★が特に重要)
GoogleCloud
★Cloud Composer2（及びAirflow2）
★Cloud Dataproc（Apache Spark(scala)）
Cloud Build
Cloud Storage
BigQuery
Cloud Monitoring / Cloud Logging
AWS
★Kinesis firehose
★SQS / SNS
★ECS
★Lambda
ECR
S3
Cloud Watch
その他
GithubActions
Terraform

●案件：管理システム追加開発
●内容：
・管理システムのクラウド化に伴いオンプレ環境からクラウド環境にシフトします。
管理パッケージはOracle EMP Cloudです。
●工程：基本設計～総合テスト
●場所：フルリモート ※打合せで目黒駅にご出社頂く場合がございます。

概要 :
昨年度まで少人数での事業運営を行ってきたが、近年、電子書籍業界の大きな成長が見られる中で、今年度より強化事業の位置付けとなった。高い目標を掲げるとともに、大幅な人員増加を行っている。
事業ゴール達成に向けて、プロダクト開発や、プロモーションおよび編成（WEBやアプリ上での書籍の掲載）の施策効果の最大化・効率化を目的とし、PDCAサイクルを日々回せるよう、以下を整備したい
・WEB、アプリの主要指標の見える化 　（KPIツリー、ダッシュボード整備）
・WEB~アプリ横断でのユーザーの購買行動のモデル化 　（コホート分析、ファネル分析など）
・ユーザーセグメント、コンテンツ群の優先度 見える化

対応業務（ミッション） :
[1]　計測環境整備（0.5人月程度）
WEB/アプリ横断のクロスプラットフォーム分析を目的とし、主に、Google Analytics 4により安定的な計測環境の整備がミッション
20名ほどの社員からなる事業運営チームの中で、分析チームの支援を行う。分析チームは、5月より7名からなるチームであるが、WEB/アプリ計測スキルを持つ人員が不足している。
WEB/アプリともに計測タグの整備が行き届いていない箇所があり、ユーザー行動の把握や、ユーザーセグメントごとの購入商品の分析などが着手できていない。

求める人物像 :
・お客様目線で市場トレンドやユーザー動向をもとに、新たなアイディアを出したりチャレンジできる方
・社内外の関係者と良好な関係を構築し、複数部署が関わるプロジェクトに対応できる方

【概要】
・広告配信における傾向の分析及び、異常の検知
・WEB広告の種別、サイト内での掲載位置、閲覧ユーザーの情報から成果の確認
・ユーザの行動分析を行い、最も効果が高くなる広告を推測する
・Treasure Data等を経由して連携されるユーザーデータの管理
・データパイプラインの保守運用

【開発環境】
Python、PyTorch、Hive、PySpark、PostgreSQL、Apache Airflow
Google Cloud Dataproc、BigQuery、Cloud Composer
GitHub、Slack

【案件概要】

• データ分析基盤に関する業務支援。
  現状「販売に関わるシステム」「自社ブランドクレジットカードに関わるシステム」などが分散稼働しているが、これらの統合化が進められている。
  これら統合化作業の推進を行う人材が必要とされている。
• クライアント側プロパーメンバーには若手層も多いため、一緒にプロジェクトを進めながらの指導・育成的な面も期待されている。
• 販売・クレジットカード以外にもグループ内には機能子会社が存在する。それらの子会社(兄弟会社)に対する諸々の推進活動も期待されている。

【システム環境に関わる情報】

• GCP (BigQuery 他) ----> バックエンドシステムはGCPが主
• MA：SalesForce Marketing cloud
• DWH：Exadata
• AWS ----> EC等のフロントシステムはAWSが主
• Tableau (DeskTop & Server)
• 消えつつあるものの、まだ一部で SAP Business Object が使われている。

【クライアント側の体制・および関係者】

• 顧客企業のプロパーメンバーが分析・施策 等の上位レイヤーを担当している。
• 複数の外部パートナーメンバーが常駐参画して、分析・開発・運用を行っている。
• 「開発の一部」と「インフラ維持管理 ～ データ整備」は海外オフショアチームが 担当している。
• 顧客プロパーと一緒に動けるリーダー候補、およびメンバーのアサインが急務という状況。

【募集要員】

• リーダー 1名 100%稼働：
  ・データ分析基盤の構築/維持/管理 および データ分析 に対する長年の経験
  ・オフショアメンバーのコントロール
  ・グループ会社に対する技術的/営業的な支援活動
• サブリーダー 1名 80%稼働程度でも可：
  ・データ分析基盤の構築/維持/管理 および データ分析 に対する長年の経験
  ・BigQuery ML を用いた機械学習に対する経験。
  ・Tableau を用いた可視化。
  ・クライアント側プロパーメンバーの育成活動。
• メンバー 2名 100%稼働：
  ・データ分析基盤の構築/維持/管理 および データ分析 の経験２年以上

リードエンジニアとしてデータ分析基盤の設計・構築・運用をおまかせします。

・各種システムからのBigQueryへのデータパイプラインの設計・構築・運用
・BigQuery上のデータウェアハウス・データマートの加工処理の構築・運用
・Issue対応
・技術調査

開発環境
言語 : Python,
データベース : BigQuqery, Aurora MySQL 2.0, Aurora PostgreSQL
インフラ : AWS (ESC,EC2, S3, Lambda etc.) , GCP,Dagster,Airflow
バージョン管理 : git/Github
CI : CircleCI, Jenkins
コミュニケーション : Slack, JIRA, ClickUP, Notion