分析基盤エンジニアの案件一覧

●案件：管理システム追加開発
●内容：
・管理システムのクラウド化に伴いオンプレ環境からクラウド環境にシフトします。
管理パッケージはOracle EMP Cloudです。
●工程：基本設計～総合テスト
●場所：フルリモート ※打合せで目黒駅にご出社頂く場合がございます。

データを用いた意思決定や課題解決に活用するため、各事業・プロダクト・サービスの全てのデータを一元的に収集・保存・管理するデータ基盤の構築を担うポジションです。

データ基盤の開発・改修・保守運用
・データ基盤の物理・論理データモデル設計・開発・保守運用
・データ基盤のシステムアーキテクチャの設計
・データパイプライン (ETL) の設計・開発・保守運用

[開発環境]
インフラ：GCP (データ基盤) / AWS (関連システム)
データパイプライン (ETL)：CloudComposer (Airflow)
DWH：BigQuery
その他インフラ管理：Docker、GKE / GAE / CloudRun
可視化ツール：Google Data Portal / Tableau
分析環境：Jupyter Notebook / Google Colab / Google Cloud ML
その他：GitHub / Slack / Notion

[チーム体制（業務委託の方含む）]
・統括ディレクター: 1名
・データエンジニア: 1名
・機械学習エンジニア: 1名 (兼務)
・データサイエンティスト: 3名
・技術顧問: 1名

某ベンチャー企業にて、在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。

業務内容
顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。

・新規データ取得のETL及びデータウェアハウスの実装
・データ基盤の運用及び保守開発
・データの可視化
・定例MTG対応
・仕様書等ドキュメント作成（一部）

技術環境
O S 　　 ：Linux, Windows
言 語 　　 ：Python, SQL
D B　　　 ：Redshift, Aurora(PostgreSQL互換)
Cloud　　 ：AWS（ECS, S3, StepFunctions, Lambda, Redshift, Aurora等）
DWH　　 ：BigQuery, TreasureData等
機械学習系：Kedro, MLflow
C I　　　 ：CircleCI
監視系　　：Sentry
その他　　： GitHub, Slack, CircleCI

【案件概要】

• データ分析基盤に関する業務支援。
  現状「販売に関わるシステム」「自社ブランドクレジットカードに関わるシステム」などが分散稼働しているが、これらの統合化が進められている。
  これら統合化作業の推進を行う人材が必要とされている。
• クライアント側プロパーメンバーには若手層も多いため、一緒にプロジェクトを進めながらの指導・育成的な面も期待されている。
• 販売・クレジットカード以外にもグループ内には機能子会社が存在する。それらの子会社(兄弟会社)に対する諸々の推進活動も期待されている。

【システム環境に関わる情報】

• GCP (BigQuery 他) ----> バックエンドシステムはGCPが主
• MA：SalesForce Marketing cloud
• DWH：Exadata
• AWS ----> EC等のフロントシステムはAWSが主
• Tableau (DeskTop & Server)
• 消えつつあるものの、まだ一部で SAP Business Object が使われている。

【クライアント側の体制・および関係者】

• 顧客企業のプロパーメンバーが分析・施策 等の上位レイヤーを担当している。
• 複数の外部パートナーメンバーが常駐参画して、分析・開発・運用を行っている。
• 「開発の一部」と「インフラ維持管理 ～ データ整備」は海外オフショアチームが 担当している。
• 顧客プロパーと一緒に動けるリーダー候補、およびメンバーのアサインが急務という状況。

【募集要員】

• リーダー 1名 100%稼働：
  ・データ分析基盤の構築/維持/管理 および データ分析 に対する長年の経験
  ・オフショアメンバーのコントロール
  ・グループ会社に対する技術的/営業的な支援活動
• サブリーダー 1名 80%稼働程度でも可：
  ・データ分析基盤の構築/維持/管理 および データ分析 に対する長年の経験
  ・BigQuery ML を用いた機械学習に対する経験。
  ・Tableau を用いた可視化。
  ・クライアント側プロパーメンバーの育成活動。
• メンバー 2名 100%稼働：
  ・データ分析基盤の構築/維持/管理 および データ分析 の経験２年以上

リードエンジニアとしてデータ分析基盤の設計・構築・運用をおまかせします。

・各種システムからのBigQueryへのデータパイプラインの設計・構築・運用
・BigQuery上のデータウェアハウス・データマートの加工処理の構築・運用
・Issue対応
・技術調査

開発環境
言語 : Python,
データベース : BigQuqery, Aurora MySQL 2.0, Aurora PostgreSQL
インフラ : AWS (ESC,EC2, S3, Lambda etc.) , GCP,Dagster,Airflow
バージョン管理 : git/Github
CI : CircleCI, Jenkins
コミュニケーション : Slack, JIRA, ClickUP, Notion

2023年6月～2024年5月（要件定義、設計～総合テスト・リリース後フォロー）にて対応を進めるにあたりMotionBoard画面担当を募集しています。

BIツールはMotionBoard Cloud for Salesforceを使用する予定

BIに関する設計～テストの経験者

製薬企業がマーケティングやMEDICAL AFFAIRS活動のために使うことができる
医療ビッグデータの機能開発・運用保守をご担当いただきます。
主な業務内容
・新規機能開発
・運用保守開発
・問い合わせ対応、データ抽出業務
・その他PDCA実施

技術スタック：
・LOOKER
・TABLEAU
・BIGQUERY
・DATAFORM
・AWS(ROUTE53, ALB, S3, CLOUDFRONT, ECS ETC)

【概要】
・在庫最適化システムを支えるデータ基盤の構築
・Saasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望の相談増
・数億レコードにもなる大量のデータ加工をSQLやPythonを用いて作成、
集計後、データストアに投入する基盤の構築
・エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制

【工程】
基本設計　詳細設計　開発　単体テスト　結合テスト　総合テスト　運用

【開発環境】
・開発言語： Python、SQL
・DB: Aurora(PostgreSQL互換)、Redshift
・検索エンジン： Amazon Elasticsearch Service
・ライブラリ・フレームワーク：Pandas、Numpy、Dask
・インフラ： Amazon Web Services
・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch
・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry

現在クライアント（大手化粧品メーカ）ではグループ横断DXを進めています。
その中の一環としてグループのデータ基盤からMAツールへの
パイプライン構築、データマートの作成など以下のようなデータエンジニアリング業務をご担当いただきます。
・活用目的に即した質の高いデータをDWH、BI/AI基盤に供給する信頼性の高いデータパイプラインの構築・管理・運用
・データマネジメント／データガバナンス構想策定、実行プロセス/体制のデザインと推進
・分析目的に適したDWHの構築（データモデル、スキーマ）
・分析チーム、業務チームなどの関連部署と連携したデータに関する要件定義
・社内分析基盤と導入ツールの監視・管理、OSSであればそのメンテナンス

・データパイプラインの構築・運用経験
・SQL

DWHへのデータ蓄積設計(DL、DM設計)