分析基盤エンジニアの案件一覧

■データ分析基盤チーム
エンド会社が提供する各プロダクトからのデータ収集、加工・集計対応。
その後可視化、分析結果からの将来予測など。
データレイク、DWH。

【開発環境】
インフラ：AWS（Athena、Redshift、Glue、QuickSightなど）
データベース：RDS（Aurora MySQL）
ETL：AWS Glue
BIツール：QuickSight
言語：Python
コミュニケーション：Slack、Zoom、Backlog、DocBase

作業内容：（上から優先度が高い順）
1．詳細設計、実装
データロード処理の追加、改修
（Pythonの追加実装・修正、Cloud Functionsのデプロイを含む）
マート作成処理の追加/改修（SQLの追加実装/修正）
2．単体・結合テスト項目作成とテスト実施
単体テスト、結合テスト、システムテスト
3．運用保守
バッチ処理失敗時の原因調査、影響範囲調査、リカバリ
4．バッチ処理仕様調整
既存処理リファクタリング、追加実装の技術検証、要件確認等

【案件概要】
　・顧客データ分析基盤 スクラム開発メンバー
【作業内容】
　・顧客PO、弊社SMのもとでスクラム開発
　・データエンジニア、DevOpsエンジニアの役割を担う
　・データサイエンティストチームが分析業務を行うためのデータ分析環境、機械学習環境をAWS環境上に実装

自動車企業向けにSnowflakeにてログデータ可視化のデータ基盤を構築する。

■概要
公共向け案件。
Azure Synapse Analyticsを中心としたデータ基盤の構築案件。
本フェーズは詳細設計以降だが、一部の基本設計は見直しの予定。
■内容
Synapse Analytics詳細設計フェーズまたはデータ設計業務
■スケジュール
初期構築作業：7月～11月末
データ統合作業：12月～3月末
※2025年以降も予定あり

現ツールのEOLに伴い、AWS Glueの導入を進めていますが、社内に専門的な知見のある方がいないため、アドバイザリーとしてご支援いただける方を募集します。

現状の課題／想定内容：
・初期設定に苦労しており、どのような運用をするのが良いか経験者の意見を参考にしたい
・実装に関するアドバイスをいただきたい(一部難関な部分は実装をお願いしたい)

顧客の提供する各プロダクトからのデータ収集、加工・集計・可視化、分析結果からの将来予測などをお願いします。

【背景】
データ活用がマーケティング用途だけでなく業務用途で使うことが多くなってきたため、開発人材が不足している。

【業務内容】
・オンライン処理、パッチ処理
・ベンダーコントロール
・ステークホルダー調整

・ETLジョブなどの処理方式や単純なパッチ処理だけでなく、DWHなどの実案件としても支援ができる方
・AWSの使用経験(データクレンジングなどで使用）
・能動的に動ける人
・SnowFlakeの知見
・大枠を決められたうえで、どうやっていくかは自分で考えられる人。

・既存の案件の変更が多め
・アウトプットイメージを見て項目定義、開発
・ユーザー様との折衝

・分析・集計業務経験

DWHやdatalake、AIツール・BIツールなどを兼ね備えた次世代データ基盤及び分析基盤の構築業務をご担当頂きます。
※既存のデータ基盤はAmazon Auroraベースの為、新たに構築する必要があります。

【主な業務内容】
・データ基盤のグランドデザイン
・DWH及びdatalake等の開発企画及び設計・開発業務
・グループ内企業データ連携の設計・開発業務
・AIツール、BIツール、MAツール等で使用するデータの設計・開発業務
・PoCの実施