データエンジニアの案件一覧

【案件概要】
　・顧客データ分析基盤 スクラム開発メンバー
【作業内容】
　・顧客PO、弊社SMのもとでスクラム開発
　・データエンジニア、DevOpsエンジニアの役割を担う
　・データサイエンティストチームが分析業務を行うためのデータ分析環境、機械学習環境をAWS環境上に実装

自動車企業向けにSnowflakeにてログデータ可視化のデータ基盤を構築する。

採算分析の高度化を目的とするTableauダッシュボードの構築を実施頂きます。

・Tableauのダッシュボード構築経験

■概要
公共向け案件。
Azure Synapse Analyticsを中心としたデータ基盤の構築案件。
本フェーズは詳細設計以降だが、一部の基本設計は見直しの予定。
■内容
Synapse Analytics詳細設計フェーズまたはデータ設計業務
■スケジュール
初期構築作業：7月～11月末
データ統合作業：12月～3月末
※2025年以降も予定あり

【作業内容・工程・環境】
ECサイト等で使われる元請け企業がエンド様向けに構築した分析システム／プログラムの保守と、ECサイト等のサービスに蓄積されたデータ分析業務の支援。
〈使用している技術〉
分析システムのプログラム言語はNumPyを含むPython。
データは、おおよそGCPのBigQueryに蓄積されている。
〈作業概要〉
・当該システムのロジックの調査
・上記の調査結果に基づく当該システムドキュメントの更新／整備
・ 当該システムに対する軽微な修正（改修に関する設計、テスト設計、テスト含む）
・上記作業に対する工数見積もり
・分析対象データの集計／加工

■実際に担当する職務内容：
　・銀行内システムの取り扱い
　　- MCIF/Tableau/AWS/SAS/Vantageなど
　　（現環境で勉強しながらでもOK）
　・データ前処理・加工処理・集計
　　以下についてSQLをはじめとしたプログラムを作成・実行
　　- データクレンジングと前処理
　　- データの統合と変換
　　- 弊社作成の仕様にしたがった集計
　・保守業務
　　- 作成済Tableauダッシュボードメンテナンス
　・補助的業務
　　- 仕様書・資料の編集補助
　　- 顧客との打合せへの出席
　　（処理詳細について質問への回答）
　　（コミュニケーション全般は弊社社員が行う）

現ツールのEOLに伴い、AWS Glueの導入を進めていますが、社内に専門的な知見のある方がいないため、アドバイザリーとしてご支援いただける方を募集します。

現状の課題／想定内容：
・初期設定に苦労しており、どのような運用をするのが良いか経験者の意見を参考にしたい
・実装に関するアドバイスをいただきたい(一部難関な部分は実装をお願いしたい)

データエンジニアとして、データサイエンティストやエンジニアと協力しながら、データ基盤を構築・改善し課題解決を行っていただきます。
データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。

顧客の提供する各プロダクトからのデータ収集、加工・集計・可視化、分析結果からの将来予測などをお願いします。

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等