データエンジニアの案件一覧

■概要
公共向け案件。
Azure Synapse Analyticsを中心としたデータ基盤の構築案件。
本フェーズは詳細設計以降だが、一部の基本設計は見直しの予定。
■内容
Synapse Analytics詳細設計フェーズまたはデータ設計業務
■スケジュール
初期構築作業：7月～11月末
データ統合作業：12月～3月末
※2025年以降も予定あり

【作業内容・工程・環境】
ECサイト等で使われる元請け企業がエンド様向けに構築した分析システム／プログラムの保守と、ECサイト等のサービスに蓄積されたデータ分析業務の支援。
〈使用している技術〉
分析システムのプログラム言語はNumPyを含むPython。
データは、おおよそGCPのBigQueryに蓄積されている。
〈作業概要〉
・当該システムのロジックの調査
・上記の調査結果に基づく当該システムドキュメントの更新／整備
・ 当該システムに対する軽微な修正（改修に関する設計、テスト設計、テスト含む）
・上記作業に対する工数見積もり
・分析対象データの集計／加工

■実際に担当する職務内容：
　・銀行内システムの取り扱い
　　- MCIF/Tableau/AWS/SAS/Vantageなど
　　（現環境で勉強しながらでもOK）
　・データ前処理・加工処理・集計
　　以下についてSQLをはじめとしたプログラムを作成・実行
　　- データクレンジングと前処理
　　- データの統合と変換
　　- 弊社作成の仕様にしたがった集計
　・保守業務
　　- 作成済Tableauダッシュボードメンテナンス
　・補助的業務
　　- 仕様書・資料の編集補助
　　- 顧客との打合せへの出席
　　（処理詳細について質問への回答）
　　（コミュニケーション全般は弊社社員が行う）

現ツールのEOLに伴い、AWS Glueの導入を進めていますが、社内に専門的な知見のある方がいないため、アドバイザリーとしてご支援いただける方を募集します。

現状の課題／想定内容：
・初期設定に苦労しており、どのような運用をするのが良いか経験者の意見を参考にしたい
・実装に関するアドバイスをいただきたい(一部難関な部分は実装をお願いしたい)

データエンジニアとして、データサイエンティストやエンジニアと協力しながら、データ基盤を構築・改善し課題解決を行っていただきます。
データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。

顧客の提供する各プロダクトからのデータ収集、加工・集計・可視化、分析結果からの将来予測などをお願いします。

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等

大手通信キャリア向けPowerBIの設計・構築業務において主に以下の内容について従事いただく予定です。
・データ分析支援ツールPowerBIのダッシュボード等の基本設計
・PowerBIのセキュリティ機能/各種パラメータの詳細設計
・設計書や作業手順書などドキュメントの作成
・PowerBIのセットアップ・動作試験

・PowerBIの設計・構築経験

人事情報の分析基盤の構築からダッシュボード作成に関わっていただく案件です。
Excelツール等でレポートされているものをTableau化し、新規の分析観点を追加
していただきます。

【背景】
データ活用がマーケティング用途だけでなく業務用途で使うことが多くなってきたため、開発人材が不足している。

【業務内容】
・オンライン処理、パッチ処理
・ベンダーコントロール
・ステークホルダー調整

・ETLジョブなどの処理方式や単純なパッチ処理だけでなく、DWHなどの実案件としても支援ができる方
・AWSの使用経験(データクレンジングなどで使用）
・能動的に動ける人
・SnowFlakeの知見
・大枠を決められたうえで、どうやっていくかは自分で考えられる人。