ETLの案件一覧

作業フェーズとして設計、開発、単体テスト、総合テスト、データ移行、リリースを担当していただく
作業内容：テーブル設計・作成、glueでのデータ加工の設計・開発・テスト
①DB：Dr.Sum＋データ加工：Connectで作成しているシステムを

②DB：RedShift＋データ加工：glueでリプレースする

③対象システム数：７

DWHへのデータ連携を含んだ、データ基盤で動作するETL処理の開発、データパイプラインの仕組みづくりやデータのセキュリティ対応、運用業務の自動化、ドキュメント整備をご担当いただきます。

【概要】

データを用いた意思決定や課題解決に活用するため、各事業・プロダクト・サービスの全てのデータを一元的に収集・保存・管理するデータ基盤の構築を担うポジション。
【詳細】

・データ基盤の開発・改修・保守運用

・データ基盤の物理・論理データモデル設計・開発・保守運用

・データ基盤のシステムアーキテクチャの設計

・データパイプライン (ETL) の設計・開発・保守運用
【開発環境】

〇インフラ

GCP (データ基盤) / AWS (関連システム)

〇データパイプライン (ETL)

CloudComposer (Airflow)

〇DWH

BigQuery

〇その他インフラ管理

DockerGKE / GAE / CloudRun

〇可視化ツール

Google Data Portal / Tableau

〇分析環境

Jupyter Notebook / Google Colab / Google Cloud ML

〇その他

GitHub / Slack / Notion

　・会計ソフトメーカーにて情報を一元管理・可視化する

　　データ分析基盤の構築を計画しております。

　　業務内容として、AWS環境上にて各システムから

　　データを収集/加工するための調査・設計・実装や

　　BIツールと連携してデータを可視化する機能の設計・

　　実装まで広範に渡り対応して頂きます。

クライアントの調達部門にてAWSを利用した購買データのデータパイプライン構築～運用をご担当いただきます。

・会計ソフトメーカーにて情報を一元管理・可視化するデータ分析基盤の構築を計画しております。

業務内容として、AWS環境上にて各システムからデータを収集/加工するための調査・設計・実装やBIツールと連携してデータを可視化する機能の設計・実装まで広範に渡り対応して頂きます。

パターン①

・基盤構築リード

・環境要件定義推進

・DWH・ETL（Synapse）要件定義推進

・DWH・ETL（Synapse）開発
パターン②

・ETL連携方式調査

・Azureパラメータシート作成

・Azure環境構築

・DWH・ETL（Synapse）設計開発テスト

・DWH・ETL（Synapse）開発関連ドキュメント作成（設計書、テスト報告書）

何らかのETL開発経験

デジタルメニューブック（セルフオーダー端末）の導入と機能向上、自社配達ネットワークにおける配達員専用アプリの開発、共同デリバリーやエリア配達のシステム構築などをの実績がある
業務スコープその中でデータは溜まってきているがうまく活用ができておらずtoC向けのマーケティングチームと分析施策のアドバイザリー+データ分析基盤構築※知見でOK+ガバナンス
データソース

・Google Analytics

・DWHへ統合　※CDP、CRM等部門ごとのデータを統合

・外部Web API

データ統合先

・BigQuery

マーケティングレイヤー

・toC向けのデータ活用

ガバナンス

エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。

[具体的な業務]

・RDBのデータベース設計

・Glue JobでPythonを利用したETL処理の設計・開発

・API Gateway、Lambdaを利用したAPI開発

・技術的知見からの、プロダクトオーナと協調した仕様策定

・AWS関連リソースのより積極的な活用

・git flowベースの開発進行