ETLの案件一覧

機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築や、
効率よくデータを捌くためのミドルウェア開発、インフラ構築

▼業務内容
・ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
・機械学習ワークフローの設計/開発/運用
・データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
・機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
・運用体制構築のためのルール・ドキュメント整備

【概要】
・データアナリスト業務を担当
-KPI可視化（経営管理/事業管理)
-売上進捗、EC注文状況をダッシュボード化
-データ集計/アドホック分析、記述統計的分析

【開発環境】
・SQL
・BigQuery
・Trocco
・Google Spread Sheet,Looker Studio, Redash

・SQLデータ抽出・データ分析の業務経験2年以上
・以下のいずれかの経験2年以上　
-分析結果を踏まえたご提案＆レポート作成(ドキュメンテーション)　
-BIツールを用いたダッシュボード構築　
-DWH(データウェアハウス)/データマート設計構築

■案件概要
　某社の顧客データを活用したマーケティングを行い、
　顧客に最適な広告・クーポン・キャンペーン情報を配信する基盤を構築する。
　構成(予定)は以下の通り。
　・広告入稿用 Web フロントエンド （広告運用者がアクセス）
　・広告用 API サーバー
　・Data Pipeline
　　
■作業工程
　広告配信基盤　要件定義/設計/開発/テスト

■使用予定技術
　Cloud：AWS
　言語 ：Python,Typescript、Kotlin
　フレームワーク：React、NextJS、expressjs、TypeORM、pandas
　その他：terraform、kubernetes、Snowflake、dbt、dagster

【案件概要】
　・顧客データ分析基盤 スクラム開発メンバー
【作業内容】
　・顧客PO、弊社SMのもとでスクラム開発
　・データエンジニア、DevOpsエンジニアの役割を担う
　・データサイエンティストチームが分析業務を行うためのデータ分析環境、機械学習環境をAWS環境上に実装

自動車企業向けにSnowflakeにてログデータ可視化のデータ基盤を構築する。

・データ基盤の現行調査（バッチ数やテーブル数、データサイズなど＋現行の課題把握）
・アーキテクチャ選定（SybaseIQ、Treasure Dataから分析に最適なDB選定および検証）

業務効率化・販路拡大を目指すクライアントへ対し、データマネジメントシステム基盤の構築を進めています。
フェーズ毎に増減しますが、チームは総員30名規模を見込んでおり、その方の対応可能領域、
得意領域に応じて業務分担を行う予定ですが、要件定義から支援いただける方を募集しています。

＜想定される業務内容＞
・業務要件のヒアリング、収集対象となるデータの洗い出し
・ETLジョブ（databricks）の設計～リリース／保守
・BIの設計～リリース／保守
　※状況に応じ、上記業務以外が発生します。

＜環境＞
クラウド間連携/ETL機能：databricks
BIツール：SAS、databricks、Looker（複数ツール併用)

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等