ETLの案件一覧

概　要：

• ロード対象データのスコープ選定
• データロード先テーブルの設計・作成
• データ更新パイプラインの検討・設計・構築
• LCBを利用したデータの名寄せ処理およびviewの設計・作成

大量データが含まれるExcelを加工・集計し、BIツールにてダッシュボードを作成する。
「Excelを加工・集計」の部分にて、現状Alteryxを利用しているが、Alteryx知見でサポートいただける方を探している。
必ずしもAlteryxにこだわるわけではなく、似たようなETLツールの熟練の方にご支援いただきたい。

・プロダクトマネージャーとの仕様策定
・AWSサービスを活用したアーキテクチャ設計
・社内プロダクトや社内サービスとのシステム連携　
・設計したシステムの実装と運用
・各種インフラ運用の自動化、CI/CDの強化　

・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発

※全て当てはまらなくても良いです
・開発経験１０年以上
・DWHやETL等のビッグデータ実装への理解
・Sparkの使用経験
・Kinesisの使用経験
・5名程度の開発チームのリーダー経験
・開発フレームワーク／ツール／プロセスの選定と制定
・マイクロサービスアーキテクチャやサーバレスアーキテクチャの実装理解
・Pandasライブラリを用いた開発経験
・Data Pipeline構築経験（ETL開発経験）
・AWS上でのシステム開発経験
・Lambdaなどのサーバーレス開発経験
・RDBを用いたシステム開発の経験
・OSSを活用したシステム開発経験（Kafka, MySQL, MongoDB…）
・AWSのマネージドサービス利用経験（Redshift,SMS/SQS,RDS）
・アジャイルでのシステム開発経験
・JIRA/Confulence相当を利用した開発経験

印刷EC事業におけるFP&A業務支援を行っていただきます。
経営管理・事業管理におけるKPI可視化やダッシュボード作成、アドホックな集計・分析対応をお任せします。
・売上進捗や注文状況等のダッシュボード化
・アドホックなデータ集計や記述統計的な分析

取引先データを管理するシステムのマスタデータの管理でInformaticaを採用。
IDM、MDMのサービス展開を実施中。
承認ワークフローはAgileWorks、データ連携する際にInformaticaと絡ませる。
今回はInformatica内のマスタ管理機能の開発がメイン
スケジュールは今月まで要件定義、8月から基本設計。
要件定義は4名体制、設計開発で5名体制で開始し、段階的に人を増やしていく。

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

・増員のための募集ですが、チームを技術で引っ張ることのできる中堅レベル、リーダポジションとなれる方をお願いしたいと考えております。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等

機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築や、
効率よくデータを捌くためのミドルウェア開発、インフラ構築

▼業務内容
・ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
・機械学習ワークフローの設計/開発/運用
・データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
・機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
・運用体制構築のためのルール・ドキュメント整備

【概要】
・データアナリスト業務を担当
-KPI可視化（経営管理/事業管理)
-売上進捗、EC注文状況をダッシュボード化
-データ集計/アドホック分析、記述統計的分析

【開発環境】
・SQL
・BigQuery
・Trocco
・Google Spread Sheet,Looker Studio, Redash

・SQLデータ抽出・データ分析の業務経験2年以上
・以下のいずれかの経験2年以上　
-分析結果を踏まえたご提案＆レポート作成(ドキュメンテーション)　
-BIツールを用いたダッシュボード構築　
-DWH(データウェアハウス)/データマート設計構築

■案件概要
　某社の顧客データを活用したマーケティングを行い、
　顧客に最適な広告・クーポン・キャンペーン情報を配信する基盤を構築する。
　構成(予定)は以下の通り。
　・広告入稿用 Web フロントエンド （広告運用者がアクセス）
　・広告用 API サーバー
　・Data Pipeline
　　
■作業工程
　広告配信基盤　要件定義/設計/開発/テスト

■使用予定技術
　Cloud：AWS
　言語 ：Python,Typescript、Kotlin
　フレームワーク：React、NextJS、expressjs、TypeORM、pandas
　その他：terraform、kubernetes、Snowflake、dbt、dagster