ETLの案件一覧

クラウドサービスを活用したデータ分析基盤構築をお任せいたします。

どのように活用すべきか具体的な構想が決まって無い中で、クライアントの要望をヒアリングしながらデータモデルの設計をし、azure(IaaS)に構築までしていただく。

・ETLツール選定、プラットフォーム選定
・現行データモデルを読み解いて、DWH側データモデルを作成（非正規化、フラット化）
・ETL設定、動作確認

概　要：

• ロード対象データのスコープ選定
• データロード先テーブルの設計・作成
• データ更新パイプラインの検討・設計・構築
• LCBを利用したデータの名寄せ処理およびviewの設計・作成

大量データが含まれるExcelを加工・集計し、BIツールにてダッシュボードを作成する。
「Excelを加工・集計」の部分にて、現状Alteryxを利用しているが、Alteryx知見でサポートいただける方を探している。
必ずしもAlteryxにこだわるわけではなく、似たようなETLツールの熟練の方にご支援いただきたい。

・プロダクトマネージャーとの仕様策定
・AWSサービスを活用したアーキテクチャ設計
・社内プロダクトや社内サービスとのシステム連携　
・設計したシステムの実装と運用
・各種インフラ運用の自動化、CI/CDの強化　

・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発

※全て当てはまらなくても良いです
・開発経験１０年以上
・DWHやETL等のビッグデータ実装への理解
・Sparkの使用経験
・Kinesisの使用経験
・5名程度の開発チームのリーダー経験
・開発フレームワーク／ツール／プロセスの選定と制定
・マイクロサービスアーキテクチャやサーバレスアーキテクチャの実装理解
・Pandasライブラリを用いた開発経験
・Data Pipeline構築経験（ETL開発経験）
・AWS上でのシステム開発経験
・Lambdaなどのサーバーレス開発経験
・RDBを用いたシステム開発の経験
・OSSを活用したシステム開発経験（Kafka, MySQL, MongoDB…）
・AWSのマネージドサービス利用経験（Redshift,SMS/SQS,RDS）
・アジャイルでのシステム開発経験
・JIRA/Confulence相当を利用した開発経験

印刷EC事業におけるFP&A業務支援を行っていただきます。
経営管理・事業管理におけるKPI可視化やダッシュボード作成、アドホックな集計・分析対応をお任せします。
・売上進捗や注文状況等のダッシュボード化
・アドホックなデータ集計や記述統計的な分析

取引先データを管理するシステムのマスタデータの管理でInformaticaを採用。
IDM、MDMのサービス展開を実施中。
承認ワークフローはAgileWorks、データ連携する際にInformaticaと絡ませる。
今回はInformatica内のマスタ管理機能の開発がメイン
スケジュールは今月まで要件定義、8月から基本設計。
要件定義は4名体制、設計開発で5名体制で開始し、段階的に人を増やしていく。

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

・増員のための募集ですが、チームを技術で引っ張ることのできる中堅レベル、リーダポジションとなれる方をお願いしたいと考えております。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等

機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築や、
効率よくデータを捌くためのミドルウェア開発、インフラ構築

▼業務内容
・ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
・機械学習ワークフローの設計/開発/運用
・データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
・機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
・運用体制構築のためのルール・ドキュメント整備