ETLの案件一覧

リアルタイムなデータパイプラインを構築するためのデータエンジニア業務と、
機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築、効率よくデータを捌くためのミドルウェア開発、インフラ構築などを行う、MLOpsエンジニア業務をおまかせします。
GCPデータ基盤とその活用案件、は既に多数存在するものの、さらなる拡充を狙った専門人材の募集となります。
IP(知的財産)ビジネスがドメインの事業会社において、全社へ大きな影響を与える分析部門にアサイン頂きます。

【業務スコープ】
分析官や機械学習エンジニアと連携しながら、速く安全に機械学習のサイクルを回せるML基盤の構築をお任せします。

[データエンジニア概要]
■データパイプライン(リアルタイム)の設計・実装

（具体的な職務）
・収集対象：ECサイト
・データ分析基盤の開発・運用
・データを収集するETL/ELTパイプラインの開発
・運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

[MLOpsエンジニア概要]
■ ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■効率よくデータを捌くためのミドルウェア開発、インフラ構築
■ ML基盤内へログデータを収集・蓄積・加工する、一連のデータパイプラインの設計/開発/運用

（具体的な職務）
■ ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■ 運用体制構築のためのルール・ドキュメント整備

【概要/作業内容】
・金融系システムのエンハンス作業
・作業内容はAWS構築、ネットワークに関する業務で下記いずれかのポジションを担当
①DBデータ移行
DB(sybaseとoracle)のダンプデータがある状態からクラウドにデータ移行してDB構築

②AWS構築
AWSの設計から環境構築

③データ分析環境構築
Tableauが動くためのインフラ環境構築
データ量が大きいためNWまわり含めたサイジングも実施

【システム概要】
複数のビジネスチーム向けに必要なデータセットの要件を整理し、
Databricks上で分析用データセットを効率的に作成するETL、
ワークフローを開発します。

【業務内容】
各チームから挙げられる要件の整理や、ベストプラクティスを調査し、
購買情報、各種施策、会員情報やアクセスログなどを元に、効率的な
データセットを作成するためのETL、パイプラインの作成を行います。
データ分析基盤チームに参画しており、必要に応じてノウハウなどを
共有しながら作業を進めて頂きます。

【担当領域】
要件定義～実装

【開発方式】
お客様と都度調整しながら進めるアジャイル開発となります。

【システム構成】
サービス：AWS、Databricks、Redshift
利用ツール：Slack、Backlog、Git (GitHub)

データユーザーからの要求をくみとり的確なデータとフローの設計を行い、パイプラインの構築やパイプラインを動かすデータ分析基盤の運用保守を行う。

DatabricksMLを使ったユースケース検証対応

内容：
物流マッチングプラットフォームを展開する企業にて、データエンジニアとしてご参画頂きます。
主に各事業のデータ分析基盤（DWHとデータパープライン）の設計・構築・運⽤を⾏っていただきます。
＜具体的な業務内容＞
既存のDWH（BigQuery）とデータパイプラインの拡充

• 利用可能なデータの拡充
• データのリアルタイム性の向上
  将来のデータ基盤戦略の策定とその推進
• 新たなDWHとデータパイプライン（ELT）の設計・構築・運用
  データ分析によるビジネス課題の発見の推進
• データによる課題の可視化
• BIなどを通したモニタリング環境の構築
  技術環境：
  ・言語：Ruby、Python
  ・バージョン管理：Git/GitHub
  ・データ基盤：BigQuery、AWS RDS
  ・BI： Redash、Google Spread Sheet、Google Data Studio
  ・コミュニケーション：Slack、Notion

・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります

・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化

・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善

・データマート日次運用保守業務

【開発環境】
プログラミング言語：Python
ライブラリ：PySpark, pandas
データベース：AWS RDS (SQLServer), AWS Athena(trino)
環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール：QuickSight

AWS上にIoTデータを集積したレイクハウスを設計・構築いたします。
設計・構築の依頼はAWS Glue、StepFunctionsによる設計・構築、テストが依頼範囲となります。
データ規模が大きいシステムのため、AWS Glue、Sparkの技術に明るく性能面、コスト面から最適化のアプローチができる方を希望します。

事業横断のデータ基盤（DWHとデータパイプライン）の設計・構築・運用
既存DWH（BigQuery）とデータパイプラインの拡充
将来のデータ基盤戦略の策定と推進
データ分析によるビジネス課題の発見と推進
・受注背景：既存事業の運用基盤を引き継ぎ、信頼性・利便性向上にコミットするため

・データ種の追加やアプリケーション追加によるデータ処理(Go言語・コンテナアプリケーション)の追加
・既存データ基盤(オンプレ、Kubernetes環境)の改修・検証・テスト
・各種ミドルウェア(CI/CD、監視、DB)の導入・検証・テスト
・データ基盤の量産
・顧客との打ち合わせ