分析基盤エンジニアの案件一覧

■背景
・クライアント内の提案活動に於いてDWH案件が増えており、リソースが必要となった
■クライアント支援範囲
・データ基盤構築、機械学習システム構築/精度向上、時系列データ予測/異常検知、自然言語(テキスト)解析、画像認識
■エンドクライアント
・建築・製造・医療など
■想定業務
※クライアントの案件状況やスキルによってポジション・案件は検討
・データ基盤を構築するプロジェクト。蓄積したデータをBIやAIで活用するためのプラットフォームの設計・構築が主業務
要求開発フェーズからご参画いただくことを想定。
・顧客案件におけるデータ基盤構築支援（要件定義・設計・構築・テスト・マニュアル作成など）
・要件定義 /基本設計/詳細設計
・ETLジョブ開発
・DWH構築
・ドキュメンテーション(設計書・仕様書)

・DWHサービス知見
・基本設計～製造・テスト経験
・データフロー/マート設計
・ドキュメンテーション力

※全て満たしていない場合でも相談可
※DWHサービス活用は必須

上位クライアント（HR系）のデータマネジメント部署にてデータマート開発、基盤開発チーム（約10名）のリーダーポジションを担当いただきます。

データ分析/活用プロジェクトへ参画いただき、シニアデータエンジニアとしてデータマート開発実装をメインにご担当いただきつつ、技術リーダーとしてチームメンバーのサポート及び、データ要件の定義や調査、他部署との連携含めた顧客折衝をご担当いただきます。

【対応工程】
・分析用データマートの開発
　└データマート（テーブル）設計
　└SQL実装
　└バッチ処理実装
・社内メールシステムの保守運用
　└Python、SQL実装
・データマートの保守運用

【開発環境】
・データベース：Databricks、Redshift
・ワークフローエンジン：Airflow、Digdag
・プログラミング：Python
・インフラ：Azure、AWS
・コミュニケーション： Outlook・Teams・Slack・Backlog

・5名以上のチームリーダー経験 1年以上
・SQLを用いた分析用データマートの設計・開発・運用経験 3年以上
・Pythonを用いたデータハンドリングの経験 3年以上
・Webシステムに関する基本的な理解と業務開発経験

BigQueryデータのデータ分析基盤構築の検討・実装・試験・リリースまでを担当いただく予定です。

またデータ分析基盤構築チームの打合せに参加頂きます。（週4～5回）

（その他：既存モニタリングツールのメンテナンス対応など）

・データ分析PJで検討からリリースまでの実務経験3年程度
・上流工程経験者
・Gitコマンドを使ったモジュール管理経験：1年
・SQLを用いた業務経験：1年

主に Python を用いたデータ基盤や ETL の構築・運用
・同じく Python（FastAPI）を用いて Web サービス向けサーバサイド API の実装・運用
・ クラウドインフラ（GCP）のアーキテクチャ上での機能追加・改善
・多数のデータサービス施策のモニタリングとインシデント発生時のオペレーション
・エンジニアリングチーム内の技術コミュニケーション（レビューや技術調査）
BI開発（未経験可)

某金融機関の吸収合併に伴う事業継承の為、下記基盤移行を行います。

現行オンプレ環境のサーバーOS EOLが2024年7月末、
そのタイミングでAWSへの移行を計画中です。

下記の作業を行うにあたりアーキテクト（テックリード）のような立ち位置で支援していただける方を募集しています。

・AWS SaaSを利用したデータパイプライン環境構築
　　-Lambda
　　-Glue
　　-Step Function etc…
・基本テンプレート開発
・システム監視
・構築する環境
・本番環境
・開発環境

製造業企業において、システムの基盤構築、出力帳票、見える化（Web環境構築）まで、ご担当頂き、人事評価システムの構築支援を実施頂きます。

①ただ与えられたタスクを実装するだけではなく、自走し提案も込みで実施頂ける方が評価高いです。リーダー枠での募集となります。
②スケジュールは以下のとおりです。
　3月～　：　要件定義、設計
　5月～　：　製造（5月以降、4人程度のメンバーを募集予定）
　11月　　：　CO

リアルタイムなデータパイプラインを構築するためのデータエンジニア業務と、
機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築、効率よくデータを捌くためのミドルウェア開発、インフラ構築などを行う、MLOpsエンジニア業務をおまかせします。
GCPデータ基盤とその活用案件、は既に多数存在するものの、さらなる拡充を狙った専門人材の募集となります。
IP(知的財産)ビジネスがドメインの事業会社において、全社へ大きな影響を与える分析部門にアサイン頂きます。

【業務スコープ】
分析官や機械学習エンジニアと連携しながら、速く安全に機械学習のサイクルを回せるML基盤の構築をお任せします。

[データエンジニア概要]
■データパイプライン(リアルタイム)の設計・実装

（具体的な職務）
・収集対象：ECサイト
・データ分析基盤の開発・運用
・データを収集するETL/ELTパイプラインの開発
・運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

[MLOpsエンジニア概要]
■ ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■効率よくデータを捌くためのミドルウェア開発、インフラ構築
■ ML基盤内へログデータを収集・蓄積・加工する、一連のデータパイプラインの設計/開発/運用

（具体的な職務）
■ ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■ 運用体制構築のためのルール・ドキュメント整備

2年ほど前にAWSをベースに分析基盤が構築されたものの、現状がわかりづらい状況となっています。
現状を調査し調査の後、必要に応じて「システムの再構築」
「一部破棄」または「システムの刷新」の方針決めを行います。
※詳細、募集背景は面談時にご説明いたします。

【ターゲットとなるシステム】
・In Data ： Salesforce 他
・Out Data ： Tableau 他

【概要】
・大手小売企業で現在利用しているデータ加工機能の再構築およびI/F連携の可視化を行うための構想策定フェーズ
・インプットの対象となるシステムは複数あるためヒアリングを行いas-is、to-be策定を実施（インバウンドのDMSは今回作り直さない想定）

【体制】
2名（PM1名、メンバー1名）
※今回はメンバーポジションが対象
※テクニカル面での支援を期待されている

【業務スコープ】
①データ加工機能の再構築
・適正な機能配置
・POSデータ加工処理の改善
・統一商品マスタの作成（すべての雑誌の属性も付与可能）
・レガシーな技術（COBOL）からの脱却、脱ホスト
・運用体制強化、運用の負荷削減

②IF連携の可視化（HULFTHUBの利用）
・データ加工サーバをクライアント情報基盤の週配信を中継するシステムに変更

【スケジュール（仮）】
・2月～5月：構想策定フェーズ
・6月～：設計、構築

■背景
・募集部署はデータ基盤&AI・BI&運用を一気通貫で担っており、
　現在プリセールス中である。(DWH)
・ただ受注となった場合、プロパーを含めてリソース不足が目下課題となっている。
■クライアント支援範囲(該当部署)
・データ基盤構築、機械学習システム構築/精度向上、時系列データ予測/異常検知、自然言語(テキスト)解析、画像認識
■エンドクライアント
・建築・製造・医療など様々
■想定業務
・データ基盤を構築するプロジェクトを想定。
　蓄積したデータをBIやAIで活用するためのプラットフォームの設計・構築が主業務となる。
　要求開発フェーズからご参画いただくことを想定。
※下記スキルによって相談
・顧客案件におけるデータ基盤構築支援（要件定義・設計・構築・テスト・マニュアル作成など）
・要件定義 /基本設計/詳細設計
・ETLジョブ開発
・DWH構築
・ドキュメント作成