分析基盤エンジニアの案件一覧

■概要
クレジットサービスを運営している会社です。
機械学習モデルを効率よく安全に回せる環境の構築をお願いします。

■業務
・要求課題整理、アーキテクチャ検討
・ワークフローの設計～運用
・CI/CDパイプラインの構築
・モデル設計～構築

■環境
GCP(Dataflow,teraform)
現モデルはVertexAI

・MLOpsのアーキテクチャ検討～構築経験
・GCP及び、AWSの経験
・Iac及び、CI/CDの経験
・表形式データのモデル開発の経験
・英語（少なくともビジネスレベル）

エンドユーザー(企業)のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。
◆業務内容の詳細◆
Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用
Apache Sparkを利用したETL処理の開発
各サービス開発チームのデータエンジニアリングの支援
◆今後の進展について◆
昨年夏頃にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。
それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。

・サーバーサイドのアプリケーション開発経験
・AWS/GCP/Azureのいずれかのクラウドサービスを利用した経験
・データレイク、データウェアハウスの設計・構築・運用経験
・ETL/ELTなどのデータワークフロー管理ツールの開発・運用経験
・チーム開発経験

DX推進を行っている部署の中で、既存で散らばっている社内のデータを集約する作業を行なっております。

既存のデータはAzureの中に入れており、そこのデータパイプラインの保守作業を行いつつ、新規パイプラインの設計・構築を行っていただきます。(Sparkを想定しております。)

また、集約したデータをBIツールを活用し、データ可視化も行っています。
（既存ダッシュボードの保守、新規ダッシュボード構築など）

・DB構築経験
・データの移行経験(データパイプラインの構築経験)
・SQLを用いたデータ集計の経験
・クラウドもしくは仮想環境での経験

AWSを用いて実現する蓄積基盤の設計、構築（特にRedshift、Glueまわり）
勘定系システムなどからデータを受け取るAWSのデータレイク基盤（蓄積基盤）の設計、構築

AWSのデータ分析基盤関連のサービスの設計、構築スキル（特にRedshift、Glue）

【概要】
データエンジニアとしてDMP及びCDP導入案件や顧客の分析要件に基づいたデータ抽出環境整備における構築業務を担っていただきます。
多数のプロジェクトがあり、適性なものにジョインを想定しております。

【環境】
SQL,Python,Git

【業務】
・CDP及びDMPの設計/構築/運用
・各種DB、分析ツールを連携させたデータ管理、分析環境の構築
・データマートの設計/構築/運用
・クライアントとの細部仕様調整

・SQL
・TreasureData/GCP/AWS等のクラウドDWHの構築経験

・グループ全社のデータパイプライン設計・実装及び実装委託
　(APIやパブリックデータの取得/整備)
・DWH管理業務 (欠損,Issue,申請等の対応)
・技術調査

【業務スコープ】
・Google Cloud Platformをバックエンドとするデータ分析基盤の開発・運用
・データ分析基盤と各事業部が有するデータを活用するための開発・運用
・データ分析基盤にデータを収集するETL/ELTパイプラインの開発
・データ分析基盤でデータを集計するワークフローの開発
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

1. 複雑なSQLを用いたデータ抽出経験
2. Go、Java、Pythonなどを利用した開発経験
3. ETL/ELTのデータパイプライン設計/構築
4. ワークフローの構築経験（Digdag / Airflow etc.）
5. 監視ツールの導入・運用経験
6. Infrastructure as CodeおよびCI/CDの経験
7. コンテナ技術（Docker/Kubernetes）を用いた開発経験
8. GCPでの開発経験
9. データマネジメント（DMBOK）に関する理解や実践経験

【PJ概要】
国立法人向け AI解析基盤構築
【スケジュール】
要件定義支援：~4月、開発：5月～
【業務内容】
・要件定義
・アーキテクト設計
・リーダー業務※ポジションにより

・アプリ開発
・要件定義の経験
・データマネジメントもしくはAI関連技術の知見

【概要】
大手メディア企業が収集する動画視聴ログのDMP構築支援業務です。
対象データは動画閲覧ログであり、様々なプラットフォームのログを保持しています。
直近では更なるデータ利活用に向けて既存テーブルのリファクタリングの改善や新規作成を行っています。また、コンテンツ内容に合わせた広告の実現に向けた開発を進めています。今回はデータの拡大により新しいテーブルの設計と実装が必要になります。幅広くプロジェクトのタスクに携わって頂くことを想定しています。
【開発環境】
・GCP(BigQuery,Cloud Function, GCE), digdag ,embulk
・Confluence,JIRA,Bitbucket
【対応内容】
・GCP主にBigQueryを用いたビッグデータのテーブル設計・データ集計
・データワークフロー・ETLの設計・数値検証・ドキュメント化
・データの集計と分析作業

・SQL経験　5年以上
・GCP、特にBigQueryの経験1年以上（AWSのご経験が数年あれば優遇）
・データクレンジング・集計・検証経験1年以上
・Gitを用いたコード管理
・データパイプライン設計経験　1年以上

大手卸小売業のデータエンジニアとして下記業を担当いただきます。
・AWS等のクラウドサービスを活用したデータ分析
・Redshiftでのデータ分析基盤構築
・各種KPI設計およびTableauなどのBIツールでのダッシュボード作成

・データ分析プロジェクトの経験
・データ分析基盤設計、構築、分析経験
・Redshift経験
・python経験
・BIツール経験

・10ヵ年計画で実現する次世代医療分析基盤の大規模開発のスタートラインを切るメンバーとして、インフラ設計段階から開発、本番適用まで一貫して携わっていただきます。
・また、国内医療での利用拡大が約束されている分析基盤の継続機能開発及び運用を実施します。

【開発環境】
・AWS：SageMaker、WorkSpaces、VPC Endpoint、Redshift、Aurora、EC2、ECR、S3等
・言語：Python、SQL

【対応内容】
・要件定義及びテスト設計
・インフラ設計及び監修
・ネットワーク及びセキュリティ設計
・開発実装及びテスト実施
・外部ストレージとの繋ぎ込み開発

・AWSでの開発実務経験及びテスト実施経験が3年以上ある
・AWSの複数サービスを使用したアプリケーション開発にインフラ設計から携わった経験がある
・CCNA程度のネットワーク理解
・LinuCレベル1程度のLinux理解