ETLの案件一覧

サポート終了を迎えるオンプレミス環境からパブリッククラウド環境への移行プロジェクトです。
現行の自動実行管理、データ連携・変換、およびデータ蓄積基盤をクラウドの提供する各種マネージドサービスへ刷新する方針に沿って、現状の調査から移行設計、実装、各種テスト、および本番切替までを一貫して担当していただきます。

【業務内容】

• 既存環境（自動実行定義、データ処理フロー、データベース資産など）の調査および移行プロセスの策定
• クラウド移行先サービスの選定および基本構成設計（サーバーレスオーケストレーター、統合データ処理サービス、クラウド型DWHなど）
• 自動実行ジョブ、データパイプライン、データ蓄積用の構造定義に関する移行設計および実装
• データの初期移行および差分同期に関する設計と実行
• 検証計画の策定、および各種テスト（結合・性能・受入）の推進
• 本番移行計画の立案、移行作業の遂行、および運用プロセスの設計と引き継ぎ
• 複数の関連部門や外部パートナーとの連携、進捗管理および課題解決の推進

– 複数の関係者との調整や課題管理を主体的に推進できる高いコミュニケーション能力
– 物理環境からパブリッククラウド環境への移行プロジェクトにおける設計から本番稼働までの実務経験
– データ連携、自動実行管理、および大規模データ蓄積基盤の相互連携を理解し、データ分析基盤全体の概念を把握している知識

サポート終了を迎える物理サーバー環境からパブリッククラウド環境へシステムを移転するプロジェクトです。現行の運用機能（自動実行管理、データ連携・変換、データ蓄積基盤）をクラウドの提供する各種マネージドサービスへ刷新する方針に沿って、調査、移行設計、実装、検証から移行作業までを一貫して担当していただきます。

■業務内容

• 既存環境（自動実行定義、データ連携処理、データベース資産）の調査と移行プロセスの策定
• クラウド移行先サービスの選定および構成設計
• 自動実行ジョブ、データ連携処理、データ蓄積用の構造定義に関する移行設計および実装
• データの初期移行および差分同期に関する設計と実行
• 検証計画の策定、および各種テスト（結合・性能・受入）の推進
• 本番移行計画の立案、移行作業の遂行、および運用プロセスの設計と引き継ぎ
• 複数の関連部門や外部パートナーとの連携、進捗管理および課題解決の推進

– 物理環境からパブリッククラウド環境への移行プロジェクトにおける設計から本番稼働までの実務経験
– 自動実行管理システム（ジョブスケジューラ等）の運用または移行に関する実務経験
– データ連携・変換を行うETLツールを用いた開発または移行に関する実務経験
– 大規模データ蓄積基盤（DWH等）の設計または移行に関する実務経験
– クラウド環境における各種インフラサービスやマネージドサービス（オブジェクトストレージ、アクセス権限管理、ネットワーク、データ処理等）の実務経験
– 複数の関係者との調整や課題管理を主体的に推進できるコミュニケーション能力

• 既存のデータ統合・分析基盤における運用および改善支援業務。
• 基幹システムや周辺システムから連携されるデータを対象に、ETL処理、データモデリング、データマート設計などを担当します。

◆作業内容

• DWHへのデータ取り込み（ETL／ELT）の設計・開発・改修
• SQLを用いたデータ加工・集計処理
• データモデル（正規化／スター・スキーマ等）の設計・管理
• 既存ジョブ・処理の調査、性能改善、障害対応
• 関係部署との仕様確認・調整
• 保守運用に伴う定常作業、問い合わせ対応

– DWHまたはデータ基盤に関する実務経験
– SQLを用いたデータ抽出・加工の経験
– ETL処理（ツールまたはSQL／バッチ）の設計・開発経験
– RDB（Oracle）の利用経験
– チームでの開発・保守経験

• 金融機関における決算業務（国内基準および国際会計基準）の自動化を目指すプロジェクトです。
• 現在、国内基準向けのシステムはテストフェーズにあり、並行して国際基準対応の仕組みを新規に立ち上げます。
• 大量データを効率的に処理するためのETL処理を実装し、後続の各システムへデータを橋渡しする仕組みの設計から開発までを担います。

◆開発環境の傾向

• インフラ: AWS環境（AWS Glue, Amazon Redshift等）を活用したデータ基盤
• アプリケーション: Pythonを用いた開発、およびPySparkによる大規模データ分散処理

– ETL開発経験、Python

• AWSおよびSnowflakeを活用して構築されたデータ基盤の開発・保守業務
• 製造業界向けデータ利活用プラットフォームの安定運用と機能拡張

– Apache Iceberg Table / Catalog および Iceberg から Snowflake への連携に関する知見
– 日本語：ネイティブレベル、英語：読み書きレベル

Microsoft Fabricを用いたデータ分析基盤の構築およびデータ処理開発
・Microsoft Fabric（Lakehouse／Data Factory／Notebook）を用いたデータ基盤構築
・Pythonによるデータ加工・ETL処理の開発
・データパイプラインの設計・実装
・Power BIとの連携によるデータ可視化支援
・既存データ基盤の改善・運用支援

・Microsoft Fabricの利用経験
・Pythonを用いたデータ処理開発経験
・SQLを用いたデータ抽出・加工経験
・クラウド環境（Azure／AWS／GCPいずれか）での開発経験
・データ基盤またはETL開発経験

Snowflakeを用いたデータ取込み処理・ELT処理・データマート作成
・ETL処理の開発
・単体テスト～総合テスト
※Phase2（6月以降）ではAWS連携対応の可能性あり

・Snowflake（Snowflake SQL・Snowpipe・Task・Copy into等の連携処理経験）※1年以上の経験が望ましい
・ETL／ELTの実装経験
・ストアドプロシージャの経験
・詳細設計～STまでの経験
・Python読解経験（既存処理がPythonのため）

ライブ配信事業における、Youtubeのデータ取得バッチ基盤リファクタリングおよびdbt移行に携わって頂きます。

目的

• StepFunctionsベースの既存バッチをk8sコンテナベース構成へ移行
• バッチシステムからdbt部分の分離
• 既存運用負荷軽減・可読性向上

業務内容

• Youtubeの既存バッチの保守
• StepFunction管理dbtの分離
• 既存バッチの処理フローの整理
• 新バッチ開発

人事、給与賞与、社会保険、税金などはCOMPANYで構築する。
ポータルサイト、外部システム 連携機能、統合人事DBはスクラッチで構築する。

＜システム環境及び技術面＞
・ポータルサイトはAWS上にSPAで画面をスクラッチで開発予定。
・フロントはReact、バックはJava SpringBoot想定。
・ETLツールはASTERIA WARPを採用する想定。

＜開発スケジュール＞
2026年1月～4月　要件定義（済）
2026年5月～5月　準備/立ち上げ(今回参画依頼)
2026年6月～2027年10月　基本設計～UAT　※詳細～単体工程はオフショアが担当
2027年11月～2028年1月　並行稼働
2028年1月～　本稼働

＜募集ポジション＞
・バッチチーム：3名（リーダー1名、メンバー2名）
・画面チーム　：2名（リーダー1名、メンバー1名）

・大手人材サービスを運営されているエンド様にてデータエンジニアとして参画していただきます。
・データベースをはじめ、多種多少なデータソースとデータ基盤を接続し、必要なデータを安全に取得してデータ基盤に保存します。
・データガバナンスの担当者と協力してデータに対して適切な加工を行い、安全な状態にしてユーザーに提供します。

【工程】
・要件定義（フロントに立ち非エンジニアである企画メンバーとの要件調整・折衝などからできること）
・設計
・製造、構築
・テスト

◆開発環境
AWS、Google Cloud、Databricks