データ基盤／DWHの案件一覧

データ分析プラットフォームを活用した、大規模データの統合および分析環境の構築支援をご担当いただきます。

主な業務内容

• 統合データプラットフォームを用いたデータパイプラインの設計・構築
• さまざまなデータソースからのデータ統合および分析用データマートの作成
• クラウド環境と連携したデータ分析基盤の運用・最適化支援

– 統合データプラットフォーム（Databricks等）を用いたデータ統合およびデータ分析の実務経験
– 主要クラウドサービス（AWS/GCP/Azure等）のデータ分析ソリューションを用いた開発・運用実務経験

• 共同システム基盤におけるDB（Oracle）の設計・構築業務

– Oracleクラスタ構成の設計/構築

• 金融機関における決算業務（国内基準および国際会計基準）の自動化を目指すプロジェクトです。
• 現在、国内基準向けのシステムはテストフェーズにあり、並行して国際基準対応の仕組みを新規に立ち上げます。
• 大量データを効率的に処理するためのETL処理を実装し、後続の各システムへデータを橋渡しする仕組みの設計から開発までを担います。

◆開発環境の傾向

• インフラ: AWS環境（AWS Glue, Amazon Redshift等）を活用したデータ基盤
• アプリケーション: Pythonを用いた開発、およびPySparkによる大規模データ分散処理

– ETL開発経験、Python

• 組織横断で利用されるデータサービスの改修および最適化を支援します。
• 既存のワークフロー管理環境からManaged Airflowへの移行作業を主導します。
• 分析に必要となるデータの調達から、システムの実装・リリース、提供後の運用・保守までを一貫して担当します。

◆主な業務内容

• データベースの操作およびApache AirflowからManaged Airflowへの移行対応
• データパイプラインの実装、リリース、および運用保守業務

– SQLを使用した業務経験
– Webシステム開発経験（Pythonだと尚可）
– コミュニケーション力

• AWSおよびSnowflakeを活用して構築されたデータ基盤の開発・保守業務
• 製造業界向けデータ利活用プラットフォームの安定運用と機能拡張

– Apache Iceberg Table / Catalog および Iceberg から Snowflake への連携に関する知見
– 日本語：ネイティブレベル、英語：読み書きレベル

Microsoft Fabricを用いたデータ分析基盤の構築およびデータ処理開発
・Microsoft Fabric（Lakehouse／Data Factory／Notebook）を用いたデータ基盤構築
・Pythonによるデータ加工・ETL処理の開発
・データパイプラインの設計・実装
・Power BIとの連携によるデータ可視化支援
・既存データ基盤の改善・運用支援

・Microsoft Fabricの利用経験
・Pythonを用いたデータ処理開発経験
・SQLを用いたデータ抽出・加工経験
・クラウド環境（Azure／AWS／GCPいずれか）での開発経験
・データ基盤またはETL開発経験

Snowflakeを用いたデータ取込み処理・ELT処理・データマート作成
・ETL処理の開発
・単体テスト～総合テスト
※Phase2（6月以降）ではAWS連携対応の可能性あり

・Snowflake（Snowflake SQL・Snowpipe・Task・Copy into等の連携処理経験）※1年以上の経験が望ましい
・ETL／ELTの実装経験
・ストアドプロシージャの経験
・詳細設計～STまでの経験
・Python読解経験（既存処理がPythonのため）

SAPからSQLServer、Databricks、Synapseへのシステム移行およびデータ移行作業をご担当いただきます。
2027年の本番稼働に向けたリハーサル作業、課題検討、移行ツールの開発、本番移行対応が主な業務です。
移行作業の閑散期には、通常の開発・保守作業をサポートいただく場合もございます。

・全社データ分析基盤のアーキテクチャ設計・構築
・データレイク / DWH（BigQuery）基盤の設計・運用
・ETL / ELTパイプラインの設計・開発
・クロスクラウドデータ連携（OCI → GCP）の設計・実装
・データモデリング（OBT / mart）の設計
・Terraformを用いたIaCによるインフラ管理
・データ基盤に関わるネットワーク・セキュリティ設計（IAM / VPC / データガバナンス）
・AIデータアクセス基盤（MCP / Agent）の構築

◆主な開発環境・ツール
-Cloud
Google Cloud（BigQuery / GCS / STS / VPC-SC / IAM）
Oracle Cloud（Exadata / Data Flow）

-Data
SQL / Python
Apache Spark / Apache Beam
Parquet / Iceberg
dbt core

-Infra / DevOps
Terraform
GitHub

-AI / Data Access
MCP Server
Agent / RAG