データ基盤／DWHの案件一覧

インフラサービス展開企業にて、スマートメーターから取得する大量データの可視化エラーを解消するプロジェクトです。クラウドデータプラットフォームを用いて効率的なデータ加工を行い、新たにデータマートを構築して可視化ツールとの連携を最適化していただきます。

◆主な業務内容

• 課題解消に向けた、Snowflake上での大量データの加工・処理
• 可視化ツールで円滑に読み込めるようにするためのデータマートテーブルの新規設計・作成
• 名古屋および大阪の拠点（出張対応を含む）でのオンサイト業務および関係者調整

– SQLを用いた実務経験
– データベースでのデータ加工・データ処理技術
– 各種調整や連携を円滑に行えるコミュニケーション能力
– 名古屋および大阪の双方の拠点への行き来（出張・直行直帰等）が対応可能な方

サポート終了を迎える物理サーバー環境からパブリッククラウド環境へシステムを移転するプロジェクトです。現行の運用機能（自動実行管理、データ連携・変換、データ蓄積基盤）をクラウドの提供する各種マネージドサービスへ刷新する方針に沿って、調査、移行設計、実装、検証から移行作業までを一貫して担当していただきます。

■業務内容

• 既存環境（自動実行定義、データ連携処理、データベース資産）の調査と移行プロセスの策定
• クラウド移行先サービスの選定および構成設計
• 自動実行ジョブ、データ連携処理、データ蓄積用の構造定義に関する移行設計および実装
• データの初期移行および差分同期に関する設計と実行
• 検証計画の策定、および各種テスト（結合・性能・受入）の推進
• 本番移行計画の立案、移行作業の遂行、および運用プロセスの設計と引き継ぎ
• 複数の関連部門や外部パートナーとの連携、進捗管理および課題解決の推進

– 物理環境からパブリッククラウド環境への移行プロジェクトにおける設計から本番稼働までの実務経験
– 自動実行管理システム（ジョブスケジューラ等）の運用または移行に関する実務経験
– データ連携・変換を行うETLツールを用いた開発または移行に関する実務経験
– 大規模データ蓄積基盤（DWH等）の設計または移行に関する実務経験
– クラウド環境における各種インフラサービスやマネージドサービス（オブジェクトストレージ、アクセス権限管理、ネットワーク、データ処理等）の実務経験
– 複数の関係者との調整や課題管理を主体的に推進できるコミュニケーション能力

特定サービス展開企業における、主要なコミュニケーションシステムおよび受付システムの刷新に伴うデータベース（DB）領域の設計、構築、およびテスト対応を担当していただきます。システムの更改に合わせて、インフラ連携のための環境整備や、大規模データ蓄積のための設定、各種試験の環境準備などをDBの専門家として推進する役割です。

主な業務内容：
■ システム更改に伴うDB設計・設定業務

• 外部環境（AWS/GCP/Azure等のクラウド基盤）からDBへのアクセスを最適化するための構成・セキュリティ設定
• データ蓄積および分析に向けたDBのパラメータ調整・環境構築（詳細設計〜統合テストフェーズを想定）
  ■ 移行および各種試験対応
• システム移行に伴うテストの実施
• 性能試験や運用試験（非機能要件検証）に向けたDB環境の準備、および試験の遂行

– RDBMS（Oracle等）を用いたデータベースの設計および構築の実務経験
– DBリソース（データ領域配置やメモリ割り当て等）の拡張・縮小に関する専門知識
– プロジェクトを円滑に進めるための高いコミュニケーション能力と、主体的な行動力

データ分析プラットフォームを活用した、大規模データの統合および分析環境の構築支援をご担当いただきます。

主な業務内容

• 統合データプラットフォームを用いたデータパイプラインの設計・構築
• さまざまなデータソースからのデータ統合および分析用データマートの作成
• クラウド環境と連携したデータ分析基盤の運用・最適化支援

– 統合データプラットフォーム（Databricks等）を用いたデータ統合およびデータ分析の実務経験
– 主要クラウドサービス（AWS/GCP/Azure等）のデータ分析ソリューションを用いた開発・運用実務経験

• 既存のデータ統合・分析基盤における運用および改善支援業務。
• 基幹システムや周辺システムから連携されるデータを対象に、ETL処理、データモデリング、データマート設計などを担当します。

◆作業内容

• DWHへのデータ取り込み（ETL／ELT）の設計・開発・改修
• SQLを用いたデータ加工・集計処理
• データモデル（正規化／スター・スキーマ等）の設計・管理
• 既存ジョブ・処理の調査、性能改善、障害対応
• 関係部署との仕様確認・調整
• 保守運用に伴う定常作業、問い合わせ対応

– DWHまたはデータ基盤に関する実務経験
– SQLを用いたデータ抽出・加工の経験
– ETL処理（ツールまたはSQL／バッチ）の設計・開発経験
– RDB（Oracle）の利用経験
– チームでの開発・保守経験

• 共同システム基盤におけるDB（Oracle）の設計・構築業務

– Oracleクラスタ構成の設計/構築

• 金融機関における決算業務（国内基準および国際会計基準）の自動化を目指すプロジェクトです。
• 現在、国内基準向けのシステムはテストフェーズにあり、並行して国際基準対応の仕組みを新規に立ち上げます。
• 大量データを効率的に処理するためのETL処理を実装し、後続の各システムへデータを橋渡しする仕組みの設計から開発までを担います。

◆開発環境の傾向

• インフラ: AWS環境（AWS Glue, Amazon Redshift等）を活用したデータ基盤
• アプリケーション: Pythonを用いた開発、およびPySparkによる大規模データ分散処理

– ETL開発経験、Python

• 組織横断で利用されるデータサービスの改修および最適化を支援します。
• 既存のワークフロー管理環境からManaged Airflowへの移行作業を主導します。
• 分析に必要となるデータの調達から、システムの実装・リリース、提供後の運用・保守までを一貫して担当します。

◆主な業務内容

• データベースの操作およびApache AirflowからManaged Airflowへの移行対応
• データパイプラインの実装、リリース、および運用保守業務

– SQLを使用した業務経験
– Webシステム開発経験（Pythonだと尚可）
– コミュニケーション力

• AWSおよびSnowflakeを活用して構築されたデータ基盤の開発・保守業務
• 製造業界向けデータ利活用プラットフォームの安定運用と機能拡張

– Apache Iceberg Table / Catalog および Iceberg から Snowflake への連携に関する知見
– 日本語：ネイティブレベル、英語：読み書きレベル