データエンジニアの案件一覧

• AWSおよびSnowflakeを活用して構築されたデータ基盤の開発・保守業務
• 製造業界向けデータ利活用プラットフォームの安定運用と機能拡張

– Apache Iceberg Table / Catalog および Iceberg から Snowflake への連携に関する知見
– 日本語：ネイティブレベル、英語：読み書きレベル

Microsoft Fabricを用いたデータ分析基盤の構築およびデータ処理開発
・Microsoft Fabric（Lakehouse／Data Factory／Notebook）を用いたデータ基盤構築
・Pythonによるデータ加工・ETL処理の開発
・データパイプラインの設計・実装
・Power BIとの連携によるデータ可視化支援
・既存データ基盤の改善・運用支援

・Microsoft Fabricの利用経験
・Pythonを用いたデータ処理開発経験
・SQLを用いたデータ抽出・加工経験
・クラウド環境（Azure／AWS／GCPいずれか）での開発経験
・データ基盤またはETL開発経験

Snowflakeを用いたデータ取込み処理・ELT処理・データマート作成
・ETL処理の開発
・単体テスト～総合テスト
※Phase2（6月以降）ではAWS連携対応の可能性あり

・Snowflake（Snowflake SQL・Snowpipe・Task・Copy into等の連携処理経験）※1年以上の経験が望ましい
・ETL／ELTの実装経験
・ストアドプロシージャの経験
・詳細設計～STまでの経験
・Python読解経験（既存処理がPythonのため）

SAPからSQLServer、Databricks、Synapseへのシステム移行およびデータ移行作業をご担当いただきます。
2027年の本番稼働に向けたリハーサル作業、課題検討、移行ツールの開発、本番移行対応が主な業務です。
移行作業の閑散期には、通常の開発・保守作業をサポートいただく場合もございます。

DWHシステムの改修業務。他グループ会社のデータとの突合（名寄せ）対応を実施。

・DWHの構築または保守経験

ライブ配信事業における、Youtubeのデータ取得バッチ基盤リファクタリングおよびdbt移行に携わって頂きます。

目的

• StepFunctionsベースの既存バッチをk8sコンテナベース構成へ移行
• バッチシステムからdbt部分の分離
• 既存運用負荷軽減・可読性向上

業務内容

• Youtubeの既存バッチの保守
• StepFunction管理dbtの分離
• 既存バッチの処理フローの整理
• 新バッチ開発

プロジェクトリーダー候補として、データ分析基盤の構築～運用、展開、改善に関するエンジニアリング全般をご担当いただきます。
全社～プロジェクト別でのデータ分析業務、KPIマネジメント、アナリスト業務の支援を行っていただく想定です。

・データ分析基盤の設計/開発/運用、パフォーマンス改善をアジャイルプロジェクトにて実行
・AI～分析基盤・ビジネス・インテリジェンス運用支援
・プロジェクトの社外パートナーへの基盤環境導入・運用支援
・データ分析基盤に関する課題解決、新規技術調査と導入

化学品メーカーDWH/BI移行対応案件

■環境：
＜現環境＞
ソース：SAPECC6.0orスクラッチ
DWH：Oracle
BI：Jasper
ETL：Talend

＜新環境＞
ソース：S/4HANAorスクラッチ
DWH：AmazonRedshift
BI：AmazonQuickSight
ETL：Zero-ETL＋PL/SQL（ストアドプロシージャ）

・大手人材サービスを運営されているエンド様にてデータエンジニアとして参画していただきます。
・データベースをはじめ、多種多少なデータソースとデータ基盤を接続し、必要なデータを安全に取得してデータ基盤に保存します。
・データガバナンスの担当者と協力してデータに対して適切な加工を行い、安全な状態にしてユーザーに提供します。

【工程】
・要件定義（フロントに立ち非エンジニアである企画メンバーとの要件調整・折衝などからできること）
・設計
・製造、構築
・テスト

◆開発環境
AWS、Google Cloud、Databricks

AWS環境におけるAWS操作やトラブル時のログ確認など運用作業が中心。アプリ改修は行わない。