ETLの案件一覧

通信企業向けの既存システムの廃止に伴い、Snowflakeを活用したDWH上でのデータ加工処理・アプリケーション開発を行う案件です。

・Salesforce等の複数データソースからSnowflakeへ取り込まれたデータを加工・集約する処理の実装
・Snowflake上のデータを用いて、既存システムで提供していたデータサービス／帳票機能の再構築（リファクタリング）
※基盤は別チームが担当

【担当業務】
・Snowflake上でのデータ加工・集計処理（SQL中心）の設計・実装
・Python／Shell等を用いたバッチ処理の開発
・既存設計書・データ仕様書の読解、データ構造の整理
・実装方針・仕様について顧客と調整

データ加工・クレンジング（SQLを用いた抽出・変換・統合）
データ整備に伴う検証・不整合調査
クライアント要件の確認および折衝（要件ヒアリング・調整対応）
データ移行計画書・手順書等のドキュメント作成

異動案チェック機能の機能追加開発および保守作業
-SQLを使用した異動案チェック業務ロジック作成
-LaKeelETLを使用したバッチ作成
-マスタデータの更新"

■環境：
・言語：SQL、VBA
・DBMS：OracleEXADATA(Oracle19c)
・ツール：LaKeelETL（ETLツール）、エクセル

データエンジニアとして主に以下の業務に携わっていただきます。
・各国・各拠点で利用されているERPや業務システムからデータを集約し、データ基盤の設計、構築、運用を技術面からリードする
・クラウド環境上でのデータウェアハウス/データレイクのアーキテクチャ設計、技術選定、実装方針の策定を担い財務・原価・生産・販売などの基幹業務データを、グローバルで横断的に扱えるデータ基盤として構築する
・ETL/ELT処理の設計・開発、BIツールを活用したダッシュボード・レポート提供などデータ利活用の促進に携わる

■開発環境■
Snowflake、PowerBI

・クラウド環境(AWS、Azure、GCP 等)におけるデータ基盤のアーキテクチャ設計・開発・運用経験
・SQLを用いたデータ設計・分析経験(業務データを理解した上での設計)
・ETL/ELTパイプラインの設計・実装経験
・技術的な内容を業務部門・関係者に分かりやすく説明し、合意形成を行った経験

既存システムで使用しているSAPオンプレ環境をSAP RISE環境（クラウド）へ移行する上で、Infomaticaを使用した既存のデータ連携が動作するかの検証の実施。
既存方式が動作しない場合もしくは、既存方式より最適な方式がある場合、
新方式でのInromaticaでのデータ連携の開発・検証の実施。

既存システムで使用しているSAPオンプレ環境をSAP RISE環境（クラウド）へ移行する上で、Infomaticaを使用した既存のデータ連携が動作するかの検証の実施。
既存方式が動作しない場合もしくは、既存方式より最適な方式がある場合、
新方式でのInromaticaでのデータ連携の開発・検証の実施。

DWH/BI領域における業務支援および分析基盤の構築・運用改善をご担当いただきます。

・既存集計フローの自動化・効率化
・既存帳票（Excel, CSV）からのSQL作成、BI（QuickSight）での可視化・分析
・AWS（Glue, Athena等）を用いたETL処理、データレイク・データマートの構築
・既存のデータ分析基盤の改修・運用保守

◆主な開発環境・ツール◆
・言語：Python (PySpark, pandas), Power Query, VBA, SQL
・DB/DWH：AWS Athena, Glue Data Catalog, AWS RDS (SQLServer), S3
・BIツール：QuickSight
・環境：AWS Lambda
・管理ツール：GitHub

現行のパッケージシステムはドキュメントが不足している為、
ウォーターフォール開発で全体的な改修を行います。
その際のデータ移行業務を担当いただきます

通信事業者向けデータ統合システムを主体としたデータマート構築および、BIツールによる可視化業務を担当。

データエンジニアの立ち位置として、設計・構築業務に加え、部分的に顧客調整も実施。
Tableau Prepを用いたデータ加工・統合処理の実装、進捗・課題管理、会議体での報告対応を通じて、データ基盤の品質向上を支援する。

データ連携チームメンバの運用保守引継ぎを行う

・Python：データ処理、ETLスクリプト作成、自動化
※Pythonに関しては、前向きに覚えていただける方であれば、問題ありません。
・GitHub：コード管理、バージョン管理、CI/CDパイプライン運用。
・Linux：サーバー管理、シェルスクリプト、（bash）、ログ解析
・TeraTerm：SSH接続でのサーバー操作、環境設定、トラブルシューティング。