ETLの案件一覧

・大手人材サービスを運営されているエンド様にてデータエンジニアとして参画していただきます。
・データベースをはじめ、多種多少なデータソースとデータ基盤を接続し、必要なデータを安全に取得してデータ基盤に保存します。
・データガバナンスの担当者と協力してデータに対して適切な加工を行い、安全な状態にしてユーザーに提供します。

【工程】
・要件定義（フロントに立ち非エンジニアである企画メンバーとの要件調整・折衝などからできること）
・設計
・製造、構築
・テスト

◆開発環境
AWS、Google Cloud、Databricks

官公庁、自治体、公共インフラ関連のシステム開発・再構築・運用保守案件において、DBの設計・開発、品質管理を担えるDBエンジニア候補を募集します。
データ基盤の根幹を担うDBエンジニアとして、システムのデータモデリングから内部ロジックの開発、データ連携基盤（ETL）の構築までを一貫してご担当いただく想定です。

制度要件や業務要件を正確に理解しつつ、調整負荷の高い案件や整理し切れていない現場でも、スピード感と柔軟性を持って案件を前に進められる方を求めます。
リモートメインの想定ですが、エンド企業の要請があれば必要に応じて都内オンサイトが発生する想定です。

業務内容については商談時に開示想定

・SQLでの開発経験
・PostgreSQL または SQL Serverの設計経験
・ER図作成経験
・正規化設計経験
・ビュー / ストアド設計経験
・ETL設計経験

ライブ配信事業における、データ基板の設計業務に携わっていただきます。

・Trocco / dbt を用いたETLパイプラインの設計・改善
・Snowflakeのロール・権限設計、マスキングポリシー・タグ伝播の実装支援
・データ基盤の開発標準策定・ドキュメント整備

【開発環境】
使用言語: Python, SQL, HCL（Terraform）
ETL：dbt, Trocco
データストア: MySQL, snowflake
インフラ: AWS, GCP
プロジェクト管理ツール: GitHub, Slack, Notion

ユーザーがTableau等によるデータ活用するにあたり、データ抽出・加工等に係る性能改善の支援。
※4月以降、Talendの処理性能改善に関わる領域に拡大する予定

通信企業向けの既存システムの廃止に伴い、Snowflakeを活用したDWH上でのデータ加工処理・アプリケーション開発を行う案件です。

・Salesforce等の複数データソースからSnowflakeへ取り込まれたデータを加工・集約する処理の実装
・Snowflake上のデータを用いて、既存システムで提供していたデータサービス／帳票機能の再構築（リファクタリング）
※基盤は別チームが担当

【担当業務】
・Snowflake上でのデータ加工・集計処理（SQL中心）の設計・実装
・Python／Shell等を用いたバッチ処理の開発
・既存設計書・データ仕様書の読解、データ構造の整理
・実装方針・仕様について顧客と調整

データ加工・クレンジング（SQLを用いた抽出・変換・統合）
データ整備に伴う検証・不整合調査
クライアント要件の確認および折衝（要件ヒアリング・調整対応）
データ移行計画書・手順書等のドキュメント作成

異動案チェック機能の機能追加開発および保守作業
-SQLを使用した異動案チェック業務ロジック作成
-LaKeelETLを使用したバッチ作成
-マスタデータの更新"

■環境：
・言語：SQL、VBA
・DBMS：OracleEXADATA(Oracle19c)
・ツール：LaKeelETL（ETLツール）、エクセル

データエンジニアとして主に以下の業務に携わっていただきます。
・各国・各拠点で利用されているERPや業務システムからデータを集約し、データ基盤の設計、構築、運用を技術面からリードする
・クラウド環境上でのデータウェアハウス/データレイクのアーキテクチャ設計、技術選定、実装方針の策定を担い財務・原価・生産・販売などの基幹業務データを、グローバルで横断的に扱えるデータ基盤として構築する
・ETL/ELT処理の設計・開発、BIツールを活用したダッシュボード・レポート提供などデータ利活用の促進に携わる

■開発環境■
Snowflake、PowerBI

・クラウド環境(AWS、Azure、GCP 等)におけるデータ基盤のアーキテクチャ設計・開発・運用経験
・SQLを用いたデータ設計・分析経験(業務データを理解した上での設計)
・ETL/ELTパイプラインの設計・実装経験
・技術的な内容を業務部門・関係者に分かりやすく説明し、合意形成を行った経験

既存システムで使用しているSAPオンプレ環境をSAP RISE環境（クラウド）へ移行する上で、Infomaticaを使用した既存のデータ連携が動作するかの検証の実施。
既存方式が動作しない場合もしくは、既存方式より最適な方式がある場合、
新方式でのInromaticaでのデータ連携の開発・検証の実施。

既存システムで使用しているSAPオンプレ環境をSAP RISE環境（クラウド）へ移行する上で、Infomaticaを使用した既存のデータ連携が動作するかの検証の実施。
既存方式が動作しない場合もしくは、既存方式より最適な方式がある場合、
新方式でのInromaticaでのデータ連携の開発・検証の実施。