Digdagの案件一覧

位置情報プラットフォームを運営するエンドクライアントにてデータエンジニアを募集しております。

【背景と期待する役割】
顧客ごとやプロダクトごとにデータマート作成しているため、新規顧客が増えるごとにdbtを利用しデータパイプラインを整える必要があります。
組織の拡大のため要件の判断から一人称で行える即戦力の人材が必要になっております。

【業務スコープ】
・dbtを用いたデータモデリング
・dbtを用いたデータパイプラインの構築
・BigqueryからSnowflakeへの移行
※ご経験があれば

【体制】
7，8名程度（業務委託含む）

・データユーザーからの要求をくみとり的確なデータとフローの設計を行い、パイプラインの構築や
　パイプラインを動かすデータ分析基盤の運用保守を行っていただきます。

・Google Cloud、AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用と
　日々の運用業務から発生する課題の解決・改善を行っていただきます。

・BigQuery、Cloud Composer(Airflow)、Pythonの実務利用経験
・Embulk、DigDagの利用経験
・Linuxサーバの運用保守経験
・AWS、GCPいずれかのクラウドサービスの開発及び運用経験

上位クライアント（HR系）のデータマネジメント部署にてデータマート開発、基盤開発チーム（約10名）のリーダーポジションを担当いただきます。

データ分析/活用プロジェクトへ参画いただき、シニアデータエンジニアとしてデータマート開発実装をメインにご担当いただきつつ、技術リーダーとしてチームメンバーのサポート及び、データ要件の定義や調査、他部署との連携含めた顧客折衝をご担当いただきます。

【対応工程】
・分析用データマートの開発
　└データマート（テーブル）設計
　└SQL実装
　└バッチ処理実装
・社内メールシステムの保守運用
　└Python、SQL実装
・データマートの保守運用

【開発環境】
・データベース：Databricks、Redshift
・ワークフローエンジン：Airflow、Digdag
・プログラミング：Python
・インフラ：Azure、AWS
・コミュニケーション： Outlook・Teams・Slack・Backlog

・5名以上のチームリーダー経験 1年以上
・SQLを用いた分析用データマートの設計・開発・運用経験 3年以上
・Pythonを用いたデータハンドリングの経験 3年以上
・Webシステムに関する基本的な理解と業務開発経験

データユーザーからの要求をくみとり的確なデータとフローの設計を行い、パイプラインの構築やパイプラインを動かすデータ分析基盤の運用保守を行う。

・DWH層テーブルの設計
・DWH層テーブルのSQLおよびPySparkを用いた実装
・DWH層テーブルについての問い合わせ対応・不具合調査
・DWH層開発環境の設計・開発・保守・運用

機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築や、効率よくデータを捌くためのミドルウェア開発、インフラ構築など業務をおまかせします。
GCPデータ基盤とその活用案件、は既に多数存在するものの、さらなる拡充を狙った専門人材の募集となります。
IP(知的財産)ビジネスがドメインの事業会社において、全社へ大きな影響を与える分析部門にアサイン頂きます。

【業務スコープ】
分析官や機械学習エンジニアと連携しながら、速く安全に機械学習のサイクルを回せるML基盤の構築をお任せします。

■ ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■ ML基盤内へログデータを収集・蓄積・加工する、一連のデータパイプラインの設計/開発/運用

・クライアントグループ全社のデータパイプライン設計・実装及び実装委託
　(APIやパブリックデータの取得/整備)
・DWH管理業務 (欠損,Issue,申請等の対応)

【業務スコープ】
・Google Cloud Platformをバックエンドとするデータ分析基盤の開発・運用
・データ分析基盤と各事業部が有するデータを活用するための開発・運用
★データ分析基盤にデータを収集するETL/ELTパイプラインの開発・管理
・データ分析基盤でデータを集計するワークフローの開発
・技術調査

某ユニコーン企業様にて、データエンジニアとして下記業務に携わっていただく想定になります。

※スコープが広いためスキルに応じて依頼内容を調整。
【業務スコープ】

・データ基盤や分析基盤の開発、運用

・AWS/GCP等のクラウド基盤を活用し、機械学習パイプラインやBIツールで利用しやすいデータ構築のためのシステム設計・開発・運用

・ストリーミング処理開発、挿入されたデータを分析ログとしての価値を高めるパイプライン開発、CI/ CDも活用したインフラ構築の自動化

【案件概要】弊社クライアント（HR系）のデータサイエンス部署にてデータマート開発実務を担当いただきます。データマート開発実装をメインにご担当いただきますが、要件定義にてクライアントと直接コミュニケーションを取っていただく必要があります。
【具体的な業務内容】・分析用データマート開発　┗ 要件定義、データマート（テーブル）設計、SQL実装、テスト・バッチ基盤（digdag）の実装、運用保守・データエンジニアリング業務　┗ データの収集、加工、集計・データマートの保守運用・TableauのViz作成