Digdagの案件一覧

様々なWEBサービス（月間数千万ユーザー利用）を提供している社内において横串組織として、事業部側と連携しながらデータ基盤の構築・運用を担当しているチームです。事業部側に払い出すGoogle Cloudのプロジェクト自体も管理し、事業部のデータはオン
プレミスサーバー上にあります。セキュアで信頼性の高く、自動化されたデータ基盤構築の実現を目指しています。

求める人物像
セキュアで信頼性の高いデータ基盤の構築・運用を行える方
・アクセスコントロールやセキュリティ境界を意識した設計ができる方
・複数の事業部が利用する基盤を高い視座で効率的な設定、自動化、ルール作りをできる方
新しい技術に対する学習意欲が高い方
・パブリッククラウド、特にGoogle Cloudのキャッチアップを継続的に行っている方
・インフラの知識をベースとして、データエンジニアリングにも興味を持っている方
・Claude Code、Cursor、Devin、Difyなどの生成AIを利用したツールを積極的に利用している方
課題解決に必要なコミュニケーション能力を持っている方
・チームメンバーと協力して課題解決に取り組める方
・事業部との調整や折衝をする際に、エンジニアリング知識が乏しい人とも前向きにコミュニケーションを取れる方

様々なWEBサービス（月間数千万ユーザー利用）を提供している社内において各業務に対してAIを活用した様々な改善を行っています。
技術的な横串組織として、事業部側と連携しながらデータ基盤の構築・運用を担当しています。データエンジニアリングの知識に加えて、GCP のアクセスコントロールやセキュリティ境界設計を理解し、セキュアで効率的なデータ基盤の実現を目指しています。

求める人物像

• データエンジニアリングとインフラ/SRE の両方の視点を持ち、セキュアなデータ基盤の構築・運用に情熱を持っている方
• アクセスコントロールやセキュリティ境界を意識した設計ができる方
• データ処理の効率性とセキュリティのバランスを考えられる方
• 新しい技術に対する学習意欲が高い方
• Claude Code や Cursor 等のコーディングエージェントを利用している方
• チームメンバーと協力して課題解決に取り組める方
• 事業部との調整や折衝を前向きに行える方

・Google Cloud の実務経験
– BigQuery の実務経験。特に GCS に配置したファイルを参照した外部テーブルへの理解および構築経験
– gcloud コマンドでのリソースの追加変更削除の操作
・Google Cloud でのアクセスコントロールの実務経験
– プロジェクトの新規作成や IAM による最小権限の原則を理解した上でのアクセスコントロールの設計・実装経験
– VPC Service Control によるセキュリティ境界設計の経験
・Terraform を用いた IaC 実装経験
– Google Cloud のリソースを対象とした IaC の実務経験
– ディレクトリ構成の設計経験
・Docker の実務経験
– コンテナ化されたアプリケーションの構築・運用経験
– Artifact Registry を使ったコンテナイメージの管理経験
・SQL の実務経験
– BigQuery での SQL 実務経験
– PostgreSQL、MySQL、SQL Server での基本的な SQL の読み書き
・データ基盤またはデータパイプラインの構築・運用経験
– ETL/ELT 処理の理解
– アクセスコントロールを考慮したデータ基盤の設計経験
・シェルスクリプト
– gcloud コマンド、Digdag、Embulk を使ったシェルスクリプト構築経験

広告系システムの追加開発と保守支援
・広告配信プラットフォーム（Google／Meta等）と連携するシステムの開発および運用改善
・APIを活用した入稿自動化、データ取得、レポーティング機能の開発・保守
・既存構成をベースとした新機能の追加開発、運用効率化に向けた改修

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等

秒間25万リクエストを超える動画配信をはじめとした視聴に関するビッグデータの収集・整形・蓄積まで一貫して行なっていただきます。

【業務内容】
ビッグデータ基盤におけるデータの収集、データレイクからデータウェアハウス／データマートまでのワークフローの開発・運用をお任せします。
ご自身のアイディア・工夫をカジュアルに提案しプロダクトに反映していただける環境であり、単純に作るのではなく価値を提供することを重視しております。
データ基盤はGCP（Google Cloud Platform）を主軸とし、サブシステムにはAWS（Amazon Web Services）を部分的に採用した構成。日々進化するクラウドサービスをキャッチアップし最適な構成に随時進化し続けています。
今後もさらに安定してバージョンアップやスケーラビリティ・パフォーマンス改善を重ねるため、その開発の中核を担っていただくデータエンジニアを募集しております。

【開発環境】
■主要開発技術：GCP（Google Cloud Platform）環境でのワークフロー開発
■開発言語：Python, JavaScript, SQL
■クラウドプラットフォーム : Googleクラウド（BigQuery, Dataform, Workflows, CloufdFunctions, CloudRun）
■データ収集 : Fastly
■データウェアハウス : BigQuery
■コミュニケーションツール：Slack
■開発手法：アジャイル（一部ウォーターフォール）
■開発支援ツール・環境：GitHub, GitHub Actions（CI/CD）
■構成管理 : Terraform
■エディタ/IDE：VSCode Vim（＊お好みのエディタを使用していただいてOKです。）

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

・増員のための募集ですが、チームを技術で引っ張ることのできる中堅レベル、リーダポジションとなれる方をお願いしたいと考えております。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等

位置情報プラットフォームを運営するエンドクライアントにてデータエンジニアを募集しております。

【背景と期待する役割】
顧客ごとやプロダクトごとにデータマート作成しているため、新規顧客が増えるごとにdbtを利用しデータパイプラインを整える必要があります。
組織の拡大のため要件の判断から一人称で行える即戦力の人材が必要になっております。

【業務スコープ】
・dbtを用いたデータモデリング
・dbtを用いたデータパイプラインの構築
・BigqueryからSnowflakeへの移行
※ご経験があれば

【体制】
7，8名程度（業務委託含む）

・データユーザーからの要求をくみとり的確なデータとフローの設計を行い、パイプラインの構築や
　パイプラインを動かすデータ分析基盤の運用保守を行っていただきます。

・Google Cloud、AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用と
　日々の運用業務から発生する課題の解決・改善を行っていただきます。

・BigQuery、Cloud Composer(Airflow)、Pythonの実務利用経験
・Embulk、DigDagの利用経験
・Linuxサーバの運用保守経験
・AWS、GCPいずれかのクラウドサービスの開発及び運用経験

上位クライアント（HR系）のデータマネジメント部署にてデータマート開発、基盤開発チーム（約10名）のリーダーポジションを担当いただきます。

データ分析/活用プロジェクトへ参画いただき、シニアデータエンジニアとしてデータマート開発実装をメインにご担当いただきつつ、技術リーダーとしてチームメンバーのサポート及び、データ要件の定義や調査、他部署との連携含めた顧客折衝をご担当いただきます。

【対応工程】
・分析用データマートの開発
　└データマート（テーブル）設計
　└SQL実装
　└バッチ処理実装
・社内メールシステムの保守運用
　└Python、SQL実装
・データマートの保守運用

【開発環境】
・データベース：Databricks、Redshift
・ワークフローエンジン：Airflow、Digdag
・プログラミング：Python
・インフラ：Azure、AWS
・コミュニケーション： Outlook・Teams・Slack・Backlog

・5名以上のチームリーダー経験 1年以上
・SQLを用いた分析用データマートの設計・開発・運用経験 3年以上
・Pythonを用いたデータハンドリングの経験 3年以上
・Webシステムに関する基本的な理解と業務開発経験