Digdagの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数:8

Digdagの案件を探す

案件内容

データユーザーからの要求をくみとり的確なデータとフローの設計を行い、パイプラインの構築やパイプラインを動かすデータ分析基盤の運用保守を行う。

必須スキル
・クラウドデータ基盤サービスでの開発運用保守経験(特にBigQueryの経験があると良い)
・データ基盤運用の範囲におけるSQL(DDL/DML、CTE、副問い合わせ、information_schemaの利用、など)
・Linux / ネットワークの基礎知識(Linuxサーバの運用保守経験があると良い)

 

以下技術要素参照(*が特に重要)
– ETL/ELTツール
– *Embulk
– trocco
– digdag
– BIツール
– Redashなど
– GoogleCloud
– *BigQuery
– Cloud Storage(updated)
– Data Transfer
– IAM
– Cloud Monitoring / Cloud Logging
– その他
– *Linux
– *Bash
– Git
案件内容

・DWH層テーブルの設計
・DWH層テーブルのSQLおよびPySparkを用いた実装
・DWH層テーブルについての問い合わせ対応・不具合調査
・DWH層開発環境の設計・開発・保守・運用

必須スキル
・実務でのSQL利用経験(1年以上)
・実務でのDWH・データマートの構築経験(1年以上)
・実務でのプログラミング経験(2年以上)
・クラウド環境のDWH利用経験
・git/GitHubの利用経験
・チケット管理 (JIRA, backlog等) での開発経験
案件内容

機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築や、効率よくデータを捌くためのミドルウェア開発、インフラ構築など業務をおまかせします。
GCPデータ基盤とその活用案件、は既に多数存在するものの、さらなる拡充を狙った専門人材の募集となります。
IP(知的財産)ビジネスがドメインの事業会社において、全社へ大きな影響を与える分析部門にアサイン頂きます。

【業務スコープ】
分析官や機械学習エンジニアと連携しながら、速く安全に機械学習のサイクルを回せるML基盤の構築をお任せします。

■ ビジネス課題と要求の整理(案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる)
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用(アプリ開発側との連携)
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■ ML基盤内へログデータを収集・蓄積・加工する、一連のデータパイプラインの設計/開発/運用

必須スキル
・Infrastructure as CodeおよびCI/CDの経験
・Pythonなどを利用した開発経験
・GCPでの開発経験
・コンテナ技術(Docker)を用いた開発経験
・ワークフローの構築経験(Digdag / Airflow etc.)
案件内容

・クライアントグループ全社のデータパイプライン設計・実装及び実装委託
 (APIやパブリックデータの取得/整備)
・DWH管理業務 (欠損,Issue,申請等の対応)

【業務スコープ】
・Google Cloud Platformをバックエンドとするデータ分析基盤の開発・運用
・データ分析基盤と各事業部が有するデータを活用するための開発・運用
★データ分析基盤にデータを収集するETL/ELTパイプラインの開発・管理
・データ分析基盤でデータを集計するワークフローの開発
・技術調査

必須スキル
・ 複雑なSQLを用いたデータ抽出経験
・ ETL/ELTのデータパイプライン設計/構築
・ワークフローの構築経験(Digdag / Airflow etc.)
・ GCPでの開発経験
案件内容 ・分析用データマート開発 ┗ 要件定義、データマート(テーブル)設計、SQL実装、テスト ・バッチ基盤(digdag)の実装、運用保守 ・データエンジニアリング業務 ┗ データの収集、加工、集計 ・データマートの保守運用 ・TableauのViz作成 【概要】 クライアント内のデータサイエンス部署にてデータマート開発実務を担当いただきます。 データマート開発実装をメインにご担当いただきますが、要件定義にてクライアントと直接コミュニケーションを取っていただく必要があります。
必須スキル
・データマート設計
・Redshift、BigQueryでの大量データのハンドリング(SQL実装、データマート設計)経験
・クラウド(AWS、GCP)、オープンソース(digdag、git)
・要件定義
案件内容

某ユニコーン企業様にて、データエンジニアとして下記業務に携わっていただく想定になります。

※スコープが広いためスキルに応じて依頼内容を調整。
【業務スコープ】

・データ基盤や分析基盤の開発、運用

・AWS/GCP等のクラウド基盤を活用し、機械学習パイプラインやBIツールで利用しやすいデータ構築のためのシステム設計・開発・運用

・ストリーミング処理開発、挿入されたデータを分析ログとしての価値を高めるパイプライン開発、CI/ CDも活用したインフラ構築の自動化

必須スキル
・コンピュータサイエンス関連の学位、または1年以上のWebサービスのサーバサイド開発運用経験
・AWSやGCPなどのクラウド利用経験
・バッチ設計、開発経験
案件内容

【案件概要】弊社クライアント(HR系)のデータサイエンス部署にてデータマート開発実務を担当いただきます。データマート開発実装をメインにご担当いただきますが、要件定義にてクライアントと直接コミュニケーションを取っていただく必要があります。
【具体的な業務内容】・分析用データマート開発 ┗ 要件定義、データマート(テーブル)設計、SQL実装、テスト・バッチ基盤(digdag)の実装、運用保守・データエンジニアリング業務 ┗ データの収集、加工、集計・データマートの保守運用・TableauのViz作成

必須スキル
・データマート設計
・Redshift、BigQueryでの大量データのハンドリング(SQL実装、データマート設計)経験
・クラウド(AWS、GCP)、オープンソース(digdag、git)
・要件定義
案件内容

・バンダイナムコエンターテインメントのデータパイプライン設計・実装及び実装委託・DWH管理業務 (欠損,Issue,申請等の対応)・技術調査
【業務スコープ】・Google Cloud Platformをバックエンドとするデータ分析基盤の開発・運用・データ分析基盤と各事業部が有するデータを活用するための開発・運用・データ分析基盤にデータを収集するETL/ELTパイプラインの開発・データ分析基盤でデータを集計するワークフローの開発・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)・技術調査

必須スキル
1. SQLを用いたデータ抽出経験
2. Go、Java、Pythonなどを利用した開発経験
3. ETL/ELTのデータパイプライン設計/構築
4. ワークフローの構築経験(Digdag / Airflow etc.)
5. 監視ツールの導入・運用経験
6. Infrastructure as CodeおよびCI/CDの経験
7. コンテナ技術(Docker/Kubernetes)を用いた開発経験
8. GCPでの開発経験
9. データマネジメント(DMBOK)に関する理解や実践経験

検索結果8件中1-8件