Apache Airflowの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数:20

Apache Airflowの案件を探す

案件内容

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
(Webサイト等その他サービス)

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。(BigQueryなど)
インフラ管理:terraform
パイプライン構築:Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等

必須スキル
1. SQLを用いたデータ抽出経験
2. Go、Java、Pythonなどを利用した開発経験
3. ETL/ELTのデータパイプライン設計/構築
4. ワークフローの構築経験(Digdag / Airflow etc.)
5. 監視ツールの導入・運用経験
6. Infrastructure as CodeおよびCI/CDの経験
7. コンテナ技術(Docker/Kubernetes)を用いた開発経験
8. GCPでの開発経験
9. データマネジメント(DMBOK)に関する理解や実践経験
案件内容

位置情報プラットフォームを運営するエンドクライアントにてデータエンジニアを募集しております。

【背景と期待する役割】
顧客ごとやプロダクトごとにデータマート作成しているため、新規顧客が増えるごとにdbtを利用しデータパイプラインを整える必要があります。
組織の拡大のため要件の判断から一人称で行える即戦力の人材が必要になっております。

【業務スコープ】
・dbtを用いたデータモデリング
・dbtを用いたデータパイプラインの構築
・BigqueryからSnowflakeへの移行
※ご経験があれば

【体制】
7,8名程度(業務委託含む)

必須スキル
・AirflowやDigdagを用いてデータパイプラインの構築を構築されたご経験
・データパイプラインを要件定義から実装までを一人称で遂行したご経験
案件内容

・データユーザーからの要求をくみとり的確なデータとフローの設計を行い、パイプラインの構築や
 パイプラインを動かすデータ分析基盤の運用保守を行っていただきます。

・Google Cloud、AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用と
 日々の運用業務から発生する課題の解決・改善を行っていただきます。

必須スキル

・BigQuery、Cloud Composer(Airflow)、Pythonの実務利用経験
・Embulk、DigDagの利用経験
・Linuxサーバの運用保守経験
・AWS、GCPいずれかのクラウドサービスの開発及び運用経験

案件内容

・Flask/Python/SQLを活用した、業務ロジックおよびアプリ開発
・機械学習を用いた需要予測モデル開発(ベースモデルあり)
・需要予測モデルの精度検証
・需要予測モデル業務適用におけるシミュレーション
・需要予測モデルの運用開発

必須スキル

・基本的なクエリの作成
・Pythonによるデータ加工・機械学習※必須
・基本的なシェルスクリプトの作成
・お客様に寄り添う心持ち
・GCP/BQを用いた集計
・Flaskなどのwebフレームワーク利用経験

案件内容

上位クライアント(HR系)のデータマネジメント部署にてデータマート開発、基盤開発チーム(約10名)のリーダーポジションを担当いただきます。

データ分析/活用プロジェクトへ参画いただき、シニアデータエンジニアとしてデータマート開発実装をメインにご担当いただきつつ、技術リーダーとしてチームメンバーのサポート及び、データ要件の定義や調査、他部署との連携含めた顧客折衝をご担当いただきます。

【対応工程】
・分析用データマートの開発
 └データマート(テーブル)設計
 └SQL実装
 └バッチ処理実装
・社内メールシステムの保守運用
 └Python、SQL実装
・データマートの保守運用

【開発環境】
・データベース:Databricks、Redshift
・ワークフローエンジン:Airflow、Digdag
・プログラミング:Python
・インフラ:Azure、AWS
・コミュニケーション: Outlook・Teams・Slack・Backlog

必須スキル

・5名以上のチームリーダー経験 1年以上
・SQLを用いた分析用データマートの設計・開発・運用経験 3年以上
・Pythonを用いたデータハンドリングの経験 3年以上
・Webシステムに関する基本的な理解と業務開発経験

案件内容

概要:
需要予測モデルをEC2上の分析環境で動かしているJupyterコードでの運用になっており、様々な問題が生じている。
SageMakerの実装を進めていただきます。

依頼内容:

  1. 実験環境の整備:既存の実験環境のSageMaker上への移行。
  2. Training/Inferenceパイプラインコードの作成
  3. CI/CD環境の構築
  4. その他追加作業

環境:
SageMaker, Snowflake, Snowpark, Streamlit

必須スキル
・Python(3年以上のコーディング経験(Jupyter Notebook上でのモデル開発))
・SageMakerを含むAWSでのMLops構築経験
案件内容

・DWH層テーブルの設計
・DWH層テーブルのSQLおよびPySparkを用いた実装
・DWH層テーブルについての問い合わせ対応・不具合調査
・DWH層開発環境の設計・開発・保守・運用

必須スキル
・実務でのSQL利用経験(1年以上)
・実務でのDWH・データマートの構築経験(1年以上)
・実務でのプログラミング経験(2年以上)
・クラウド環境のDWH利用経験
・git/GitHubの利用経験
・チケット管理 (JIRA, backlog等) での開発経験
案件内容

基幹システムからGCPへの取り込み処理およびGCP内でのデータマートの開発運用保守を実施

必須スキル
– SQLによるデータ加工経験(とくに複数テーブルの結合~加工)
– データマート作成経験
– GCP/AirFlowよるバッチ処理経験
案件内容

【募集背景】
社内のデータパイプラインの設計・開発や運用フローの構築などに関連する業務を行うData Engineeringチームにおいて
主にデータのクレンジング業務を行っていただきます。
チームの所属に関わらず、データのライフサイクル全体に関わることができます。

【業務内容】
・データの戦略、活用方法、データによる競争優位性の設計
・Dataflow, GCS, BigQuery等を利用した、データパイプラインの設計・開発と運用フローの構築
・アプリやIoTからのログ収集やその設計
・BIツールやデータ出力機能などの開発・運用
・データガバナンスのポリシー設計、実装

必須スキル
・ BigQueryをはじめとしたSQLを用いたデータ加工経験
・Webサービスなどでアプリやサーバーなどのソフトウェアエンジニアリング経験・チーム開発経験
・データ関連チームでの業務経験

検索結果20件中1-10件