• フリーランス案件一覧

Apache Airflowの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数：29件

Apache Airflowの案件を探す

【SQLなど】データエンジニア業務の求人・案件

リモート
案件内容

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等
必須スキル
1. SQLを用いたデータ抽出経験
2. Go、Java、Pythonなどを利用した開発経験
3. ETL/ELTのデータパイプライン設計/構築
4. ワークフローの構築経験（Digdag / Airflow etc.）
5. 監視ツールの導入・運用経験
6. Infrastructure as CodeおよびCI/CDの経験
7. コンテナ技術（Docker/Kubernetes）を用いた開発経験
8. GCPでの開発経験
9. データマネジメント（DMBOK）に関する理解や実践経験

【Python/SQL】データエンジニア（ビッグデータの収集・整形・蓄積）の求人・案件

リモート
案件内容

秒間25万リクエストを超える動画配信をはじめとした視聴に関するビッグデータの収集・整形・蓄積まで一貫して行なっていただきます。

【業務内容】
ビッグデータ基盤におけるデータの収集、データレイクからデータウェアハウス／データマートまでのワークフローの開発・運用をお任せします。
ご自身のアイディア・工夫をカジュアルに提案しプロダクトに反映していただける環境であり、単純に作るのではなく価値を提供することを重視しております。
データ基盤はGCP（Google Cloud Platform）を主軸とし、サブシステムにはAWS（Amazon Web Services）を部分的に採用した構成。日々進化するクラウドサービスをキャッチアップし最適な構成に随時進化し続けています。
今後もさらに安定してバージョンアップやスケーラビリティ・パフォーマンス改善を重ねるため、その開発の中核を担っていただくデータエンジニアを募集しております。

【開発環境】
■主要開発技術：GCP（Google Cloud Platform）環境でのワークフロー開発
■開発言語：Python, JavaScript, SQL
■クラウドプラットフォーム : Googleクラウド（BigQuery, Dataform, Workflows, CloufdFunctions, CloudRun）
■データ収集 : Fastly
■データウェアハウス : BigQuery
■コミュニケーションツール：Slack
■開発手法：アジャイル（一部ウォーターフォール）
■開発支援ツール・環境：GitHub, GitHub Actions（CI/CD）
■構成管理 : Terraform
■エディタ/IDE：VSCode Vim（＊お好みのエディタを使用していただいてOKです。）
必須スキル
・Pythonを利用した開発経験
・SQLを使ったDBプログラミングの開発経験
・パブリッククラウドを利用したサービス開発・運用経験
・Gitなどのソースコード管理ツールの使用経験

【BigQuery】データエンジニアの求人・案件

リモート
案件内容

スマホ決済サービスを展開している企業において下記業務をご担当いただきます。

【解決したい課題】
・dbtで提供する中間テーブルの開発について、業務要件を理解して実装できるリソースが足りていない

【想定する業務内容】
dbtによる中間テーブルの開発
-ユーザーへの要件ヒアリング
-各ドメインのテーブル仕様理解
-クエリの実装
-新規モデルの開発・検証
-既存モデルのリファクタリング
必須スキル

・BigQuery
・データエンジニアとしての実務経験2年以上
・大規模データの中間テーブル構築経験（データモデリング）
※Airflow, Cloud composer など他ツールでのテーブル設計開発の経験があれば dbtの利用経験はなくても良い
・Github

募集終了
【Python】大手健康食品会社　データ分析の求人・案件

リモート・常駐 併用
案件内容

GoogleAnalyticsのデータをBigQueryに蓄積し、データマートを
作成、必要に応じてPython等でデータを加工(非構造データの
構造化等)し、Looker,Tableau,Excelでレポートし提出が主たる業務
以下、分析テーマをベースにメイン分析者として担当。

【想定分析テーマ】
　※参考　案件参画時のテーマに 応じ変更の可能性あり

1.カスタマーに関わる分析（顧客属性・商品情報・アプリ利用履歴）
2.アプリ（BtoCアプリ）の事業貢献に関わる分析
　（1の分析に加え、当該顧客のXB・解約に関わる分析）
3.パーソナライズに関わる分析（機械学習を用いた高度化）
4.他の施策（WLP・リレーションシップ革命）に関わる分析
必須スキル
・python(pands scikit-learn xgboost lightgbm)
　・統計検定２級相当以上
　・データ分析業務のご経験(3年以上)
　・自身で仮説を立て、必要なデータを加工・集計し、
　　アウトプットできること
　・円滑なコミュニケーション
　・分析設計、データ収集、加工/分析、示唆検討、
　　報告が可能

募集終了
【GCP】スニーカー売買プラットフォームのデータ分析基盤の開発の求人・案件

リモート
案件内容

話題沸騰中のスニーカーフリマアプリのデータ分析基盤の開発を行っていただきます。
具体的には、データアナリストチームで以下の業務を想定しています。
・データパイプライン(Data Ware House/Data Mart)の構築/運用
・データの品質管理
・コスト監視体制構築
必須スキル
・データパイプラインの開発および運用経験
・1つ以上のDBMS製品の業務利用：3年以上
・1つ以上のDBMS製品について十分な技術的知識（設計、障害対応、クエリチューニング、パラメータチューニングなどが可能なこと）
・GCPの利用経験1年以上
・バージョン管理ツール（Git）業務利用経験
・TCP / IP、HTTP などのネットワークについての基礎知識

募集終了
【Python】薬局向けプラットフォーム　機械学習エンジニアの求人・案件

リモート
案件内容

【概要】
薬剤在庫管理における需要予測モデルの改善や運用、及びPoC後の新規プロダクト開発に向けたβ版開発や機能拡充、ブラッシュアップをお願いします。
最初は時系列予測、多クラス分類を想定しています。

【業務スコープ】
・機械学習アルゴリズム選定、モデルチューニングのためのEDA
・機械学習アルゴリズムの設計・実装
・モデルで利用するデータ・特徴量生成のためのパイプライン開発

【開発環境】
■主な環境
・Python
・TypeScript
・AWS (Glue,Athena,Fargate,SageMaker,Lamdba,CDK)
・Databricks
■ライブラリ等
・Pandas
・NumPy
・Scikit-Learn
・LightGBM
・Prophet
・PuLP
必須スキル
・Python経験2年以上
・業務要件から機械学習モデルを設計〜実装し、運用した経験
・AWS環境での開発経験
・機械学習モデルの構築、チューニング経験

募集終了
【SQL】某アパレル企業におけるGCP開発運用保守の求人・案件

リモート
案件内容

基幹システムからGCPへの取り込み処理およびGCP内でのデータマートの開発運用保守を実施
・データエラーカバー等
必須スキル
– SQLによるデータ加工経験(とくに複数テーブルの結合～加工)
– データマート作成経験
– GCP/AirFlowよるバッチ処理経験

募集終了
【SQLなど】（リーダー候補）データエンジニア業務の求人・案件

リモート
案件内容

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

・増員のための募集ですが、チームを技術で引っ張ることのできる中堅レベル、リーダポジションとなれる方をお願いしたいと考えております。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等
必須スキル
1. SQLを用いたデータ抽出経験
2. Go、Java、Pythonなどを利用した開発経験
3. ETL/ELTのデータパイプライン設計/構築
4. ワークフローの構築経験（Digdag / Airflow etc.）
5. 監視ツールの導入・運用経験
6. Infrastructure as CodeおよびCI/CDの経験
7. コンテナ技術（Docker/Kubernetes）を用いた開発経験
8. GCPでの開発経験
9. データマネジメント（DMBOK）に関する理解や実践経験

募集終了
【Python/Javaなど】SNS領域のデータサイエンティストの求人・案件

リモート・常駐 併用
案件内容

【概要】
・SNS等の投稿データやアカウントデータを分析して市場調査・分析
(中期でLLMモデルが必要と想定している）
・機械学習等のモデル：AI等を通して、他のアンケートと出ている情報を比較して、データの正確性の評価

【ポジション】
・データサイエンティスト
・データエンジニア
必須スキル

【データサイエンティスト】
・データ分析の実務経験がある (2年以上)
・主にPythonを用いたデータ分析
・Scikit-learn, NumPy,
Pandasなどのライブラリを用いたデータ分析、統計、機械学習モデリングの経験
・Tableauを用いて分析結果などのレポーティングなどを行った経験

【データエンジニア】
・データ分析基盤あるいはサーバーサイドの開発実務経験がある (3年以上)
・主にPython, Java, Scalaなどの言語での開発経験がある
・AWS/GCPを使ったシステム開発を行った経験がある
・Airflow, Athena, Redshift, ECS/ECR,
snowflakeなどを利用したシステム開発を行った業務経験がある

募集終了
【SQLなど】データエンジニア業務の求人・案件

リモート
案件内容

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等
必須スキル
1. SQLを用いたデータ抽出経験
2. Go、Java、Pythonなどを利用した開発経験
3. ETL/ELTのデータパイプライン設計/構築
4. ワークフローの構築経験（Digdag / Airflow etc.）
5. 監視ツールの導入・運用経験
6. Infrastructure as CodeおよびCI/CDの経験
7. コンテナ技術（Docker/Kubernetes）を用いた開発経験
8. GCPでの開発経験
9. データマネジメント（DMBOK）に関する理解や実践経験

検索結果29件中1-10件