Apache Airflowの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数:20

Apache Airflowの案件を探す

案件内容

【業務内容】
EdTech企業にてデータアナリスト(データサイエンティスト)として、データによる
新しい価値創造をゴールとするデータ分析やモデル開発を担っていただきます。

以下、チームで取り組んでいる分析テーマの具体例です。
▼受講者の学習意欲の活性化・学習効果の向上
学習行動ログ及びアンケート調査を用いた活性要因分析
統計的因果推論による施策効果検証
定型レポートのワークフロー開発/ダッシュボード構築
▼受講者集客
非会員向けサイトの会員登録フローのファネル分析
▼法人顧客リピート契約促進
管理画面操作ログや受講者学習行動ログを用いたリピート契約要因分析
定型レポートのワークフロー開発/ダッシュボード構築
▼法人顧客集客
法人顧客向けセミナーの統計的因果推論による効果検証
▼マーケティングリサーチ
ビジネスパーソンや育成人事が感じるビジネススキル/デジタルスキルの課題に関する調査/分析
▼送客
他の(同クライアント)学習サービスへの利用促進を目的とした、志望動機の自由記述データの自然言語処理

【開発環境】
インフラ:GCP (データ基盤) / AWS (関連システム)
データパイプライン (ETL):CloudComposer (Airflow)
DWH:BigQuery
その他インフラ管理:Docker、GKE / GAE / CloudRun
可視化ツール:Google Data Portal / Tableau
分析環境:Jupyter Notebook / Google Colab / Google Cloud ML
監視:Cloud Logging / Stackdriver Logging
その他:Git / GitHub / Slack / Notion

必須スキル
[データサイエンス]
統計検定2級レベルの知識
機械学習・統計モデルの構築、およびモデルに基づく分析の経験
デジタルプロダクトのデータ分析経験
アンケート調査設計と調査結果分析への興味関心
[ビジネス]
論理的思考力(定量思考力/要約力/仮説構築能力など)
ドキュメント作成能力 (見栄えではなく、構成の組み立て方やわかりやすさが担保できる)
ビジネスサイドと円滑なコミュニケーションを図りながら分析を進めることができる
[エンジニアリング]
SQLを利用してデータを加工・集計した経験
  ・100~200行のコードを読み書きできる
  ・結合, CTE (WITH句)・サブクエリ, ウィンドウ関数が利用できる
Python・Rなどによる集計やモデル構築・可視化の経験
  ・numpy, pandas などの集計用ライブラリの利用経験
  ・scikit-learn,statsmodels などの機械学習ライブラリの利用経験
  ・matplotlib, seaborn などの可視化ライブラリの利用経験
案件内容

機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築や、効率よくデータを捌くためのミドルウェア開発、インフラ構築など業務をおまかせします。
GCPデータ基盤とその活用案件、は既に多数存在するものの、さらなる拡充を狙った専門人材の募集となります。
IP(知的財産)ビジネスがドメインの事業会社において、全社へ大きな影響を与える分析部門にアサイン頂きます。

【業務スコープ】
分析官や機械学習エンジニアと連携しながら、速く安全に機械学習のサイクルを回せるML基盤の構築をお任せします。

■ ビジネス課題と要求の整理(案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる)
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用(アプリ開発側との連携)
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■ ML基盤内へログデータを収集・蓄積・加工する、一連のデータパイプラインの設計/開発/運用

必須スキル
・Infrastructure as CodeおよびCI/CDの経験
・Pythonなどを利用した開発経験
・GCPでの開発経験
・コンテナ技術(Docker)を用いた開発経験
・ワークフローの構築経験(Digdag / Airflow etc.)
案件内容

・クライアントグループ全社のデータパイプライン設計・実装及び実装委託
 (APIやパブリックデータの取得/整備)
・DWH管理業務 (欠損,Issue,申請等の対応)

【業務スコープ】
・Google Cloud Platformをバックエンドとするデータ分析基盤の開発・運用
・データ分析基盤と各事業部が有するデータを活用するための開発・運用
★データ分析基盤にデータを収集するETL/ELTパイプラインの開発・管理
・データ分析基盤でデータを集計するワークフローの開発
・技術調査

必須スキル
・ 複雑なSQLを用いたデータ抽出経験
・ ETL/ELTのデータパイプライン設計/構築
・ワークフローの構築経験(Digdag / Airflow etc.)
・ GCPでの開発経験
案件内容

【概要】
・広告配信における傾向の分析及び、異常の検知
・WEB広告の種別、サイト内での掲載位置、閲覧ユーザーの情報から成果の確認
・ユーザの行動分析を行い、最も効果が高くなる広告を推測する
・Treasure Data等を経由して連携されるユーザーデータの管理
・データパイプラインの保守運用

【開発環境】
Python、PyTorch、Hive、PySpark、PostgreSQL、Apache Airflow
Google Cloud Dataproc、BigQuery、Cloud Composer
GitHub、Slack

必須スキル
・実務でのデータパイプラインを用いたデータ処理経験
・SQL、Linux、Gitの経験
・Pythonを用いた開発経験
・GCP/AWSなどパブリッククラウド上での開発経験
案件内容

某ユニコーン企業様にて、データエンジニアとして下記業務に携わっていただく想定になります。

※スコープが広いためスキルに応じて依頼内容を調整。
【業務スコープ】

・データ基盤や分析基盤の開発、運用

・AWS/GCP等のクラウド基盤を活用し、機械学習パイプラインやBIツールで利用しやすいデータ構築のためのシステム設計・開発・運用

・ストリーミング処理開発、挿入されたデータを分析ログとしての価値を高めるパイプライン開発、CI/ CDも活用したインフラ構築の自動化

必須スキル
・コンピュータサイエンス関連の学位、または1年以上のWebサービスのサーバサイド開発運用経験
・AWSやGCPなどのクラウド利用経験
・バッチ設計、開発経験
案件内容

今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。

必須スキル
・クラウド基盤における知識/実務経験
・技術的に有ると望ましい物
 Kafka / AirFlow / Spark等のデータ分析基盤のクラウドエンジニア側での知識/経験
 コンテナオーケストレーション(Kubernetes)知識/経験
※重要:DWH(TiDB/Snowflake)の実務経験
案件内容

概要:

エンドクライアントの分析基盤の設計、開発、運用を担当いただきます
業務内容:

・外部とのデータ連携

・データ仕様や処理のスキームについての要件擦り合わせ

・AWS S3, Google Cloud Storage, Google Drive と言った各種ストレージと BigQuery 間でのデータの転送処理を Cloud Functions と Airflow を用いて実装・管理

・IAM の発行・管理、データのアクセスコントロール

・データサイエンティストと意見交換しながら、データの取得や前処理、予測モデル・予測値生成、および抽出のバッチ化・運用

・データ処理に係るコストのモニタリング、最適化施策

・データ連携に係るプライバシーマークへの対応

フラットな組織で、自身で物事を推進する文化です。

必須スキル
・社内外と的確かつ迅速に物事を相談して進めるためのコミュニケーションスキル
・データベース、処理スキームの設計、運用
・ビッグデータの処理スクリプト開発(大量ファイル・大容量データにおける文字コード変換、文字置換、一括解凍・圧縮等)
・Python, Java, Go, Rのいずれかの言語による簡易なデータ分析スクリプト開発
案件内容

弊社最初のプロダクトである、鉄スクラップ解析アプリケーションに搭載されるAIのモデルをAIチームと協業しながら、パイプラインを構築し、本番環境でモデルのトレーニング、テスト、デプロイ、配信、監視、保守、運用を担当いただきます。もちろんチームと相談して分担はしますが、データ収集、前処理といったデータエンジニア領域での活躍も期待しております。
1人目のMLOpsエンジニアとして技術選定はもちろんチームの開発スタイルを形作るところからお任せさせていただきます。将来的にCTOやEM等のポジションを目指すことも期待しています。

まだまだ出来上がった製品ではなく、ユーザーと近い距離で開発をすることができることも魅力の一つです。

必須スキル
– MLOps、SREに関連した業務開発経験
– Docker等のコンテナ技術の基礎的知識
– Git / GitHubを利用したチーム開発経験
– AWS等のクラウドシステムを利用した開発経験
案件内容

・バンダイナムコエンターテインメントのデータパイプライン設計・実装及び実装委託・DWH管理業務 (欠損,Issue,申請等の対応)・技術調査
【業務スコープ】・Google Cloud Platformをバックエンドとするデータ分析基盤の開発・運用・データ分析基盤と各事業部が有するデータを活用するための開発・運用・データ分析基盤にデータを収集するETL/ELTパイプラインの開発・データ分析基盤でデータを集計するワークフローの開発・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)・技術調査

必須スキル
1. SQLを用いたデータ抽出経験
2. Go、Java、Pythonなどを利用した開発経験
3. ETL/ELTのデータパイプライン設計/構築
4. ワークフローの構築経験(Digdag / Airflow etc.)
5. 監視ツールの導入・運用経験
6. Infrastructure as CodeおよびCI/CDの経験
7. コンテナ技術(Docker/Kubernetes)を用いた開発経験
8. GCPでの開発経験
9. データマネジメント(DMBOK)に関する理解や実践経験
案件内容

クライアント社内で運用している需要予測・発注数量最適化ソリューションにおけるデータパイプライン、MLパイプラインの運用、エラー発生、顧客問い合わせ時の初動調査のご担当をいただきます。複数のクライアントの運用を行っており、各パイプラインの運用、さらには、将来的にはその開発まで対応を可能な方を期待しています。

必須スキル
– GCP (BigQuery, GKE, Composer)
– Docker
– Airflow
– python
MLOpsの経験
Pythonを使ったデータ分析の経験

検索結果20件中11-20件