Apache Airflowの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数:26

Apache Airflowの案件を探す

案件内容

GoogleAnalyticsのデータをBigQueryに蓄積し、データマートを
作成、必要に応じてPython等でデータを加工(非構造データの
構造化等)し、Looker,Tableau,Excelでレポートし提出が主たる業務
以下、分析テーマをベースにメイン分析者として担当。

【想定分析テーマ】
 ※参考 案件参画時のテーマに 応じ変更の可能性あり

1.カスタマーに関わる分析(顧客属性・商品情報・アプリ利用履歴)
2.アプリ(BtoCアプリ)の事業貢献に関わる分析
 (1の分析に加え、当該顧客のXB・解約に関わる分析)
3.パーソナライズに関わる分析(機械学習を用いた高度化)
4.他の施策(WLP・リレーションシップ革命)に関わる分析

必須スキル
・python(pands scikit-learn xgboost lightgbm)
 ・統計検定2級相当以上
 ・データ分析業務のご経験(3年以上)
 ・自身で仮説を立て、必要なデータを加工・集計し、
  アウトプットできること
 ・円滑なコミュニケーション
 ・分析設計、データ収集、加工/分析、示唆検討、
  報告が可能
案件内容

話題沸騰中のスニーカーフリマアプリのデータ分析基盤の開発を行っていただきます。
具体的には、データアナリストチームで以下の業務を想定しています。
・データパイプライン(Data Ware House/Data Mart)の構築/運用
・データの品質管理
・コスト監視体制構築

必須スキル
・データパイプラインの開発および運用経験
・1つ以上のDBMS製品の業務利用:3年以上
・1つ以上のDBMS製品について十分な技術的知識(設計、障害対応、クエリチューニング、パラメータチューニングなどが可能なこと)
・GCPの利用経験1年以上
・バージョン管理ツール(Git)業務利用経験
・TCP / IP、HTTP などのネットワークについての基礎知識
案件内容

【概要】
薬剤在庫管理における需要予測モデルの改善や運用、及びPoC後の新規プロダクト開発に向けたβ版開発や機能拡充、ブラッシュアップをお願いします。
最初は時系列予測、多クラス分類を想定しています。

【業務スコープ】
・機械学習アルゴリズム選定、モデルチューニングのためのEDA
・機械学習アルゴリズムの設計・実装
・モデルで利用するデータ・特徴量生成のためのパイプライン開発

【開発環境】
■主な環境
・Python
・TypeScript
・AWS (Glue,Athena,Fargate,SageMaker,Lamdba,CDK)
・Databricks
■ライブラリ等
・Pandas
・NumPy
・Scikit-Learn
・LightGBM
・Prophet
・PuLP

必須スキル
・Python経験2年以上
・業務要件から機械学習モデルを設計〜実装し、運用した経験
・AWS環境での開発経験
・機械学習モデルの構築、チューニング経験
案件内容

基幹システムからGCPへの取り込み処理およびGCP内でのデータマートの開発運用保守を実施
・データエラーカバー等

必須スキル
– SQLによるデータ加工経験(とくに複数テーブルの結合~加工)
– データマート作成経験
– GCP/AirFlowよるバッチ処理経験
案件内容

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

・増員のための募集ですが、チームを技術で引っ張ることのできる中堅レベル、リーダポジションとなれる方をお願いしたいと考えております。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
(Webサイト等その他サービス)

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。(BigQueryなど)
インフラ管理:terraform
パイプライン構築:Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等

必須スキル
1. SQLを用いたデータ抽出経験
2. Go、Java、Pythonなどを利用した開発経験
3. ETL/ELTのデータパイプライン設計/構築
4. ワークフローの構築経験(Digdag / Airflow etc.)
5. 監視ツールの導入・運用経験
6. Infrastructure as CodeおよびCI/CDの経験
7. コンテナ技術(Docker/Kubernetes)を用いた開発経験
8. GCPでの開発経験
9. データマネジメント(DMBOK)に関する理解や実践経験
案件内容

【概要】
・SNS等の投稿データやアカウントデータを分析して市場調査・分析
(中期でLLMモデルが必要と想定している)
・機械学習等のモデル:AI等を通して、他のアンケートと出ている情報を比較して、データの正確性の評価

【ポジション】
・データサイエンティスト
・データエンジニア

必須スキル

【データサイエンティスト】
・データ分析の実務経験がある (2年以上)
・主にPythonを用いたデータ分析
・Scikit-learn, NumPy,
Pandasなどのライブラリを用いたデータ分析、統計、機械学習モデリングの経験
・Tableauを用いて分析結果などのレポーティングなどを行った経験

【データエンジニア】
・データ分析基盤あるいはサーバーサイドの開発実務経験がある (3年以上)
・主にPython, Java, Scalaなどの言語での開発経験がある
・AWS/GCPを使ったシステム開発を行った経験がある
・Airflow, Athena, Redshift, ECS/ECR,
snowflakeなどを利用したシステム開発を行った業務経験がある

案件内容

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
(Webサイト等その他サービス)

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。(BigQueryなど)
インフラ管理:terraform
パイプライン構築:Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等

必須スキル
1. SQLを用いたデータ抽出経験
2. Go、Java、Pythonなどを利用した開発経験
3. ETL/ELTのデータパイプライン設計/構築
4. ワークフローの構築経験(Digdag / Airflow etc.)
5. 監視ツールの導入・運用経験
6. Infrastructure as CodeおよびCI/CDの経験
7. コンテナ技術(Docker/Kubernetes)を用いた開発経験
8. GCPでの開発経験
9. データマネジメント(DMBOK)に関する理解や実践経験
案件内容

位置情報プラットフォームを運営するエンドクライアントにてデータエンジニアを募集しております。

【背景と期待する役割】
顧客ごとやプロダクトごとにデータマート作成しているため、新規顧客が増えるごとにdbtを利用しデータパイプラインを整える必要があります。
組織の拡大のため要件の判断から一人称で行える即戦力の人材が必要になっております。

【業務スコープ】
・dbtを用いたデータモデリング
・dbtを用いたデータパイプラインの構築
・BigqueryからSnowflakeへの移行
※ご経験があれば

【体制】
7,8名程度(業務委託含む)

必須スキル
・AirflowやDigdagを用いてデータパイプラインの構築を構築されたご経験
・データパイプラインを要件定義から実装までを一人称で遂行したご経験
案件内容

・データユーザーからの要求をくみとり的確なデータとフローの設計を行い、パイプラインの構築や
 パイプラインを動かすデータ分析基盤の運用保守を行っていただきます。

・Google Cloud、AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用と
 日々の運用業務から発生する課題の解決・改善を行っていただきます。

必須スキル

・BigQuery、Cloud Composer(Airflow)、Pythonの実務利用経験
・Embulk、DigDagの利用経験
・Linuxサーバの運用保守経験
・AWS、GCPいずれかのクラウドサービスの開発及び運用経験

案件内容

・Flask/Python/SQLを活用した、業務ロジックおよびアプリ開発
・機械学習を用いた需要予測モデル開発(ベースモデルあり)
・需要予測モデルの精度検証
・需要予測モデル業務適用におけるシミュレーション
・需要予測モデルの運用開発

必須スキル

・基本的なクエリの作成
・Pythonによるデータ加工・機械学習※必須
・基本的なシェルスクリプトの作成
・お客様に寄り添う心持ち
・GCP/BQを用いた集計
・Flaskなどのwebフレームワーク利用経験

検索結果26件中1-10件