Apache Airflowの案件一覧

グローバル規模で展開する小売・消費財データを活用し、価格戦略・競合分析を支援するデータ活用プロジェクトに参画。
データサイエンティストと連携し、膨大な生データを経営判断に直結する分析データへと昇華させる役割を担う。
大規模データ基盤の設計・構築から、データ品質管理、運用・保守までを技術面の中核として推進する。

大規模な生データを取り込み、クリーンアップするための堅牢でスケーラブルなデータパイプラインを構築・維持する、技術的デリバリーの要です。Python/SQL、GCP等のツールを用いてデータ品質を徹底的に保証し、データサイエンティストと連携して高品質なBIダッシュボードを本番環境に移行させます。

【役割／タスク】
・大規模データの取り込み・変換・クリーンアップを行うスケーラブルなパイプラインを構築
・高稼働率のBIダッシュボードを本番環境にデプロイし、技術的基盤を管理
・データ品質保証プロセスを主導し、納品前のデータ出力の厳密性を確保

顧客のとあるサービスにおいて、Tableauのレポート新規作成・保守を中心とした業務を行っていただきます。
アナリストとして、レポート等をよりよくしていくような提案を含めたアクション実施可能な方を希望します。

• Tableauのレポート新規作成について
  →顧客からの依頼ベースでSQLを用いてデータを抽出し、Tableauでレポート(ダッシュボード)を作成
• 保守について
  →定期的にデータ更新のバッチ処理ファイルを作成・更新
  ( Tableau prep, Airflowを利用 )

・Tableauのご経験
・SQL
・Python(Airflowメンテ含む)

グループ会社で既に導入済みのクラウドデータウェアハウス Snowflake を活用し、お客様が求めるアウトプットを効率的に導き出すためのデータ基盤を構築するプロジェクトです。

具体的には、Snowflake と Amazon S3 に格納された各種データを整理・統合し、ビジネスニーズに合致したデータマートの設計および構築を推進いただきます。これにより、お客様が迅速かつ正確にデータ分析を行い、意思決定に繋げられるよう、データ活用を強力に支援します。

オルタナティブデータ（今まで利活用の進んでいないビッグデータ）を用いた分析サービスを提供するプロダクトの募集になります。
オルタナティブデータを加工・分析し、SaaSプロダクトとして展開しています。
POSデータ、クレカデータ、ポイントカードデータ、位置情報データといった様々なオルタナティブデータから得られたインサイトを、海外の機関投資家から国内の官公庁、事業会社まで幅広い顧客に提供しています。
本ポジションは、大規模データ分析基盤の知見を活かし、顧客のデータ基盤の開発支援を行うポジションです。

・データ基盤開発案件の推進。主に設計や実装フェーズに参画していただきます

・Pythonを用いた開発・運用経験
・クラウドインフラ開発・運用経験
・データ分析基盤の構築・運用経験
・チームでのシステム開発・運用、3年以上(サブリード以上が望ましい)
・対面折衝（クライアントコミュニケーション）経験

モビリティ事業を展開している企業にてデータアーキテクト業務をお願いいたします。

・データ整備業務
　プロダクトへの新規機能追加時のログ・テーブル設計
・データに不具合が発生した場合の調査・復旧
・新しいデータマートの設計・構築
　データ基盤の整備やETL/ELT開発等も
発生する可能性有

・SQL
・Python
・Dataform、Airflow
・Docker
・ログ、テーブル設計スキル
・ビジネス部門との要件調整スキル
・アナリストとの技術的対話力

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等

秒間25万リクエストを超える動画配信をはじめとした視聴に関するビッグデータの収集・整形・蓄積まで一貫して行なっていただきます。

【業務内容】
ビッグデータ基盤におけるデータの収集、データレイクからデータウェアハウス／データマートまでのワークフローの開発・運用をお任せします。
ご自身のアイディア・工夫をカジュアルに提案しプロダクトに反映していただける環境であり、単純に作るのではなく価値を提供することを重視しております。
データ基盤はGCP（Google Cloud Platform）を主軸とし、サブシステムにはAWS（Amazon Web Services）を部分的に採用した構成。日々進化するクラウドサービスをキャッチアップし最適な構成に随時進化し続けています。
今後もさらに安定してバージョンアップやスケーラビリティ・パフォーマンス改善を重ねるため、その開発の中核を担っていただくデータエンジニアを募集しております。

【開発環境】
■主要開発技術：GCP（Google Cloud Platform）環境でのワークフロー開発
■開発言語：Python, JavaScript, SQL
■クラウドプラットフォーム : Googleクラウド（BigQuery, Dataform, Workflows, CloufdFunctions, CloudRun）
■データ収集 : Fastly
■データウェアハウス : BigQuery
■コミュニケーションツール：Slack
■開発手法：アジャイル（一部ウォーターフォール）
■開発支援ツール・環境：GitHub, GitHub Actions（CI/CD）
■構成管理 : Terraform
■エディタ/IDE：VSCode Vim（＊お好みのエディタを使用していただいてOKです。）