Apache Airflowの案件一覧

グループ会社で既に導入済みのクラウドデータウェアハウス Snowflake を活用し、お客様が求めるアウトプットを効率的に導き出すためのデータ基盤を構築するプロジェクトです。

具体的には、Snowflake と Amazon S3 に格納された各種データを整理・統合し、ビジネスニーズに合致したデータマートの設計および構築を推進いただきます。これにより、お客様が迅速かつ正確にデータ分析を行い、意思決定に繋げられるよう、データ活用を強力に支援します。

モビリティ事業を展開している企業にてデータアーキテクト業務をお願いいたします。

・データ整備業務
　プロダクトへの新規機能追加時のログ・テーブル設計
・データに不具合が発生した場合の調査・復旧
・新しいデータマートの設計・構築
　データ基盤の整備やETL/ELT開発等も
発生する可能性有

・SQL
・Python
・Dataform、Airflow
・Docker
・ログ、テーブル設計スキル
・ビジネス部門との要件調整スキル
・アナリストとの技術的対話力

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等

秒間25万リクエストを超える動画配信をはじめとした視聴に関するビッグデータの収集・整形・蓄積まで一貫して行なっていただきます。

【業務内容】
ビッグデータ基盤におけるデータの収集、データレイクからデータウェアハウス／データマートまでのワークフローの開発・運用をお任せします。
ご自身のアイディア・工夫をカジュアルに提案しプロダクトに反映していただける環境であり、単純に作るのではなく価値を提供することを重視しております。
データ基盤はGCP（Google Cloud Platform）を主軸とし、サブシステムにはAWS（Amazon Web Services）を部分的に採用した構成。日々進化するクラウドサービスをキャッチアップし最適な構成に随時進化し続けています。
今後もさらに安定してバージョンアップやスケーラビリティ・パフォーマンス改善を重ねるため、その開発の中核を担っていただくデータエンジニアを募集しております。

【開発環境】
■主要開発技術：GCP（Google Cloud Platform）環境でのワークフロー開発
■開発言語：Python, JavaScript, SQL
■クラウドプラットフォーム : Googleクラウド（BigQuery, Dataform, Workflows, CloufdFunctions, CloudRun）
■データ収集 : Fastly
■データウェアハウス : BigQuery
■コミュニケーションツール：Slack
■開発手法：アジャイル（一部ウォーターフォール）
■開発支援ツール・環境：GitHub, GitHub Actions（CI/CD）
■構成管理 : Terraform
■エディタ/IDE：VSCode Vim（＊お好みのエディタを使用していただいてOKです。）

スマホ決済サービスを展開している企業において下記業務をご担当いただきます。

【解決したい課題】
・dbtで提供する中間テーブルの開発について、業務要件を理解して実装できるリソースが足りていない

【想定する業務内容】
dbtによる中間テーブルの開発
-ユーザーへの要件ヒアリング
-各ドメインのテーブル仕様理解
-クエリの実装
-新規モデルの開発・検証
-既存モデルのリファクタリング

・BigQuery
・データエンジニアとしての実務経験2年以上
・大規模データの中間テーブル構築経験（データモデリング）
※Airflow, Cloud composer など他ツールでのテーブル設計開発の経験があれば dbtの利用経験はなくても良い
・Github

GoogleAnalyticsのデータをBigQueryに蓄積し、データマートを
作成、必要に応じてPython等でデータを加工(非構造データの
構造化等)し、Looker,Tableau,Excelでレポートし提出が主たる業務
以下、分析テーマをベースにメイン分析者として担当。

【想定分析テーマ】
　※参考　案件参画時のテーマに 応じ変更の可能性あり

1.カスタマーに関わる分析（顧客属性・商品情報・アプリ利用履歴）
2.アプリ（BtoCアプリ）の事業貢献に関わる分析
　（1の分析に加え、当該顧客のXB・解約に関わる分析）
3.パーソナライズに関わる分析（機械学習を用いた高度化）
4.他の施策（WLP・リレーションシップ革命）に関わる分析

話題沸騰中のスニーカーフリマアプリのデータ分析基盤の開発を行っていただきます。
具体的には、データアナリストチームで以下の業務を想定しています。
・データパイプライン(Data Ware House/Data Mart)の構築/運用
・データの品質管理
・コスト監視体制構築

【概要】
薬剤在庫管理における需要予測モデルの改善や運用、及びPoC後の新規プロダクト開発に向けたβ版開発や機能拡充、ブラッシュアップをお願いします。
最初は時系列予測、多クラス分類を想定しています。

【業務スコープ】
・機械学習アルゴリズム選定、モデルチューニングのためのEDA
・機械学習アルゴリズムの設計・実装
・モデルで利用するデータ・特徴量生成のためのパイプライン開発

【開発環境】
■主な環境
・Python
・TypeScript
・AWS (Glue,Athena,Fargate,SageMaker,Lamdba,CDK)
・Databricks
■ライブラリ等
・Pandas
・NumPy
・Scikit-Learn
・LightGBM
・Prophet
・PuLP

基幹システムからGCPへの取り込み処理およびGCP内でのデータマートの開発運用保守を実施
・データエラーカバー等