分析基盤エンジニアの案件一覧

データソース→ETL→BIへのデータ連携業務となります。

複数案件があり、タスクベースでアドホックな対応をお願いします。

分析は別スコープとなります。

【業務内容】

在庫管理システムを支えるデータ基盤の構築案件となります。

主に、機能改善及び機能追加をご担当頂き、大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

・データ利用部門からのフィードバックを基にしたデータ基盤改善推進

・データ基盤改善のための要件定義、プロジェクト推進、実開発業務

・データ基盤の新サービスへの切り替え

【技術環境】

・開発言語: Python or Scala

・インフラサービス: AWS（EC2, Lambda, Glueなど）

・データベース環境: MySQL、TreasureData、Snowflake

・業務ツール：Slack、Notion、Google Workspace

・その他利用サービス:GitLab、Digdag、Terraform, Ansible、LookerStudio, Tableau など

大手化粧品会社のDXプロジェクトにおいて、SQLを使用してDWHからのデータ抽出を行い、他システムへの自動データ連携設定などの構築をお任せできる方を募集しています。

プロジェクト全体では20名近くのメンバーが参画しており、その中の約5～7名で構成されているチームに所属いただきます。

【業務詳細】

プロジェクト全体を理解した上で、起用しているTreasure DataからSQLで複数のテーブルを結合、サブクエリも含めた詳細なデータ抽出、顧客マスタ・行動履歴・購買履歴といったデータを結合し、マーケティングデータの抽出や顧客のセグメンテーションを行っていただきます。

会員データはすべてTreasure Dataに入っており、新たな会員データも日々追加させていきます。

すでに構築設定したワークフローを読み解き、既存の構築内容を踏襲、改修を行い、SFMCで配信をおこないます。

客先社内のDBAエンジニアとしてDBの構築・運用などを主にご担当いただきます。
一部作業の引き継ぎもあります。

DBの構築経験

今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。

GCP構築業務

・データパイプライン設計構築

・DWH、データマート設計構築
環境：

GCP（BigQuery,Dataflow等）

GCP構築経験

概要：

エンドクライアントの分析基盤の設計、開発、運用を担当いただきます
業務内容：

・外部とのデータ連携

・データ仕様や処理のスキームについての要件擦り合わせ

・AWS S3, Google Cloud Storage, Google Drive と言った各種ストレージと BigQuery 間でのデータの転送処理を Cloud Functions と Airflow を用いて実装・管理

・IAM の発行・管理、データのアクセスコントロール

・データサイエンティストと意見交換しながら、データの取得や前処理、予測モデル・予測値生成、および抽出のバッチ化・運用

・データ処理に係るコストのモニタリング、最適化施策

・データ連携に係るプライバシーマークへの対応

フラットな組織で、自身で物事を推進する文化です。

概要：

エンド企業へGCP導入にあたってのデータエンジニアを募集しています。
業務例：

・顧客折衝、要件整理、ドキュメンテーション

・データパイプライン設計構築

・DWH、データマート設計構築
環境：

GCP（BigQuery,Dataflow等）

弊社最初のプロダクトである、鉄スクラップ解析アプリケーションに搭載されるAIのモデルをAIチームと協業しながら、パイプラインを構築し、本番環境でモデルのトレーニング、テスト、デプロイ、配信、監視、保守、運用を担当いただきます。もちろんチームと相談して分担はしますが、データ収集、前処理といったデータエンジニア領域での活躍も期待しております。
1人目のMLOpsエンジニアとして技術選定はもちろんチームの開発スタイルを形作るところからお任せさせていただきます。将来的にCTOやEM等のポジションを目指すことも期待しています。

まだまだ出来上がった製品ではなく、ユーザーと近い距離で開発をすることができることも魅力の一つです。