データ基盤の案件一覧

主に医療、製薬系のサービスを複数展開されているメガベンチャー企業にて、
電子カルテのデータプラットフォームを現在開発しております。
そのプラットフォームを開発するにあたり、データの品質を考慮しながら、
DWH、データ基盤の設計構築、dataformでのデータパイプライン構築や
バッチへの反映を主にご担当いただきます。
入力されたデータがテストデータではないかなどデータの品質を考慮いただけると嬉しいです。

【開発環境】
・DB：BigQuery
・言語：JavaScript
・SQLパイプラインツール：dataform
・BIツール：Looker

・官公庁向けのデータ分析基盤において、データレイク、データパイプライン、DWHの設計業務をご担当いただきます。
今回は3名の募集ですが、2名は設計業務、1名は運用設計をお任せいたします。
BIツールにはTableauを使用する予定でございます。
設計フェーズは現状3月までですが、
案件状況により構築フェーズも引き続きご担当いただきます。

■案件内容：
【システム概要】
新規でのデータ分析基盤の構築業務

【担当領域】
スキル見合いで体制と相談しますが、上流から下流まで幅広く対応いただけます。

【システム構成】
以下の技術要素で構成されます。
インフラ：Azure
DWH：Databricks
BI：PowerBI

【開発方式】
ウォーターフォールモデル

Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用と日々の運用業務から発生する課題の解決・改善

主要技術：BigQuery/Cloud Composer(Airflow)/Python/（一部Spark）

データユーザーからの要求をくみとり的確なデータとフローの設計を行い、パイプラインの構築やパイプラインを動かすデータ分析基盤の運用保守を行う。

内容：
物流マッチングプラットフォームを展開する企業にて、データエンジニアとしてご参画頂きます。
主に各事業のデータ分析基盤（DWHとデータパープライン）の設計・構築・運⽤を⾏っていただきます。
＜具体的な業務内容＞
既存のDWH（BigQuery）とデータパイプラインの拡充

• 利用可能なデータの拡充
• データのリアルタイム性の向上
  将来のデータ基盤戦略の策定とその推進
• 新たなDWHとデータパイプライン（ELT）の設計・構築・運用
  データ分析によるビジネス課題の発見の推進
• データによる課題の可視化
• BIなどを通したモニタリング環境の構築
  技術環境：
  ・言語：Ruby、Python
  ・バージョン管理：Git/GitHub
  ・データ基盤：BigQuery、AWS RDS
  ・BI： Redash、Google Spread Sheet、Google Data Studio
  ・コミュニケーション：Slack、Notion

既存システムで溜まったビックデータを活用して新規事業開発を行なっており、データの分析や開発基盤の構築など上流から携わります。その後の開発までを見据えた技術選定などもお力添えいただければと考えておりますのでフルスタックのエンジニアを募集しております。

■クライアント支援範囲
・データ基盤構築、機械学習システム構築/精度向上、時系列データ予測/異常検知、自然言語(テキスト)解析、画像認識
■概要
＜1月～3月にて、データ基盤構築（Power BIとTableau込み）の上流工程（基本設計）を予定＞
本プロジェクトは、現行のAWS（プロトタイプ環境）からAzureへの移行および拡張となります。
・Azure Synapse Analyticsへ外部データやユーザーが保有するデータを投入し、Power BIとTableauで分析。
TableauはTableau ServerからTableau Cloudへの移行を伴い、外部データの取り込みには、Synapse Analytics のパイプラインや、Azure FunctionsやAzure Logic Appsを利用。
■想定業務
※Azure Synapse Analyticsを中心とした関連技術の担当者
・ドキュメント作成(基本設計書/移行計画書)
・Azure Synapse Analyticsのデータアーキテクチャ（データパイプライン・データマート）に関する基本設計

▼関連ソリューション
・Azure Synapse Analytics
・Azure Functions
・Azure Logic Apps
・Tableau Cloud（またはTableau Server）
・Power BI Service
■体制
体制：
AIチームは全部で15名程度
6名~7名→AIエンジニア　　6~7名→BI・データ基盤
1クライアントに対して4~5名で体制を組んでいる
■環境
クライアント内ではデータ基盤設計~BI・内製化/運用支援まで行っている
データ基盤：Azure
(クライアント内で基盤設計・構築)
BI：PowerBI
(クライアント内でレポート作成・運用)

■クライアント支援範囲
・データ基盤構築、機械学習システム構築/精度向上、時系列データ予測/異常検知、自然言語(テキスト)解析、画像認識
■概要
＜1月～3月にて、データ基盤構築（Power BIとTableau込み）の上流工程（基本設計）を予定＞
本プロジェクトは、現行のAWS（プロトタイプ環境）からAzureへの移行および拡張となります。
・Azure Synapse Analyticsへ外部データやユーザーが保有するデータを投入し、Power BIとTableauで分析。
TableauはTableau ServerからTableau Cloudへの移行を伴い、外部データの取り込みには、Synapse Analytics のパイプラインや、Azure FunctionsやAzure Logic Appsを利用。
■想定業務
※TableauとPower BIを中心としたDWH技術者
・ドキュメント作成(基本設計書/移行計画書)
・Tableau ServerからTableau Cloudへの移行設計
・DWH（SynapseやSnowflakeやRedshiftなど）のデータアーキ

▼関連ソリューション
・Azure Synapse Analytics
・Azure Functions
・Azure Logic Apps
・Tableau Cloud（またはTableau Server）
・Power BI Service
■体制
体制：
AIチームは全部で15名程度
6名~7名→AIエンジニア　　6~7名→BI・データ基盤
1クライアントに対して4~5名で体制を組んでいる
■環境
クライアント内ではデータ基盤設計~BI・内製化/運用支援まで行っている
データ基盤：Azure
(クライアント内で基盤設計・構築)
BI：PowerBI
(クライアント内でレポート作成・運用)

某ユニコーン企業にてデータアーキテクトとして業務をお願いいたします。

【業務スコープ】
大きく下記2つのタスクをご依頼する予定です。
比重は新機能開発案件6割：データ基盤タスク4割
※100％稼働率の場合

・新機能開発に伴うデータアーキテクトタスク
　-ログ設計
　-データマート作成
　-LookML作業

・データ基盤タスク
　-ETL運用保守及び新規開発
　
【参考使用ツール】
BigQuery、Looker、Dataform、CloudCompaser