Redshiftの案件一覧

内容：
物流マッチングプラットフォームを展開する企業にて、データエンジニアとしてご参画頂きます。
主に各事業のデータ分析基盤（DWHとデータパープライン）の設計・構築・運⽤を⾏っていただきます。
＜具体的な業務内容＞
既存のDWH（BigQuery）とデータパイプラインの拡充

• 利用可能なデータの拡充
• データのリアルタイム性の向上
  将来のデータ基盤戦略の策定とその推進
• 新たなDWHとデータパイプライン（ELT）の設計・構築・運用
  データ分析によるビジネス課題の発見の推進
• データによる課題の可視化
• BIなどを通したモニタリング環境の構築
  技術環境：
  ・言語：Ruby、Python
  ・バージョン管理：Git/GitHub
  ・データ基盤：BigQuery、AWS RDS
  ・BI： Redash、Google Spread Sheet、Google Data Studio
  ・コミュニケーション：Slack、Notion

■クライアント支援範囲
・データ基盤構築、機械学習システム構築/精度向上、時系列データ予測/異常検知、自然言語(テキスト)解析、画像認識
■概要
＜1月～3月にて、データ基盤構築（Power BIとTableau込み）の上流工程（基本設計）を予定＞
本プロジェクトは、現行のAWS（プロトタイプ環境）からAzureへの移行および拡張となります。
・Azure Synapse Analyticsへ外部データやユーザーが保有するデータを投入し、Power BIとTableauで分析。
TableauはTableau ServerからTableau Cloudへの移行を伴い、外部データの取り込みには、Synapse Analytics のパイプラインや、Azure FunctionsやAzure Logic Appsを利用。
■想定業務
※Azure Synapse Analyticsを中心とした関連技術の担当者
・ドキュメント作成(基本設計書/移行計画書)
・Azure Synapse Analyticsのデータアーキテクチャ（データパイプライン・データマート）に関する基本設計

▼関連ソリューション
・Azure Synapse Analytics
・Azure Functions
・Azure Logic Apps
・Tableau Cloud（またはTableau Server）
・Power BI Service
■体制
体制：
AIチームは全部で15名程度
6名~7名→AIエンジニア　　6~7名→BI・データ基盤
1クライアントに対して4~5名で体制を組んでいる
■環境
クライアント内ではデータ基盤設計~BI・内製化/運用支援まで行っている
データ基盤：Azure
(クライアント内で基盤設計・構築)
BI：PowerBI
(クライアント内でレポート作成・運用)

■クライアント支援範囲
・データ基盤構築、機械学習システム構築/精度向上、時系列データ予測/異常検知、自然言語(テキスト)解析、画像認識
■概要
＜1月～3月にて、データ基盤構築（Power BIとTableau込み）の上流工程（基本設計）を予定＞
本プロジェクトは、現行のAWS（プロトタイプ環境）からAzureへの移行および拡張となります。
・Azure Synapse Analyticsへ外部データやユーザーが保有するデータを投入し、Power BIとTableauで分析。
TableauはTableau ServerからTableau Cloudへの移行を伴い、外部データの取り込みには、Synapse Analytics のパイプラインや、Azure FunctionsやAzure Logic Appsを利用。
■想定業務
※TableauとPower BIを中心としたDWH技術者
・ドキュメント作成(基本設計書/移行計画書)
・Tableau ServerからTableau Cloudへの移行設計
・DWH（SynapseやSnowflakeやRedshiftなど）のデータアーキ

▼関連ソリューション
・Azure Synapse Analytics
・Azure Functions
・Azure Logic Apps
・Tableau Cloud（またはTableau Server）
・Power BI Service
■体制
体制：
AIチームは全部で15名程度
6名~7名→AIエンジニア　　6~7名→BI・データ基盤
1クライアントに対して4~5名で体制を組んでいる
■環境
クライアント内ではデータ基盤設計~BI・内製化/運用支援まで行っている
データ基盤：Azure
(クライアント内で基盤設計・構築)
BI：PowerBI
(クライアント内でレポート作成・運用)

事業横断のデータ基盤（DWHとデータパイプライン）の設計・構築・運用
既存DWH（BigQuery）とデータパイプラインの拡充
将来のデータ基盤戦略の策定と推進
データ分析によるビジネス課題の発見と推進
・受注背景：既存事業の運用基盤を引き継ぎ、信頼性・利便性向上にコミットするため

■背景
・クライアント内の提案活動に於いて自然言語案件が増え始めており、リソースが必要となった
・クライアント内で自社分析ツール(テキスト分析)あり
■クライアント支援範囲
・データ基盤構築、機械学習システム構築/精度向上、時系列データ予測/異常検知、自然言語(テキスト)解析、画像認識
■エンドクライアント
・建築・製造・医療など
■想定業務
・データ基盤を構築するプロジェクト。蓄積したデータをBIやAIで活用するためのプラットフォームの設計・構築が主業務となります。要求開発フェーズからご参画いただくことを想定。
・顧客案件におけるデータ基盤構築支援（要件定義・設計・構築・テスト・マニュアル作成など）
・要件定義 /基本設計/詳細設計

【業務内容】
EdTech企業にてデータアナリスト(データサイエンティスト)として、データによる
新しい価値創造をゴールとするデータ分析やモデル開発を担っていただきます。

以下、チームで取り組んでいる分析テーマの具体例です。
▼受講者の学習意欲の活性化・学習効果の向上
学習行動ログ及びアンケート調査を用いた活性要因分析
統計的因果推論による施策効果検証
定型レポートのワークフロー開発/ダッシュボード構築
▼受講者集客
非会員向けサイトの会員登録フローのファネル分析
▼法人顧客リピート契約促進
管理画面操作ログや受講者学習行動ログを用いたリピート契約要因分析
定型レポートのワークフロー開発/ダッシュボード構築
▼法人顧客集客
法人顧客向けセミナーの統計的因果推論による効果検証
▼マーケティングリサーチ
ビジネスパーソンや育成人事が感じるビジネススキル/デジタルスキルの課題に関する調査/分析
▼送客
他の(同クライアント)学習サービスへの利用促進を目的とした、志望動機の自由記述データの自然言語処理

【開発環境】
インフラ：GCP (データ基盤) / AWS (関連システム)
データパイプライン (ETL)：CloudComposer (Airflow)
DWH：BigQuery
その他インフラ管理：Docker、GKE / GAE / CloudRun
可視化ツール：Google Data Portal / Tableau
分析環境：Jupyter Notebook / Google Colab / Google Cloud ML
監視：Cloud Logging / Stackdriver Logging
その他：Git / GitHub / Slack / Notion

・エンドユーザシステム部門の一員として、CRM分析基盤
　システムの追加開発案件の設計～リリースを実施して頂きます
・メインはバッチ開発でIFの追加/変更およびマート作成です。
・改修頻度は少ないですがWEB機能の開発もあります。
【担当業務】
・PMの配下でバッチシステムの追加開発の要件定義～
　リリースの実行。
・設計/製造/テストレビュー、外部結合テスト以降の
　テスト計画策定、リリース計画の策定等の推進。
・外部結合テスト以降の工程に関しては、関連システム
　との調整を主導して実施。
・開発の進捗管理、課題管理の実施。

クライアントゲーム事業で蓄積されたビッグデータを用いたデータ分析環境の基盤構築および開発、管理を行っていただきます。
環境構築にとどまらず、社内共通の内製BIツールで利用するためのデータ集計や、各タイトルのデータ分析者とのやりとりを通じてゲーム品質やサービス改善に繋がるための業務を担当していただきます。

・ログ、DBデータのETL/ELT処理のためのシステム開発/運用
・大規模データベースの構築/運用/管理
・社内BIツール向けデータ集計バッチ開発/運用
・データ分析者への技術的サポート

■CDP/BIアーキテクト
企業のデータ資産価値の向上のため、戦略立案・組織設計、先端技術導入シナリオ策定の課題に対して、コンサルタント(アーキテクチャ設計)として戦略基盤支援。
・Tableauの要件定義～詳細設計、構築、レポーティング（メイン業務）
・Tableau + GCPのBIリプレース案件
・データの細部が見れデータマートをパフォ考慮して設計
・マイグレーション支援
・同時に、CDP/MAの構築要件定義が走っており、マーケティング統合基盤の全体PRJの一貫です。

具体例：
-DWH環境： salesforce CDP, teradata, Athena のデータブレンドが必要
-CDP, S3, Athena, Tableau onlineのデータソース/データマート/ダッシュボードの設計・開発
※CDPを中心とした顧客360PRJは、本案件以外で今後も増加予定
※国内でも初のソリューションスタック
※適材適所でポジションを用意(エンドクライアントは小売業が多い)

【依頼元会社】
デジタルトランスフォーメーションを実現するために必要な、
コンサルティングからマーケティングまで、ワンストップで提供している会社の業務です。
エンドクライアント別で新規顧客の獲得や見込み顧客の育成なども含めたマーケティング施策をサポートしています。(MA)

・某社向けデータ分析のためのデータ処理基盤の開発・保守・運用・機能追加

主な使用ツール、サービス：
・Snowflake, BigQuery などの DWH
・Embulk などの ETL ツール
・Hightouch などの Reverse ETL ツール
・AWS, GCP の各種サービス（S3, EC2, Step Functions, …）
・さまざまなBIツール