データエンジニアの案件一覧

■案件説明
BIツール(Power BI)の改善・検証を行うプロジェクトが開始する見込みである。
背景として、クライアントの中で、消費者データをBIツールで分析できるレポートを対外的に販売しているが、データ量の増大によりパフォーマンスが悪化し、ユーザビリティ確保の観点からも対策が必要な状況である。
現在はPower BIにデータを取りこみ、その中で処理を行っているが、テーブルの見直しやDAX関数等の見直しでは、改善が限定的であるため、以下を実施することによる改善検証を行う予定である。
①Power BIをそのまま活用するが、DWHをクラウド環境に構築することで改善が図れないか
②Power BI以外のツールを活用し(tableau等)、DWHをデータをクラウド環境に構築することで改善が図れないか

■業務内容・期待役割
想定しているタスクは以下となります。
・顧客のPower BIの現状確認
・改善検証設計
・環境構築
　改善検証①：Power BIをそのまま活用＋DWHをクラウドに構築
- 帳票作成・データ接続
- 測定改善(改善は重要課題に対して工数の範囲内で実施)
・改善検証②：その他B Iツール＋DWHをクラウドに構築
- 帳票作成・データ接続
- 測定改善(改善は重要課題に対して工数の範囲内で実施)
・今後の改善プラン作成

・Power BIの理解と実導入・運用・活用経験 　※左記には帳票作成経験含む
・パブリッククラウドの経験
– Microsoft Azure、AWS、GCPなどのクラウドサービスでの構築経験(今回はAWSの方向で検討中)
・DWHに関する知識
・データモデリングとデータベース設計
– Relationalデータベース(RDBMS）の知識
・プログラミングとスクリプト作成
– Power BIのDAX関数・クエリ最適化、SQLなどのBIツールのデータ処理・改善検証に必要なスキル
・コミュニケーションスキル
– 社外のクライアントへの説明スキル
– 社内のプロジェクトメンバーへの説明スキル

同社は日本最大級の化粧品クチコミサイトを運営しており、Webの行動ログデータや顧客データなど、さまざまな
データを保有しております。
今回は大手化粧品会社の多岐にわたる各部門のデータ分析・モニタリング環境の整備など、メインに担当しているデータ戦略推進室にて業務していただき、データエンジニアとして必要なデータの抽出などお任せいたします。
下記アサイン想定の作業内容となります！

・BigQueryから施策モニタリング用のデータパイプライン作成
・tableauを用いたダッシュボード作成

【具体的には…】
・ビジネスモニタリング/データ分析業務
・200行前後のSQLを記述
・データ要件、分析要件の定義
・ダッシュボード作成など

・2年以上データエンジニアとしてのキャリアをお持ちの方
・SQLの記述経験（200行前後の記述も可能な方）
・BIツールでダッシュボードを作成した経験のある方

主に医療、製薬系のサービスを複数展開されているメガベンチャー企業にて、電子カルテのデータプラットフォームを現在開発しております。
そのプラットフォームを開発するにあたり、データの品質を考慮しながら、
DWH、データ基盤の設計構築、dataformでのデータパイプライン構築やバッチへの反映を主にご担当いただきます。

【開発環境】
・DB：BigQuery
・言語：JavaScript
・SQLパイプラインツール：dataform
・BIツール：Looker

製薬企業向けビッグデータソリューションの開発
1.製薬企業向けプラットフォーム開発
　└製薬企業が活用するプラットフォーム（Google Cloud Lookerで構築）の開発
　└要件調整、実装（自動単体テスト含む）、コードレビュー、
　（テストは別担当者）、リリースを実施
　└案件毎にPdM、QAと少人数チームを構成し協調して業務を行います
　└エンジニアも企画や仕様策定に積極的に関わることが期待されます
　└慣れるまで手厚くサポートします
2.社内向けプラットフォーム開発
　└社内活動（提案支援、フィジビリ調査）を支援するプラットフォーム（DataStudioで構築）の開発
　└チーム体制、期待事項などは1と同様

主な開発環境：
・Tableau Desktop／Tableau Online
・Google BigQuery／SQL

具体的な業務：
・ダッシュボード開発要望のヒアリングと詳細要件定義、画面設計
・Tableauダッシュボード実装
・ダッシュボード実装に必要なデータマート整備（DB整備自体はエンジニアが担当するためエンジニアに対する要件提示）
※時期による波は一定ありますが、目安として、新規ダッシュボード開発（既存ダッシュボードの
流用含む）は2件~3件/月、既存ダッシュボードの改修・メンテナンス 4件~5件/月程度です

1.Webアプリ開発等でJavaやphpなどでのオブジェクト指向の開発経験がある方
2.パフォーマンスに配慮したSQLを書くための基礎知識
　　└要件定義～設計～開発～テストまでのご経験
3.Looker（LookML開発）、DataStudioなどのスキル
　　└Looker、DataStudioのご経験
4.ビジネスサイド、PdM、QAとのコミュニケーションが苦ではない方

Snowflakeを利用したデータ蓄積+活用。
連携されたファイルなどのデータをSnowflakeにてデータを蓄積。
蓄積後ユーザに使いやすいように加工し活用してもらうよう設計・開発を行う。

【主なスキル技術セット】
Snowflake
Python
Javascript
AWS
Informatica Intelligent Cloud Services（IICS）

その他(ツール作成等)
Powershell
bash
Excelマクロ

・ユーザビリティを意識した設計を行った経験
・積極的にコミュニケーションが取れる
・何かしらのデータベースを用いた開発経験　(※.Oracle,Redshift等)

【案件概要】Snowflakeデータ基盤設計構築

【作業内容】Snowflakeの設計・実装

【環境】AWS Lambda、Amazon Redshift、Amazon Linux

Snowflakeの設計経験

【案件概要】コンテナを使った基盤設計、構築
【作業内容】
AWSでアーキテクチャの検討・設計
その検討したアーキや構成のプロトタイプを構築する

※アーキ検討は別のチーム

【担当工程】基本設計、詳細設計、構築、単体テストまで

【環境】
EKS
Gitlab
AWS CodePipeline/CodeBuild/CodeArtifact
AWS ECR
AWS Inspector
ubuntu

EKS（Amazon Elastic Kubernetes Service）設計構築経験
またはKubernetes（K8s）設計構築経験

プラットフォーム：AWS、一部BigQuery
構築済み環境の再構築を見据えた環境調査からスタート。
イメージは、12月に環境調査を行い改善点を提案、1‐6月の作業範囲を確定させて、1月から要件定義、3‐6月設計～リリースというスケジュール想定。
12月のタスクはAWSとBigQueryの環境調査、調査結果ドキュメント作成、改善点の整理をお願いするを想定しております。
稼働率については12月は中旬スタートのため50%想定、1月以降は100%想定です。

・GCP、AWSどちらのプラットフォームでもデータ基盤構築を経験したことがある
・アーキテクト周りの環境改善経験

Databricksを新規構築し、データパイプライン開発を実施する。
環境：Azure + Databricks

・アーキテクトの立場でのAzureサービスを組み合わせた要件定義、設計、構築経験
・AzureでのDWHの構築経験
・Azure全般（Functions, Synapse Analytics, Data Factory, Key Vault）

証券アナリストに向けたデータ提供・活用基盤を保守・追加開発する。当該案件では顧客と直接会話をしながらデータ状況の改善を行っていく。
組織としては先進的で、様々な技術要素を取り入れていく体質のため、 多くの技術に触れることができる
【技術要素】
python , ReactJS , docker , AWS , gRPC , …

Python開発経験 2年以上