分析基盤エンジニアの案件一覧

エンドクライアント内にある散らかったデータ(BtoB向けの受発注や契約関係のデータ等)を連携しsnowflakeに蓄積してデータ利活用を推進していきたいと考えております。

業務スコープは以下を想定
・Snowflakeを利用したデータ蓄積+活用。
・連携されたファイルなどのデータをSnowflakeにてデータを蓄積。
・蓄積後ユーザに使いやすいように加工し活用してもらうよう設計・開発を行う。

【主なスキル技術や環境】
AWS(Lambda等)
Snowflake
Python
SQL
GitやGithub
CI/CD

Javascript
GCP
Informatica Intelligent Cloud Services（IICS）

その他(ツール作成等)
Powershell
bash
Excelマクロ

PJTの進め方
毎朝大手Slerの開発チームとクライアントの開発メンバーを交えた朝礼を行なっております。
必要に応じてエンド企業との打ち合わせが日中発生する想定です。

■プロジェクト概要：
テレビ・デジタル広告の配信実績データや成果レポートをオンライン上で統合・可視化する統合マーケティングダッシュボードの機能追加。

下記サービスを用いて構築予定。
Google Cloud（BigQuery/Cloud Composer）、Tableau Server
■役割：PL/SE
■作業内容：
・現行データおよび加工仕様の理解
・ダッシュボード要件からのマートおよび加工処理の設計
・Cloud Composerでのデータパイプラインの設計
・ダッシュボード設計担当への伝達/レビュー

・法人向けSaaSプロダクトにおけるデータパイプラインの設計・構築及び最適化を行っていただきます。
・具体的には様々な外部データソース（例：Google Drive, Dropbox, Webpage, etc）とのデータ連携のための処理の実装です。

・Pythonを用いたデータ処理（Flask, Pandas, NumPy, Daskなど）の実務経験3年以上

GoogleAnalyticsのデータをBigQueryに蓄積し、データマートを
作成、必要に応じてPython等でデータを加工(非構造データの
構造化等)し、Looker,Tableau,Excelでレポートし提出が主たる業務
以下、分析テーマをベースにメイン分析者として担当。

【想定分析テーマ】
　※参考　案件参画時のテーマに 応じ変更の可能性あり

1.カスタマーに関わる分析（顧客属性・商品情報・アプリ利用履歴）
2.アプリ（BtoCアプリ）の事業貢献に関わる分析
　（1の分析に加え、当該顧客のXB・解約に関わる分析）
3.パーソナライズに関わる分析（機械学習を用いた高度化）
4.他の施策（WLP・リレーションシップ革命）に関わる分析

3～5名のチームメンバーと共に安心安全な開発環境構築やパフォーマンス改善活動、レガシーな環境改善などを経験して頂きます。

• システムの潜在的なバグやボトルネックを特定し改善する活動
• アプリのサーバーサイドで採用されているミドルウェアやライブラリーのアップデート
• 新しいツールやライブラリーの検証・選定
• マイクロサービスアーキテクチャの設計と導入
• SREチームと連携してDocker等を用いた開発環境の整備

・ RDBMSにおいて高トラフィックなアクセスをさばいた経験(言語は問わない)
・ Webサービスにおけるシステムアーキテクチャについての知識
・ パブリッククラウド（AWS、GCP等）の利用経験
・ Ruby/Ruby on Railsやライブラリーに関する深い知識

OerackeEBS⇒SAPの置き換えに伴い、
データ分析基盤をInformaticaIICS、ストアドで再構築設計レベルの手戻りが発生している。
設計可能なメンバが必要。
（固定資産、棚卸管理メンバ）

固定資産、棚卸、リース等の業務知識経験

・詳細設計書作成（バッチ(ETL)設計）
・基本設計から詳細設計書を作成

・Intelligent Data Management Cloud(CDI)(以降、IDMC)ツールによる実装IDMCにて詳細設計書から実装を行う
経験者であれば尚良いですが新しい技術へのキャッチアップへの意欲のある方であれば問題ございません

・単体・結合テスト計画書作成とテスト実施
　　（単体テスト、結合テスト、システムテスト）

【作業内容・工程・環境】
データ利活用基盤に新規データマートの構築開発案件
既存の2種のデータマートを統合し、新規のデータマートを構築する。
要件資料と現行設計を元に、データ抽出の設計作業（200項目×11システム）
※最適化のため、一部の項目では現行仕様と新規要件を元に調整・検討を行う場合あり。
設計書を元にSQL製造、及び検証作業（単体～総合試験）

SQL: 一般的なSQL言語で1kstep以上のコーディング経験
SQL設計および製造が単独で可能
業務要件に基づいたデータ抽出設計（SEレベル）
データ抽出設計に基づいたSQLコーディング
PLまたはチームリーダー経験
(小規模チームのスケジュール管理・タスク管理)
テレワークでのコミュニケーション（チャットツール、音声会議）
お客様に対して提案ベースでの課題調整能力

・分析用データベースシステム障害対応（速度改善等）
・分析用データベースの整備（クレンジング・名寄せ）
・ドキュメント管理
。分析用データベース基盤の要望対応
・追加インプットデータを格納
・追加マートを作成
・AWSのサービスを用いた簡易的なシステムの改修

・クラウド（AWS）を用いたデータベースの運用業務経験
・システム開発の上流～下流までの経験（3000ステップ程度の小さいシステムでも可）
・以下の様な資料作成経験
要件定義：要件定義書
基本設計：データ定義書、E-R図、機能一覧
詳細設計：機能設計書
・AWSサービスに関する知見や利用経験
lambda/EC2
Athena/Redsiftなどのデータベースサービス
S3
・コーディング経験
・SQL（Prestoなら尚よし）
・Python3
・上記言語の速度改善に関する知見（2分探索、データベースのインデックス）

【案件概要】データ連携基盤の構築
【作業内容】会計系データを取り込み⇒他データとマージ⇒レポート系のシステム(DWH/BIなど)へ連携
【工程/スケジュール】
2024/01-　現行調査など
2024/02-　要件定義工程

希望のスキルセット
　-データ分析基盤の全体的なアーキテクチャ検討
　-Snowflakeの設計・実装
　-Snowflake構築に関連するパブリッククラウド(AWS等)のご経験)
英語は優先度下がったので、英語できなくても可

【必　須】以下いずれかのスキル要件に2～3つ程度該当する
1)AWS（ETLとしてGlueを使用）
… 上流(アーキ検討)から対応可能な方。2に付随したAWS環境の構築。
2)Snowflake
… 上流(アーキ検討)から対応可能な方。Snowflakeは新規に構築。
3)Talend
… 設計・構築から対応可能な方。顧客内に既存のTalend環境あり、そこに追加していく
4)JP1/AJS
… 設計・構築から対応可能な方。ジョブ連携
5)英語コミュニケーション
… 親会社が海外でありコミュニケーション発生する
6)顧客調整、プロジェクトリード