データエンジニアの案件一覧

顧客の提供する各プロダクトからのデータ収集、加工・集計・可視化、
分析結果からの将来予測などをお願いします。

【開発環境】
・インフラ：AWS（Athena、Redshift、Glue、QuickSightなど）
・データベース：RDS（Aurora MySQL）
・ETL：AWS Glue
・BIツール：QuickSight
・言語：Python
・コミュニケーション：Slack、Zoom、Backlog、DocBase

・クライアントがチームで支援中。
・3月末で要員が交代のため、急遽募集

・各種データ（DB／Access／Excel）の集計・リスト作成、分析
・Office（Access／Excel）系ツールの保守・開発
・Tableauのダッシュボードの保守・開発
・各種ユーザー対応（問い合わせ対応、障害対応等）

【作業工程】
要件確認、設計、製造・テスト、UAT、納品

【現状】
クライアントプロパー2名参画中

・AWS Glue、Tableauの要件定義の残部分～パイプライン設計、外部設計まで（構築はお客様の基盤チームで対応するため、PJは外部設計までは範囲）
・外部設計は設計のエクセルシートをヒアリングして埋めていくイメージ
・15ファイルぐらいのテーブルを想定しているため、パイプラインも15本ぐらい作業想定

エンドクライアント内にある散らかったデータ(BtoB向けの受発注や契約関係のデータ等)を連携しsnowflakeに蓄積してデータ利活用を推進していきたいと考えております。

業務スコープは以下を想定
・Snowflakeを利用したデータ蓄積+活用。
・連携されたファイルなどのデータをSnowflakeにてデータを蓄積。
・蓄積後ユーザに使いやすいように加工し活用してもらうよう設計・開発を行う。

【主なスキル技術や環境】
AWS(Lambda等)
Snowflake
Python
SQL
GitやGithub
CI/CD

Javascript
GCP
Informatica Intelligent Cloud Services（IICS）

その他(ツール作成等)
Powershell
bash
Excelマクロ

PJTの進め方
毎朝大手Slerの開発チームとクライアントの開発メンバーを交えた朝礼を行なっております。
必要に応じてエンド企業との打ち合わせが日中発生する想定です。

■プロジェクト概要：
テレビ・デジタル広告の配信実績データや成果レポートをオンライン上で統合・可視化する統合マーケティングダッシュボードの機能追加。

下記サービスを用いて構築予定。
Google Cloud（BigQuery/Cloud Composer）、Tableau Server
■役割：PL/SE
■作業内容：
・現行データおよび加工仕様の理解
・ダッシュボード要件からのマートおよび加工処理の設計
・Cloud Composerでのデータパイプラインの設計
・ダッシュボード設計担当への伝達/レビュー

・法人向けSaaSプロダクトにおけるデータパイプラインの設計・構築及び最適化を行っていただきます。
・具体的には様々な外部データソース（例：Google Drive, Dropbox, Webpage, etc）とのデータ連携のための処理の実装です。

・Pythonを用いたデータ処理（Flask, Pandas, NumPy, Daskなど）の実務経験3年以上

大手エンターテインメント企業にて、
効率的なデータマートとダッシュボード作成運用を、分析官と一緒に行っていただきます。

業務内容
①データマート作成
②Looker StudioまたはLookerによる可視化

▼①の業務詳細
・決められた要件に従いデータマートを作成
・他分析官作成のデータマートの整備

▼②の業務詳細
・決められた要件に従い①で作成したデータマートを使用して可視化を行う

言語：SQL
環境・ツール：BigQuery、Git

現在、Salesforceを導入しており、今後ライセンスを大きく拡大していくにあたり、
弊社の既存メンバーとともに、定着支援に従事いただく。
メソッドは理解しつつも押し付けずにユーザファーストで動ける方を募集。

・BIツール(PowerBI予定)の仕様検討、スケルトン作成
・PowerBI開発