Redshiftの案件一覧

【背景】

アクセス解析データ/DBデータ/APIデータ等合計600TBのデータ基盤を管理データ基盤を管理・改善する人員が不足しており今回の募集にいたりました。
【お願いしたい業務】

* 運用改善

* データ基盤関連ツールの導入(ELTツール - dataform, データガバナンス - dataplex/DataCatalogなど)

* CDPの構築(店舗向け、ラベル推定/スコア推定など, SFAツールへの連携)
【できればお願いしたい業務】

* 新規データ連携対応(DB - embulk, API - Cloud Run/Pythonによる実装)

* データマート整備(Composerなど)
DWHはbigqueryBIはtableauはtreasuredataにアクセスし可視化しています

弊社クライアント（HR系）のデータ事業部にてデータ抽出業務を担当いただきます。

（主に戦略・方針策定のための実態の把握に向けたデータ抽出

クエリの「読み・書き」ができるだけでなく、依頼者側がどのような用件でデータ抽出したいのかを汲み取って使仕様検討・データ抽出ができる方を求めています。
【業務内容】

・基幹データやアクセスログからのデータ抽出

　└新規のSQL作成、既存SQLの調査/改修

・依頼者（事業担当者）との抽出要件の整理、プロジェクトの進行管理

・Tableau ダッシュボード作成/小売業向けPOSデータ可視化

・Tableauダッシュボードの開発・テスト(単体/結合)

■担当工程：

　設計～テスト

■役割

　メンバー

Tableau Desktopの利用経験あり

Business Inteligence（ビジネス・インテリジェンス） システムの運用保守要員として、ダッシュボード構築や新規レポートの要件定義・設計案件の対応などをお願いします。

【現行システム】

　UI（ユーザ画面）：MicroStrategy

　DB（データベース）：Redshift

社内データ分析基盤開発・保守・運用業務を担っていただきます。■Python/Shell/Rubyで開発されているバッチ系システムが主

・データレイクへの取り込み

・中間テーブル生成

■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応

・社内ユーザコミュニケーションや要件定義も含む

・インフラからコードデプロイまでを担当

- ローカルで実装、Sandbox環境で動作検証、Productionデプロイ

自動車大手のお客様にて開発中のデータ基盤（AWSのESK上で構築）に関連するエンハンス開発や追加要求に対する周辺システムの開発

データ収集・分析・可視化・新規サービスへの情報提供・管理機能など
PJ規模

チーム単位で５～８名程度のチームが複数8チームほど存在。

このチームのどこかに参画頂く予定

Javaでの開発スキル（設計工程や、ソースレビューもできるレベル希望）

作業内容：某大手小売業向けETL基盤構築

┗新規ジョブ、既存ジョブの作成

┗設計～開発

・顧客データを分析、機械学習し、保険商品ごとに顧客へのおすすめ度を計算するためのバッチ処理を開発及び保守。

・機械学習済みモデルとSQLを分析専門の別チームから受け取り、本番化のためにバッチ処理に組み込み問題がないか試験を行う。

飲食系クライアント向けのBI（Tableau）構築案件です。

　下記の2フェーズで進めており、1月から開始するフェーズのメンバーを募集しております。

　・フェーズ１（年末まで）：データレイク、RedshiftでのDWH

　・フェーズ２（1月以降）：データマート作成、BI（Tableau）設計

　PJはアジャイルで進めるため、ドキュメンテーションの比率は低いです。

　Redshiftから抽出したデータ（数百GB）を2～3GBほどに圧縮しサーバーにパブリッシュします。

　※フェーズ1でクレンジングできていないデータをExcel VBAでデータマートに変換するタスクが発生する可能性があります。

【案件概要 】弊社クライアント（HR系）のデータマネジメント部署にてデータマートの開発およびディレクション業務を担当いただきます。

データ分析/活用プロジェクトへ参画いただき、データエンジニアとしてデータマート開発実装をメインにご担当いただきつつ、データ要件の定義やプロジェクトの進行管理などディレクション業務も一部ご担当いただきます。
【業務内容】

・データ分析/活用プロジェクトの推進

・データマート開発における要件定義、プロジェクトの進行管理

・分析用データマートの開発

　└データマート（テーブル）設計、SQL実装、バッチ（digdag）実装・データマートの保守運用