データエンジニアの案件一覧

■背景
・昨年度より社内のBI移行プロジェクトを実施しており、レポート開発が佳境を迎えている
・利用部門ユーザが自ら作成しているレポートが大半を占めていることから、レポートの作成について伴走型で支援を行いたい
・DOMO→PowerBIへの移行(レポート作成)

■内容
既存レポートのPower BI移行開発や、新規レポート構築、非エンジニア向けにレポート作成についての支援を行う。

＜技術支援例＞
・レポート移行(他ツールからPowerBIへの移行)
・作成済みレポート改善
・レポート構築・ナレッジ共有

■データ群
会社が管理している予算、受注/売上の見込、実績、原価や利益管理、勤怠情報など

データ量：
基本的には昨対を管理するのと、
過去5年分を履歴として持ち、推移を確認するので、300万行～500万行くらいのデータがある

取引先データを管理するシステムのマスタデータの管理でInformaticaを採用。
IDM、MDMのサービス展開を実施中。
承認ワークフローはAgileWorks、データ連携する際にInformaticaと絡ませる。
今回はInformatica内のマスタ管理機能の開発がメイン
スケジュールは今月まで要件定義、8月から基本設計。
要件定義は4名体制、設計開発で5名体制で開始し、段階的に人を増やしていく。

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

・増員のための募集ですが、チームを技術で引っ張ることのできる中堅レベル、リーダポジションとなれる方をお願いしたいと考えております。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等

・各種あがってくる要望・要件をPowerBI上で開発・レビュー・修正・納品を顧客先にて実施する

・PowerBIによる開発経験

人事管理本部で取り組んでいる人事DXでのデータ加工やBIツールでのダッシュボードの作成

■案件背景
・統合データソースをリリース予定
・統合データソースを利用した運用/ダッシュボード構築が今後必要

■案件概要
・データ利活用施策の検討
・データ利活用施策の推進
・特に休眠顧客の掘り起こし/休眠候補顧客へのアプローチ

【概要】
・SNS等の投稿データやアカウントデータを分析して市場調査・分析
(中期でLLMモデルが必要と想定している）
・機械学習等のモデル：AI等を通して、他のアンケートと出ている情報を比較して、データの正確性の評価

【ポジション】
・データサイエンティスト
・データエンジニア

【データサイエンティスト】
・データ分析の実務経験がある (2年以上)
・主にPythonを用いたデータ分析
・Scikit-learn, NumPy,
Pandasなどのライブラリを用いたデータ分析、統計、機械学習モデリングの経験
・Tableauを用いて分析結果などのレポーティングなどを行った経験

【データエンジニア】
・データ分析基盤あるいはサーバーサイドの開発実務経験がある (3年以上)
・主にPython, Java, Scalaなどの言語での開発経験がある
・AWS/GCPを使ったシステム開発を行った経験がある
・Airflow, Athena, Redshift, ECS/ECR,
snowflakeなどを利用したシステム開発を行った業務経験がある

BIツール（tableau）を使用し、経営指標の可視化を行います

・BIツールを用いたダッシュボード構築経験があること

■データ分析基盤チーム
エンド会社が提供する各プロダクトからのデータ収集、加工・集計対応。
その後可視化、分析結果からの将来予測など。
データレイク、DWH。

【開発環境】
インフラ：AWS（Athena、Redshift、Glue、QuickSightなど）
データベース：RDS（Aurora MySQL）
ETL：AWS Glue
BIツール：QuickSight
言語：Python
コミュニケーション：Slack、Zoom、Backlog、DocBase

作業内容：（上から優先度が高い順）
1．詳細設計、実装
データロード処理の追加、改修
（Pythonの追加実装・修正、Cloud Functionsのデプロイを含む）
マート作成処理の追加/改修（SQLの追加実装/修正）
2．単体・結合テスト項目作成とテスト実施
単体テスト、結合テスト、システムテスト
3．運用保守
バッチ処理失敗時の原因調査、影響範囲調査、リカバリ
4．バッチ処理仕様調整
既存処理リファクタリング、追加実装の技術検証、要件確認等