DWHの案件一覧

【業務内容】
某通信キャリアにおけるZTO開発におけるDWH・ETLツールをAWS上にて実装。
・メンバー管理
・ETLコーディング
・ワークフローシナリオ実装
・ユニットテストの項目作成
・ユニットテスト実施　など

【主な開発環境】
言語：Python
DB：MySQL
インフラ：AWS (RDS,Redshift,SMS/SQS,RDS,Lamda etc）
コミュニケーションツール：JIRA・Confulence
ソースコード管理：Git
その他ツール：Ansible

大手エンターテインメント企業/ゲーム領域にてデータエンジニアを募集しております！日々蓄積される膨大なデータを使って集計や統計分析を行い、施策の効果測定/サービス改善/課題の把握・解決を通じた事業支援を目的としており、 担当範囲は主力ゲームタイトルに限らず、新規ゲームやIP・メディアミックス領域まで多岐にわたります。

■具体的な業務内容
・分析依頼内容から目的の整理（分析設計の作成）
・BigQueryでのSQLを利用した集計、データの可視化
・LookerでLookMLを用いたExploreの作成、ダッシュボード化
・分析依頼内容のレポート作成、分析成果の報告
・BigQueryのテーブル作成 など

■現状使用ツール、環境
・言語: SQL
・分析基盤: BigQuery
・分析・可視化ツール: BigQuery Studio、Google Sheets、Google Colaboratory、SPSS Modeler
・BIツール: Looker
・その他: GitHub、Slack、DocBase

【業務内容】
データ分析システム開発・運用作業全般をお願いします。
スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。
・基本設計
・詳細設計
・実装
・テスト
・リリース
・運用・保守　など

【開発環境】
言語 : Python
クラウド：AWS（Lambda）
DB : SQL

・Pythonでの開発経験
・AWSと連携する機能を設計・実装・テストした経験

Databricksを新規構築し、データパイプライン開発を実施する。
環境：Azure + Databricks

・アーキテクトの立場でのAzureサービスを組み合わせた要件定義、設計、構築経験
・AzureでのDWHの構築経験
・Azure全般（Functions, Synapse Analytics, Data Factory, Key Vault）

・大手ゲーム/玩具メーカーの経営管理基盤の構築案件です。
その中で、データ基盤の構築に関連する業務を支援いただく想定です。
参画当初は、現状の調査等の業務を行う予定です。

どのように活用すべきか具体的な構想が決まって無い中で、クライアントの要望をヒアリングしながらデータモデルの設計をし、azure(IaaS)に構築までしていただく。

・ETLツール選定、プラットフォーム選定
・現行データモデルを読み解いて、DWH側データモデルを作成（非正規化、フラット化）
・ETL設定、動作確認

■概要
公共向け案件。
Azure Synapse Analyticsを中心としたデータ基盤の構築案件。
本フェーズは詳細設計以降だが、一部の基本設計は見直しの予定。

■内容
・Synapse Analytics詳細設計フェーズまたはデータ設計業務
・データパイプライン作成/変更手順/データフロー定義/パイプラインの実行(Synapse　Pipelineなど)
・上流設計

■スケジュール
初期構築作業：11月～
データ統合作業：2025年以降あり
※2025年以降も予定あり

・人事データを扱うデータエンジニア寄りのデータスチュワードとしての下記業務を担当
-データ利活用のためのガイドラインや手順書整備：データを扱っていく上でのルールの策定、運用方法についての策定
-データを安全に活用するためのメタデータ設計：機密情報を扱うためそれらを考慮した設計
-効率的な運用のためのデータの格納、連携提案：万単位のデータを扱う事になるので効率化の提案、実施
-メタデータ登録、変更等、品質チェック
-運用管理課題や利用者問合せ内容管理及びFAQ整備
-各活動における関係者連携調整、打ち合わせ及び議事録作成（一部PMOに近い業務あり）

【概要】
・ビルの空調等を管理していくためのIoTプロダクトの設計開発プロジェクト
・スタートアップ企業様社内での自社案件
・国内におけるエネルギー活用を見直せるシステム
・大手企業様への導入も進みハードウェア＆ソフトウェアの機能改善も日夜進んでいる

【業務内容】
・設置場所の最適な自動制御の設定を決定するためのアルゴリズムを取る
・省エネについての専門家の方と一緒に考えてサービスに反映
・効果測定＆レポートの抽出

・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発

※全て当てはまらなくても良いです
・開発経験１０年以上
・DWHやETL等のビッグデータ実装への理解
・Sparkの使用経験
・Kinesisの使用経験
・5名程度の開発チームのリーダー経験
・開発フレームワーク／ツール／プロセスの選定と制定
・マイクロサービスアーキテクチャやサーバレスアーキテクチャの実装理解
・Pandasライブラリを用いた開発経験
・Data Pipeline構築経験（ETL開発経験）
・AWS上でのシステム開発経験
・Lambdaなどのサーバーレス開発経験
・RDBを用いたシステム開発の経験
・OSSを活用したシステム開発経験（Kafka, MySQL, MongoDB…）
・AWSのマネージドサービス利用経験（Redshift,SMS/SQS,RDS）
・アジャイルでのシステム開発経験
・JIRA/Confulence相当を利用した開発経験