データエンジニアの案件一覧

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等

・製薬業界での豊富な経験を持つ、英語と日本語のバイリンガルPower BI開発者を緊急募集。
・Power BIを用いたデータ可視化、ダッシュボード開発、レポート作成の実務経験
・売上レポート、コンプライアンス追跡、製品ライフサイクル分析

■背景
・募集部署はデータ基盤&AI・BI&運用を一気通貫で担っており、
　現在エンド会社にDWH構築を上流から提案中
⇒既契約のエンド会社より技術要件に落とし込める英語できる方を求められている(5月末ぐらいまでに決定希望)
⇒技術サポートで既契約中(Snowflake環境構築)

■当社クライアント支援範囲(該当部署)
・データ基盤構築、機械学習システム構築/精度向上、時系列データ予測/異常検知、自然言語(テキスト)解析、画像認識
■想定業務
・プロパーの方との連携(Snowflake実装)
・英語でのやり取り(技術要件に落とし込み)
・ドキュメント作成(アーキテクト構成図・設計書・仕様書)
・技術サポート

※基本的にプロパー(Snowflake環境構築出来る方)がいるが、自身が構築・技術サポートしていくのも想定業務

・DWH構築経験(特にSnowflake)
・上流(要件定義・提案)の経験
・データフロー/マート設計
・ビジネス英語(クライアント折衝)

※全て満たしていない場合でも相談可(英語は必須)
※DWH上流経験があれば幅は広がります
※DWHサービス活用は必須

・現在クライアント主導にて、ERPと連動した経営情報の仕組み（BIツール）を構築し、その連携先をグローバルへと展開しています。
・本社が使用するERPはSAPとなりますが、展開先にはSAP以外（EBSやD365等）の拠点もあり、特にファイナンスや連結/PSI領域を中心に、展開先の仕組みを理解した上でデータ収集や連携を進めています。
●役　割：
・BI展開チームのITチーム　サブリード
・連結/PSI領域×1名
主な活動イメージとしては、海外拠点との調整、及び進捗管理を主業務とし、
データの確からしさについて、ビジネス側のメンバーと適宜確認、検証していくイメージです。

秒間25万リクエストを超える動画配信をはじめとした視聴に関するビッグデータの収集・整形・蓄積まで一貫して行なっていただきます。

【業務内容】
ビッグデータ基盤におけるデータの収集、データレイクからデータウェアハウス／データマートまでのワークフローの開発・運用をお任せします。
ご自身のアイディア・工夫をカジュアルに提案しプロダクトに反映していただける環境であり、単純に作るのではなく価値を提供することを重視しております。
データ基盤はGCP（Google Cloud Platform）を主軸とし、サブシステムにはAWS（Amazon Web Services）を部分的に採用した構成。日々進化するクラウドサービスをキャッチアップし最適な構成に随時進化し続けています。
今後もさらに安定してバージョンアップやスケーラビリティ・パフォーマンス改善を重ねるため、その開発の中核を担っていただくデータエンジニアを募集しております。

【開発環境】
■主要開発技術：GCP（Google Cloud Platform）環境でのワークフロー開発
■開発言語：Python, JavaScript, SQL
■クラウドプラットフォーム : Googleクラウド（BigQuery, Dataform, Workflows, CloufdFunctions, CloudRun）
■データ収集 : Fastly
■データウェアハウス : BigQuery
■コミュニケーションツール：Slack
■開発手法：アジャイル（一部ウォーターフォール）
■開発支援ツール・環境：GitHub, GitHub Actions（CI/CD）
■構成管理 : Terraform
■エディタ/IDE：VSCode Vim（＊お好みのエディタを使用していただいてOKです。）

・Power BIを活用したデータ可視化・レポート作成
・Power Automateを活用した業務フロー自動化（クラウド/デスクトップフロー）
・Accessを利用したデータ管理・システム開発（VBA活用）
・各種データソースとの連携（Excel, SQL, SharePoint, API連携）
・データ整備・業務プロセス改善の提案

スマホ決済サービスを展開している企業において下記業務をご担当いただきます。

【解決したい課題】
・dbtで提供する中間テーブルの開発について、業務要件を理解して実装できるリソースが足りていない

【想定する業務内容】
dbtによる中間テーブルの開発
-ユーザーへの要件ヒアリング
-各ドメインのテーブル仕様理解
-クエリの実装
-新規モデルの開発・検証
-既存モデルのリファクタリング

・BigQuery
・データエンジニアとしての実務経験2年以上
・大規模データの中間テーブル構築経験（データモデリング）
※Airflow, Cloud composer など他ツールでのテーブル設計開発の経験があれば dbtの利用経験はなくても良い
・Github

Vtuber関連事業におけるデータ分析基盤のマネジメント業務に携わっていただきます。
データアナリストやデータエンジニアと連携しデータの信頼性、精度、整合性を確保するための取り組みをリードいただきます。

【業務内容】
・データ分析基盤の設計、構築、および運用
・データ品質の監視、評価、および改善
・データパイプラインの最適化と自動化
・データガバナンスおよびデータ管理のベストプラクティスの導入と実践
・データベースおよびデータウェアハウスの管理
・データセキュリティとプライバシーの確保
・データアナリストチームおよび開発チームとの連携

【開発環境】
使用言語: Python, SQL, HCL（Terraform）
ETL：dbt, Trocco
データストア: MySQL, snowflake
インフラ: AWS, GCP
プロジェクト管理ツール: GitHub, Slack, Notion

要件定義～リリースまで

・データ取得元の基幹システムが置き換わるため、
　それに関わる既存帳票・現行帳票・取得元の項目のマッピング
・データ取込処理（Dr.Sumインポートタスク、バッチ、Dr.Sum DataLoader）
・データ加工（Dr.SumのViewや場合によってはDSScriptを使用）
・Datalizer帳票の作成
・Datalizer for Excelで出力した結果に対するマクロでのExcel加工
・お客様がDr.SumやDatalizerを習得するための支援
　※上記のうち2～3個担当してもらう予定です