データエンジニアの案件一覧

データパイプラインの構築、BIツールの整備を中心にご自身のスキルに合わせて業務をご担当いただきます。
具体的には下記になります。

・dbt（data build
tool）にて構築されたデータパイプラインのデータモデルのリファクタリング
・データ利活用のための環境整備　等

■具体的な業務内容
基盤の運用改善および次世代データ基盤の要件定義、設計、構築を担当して頂きます。

■具体的な業務内容

• 現行基盤の課題整理および改善方針の策定
• 次世代データ基盤の要望・要件整理・設計
• 技術・ツール選定、比較検討
• パフォーマンスチューニング
• キャパシティプランニング
• CI/CDパイプラインの改善
• 新規パイプラインの構築、旧パイプラインの閉鎖
  ※社内のデータ基盤ユーザーとのコミュニケーションが発生。
  ※リーダー、メンバーおよび関係各所に対する実装方針・技術選定結果などの説明が発生。
  ※会議におけるファシリテーションなどが発生。

■求める人物像
・円滑なコミュニケーション能力を有している方
・抽象的な問題を整理し、具体的な課題解決へ落とし込む能力を有している方
・自立的に課題解決に取り組んで頂ける方

下記のBI製品の開発経験者を常時募集しています

・★PowerBI，★tableau，★motionboard・Looker
※★印のツールの需要が高いです

上記ツールは案件多数あります
そのほか、下記ツール経験者も募集しています。

・IBMCognosAnalytics
・OracleBI
・SAPBusinessObjects

・PowerBI・tableau・motionboard・Looker
上記BIツールの各工程経験者
①要件定義，基本設計～
②詳細設計以降～製造

元請けプロパーチームに参画し下記作業を実施。

・クライアントの業務要件・課題を理解し、Power BIを駆使したソリューションを提案
・Power BIを活用したダッシュボード・レポートの設計・開発・運用
・会計データを中心としたデータモデルおよびレポートの設計、最適化
・SnowflakeやSQLデータベースからのデータ取得・変換・統合
・データ品質管理、モニタリングシステムの導入
・プロジェクト進行におけるBI環境におけるクライアントとのコミュニケーション、課題解決のリード
・グローバルメンバーと協力し、プロジェクト目標の達成に向けてタスクの遂行

・BIツールに関する実務経験：5年以上
・Power BIに関する実務経験：3年以上
・Power BIを用いたダッシュボード・レポート開発経験
・データモデリングおよびDAXの知識
・SQLおよびPythonの使用経験
・データウェアハウスの利用経験
・クライアント課題のヒアリング・要件定義の経験
・国際的な環境での業務経験、優れたコミュニケーション能力（英会話が堪能であれば尚可）

元請けプロパーチームに参画し下記作業を実施。

•クライアントの業務要件・課題を理解し、Snowflakeを駆使したソリューションを提案
•Snowflakeを活用したデータウェアハウスの設計・開発・運用
•会計データを中心としたデータウェアハウスおよびデータモデルの設計、最適化
•ETLパイプラインの構築・保守
•SQLデータベースやERPなど複数ソースからのデータ統合・変換
•データ品質管理、モニタリングシステムの導入
•Snowflakeのパフォーマンスチューニング
•プロジェクト進行におけるデータウェアハウス環境におけるクライアントとのコミュニケーション、課題解決のリード
•グローバルメンバーと協力し、プロジェクト目標の達成に向けてタスクの遂行

※英語に抵抗がない方　英会話堪能だと尚可

データエンジニアとしてデータモデルの設計・開発
事業企画との折衝、主には実現方法の検討であったり連携項目の整理といったレポートで表現するにあたっての要件定義

【対応工程】
・BI レポート用のデータマートの設計・開発
・テーブル設計、SQL実装、リレーション構築、バッチ実装
・BI レポートの開発・保守運用
・レポート開発にあたっての要件定義
・実現方法検討、連携項目整理
　※現在PowerBIとTableauを併用しています

【開発環境】
データベース：Databricks、Snowflake
BIツール：Power BI、Tableau

大規模な生データを取り込み、クリーンアップするための堅牢でスケーラブルなデータパイプラインを構築・維持する、技術的デリバリーの要です。Python/SQL、GCP等のツールを用いてデータ品質を徹底的に保証し、データサイエンティストと連携して高品質なBIダッシュボードを本番環境に移行させます。

【役割／タスク】
・大規模データの取り込み・変換・クリーンアップを行うスケーラブルなパイプラインを構築
・高稼働率のBIダッシュボードを本番環境にデプロイし、技術的基盤を管理
・データ品質保証プロセスを主導し、納品前のデータ出力の厳密性を確保

Googleスプレッドシートに保存された広告データを、BigQueryに取り込み、Looker Studioにて可視化・レポート作成を行う支援業務。BigQuery環境の利用が前提
Fivetranを使用したデータ統合の自動化

・BigQueryを用いたデータ連携・加工経験
・Looker Studioでのダッシュボード作成経験
・スプレッドシートとのデータ連携知識（GAS実務経験）

既存のTableau環境に対しDatabricksを追加採用し、社内外データを一元的・効率的に管理できる統合データ基盤を構築するプロジェクトになります。

現状：Tableau (BIツール) のみ導入済み。
構築対象範囲：
・Databricksデータ基盤環境の追加構築。
・データレイク、DWH（データウェアハウス）の統合。
・周辺のデータ準備処理およびワークフローの整備。
主要業務: データパイプラインの設計・構築

・大規模データ基盤構築プロジェクトにおける構築実務経験
（データ設計／データパイプライン処理実装等）
・Pythonを使用したデータ分析などのご経験
・自主的・積極的な業務推進

主にマルチクラウド環境（AWS/GCP）のデータ基盤構築と整備、およびデータ活用のための前処理開発を担当いただきます。

データ基盤構築・統合:
現在AWSとGCPに分散しているデータ基盤を、BigQuery上への統合（一元化）を目指す構築作業が主。
データベース型サイト（5〜10サイト、大規模データ）の分析基盤の設計、保守、セキュリティ対策。

データパイプライン開発:AWSとGoogle Cloudの両方からデータを接続するデータパイプラインの設計・実装。
データソース（アクセスログ、AWS S3上のマスターデータ等）の接続設定。

データ前処理・加工（データマート構築）:
データ抽出、グルーピング、定義付けなど、分析用データマートの部分の加工・実装。

運用・保守:
構築後のメンテナンス費用やセキュリティまで考慮した管理体制の提案・構築。
フェーズ: プロジェクトはこれから始まる段階（現時点では知見の少ないメンバーで対応中）。

ELTについて:
Google Cloud内の機能でELTを内製
データ抽出：SQL
変換：SQL or Python
格納：BigQuery