DB/基盤系の案件一覧

データエンジニアとしてデータモデルの設計・開発
事業企画との折衝、主には実現方法の検討であったり連携項目の整理といったレポートで表現するにあたっての要件定義

【対応工程】
・BI レポート用のデータマートの設計・開発
・テーブル設計、SQL実装、リレーション構築、バッチ実装
・BI レポートの開発・保守運用
・レポート開発にあたっての要件定義
・実現方法検討、連携項目整理
　※現在PowerBIとTableauを併用しています

【開発環境】
データベース：Databricks、Snowflake
BIツール：Power BI、Tableau

Googleスプレッドシートに保存された広告データを、BigQueryに取り込み、Looker Studioにて可視化・レポート作成を行う支援業務。BigQuery環境の利用が前提
Fivetranを使用したデータ統合の自動化

・BigQueryを用いたデータ連携・加工経験
・Looker Studioでのダッシュボード作成経験
・スプレッドシートとのデータ連携知識（GAS実務経験）

データサイエンス、競合インテリジェンス、および価格最適化の交差点に位置し、高度な分析モデルを構築して戦略的な提言が求められます。
クライアントに直接関わり、大規模なデータから得られた実行可能なインサイトを、エグゼクティブレベルのストーリーとして提示し、ビジネス変革を推進します。

【役割／タスク】
ー高度な価格モデルを構築し、競合インテリジェンスと価格最適化を推進
－分析に基づいた実行可能な戦略的インサイトを、エグゼクティブ向けに提示
ークライアントと連携し、データ活用を通じたビジネス変革を主導

様々なWEBサービス（月間数千万ユーザー利用）を提供している社内において各業務に対してAIを活用した様々な改善を行っています。
-ガイドライン遵守監視のAI自動化
-取材・入稿業務の取材AIエージェント
-問い合わせ省人化・応対ログからのナレッジ提案
-議事録ジェネレーター（Google Meet/Slack/Drive 連携、イベント駆動）

各プロジェクトのAI汎用ソリューションの企画構想、新規導入の運用設計からMVP開発、本開発までを一気通貫でお願いします。

【ソリューション例】
-LLMワークフロー実装：要約/抽出/整形/ガイドラインチェック機能の開発
-検索/RAG基盤最適化：埋め込み・インデクシング・再ランキング・プロンプト最適化
-フロントエンド/バックエンド実装：Streamlit/Next.js/FastAPIを用いた機能実装
-議事録自動生成システム：Google Meet連携、Slackボット、Drive保存機能

【開発・運用環境】
-プロジェクト管理：Confluence, Jira
-ソースコード管理：GitHub Enterprise
-生成AIツール：Cursor, Devin, Gemini Advanced, Dify
-コミュニケーション：Slack、Microsoft Teams
-コラボレーション：Miro
-Officeツール：Google Workspace, Box, Microsoft Office365
-端末：Macbook Pro（ローカル開発ではDockerを活用）
-クラウド：Google Cloud（主にCloud Run）
-コンテナ・オーケストレーション：Docker, Kubernetes (GKE)
-プログラミング言語：Python（FastAPI, Streamlit, PyTorch/TensorFlow）, TypeScript（Next.js）
-データ・検索：BigQuery, ベクターDB（Pinecone等）
-AI・機械学習：Claude API, OpenAI API
-監視・ログ：Prometheus, Grafana, Datadog
-CI/CD：GitHub Actions
-メッセージング：Slack Bot API, Google Meet API, Gmail API
-データストレージ：Google Cloud Storage, BigQuery

既存のTableau環境に対しDatabricksを追加採用し、社内外データを一元的・効率的に管理できる統合データ基盤を構築するプロジェクトになります。

現状：Tableau (BIツール) のみ導入済み。
構築対象範囲：
・Databricksデータ基盤環境の追加構築。
・データレイク、DWH（データウェアハウス）の統合。
・周辺のデータ準備処理およびワークフローの整備。
主要業務: データパイプラインの設計・構築

・大規模データ基盤構築プロジェクトにおける構築実務経験
（データ設計／データパイプライン処理実装等）
・Pythonを使用したデータ分析などのご経験
・自主的・積極的な業務推進

AIエージェント化、セマンティックモデル、データカタログ整備を横断的に実行し、検証～運用をドライブして経営に寄与する示唆創出を実現する。

技術者ランク：リーダ・サブリーダ相当

・データ分析の自走経験
目的設計、EDA、可視化、要因分析、予測、レポーティング、とここまでの手順のドキュメント化まで独力で推進できる
・Snowflake, BigQuery, Amazon Athena, Databricks, Oracle Analytics等データ分析基盤の実務経験
データ分析の推進を目的としたデータ分析基盤の基本検討、構築、運用いずれかの経験
・データベース知識
データ分析基盤検討に必要な設計を理解し、DBやSQL等のクエリ操作ができること
・ステークホルダー調整力
関連組織とのデータ調達・優先度策定・進捗／リスク管理
・案件を独力で推進できる、またはメンバーを指揮してプロジェクトをリードした実務経験

クラウドシステムのプロトタイプ開発および検証対応

長年のシステム利用により発生した「日本語検索の精度不足」を解決するため
現行のレガシー検索システムから最新の検索基盤へ移行・構築を行います。
検索の原理原則を理解し、日本語処理技術を用いてユーザー体験を向上させるプロジェクトです。

プロジェクトを成功に導くため、主に以下の業務を一貫してお任せします。
・新しい全文検索エンジンの環境構築(オンプレ)
・辞書を用いた検索ロジックの設計とチューニング。
・既存Webサービスと新検索システムを連携させるためのAPI開発と改修。
・大規模リニューアルにおける移行計画のサポートと、運用マニュアルの作成。

全文検索エンジンの構築・運用経験
Sphinx、Elasticsearch、Solrなど、いずれかの新規構築または大規模なリプレイス経験。
NLPを用いた検索精度改善の実務経験
バックエンド開発経験
Python、PHPなどを用いたAPI開発経験。
オンプレミス環境でのサーバー構築・運用経験への理解。

主にマルチクラウド環境（AWS/GCP）のデータ基盤構築と整備、およびデータ活用のための前処理開発を担当いただきます。

データ基盤構築・統合:
現在AWSとGCPに分散しているデータ基盤を、BigQuery上への統合（一元化）を目指す構築作業が主。
データベース型サイト（5〜10サイト、大規模データ）の分析基盤の設計、保守、セキュリティ対策。

データパイプライン開発:AWSとGoogle Cloudの両方からデータを接続するデータパイプラインの設計・実装。
データソース（アクセスログ、AWS S3上のマスターデータ等）の接続設定。

データ前処理・加工（データマート構築）:
データ抽出、グルーピング、定義付けなど、分析用データマートの部分の加工・実装。

運用・保守:
構築後のメンテナンス費用やセキュリティまで考慮した管理体制の提案・構築。
フェーズ: プロジェクトはこれから始まる段階（現時点では知見の少ないメンバーで対応中）。

ELTについて:
Google Cloud内の機能でELTを内製
データ抽出：SQL
変換：SQL or Python
格納：BigQuery

・AIプロダクトのバックエンドシステムの設計・開発・運用
・マイクロサービスアーキテクチャによる分散システム設計
・CI/CDパイプラインの構築・改善
・統合機械学習モデルのプロダクション環境への統合・デプロイ
・多職種チーム (デザイナー、PdM、PjMなど) との協働開発

◆開発環境
言語：Python、TypeScript、React、Next.js、NX
バックエンド：Python
インフラ：GCP (コンテナ / K8s)、Docker
開発ツール：Slack、Confluence、Linear、Google Workspace、GitHub、Notion

◆作業環境
○Mac (Appleシリコン)
○デュアルモニタ対応