BigQueryの案件一覧

・金融SaaSサービス運営企業におけるデータサイエンティストとしてデータ解析及び機械学習モデルの活用に携わっていただきます。
・データの前処理、特徴量エンジニアリング、モデル構築・評価おびよび改善
・機械学習モデルのパフォーマンス最適化
・プロダクト内および社内へのAI導入

・開発言語：Python、Typescript
・機械学習・統計モデリング：scikit-learn、LightGBM、pandas、numpy etc.
・クラウドプラットフォーム：Google Cloud Platform
・分析基盤：BigQuery
・アプリケーション：Next.js、FastAPI
・構成管理ツール：Terraform、Cloud Build
・データモデリング：Dataform
・データビジュアライゼーション：Metabase/Redash
・その他：Docker、GitHub、Slack、Github Copilot etc.

国内外の様々なお客様にSnowflakeの導入とそれに伴うデータ活用の支援
-Snowflakeの導入コンサルティング
-Snowflakeを中心としたデータ基盤の開発支援、データ活用支援
-Snowflakeや周辺技術領域（モダンデータスタック）の情報収集、技術検証
-データ基盤やデータエンジニアリングに関する技術情報発信

-RDBMS製品（Oracle、 PostgreSQL、MySQL等）または
DWH製品（Teradata、Redshift、BigQuery等）または
データレイク製品（Hadoop/Spark、EMR等）に関する開発経験

-クラウド（AWS、Azure、GCP等）に関する開発経験
-基本的なSQLまたはPythonのコーディングスキル
-論理的思考、ドキュメンテーションのスキル

社内データ基盤の活用を推進するため、BIレポートの設計・開発からデータマートの構築までを一気通貫で担当いただきます。 単なる開発作業にとどまらず、社内ステークホルダーからの要望ヒアリングや要件定義、運用マニュアルの作成、問い合わせ対応など、ディレクション業務も並行して行っていただくポジションです。
・BIレポート・セマンティックモデルの設計および開発
・データマート（DWH）の設計・開発
・BI活用に関する社内問い合わせ・改善要望の整理、対応
・各種運用マニュアル、ドキュメントの作成
・ビジネスサイドの意思決定を支援するアドホック分析の実施

・SQLを用いたデータ集計・分析の実務経験
・RDB（MySQL, PostgreSQL, BigQuery, Snowflake等）におけるテーブル設計の実務経験
・事業会社またはクライアント先での案件ディレクション、ステークホルダーとの折衝経験
・Python等のプログラミング言語を用いたデータ処理の基礎知識

■具体的な業務内容
基盤の運用改善および次世代データ基盤の要件定義、設計、構築を担当して頂きます。

■具体的な業務内容

• 現行基盤の課題整理および改善方針の策定
• 次世代データ基盤の要望・要件整理・設計
• 技術・ツール選定、比較検討
• パフォーマンスチューニング
• キャパシティプランニング
• CI/CDパイプラインの改善
• 新規パイプラインの構築、旧パイプラインの閉鎖
  ※社内のデータ基盤ユーザーとのコミュニケーションが発生。
  ※リーダー、メンバーおよび関係各所に対する実装方針・技術選定結果などの説明が発生。
  ※会議におけるファシリテーションなどが発生。

■求める人物像
・円滑なコミュニケーション能力を有している方
・抽象的な問題を整理し、具体的な課題解決へ落とし込む能力を有している方
・自立的に課題解決に取り組んで頂ける方

基盤の運用および改善業務を担当して頂きます。

■具体的な業務内容

• ユーザーからの依頼および問い合わせ対応
• テーブル・ビュー追加/改修作業
• データ閲覧権限管理作業
• データパイプライン運用/改修作業
• Google Cloud設定変更作業
• 技術調査/検証作業
• その他運用改善に伴うツール開発/改修業務
  ※社内のデータ基盤ユーザーとのコミュニケーションが発生します

■求める人物像
・円滑なコミュニケーションが取れる方
・能動的に仕事に取り組める方

AIエージェント化、セマンティックモデル、データカタログ整備を横断的に実行し、検証～運用をドライブして経営に寄与する示唆創出を実現する。

技術者ランク：リーダ・サブリーダ相当

・データ分析の自走経験
目的設計、EDA、可視化、要因分析、予測、レポーティング、とここまでの手順のドキュメント化まで独力で推進できる
・Snowflake, BigQuery, Amazon Athena, Databricks, Oracle Analytics等データ分析基盤の実務経験
データ分析の推進を目的としたデータ分析基盤の基本検討、構築、運用いずれかの経験
・データベース知識
データ分析基盤検討に必要な設計を理解し、DBやSQL等のクエリ操作ができること
・ステークホルダー調整力
関連組織とのデータ調達・優先度策定・進捗／リスク管理
・案件を独力で推進できる、またはメンバーを指揮してプロジェクトをリードした実務経験

主にマルチクラウド環境（AWS/GCP）のデータ基盤構築と整備、およびデータ活用のための前処理開発を担当いただきます。

データ基盤構築・統合:
現在AWSとGCPに分散しているデータ基盤を、BigQuery上への統合（一元化）を目指す構築作業が主。
データベース型サイト（5〜10サイト、大規模データ）の分析基盤の設計、保守、セキュリティ対策。

データパイプライン開発:AWSとGoogle Cloudの両方からデータを接続するデータパイプラインの設計・実装。
データソース（アクセスログ、AWS S3上のマスターデータ等）の接続設定。

データ前処理・加工（データマート構築）:
データ抽出、グルーピング、定義付けなど、分析用データマートの部分の加工・実装。

運用・保守:
構築後のメンテナンス費用やセキュリティまで考慮した管理体制の提案・構築。
フェーズ: プロジェクトはこれから始まる段階（現時点では知見の少ないメンバーで対応中）。

ELTについて:
Google Cloud内の機能でELTを内製
データ抽出：SQL
変換：SQL or Python
格納：BigQuery