BigQueryの案件一覧

・法人向けSaaSプロダクトにおけるデータパイプラインの設計・構築及び最適化を行っていただきます。
・具体的には様々な外部データソース（例：Google Drive, Dropbox, Webpage, etc）とのデータ連携のための処理の実装です。
・データの正確性、完全性、一貫性を保証するためのデータ品質管理プロセスの設計と実装、およびデータパイプラインの健全性を監視するシステムの構築

【参画メリット】
・急成長中のスタートアップ企業なので、今後のキャリアアップにつながる環境です。
・リモート併用案件のため、比較的リラックスした環境で働くことが可能です。

・Pythonを用いたデータ処理（Flask, Pandas, NumPy, Daskなど）の実務経験3年以上。
・GCPを用いたデータウェアハウス、データレイク、またはデータパイプライン構築の実務経験。
・リレーショナルデータベース（例：PostgreSQL, MySQL）またはデータウェアハウス
（例：BigQuery）におけるSQLを用いたデータ操作、分析のご経験。

2025年4月に再構築されたシステムの保守運用を開発ベンダから移管し、保守運用を行う案件です。

【移管システムの規模】
・IF:56本、ジョブ:160本、SQL:153本、ダッシュボード帳票:73機能

【体制】
・新規募集メンバー2名主体で推進していただきます
（元請けメンバーによるフォロー有）

【環境】
・GCP（Google Cloud Platform）上のBigQueryとTableauを使用したデータ分析環境
・基幹システムからapigee、AWS S3を介した情報連携あり

・Tableauの導入/運用またはデータ可視化ツールに関する知識（マスト）
・チームや関係部署との円滑なコミュニケーション能力
・システム運用または移管プロジェクトの経験
・マニュアル作成などのドキュメント作成経験
・SQLやデータベース設計に関する知識

個人の様々な行動データを基にしたデータプラットフォームを用いて、
各種分析から施策企画・検討までを行います。
・データマート構築（要件定義、設計、実装、テスト）
・データエンジニアリング業務（データの収集、加工、集計）
・バッチ基盤の運用保守
・DMBOKを軸にしたデータマネジメント業務、及び利活用促進
・dbtを用いたデータ変換とモデルの開発
・データ利活用促進のためのメタデータ及びデータカタログ整備
DB：Databricks, BigQuery, Redshift, MySQL, PostgreSQL
クラウド：AWS, GCP, Azure
ツール：Adobe Analytics, Google Analytics, Firebase
バッチ処理：Airflow, dbt, digdag
言語：Python, Shell Script, SQL
CI/CD：CodeCommit, CodeDeploy, CodePipeline, Azure DevOps
データカタログ: OpenMetadata

導入したSFAの機能改修や修正の要望を受け、専任チームを立ち上げます。
アジャイルのような開発手法で、要件定義～リリースまでを対応。
現在、チケットにて70～80程度の修正要目が上がっています。
フロント：React(Typescript)
バックエンド：Python

■開発環境■
GENIEE SFA、Python、React、BigQuery、MongoDB、AWS、OpenSearch

– React / Typescriptの開発経験2年以上　☆重要
– クラウドコンピューティングを前提としたプロダクト開発の経験
– AWS / GCPなどのクラウドサービスを活用したアーキテクチャ設計の経験
– WEBアプリケーションの開発経験3年以上（言語問わず）

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等

現在ITaに差し掛かっており、対応いただける方を募集しています。
テスト実施やスキルや状況によって、バグ改修を行っていただく想定をしています。
・Goを用いたサーバサイドのテスト　※実装依頼がある可能性あり
・（想定）Angularを用いたフロントサイドのテスト　※実装依頼がある可能性あり

■開発環境■
GCP, Cloud Run, Firestore, Datastore, Filestore, Dataflow, Google App Engine,Cloud Functions, Storage, BigQuery, Terraform, Docker, Kubernetes
Github, Cloud Source Repositories, CircleCI, Github Actions, CodePipeline,Cloud Build, DevOps, Golang, Java

・Web開発経験　3年以上
・テスト実施経験
・クラウド環境での開発経験

■背景
・募集部署はデータ基盤&AI・BI&運用を一気通貫で担っており、
　現在エンド会社にDWH構築を上流から提案中
⇒既契約のエンド会社より技術要件に落とし込める英語できる方を求められている(5月末ぐらいまでに決定希望)
⇒技術サポートで既契約中(Snowflake環境構築)

■当社クライアント支援範囲(該当部署)
・データ基盤構築、機械学習システム構築/精度向上、時系列データ予測/異常検知、自然言語(テキスト)解析、画像認識
■想定業務
・プロパーの方との連携(Snowflake実装)
・英語でのやり取り(技術要件に落とし込み)
・ドキュメント作成(アーキテクト構成図・設計書・仕様書)
・技術サポート

※基本的にプロパー(Snowflake環境構築出来る方)がいるが、自身が構築・技術サポートしていくのも想定業務

・DWH構築経験(特にSnowflake)
・上流(要件定義・提案)の経験
・データフロー/マート設計
・ビジネス英語(クライアント折衝)

※全て満たしていない場合でも相談可(英語は必須)
※DWH上流経験があれば幅は広がります
※DWHサービス活用は必須

【概要】
時系列モデルを構築して、ビジネス要件を満たせる予測精度を実現できるかを検証して結果を報告します。
構築したモデルのブラッシュアップを実施して精度向上を目指します。
複数のプロジェクトに対してスキルマッチした案件へアサインいただきます。

【業務】
・基礎分析
・予測モデルの要件定義
・分析用データの前処理、特徴量作成
・予測モデル構築、検証
・検証結果報告書の作成
・そのほかデータサイエンティスト業務全般

【体制】
2名体制
PM1名
DS1名（当該募集）

・Python、SQL経験（2年以上）
・LightGBMなど回帰アルゴリズムによる予測モデルの構築経験（3プロジェクト以上）
・モデルに投入する特徴量データ集計のパイプライン構築経験
・ドキュメンテーション能力
・コミュニケーション能力

秒間25万リクエストを超える動画配信をはじめとした視聴に関するビッグデータの整形・分析・レポーティング等の業務を行なっていただきます。

【業務内容】
蓄積された様々なデータからGCP（Google Cloud Platform）やオープンソースなどのML／DLフレームワーク技術を活用し、各種モデルの検討から分析・開発・評価を行っていただきます。
ご入社後まずは、テレビ局ならではのデータの活用、分析、その結果のレポーティング業務等を行って頂きます。

具体的には・・・
・データテーブル設計
・数理統計や機械学習を用いた分析業務
・Python、SQLを用いた分析フローの実装
・報告書作成からクライアントへの提案、プレゼン
・付随するクライアント対応業務

【開発環境】
■開発言語：Python
■GCP利用サービス：BigQuery、Cloud Storage、Vertex AI、ワークフロー、Looker
■AWS利用サービス：S3、Athena、Redshift、Glue、SageMaker
■その他ソフトウェア：MySQL、Docker、JupyterNotebook
■ソースコード管理：Git (GitHub)
■プロジェクト管理：GitHub
■情報共有ツール：Slack、Teams、GoogleMeet、Zoom

秒間25万リクエストを超える動画配信をはじめとした視聴に関するビッグデータの収集・整形・蓄積まで一貫して行なっていただきます。

【業務内容】
ビッグデータ基盤におけるデータの収集、データレイクからデータウェアハウス／データマートまでのワークフローの開発・運用をお任せします。
ご自身のアイディア・工夫をカジュアルに提案しプロダクトに反映していただける環境であり、単純に作るのではなく価値を提供することを重視しております。
データ基盤はGCP（Google Cloud Platform）を主軸とし、サブシステムにはAWS（Amazon Web Services）を部分的に採用した構成。日々進化するクラウドサービスをキャッチアップし最適な構成に随時進化し続けています。
今後もさらに安定してバージョンアップやスケーラビリティ・パフォーマンス改善を重ねるため、その開発の中核を担っていただくデータエンジニアを募集しております。

【開発環境】
■主要開発技術：GCP（Google Cloud Platform）環境でのワークフロー開発
■開発言語：Python, JavaScript, SQL
■クラウドプラットフォーム : Googleクラウド（BigQuery, Dataform, Workflows, CloufdFunctions, CloudRun）
■データ収集 : Fastly
■データウェアハウス : BigQuery
■コミュニケーションツール：Slack
■開発手法：アジャイル（一部ウォーターフォール）
■開発支援ツール・環境：GitHub, GitHub Actions（CI/CD）
■構成管理 : Terraform
■エディタ/IDE：VSCode Vim（＊お好みのエディタを使用していただいてOKです。）