秒間25万リクエストを超える動画配信をはじめとした視聴に関するビッグデータの収集・整形・蓄積まで一貫して行なっていただきます。
【業務内容】
ビッグデータ基盤におけるデータの収集、データレイクからデータウェアハウス/データマートまでのワークフローの開発・運用をお任せします。
ご自身のアイディア・工夫をカジュアルに提案しプロダクトに反映していただける環境であり、単純に作るのではなく価値を提供することを重視しております。
データ基盤はGCP(Google Cloud Platform)を主軸とし、サブシステムにはAWS(Amazon Web Services)を部分的に採用した構成。日々進化するクラウドサービスをキャッチアップし最適な構成に随時進化し続けています。
今後もさらに安定してバージョンアップやスケーラビリティ・パフォーマンス改善を重ねるため、その開発の中核を担っていただくデータエンジニアを募集しております。
【開発環境】
■主要開発技術:GCP(Google Cloud Platform)環境でのワークフロー開発
■開発言語:Python, JavaScript, SQL
■クラウドプラットフォーム : Googleクラウド(BigQuery, Dataform, Workflows, CloufdFunctions, CloudRun)
■データ収集 : Fastly
■データウェアハウス : BigQuery
■コミュニケーションツール:Slack
■開発手法:アジャイル(一部ウォーターフォール)
■開発支援ツール・環境:GitHub, GitHub Actions(CI/CD)
■構成管理 : Terraform
■エディタ/IDE:VSCode Vim(*お好みのエディタを使用していただいてOKです。)
|