Redshiftの案件一覧

外資系大手製薬企業のGlobal組織(海外)がメインで、システム運用・保守されるクライアント日本法人組織向けデータ分析基盤のインフラ領域の非機能/運用面の改善検討のリードです。

クライアント日本法人のユーザ部門およびIT部門の意向を踏まえ、ゴールを描きながら検討を行う必要がございます。

・デジタルマーケティングツールやデータ分析ツールへのデータ投入のためのETL 準備、実装を行います。
・某社向けデータ分析のためのデータ処理基盤の開発・保守・運用・機能追加

主な使用ツール、サービス：

・Snowflake, BigQuery などの DWH

・Embulk などの ETL ツール

・Hightouch などの Reverse ETL ツール

・AWS, GCP の各種サービス（S3, EC2, Step Functions, ...）

・さまざまなBIツール

セルフBI要件検討

セルフ分析向けデータ設計・開発

マスタ検討、分析項目定義、数値定義検討

セルフ分析デモ プロトタイプ作成

他チームからの問い合わせ対応 (データ調査等)

『作業内容』

調査、設計〜テスト
『開発環境』

フロントエンド：React（TypeScript）、wepack

バックエンド：Python

プラットフォーム：AWS

（CloudFront、Cognito、Batch、Lambda、CodeBuild、他多数使用）

データベース、ストレージ：Redshift、DynamoDB、S3

監視ツール：Cloudwatch、Sentry

仮想環境：Docker

その他開発ツール：VSCode、Jupyter nootbook

ソース管理：Github

プロジェクト管理：Backlog

コミュニケーション：Slack

・某大手ネット印刷プラットフォームのデータ案件

・データ分析基盤の構築/運用

・各種システムからのBigQueryへのデータパイプラインの構築/運用

・BigQuery上のデータウェアハウス・データマートの加工処理の構築/運用

技術環境

・言語 : Python

・データベース : BigQuqery, Aurora MySQL 2.0, Aurora PostgreSQL

・インフラ : AWS (EC2, S3, Lambda etc.) , GCP

・バージョン管理 : git/Github

・CI : CircleCI, Jenkins

・コミュニケーション : Slack, Notion, ClickUP

データ分析基盤の構築・運用に際し下記業務をご担当いただきます。

・各種システムからのBigQueryへのデータパイプラインの構築、運用

・BigQuery上のデータウェアハウス・データマートの加工処理の構築、運用

◆開発環境

・言語 : Python

・データベース : BigQuqery, Aurora MySQL 2.0, Aurora PostgreSQL

・インフラ : AWS (EC2, S3, Lambda etc.) , GCP

・バージョン管理 : git/Github

・CI : CircleCI, Jenkins

データ分析基盤の構築・運用をおまかせします
・各種システムからのBigQueryへのデータパイプラインの構築・運用

・BigQuery上のデータウェアハウス・データマートの加工処理の構築・運用

開発環境言語 : Python,

データベース : BigQuqery, Aurora MySQL 2.0, Aurora PostgreSQL

インフラ : AWS (EC2, S3, Lambda etc.) , GCP

バージョン管理 : git/Github

CI : CircleCI, Jenkins

コミュニケーション : Slack, JIRA, ClickUP, Notion

クライアント（HR系）のデータマネジメント部署にてデータマートの開発およびディレクション業務を担当いただきます。

データ分析/活用プロジェクトへ参画いただき、データエンジニアとしてデータマート開発実装をメインにご担当いただきつつ、データ要件の定義やプロジェクトの進行管理などディレクション業務も一部ご担当いただきます。
【業務内容】

・データ分析/活用プロジェクトの推進

・データマート開発における要件定義、プロジェクトの進行管理

・分析用データマートの開発

　└データマート（テーブル）設計、SQL実装、バッチ（digdag）実装

・データマートの保守運用

■仕事内容

ビッグデータを活用した、SaaS型分析アプリケーションの開発・運用を進めていただきます。

また現在の地上波テレビ放送のみならず、今後新たに動画配信サービスでも同様の視聴データ分析サービスを開発・提供しており、そのサービス設計・開発の立ち上げを担っていただきます。

【プロダクト開発】

・自社サービスのプロダクトの機能開発、運用

・動画配信サービスを対象とした新プロダクトの企画、設計、開発

・データサイエンティストが考案した新たな分析手法に応じたプロトタイプの開発

【データ基盤運用】

・ETLシステムの開発、改善、運用

・AWS上のインフラ基盤の改善、運用

■開発環境

・言語：Python、Typescript

・フレームワーク：Django、Flask、pandas、Angular

・データベース：Snowflake、MySQL、PostgreSQL、Redis

・インフラ：AWS （ECS、Lambda、Batch、Redshift、RDS、Route 53、SES、SNS、etc）

・CI/CD：GitHub Actions

・テスト：pytest、Cypress

・開発ツール：JetBrains PyCharm有償版、DataGrip、VSCode、その他有用なものは積極的に使用、購入

・デザインツール：Figma

・BIツール：Redash、Tableau

・バージョン管理：GitHub

・コミュニケーション：Slack、Zoom、Backlog、Confluence
■チーム

執行役員： 1名

エンジニア：9名

データサイエンティスト：4名