分析基盤エンジニアの案件一覧

【概要】

データを用いた意思決定や課題解決に活用するため、各事業・プロダクト・サービスの全てのデータを一元的に収集・保存・管理するデータ基盤の構築を担うポジション。
【詳細】

・データ基盤の開発・改修・保守運用

・データ基盤の物理・論理データモデル設計・開発・保守運用

・データ基盤のシステムアーキテクチャの設計

・データパイプライン (ETL) の設計・開発・保守運用
【開発環境】

〇インフラ

GCP (データ基盤) / AWS (関連システム)

〇データパイプライン (ETL)

CloudComposer (Airflow)

〇DWH

BigQuery

〇その他インフラ管理

DockerGKE / GAE / CloudRun

〇可視化ツール

Google Data Portal / Tableau

〇分析環境

Jupyter Notebook / Google Colab / Google Cloud ML

〇その他

GitHub / Slack / Notion

【概　要】

会計データ分析基盤としてデータの取り込み、加工から公開までを実施。

ユーザー側から提示される要求事項をTableauを用いて可視化していく。
【業　務】

BIツールの改良や作成

・ユーザー要求を基に、BIツールを用いたデータの可視化、データ加工、データモデリングなどを実施

・データ加工のロジック、データモデリングの情報を開発側への機能化要求事項としてドキュメント化する
【工　程】運用保守、計画・推進

【環　境】Tableau

・某大手ネット印刷プラットフォームのデータ案件

・データ分析基盤の構築/運用

・各種システムからのBigQueryへのデータパイプラインの構築/運用

・BigQuery上のデータウェアハウス・データマートの加工処理の構築/運用

技術環境

・言語 : Python

・データベース : BigQuqery, Aurora MySQL 2.0, Aurora PostgreSQL

・インフラ : AWS (EC2, S3, Lambda etc.) , GCP

・バージョン管理 : git/Github

・CI : CircleCI, Jenkins

・コミュニケーション : Slack, Notion, ClickUP

大手自動車会社連結子会社のエンジンメーカーにて、親会社と同様のDWHを構築している。

様々なシステムからのデータ収集の実装、データベース設計、データガバナンスの整備などを実施いただきます。

・DWH設計者もしくは、DWH基盤構築の経験

・データウェアハウス構築経験者

外資系大手製薬企業のGlobal組織(海外)がメインで、システム運用・保守されるクライアント日本法人組織向けデータ分析基盤のインフラ領域の非機能/運用面の改善検討のリードです。

クライアント日本法人のユーザ部門およびIT部門の意向を踏まえ、ゴールを描きながら検討を行う必要がございます。

データ分析基盤の構築・運用をおまかせします
・各種システムからのBigQueryへのデータパイプラインの構築・運用

・BigQuery上のデータウェアハウス・データマートの加工処理の構築・運用

開発環境言語 : Python,

データベース : BigQuqery, Aurora MySQL 2.0, Aurora PostgreSQL

インフラ : AWS (EC2, S3, Lambda etc.) , GCP

バージョン管理 : git/Github

CI : CircleCI, Jenkins

コミュニケーション : Slack, JIRA, ClickUP, Notion

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。

顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

【開発環境】

・開発言語： Python、SQL

・DB: Aurora(PostgreSQL互換)、Redshift

・ライブラリ・フレームワーク：Pandas、Numpy、Dask

・インフラ：AWS

・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch

・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry