分析基盤エンジニアの案件一覧

DX推進を行っている部署の中で、既存で散らばっている社内のデータを集約する作業を行なっております。

既存のデータはAzureの中に入れており、そこのデータパイプラインの保守作業を行いつつ、新規パイプラインの設計・構築を行っていただきます。(Sparkを想定しております。)

また、集約したデータをBIツールを活用し、データ可視化も行っています。
（既存ダッシュボードの保守、新規ダッシュボード構築など）

・DB構築経験
・データの移行経験(データパイプラインの構築経験)
・SQLを用いたデータ集計の経験
・クラウドもしくは仮想環境での経験

AWSを用いて実現する蓄積基盤の設計、構築（特にRedshift、Glueまわり）
勘定系システムなどからデータを受け取るAWSのデータレイク基盤（蓄積基盤）の設計、構築

AWSのデータ分析基盤関連のサービスの設計、構築スキル（特にRedshift、Glue）

【概要】
データエンジニアとしてDMP及びCDP導入案件や顧客の分析要件に基づいたデータ抽出環境整備における構築業務を担っていただきます。
多数のプロジェクトがあり、適性なものにジョインを想定しております。

【環境】
SQL,Python,Git

【業務】
・CDP及びDMPの設計/構築/運用
・各種DB、分析ツールを連携させたデータ管理、分析環境の構築
・データマートの設計/構築/運用
・クライアントとの細部仕様調整

・SQL
・TreasureData/GCP/AWS等のクラウドDWHの構築経験

・グループ全社のデータパイプライン設計・実装及び実装委託
　(APIやパブリックデータの取得/整備)
・DWH管理業務 (欠損,Issue,申請等の対応)
・技術調査

【業務スコープ】
・Google Cloud Platformをバックエンドとするデータ分析基盤の開発・運用
・データ分析基盤と各事業部が有するデータを活用するための開発・運用
・データ分析基盤にデータを収集するETL/ELTパイプラインの開発
・データ分析基盤でデータを集計するワークフローの開発
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

1. 複雑なSQLを用いたデータ抽出経験
2. Go、Java、Pythonなどを利用した開発経験
3. ETL/ELTのデータパイプライン設計/構築
4. ワークフローの構築経験（Digdag / Airflow etc.）
5. 監視ツールの導入・運用経験
6. Infrastructure as CodeおよびCI/CDの経験
7. コンテナ技術（Docker/Kubernetes）を用いた開発経験
8. GCPでの開発経験
9. データマネジメント（DMBOK）に関する理解や実践経験

【PJ概要】
国立法人向け AI解析基盤構築
【スケジュール】
要件定義支援：~4月、開発：5月～
【業務内容】
・要件定義
・アーキテクト設計
・リーダー業務※ポジションにより

・アプリ開発
・要件定義の経験
・データマネジメントもしくはAI関連技術の知見

【概要】
大手メディア企業が収集する動画視聴ログのDMP構築支援業務です。
対象データは動画閲覧ログであり、様々なプラットフォームのログを保持しています。
直近では更なるデータ利活用に向けて既存テーブルのリファクタリングの改善や新規作成を行っています。また、コンテンツ内容に合わせた広告の実現に向けた開発を進めています。今回はデータの拡大により新しいテーブルの設計と実装が必要になります。幅広くプロジェクトのタスクに携わって頂くことを想定しています。
【開発環境】
・GCP(BigQuery,Cloud Function, GCE), digdag ,embulk
・Confluence,JIRA,Bitbucket
【対応内容】
・GCP主にBigQueryを用いたビッグデータのテーブル設計・データ集計
・データワークフロー・ETLの設計・数値検証・ドキュメント化
・データの集計と分析作業

・SQL経験　5年以上
・GCP、特にBigQueryの経験1年以上（AWSのご経験が数年あれば優遇）
・データクレンジング・集計・検証経験1年以上
・Gitを用いたコード管理
・データパイプライン設計経験　1年以上

大手卸小売業のデータエンジニアとして下記業を担当いただきます。
・AWS等のクラウドサービスを活用したデータ分析
・Redshiftでのデータ分析基盤構築
・各種KPI設計およびTableauなどのBIツールでのダッシュボード作成

・データ分析プロジェクトの経験
・データ分析基盤設計、構築、分析経験
・Redshift経験
・python経験
・BIツール経験

・10ヵ年計画で実現する次世代医療分析基盤の大規模開発のスタートラインを切るメンバーとして、インフラ設計段階から開発、本番適用まで一貫して携わっていただきます。
・また、国内医療での利用拡大が約束されている分析基盤の継続機能開発及び運用を実施します。

【開発環境】
・AWS：SageMaker、WorkSpaces、VPC Endpoint、Redshift、Aurora、EC2、ECR、S3等
・言語：Python、SQL

【対応内容】
・要件定義及びテスト設計
・インフラ設計及び監修
・ネットワーク及びセキュリティ設計
・開発実装及びテスト実施
・外部ストレージとの繋ぎ込み開発

・AWSでの開発実務経験及びテスト実施経験が3年以上ある
・AWSの複数サービスを使用したアプリケーション開発にインフラ設計から携わった経験がある
・CCNA程度のネットワーク理解
・LinuCレベル1程度のLinux理解

プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築
　・構築環境の理解からクライアント課題に合わせた設計
　・データ分析のためのBIの開発・運用
　・継続的なモニタリングプロセス、仕組みの構築
　・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む

・Pythonを含む複数言語(TypeScript, Javascriptなど)でのコーディング経験(3年以上)
・データ基盤および分析基盤などの開発・構築経験(3年以上)
・ETLやELTの実装経験
・クラウド環境上でのシステム構築・運用の経験
・GitHubを用いた開発経験

[ポジション]：分析基盤エンジニア

大手エンターテインメント企業様にて、 来年度発売ゲームタイトルの売り上げ予測プロジェクトにおける基盤構築をお願いする予定です。 データの調達、データ分析基盤の構築、データエンジニアリング業務を想定しております。

【業務イメージ】
・データの調達業務
・インサイトを意識したデータ分析基盤の構築
・上記構築に際するデータ加工
・ETL構築

・データエンジニアリング経験
・ETLの構築経験
・Bigqueryのご経験