ETLの案件一覧

事業横断のデータ基盤（DWHとデータパイプライン）の設計・構築・運用
既存DWH（BigQuery）とデータパイプラインの拡充
将来のデータ基盤戦略の策定と推進
データ分析によるビジネス課題の発見と推進
・受注背景：既存事業の運用基盤を引き継ぎ、信頼性・利便性向上にコミットするため

・データ種の追加やアプリケーション追加によるデータ処理(Go言語・コンテナアプリケーション)の追加
・既存データ基盤(オンプレ、Kubernetes環境)の改修・検証・テスト
・各種ミドルウェア(CI/CD、監視、DB)の導入・検証・テスト
・データ基盤の量産
・顧客との打ち合わせ

・内部開発の詳細設計～テストフェーズのリーダー支援
・詳細設計
　-SEからのインプットを基に詳細設計
　-ワークフローシナリオ実装
　-UT観点項目作成
　-UTスクリプト作成
・QA
　-試験管理(試験進捗管理/スケジュール策定/対向システム調整)
　-試験項目作成
　-試験自動化
　-品質管理

・エンタープライズ企業向けにAI Saasサービスを展開している企業のPJ
・データエンジニアとしてデータプラットフォームの企画およびアーキテクチャ設計や、データパイプラインの設計・構築といった業務を担当

・エンタープライズ様向けにAI Saasサービスを展開されている会社様になります。
・具体的にはデータエンジニアとしてデータプラットフォームの企画およびアーキテクチャ設計や
データパイプラインの設計・構築といった業務に携わって頂きます。
【環境】
・AIを活用したモダンな開発環境がございますので、今後のスキルアップに繋がりやすいかと存じます。

・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイスの実施
・上記に必要な検証環境構築作業および要件定義の資料化
※上記取り組みを下記の①顧客案件および②社内研究開発の作業として行います　
①製造業向けデータ分析基盤構築：要件定義
・クライアントの持つデータ分析基盤の構築ソリューションをベースに顧客向けにシステムを構築する
・AWS Glueを中心したETL/ELT機能とBIツール（Power BI）、DWH（Snowflake）が主な構成要素となる
・要件定義の作業になるため、クライアントとともに一緒に検討を行える方がベター
・今のところ、下記のようなサービスが必要なのではと思案中
　AWS Glue
　AWS Lambda
　AWS Code Pipeline
　AWS Code Commit
・合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定
　AWS Step Functions（詳細フロー制御）
　Amazon Managed Workflow for Apache Airflow（実行管理）
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えているため、これらの統合についてもテーマとなる
②研究開発
・上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築する
・Snowflakeを用いたデータ基盤の構築を早期化するソリューション

グループに属する事業会社のデータを集約し、ビジネス活用を推進していきます。
目的達成のために柔軟に設計でき、自由度高く開発することができます。
グループ全体のDXプロジェクトの一部であり、ビジネスインパクトが大きく、長期的に続く案件へアサインいただきます。

【業務スコープ】
■データの品質管理
・データレイクに格納されたデータの異常値調査
・テーブル定義書の作成

■データマート開発
・データマート要件定義・設計・開発

GCP上に構築したデータ分析環境の機能改善と運用を担当するメンバを募集しております。
既存ML基盤の Kubernetes 化や CI/CD Pipeline の整備等、基盤のモダナイズを推進しており、設計・構築・運用の面でチームの一員としてご活躍いただける方を募集しております

作業概要：
・クラウド環境におけるビッグデータ処理基盤の改善及び運用
・具体的にはGCP BigQuery を中心とした分析基盤に関して、以下のような運用業務を対応いただきます
・Terraformで組織内の権限付与業務、インスタンスの作成
・Ansdibleでサーバーの設定
・GCPのプロダクトやOS、様々なEOSL対応
・業務時間内(10:00-19:00)の障害検知・障害対応、など
・慣れてくれば初めて使用するミドルウェアやツールの検証・導入計画・設計・装着などもご担当いただくこともあります。

・病院で使用している備品などの発注量や使用量の可視化・分析をtableauを使って行っている。(tableauサーバーに溜まったデータをtableau Readerを使用して可視化)

データパイプラインのチューニングと
可視化する内容の改修がメインスコープ。

顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。
チームメンバーと共に試行錯誤しながら業務を進めていただきます。
下記業務をご担当いただく予定です。
・データソースの収集
・S3への蓄積
・AWS Glueを使用したデータ加工
・外部ツールからのデータ収集／外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化（Lambda、StepFunctionを想定）
・terraformを利用した構成管理（Glueのジョブ、IAMロール、S3
、Quicksight）