ELTの案件一覧

・エンタープライズ様向けにAI Saasサービスを展開されている会社様になります。
・具体的にはデータエンジニアとしてデータプラットフォームの企画およびアーキテクチャ設計や
データパイプラインの設計・構築といった業務に携わって頂きます。
【環境】
・AIを活用したモダンな開発環境がございますので、今後のスキルアップに繋がりやすいかと存じます。

・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイスの実施
・上記に必要な検証環境構築作業および要件定義の資料化
※上記取り組みを下記の①顧客案件および②社内研究開発の作業として行います　
①製造業向けデータ分析基盤構築：要件定義
・クライアントの持つデータ分析基盤の構築ソリューションをベースに顧客向けにシステムを構築する
・AWS Glueを中心したETL/ELT機能とBIツール（Power BI）、DWH（Snowflake）が主な構成要素となる
・要件定義の作業になるため、クライアントとともに一緒に検討を行える方がベター
・今のところ、下記のようなサービスが必要なのではと思案中
　AWS Glue
　AWS Lambda
　AWS Code Pipeline
　AWS Code Commit
・合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定
　AWS Step Functions（詳細フロー制御）
　Amazon Managed Workflow for Apache Airflow（実行管理）
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えているため、これらの統合についてもテーマとなる
②研究開発
・上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築する
・Snowflakeを用いたデータ基盤の構築を早期化するソリューション

グループに属する事業会社のデータを集約し、ビジネス活用を推進していきます。
目的達成のために柔軟に設計でき、自由度高く開発することができます。
グループ全体のDXプロジェクトの一部であり、ビジネスインパクトが大きく、長期的に続く案件へアサインいただきます。

【業務スコープ】
■データの品質管理
・データレイクに格納されたデータの異常値調査
・テーブル定義書の作成

■データマート開発
・データマート要件定義・設計・開発

・病院で使用している備品などの発注量や使用量の可視化・分析をtableauを使って行っている。(tableauサーバーに溜まったデータをtableau Readerを使用して可視化)

データパイプラインのチューニングと
可視化する内容の改修がメインスコープ。

【業務内容】
・データ要素追加、アプリケーション追加によるデータ処理(Go言語)の追加
・既存データ基盤(オンプレ、Kubernetes環境)の改修、検証、テスト
・各種ミドルウェア(CI/CD、監視、DB)の導入、検証、テスト
・データ基盤の量産
・顧客折衝

　データ分析基盤（データクリーンルーム）の設計/開発へ参画いただきます。
　既存のデータ分析基盤案件を対応しているチームをベースに、
新しくData Engineeringチームの設立を行う予定で、その構成メンバーを募集しています。
　Data Engineeringチームの主な活動は、同社が対応を進めているデータベース、
クラウドベースのDWH案件の各種開発サポート、アドホック対応、
PoC対応など全般を各種案件チームの一員としてご対応いただきます。
　状況によって、開発されたデータベース、データウェアハウスの検証作業も担当いただきます。
　対応すべき案件の幅が広いことから、幅広いご経験と知見を必要としますが、
案件の開発状況に対し、リーダーからメンバー適正に合わせた業務割り振りを行います。
　その為、専門分野でない未経験領域への挑戦意欲や、新しいテクノロジーに対する
学習意欲の高い方が求める人物像となります。

データ分析基盤の開発・構築を行なっていただきます。

・クライアントグループ全社のデータパイプライン設計・実装及び実装委託
　(APIやパブリックデータの取得/整備)
・DWH管理業務 (欠損,Issue,申請等の対応)

【業務スコープ】
・Google Cloud Platformをバックエンドとするデータ分析基盤の開発・運用
・データ分析基盤と各事業部が有するデータを活用するための開発・運用
★データ分析基盤にデータを収集するETL/ELTパイプラインの開発・管理
・データ分析基盤でデータを集計するワークフローの開発
・技術調査

・エンタープライズ様向けにAI Saasサービスを展開されている会社様になります。
・具体的にはデータエンジニアとしてデータプラットフォームの企画およびアーキテクチャ設計や
データパイプラインの設計・構築といった業務に携わって頂きます。

【参画メリット】
・フルリモートですので、ご自身のリラックスできる環境で作業が可能です。
・AIを活用したモダンな開発環境がございますので、今後のスキルアップに繋がりやすいかと存じます。

【就業形態について】
現状、メンバーのほとんどはフルリモートにて業務を行っております。
週に何日かご出社をご希望の際にはご相談ください。

自社にてECサイト・口コミサイトを開発運営している大手企業でGoogle Cloudを利用したデータパイプラインの開発・運用を行っていただきます。