ELTの案件一覧

クライアントでは「商品名○○」など、クライアントの提供する各種サービスをひとつのIDで使用できる統合管理システム「●●」を運用しております。
今回のポジションは議事録、通話データなどの多様なデータをデジタル化し、統合管理をするデータプラットフォームの構築がメインミッションとなります。

クライアントのデータエンジニアとして、CTO、CSO等と連携しながら、データインテグレーションに関する企画・開発全般をご担当いただきます。

＜具体的な業務内容＞
・データプラットフォームの企画およびアーキテクチャ設計
・データパイプラインの設計・構築
・データ分析のためのBIの開発・運用
・継続的なモニタリングプロセスの構築・運用
・データサイエンティスト、データアナリストが作成する分析フローの運用改善支援
・顧客データ活用の実態やドメイン知識の理解
・CTO、CSO等と連携し、プロジェクトの目的・方針・計画等の策定 等

技術環境
＜プロダクト開発部＞
言語：TypeScript, Python, Flutter
フレームワーク：Vue.js, Nuxt.js,Node.js
データベース：Cloud Firestore
インフラ：AWS, GCP, Azure, Cloud Firebase, Cloud Functions
ソースコード管理：Bitbucket
プロジェクト管理ツール：Notion, JIRA
コミュニケーションツール：Zoom, Slack, Google Workspace

＜R&D部門＞
開発言語：Python
フレームワーク：PyTorch, HuggingFace, SpeechBrain, scikit-learn

【業務概要】
・エンタープライズ様向けにAI Saasサービスを展開されている会社様になります。
・具体的にはデータエンジニアとしてデータプラットフォームの企画およびアーキテクチャ設計や
データパイプラインの設計・構築といった業務に携わって頂きます。

【参画メリット】
・フルリモートですので、ご自身のリラックスできる環境で作業が可能です。
・AIを活用したモダンな開発環境がございますので、今後のスキルアップに繋がりやすいかと存じます。

【就業形態について】
現状、メンバーのほとんどはフルリモートにて業務を行っております。
週に何日かご出社をご希望の際にはご相談ください。

リアルタイムなデータパイプラインを構築するためのデータエンジニア業務と、
機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築、効率よくデータを捌くためのミドルウェア開発、インフラ構築などを行う、MLOpsエンジニア業務をおまかせします。
GCPデータ基盤とその活用案件、は既に多数存在するものの、さらなる拡充を狙った専門人材の募集となります。
IP(知的財産)ビジネスがドメインの事業会社において、全社へ大きな影響を与える分析部門にアサイン頂きます。

【業務スコープ】
分析官や機械学習エンジニアと連携しながら、速く安全に機械学習のサイクルを回せるML基盤の構築をお任せします。

[データエンジニア概要]
■データパイプライン(リアルタイム)の設計・実装

（具体的な職務）
・収集対象：ECサイト
・データ分析基盤の開発・運用
・データを収集するETL/ELTパイプラインの開発
・運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

[MLOpsエンジニア概要]
■ ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■効率よくデータを捌くためのミドルウェア開発、インフラ構築
■ ML基盤内へログデータを収集・蓄積・加工する、一連のデータパイプラインの設計/開発/運用

（具体的な職務）
■ ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■ 運用体制構築のためのルール・ドキュメント整備

データユーザーからの要求をくみとり的確なデータとフローの設計を行い、パイプラインの構築やパイプラインを動かすデータ分析基盤の運用保守を行う。

・データ種の追加やアプリケーション追加によるデータ処理(Go言語・コンテナアプリケーション)の追加
・既存データ基盤(オンプレ、Kubernetes環境)の改修・検証・テスト
・各種ミドルウェア(CI/CD、監視、DB)の導入・検証・テスト
・データ基盤の量産
・顧客との打ち合わせ

・エンタープライズ企業向けにAI Saasサービスを展開している企業のPJ
・データエンジニアとしてデータプラットフォームの企画およびアーキテクチャ設計や、データパイプラインの設計・構築といった業務を担当

・エンタープライズ様向けにAI Saasサービスを展開されている会社様になります。
・具体的にはデータエンジニアとしてデータプラットフォームの企画およびアーキテクチャ設計や
データパイプラインの設計・構築といった業務に携わって頂きます。
【環境】
・AIを活用したモダンな開発環境がございますので、今後のスキルアップに繋がりやすいかと存じます。

・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイスの実施
・上記に必要な検証環境構築作業および要件定義の資料化
※上記取り組みを下記の①顧客案件および②社内研究開発の作業として行います　
①製造業向けデータ分析基盤構築：要件定義
・クライアントの持つデータ分析基盤の構築ソリューションをベースに顧客向けにシステムを構築する
・AWS Glueを中心したETL/ELT機能とBIツール（Power BI）、DWH（Snowflake）が主な構成要素となる
・要件定義の作業になるため、クライアントとともに一緒に検討を行える方がベター
・今のところ、下記のようなサービスが必要なのではと思案中
　AWS Glue
　AWS Lambda
　AWS Code Pipeline
　AWS Code Commit
・合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定
　AWS Step Functions（詳細フロー制御）
　Amazon Managed Workflow for Apache Airflow（実行管理）
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えているため、これらの統合についてもテーマとなる
②研究開発
・上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築する
・Snowflakeを用いたデータ基盤の構築を早期化するソリューション

グループに属する事業会社のデータを集約し、ビジネス活用を推進していきます。
目的達成のために柔軟に設計でき、自由度高く開発することができます。
グループ全体のDXプロジェクトの一部であり、ビジネスインパクトが大きく、長期的に続く案件へアサインいただきます。

【業務スコープ】
■データの品質管理
・データレイクに格納されたデータの異常値調査
・テーブル定義書の作成

■データマート開発
・データマート要件定義・設計・開発

・病院で使用している備品などの発注量や使用量の可視化・分析をtableauを使って行っている。(tableauサーバーに溜まったデータをtableau Readerを使用して可視化)

データパイプラインのチューニングと
可視化する内容の改修がメインスコープ。