ETLの案件一覧

クライアントでは「商品名○○」など、クライアントの提供する各種サービスをひとつのIDで使用できる統合管理システム「●●」を運用しております。
今回のポジションは議事録、通話データなどの多様なデータをデジタル化し、統合管理をするデータプラットフォームの構築がメインミッションとなります。

クライアントのデータエンジニアとして、CTO、CSO等と連携しながら、データインテグレーションに関する企画・開発全般をご担当いただきます。

＜具体的な業務内容＞
・データプラットフォームの企画およびアーキテクチャ設計
・データパイプラインの設計・構築
・データ分析のためのBIの開発・運用
・継続的なモニタリングプロセスの構築・運用
・データサイエンティスト、データアナリストが作成する分析フローの運用改善支援
・顧客データ活用の実態やドメイン知識の理解
・CTO、CSO等と連携し、プロジェクトの目的・方針・計画等の策定 等

技術環境
＜プロダクト開発部＞
言語：TypeScript, Python, Flutter
フレームワーク：Vue.js, Nuxt.js,Node.js
データベース：Cloud Firestore
インフラ：AWS, GCP, Azure, Cloud Firebase, Cloud Functions
ソースコード管理：Bitbucket
プロジェクト管理ツール：Notion, JIRA
コミュニケーションツール：Zoom, Slack, Google Workspace

＜R&D部門＞
開発言語：Python
フレームワーク：PyTorch, HuggingFace, SpeechBrain, scikit-learn

SQLでのデータ抽出＆加工、分析
※分析はトラフィックやアプリ利用実績等を集計
※現状はExcel数表ベースで提供
※中長期の案件となります

参考までに、今後、あると良い経験
・ETL…Prep、SASEG、PowerCenter、DataStage
・BI…Tableau、Qlik製品、PowerBI等

SQLによるデータ抽出・加工

【業務概要】
・エンタープライズ様向けにAI Saasサービスを展開されている会社様になります。
・具体的にはデータエンジニアとしてデータプラットフォームの企画およびアーキテクチャ設計や
データパイプラインの設計・構築といった業務に携わって頂きます。

【参画メリット】
・フルリモートですので、ご自身のリラックスできる環境で作業が可能です。
・AIを活用したモダンな開発環境がございますので、今後のスキルアップに繋がりやすいかと存じます。

【就業形態について】
現状、メンバーのほとんどはフルリモートにて業務を行っております。
週に何日かご出社をご希望の際にはご相談ください。

主に Python を用いたデータ基盤や ETL の構築・運用
・同じく Python（FastAPI）を用いて Web サービス向けサーバサイド API の実装・運用
・ クラウドインフラ（GCP）のアーキテクチャ上での機能追加・改善
・多数のデータサービス施策のモニタリングとインシデント発生時のオペレーション
・エンジニアリングチーム内の技術コミュニケーション（レビューや技術調査）
BI開発（未経験可)

BI/DWH構築の結合テスト以降のフェーズ対応
新規画面の開発の可能性あり

リアルタイムなデータパイプラインを構築するためのデータエンジニア業務と、
機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築、効率よくデータを捌くためのミドルウェア開発、インフラ構築などを行う、MLOpsエンジニア業務をおまかせします。
GCPデータ基盤とその活用案件、は既に多数存在するものの、さらなる拡充を狙った専門人材の募集となります。
IP(知的財産)ビジネスがドメインの事業会社において、全社へ大きな影響を与える分析部門にアサイン頂きます。

【業務スコープ】
分析官や機械学習エンジニアと連携しながら、速く安全に機械学習のサイクルを回せるML基盤の構築をお任せします。

[データエンジニア概要]
■データパイプライン(リアルタイム)の設計・実装

（具体的な職務）
・収集対象：ECサイト
・データ分析基盤の開発・運用
・データを収集するETL/ELTパイプラインの開発
・運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

[MLOpsエンジニア概要]
■ ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■効率よくデータを捌くためのミドルウェア開発、インフラ構築
■ ML基盤内へログデータを収集・蓄積・加工する、一連のデータパイプラインの設計/開発/運用

（具体的な職務）
■ ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■ 運用体制構築のためのルール・ドキュメント整備

【概要/作業内容】
・金融系システムのエンハンス作業
・作業内容はAWS構築、ネットワークに関する業務で下記いずれかのポジションを担当
①DBデータ移行
DB(sybaseとoracle)のダンプデータがある状態からクラウドにデータ移行してDB構築

②AWS構築
AWSの設計から環境構築

③データ分析環境構築
Tableauが動くためのインフラ環境構築
データ量が大きいためNWまわり含めたサイジングも実施

【システム概要】
複数のビジネスチーム向けに必要なデータセットの要件を整理し、
Databricks上で分析用データセットを効率的に作成するETL、
ワークフローを開発します。

【業務内容】
各チームから挙げられる要件の整理や、ベストプラクティスを調査し、
購買情報、各種施策、会員情報やアクセスログなどを元に、効率的な
データセットを作成するためのETL、パイプラインの作成を行います。
データ分析基盤チームに参画しており、必要に応じてノウハウなどを
共有しながら作業を進めて頂きます。

【担当領域】
要件定義～実装

【開発方式】
お客様と都度調整しながら進めるアジャイル開発となります。

【システム構成】
サービス：AWS、Databricks、Redshift
利用ツール：Slack、Backlog、Git (GitHub)

データユーザーからの要求をくみとり的確なデータとフローの設計を行い、パイプラインの構築やパイプラインを動かすデータ分析基盤の運用保守を行う。

DatabricksMLを使ったユースケース検証対応