データエンジニアの案件一覧

【概要】
・現行情報分析基盤の刷新プロジェクトにて、AWS/Snowflake/Tableauで環境構築中です。
AWSとSnowflakeの担当者は決定し、残りのTableau担当者を募集しています。

・上流工程/Tableauの機能要件整理や基本設計、開発工程では開発手順の理解

▼受領データの変換処理の開発
顧客企業から受領したデータをSaaSのデータ仕様に合わせるため、データ連携基盤ではデータの変換を行っています。
顧客企業によってデータ形式が異なるため、データ変換処理は個別に実装し対応しています。
そのデータ変換処理について、設計、実装、テスト、リリースまでを担当頂きます。
設計は、顧客企業から受領したデータをどのように変換するか検討し、設計書に記載していきます。
実装は、作成した設計書を元に変換処理の実装を行います。

▼集計データを顧客システムに繋ぐ開発
集計したデータをお客様に活用していただくため、顧客システムにデータを送信する開発を行っています。
顧客システムで取り込むためにデータ形式を変換して送信しています。設計、実装、テスト、リリースまでを担当頂きます。

【使用技術】
・開発言語： Python、SQL
・インフラ： Amazon Web Services
・AWS製品： EC2、ECS、StepFunctions、S3、RDS、Redshift、Lambda、Athena、Cloud Watch
・ツール： GitHub、Jira、Slack

どのように活用すべきか具体的な構想が決まって無い中で、クライアントの要望をヒアリングしながらデータモデルの設計をし、azure(IaaS)に構築までしていただく。

・ETLツール選定、プラットフォーム選定
・現行データモデルを読み解いて、DWH側データモデルを作成（非正規化、フラット化）
・ETL設定、動作確認

車両データから危険運転を検知し、運転者の情報と合わせて、軽度認知症の検知を行う。
危険運転検知と、認知症検知のアルゴリズムは既に作成されているこのアルゴリズムをAWSで動かすシステムを構築する。
S3などからインプットデータを取り、推論処理して、S3などに書き出す。
利用者へのユーザインタフェースは、現段階では対応外。
非機能要件も、現段階では対応外。
推論部分にはSageMakerを想定
とりあえず、動かせるものを構築する(スケジュール優先で)

ダッシュボード構築
顧客折衝

【概要】
エンド企業内でtableauへのリプレイスを検討している。
まずはtableauでやりたい事が出来るか。について小規模で推進

・tableauでのダッシュボード構築経験

企業や業界のデータを1つに集約し、流通させ、パフォーマンス向上を図りたい。
他企業や他業界含む様々な人がデータを見れるようにしていきたい。

セキュリティの観点から、全部データを流通させることはできないため、データを持っている側のデータ主権を守った上で、必要なデータを流通させる。その流通させる基盤を作っていく。
基盤構築にあたり、データモデルに関する知見者と一緒に、進めていきたい。

業務内容としては、０からどのようなデータモデルを構築できるのかの調査、検討を行う。

・データモデルの構築経験
・データモデル検討において、０から１を考える経験
・業界を横断したデータの取り扱い経験
・コミュニケーション力

■概要
公共向け案件。
Azure Synapse Analyticsを中心としたデータ基盤の構築案件。
本フェーズは詳細設計以降だが、一部の基本設計は見直しの予定。

■内容
・Synapse Analytics詳細設計フェーズまたはデータ設計業務
・データパイプライン作成/変更手順/データフロー定義/パイプラインの実行(Synapse　Pipelineなど)
・上流設計

■スケジュール
初期構築作業：11月～
データ統合作業：2025年以降あり
※2025年以降も予定あり

既存DWH/BIシステムのEOSに伴うマイグレーションの要件策定

• 現状確認
• 要件に基づく候補製品の調査比較
• 次期システム方針作成

BIツールもしくはプログラミングによって、主担当の設計を可視化する。
（ツールや言語は決めながら進めていくため現時点では未確定）