分析基盤エンジニアの案件一覧

認証許可・デバイス制御（Okta, Jamf, Intune, Azure AD）を中心とした、
SaaS設計構築・運用管理を役回りとしてお願いさせていただきます。

【作業内容】Snowflakeの設計・実装

【環境】AWS Lambda、Amazon Redshift、Amazon Linux

・Snowflakeの設計経験

・大手文具メーカーにおけるデータ分析基盤構築案件
・要件定義から設計、開発、リリースまでを担当
・AWSとSnowflakeを用いたデータ分析システム（ETL、DWH、BIなど）の開発を行うチームに参画予定

【環境】
・AWSサービス：S3、Glue、StepFunctions、CloudWatch、QuickSight、DataZone
・DWH：Snowflake
・開発ツール：dbt

話題沸騰中のスニーカーフリマアプリのデータ分析基盤の開発を行っていただきます。
具体的には、データアナリストチームで以下の業務を想定しています。
・データパイプライン(Data Ware House/Data Mart)の構築/運用
・データの品質管理
・コスト監視体制構築

クラウドサービスを活用したデータ分析基盤構築をお任せいたします。

【概要】
・現行情報分析基盤の刷新プロジェクトにて、AWS/Snowflake/Tableauで環境構築中です。
AWSとSnowflakeの担当者は決定し、残りのTableau担当者を募集しています。

・上流工程/Tableauの機能要件整理や基本設計、開発工程では開発手順の理解

▼受領データの変換処理の開発
顧客企業から受領したデータをSaaSのデータ仕様に合わせるため、データ連携基盤ではデータの変換を行っています。
顧客企業によってデータ形式が異なるため、データ変換処理は個別に実装し対応しています。
そのデータ変換処理について、設計、実装、テスト、リリースまでを担当頂きます。
設計は、顧客企業から受領したデータをどのように変換するか検討し、設計書に記載していきます。
実装は、作成した設計書を元に変換処理の実装を行います。

▼集計データを顧客システムに繋ぐ開発
集計したデータをお客様に活用していただくため、顧客システムにデータを送信する開発を行っています。
顧客システムで取り込むためにデータ形式を変換して送信しています。設計、実装、テスト、リリースまでを担当頂きます。

【使用技術】
・開発言語： Python、SQL
・インフラ： Amazon Web Services
・AWS製品： EC2、ECS、StepFunctions、S3、RDS、Redshift、Lambda、Athena、Cloud Watch
・ツール： GitHub、Jira、Slack

どのように活用すべきか具体的な構想が決まって無い中で、クライアントの要望をヒアリングしながらデータモデルの設計をし、azure(IaaS)に構築までしていただく。

・ETLツール選定、プラットフォーム選定
・現行データモデルを読み解いて、DWH側データモデルを作成（非正規化、フラット化）
・ETL設定、動作確認

車両データから危険運転を検知し、運転者の情報と合わせて、軽度認知症の検知を行う。
危険運転検知と、認知症検知のアルゴリズムは既に作成されているこのアルゴリズムをAWSで動かすシステムを構築する。
S3などからインプットデータを取り、推論処理して、S3などに書き出す。
利用者へのユーザインタフェースは、現段階では対応外。
非機能要件も、現段階では対応外。
推論部分にはSageMakerを想定
とりあえず、動かせるものを構築する(スケジュール優先で)

■概要
公共向け案件。
Azure Synapse Analyticsを中心としたデータ基盤の構築案件。
本フェーズは詳細設計以降だが、一部の基本設計は見直しの予定。

■内容
・Synapse Analytics詳細設計フェーズまたはデータ設計業務
・データパイプライン作成/変更手順/データフロー定義/パイプラインの実行(Synapse　Pipelineなど)
・上流設計

■スケジュール
初期構築作業：11月～
データ統合作業：2025年以降あり
※2025年以降も予定あり