分析基盤エンジニアの案件一覧

【作業内容・工程・環境】
データ利活用基盤に新規データマートの構築開発案件
既存の2種のデータマートを統合し、新規のデータマートを構築する。
要件資料と現行設計を元に、データ抽出の設計作業（200項目×11システム）
※最適化のため、一部の項目では現行仕様と新規要件を元に調整・検討を行う場合あり。
設計書を元にSQL製造、及び検証作業（単体～総合試験）

SQL: 一般的なSQL言語で1kstep以上のコーディング経験
SQL設計および製造が単独で可能
業務要件に基づいたデータ抽出設計（SEレベル）
データ抽出設計に基づいたSQLコーディング
PLまたはチームリーダー経験
(小規模チームのスケジュール管理・タスク管理)
テレワークでのコミュニケーション（チャットツール、音声会議）
お客様に対して提案ベースでの課題調整能力

・分析用データベースシステム障害対応（速度改善等）
・分析用データベースの整備（クレンジング・名寄せ）
・ドキュメント管理
。分析用データベース基盤の要望対応
・追加インプットデータを格納
・追加マートを作成
・AWSのサービスを用いた簡易的なシステムの改修

・クラウド（AWS）を用いたデータベースの運用業務経験
・システム開発の上流～下流までの経験（3000ステップ程度の小さいシステムでも可）
・以下の様な資料作成経験
要件定義：要件定義書
基本設計：データ定義書、E-R図、機能一覧
詳細設計：機能設計書
・AWSサービスに関する知見や利用経験
lambda/EC2
Athena/Redsiftなどのデータベースサービス
S3
・コーディング経験
・SQL（Prestoなら尚よし）
・Python3
・上記言語の速度改善に関する知見（2分探索、データベースのインデックス）

【案件概要】データ連携基盤の構築
【作業内容】会計系データを取り込み⇒他データとマージ⇒レポート系のシステム(DWH/BIなど)へ連携
【工程/スケジュール】
2024/01-　現行調査など
2024/02-　要件定義工程

希望のスキルセット
　-データ分析基盤の全体的なアーキテクチャ検討
　-Snowflakeの設計・実装
　-Snowflake構築に関連するパブリッククラウド(AWS等)のご経験)
英語は優先度下がったので、英語できなくても可

【必　須】以下いずれかのスキル要件に2～3つ程度該当する
1)AWS（ETLとしてGlueを使用）
… 上流(アーキ検討)から対応可能な方。2に付随したAWS環境の構築。
2)Snowflake
… 上流(アーキ検討)から対応可能な方。Snowflakeは新規に構築。
3)Talend
… 設計・構築から対応可能な方。顧客内に既存のTalend環境あり、そこに追加していく
4)JP1/AJS
… 設計・構築から対応可能な方。ジョブ連携
5)英語コミュニケーション
… 親会社が海外でありコミュニケーション発生する
6)顧客調整、プロジェクトリード

Snowflakeを利用したデータ蓄積+活用。
連携されたファイルなどのデータをSnowflakeにてデータを蓄積。
蓄積後ユーザに使いやすいように加工し活用してもらうよう設計・開発を行う。

【主なスキル技術セット】
Snowflake
Python
Javascript
AWS
Informatica Intelligent Cloud Services（IICS）

その他(ツール作成等)
Powershell
bash
Excelマクロ

・ユーザビリティを意識した設計を行った経験
・積極的にコミュニケーションが取れる
・何かしらのデータベースを用いた開発経験　(※.Oracle,Redshift等)

【案件概要】Snowflakeデータ基盤設計構築

【作業内容】Snowflakeの設計・実装

【環境】AWS Lambda、Amazon Redshift、Amazon Linux

Snowflakeの設計経験

【案件概要】コンテナを使った基盤設計、構築
【作業内容】
AWSでアーキテクチャの検討・設計
その検討したアーキや構成のプロトタイプを構築する

※アーキ検討は別のチーム

【担当工程】基本設計、詳細設計、構築、単体テストまで

【環境】
EKS
Gitlab
AWS CodePipeline/CodeBuild/CodeArtifact
AWS ECR
AWS Inspector
ubuntu

EKS（Amazon Elastic Kubernetes Service）設計構築経験
またはKubernetes（K8s）設計構築経験

プラットフォーム：AWS、一部BigQuery
構築済み環境の再構築を見据えた環境調査からスタート。
イメージは、12月に環境調査を行い改善点を提案、1‐6月の作業範囲を確定させて、1月から要件定義、3‐6月設計～リリースというスケジュール想定。
12月のタスクはAWSとBigQueryの環境調査、調査結果ドキュメント作成、改善点の整理をお願いするを想定しております。
稼働率については12月は中旬スタートのため50%想定、1月以降は100%想定です。

・GCP、AWSどちらのプラットフォームでもデータ基盤構築を経験したことがある
・アーキテクト周りの環境改善経験

Databricksを新規構築し、データパイプライン開発を実施する。
環境：Azure + Databricks

・アーキテクトの立場でのAzureサービスを組み合わせた要件定義、設計、構築経験
・AzureでのDWHの構築経験
・Azure全般（Functions, Synapse Analytics, Data Factory, Key Vault）

証券アナリストに向けたデータ提供・活用基盤を保守・追加開発する。当該案件では顧客と直接会話をしながらデータ状況の改善を行っていく。
組織としては先進的で、様々な技術要素を取り入れていく体質のため、 多くの技術に触れることができる
【技術要素】
python , ReactJS , docker , AWS , gRPC , …

Python開発経験 2年以上

認証許可・デバイス制御（Okta, Jamf, Intune, Azure AD）を中心とした、
SaaS設計構築・運用管理を役回りとしてお願いさせていただきます。