Redshiftの案件一覧

グループ会社で既に導入済みのクラウドデータウェアハウス Snowflake を活用し、お客様が求めるアウトプットを効率的に導き出すためのデータ基盤を構築するプロジェクトです。

具体的には、Snowflake と Amazon S3 に格納された各種データを整理・統合し、ビジネスニーズに合致したデータマートの設計および構築を推進いただきます。これにより、お客様が迅速かつ正確にデータ分析を行い、意思決定に繋げられるよう、データ活用を強力に支援します。

AI Agent機能の開発に伴う「AWS環境の設計・構築・運用」および「技術調査」をご担当いただきます。

・AI Agent機能開発環境の技術調査および構築（AWS環境）
AI Agent機能を実装するための開発環境構築に向けた技術調査を行っていただきます。
〇想定される作業内容
－採用候補となるLLM活用型AIアプリケーション開発プラットフォーム（例：Difyなど）の技術調査および検証環境構築
－Amazon Bedrockを活用したAI Agent開発基盤の設計・構築　　など

・技術選定後の環境構築および運用
調査を踏まえて選定した技術基盤を用い、開発・本番環境の構築と運用をご担当いただきます。
〇想定される作業内容
－AI Agent開発環境の設計・構築・運用（Infrastructure as Code：Terraform を使用）

①AWS（実務経験3年以上）
・AWS環境の設計・構築・運用経験がある方
・以下のサービスに精通していること
－IAM / ECS（Fargate含む）/ Lambda / ECR / API Gateway / ALB / VPC / Security Group / S3
/ RDS / DynamoDB / Amazon Bedrock / CloudWatch Logs
②インフラ構成管理（IaC：Infrastructure as Code）（実務経験3年以上）
・Terraformを使用した構成管理の経験
③コンテナ技術（実務経験3年以上）
・DockerおよびDocker Composeを用いた環境構築経験
④バージョン管理（実務経験3年以上）
・Git（GitHub）を使用したソースコード管理の経験
⑤必須の業務経験
・AWS環境をゼロから設計・構築した経験
・OSS（オープンソースソフトウェア）を外部から取得し、AWS上で構築・運用した経験
・1,000人以上のユーザーが利用する規模のインフラ運用経験
⑥フットワークが軽く、臨機応変に動ける方

SQL、Pythonによるデータ変換処理の設計および開発

詳細：
顧客企業から受領したデータを、SaaSのデータ仕様に合わせるため、データ連携基盤では、データの変換を行っています。
顧客企業によって、データ形式が異なるため、データ変換処理は、個別に実装し、対応しています。
そのデータ変換処理について、設計、実装、テスト、リリースまでを担当頂きます。
設計は、顧客企業から受領したデータをどのように変換するか検討し、設計書に記載していきます。
実装は、作成した設計書を元に、変換処理の実装を行います。

工程：
設計～開発～テスト～リリース

■開発環境
・開発言語： Python、SQL
・インフラ： AWS
・AWS製品： EC2、ECS、StepFunctions、S3、Redshift、Lambda、Cloud Watch
・ツール： GitHub、Jira、Slack

・3年以上のプログラミング実務経験
　- 特にPythonを用いてpandasが扱える方

・システム設計の経験

・クラウド環境での開発経験　
　- AWS, Docker, Terraform, git

・SQLを用いたデータ集計とデータ連携の実務経験　
　- ウィンドウ関数を使用したクエリ作成　
　- 集計関数を用いたデータの集計・分析　
　- 複数テーブルの結合（JOIN）を含むクエリの設計　
　- サブクエリやCTE（共通テーブル式）を使用した効率的なデータ抽出　
　- インデックスの理解と活用によるクエリのパフォーマンス最適化　
　- データ正規化/非正規化に基づいたデータモデリングの知識　
　- トランザクション管理やロックメカニズムの理解（ACID特性）　
　- エラーハンドリングや例外処理の実装

■背景
・募集部署はデータ基盤&AI・BI&運用を一気通貫で担っており、
　現在エンド会社にDWH構築を上流から提案中
⇒既契約のエンド会社より技術要件に落とし込める英語できる方を求められている(5月末ぐらいまでに決定希望)
⇒技術サポートで既契約中(Snowflake環境構築)

■当社クライアント支援範囲(該当部署)
・データ基盤構築、機械学習システム構築/精度向上、時系列データ予測/異常検知、自然言語(テキスト)解析、画像認識
■想定業務
・プロパーの方との連携(Snowflake実装)
・英語でのやり取り(技術要件に落とし込み)
・ドキュメント作成(アーキテクト構成図・設計書・仕様書)
・技術サポート

※基本的にプロパー(Snowflake環境構築出来る方)がいるが、自身が構築・技術サポートしていくのも想定業務

・DWH構築経験(特にSnowflake)
・上流(要件定義・提案)の経験
・データフロー/マート設計
・ビジネス英語(クライアント折衝)

※全て満たしていない場合でも相談可(英語は必須)
※DWH上流経験があれば幅は広がります
※DWHサービス活用は必須

業務内容は以下の通りです。

• Business Analystの要件を基に基本処理設計の検討及び設計書の作成 重点
• 基本設計を元にした詳細設計検討
• 詳細設計を元にしたコーディング/実装
• 単体試験の観点項目作成
• 単体試験のスクリプト作成
• 単体試験の実施
• 結合試験の実施支援
• 必要に応じてシミュレーター・スタブ開発

作業概要　：2~3名チームのリーダー業務
想定作業　：
・メンバーのサポート（技術面／進め方など）
・Alteryxを利用した開発作業
・課題発生時の対応方法検討および顧客報告
・打合せで発生した顧客からの問合せ対応

案件概要　：業務分析システムの運用保守フェーズにおいて、システムの維持・改善・拡充を目的とする。
作業内容　：ツール導入、性能分析検討、及びそれに基づいたアーキ検討

エンドクライアント内にある散らかったデータ(BtoB向けの受発注や契約関係のデータ等)を連携しsnowflakeに蓄積してデータ利活用を推進していきたいと考えております。

業務スコープは以下を想定
・Snowflakeを利用したデータ蓄積+活用。
・連携されたファイルなどのデータをSnowflakeにてデータを蓄積。
・蓄積後ユーザに使いやすいように加工し活用してもらうよう設計・開発を行う。

【主なスキル技術や環境】
AWS(Lambda等)
Snowflake
Python
SQL
GitやGithub
CI/CD

Javascript
GCP
Informatica Intelligent Cloud Services（IICS）

その他(ツール作成等)
Powershell
bash
Excelマクロ

PJTの進め方
毎朝大手Slerの開発チームとクライアントの開発メンバーを交えた朝礼を行なっております。
必要に応じてエンド企業との打ち合わせが日中発生する想定です。