AWS Glueの案件一覧

• 既存のデータ統合・分析基盤における運用および改善支援業務。
• 基幹システムや周辺システムから連携されるデータを対象に、ETL処理、データモデリング、データマート設計などを担当します。

◆作業内容

• DWHへのデータ取り込み（ETL／ELT）の設計・開発・改修
• SQLを用いたデータ加工・集計処理
• データモデル（正規化／スター・スキーマ等）の設計・管理
• 既存ジョブ・処理の調査、性能改善、障害対応
• 関係部署との仕様確認・調整
• 保守運用に伴う定常作業、問い合わせ対応

– DWHまたはデータ基盤に関する実務経験
– SQLを用いたデータ抽出・加工の経験
– ETL処理（ツールまたはSQL／バッチ）の設計・開発経験
– RDB（Oracle）の利用経験
– チームでの開発・保守経験

• 金融機関における決算業務（国内基準および国際会計基準）の自動化を目指すプロジェクトです。
• 現在、国内基準向けのシステムはテストフェーズにあり、並行して国際基準対応の仕組みを新規に立ち上げます。
• 大量データを効率的に処理するためのETL処理を実装し、後続の各システムへデータを橋渡しする仕組みの設計から開発までを担います。

◆開発環境の傾向

• インフラ: AWS環境（AWS Glue, Amazon Redshift等）を活用したデータ基盤
• アプリケーション: Pythonを用いた開発、およびPySparkによる大規模データ分散処理

– ETL開発経験、Python

DWH/BI領域における業務支援および分析基盤の構築・運用改善をご担当いただきます。

・既存集計フローの自動化・効率化
・既存帳票（Excel, CSV）からのSQL作成、BI（QuickSight）での可視化・分析
・AWS（Glue, Athena等）を用いたETL処理、データレイク・データマートの構築
・既存のデータ分析基盤の改修・運用保守

◆主な開発環境・ツール◆
・言語：Python (PySpark, pandas), Power Query, VBA, SQL
・DB/DWH：AWS Athena, Glue Data Catalog, AWS RDS (SQLServer), S3
・BIツール：QuickSight
・環境：AWS Lambda
・管理ツール：GitHub

Dataiku上での自動生成アプリ作成いただきます。
想定される作業内容は以下です。
WebAppsまたはAgent Connectを用いたアプリUIの作成と、ETL・推論パイプラインの自動化設定を行います。
データ接続・前処理・モデル評価・運用設計を含む一連の開発およびテストを担当します。

toC,toB向けシステムのAIサービス開発の作業をお任せする想定です。

・Pythonを用いた開発経験（3年以上）
・生成系AIを用いたサービス開発経験（サービスは社内・社外向け問わず）
・AWSサーバレスサービスでの開発経験

Databricks環境におけるバッチの設計、開発、テストをご担当いただきます。

■開発環境■
Python, SQL, Databricks, Apache Spark, AWS Glue, Amazon EMR, AWS, Azure, GCP

・Python、SQL、ジョブを用いたデータ連携処理の開発経験(5年程度)
・1人称でタスクを遂行可能な方

大手金融機関向けに、Databricksを使用した開発を担当していただきます。
データエンジニアリング領域での業務です。

– データ連携処理の試験実施経験(Python/SQL/ジョブ)
– 1人称でタスクを遂行できる能力

オルタナティブデータ（今まで利活用の進んでいないビッグデータ）を用いた分析サービスを提供するプロダクトの募集になります。
オルタナティブデータを加工・分析し、SaaSプロダクトとして展開しています。
POSデータ、クレカデータ、ポイントカードデータ、位置情報データといった様々なオルタナティブデータから得られたインサイトを、海外の機関投資家から国内の官公庁、事業会社まで幅広い顧客に提供しています。
本ポジションは、大規模データ分析基盤の知見を活かし、顧客のデータ基盤の開発支援を行うポジションです。

・データ基盤開発案件の推進。主に設計や実装フェーズに参画していただきます

・Pythonを用いた開発・運用経験
・クラウドインフラ開発・運用経験
・データ分析基盤の構築・運用経験
・チームでのシステム開発・運用、3年以上(サブリード以上が望ましい)
・対面折衝（クライアントコミュニケーション）経験

AI Agent機能の開発に伴う「AWS環境の設計・構築・運用」および「技術調査」をご担当いただきます。

・AI Agent機能開発環境の技術調査および構築（AWS環境）
AI Agent機能を実装するための開発環境構築に向けた技術調査を行っていただきます。
〇想定される作業内容
－採用候補となるLLM活用型AIアプリケーション開発プラットフォーム（例：Difyなど）の技術調査および検証環境構築
－Amazon Bedrockを活用したAI Agent開発基盤の設計・構築　　など

・技術選定後の環境構築および運用
調査を踏まえて選定した技術基盤を用い、開発・本番環境の構築と運用をご担当いただきます。
〇想定される作業内容
－AI Agent開発環境の設計・構築・運用（Infrastructure as Code：Terraform を使用）

①AWS（実務経験3年以上）
・AWS環境の設計・構築・運用経験がある方
・以下のサービスに精通していること
－IAM / ECS（Fargate含む）/ Lambda / ECR / API Gateway / ALB / VPC / Security Group / S3
/ RDS / DynamoDB / Amazon Bedrock / CloudWatch Logs
②インフラ構成管理（IaC：Infrastructure as Code）（実務経験3年以上）
・Terraformを使用した構成管理の経験
③コンテナ技術（実務経験3年以上）
・DockerおよびDocker Composeを用いた環境構築経験
④バージョン管理（実務経験3年以上）
・Git（GitHub）を使用したソースコード管理の経験
⑤必須の業務経験
・AWS環境をゼロから設計・構築した経験
・OSS（オープンソースソフトウェア）を外部から取得し、AWS上で構築・運用した経験
・1,000人以上のユーザーが利用する規模のインフラ運用経験
⑥フットワークが軽く、臨機応変に動ける方

作業概要　：2~3名チームのリーダー業務
想定作業　：
・メンバーのサポート（技術面／進め方など）
・Alteryxを利用した開発作業
・課題発生時の対応方法検討および顧客報告
・打合せで発生した顧客からの問合せ対応