AWS Glueの案件一覧

■データ分析基盤チーム
エンド会社が提供する各プロダクトからのデータ収集、加工・集計対応。
その後可視化、分析結果からの将来予測など。
データレイク、DWH。

【開発環境】
インフラ：AWS（Athena、Redshift、Glue、QuickSightなど）
データベース：RDS（Aurora MySQL）
ETL：AWS Glue
BIツール：QuickSight
言語：Python
コミュニケーション：Slack、Zoom、Backlog、DocBase

現ツールのEOLに伴い、AWS Glueの導入を進めていますが、社内に専門的な知見のある方がいないため、アドバイザリーとしてご支援いただける方を募集します。

現状の課題／想定内容：
・初期設定に苦労しており、どのような運用をするのが良いか経験者の意見を参考にしたい
・実装に関するアドバイスをいただきたい(一部難関な部分は実装をお願いしたい)

顧客の提供する各プロダクトからのデータ収集、加工・集計・可視化、分析結果からの将来予測などをお願いします。

顧客の提供する各プロダクトからのデータ収集、加工・集計・可視化、分析結果からの将来予測などをお願いします。

＜開発環境＞
・インフラ：AWS（Athena、Redshift、Glue、QuickSightなど）
・データベース：RDS（Aurora MySQL）
・ETL：AWS Glue
・BIツール：Amazon QuickSight
・言語：Python
・コミュニケーション：Slack、Zoom、Backlog、DocBase

社内外からのデータを元に構築したデータ基盤を元に、数理モデルの構築やMLOpsのモデリング部分を担当するポジションです。
様々なところから集まったデータを利活用するために、しやすい環境を整備し、会社の成長加速に貢献していただきます。具体的な業務内容は以下のとおりです。
・弊社プロダクト及び金融機関から集まるデータの分析とモデリング
・データパイプラインの運用・管理
・ビジネスダッシュボードの構築
・Pythonを用いた機械学習実装
・MLOpsのPoCとプロダクトへの組み込み

某金融機関の吸収合併に伴う事業継承の為、下記基盤移行を行います。

現行オンプレ環境のサーバーOS EOLが2024年7月末、
そのタイミングでAWSへの移行を計画中です。

下記の作業を行うにあたりアーキテクト（テックリード）のような立ち位置で支援していただける方を募集しています。

・AWS SaaSを利用したデータパイプライン環境構築
　　-Lambda
　　-Glue
　　-Step Function etc…
・基本テンプレート開発
・システム監視
・構築する環境
・本番環境
・開発環境

2年ほど前にAWSをベースに分析基盤が構築されたものの、現状がわかりづらい状況となっています。
現状を調査し調査の後、必要に応じて「システムの再構築」
「一部破棄」または「システムの刷新」の方針決めを行います。
※詳細、募集背景は面談時にご説明いたします。

【ターゲットとなるシステム】
・In Data ： Salesforce 他
・Out Data ： Tableau 他

【概要/作業内容】
・金融系システムのエンハンス作業
・作業内容はAWS構築、ネットワークに関する業務で下記いずれかのポジションを担当
①DBデータ移行
DB(sybaseとoracle)のダンプデータがある状態からクラウドにデータ移行してDB構築

②AWS構築
AWSの設計から環境構築

③データ分析環境構築
Tableauが動くためのインフラ環境構築
データ量が大きいためNWまわり含めたサイジングも実施

・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります

・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化

・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善

・データマート日次運用保守業務

【開発環境】
プログラミング言語：Python
ライブラリ：PySpark, pandas
データベース：AWS RDS (SQLServer), AWS Athena(trino)
環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール：QuickSight

・AWSクラウドおよびお客様独自プラットフォーム上でのクラウド連携サービスの開発
・Androidアプリとクラウド間でのデータの入出力を行う機能開発