AWS Glueの案件一覧

大手通販会社の発注業務に関わるシステム運用保守・ならびに追加開発をご支援いただきます。

クライアントの発注グループが利用するシステムにおいて、
データ登録ミスや基幹システムとのデータ不整合が起きた際に、調査・原因分析・対処（暫定、恒久）などを実施いただきます。
また、月末や月初に実施する月次処理（運用保守チームが担当する部分）や、
発注グループが担当する月次処理の結果を確認し、問題があればご対応いただきます。

システム追加開発のニーズもあるため、新規画面作成や既存システム改修もご担当いただきます。
クライアント社員（リーダ）の元、1人称でご担当いただきます。
AWSのサーバレスを中心とした技術がメインとなり、採用する技術を提案することもできるため、特に技術面でやりがいがある案件となります。

なお、本業務を担当している社員の工数減に伴う募集となります。
そのため、稼働率について、年内は50％や80％となる可能性がございます（年明け以降は100％となる予定です。現時点では50％稼働の方を優先して検討いたします）。
曜日や時間の固定はございませんので、週次MTGなどは参画時の調整となります。
また、月次処理など重要な作業については、随時ご相談となります。

・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイスの実施
・上記に必要な検証環境構築作業および要件定義の資料化
※上記取り組みを下記の①顧客案件および②社内研究開発の作業として行います　
①製造業向けデータ分析基盤構築：要件定義
・クライアントの持つデータ分析基盤の構築ソリューションをベースに顧客向けにシステムを構築する
・AWS Glueを中心したETL/ELT機能とBIツール（Power BI）、DWH（Snowflake）が主な構成要素となる
・要件定義の作業になるため、クライアントとともに一緒に検討を行える方がベター
・今のところ、下記のようなサービスが必要なのではと思案中
　AWS Glue
　AWS Lambda
　AWS Code Pipeline
　AWS Code Commit
・合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定
　AWS Step Functions（詳細フロー制御）
　Amazon Managed Workflow for Apache Airflow（実行管理）
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えているため、これらの統合についてもテーマとなる
②研究開発
・上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築する
・Snowflakeを用いたデータ基盤の構築を早期化するソリューション

顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。
チームメンバーと共に試行錯誤しながら業務を進めていただきます。
下記業務をご担当いただく予定です。
・データソースの収集
・S3への蓄積
・AWS Glueを使用したデータ加工
・外部ツールからのデータ収集／外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化（Lambda、StepFunctionを想定）
・terraformを利用した構成管理（Glueのジョブ、IAMロール、S3
、Quicksight）

ヘルスケア関連事業を展開されているお客様内で、社内データの可視化PJがスタートしております。
主な作業内容として、各種SQLサーバ－から必要データをDWHに取込み、
QuickSightに流し込むまでをユーザーヒアリングを行いながら
実施していただく予定です。
開発環境　：Python（PySpark, pandas）AWS（RDS、Athena、Lambda、Glue、QuickSight）など

・新規データマート要件定義、既存集計フロー効率化
・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
・既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善
  ・データマート日次運用保守業務

【現場環境】
・プログラミング言語：　Python
・ライブラリ：　PySpark, pandas
・データベース：　AWS RDS (SQLServer), AWS Athena(trino)
・環境・OS：　AWS (Amazon Web Services), AWS Lambda, AWS Glue
・BIツール：　QuickSight　

ETL処理（設計、実装、単体テスト、結合テスト、システムテスト）

■開発環境
プログラミング言語：Python
ライブラリ：PySpark, pandas
データベース：AWS RDS (SQLServer), AWS Athena(trino)
環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール：QuickSight

■業務内容
・新規データマート要件定義、既存集計フロー効率化
ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善
  ・データマート日次運用保守業務

土地・建物に関する情報の収集・クレンジングを行うデータ連携基盤(データレイク/DWH)の構築

・お客様にて展開予定のSaaS開発での基盤構築に携わって頂きます。
　・DevOpsの流れで、先ずは基本機能の実装を目指しております。
　・現在は、主にインフラ面で弊社にて先行してPoCを通じシステム
　　要求事項とAWS仕様調査、実現性確認を行っております。
　・今後は、上記フェーズを踏まえて本番に向けた設計、実装フェーズ
　　に入って参ります。

　・会計ソフトメーカーにて情報を一元管理・可視化する

　　データ分析基盤の構築を計画しております。

　　業務内容として、AWS環境上にて各システムから

　　データを収集/加工するための調査・設計・実装や

　　BIツールと連携してデータを可視化する機能の設計・

　　実装まで広範に渡り対応して頂きます。