AWS Glueの案件一覧

・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイスの実施
・上記に必要な検証環境構築作業および要件定義の資料化
※上記取り組みを下記の①顧客案件および②社内研究開発の作業として行います　
①製造業向けデータ分析基盤構築：要件定義
・クライアントの持つデータ分析基盤の構築ソリューションをベースに顧客向けにシステムを構築する
・AWS Glueを中心したETL/ELT機能とBIツール（Power BI）、DWH（Snowflake）が主な構成要素となる
・要件定義の作業になるため、クライアントとともに一緒に検討を行える方がベター
・今のところ、下記のようなサービスが必要なのではと思案中
　AWS Glue
　AWS Lambda
　AWS Code Pipeline
　AWS Code Commit
・合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定
　AWS Step Functions（詳細フロー制御）
　Amazon Managed Workflow for Apache Airflow（実行管理）
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えているため、これらの統合についてもテーマとなる
②研究開発
・上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築する
・Snowflakeを用いたデータ基盤の構築を早期化するソリューション

顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。
チームメンバーと共に試行錯誤しながら業務を進めていただきます。
下記業務をご担当いただく予定です。
・データソースの収集
・S3への蓄積
・AWS Glueを使用したデータ加工
・外部ツールからのデータ収集／外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化（Lambda、StepFunctionを想定）
・terraformを利用した構成管理（Glueのジョブ、IAMロール、S3
、Quicksight）

ヘルスケア関連事業を展開されているお客様内で、社内データの可視化PJがスタートしております。
主な作業内容として、各種SQLサーバ－から必要データをDWHに取込み、
QuickSightに流し込むまでをユーザーヒアリングを行いながら
実施していただく予定です。
開発環境　：Python（PySpark, pandas）AWS（RDS、Athena、Lambda、Glue、QuickSight）など

・新規データマート要件定義、既存集計フロー効率化
・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
・既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善
  ・データマート日次運用保守業務

【現場環境】
・プログラミング言語：　Python
・ライブラリ：　PySpark, pandas
・データベース：　AWS RDS (SQLServer), AWS Athena(trino)
・環境・OS：　AWS (Amazon Web Services), AWS Lambda, AWS Glue
・BIツール：　QuickSight　

ETL処理（設計、実装、単体テスト、結合テスト、システムテスト）

■開発環境
プログラミング言語：Python
ライブラリ：PySpark, pandas
データベース：AWS RDS (SQLServer), AWS Athena(trino)
環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール：QuickSight

■業務内容
・新規データマート要件定義、既存集計フロー効率化
ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善
  ・データマート日次運用保守業務

土地・建物に関する情報の収集・クレンジングを行うデータ連携基盤(データレイク/DWH)の構築

・お客様にて展開予定のSaaS開発での基盤構築に携わって頂きます。
　・DevOpsの流れで、先ずは基本機能の実装を目指しております。
　・現在は、主にインフラ面で弊社にて先行してPoCを通じシステム
　　要求事項とAWS仕様調査、実現性確認を行っております。
　・今後は、上記フェーズを踏まえて本番に向けた設計、実装フェーズ
　　に入って参ります。

　・会計ソフトメーカーにて情報を一元管理・可視化する

　　データ分析基盤の構築を計画しております。

　　業務内容として、AWS環境上にて各システムから

　　データを収集/加工するための調査・設計・実装や

　　BIツールと連携してデータを可視化する機能の設計・

　　実装まで広範に渡り対応して頂きます。

・AWS（Lambda、Glue、Step Functions）を用いた

既存資源の改修、本番環境リリース

障害・仕様変更等発生時の既存資源の修正、リリース

・管理業務、業務改善

ユーザー、DB、ドキュメントのデータ分析基盤内の管理業務

・運用監視

データ分析基盤内エラー監視方針の検討及びエラー時の運用対応