AWS Glueの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数:23

AWS Glueの案件を探す

案件内容

某金融機関の吸収合併に伴う事業継承の為、下記基盤移行を行います。

現行オンプレ環境のサーバーOS EOLが2024年7月末、
そのタイミングでAWSへの移行を計画中です。

下記の作業を行うにあたりアーキテクト(テックリード)のような立ち位置で支援していただける方を募集しています。

・AWS SaaSを利用したデータパイプライン環境構築
  -Lambda
  -Glue
  -Step Function etc…
・基本テンプレート開発
・システム監視
・構築する環境
・本番環境
・開発環境

必須スキル
・アーキテクトやテックリードのご経験
・データ分析環境構築のご経験
・AWS構築経験
・各種ログ収集処理開発
・データ移行のご経験
案件内容

2年ほど前にAWSをベースに分析基盤が構築されたものの、現状がわかりづらい状況となっています。
現状を調査し調査の後、必要に応じて「システムの再構築」
「一部破棄」または「システムの刷新」の方針決めを行います。
※詳細、募集背景は面談時にご説明いたします。

【ターゲットとなるシステム】
・In Data : Salesforce 他
・Out Data : Tableau 他

必須スキル
・AWSに関する基本的なスキル
・SQLによるデータ操作
・主体的に動ける方
案件内容

【概要/作業内容】
・金融系システムのエンハンス作業
・作業内容はAWS構築、ネットワークに関する業務で下記いずれかのポジションを担当
①DBデータ移行
DB(sybaseとoracle)のダンプデータがある状態からクラウドにデータ移行してDB構築

②AWS構築
AWSの設計から環境構築

③データ分析環境構築
Tableauが動くためのインフラ環境構築
データ量が大きいためNWまわり含めたサイジングも実施

必須スキル
・DB構築経験
・NWの知識(データ転送が分かる方)
ポジション2
・AWSの設計、環境構築経験
・CI/CD環境構築経験
ポジション3
・AWSの設計、環境構築経験
・データ連携に関する知見(ETL や AWS Glue)

【SQL/Python】DWH/BIの求人・案件

リモート・常駐 併用
案件内容

・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります

・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化

・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

  • AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
  • 既存の基盤改修・改善

・データマート日次運用保守業務

   

【開発環境】
プログラミング言語:Python
ライブラリ:PySpark, pandas
データベース:AWS RDS (SQLServer), AWS Athena(trino)
環境・OS:AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール:QuickSight

必須スキル
・SQL(Window関数やUNION,副問い合わせを流暢に扱えること)
・pythonでの開発経験
・AWS分析基盤開発経験
(Glue,Athena,QuickSightの経験歓迎,他のAWSサービスにも詳しい方大歓迎)
・アプリケーション開発経験
案件内容

・AWSクラウドおよびお客様独自プラットフォーム上でのクラウド連携サービスの開発
・Androidアプリとクラウド間でのデータの入出力を行う機能開発

必須スキル
・Androidアプリの開発経験
・言語: Android Java, Python
・フレームワーク: SpringBoot
・その他: Docker
・チームでの開発経験、テックリードできる方
・AWSの知見、実務経験のある方
 Lambda, Cognito, DynamoDB, S3 Glacier, Athena, Glue, API Gatewayなど
案件内容

AWS上にIoTデータを集積したレイクハウスを設計・構築いたします。
設計・構築の依頼はAWS Glue、StepFunctionsによる設計・構築、テストが依頼範囲となります。
データ規模が大きいシステムのため、AWS Glue、Sparkの技術に明るく性能面、コスト面から最適化のアプローチができる方を希望します。

必須スキル
・AWS上でのデータ分析基盤を構築した経験
・AWS Glueを前提としたPython(PySpark)によるETL開発経験
・Gitを前提とした開発フローの経験
案件内容

■データ分析基盤チーム
エンド会社が提供する各プロダクトからのデータ収集、加工・集計対応。
その後可視化、分析結果からの将来予測など。
データレイク、DWH。

【開発環境】
インフラ:AWS(Athena、Redshift、Glue、QuickSightなど)
データベース:RDS(Aurora MySQL)
ETL:AWS Glue
BIツール:QuickSight
言語:Python
コミュニケーション:Slack、Zoom、Backlog、DocBase

必須スキル
・データベースを活用したシステムの設計・開発経験(2年以上)
・AWSの各種サービスを活用したシステムの構築経験
・Tableauで可視化対応経験
・データ加工、SQL発行し、ご自身で設計経験
・BIシステムの開発経験がある方
案件内容

大手通販会社の発注業務に関わるシステム運用保守・ならびに追加開発をご支援いただきます。

クライアントの発注グループが利用するシステムにおいて、
データ登録ミスや基幹システムとのデータ不整合が起きた際に、調査・原因分析・対処(暫定、恒久)などを実施いただきます。
また、月末や月初に実施する月次処理(運用保守チームが担当する部分)や、
発注グループが担当する月次処理の結果を確認し、問題があればご対応いただきます。

システム追加開発のニーズもあるため、新規画面作成や既存システム改修もご担当いただきます。
クライアント社員(リーダ)の元、1人称でご担当いただきます。
AWSのサーバレスを中心とした技術がメインとなり、採用する技術を提案することもできるため、特に技術面でやりがいがある案件となります。

なお、本業務を担当している社員の工数減に伴う募集となります。
そのため、稼働率について、年内は50%や80%となる可能性がございます(年明け以降は100%となる予定です。現時点では50%稼働の方を優先して検討いたします)。
曜日や時間の固定はございませんので、週次MTGなどは参画時の調整となります。
また、月次処理など重要な作業については、随時ご相談となります。

必須スキル
・python・Node.jsでの開発経験(それぞれ3年以上)
・Lambda・DynamoDBの構築経験(それぞれ2年以上)
・Gitの使用経験(3年以上)
・CircleCIの使用経験(1年以上)
案件内容

・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイスの実施
・上記に必要な検証環境構築作業および要件定義の資料化
※上記取り組みを下記の①顧客案件および②社内研究開発の作業として行います 
①製造業向けデータ分析基盤構築:要件定義
・クライアントの持つデータ分析基盤の構築ソリューションをベースに顧客向けにシステムを構築する
・AWS Glueを中心したETL/ELT機能とBIツール(Power BI)、DWH(Snowflake)が主な構成要素となる
・要件定義の作業になるため、クライアントとともに一緒に検討を行える方がベター
・今のところ、下記のようなサービスが必要なのではと思案中
 AWS Glue
 AWS Lambda
 AWS Code Pipeline
 AWS Code Commit
・合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定
 AWS Step Functions(詳細フロー制御)
 Amazon Managed Workflow for Apache Airflow(実行管理)
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えているため、これらの統合についてもテーマとなる
②研究開発
・上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築する
・Snowflakeを用いたデータ基盤の構築を早期化するソリューション

必須スキル
・AWSを活用したCI/CD環境の構築実績
・プロジェクトにおける要件定義の実施実績
・AWS Glueを中心したETL/ELT機能及びBIツール(Power BI)、DWH(Snowflake)に関連する知見
案件内容

顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。
チームメンバーと共に試行錯誤しながら業務を進めていただきます。
下記業務をご担当いただく予定です。
・データソースの収集
・S3への蓄積
・AWS Glueを使用したデータ加工
・外部ツールからのデータ収集/外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化(Lambda、StepFunctionを想定)
・terraformを利用した構成管理(Glueのジョブ、IAMロール、S3
、Quicksight)

必須スキル
・BI/ETLツールを使用したデータ分析の経験
・AWSサービスの経験(AWS Glue、Quicksight など)
・SQLによるETL(データ加工)の経験
・新しい技術の導入に積極的な方

検索結果23件中1-10件