Apache Sparkの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数:5

Apache Sparkの案件を探す

案件内容

・全社データ分析基盤のアーキテクチャ設計・構築
・データレイク / DWH(BigQuery)基盤の設計・運用
・ETL / ELTパイプラインの設計・開発
・クロスクラウドデータ連携(OCI → GCP)の設計・実装
・データモデリング(OBT / mart)の設計
・Terraformを用いたIaCによるインフラ管理
・データ基盤に関わるネットワーク・セキュリティ設計(IAM / VPC / データガバナンス)
・AIデータアクセス基盤(MCP / Agent)の構築

◆主な開発環境・ツール
-Cloud
Google Cloud(BigQuery / GCS / STS / VPC-SC / IAM)
Oracle Cloud(Exadata / Data Flow)

-Data
SQL / Python
Apache Spark / Apache Beam
Parquet / Iceberg
dbt core

-Infra / DevOps
Terraform
GitHub

-AI / Data Access
MCP Server
Agent / RAG

必須スキル
・データ基盤 / DWHのアーキテクチャ設計経験
・大規模データ処理(数千万〜数億レコード規模)の設計・開発経験
・クラウド環境におけるデータ基盤構築経験(GCP / AWS / OCI 等)
・SQL / Pythonを用いたデータパイプライン開発経験
・データモデリング(DWH / OBT / Star Schema等)の実務経験
・データ基盤におけるアクセス制御・セキュリティ設計経験
案件内容

Databricks環境におけるバッチの設計、開発、テストをご担当いただきます。

■開発環境■
Python, SQL, Databricks, Apache Spark, AWS Glue, Amazon EMR, AWS, Azure, GCP

必須スキル

・Python、SQL、ジョブを用いたデータ連携処理の開発経験(5年程度)
・1人称でタスクを遂行可能な方

案件内容

大手金融機関向けに、Databricksを使用した開発を担当していただきます。
データエンジニアリング領域での業務です。

必須スキル

– データ連携処理の試験実施経験(Python/SQL/ジョブ)
– 1人称でタスクを遂行できる能力

案件内容

・既存システムのキャッチアップ
・データ分析基盤の保守開発

必須スキル
・データ分析基盤の構築経験が豊富
・既存システムの仕様把握・キャッチアップ能力が高い方
・以下の技術を利用したシステム構築および開発経験
Azure関連:Azure Data Factory, Azure Data Lake Storage, Azure Databricks
ツール,言語関連:SQL, Python(特にPySpark), Apache Spark
案件内容

【主な支援内容】
機械学習モデル、推論機能の設計・実装を行うチームの一人として業務
・機械学習モデル、推論機能の設計・実装
・設計、実装はAzure Databricks上で行う

必須スキル
・大量のトランザクションデータを使って顧客の行動予測した経験
・機械学習モデルの学習、評価、デプロイ経験
・大量データのパイプラインをDatabricks上で、設計・実装経験

検索結果5件中1-5件