Sparkの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数:31

Sparkの案件を探す

案件内容

・新規データマート要件定義、既存集計フロー効率化
・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
・既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

  • AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
  • 既存の基盤改修・改善
    ・データマート日次運用保守業務

【現場環境】
・プログラミング言語: Python
・ライブラリ: PySpark, pandas
・データベース: AWS RDS (SQLServer), AWS Athena(trino)
・環境・OS: AWS (Amazon Web Services), AWS Lambda, AWS Glue
・BIツール: QuickSight 

必須スキル
①SQL 
(Window関数やUNION,副問い合わせを流暢に扱えること)
②Pythonでの開発経験
③アプリケーション開発経験
案件内容

■開発環境
プログラミング言語:Python
ライブラリ:PySpark, pandas
データベース:AWS RDS (SQLServer), AWS Athena(trino)
環境・OS:AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール:QuickSight

■業務内容
・新規データマート要件定義、既存集計フロー効率化
ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

  • AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
  • 既存の基盤改修・改善
    ・データマート日次運用保守業務
必須スキル
・SQL(Window関数やUNION,副問い合わせを流暢に扱えること)
・アプリケーション開発経験
案件内容

某ベンチャー企業にて、在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。

業務内容
顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。

・新規データ取得のETL及びデータウェアハウスの実装
・データ基盤の運用及び保守開発
・データの可視化
・定例MTG対応
・仕様書等ドキュメント作成(一部)

技術環境
O S    :Linux, Windows
言 語    :Python, SQL
D B    :Redshift, Aurora(PostgreSQL互換)
Cloud   :AWS(ECS, S3, StepFunctions, Lambda, Redshift, Aurora等)
DWH   :BigQuery, TreasureData等
機械学習系:Kedro, MLflow
C I    :CircleCI
監視系  :Sentry
その他  : GitHub, Slack, CircleCI

必須スキル
・何かしらのシステム開発経験3年以上
・Pythonの実装経験1年以上
・Sparkなどの分散処理システムの経験
・SQLの実装経験(基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方)
・データ基盤の構築経験
・アプリケーションの設計経験
・AWSなどクラウド環境を利用したシステム開発の経験
案件内容

【概要】
・在庫最適化システムを支えるデータ基盤の構築
・Saasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望の相談増
・数億レコードにもなる大量のデータ加工をSQLやPythonを用いて作成、
集計後、データストアに投入する基盤の構築
・エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制

【工程】
基本設計 詳細設計 開発 単体テスト 結合テスト 総合テスト 運用

【開発環境】
・開発言語: Python、SQL
・DB: Aurora(PostgreSQL互換)、Redshift
・検索エンジン: Amazon Elasticsearch Service
・ライブラリ・フレームワーク:Pandas、Numpy、Dask
・インフラ: Amazon Web Services
・AWS製品: ECS、S3、Step Functions、Lambda、CloudWatch
・環境、ツール: Docker、GitHub、Jira、Slack、CircleCI、Sentry

必須スキル
・何かしらのシステム開発経験3年以上
・Pythonの実装経験1年以上
・Sparkなどの分散処理システムの経験
・SQLの実装経験(基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方)
・データ基盤の構築経験
・アプリケーションの設計経験
・AWSなどクラウド環境を利用したシステム開発の経験
案件内容

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。

顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

【開発環境】

・開発言語: Python、SQL

・DB: Aurora(PostgreSQL互換)、Redshift

・ライブラリ・フレームワーク:Pandas、Numpy、Dask

・インフラ:AWS

・AWS製品: ECS、S3、Step Functions、Lambda、CloudWatch

・環境、ツール: Docker、GitHub、Jira、Slack、CircleCI、Sentry

必須スキル
・Webシステム設計~開発経験3年以上ある方
・Python開発経験1年以上ある方
・Sparkなどの分散処理システムの経験がある方
・SQLの実装経験

 

(基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方)
・データ基盤の構築経験ある方
・AWSを用いた開発経験ある方
・Dockerなどのコンテナ技術を利用した開発経験がある方
案件内容

某ユニコーン企業様にて、データエンジニアとして下記業務に携わっていただく想定になります。

※スコープが広いためスキルに応じて依頼内容を調整。
【業務スコープ】

・データ基盤や分析基盤の開発、運用

・AWS/GCP等のクラウド基盤を活用し、機械学習パイプラインやBIツールで利用しやすいデータ構築のためのシステム設計・開発・運用

・ストリーミング処理開発、挿入されたデータを分析ログとしての価値を高めるパイプライン開発、CI/ CDも活用したインフラ構築の自動化

必須スキル
・コンピュータサイエンス関連の学位、または1年以上のWebサービスのサーバサイド開発運用経験
・AWSやGCPなどのクラウド利用経験
・バッチ設計、開発経験
案件内容

社内データ分析基盤開発・保守・運用業務を担っていただきます。■Python/Shell/Rubyで開発されているバッチ系システムが主

・データレイクへの取り込み

・中間テーブル生成

■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応

・社内ユーザコミュニケーションや要件定義も含む

・インフラからコードデプロイまでを担当

- ローカルで実装、Sandbox環境で動作検証、Productionデプロイ

必須スキル
・エンジニアとしての実務経験4年以上
・Pythonの経験1年以上
・SQLの経験1年以上
・AWS/GCPを利用した開発経験1年以上
・GitHub or Gitを利用した開発経験1年以上
案件内容

エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。

[具体的な業務]

・RDBのデータベース設計

・Glue JobでPythonを利用したETL処理の設計・開発

・API Gateway、Lambdaを利用したAPI開発

・技術的知見からの、プロダクトオーナと協調した仕様策定

・AWS関連リソースのより積極的な活用

・git flowベースの開発進行

必須スキル
・AWSの各サービスの運用経験
・データウェアハウス及び、データマート向けのETLジョブ開発
・Pythonの利用経験
・複数人でチームを組みサービス開発をした経験
案件内容

【業務内容】

在庫管理システムを支えるデータ基盤の構築案件となります。

主に、機能改善及び機能追加をご担当頂き、大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

必須スキル
・システム開発経験3年以上
・Pythonの実装経験1年以上
・Sparkなどの分散処理システムの経験
・SQLの実装経験(基本的なDDL、DMLに加え、結合、集計、集合、case文、
 Window関数などを理解している方)
・データ基盤の構築経験
・アプリケーションの設計経験
・AWSなどクラウド環境を利用したシステム開発の経験
案件内容

今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。

必須スキル
・クラウド基盤における知識/実務経験
・技術的に有ると望ましい物
 Kafka / AirFlow / Spark等のデータ分析基盤のクラウドエンジニア側での知識/経験
 コンテナオーケストレーション(Kubernetes)知識/経験
※重要:DWH(TiDB/Snowflake)の実務経験

検索結果31件中1-10件