• フリーランス案件一覧

Sparkの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数：33件

Sparkの案件を探す

【SQLなど】サービス内(App/Web)におけるユーザーの活動分析の求人・案件

常駐
案件内容

・サービス内(App/Web)におけるユーザーの活動分析
・機能分析や、サービス内のファネル分析、ユーザー別の活動分析等の幅広な分析を実施
・データを依頼してのその直接提示というより、持つ仮説を強化あるいは反証するデータを幅広に検証したり、そこから必要な取得データや分析を提案し回答や示唆を提供する
・必要情報を取得する際の開発チームへの依頼や要件の伝達(イベントの発火組み込みや、新機能における分析必要項目のDevチームへの連絡や埋め込み依頼等)
※海外とのやり取りが発生するため英語の読み書きが頻出します(担当業務によっては英会話の必要性も有り)

＜業務詳細＞
・分析基盤整備
　└ダッシュボードの作成（KPIツリー、目的別ボード）
　└ユーザー行動の可視化（推移、利用特性）
　└分析基盤整備の推進（データ取得の推進、課題点洗い出し）
・分析
　└データを用いた仮説検証（機能、UI改善、施策）
　└ユーザー行動（数値化、可視化、セグメント分類）
　└効果検証（広告、キャンペーン、メールマガジン等）
　└得られたデータを元にしたインサイトの提供

　　　　

＜使用ツール＞
・開発言語：Go
・インフラ環境：Google Cloud、Cloud Spanner、Cloud Function、Cloud Run、BigQuery
・ソースコード管理：GitHub
・CI/CD：CircleCI, Cloud Build
・監視/モニタリング：Google Cloud Logging, Google Cloud Monitoring
・インシデント管理：PagerDuty
・コミュニケーション：Slack, Google Meet
・プロジェクト管理/ドキュメント：JIRA/Confluence/DocBase
必須スキル
・データ分析経験3年以上
・SQLを用いたデータ分析やデータ集計の経験
・PythonやRなどを利用したデータ分析業務の経験
・Google Analytics, BIツール、エクセル等を利用した、サービスの分析および示唆出しの経験
・BIツール（Looker、Tableau、Redash等）でのダッシュボード経験

【SQL/Python】DWH/BIの求人・案件

リモート・常駐 併用
案件内容

・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります

・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化

・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

  • AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
  • 既存の基盤改修・改善

・データマート日次運用保守業務

　　　

【開発環境】
プログラミング言語：Python
ライブラリ：PySpark, pandas
データベース：AWS RDS (SQLServer), AWS Athena(trino)
環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール：QuickSight
必須スキル
・SQL(Window関数やUNION,副問い合わせを流暢に扱えること)
・pythonでの開発経験
・AWS分析基盤開発経験
(Glue,Athena,QuickSightの経験歓迎,他のAWSサービスにも詳しい方大歓迎)
・アプリケーション開発経験

【SQL/Python】新規データマート作成の求人・案件

案件内容

・新規データマート要件定義、既存集計フロー効率化
・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
・既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

  • AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
  • 既存の基盤改修・改善
    ・データマート日次運用保守業務

【現場環境】
・プログラミング言語：　Python
・ライブラリ：　PySpark, pandas
・データベース：　AWS RDS (SQLServer), AWS Athena(trino)
・環境・OS：　AWS (Amazon Web Services), AWS Lambda, AWS Glue
・BIツール：　QuickSight　
必須スキル
①SQL　
(Window関数やUNION,副問い合わせを流暢に扱えること)
②Pythonでの開発経験
③アプリケーション開発経験

【SQL】トライネットシステム開発支援の求人・案件

案件内容

■開発環境
プログラミング言語：Python
ライブラリ：PySpark, pandas
データベース：AWS RDS (SQLServer), AWS Athena(trino)
環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール：QuickSight

■業務内容
・新規データマート要件定義、既存集計フロー効率化
ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

  • AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
  • 既存の基盤改修・改善
    ・データマート日次運用保守業務
必須スキル
・SQL(Window関数やUNION,副問い合わせを流暢に扱えること)
・アプリケーション開発経験

【Pythonなど】小売/卸売業向けAI系サービス/データ基盤構築の求人・案件

リモート
案件内容

某ベンチャー企業にて、在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。

業務内容
顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。

・新規データ取得のETL及びデータウェアハウスの実装
・データ基盤の運用及び保守開発
・データの可視化
・定例MTG対応
・仕様書等ドキュメント作成（一部）

技術環境
O S 　　 ：Linux, Windows
言 語 　　 ：Python, SQL
D B　　　 ：Redshift, Aurora(PostgreSQL互換)
Cloud　　 ：AWS（ECS, S3, StepFunctions, Lambda, Redshift, Aurora等）
DWH　　 ：BigQuery, TreasureData等
機械学習系：Kedro, MLflow
C I　　　 ：CircleCI
監視系　　：Sentry
その他　　： GitHub, Slack, CircleCI
必須スキル
・何かしらのシステム開発経験3年以上
・Pythonの実装経験1年以上
・Sparkなどの分散処理システムの経験
・SQLの実装経験（基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方）
・データ基盤の構築経験
・アプリケーションの設計経験
・AWSなどクラウド環境を利用したシステム開発の経験

【Python/SQL】Saasのデータ基盤構築の求人・案件

リモート
案件内容

【概要】
・在庫最適化システムを支えるデータ基盤の構築
・Saasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望の相談増
・数億レコードにもなる大量のデータ加工をSQLやPythonを用いて作成、
集計後、データストアに投入する基盤の構築
・エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制

【工程】
基本設計　詳細設計　開発　単体テスト　結合テスト　総合テスト　運用

【開発環境】
・開発言語： Python、SQL
・DB: Aurora(PostgreSQL互換)、Redshift
・検索エンジン： Amazon Elasticsearch Service
・ライブラリ・フレームワーク：Pandas、Numpy、Dask
・インフラ： Amazon Web Services
・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch
・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry
必須スキル
・何かしらのシステム開発経験3年以上
・Pythonの実装経験1年以上
・Sparkなどの分散処理システムの経験
・SQLの実装経験（基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方）
・データ基盤の構築経験
・アプリケーションの設計経験
・AWSなどクラウド環境を利用したシステム開発の経験

【Pythonなど】Saasプロダクトデータ基盤構築の求人・案件

リモート
案件内容

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。

顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

【開発環境】

・開発言語： Python、SQL

・DB: Aurora(PostgreSQL互換)、Redshift

・ライブラリ・フレームワーク：Pandas、Numpy、Dask

・インフラ：AWS

・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch

・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry
必須スキル
・Webシステム設計～開発経験3年以上ある方
・Python開発経験1年以上ある方
・Sparkなどの分散処理システムの経験がある方
・SQLの実装経験

 

（基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方）
・データ基盤の構築経験ある方
・AWSを用いた開発経験ある方
・Dockerなどのコンテナ技術を利用した開発経験がある方

【AWS/GCP】データエンジニア業務の求人・案件

フルリモート
案件内容

某ユニコーン企業様にて、データエンジニアとして下記業務に携わっていただく想定になります。

※スコープが広いためスキルに応じて依頼内容を調整。
【業務スコープ】

・データ基盤や分析基盤の開発、運用

・AWS/GCP等のクラウド基盤を活用し、機械学習パイプラインやBIツールで利用しやすいデータ構築のためのシステム設計・開発・運用

・ストリーミング処理開発、挿入されたデータを分析ログとしての価値を高めるパイプライン開発、CI/ CDも活用したインフラ構築の自動化
必須スキル
・コンピュータサイエンス関連の学位、または1年以上のWebサービスのサーバサイド開発運用経験
・AWSやGCPなどのクラウド利用経験
・バッチ設計、開発経験

【Python/SQL】データ分析基盤開発エンジニアの求人・案件

リモート
案件内容

社内データ分析基盤開発・保守・運用業務を担っていただきます。■Python/Shell/Rubyで開発されているバッチ系システムが主

・データレイクへの取り込み

・中間テーブル生成

■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応

・社内ユーザコミュニケーションや要件定義も含む

・インフラからコードデプロイまでを担当

- ローカルで実装、Sandbox環境で動作検証、Productionデプロイ

必須スキル
・エンジニアとしての実務経験4年以上
・Pythonの経験1年以上
・SQLの経験1年以上
・AWS/GCPを利用した開発経験1年以上
・GitHub or Gitを利用した開発経験1年以上

【Python】バックエンドエンジニアの求人・案件

リモート
案件内容

エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。

[具体的な業務]

・RDBのデータベース設計

・Glue JobでPythonを利用したETL処理の設計・開発

・API Gateway、Lambdaを利用したAPI開発

・技術的知見からの、プロダクトオーナと協調した仕様策定

・AWS関連リソースのより積極的な活用

・git flowベースの開発進行
必須スキル
・AWSの各サービスの運用経験
・データウェアハウス及び、データマート向けのETLジョブ開発
・Pythonの利用経験
・複数人でチームを組みサービス開発をした経験

検索結果33件中1-10件