• フリーランス案件一覧

Sparkの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数：41件

Sparkの案件を探す

募集終了
【Python/SQL】データ基盤構築の求人・案件

リモート
案件内容

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。
【募集背景】新バージョンの機能追加が急務であり、エンジニアリソースが不足しているため。
【開発環境】・開発言語： Python、SQL・DB: Aurora(PostgreSQL互換)、Redshift・検索エンジン： Amazon Elasticsearch Service・ライブラリ・フレームワーク：Pandas、Numpy、Dask・インフラ： Amazon Web Services・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry

必須スキル
・何かしらのシステム開発経験3年以上
・Pythonの実装経験1年以上
・Sparkなどの分散処理システムの経験
・SQLの実装経験（基本的なDDL、DMLに加え、結合、集計、集合、case文、
　Window関数などを理解している方）
・データ基盤の構築経験
・アプリケーションの設計経験
・AWSなどクラウド環境を利用したシステム開発の経験

募集終了
【データ分析補佐】GPSデータを用いた予測支援

リモート
案件内容

1.GPSデータを用いた予測支援
2.SaaS型プロダクトの開発支援
上記いずれかにおいてデータエンジニア業務に従事いただきます。
必須スキル

●Python
●MySQLによる大規模データの処理経験
● AWSやGCP、Azureなどクラウドを利用した開発経験
● 下記の項目から 1つ以上の経験を有する方
　○ リレーショナルDBを使ったデータ処理の開発経験
　○ データ処理パイプラインの開発経験
　○ 分散データ処理の開発経験 (Apache Hadoop/Sparkなどを使用)
　○ Webスクレイピング等の Webから情報を収集するシステムの開発経験

募集終了
【分析基盤エンジニア】データエンジニア業務

リモート
案件内容

プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築
　・構築環境の理解からクライアント課題に合わせた設計
　・データ分析のためのBIの開発・運用
　・継続的なモニタリングプロセス、仕組みの構築
　・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む

必須スキル

・Pythonを含む複数言語(TypeScript, Javascriptなど)でのコーディング経験(3年以上)
・データ基盤および分析基盤などの開発・構築経験(3年以上)
・ETLやELTの実装経験
・クラウド環境上でのシステム構築・運用の経験
・GitHubを用いた開発経験

募集終了
【Python/AIエンジニア】探索型BIツール開発におけるデータサイエンティスト

リモート
案件内容

[ポジション]：AIエンジニア

自社で探索型BIツールを開発しており、そこにおける人材を募集
・検索・機械学習エンジンの開発・実装、および性能改善
・自然言語処理を使用した検索エンジンの開発
・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発
必須スキル

以下のいずれかを得意としていて、その他の分野に対しては、キャッチアップしていく意欲がある方
・機械学習、コンピュータサイエンス、数学の専門的な知識
・自然言語処理とRDBに関する基礎知識
・何らかのサービス・プロジェクトにおけるAPIやシステムの開発、および運用経験
・データの探索、特徴量の変換、モデルの導出、システムの実装、パフォーマンス評価の一通りの行程をPythonを使用して実施できるスキル

募集終了
【Python,SQL/分析基盤エンジニア】法人営業企業系 データ分析及び、システムデータ分析基盤構築支援 (分析エンジニア/分析基盤エンジニア)

リモート
案件内容

[ポジション]：分析基盤エンジニア

◇データ分析対応チーム、もしくはデータ分析基盤構築チームにて、
A: 定型化されたデータ分析の実行（集計/加工/分析/可視化/アドホック対応など) 　
B: 関連するデータ分析基盤システム構築（インフラ,システム開発/仮想化/など）　のいずれかをご対応いただく予定です。
・仕様や方針などは、A/B領域共にクライアント側で設定の上、後続対応を実施していただきます。
・Aについては、基本出社対応、Bについては状況に応じて出社を予定しております。
[稼働先最寄り]
・基本リモート or 現場常駐（出社時は東京都 港区エリア）
　※現状、タスクに応じて50/50で対応中
　※ご面談設定の際に、詳細情報を連携させていたます。
[募集人数]
・メンバー枠：
　データ分析エンジニア　　　　： ～1名
　データ分析基盤構築エンジニア： ～最大3名

必須スキル

・Python、SQLを用いた実務経験（3年以上目安）
-オーダーに対して、プログラミング領域を一定自走できる方のイメージです。
・データ分析関連業務のご経験
-データ抽出/集計/加工/分析/可視化/アドホック対応など
・AWS等のCloud環境下での実務経験
・チームコミュニケーションスキル

募集終了
分析基盤クラウド構築案件

案件内容
オンライン・オフラインのデータをクラウド環境で統合して分析できる基盤構築を行うための環境構築、ETL設計・開発、データ抽出を行います。
データを効果的・効率的に活用するための基盤を構築する戦略的なポジションになります。
クラウド環境：AWS
必須スキル

SQL/データベースに精通していること
ETLの開発経験
Linuxサーバ構築経験
SparkやHadoopのような分散処理システムの経験

募集終了
某大手製造メーカー系会社　データ処理インフラ基盤の構築

案件内容
■業務内容
製造メーカー系会社のデータ処理基盤の設計・構築
→ 大量のログデータを蓄積するクラウド環境及び、製品に埋め込むクライアントの開発運用
必須スキル

・クラウド環境の構築経験・知識（AWSなど）
・分散処理の経験・知識　（Spark、分散処理）

募集終了
メディアデータを収集したDMP活用、様々なアルゴリズムの開発

案件内容
概要
国内メディアのデータを収集したDMPをを活用して、様々な貢献価値につながるアルゴリズムの開発の実施を行う
業務目的
施策で使われるモデルやアルゴリズムを実装し、運用すること。
部門内のインフラエンジニア・アプリケーションエンジニアと協働して、本番システムを開発・運用すること。
プロジェクト例
● 横断データを活用した、カスタマーのライフイベントタイミング予測
● カスタマー属性の予測(年収、職業など)
必須スキル

● 基本的な数学（解析学・線形代数学・確率論）の理解
● 基本的な統計学・機械学習の理解
● Python / Rなどでの統計分析・機械学習の実務経験2年以上

募集終了
モバイルアプリデータ解析支援

案件内容 モバイルアプリの解析・マーケティングツールの提供、 アプリの企画・戦略コンサルティングを行っている企業にて 以下の作業を行う。 ・分析に必要なデータパイプラインの構築や中間データの整備 ・統計的手法や機会学習等の技術を用いて設計されたアルゴリズムやモデルの実装
必須スキル

– 統計的手法や機械学習の技術を用いた機能の実装経験
MySQL、BigQuery、Hive、Spark などのデータストアの利用経験
– データ分析を行うパイプラインの設計およびその実装する能力

募集終了
人材業界でのデータエンジニア募集

案件内容 ■業務内容 （1）Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯ （2）HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化 （3）Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装 稼　働：週2日~5日　相談可能 時　間：9：30 - 18：30(応相談) 服　装：ビジネスカジュアル・私服
必須スキル

・Scala（もしくはJava）の実装経験
・Hadoopエコシステムに関する知識（実務経験は問わない）

検索結果41件中21-30件