Sparkの求人・案件一覧

エンジニア、データサイエンティスト、マーケターの案件情報をご紹介。募集中だけでなく、過去の募集案件も掲載しています。
業務委託、派遣を中心に非公開求人も多数保有しています。単価や稼働日数など条件面についてもお気軽にご相談ください。

該当件数:19

Sparkの案件を探す

案件内容

プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築
 ・構築環境の理解からクライアント課題に合わせた設計
 ・データ分析のためのBIの開発・運用
 ・継続的なモニタリングプロセス、仕組みの構築
 ・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む

必須スキル

・Pythonを含む複数言語(TypeScript, Javascriptなど)でのコーディング経験(3年以上)
・データ基盤および分析基盤などの開発・構築経験(3年以上)
・ETLやELTの実装経験
・クラウド環境上でのシステム構築・運用の経験
・GitHubを用いた開発経験

尚可スキル

・PySparkによるデータ処理
・Sparkの内部アーキテクチャに関する知識およびパフォーマンスチューニングの経験
・データサイエンス一般に関する理解・経験
・B2Bシステム開発の経験
・Webアプリケーション開発経験
・Kubernetesベースのデータパイプライン・MLOps環境の構築・運用開発の経験
 クラウド環境上でのCI/CDパイプライン構築・運用の経験”
・英語によるビジネス遂行能力

案件内容

[ポジション]:AIエンジニア

自社で探索型BIツールを開発しており、そこにおける人材を募集
・検索・機械学習エンジンの開発・実装、および性能改善
・自然言語処理を使用した検索エンジンの開発
・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発

必須スキル

以下のいずれかを得意としていて、その他の分野に対しては、キャッチアップしていく意欲がある方
・機械学習、コンピュータサイエンス、数学の専門的な知識
・自然言語処理とRDBに関する基礎知識
・何らかのサービス・プロジェクトにおけるAPIやシステムの開発、および運用経験
・データの探索、特徴量の変換、モデルの導出、システムの実装、パフォーマンス評価の一通りの行程をPythonを使用して実施できるスキル

尚可スキル

・自然言語処理の実装経験
・分散処理システム(Hadoop, Spark, MPI, etc.)の知識・経験
・データの探索、特徴量の変換、モデルの導出、システムの実装、パフォーマンス評価の一通りの行程をTerabyte~Petabyte規模の大規模データで実施できるスキル
・世界的規模のサービスのデータを管理、分析した経験・知識
・機械学習を使ったサービスの開発経験
・BIツールの使用経験(Tableau, DOMO, Google Data Studio, etc.)

案件内容

[ポジション]:分析基盤エンジニア

◇データ分析対応チーム、もしくはデータ分析基盤構築チームにて、
A: 定型化されたデータ分析の実行(集計/加工/分析/可視化/アドホック対応など)  
B: 関連するデータ分析基盤システム構築(インフラ,システム開発/仮想化/など) のいずれかをご対応いただく予定です。
・仕様や方針などは、A/B領域共にクライアント側で設定の上、後続対応を実施していただきます。
・Aについては、基本出社対応、Bについては状況に応じて出社を予定しております。
[稼働先最寄り]
・基本リモート or 現場常駐(出社時は東京都 港区エリア)
 ※現状、タスクに応じて50/50で対応中
 ※ご面談設定の際に、詳細情報を連携させていたます。
[募集人数]
・メンバー枠:
 データ分析エンジニア    : ~1名
 データ分析基盤構築エンジニア: ~最大3名

必須スキル

・Python、SQLを用いた実務経験(3年以上目安)
-オーダーに対して、プログラミング領域を一定自走できる方のイメージです。
・データ分析関連業務のご経験
-データ抽出/集計/加工/分析/可視化/アドホック対応など
・AWS等のCloud環境下での実務経験
・チームコミュニケーションスキル

尚可スキル

・データ分析基盤構築関連業務のご経験
-分析モデルシステム化、自動化ツール作成、ソースコード改修、機械学習など
・システム/インフラ運用保守開発経験
-UNIX、コンテナ仮想化(Docker)、ミドルウェア対応経験など

案件内容
オンライン・オフラインのデータをクラウド環境で統合して分析できる基盤構築を行うための環境構築、ETL設計・開発、データ抽出を行います。
データを効果的・効率的に活用するための基盤を構築する戦略的なポジションになります。
クラウド環境:AWS
必須スキル

SQL/データベースに精通していること
ETLの開発経験
Linuxサーバ構築経験
SparkやHadoopのような分散処理システムの経験

尚可スキル

ETLツールの実務経験
Python/Scala/Rの実務経験

案件内容
■業務内容
製造メーカー系会社のデータ処理基盤の設計・構築
→ 大量のログデータを蓄積するクラウド環境及び、製品に埋め込むクライアントの開発運用
必須スキル

・クラウド環境の構築経験・知識(AWSなど)
・分散処理の経験・知識 (Spark、分散処理)

尚可スキル

・設計から実装までできる
・コミュニケーション能力
・能動的に動けること

案件内容
概要
国内メディアのデータを収集したDMPをを活用して、様々な貢献価値につながるアルゴリズムの開発の実施を行う
業務目的
施策で使われるモデルやアルゴリズムを実装し、運用すること。
部門内のインフラエンジニア・アプリケーションエンジニアと協働して、本番システムを開発・運用すること。
プロジェクト例
● 横断データを活用した、カスタマーのライフイベントタイミング予測
● カスタマー属性の予測(年収、職業など)
必須スキル

● 基本的な数学(解析学・線形代数学・確率論)の理解
● 基本的な統計学・機械学習の理解
● Python / Rなどでの統計分析・機械学習の実務経験2年以上

尚可スキル

● 非構造データを取り扱った経験(自然言語処理など)
● 数理統計・応用統計・機械学習・数学などの関連分野での学位・論文の投稿・学会での発表経験
● HadoopやSparkを用いた分散計算に関するスキル
● 大規模データ(数億レコード規模)の取扱経験
● クラウド環境(AWS / GCPなど)での分析環境の構築スキル

案件内容 モバイルアプリの解析・マーケティングツールの提供、 アプリの企画・戦略コンサルティングを行っている企業にて 以下の作業を行う。 ・分析に必要なデータパイプラインの構築や中間データの整備 ・統計的手法や機会学習等の技術を用いて設計されたアルゴリズムやモデルの実装
必須スキル

– 統計的手法や機械学習の技術を用いた機能の実装経験
MySQL、BigQuery、Hive、Spark などのデータストアの利用経験
– データ分析を行うパイプラインの設計およびその実装する能力

尚可スキル

– モバイルアプリやWEBマーケティングに関するデータパイプライン実装・運用経験
– Cloud ML Engineer などのML SaaS platformの比較・評価能力または活用経験
– Ruby on Rails により構築された Web アプリケーションの開発・連携経験

案件内容 ■業務内容 (1)Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯ (2)HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化 (3)Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装 稼 働:週2日~5日 相談可能 時 間:9:30 - 18:30(応相談) 服 装:ビジネスカジュアル・私服
必須スキル

・Scala(もしくはJava)の実装経験
・Hadoopエコシステムに関する知識(実務経験は問わない)

案件内容 AIやブロックチェーン等の最新技術を用いた、パッケージ製品への機能拡充を検討されており、 その研究開発のご支援となります。 具体的には、 ・機械学習等のAI機能を用いたグループウェア機能の最適化 ・OCR機能を用いた帳票処理自動化機能 ・ブロックチェーンを用いたBPM連携 等々がスコープとなっております。
必須スキル

・新技術の調査・利用のご経験がある方 ・下記はいずれか1つは必須  - Linux上でのOSSミドルウェア導入経験  - Restful API等を活用したマッシュアップでのアプリ開発   (設計、実装の双方をご経験されている)

尚可スキル

・Hadoop/Sparkを初めとした分散処理製品利用経験 ・機械学習利用経験 ・データアナリティクス経験 ・自然言語解析経験 ・ブロックチェーン利用経験

案件内容 データベース内ビッグデータの集計及び分析作業 データ分析システムの構築/分析データの評価/報告レポートの作成
必須スキル

・Unix /Linux OS の操作経験(2 年以上) ・SQL、Excel 等によるデータ加工経験 ・DBに関する基礎知識(データの読み書き、テーブル操作等)

尚可スキル

・Java 開発経験 ・クラウド(AWS等)関連の知識 ・システム設計(データ処理中心)の経験 ・分析レポート作成経験 ・HadoopやSparkの知見

検索結果19件中1-10件