Sparkの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数:19

Sparkの案件を探す

案件内容 通信会社向けのセキュリティプラットフォーム基盤をOSSを利用して 新規構築する案件となります。各種製品ログをデータレイクに蓄積し、 リアルタイムなアラート検知、およびインタラクティブな集計/分析を 可能とするプラットフォームの構築案件です。
必須スキル

・Apache hadoop/kafka/storm/spark等を利用したビックデータ基盤構築経験

案件内容 広告等の宣伝文章を自動構成するAIシステム開発が進んでおり、 日本語・英語を使用したコピーライティングに関するAIを載せる基盤の構築業務。 言語に関する大規模データの処理
必須スキル

・ディープラーニングもしくはAIに関する知識  ※開発に携わっている方であればベスト(在学中を含む) ・Sparkチューニング経験者 ・サーバ設計構築経験者

案件内容 上位リーダーのもとで作業頂くメンバーの方 領域:デジタルマーケティング領域 お客様:ECサイト
必須スキル

全てを網羅している必要はありません。 【機械学習】 ・AWS(EC2,S3)  EC2及びS3を利用した集計作業に困難がないこと ・Linux  Linux環境で苦なく集計作業ができること ・Redshift  列指向DBの特性および分散キーやソートキーについて理解していること ・SQL  分析関数(窓関数)が使用できること ・Apach Spark  分散処理による機械学習プログラムの実装を行うことができること、  もしくは調べながら習得することができること ・Python  Pandasを利用したプログラムを実装することができること ・マート設計/実装 パフォーマンスチューニングができること ・テーブル設計/実装 テーブル定義、ER図が書けること ・ジョブ設計/実装 DataPipeLine を使用できるとより良い ・Shell設計/実装 例外処理、エラー処理を作成できること 【アナリスト】 ・AWS(EC2,S3)  EC2及びS3を利用した分析作業に困難がないこと ・Linux  Linux環境で苦なく分析作業ができること ・SQL  分析関数(窓関数)が使用できること ・Python  機械学習のロジックをPythonで実装/検証できること ・機械学習  Pythonで書かれた既存のロジックを読み解くことができること検証結果を読み解くことができること

案件内容 某大手金融事業社内でのビックデータ案件になります。 現在稼働しているHadoop環境の運用、保守に加え、 7月から新規機能の開発などがスタートするため、 人員の増員を計画しております。 データ分析は別チームが存在しますので、あくまで分析を行うための 環境構築を行って頂くポジションとなりますが、現場の状況、 また適正次第では分析業務にも関わっていただく可能性がございます。 ・PySparkでHadoopクラスタ上のデータを分析するアプリの開発 ・Hadoopクラスタにデータを取込(いわゆるETL)アプリ・スクリプトの保守
必須スキル

※以下全てを満たしている必要はありません 1. Pythonで開発経験豊富な方  -要件定義、設計経験があると尚可 2. Java or Scalaで開発経験豊富な方  -要件定義、設計経験があると尚可  -マルチスレッドプログラミング経験があると尚可  -高パフォーマンスを要する案件での開発経験があると尚可 3. シェルスクリプトが書ける方 4. Hadoop運用作業経験があると尚可 5. Spark開発経験があると尚可 6. Perlスクリプトが書けると尚可

案件内容 パッケージ製品へのAI関連の機能の 拡充を検討されており、その開発のご支援となります。 具体的には、 ・機械学習を用いた処理の最適化機能 ・画像認識機能、OCR機能 ・音声での対話入出力機能 が初期スコープとなっております。
必須スキル

(下記のいずれか1つ必須) ・機械学習を用いた分析の実施経験 ・画像認識もしくはOCRの実装経験 ・音声での対話システムの構築経験

案件内容 業務内容:世界中から集まる製薬データの分析 メインフレームシステムのダウンサイジング
必須スキル

Python、Hadoop、Spark、関数型言語(Scala、Erlang)の経験 ビジネスレベルの英語能力 スクラムでの開発経験

案件内容 ・node.js でのAPI設計・開発・テスト ・Hiveクエリの作成・テスト・チューニング ・Spark プログラムの設計・開発・テスト ・Jenkinsジョブの作成 ・Ansible設定ファイルの作成
必須スキル

・Java、Javascript、MySQLを用いたアプリケーション開発(3年以上) ・基本設計~テスト(一人称対応) ・Hadoopの技術をキャッチアップや、ビッグデータ関連の技術習得に意欲的に取り組める方

検索結果19件中11-19件