Sparkの求人・案件 | ページ 2

【 hadoop,kafka,storm,spark】セキュリティプラットフォーム基盤構築

案件内容	通信会社向けのセキュリティプラットフォーム基盤をOSSを利用して新規構築する案件となります。各種製品ログをデータレイクに蓄積し、リアルタイムなアラート検知、およびインタラクティブな集計／分析を可能とするプラットフォームの構築案件です。
必須スキル	・Apache hadoop/kafka/storm/spark等を利用したビックデータ基盤構築経験

【Spark,Tensorflow】産学連携AIシステム開発における基盤構築

案件内容	広告等の宣伝文章を自動構成するAIシステム開発が進んでおり、日本語・英語を使用したコピーライティングに関するAIを載せる基盤の構築業務。言語に関する大規模データの処理
必須スキル	・ディープラーニングもしくはAIに関する知識　※開発に携わっている方であればベスト（在学中を含む）・Sparkチューニング経験者・サーバ設計構築経験者

【Python,SQL】ECサイト　デジタルマーケティング

案件内容	上位リーダーのもとで作業頂くメンバーの方領域：デジタルマーケティング領域お客様：ECサイト
必須スキル	全てを網羅している必要はありません。【機械学習】・AWS（EC2,S3）　EC2及びS3を利用した集計作業に困難がないこと・Linux 　Linux環境で苦なく集計作業ができること・Redshift 　列指向DBの特性および分散キーやソートキーについて理解していること・SQL 　分析関数（窓関数）が使用できること・Apach Spark 　分散処理による機械学習プログラムの実装を行うことができること、　もしくは調べながら習得することができること・Python 　Pandasを利用したプログラムを実装することができること・マート設計／実装　パフォーマンスチューニングができること・テーブル設計／実装　テーブル定義、ER図が書けること・ジョブ設計／実装　DataPipeLine を使用できるとより良い・Shell設計／実装　例外処理、エラー処理を作成できること【アナリスト】・AWS（EC2,S3）　EC2及びS3を利用した分析作業に困難がないこと・Linux 　Linux環境で苦なく分析作業ができること・SQL 　分析関数（窓関数）が使用できること・Python 　機械学習のロジックをPythonで実装/検証できること・機械学習　Pythonで書かれた既存のロジックを読み解くことができること検証結果を読み解くことができること

案件内容

上位リーダーのもとで作業頂くメンバーの方領域：デジタルマーケティング領域お客様：ECサイト

必須スキル

全てを網羅している必要はありません。【機械学習】・AWS（EC2,S3）　EC2及びS3を利用した集計作業に困難がないこと・Linux 　Linux環境で苦なく集計作業ができること・Redshift 　列指向DBの特性および分散キーやソートキーについて理解していること・SQL 　分析関数（窓関数）が使用できること・Apach Spark 　分散処理による機械学習プログラムの実装を行うことができること、　もしくは調べながら習得することができること・Python 　Pandasを利用したプログラムを実装することができること・マート設計／実装　パフォーマンスチューニングができること・テーブル設計／実装　テーブル定義、ER図が書けること・ジョブ設計／実装　DataPipeLine を使用できるとより良い・Shell設計／実装　例外処理、エラー処理を作成できること【アナリスト】・AWS（EC2,S3）　EC2及びS3を利用した分析作業に困難がないこと・Linux 　Linux環境で苦なく分析作業ができること・SQL 　分析関数（窓関数）が使用できること・Python 　機械学習のロジックをPythonで実装/検証できること・機械学習　Pythonで書かれた既存のロジックを読み解くことができること検証結果を読み解くことができること

【Python,Spark】テキストマイニング

案件内容	AIエージェントAPIの開発を行う企業にてテキストマイニング ■開発環境バージョン管理ツール：Git
必須スキル	・Python（実務経験）・Java or Scala の業務経験

【Python,Scala,Hadoop】大手金融事業社でのビックデータ案件

案件内容	某大手金融事業社内でのビックデータ案件になります。現在稼働しているHadoop環境の運用、保守に加え、 7月から新規機能の開発などがスタートするため、人員の増員を計画しております。データ分析は別チームが存在しますので、あくまで分析を行うための環境構築を行って頂くポジションとなりますが、現場の状況、また適正次第では分析業務にも関わっていただく可能性がございます。・PySparkでHadoopクラスタ上のデータを分析するアプリの開発・Hadoopクラスタにデータを取込（いわゆるETL）アプリ・スクリプトの保守
必須スキル	※以下全てを満たしている必要はありません 1. Pythonで開発経験豊富な方　-要件定義、設計経験があると尚可 2. Java or Scalaで開発経験豊富な方　-要件定義、設計経験があると尚可　-マルチスレッドプログラミング経験があると尚可　-高パフォーマンスを要する案件での開発経験があると尚可 3. シェルスクリプトが書ける方 4. Hadoop運用作業経験があると尚可 5. Spark開発経験があると尚可 6. Perlスクリプトが書けると尚可

案件内容

某大手金融事業社内でのビックデータ案件になります。現在稼働しているHadoop環境の運用、保守に加え、 7月から新規機能の開発などがスタートするため、人員の増員を計画しております。データ分析は別チームが存在しますので、あくまで分析を行うための環境構築を行って頂くポジションとなりますが、現場の状況、また適正次第では分析業務にも関わっていただく可能性がございます。・PySparkでHadoopクラスタ上のデータを分析するアプリの開発・Hadoopクラスタにデータを取込（いわゆるETL）アプリ・スクリプトの保守

必須スキル

※以下全てを満たしている必要はありません 1. Pythonで開発経験豊富な方　-要件定義、設計経験があると尚可 2. Java or Scalaで開発経験豊富な方　-要件定義、設計経験があると尚可　-マルチスレッドプログラミング経験があると尚可　-高パフォーマンスを要する案件での開発経験があると尚可 3. シェルスクリプトが書ける方 4. Hadoop運用作業経験があると尚可 5. Spark開発経験があると尚可 6. Perlスクリプトが書けると尚可

【Scala,ApacheSpark】ビックデータ/レコメンド機能等に関する開発支援

案件内容	Webサイトへの導入、機能そのものの改修、データ分析などなど
必須スキル	・Scala言語・ApacheSpark経験者（いずれか一方でも可）

【機械学習,画像認識】パッケージ製品へのAI関連の機能開発支援

案件内容	パッケージ製品へのAI関連の機能の拡充を検討されており、その開発のご支援となります。具体的には、・機械学習を用いた処理の最適化機能・画像認識機能、OCR機能・音声での対話入出力機能が初期スコープとなっております。
必須スキル	（下記のいずれか1つ必須）・機械学習を用いた分析の実施経験・画像認識もしくはOCRの実装経験・音声での対話システムの構築経験

【Python,Hadoop,Spark】大手外資系医療情報・テクロノジーサービス企業データ分析支援

案件内容	業務内容：世界中から集まる製薬データの分析メインフレームシステムのダウンサイジング
必須スキル	Python、Hadoop、Spark、関数型言語（Scala、Erlang）の経験ビジネスレベルの英語能力スクラムでの開発経験

【Java,Javascript,MySQL,基本設計,Hadoop】レコメンドエンジン開発

案件内容	・node.js でのAPI設計・開発・テスト・Hiveクエリの作成・テスト・チューニング・Spark プログラムの設計・開発・テスト・Jenkinsジョブの作成・Ansible設定ファイルの作成
必須スキル	・Java、Javascript、MySQLを用いたアプリケーション開発（3年以上）・基本設計～テスト（一人称対応）・Hadoopの技術をキャッチアップや、ビッグデータ関連の技術習得に意欲的に取り組める方

Sparkの案件一覧

Sparkの案件を探す