Sparkの案件一覧

1.GPSデータを用いた予測支援
2.SaaS型プロダクトの開発支援
上記いずれかにおいてデータエンジニア業務に従事いただきます。

●Python
●MySQLによる大規模データの処理経験
● AWSやGCP、Azureなどクラウドを利用した開発経験
● 下記の項目から 1つ以上の経験を有する方
　○ リレーショナルDBを使ったデータ処理の開発経験
　○ データ処理パイプラインの開発経験
　○ 分散データ処理の開発経験 (Apache Hadoop/Sparkなどを使用)
　○ Webスクレイピング等の Webから情報を収集するシステムの開発経験

プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築
　・構築環境の理解からクライアント課題に合わせた設計
　・データ分析のためのBIの開発・運用
　・継続的なモニタリングプロセス、仕組みの構築
　・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む

・Pythonを含む複数言語(TypeScript, Javascriptなど)でのコーディング経験(3年以上)
・データ基盤および分析基盤などの開発・構築経験(3年以上)
・ETLやELTの実装経験
・クラウド環境上でのシステム構築・運用の経験
・GitHubを用いた開発経験

[ポジション]：AIエンジニア

自社で探索型BIツールを開発しており、そこにおける人材を募集
・検索・機械学習エンジンの開発・実装、および性能改善
・自然言語処理を使用した検索エンジンの開発
・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発

以下のいずれかを得意としていて、その他の分野に対しては、キャッチアップしていく意欲がある方
・機械学習、コンピュータサイエンス、数学の専門的な知識
・自然言語処理とRDBに関する基礎知識
・何らかのサービス・プロジェクトにおけるAPIやシステムの開発、および運用経験
・データの探索、特徴量の変換、モデルの導出、システムの実装、パフォーマンス評価の一通りの行程をPythonを使用して実施できるスキル

[ポジション]：分析基盤エンジニア

◇データ分析対応チーム、もしくはデータ分析基盤構築チームにて、
A: 定型化されたデータ分析の実行（集計/加工/分析/可視化/アドホック対応など) 　
B: 関連するデータ分析基盤システム構築（インフラ,システム開発/仮想化/など）　のいずれかをご対応いただく予定です。
・仕様や方針などは、A/B領域共にクライアント側で設定の上、後続対応を実施していただきます。
・Aについては、基本出社対応、Bについては状況に応じて出社を予定しております。
[稼働先最寄り]
・基本リモート or 現場常駐（出社時は東京都 港区エリア）
　※現状、タスクに応じて50/50で対応中
　※ご面談設定の際に、詳細情報を連携させていたます。
[募集人数]
・メンバー枠：
　データ分析エンジニア　　　　： ～1名
　データ分析基盤構築エンジニア： ～最大3名

・Python、SQLを用いた実務経験（3年以上目安）
-オーダーに対して、プログラミング領域を一定自走できる方のイメージです。
・データ分析関連業務のご経験
-データ抽出/集計/加工/分析/可視化/アドホック対応など
・AWS等のCloud環境下での実務経験
・チームコミュニケーションスキル

SQL/データベースに精通していること
ETLの開発経験
Linuxサーバ構築経験
SparkやHadoopのような分散処理システムの経験

・クラウド環境の構築経験・知識（AWSなど）
・分散処理の経験・知識　（Spark、分散処理）

● 基本的な数学（解析学・線形代数学・確率論）の理解
● 基本的な統計学・機械学習の理解
● Python / Rなどでの統計分析・機械学習の実務経験2年以上

– 統計的手法や機械学習の技術を用いた機能の実装経験
MySQL、BigQuery、Hive、Spark などのデータストアの利用経験
– データ分析を行うパイプラインの設計およびその実装する能力

・Scala（もしくはJava）の実装経験
・Hadoopエコシステムに関する知識（実務経験は問わない）

・新技術の調査・利用のご経験がある方 ・下記はいずれか1つは必須 　- Linux上でのOSSミドルウェア導入経験 　- Restful API等を活用したマッシュアップでのアプリ開発 　　（設計、実装の双方をご経験されている）