Hadoopの案件一覧

データ分析基盤の開発・構築を行なっていただきます。

大規模データ収集基板構築（オンプレにて構築）に伴い、アプリケーションの新基板への移行/アプリケーションのコンテナ化を支援いただける方を募集します。

アプリケーションの設計、開発、テストがメイン業務となります。

アプリ設計、データ投入、環境利用等で分散FS（Hadoop）の構成について考慮する必要があるため、Hadoop環境の利用経験がある方を優遇させていただきます。

RDBからデータ取得を行うアプリケーションをDWH(Hadoopベース)からデータ取得を行うように改修、改修のための設計、開発、テスト新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）
【開発環境】

・Java

・Hadoop(Cloudera)

・Apache kafka

・Apache spark

・Kubernetes/OpenShift/vCenter

在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入

社内データ分析基盤開発・保守・運用業務を担っていただきます。■Python/Shell/Rubyで開発されているバッチ系システムが主

・データレイクへの取り込み

・中間テーブル生成

■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応

・社内ユーザコミュニケーションや要件定義も含む

・インフラからコードデプロイまでを担当

- ローカルで実装、Sandbox環境で動作検証、Productionデプロイ

エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。

[具体的な業務]

・RDBのデータベース設計

・Glue JobでPythonを利用したETL処理の設計・開発

・API Gateway、Lambdaを利用したAPI開発

・技術的知見からの、プロダクトオーナと協調した仕様策定

・AWS関連リソースのより積極的な活用

・git flowベースの開発進行

1.GPSデータを用いた予測支援
2.SaaS型プロダクトの開発支援
上記いずれかにおいてデータエンジニア業務に従事いただきます。

●Python
●MySQLによる大規模データの処理経験
● AWSやGCP、Azureなどクラウドを利用した開発経験
● 下記の項目から 1つ以上の経験を有する方
　○ リレーショナルDBを使ったデータ処理の開発経験
　○ データ処理パイプラインの開発経験
　○ 分散データ処理の開発経験 (Apache Hadoop/Sparkなどを使用)
　○ Webスクレイピング等の Webから情報を収集するシステムの開発経験

[ポジション]：AIエンジニア

自社で探索型BIツールを開発しており、そこにおける人材を募集
・検索・機械学習エンジンの開発・実装、および性能改善
・自然言語処理を使用した検索エンジンの開発
・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発

以下のいずれかを得意としていて、その他の分野に対しては、キャッチアップしていく意欲がある方
・機械学習、コンピュータサイエンス、数学の専門的な知識
・自然言語処理とRDBに関する基礎知識
・何らかのサービス・プロジェクトにおけるAPIやシステムの開発、および運用経験
・データの探索、特徴量の変換、モデルの導出、システムの実装、パフォーマンス評価の一通りの行程をPythonを使用して実施できるスキル

・tableauのご経験
・hadoopのご経験
・コミュニケーションに長けている方
・最先端技術への調査力・キャッチアップ力がある方
・データサイエンティストに興味を持っている方
・新しい技術を学ぶ意欲のある方

　※上記全てのスキルに当てはまらなくても問題御座いません。

SQL/データベースに精通していること
ETLの開発経験
Linuxサーバ構築経験
SparkやHadoopのような分散処理システムの経験

・主に大規模データを処理するためのクラウドインフラ
・アプリケーションソフトの構築からオーディエンスデータとの紐づけやデータ配信を行うソフトウェア開発までを一貫で担っているチームに所属し、
ビッグデータ基盤システムの構築、開発、保守を行い、データの加工(ETL)等をご担当いただきます。
・インフラエンジニアやアプリケーションエンジニアといった垣根なく、ご活躍いただくお仕事になります。

・アプリケーション開発経験3年以上
・SQLを使ったDBプログラミングの開発経験
・Python、PHP、JAVA、Golangのいずれかの開発経験1年以上
・AWS等のパブリッククラウドを利用したサービス開発・運用経験
・Gitなどのソースコード管理ツールの使用経験