Sparkの案件一覧

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。

顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

【開発環境】

・開発言語： Python、SQL

・DB: Aurora(PostgreSQL互換)、Redshift

・ライブラリ・フレームワーク：Pandas、Numpy、Dask

・インフラ：AWS

・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch

・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry

某ユニコーン企業様にて、データエンジニアとして下記業務に携わっていただく想定になります。

※スコープが広いためスキルに応じて依頼内容を調整。
【業務スコープ】

・データ基盤や分析基盤の開発、運用

・AWS/GCP等のクラウド基盤を活用し、機械学習パイプラインやBIツールで利用しやすいデータ構築のためのシステム設計・開発・運用

・ストリーミング処理開発、挿入されたデータを分析ログとしての価値を高めるパイプライン開発、CI/ CDも活用したインフラ構築の自動化

社内データ分析基盤開発・保守・運用業務を担っていただきます。■Python/Shell/Rubyで開発されているバッチ系システムが主

・データレイクへの取り込み

・中間テーブル生成

■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応

・社内ユーザコミュニケーションや要件定義も含む

・インフラからコードデプロイまでを担当

- ローカルで実装、Sandbox環境で動作検証、Productionデプロイ

エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。

[具体的な業務]

・RDBのデータベース設計

・Glue JobでPythonを利用したETL処理の設計・開発

・API Gateway、Lambdaを利用したAPI開発

・技術的知見からの、プロダクトオーナと協調した仕様策定

・AWS関連リソースのより積極的な活用

・git flowベースの開発進行

【業務内容】

在庫管理システムを支えるデータ基盤の構築案件となります。

主に、機能改善及び機能追加をご担当頂き、大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。
【募集背景】新バージョンの機能追加が急務であり、エンジニアリソースが不足しているため。
【開発環境】・開発言語： Python、SQL・DB: Aurora(PostgreSQL互換)、Redshift・検索エンジン： Amazon Elasticsearch Service・ライブラリ・フレームワーク：Pandas、Numpy、Dask・インフラ： Amazon Web Services・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry

1.GPSデータを用いた予測支援
2.SaaS型プロダクトの開発支援
上記いずれかにおいてデータエンジニア業務に従事いただきます。

●Python
●MySQLによる大規模データの処理経験
● AWSやGCP、Azureなどクラウドを利用した開発経験
● 下記の項目から 1つ以上の経験を有する方
　○ リレーショナルDBを使ったデータ処理の開発経験
　○ データ処理パイプラインの開発経験
　○ 分散データ処理の開発経験 (Apache Hadoop/Sparkなどを使用)
　○ Webスクレイピング等の Webから情報を収集するシステムの開発経験

プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築
　・構築環境の理解からクライアント課題に合わせた設計
　・データ分析のためのBIの開発・運用
　・継続的なモニタリングプロセス、仕組みの構築
　・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む

・Pythonを含む複数言語(TypeScript, Javascriptなど)でのコーディング経験(3年以上)
・データ基盤および分析基盤などの開発・構築経験(3年以上)
・ETLやELTの実装経験
・クラウド環境上でのシステム構築・運用の経験
・GitHubを用いた開発経験

[ポジション]：AIエンジニア

自社で探索型BIツールを開発しており、そこにおける人材を募集
・検索・機械学習エンジンの開発・実装、および性能改善
・自然言語処理を使用した検索エンジンの開発
・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発

以下のいずれかを得意としていて、その他の分野に対しては、キャッチアップしていく意欲がある方
・機械学習、コンピュータサイエンス、数学の専門的な知識
・自然言語処理とRDBに関する基礎知識
・何らかのサービス・プロジェクトにおけるAPIやシステムの開発、および運用経験
・データの探索、特徴量の変換、モデルの導出、システムの実装、パフォーマンス評価の一通りの行程をPythonを使用して実施できるスキル