案件内容 |
エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。 [具体的な業務] ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行 |
---|---|
必須スキル | ・AWSの各サービスの運用経験
・データウェアハウス及び、データマート向けのETLジョブ開発
・Pythonの利用経験
・複数人でチームを組みサービス開発をした経験
|
Sparkの案件一覧
過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。
該当件数:34件
Sparkの案件を探す
- 〜¥700,000 /月
- 分析基盤エンジニア
- 東京都
- コンサル・シンクタンク
案件内容 |
【業務内容】 在庫管理システムを支えるデータ基盤の構築案件となります。 主に、機能改善及び機能追加をご担当頂き、大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 |
---|---|
必須スキル | ・システム開発経験3年以上
・Pythonの実装経験1年以上
・Sparkなどの分散処理システムの経験
・SQLの実装経験(基本的なDDL、DMLに加え、結合、集計、集合、case文、
Window関数などを理解している方)
・データ基盤の構築経験
・アプリケーションの設計経験
・AWSなどクラウド環境を利用したシステム開発の経験
|
案件内容 |
今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。 |
---|---|
必須スキル | ・クラウド基盤における知識/実務経験
・技術的に有ると望ましい物
Kafka / AirFlow / Spark等のデータ分析基盤のクラウドエンジニア側での知識/経験
コンテナオーケストレーション(Kubernetes)知識/経験
※重要:DWH(TiDB/Snowflake)の実務経験
|
案件内容 |
在庫最適化システムを支えるデータ基盤の構築を行っていただきます。自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。 |
---|---|
必須スキル | ・何かしらのシステム開発経験3年以上
・Pythonの実装経験1年以上
・Sparkなどの分散処理システムの経験
・SQLの実装経験(基本的なDDL、DMLに加え、結合、集計、集合、case文、
Window関数などを理解している方)
・データ基盤の構築経験
・アプリケーションの設計経験
・AWSなどクラウド環境を利用したシステム開発の経験
|
- 〜¥700,000 /月
- データエンジニア
案件内容 |
1.GPSデータを用いた予測支援 |
---|---|
必須スキル | ●Python |
案件内容 |
プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築 |
---|---|
必須スキル | ・Pythonを含む複数言語(TypeScript, Javascriptなど)でのコーディング経験(3年以上) |
案件内容 |
[ポジション]:AIエンジニア 自社で探索型BIツールを開発しており、そこにおける人材を募集 |
---|---|
必須スキル | 以下のいずれかを得意としていて、その他の分野に対しては、キャッチアップしていく意欲がある方 |
案件内容 |
[ポジション]:分析基盤エンジニア ◇データ分析対応チーム、もしくはデータ分析基盤構築チームにて、 |
---|---|
必須スキル | ・Python、SQLを用いた実務経験(3年以上目安) |
案件内容 |
オンライン・オフラインのデータをクラウド環境で統合して分析できる基盤構築を行うための環境構築、ETL設計・開発、データ抽出を行います。
データを効果的・効率的に活用するための基盤を構築する戦略的なポジションになります。
クラウド環境:AWS |
---|---|
必須スキル | SQL/データベースに精通していること |
案件内容 |
■業務内容
製造メーカー系会社のデータ処理基盤の設計・構築
→ 大量のログデータを蓄積するクラウド環境及び、製品に埋め込むクライアントの開発運用 |
---|---|
必須スキル | ・クラウド環境の構築経験・知識(AWSなど) |
検索結果34件中11-20件