案件内容 |
・新規データマート要件定義、既存集計フロー効率化
【現場環境】 |
---|---|
必須スキル | ①SQL
(Window関数やUNION,副問い合わせを流暢に扱えること)
②Pythonでの開発経験
③アプリケーション開発経験
|
Sparkの案件一覧
過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。
該当件数:31件
Sparkの案件を探す
案件内容 |
■開発環境 ■業務内容
|
---|---|
必須スキル | ・SQL(Window関数やUNION,副問い合わせを流暢に扱えること)
・アプリケーション開発経験
|
案件内容 |
某ベンチャー企業にて、在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 業務内容 ・新規データ取得のETL及びデータウェアハウスの実装 技術環境 |
---|---|
必須スキル | ・何かしらのシステム開発経験3年以上
・Pythonの実装経験1年以上
・Sparkなどの分散処理システムの経験
・SQLの実装経験(基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方)
・データ基盤の構築経験
・アプリケーションの設計経験
・AWSなどクラウド環境を利用したシステム開発の経験
|
案件内容 |
【概要】 【工程】 【開発環境】 |
---|---|
必須スキル | ・何かしらのシステム開発経験3年以上
・Pythonの実装経験1年以上
・Sparkなどの分散処理システムの経験
・SQLの実装経験(基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方)
・データ基盤の構築経験
・アプリケーションの設計経験
・AWSなどクラウド環境を利用したシステム開発の経験
|
案件内容 |
在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語: Python、SQL ・DB: Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品: ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール: Docker、GitHub、Jira、Slack、CircleCI、Sentry |
---|---|
必須スキル | ・Webシステム設計~開発経験3年以上ある方
・Python開発経験1年以上ある方
・Sparkなどの分散処理システムの経験がある方
・SQLの実装経験
(基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方)
・データ基盤の構築経験ある方
・AWSを用いた開発経験ある方
・Dockerなどのコンテナ技術を利用した開発経験がある方
|
【AWS/GCP】データエンジニア業務の求人・案件
案件内容 |
某ユニコーン企業様にて、データエンジニアとして下記業務に携わっていただく想定になります。 ※スコープが広いためスキルに応じて依頼内容を調整。 ・データ基盤や分析基盤の開発、運用 ・AWS/GCP等のクラウド基盤を活用し、機械学習パイプラインやBIツールで利用しやすいデータ構築のためのシステム設計・開発・運用 ・ストリーミング処理開発、挿入されたデータを分析ログとしての価値を高めるパイプライン開発、CI/ CDも活用したインフラ構築の自動化 |
---|---|
必須スキル | ・コンピュータサイエンス関連の学位、または1年以上のWebサービスのサーバサイド開発運用経験
・AWSやGCPなどのクラウド利用経験
・バッチ設計、開発経験
|
- 〜¥700,000 /月
- 分析基盤エンジニア
- 東京都
- コンサル・シンクタンク
案件内容 |
社内データ分析基盤開発・保守・運用業務を担っていただきます。■Python/Shell/Rubyで開発されているバッチ系システムが主 ・データレイクへの取り込み ・中間テーブル生成 ■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応 ・社内ユーザコミュニケーションや要件定義も含む ・インフラからコードデプロイまでを担当 - ローカルで実装、Sandbox環境で動作検証、Productionデプロイ |
---|---|
必須スキル | ・エンジニアとしての実務経験4年以上
・Pythonの経験1年以上
・SQLの経験1年以上
・AWS/GCPを利用した開発経験1年以上
・GitHub or Gitを利用した開発経験1年以上
|
案件内容 |
エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。 [具体的な業務] ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行 |
---|---|
必須スキル | ・AWSの各サービスの運用経験
・データウェアハウス及び、データマート向けのETLジョブ開発
・Pythonの利用経験
・複数人でチームを組みサービス開発をした経験
|
- 〜¥700,000 /月
- 分析基盤エンジニア
- 東京都
- コンサル・シンクタンク
案件内容 |
【業務内容】 在庫管理システムを支えるデータ基盤の構築案件となります。 主に、機能改善及び機能追加をご担当頂き、大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 |
---|---|
必須スキル | ・システム開発経験3年以上
・Pythonの実装経験1年以上
・Sparkなどの分散処理システムの経験
・SQLの実装経験(基本的なDDL、DMLに加え、結合、集計、集合、case文、
Window関数などを理解している方)
・データ基盤の構築経験
・アプリケーションの設計経験
・AWSなどクラウド環境を利用したシステム開発の経験
|
案件内容 |
今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。 |
---|---|
必須スキル | ・クラウド基盤における知識/実務経験
・技術的に有ると望ましい物
Kafka / AirFlow / Spark等のデータ分析基盤のクラウドエンジニア側での知識/経験
コンテナオーケストレーション(Kubernetes)知識/経験
※重要:DWH(TiDB/Snowflake)の実務経験
|
検索結果31件中1-10件