Sparkの案件一覧

某大手通信事業者様の生成AI基盤開発支援を行っている中でサイトクローラーの開発業務を行える方を募集しております。

製造～テストをご担当いただきます（設計もお任せする可能性あり）

・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発

※全て当てはまらなくても良いです
・開発経験１０年以上
・DWHやETL等のビッグデータ実装への理解
・Sparkの使用経験
・Kinesisの使用経験
・5名程度の開発チームのリーダー経験
・開発フレームワーク／ツール／プロセスの選定と制定
・マイクロサービスアーキテクチャやサーバレスアーキテクチャの実装理解
・Pandasライブラリを用いた開発経験
・Data Pipeline構築経験（ETL開発経験）
・AWS上でのシステム開発経験
・Lambdaなどのサーバーレス開発経験
・RDBを用いたシステム開発の経験
・OSSを活用したシステム開発経験（Kafka, MySQL, MongoDB…）
・AWSのマネージドサービス利用経験（Redshift,SMS/SQS,RDS）
・アジャイルでのシステム開発経験
・JIRA/Confulence相当を利用した開発経験

データエンジニアとして、データサイエンティストやエンジニアと協力しながら、データ基盤を構築・改善し課題解決を行っていただきます。
データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。

・サービス内(App/Web)におけるユーザーの活動分析
・機能分析や、サービス内のファネル分析、ユーザー別の活動分析等の幅広な分析を実施
・データを依頼してのその直接提示というより、持つ仮説を強化あるいは反証するデータを幅広に検証したり、そこから必要な取得データや分析を提案し回答や示唆を提供する
・必要情報を取得する際の開発チームへの依頼や要件の伝達(イベントの発火組み込みや、新機能における分析必要項目のDevチームへの連絡や埋め込み依頼等)
※海外とのやり取りが発生するため英語の読み書きが頻出します(担当業務によっては英会話の必要性も有り)

＜業務詳細＞
・分析基盤整備
　└ダッシュボードの作成（KPIツリー、目的別ボード）
　└ユーザー行動の可視化（推移、利用特性）
　└分析基盤整備の推進（データ取得の推進、課題点洗い出し）
・分析
　└データを用いた仮説検証（機能、UI改善、施策）
　└ユーザー行動（数値化、可視化、セグメント分類）
　└効果検証（広告、キャンペーン、メールマガジン等）
　└得られたデータを元にしたインサイトの提供

＜使用ツール＞
・開発言語：Go
・インフラ環境：Google Cloud、Cloud Spanner、Cloud Function、Cloud Run、BigQuery
・ソースコード管理：GitHub
・CI/CD：CircleCI, Cloud Build
・監視/モニタリング：Google Cloud Logging, Google Cloud Monitoring
・インシデント管理：PagerDuty
・コミュニケーション：Slack, Google Meet
・プロジェクト管理/ドキュメント：JIRA/Confluence/DocBase

・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります

・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化

・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善

・データマート日次運用保守業務

【開発環境】
プログラミング言語：Python
ライブラリ：PySpark, pandas
データベース：AWS RDS (SQLServer), AWS Athena(trino)
環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール：QuickSight

・新規データマート要件定義、既存集計フロー効率化
・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
・既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善
  ・データマート日次運用保守業務

【現場環境】
・プログラミング言語：　Python
・ライブラリ：　PySpark, pandas
・データベース：　AWS RDS (SQLServer), AWS Athena(trino)
・環境・OS：　AWS (Amazon Web Services), AWS Lambda, AWS Glue
・BIツール：　QuickSight　

■開発環境
プログラミング言語：Python
ライブラリ：PySpark, pandas
データベース：AWS RDS (SQLServer), AWS Athena(trino)
環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール：QuickSight

■業務内容
・新規データマート要件定義、既存集計フロー効率化
ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善
  ・データマート日次運用保守業務

某ベンチャー企業にて、在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。

業務内容
顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。

・新規データ取得のETL及びデータウェアハウスの実装
・データ基盤の運用及び保守開発
・データの可視化
・定例MTG対応
・仕様書等ドキュメント作成（一部）

技術環境
O S 　　 ：Linux, Windows
言 語 　　 ：Python, SQL
D B　　　 ：Redshift, Aurora(PostgreSQL互換)
Cloud　　 ：AWS（ECS, S3, StepFunctions, Lambda, Redshift, Aurora等）
DWH　　 ：BigQuery, TreasureData等
機械学習系：Kedro, MLflow
C I　　　 ：CircleCI
監視系　　：Sentry
その他　　： GitHub, Slack, CircleCI

【概要】
・在庫最適化システムを支えるデータ基盤の構築
・Saasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望の相談増
・数億レコードにもなる大量のデータ加工をSQLやPythonを用いて作成、
集計後、データストアに投入する基盤の構築
・エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制

【工程】
基本設計　詳細設計　開発　単体テスト　結合テスト　総合テスト　運用

【開発環境】
・開発言語： Python、SQL
・DB: Aurora(PostgreSQL互換)、Redshift
・検索エンジン： Amazon Elasticsearch Service
・ライブラリ・フレームワーク：Pandas、Numpy、Dask
・インフラ： Amazon Web Services
・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch
・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry