Databricsksの案件一覧

データ基盤全体のアーキテクチャ設計から、ガバナンス設計（Unity Catalogなど）、dbtやワークフローの設計・運用、GitHubを活用した開発プロセスの整備まで、プロジェクト全体をリードする役割になります。

【想定内容】
・全体アーキ設計：3層（着地／精錬／提供）の責務分離、命名規約、スキーマ進化方針、データ契約の策定
・ガバナンス設計（必須）：Unity Catalog 等を用いた権限モデル、監査・データ分類、変更管理プロセスの整備
・dbt：プロジェクト構成（stg/int/mart）、モデル分割、tests とドキュメントの整備、依存グラフ設計
・Databricks：Lakehouse 基盤設計、ジョブ／ノートブックの責務分離、再実行・冪等性設計
・ワークフロー：依存制御・スケジューリング、失敗時の復旧方針、SLA/アラート、可観測性（メトリクス／ログ／リネージ）
・GitHub：ブランチ戦略、PR レビュー基準、CI（dbt build・lint 等）とリリース運用
・移行設計：Snowflake＋Xplenty → Databricks＋dbt の段階移行（Dual-run、差分検証、カットオーバー、ロールバック）

データ基盤のリニューアル実施に伴い、サービスベンダーの情シス要員として
Databricksアーキテクチャーを活用した検討から実装までを対応頂ける方。

Databricks環境におけるバッチの設計、開発、テストをご担当いただきます。

■開発環境■
Python, SQL, Databricks, Apache Spark, AWS Glue, Amazon EMR, AWS, Azure, GCP

・Python、SQL、ジョブを用いたデータ連携処理の開発経験(5年程度)
・1人称でタスクを遂行可能な方

大手金融機関向けに、Databricksを使用した開発を担当していただきます。
データエンジニアリング領域での業務です。

– データ連携処理の試験実施経験(Python/SQL/ジョブ)
– 1人称でタスクを遂行できる能力

・既存システムのキャッチアップ
・データ分析基盤の保守開発

小中学生向け学習支援サービスにおけるデータ分析基盤の保守開発をお任せいたします。

【環境】
・Azure

データ分析基盤の移行に伴うBIツールの作成案件での人員募集です。

現行はTeradataに対して、同社のAccessNavigatorWebを利用してデータ参照を行っていたが、Teradataサポート切れに伴いDatabricksへの移行を行うためデータ参照に使っていた。AccessNavigatorWebと同様の機能を持つBIツールを作成する。

アプリケーションをDatabricks Apps（Python）で構築するか、javaで構築するかを検討中。

・Databricks、Databricks Apps（Python）もしくはjava経験

顧客と情報子会社にて、FY24に仮で,Azure databricksを導入して構造化データ活用の機能検証中
ノウハウ不足ということで、ご提案機会を頂く
Azureとdatabricksの機能比較・評価・導入支援、非構造化データ利活用支援などを予定

役割：databricks導入評価、非構造化データ蓄積・データ分析検証支援

①ビジネススキル
・未知の技術領域でも自ら調査し、進める力
・プロジェクト推進に向けたチャットツール等での顧客とのやり取り
②技術・業務経験
・databricks設計・導入経験
・databricksによるデータパイプライン開発経験
・非構造化データ(特にテキストデータ)の蓄積・データ分析プロジェクトの経験

FY24にデータ基盤検証環境として Azure databricksを導入済み。
FY25もデータ連携機能、メタデータ・カタログなどの検証・構築を支援予定

役割：databricks 要件定義・設計・構築・テスト、利活用QA対応