Databricsksの案件一覧

顧客と情報子会社にて、FY24に仮で,Azure databricksを導入して構造化データ活用の機能検証中
ノウハウ不足ということで、ご提案機会を頂く
Azureとdatabricksの機能比較・評価・導入支援、非構造化データ利活用支援などを予定

役割：databricks導入評価、非構造化データ蓄積・データ分析検証支援

①ビジネススキル
・未知の技術領域でも自ら調査し、進める力
・プロジェクト推進に向けたチャットツール等での顧客とのやり取り
②技術・業務経験
・databricks設計・導入経験
・databricksによるデータパイプライン開発経験
・非構造化データ(特にテキストデータ)の蓄積・データ分析プロジェクトの経験

FY24にデータ基盤検証環境として Azure databricksを導入済み。
FY25もデータ連携機能、メタデータ・カタログなどの検証・構築を支援予定

役割：databricks 要件定義・設計・構築・テスト、利活用QA対応

自動車会社様向けの案件にて、アプリケーションの開発要員（アーキテクト）を探しています。
データ活用系の案件ではありますが、フロント部分はアプリケーションを開発して活用のためのデータを提供するようなものを考えています。
UIにはReact
バック部分はDjango
というアーキテクチャです。
裏の仕組みとして、Databricksを使っています。

■アーキテクチャ
★画面系
・画面フロントエンド：React
・セッション管理：Amazon ElastiCache（Redis）
・フロントエンドホスティング：Amazon S3 & CloudFront (Reactやダウンロードファイルの配信)
・フロントエンドとバックエンドの連携：Load Balancer（ALB）
・画面バックエンドバックエンド：Django（Pythonベースの開発）
・サーバサイドフレームワーク：Django REST Framework
・Djangoアプリケーションのコンテナ化：ECS/Fargate
・WAF：AWS WAF
・React単体テスト：Jest + React Testing Library
・Django単体テスト：pytest-django
・React静的解析：ESLint or Prettier
・Python静的解析：pylint
★データ系
・Djangoが使うバックエンドDB：Databricks
・データパイプライン実装：Databricks（Pythonベースの開発）
・全文検索/ベクトル検索：OpenSearch（Serverlessモード）
・生成AI（文章要約、分類、分析）：BedRock
・SNSデータのダウンロード：Zanroo
★バッチ系
・ジョブスケジューラ：Databricks
・イベント駆動処理：AWS Lambda
・外部システムデータ連携：DataSpider + HULFT
★セキュリティ
・重要データの保管：KMS
・個人情報検知と除去：Insight Masking(Insight Technology社の商用製品)
・監査：AWS CloudTrail
・脅威検出：Amazon GuardDuty
・セキュリティスキャン：AWS Inspector
・脆弱性検知：Prisma Cloud
・認証基盤：AWS Cognito
・認証方式：OIDC
★インフラ系
・クラウド基盤：AWS
・IaC：Terraform
★運用系
・監視：Amazon CloudWatch (Newrelic)
・ログ管理＆集約：CloudWatch Logs Insights or Amazon S3 + Athena
★その他
・ソースコードバージョン管理：GitHub
・CI/CD：GitHub Actions

案件概要　：業務分析システムの運用保守フェーズにおいて、システムの維持・改善・拡充を目的とする。
作業内容　：ツール導入、性能分析検討、及びそれに基づいたアーキ検討

Azure Databricks でデータクレンジングを実施し、経営用に Microsoft Fabricにてダッシュボード構築する案件。
（データクレンジングフロー開発）

SAPからのデータ連携
既存のSQLServer連携を、Databricsに置き換えを行う。
随時行うため、工程はなくアジャイル的に実行。

SQL、データ連携、I/F開発

Sier様の施策としてDatabricksにてGenAIを開発する。

・LLMでの開発経験(LangChainの経験　および　RAGの経験)
・Pythonでの生成AIの開発経験
・1人称でタスクを遂行できること

Databricksを新規構築し、データパイプライン開発を実施する。
環境：Azure + Databricks

・アーキテクトの立場でのAzureサービスを組み合わせた要件定義、設計、構築経験
・AzureでのDWHの構築経験
・Azure全般（Functions, Synapse Analytics, Data Factory, Key Vault）

作業内容　：　要件定義　～　テスト、データ分析、レポート作成、など
技術要素　：　Python、Javascript、Zscaler、DataBricks、など

自販機運営業務の業務効率化や売上向上による持続的な自販機運営業務支援システムの開発・改修をご担当頂きます。