データエンジニアの案件一覧

顧客と情報子会社にて、FY24に仮で,Azure databricksを導入して構造化データ活用の機能検証中
ノウハウ不足ということで、ご提案機会を頂く
Azureとdatabricksの機能比較・評価・導入支援、非構造化データ利活用支援などを予定

役割：databricks導入評価、非構造化データ蓄積・データ分析検証支援

①ビジネススキル
・未知の技術領域でも自ら調査し、進める力
・プロジェクト推進に向けたチャットツール等での顧客とのやり取り
②技術・業務経験
・databricks設計・導入経験
・databricksによるデータパイプライン開発経験
・非構造化データ(特にテキストデータ)の蓄積・データ分析プロジェクトの経験

FY24にデータ基盤検証環境として Azure databricksを導入済み。
FY25もデータ連携機能、メタデータ・カタログなどの検証・構築を支援予定

役割：databricks 要件定義・設計・構築・テスト、利活用QA対応

他ベンダー様が地方銀行様に統合データ基盤の要件定義、構築の提案を行っている。 統合データ基盤のユースケースとして計数管理や顧客管理のダッシュボードがあり、データ利活用側を弊社が担当しています
統合データ基盤の要件定義、構築は、25年8月~26年3月に実施する想定で提案を進めている状態です
基盤のリリースに併せダッシュボードのリリースを行いたいため、8-10月でダッシュボードモック作成、12月~2月に基盤と連携、本番構築、テストのスケジュールです
未だ 統合データ基盤はないためfabric上の簡易分析環境にてPowerBIを使用しダッシュボードを作成します

案件概要
2~4月に貸出・預金の計数管理ダッシュボードの作成をご支援致しました
次Phaseでは、貸出・預金の計数管理ダッシュボードのアップデート及び法人顧客の管理ダッシュボードの作成を行う想定です
貸金・預金の計数管理ダッシュボード：8月から新たに連携される明細データへ対応。既存ダッシュボード(弊社作成)の改修(フィルタの追加など)がメイン。新規ページを作成する場合は1枚程度の想定です
法人顧客の管理ダッシュボード：銀行側が現在見ているエクセルデータのBI化がメイン。新規作成であり2～3ページ程度を想定です
地方銀行様でどの様なグラフを見たいかのイメージをある程度作って頂いた状態からスタートする想定です
作成イメージに対し、どの様な指標を見ていくべきかなど要件を詰めるところは弊社側で練って提案する必要があります
どの様な指標を見ていくべきかの検討にもから入って頂きながら、データマートの作成及びPowerBIを使用したダッシュボードの構築をタスクとしてお願いしたいです
また、 作成したデータマートやダッシュボードについて仕様のドキュメント化対応も発生いたします

【業務内容】
・各拠点における電力使用データが十分に活用されていない
・そのため、事業会社の電力使用における各拠点のデータの活用、管理
・AWSの環境構築、基盤作成

【プロジェクト内使用言語など】
・AWS
・GitHub Enterprise

・AWSにおけるインフラ構築、設計構築経験
・AWS上での運用自動化やDevOpsに関する知見
・CloudWatchなどを用いたAWSリソースの監視設計/運用経験
・バックエンド開発経験
・Pythonの構築経験
・アジャイル開発、スクラム開発の経験
・Gitを用いた開発経験
・macOSでの開発経験

エネルギー業界の企業におけるPowerBIの導入・活用支援を行っていただきます。現在、社内のITリテラシーが低く、データを活用する習慣がないため、どのようなダッシュボードやレポートを作成すべきか明確になっていない状況です。

既存の担当者はレポート作成が可能ですが、ダッシュボードの設計やデータの適切な取り扱いに課題を抱えています。そのため、単なるアドバイザーとしての支援ではなく、企業の内部に入り込み、事業理解をしながらデータ活用を推進できる方を求めています。

安全なデータ管理の実施や、事業会社での業務経験がある方が望ましいです。

・PowerBIの実務経験（機能の限界や活用方法を理解していること）
・事業会社での業務経験
・データ集計やダッシュボード作成の経験
・社内のITリテラシー向上のための支援スキル

Dr.Sumを使ったデータマート構築から、Power BIを用いた可視化・ダッシュボード構築までを一貫して対応するポジション。要件定義から参画し、社内関係者との調整、ITリテラシーの低い現場への導入支援も含めて対応。

・Dr.Sumによるデータマート作成の実務経験
・Power BIのセマンティクスモデル設計・ダッシュボード構築経験
・現場と連携し、要件を理解しながら自走できるコミュニケーション力

・法人向けSaaSプロダクトにおけるデータパイプラインの設計・構築及び最適化を行っていただきます。
・具体的には様々な外部データソース（例：Google Drive, Dropbox, Webpage, etc）とのデータ連携のための処理の実装です。
・データの正確性、完全性、一貫性を保証するためのデータ品質管理プロセスの設計と実装、およびデータパイプラインの健全性を監視するシステムの構築

【参画メリット】
・急成長中のスタートアップ企業なので、今後のキャリアアップにつながる環境です。
・リモート併用案件のため、比較的リラックスした環境で働くことが可能です。

・Pythonを用いたデータ処理（Flask, Pandas, NumPy, Daskなど）の実務経験3年以上。
・GCPを用いたデータウェアハウス、データレイク、またはデータパイプライン構築の実務経験。
・リレーショナルデータベース（例：PostgreSQL, MySQL）またはデータウェアハウス
（例：BigQuery）におけるSQLを用いたデータ操作、分析のご経験。

個人の様々な行動データを基にしたデータプラットフォームを用いて、
各種分析から施策企画・検討までを行います。
・データマート構築（要件定義、設計、実装、テスト）
・データエンジニアリング業務（データの収集、加工、集計）
・バッチ基盤の運用保守
・DMBOKを軸にしたデータマネジメント業務、及び利活用促進
・dbtを用いたデータ変換とモデルの開発
・データ利活用促進のためのメタデータ及びデータカタログ整備
DB：Databricks, BigQuery, Redshift, MySQL, PostgreSQL
クラウド：AWS, GCP, Azure
ツール：Adobe Analytics, Google Analytics, Firebase
バッチ処理：Airflow, dbt, digdag
言語：Python, Shell Script, SQL
CI/CD：CodeCommit, CodeDeploy, CodePipeline, Azure DevOps
データカタログ: OpenMetadata