分析基盤エンジニアの案件一覧

データ分析基盤の設計～構築をお願いします。

顧客環境によりますが、ノーコード、ローコードツールでの分析基盤構築がメインとなります。

業務：

・データパイプライン検討、設計

・分析基盤構築

・顧客折衝（可能であれば）

社内データ分析基盤開発・保守・運用業務を担っていただきます。■Python/Shell/Rubyで開発されているバッチ系システムが主

・データレイクへの取り込み

・中間テーブル生成

■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応

・社内ユーザコミュニケーションや要件定義も含む

・インフラからコードデプロイまでを担当

- ローカルで実装、Sandbox環境で動作検証、Productionデプロイ

ビックデータを独自のAI分析で情報を加工し、提供している会社にて、顧客が使用している機械学習モデルを組込み、日次で計数計算を実行し結果を配信するサービス基盤の開発になります。

ビッグデータ分析担当者が開発や検討を効率的に行えるようなライブラリ（API群）の設計・実装も行っていただきます。

主にビッグデータ定量評価、特徴量への加工・変換、計算、レポーティング機能などを開発いたします。

・既存DB（MS SQL Server2008）からデータ抽出、加工を行うデータ移行プログラムのパフォーマンス向上提案。

・Python, SQL, shell script

・クラウドエンジニアと協力してネットワーク経由のaws RDS for SQL Serverとレプリケーションを構築

・クラウドエンジニアと協力してデータパイプラインの設計
【環　境】

・チケット管理ツール：backlog

・チャット： Slack

・グループウェア： Google workspace

・メガバンクによる多頻度小口決済システムの構築要件

・金融機関、資金移動業者および個人間送金の取引などを連携するシステム構築

・巨大なシステム構築に対し、各チームがアジャイル・スクラムで開発中

・渋谷の拠点で100名程が従事

作業内容：某大手小売業向けETL基盤構築

┗新規ジョブ、既存ジョブの作成

┗設計～開発

データプラットフォーム基盤の構築

・データモデル設計

・アーキテクチャ設計

・技術調査

・ETL / ELT処理の実装

※ システムとしてのユースケースを整理しながら進行しているため、要求定義、要件定義の視点で物事を考える必要があるケースが多い
【開発環境】

-技術要素-

・BigQuery

・MySQL

・Cloud SQL

・Go言語

顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。チームメンバーと共に試行錯誤しながら業務を進めていただきます。

下記業務をご担当いただく予定です。

・データソースの収集

・S3への蓄積

・AWS Glueを使用したデータ加工

・外部ツールからのデータ収集／外部ツールへの加工データ連携

・QuickSightを使用したデータ集計

・データ加工の自動化（Lambda、StepFunctionを想定）

・terraformを利用した構成管理（Glueのジョブ、IAMロール、S3、Quicksight）

・データ基盤

Azure上にデータ基盤を構築するプロジェクト。蓄積したデータをBIやAIで活用するためのプラットフォームの設計・構築が主業務となります。要求開発フェーズからご参画いただくことを想定。
・作業概要

顧客案件におけるデータ基盤構築支援（要件定義・設計・構築・テスト・マニュアル作成など）

【案件概要】

例：

①某金融業様向けBIレポート可視化用データ基盤構築（常駐型）　

②某大学様向け農業IoTデータ収集分析基盤構築　

対象リソース: Azure Data Factory, Data Lake, SQL Database, Synapse Analytics, IoT Hub, Stream Analytics, ADLS Gen2(またはBlob Storage), Azure AD B2C, 等

①要件定義 ②基本設計 ③詳細設計 ④構築 ⑤テスト設計 ⑥テスト⑦運用マニュアル作成を行います。

カーライフテックサービスの顧客データを的確に分析するためのデータ基盤の構築をお願いいたします。

ビジネスサイトと開発チームで必要なデータをすり合わせし、構築いただきます。
■開発環境

言語＿＿＿＿：Python,SQL

ＤＢ＿＿＿＿：AWS Aurora (Amazon Aurora)

ＦW＿＿＿＿：

環境・ＯＳ＿：AWS (Amazon Web Services)