ETLの案件一覧

GCP上に構築したデータ分析環境の機能改善と運用を担当するメンバを募集しております。
既存ML基盤の Kubernetes 化や CI/CD Pipeline の整備等、基盤のモダナイズを推進しており、設計・構築・運用の面でチームの一員としてご活躍いただける方を募集しております

作業概要：
・クラウド環境におけるビッグデータ処理基盤の改善及び運用
・具体的にはGCP BigQuery を中心とした分析基盤に関して、以下のような運用業務を対応いただきます
・Terraformで組織内の権限付与業務、インスタンスの作成
・Ansdibleでサーバーの設定
・GCPのプロダクトやOS、様々なEOSL対応
・業務時間内(10:00-19:00)の障害検知・障害対応、など
・慣れてくれば初めて使用するミドルウェアやツールの検証・導入計画・設計・装着などもご担当いただくこともあります。

・病院で使用している備品などの発注量や使用量の可視化・分析をtableauを使って行っている。(tableauサーバーに溜まったデータをtableau Readerを使用して可視化)

データパイプラインのチューニングと
可視化する内容の改修がメインスコープ。

顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。
チームメンバーと共に試行錯誤しながら業務を進めていただきます。
下記業務をご担当いただく予定です。
・データソースの収集
・S3への蓄積
・AWS Glueを使用したデータ加工
・外部ツールからのデータ収集／外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化（Lambda、StepFunctionを想定）
・terraformを利用した構成管理（Glueのジョブ、IAMロール、S3
、Quicksight）

ヘルスケア業界のクリニック連携システムのデータ分析基盤構築をご担当いただきます。データの分析基盤をGCPにて構築する案件です。BigQuery内でデータレイク、データウェアハウス、データマートの構築や各種DBからのデータパイプライン構築に携わっていただきます

スマートシティ構想のクライアントにて主に以下の業務を依頼します。
[主要業務]
・Data Pipeline 設計、実装
・ML Ops 設計・実装 、 サービス・モデル
・データセキュリティ 設計、実装
・AI サービスAPIの設計、実装
・データ可視化サービスの設計、実装
・データ収集PoC 向けシステム設計、実装
[備考]
・daily scrum、sprint planning/review参加、報告（英語）
・PoC関連ドキュメント作成 （英語）
・メンバーとのdailyコミュニケーション（slack meet,f2f：英語）
[その他利用ツールなど環境]
・Python,AWS
・MS（Excel、Word、 Power Point）、G suite、Slack
・GitHub、JIRA/Confluence、Linux(CLI)

ヘルスケア関連事業を展開されているお客様内で、社内データの可視化PJがスタートしております。
主な作業内容として、各種SQLサーバ－から必要データをDWHに取込み、
QuickSightに流し込むまでをユーザーヒアリングを行いながら
実施していただく予定です。
開発環境　：Python（PySpark, pandas）AWS（RDS、Athena、Lambda、Glue、QuickSight）など

自社のマーケティング施策に課題感をお持ちのクライアントに対し、
データを起点としたマーケティングの実行の為のデータ基盤構築支援を募集致します。

マーケティングリサーチ領域における支援を主に提供している弊社グループ会社で、
近年データマーケティング事業としてクライアント保有データを用いた分析やBIツールを
中心としたデータ活用環境の構築など支援の幅を広げてきました。事業が好調に発展する中で、
よりクライアント環境に入りこんだ支援を実現すべく、DWH～ETL領域において
ITアーキテクトやPMとして活躍した経験を有する人材を探しております。

多様な業界・業種のクライアントに対面しながら、データドリブンマーケティングの実現に向けた
基盤構築をご自身の発想でリードしていく経験を積むことができるポジションです。
希望に応じて、自社サービスのさらなる拡販に向けた企画立案や関連社内プロジェクトの推進にも積極的にチャレンジいただけます。

＜主な業務＞　重要度順です。①のみ対応可能な方でもOKです。

①データ活用環境の構築支援
　・AWSやGCPを活用したDWH環境構築支援

②①の環境構築する為の要件に応じたチームコントロール
・社内メンバー＋外部ベンダーで構成されるチームのコントロール

【業務内容】
・データ要素追加、アプリケーション追加によるデータ処理(Go言語)の追加
・既存データ基盤(オンプレ、Kubernetes環境)の改修、検証、テスト
・各種ミドルウェア(CI/CD、監視、DB)の導入、検証、テスト
・データ基盤の量産
・顧客折衝

・新規データマート要件定義、既存集計フロー効率化
・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
・既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善
  ・データマート日次運用保守業務

【現場環境】
・プログラミング言語：　Python
・ライブラリ：　PySpark, pandas
・データベース：　AWS RDS (SQLServer), AWS Athena(trino)
・環境・OS：　AWS (Amazon Web Services), AWS Lambda, AWS Glue
・BIツール：　QuickSight　

　データ分析基盤（データクリーンルーム）の設計/開発へ参画いただきます。
　既存のデータ分析基盤案件を対応しているチームをベースに、
新しくData Engineeringチームの設立を行う予定で、その構成メンバーを募集しています。
　Data Engineeringチームの主な活動は、同社が対応を進めているデータベース、
クラウドベースのDWH案件の各種開発サポート、アドホック対応、
PoC対応など全般を各種案件チームの一員としてご対応いただきます。
　状況によって、開発されたデータベース、データウェアハウスの検証作業も担当いただきます。
　対応すべき案件の幅が広いことから、幅広いご経験と知見を必要としますが、
案件の開発状況に対し、リーダーからメンバー適正に合わせた業務割り振りを行います。
　その為、専門分野でない未経験領域への挑戦意欲や、新しいテクノロジーに対する
学習意欲の高い方が求める人物像となります。