分析基盤の案件一覧

オンプレで構築/運用してきた工場のデータを蓄積するサーバを拡張し、
Azure上に時系列データ・外部DB連 携などユーザ増に向けた対応および
データ入出力の機能拡張（電子帳票ツール・BIツールの追加）対応を行う。

顧客の提供する各プロダクトからのデータ収集、加工・集計・可視化、分析結果からの将来予測などをお願いします。

＜開発環境＞
・インフラ：AWS（Athena、Redshift、Glue、QuickSightなど）
・データベース：RDS（Aurora MySQL）
・ETL：AWS Glue
・BIツール：Amazon QuickSight
・言語：Python
・コミュニケーション：Slack、Zoom、Backlog、DocBase

大規模口コミサービスを展開している企業にて、データサイエンスチームに所属いただき、
Tableauを用いたデータの可視化やサービスの改善に向けた分析支援などを行なっていただきます。

■開発環境
　言語＿＿＿＿：SQL
　ＤＢ＿＿＿＿：BigQuery
　環境・ＯＳ＿：GCP (Google Cloud Platform)
　ツール＿＿＿：Tableau

■開発工程＿＿：要件定義|基本設計|詳細設計|実装・構築・単体試験|結合試験|総合試験|受入試験|運
用・保守

・SQLとTableauを用いた集計可視化、ダッシュボード作成ができる。
・要件に基づいて適切なアウトプット（報告書やダッシュボード、クエリなど）を作成することができる。
・業務報告や相談を必要に応じて滞りなく実施できる。

・データ基盤(databricks)上で、事業部のデータサイエンティスト向けに
　データマートの構築作業を行っていただきます。
・SaaSツールを組み合わせて、databricks上にデータ基盤構築をしていただきます。
・エンドユーザと直接やり取りができる環境での案件です。

■必須要件：
・データ基盤構築・分析基盤構築経験がある方
・コミュニケーションを円滑に行える方
　(待ちの姿勢でなく、積極的にコミュニケーションを取れる方)

■工程：要件定義～

■案件概要：
・オンプレのOracle ExadataからSnowflakeへDWHを移行
・DWH移行に伴いETL（Datastage）ジョブ他を改修（一部は新規開発、廃止も含む）
・DWH移行に伴い関連システムとのとのインターフェース連携方式変更、その他データフロー変更
・データソース一元化のため、連携ファイル格納先としてS3を新規導入
■規模感
・移行対象テーブル数：約1500本
・移行ETLジョブ数：約1000本
・インターフェース数：約1000本

・ビジネスプラットフォームを展開されている企業様にて
データエンジニアとして参画をしていただきます。
・具体的にはデータパイプラインの設計と実装やデータレイク及び
データウェアハウスの設計と整備等に携わっていただきます。

【参画のメリット】
・勤務形態としてフルリモートになりますので、
ご自身のリラックス出来る環境で働くことが可能となっております。

◆主な開発環境・ツール
・使用言語：Python
・DB：PostgreSQL
・インフラ：AWS（Glue、S3、Athena等）
・その他ツール：Tableau Server、JupyterLab、Github、JIRA、Slack

クライアントでは「商品名○○」など、クライアントの提供する各種サービスをひとつのIDで使用できる統合管理システム「●●」を運用しております。
今回のポジションは議事録、通話データなどの多様なデータをデジタル化し、統合管理をするデータプラットフォームの構築がメインミッションとなります。

クライアントのデータエンジニアとして、CTO、CSO等と連携しながら、データインテグレーションに関する企画・開発全般をご担当いただきます。

＜具体的な業務内容＞
・データプラットフォームの企画およびアーキテクチャ設計
・データパイプラインの設計・構築
・データ分析のためのBIの開発・運用
・継続的なモニタリングプロセスの構築・運用
・データサイエンティスト、データアナリストが作成する分析フローの運用改善支援
・顧客データ活用の実態やドメイン知識の理解
・CTO、CSO等と連携し、プロジェクトの目的・方針・計画等の策定 等

技術環境
＜プロダクト開発部＞
言語：TypeScript, Python, Flutter
フレームワーク：Vue.js, Nuxt.js,Node.js
データベース：Cloud Firestore
インフラ：AWS, GCP, Azure, Cloud Firebase, Cloud Functions
ソースコード管理：Bitbucket
プロジェクト管理ツール：Notion, JIRA
コミュニケーションツール：Zoom, Slack, Google Workspace

＜R&D部門＞
開発言語：Python
フレームワーク：PyTorch, HuggingFace, SpeechBrain, scikit-learn

現行水準のままでのHW,SWのリプレース
本番環境（東京）、災対環境（大阪）の2拠点の更改を行います。

工程
基盤　構築・単体テスト～システムテスト

・Linux(RedHat)、WAS、HULFT、JP1、Oracle、LifeKeeperの構築経験（一人称で対応可能な方）

・サービスのバックエンド開発を主に、スキル次第でコードレビューやデータ分析基盤などの連携、
　チームリーダーなどの上流工程まで、幅広くステップアップすることが可能です。
・3カ月程度のキャッチアップ期間を設けておりますので、Go未経験の方でも安心してご参画いただけます。
・正社員と業務委託の垣根がなく、業務委託で3年以上在籍されている方も複数いらっしゃるため、
　長期的に安定して稼働いただけます。

・Webサービスのバックエンド開発のご経験が3年以上

以下現在進んでいるプロジェクトにおいてクライアントのリーダーと共に参画していただき環境の構築をお願いできればと思います。

【プロジェクト進捗】
・現在客先でもっているDBを収集、可視化、分析したい依頼を受けておりプラットフォームはすでにできている
状態
・DBは試行錯誤したなかでCassandraでのPOCをはじめており機械の製造に当たるデータが時系列で出てくる

・いままではファイルだったがリソースがいっぱいで動かなくなってきたのでスペックアップして仮想環境を作りアプリの分散化を図っている

※すべてを満たさなくても提案可能です。
・Linuxでの環境構築
・NoSQL　Cassandraまたは、DYNAMOの環境構築経験（複数ノードでの構築）
・CQL（Cassandra Query Language）の利用経験
・Bigdataに関する知見