分析基盤エンジニアの案件一覧

・GKE上に構築されたETLの保守
・ETLはOSSのDigdagとEmbulkを使用
・GKE上に構築されたRPAの保守
・RPAはセレニウム　Pythonでマクロを書くようなイメージ
・定期メンテ3ヶ月単位目安
・Google CloudやOSSを使用しているため、定期的なメンテナンスが必要
・ソフトウェア、ミドルウェアのアップデート対応
・Dockerfile で最新Verを指定してビルド＆デプロイして検証、問題なければリリース

※工数についてはご提示可能な工数で相談可能。

・Docker, Kubernetes, Python,Gitご経験

データベースエンジニアとして、既存DWHからAWS上のSnowflakeへの移行業務をしていただきます。

直近はDWH移行ですが、構築済みデータ基盤の保守運用の中での作業支援なのでタスクは続いていきます。

※工数についてはご提示可能な工数で相談可能。

【担当業務詳細（お任せする業務）】
・GCP設計構築
・AWSにて構築している既存データレイク基盤との連携業務

【開発環境／使用言語】
・構築：terraform
・ソース管理：Git

【コミュニケーションツール】
・teams, slack

・AI活用プラットフォームを中心に様々なプロダクトを展開されているクライアントの案件
・様々な業界/業種様からデータ活用のニーズが発生しており、基盤構築から可視化、活用まで担当いただくポジション
・某メガベンチャー出身のエンジニア組織への参画になるため、ご自身のスキルアップにお役立ていただけます。

デジタルマーケティングツールやデータ分析ツールへのデータ投入のための ETL 準備、実装を行います。

作業内容：
・某社向けデータ分析のためのデータ処理基盤の開発・保守・運用・機能追加

【業務内容】
・データ要素追加、アプリケーション追加によるデータ処理(Go言語)の追加
・既存データ基盤(オンプレ、Kubernetes環境)の改修、検証、テスト
・各種ミドルウェア(CI/CD、監視、DB)の導入、検証、テスト
・データ基盤の量産
・顧客折衝

・新規データマート要件定義、既存集計フロー効率化
・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
・既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善
  ・データマート日次運用保守業務

【現場環境】
・プログラミング言語：　Python
・ライブラリ：　PySpark, pandas
・データベース：　AWS RDS (SQLServer), AWS Athena(trino)
・環境・OS：　AWS (Amazon Web Services), AWS Lambda, AWS Glue
・BIツール：　QuickSight　

統合顧客データベースの構想策定フェーズにおいて、構想検討を実施し要件定義まで一貫して実施していく必要があり、これらをサポートするポジション

１．新アーキテクチャ対応移行作業（単体テスト、結合テスト、システムテスト）
２．新アーキテクチャ対応移行作業（移行テスト、パフォーマンステスト、運用テスト）
３．既存ソースコードの修正（新アーキテクチャ対応移行作業）（AWS Lambda、AWS Glue）

内視鏡データ(動画)を管理するデータベースシステムの開発を中心に、次世代の内視鏡AIの開発の基盤となるサーバーシステムの開発をご担当いただきます。
<主な内容>
・動画データでのMLOps環境の開発/整備
・動画データとカルテ情報を紐づけた症例情報の管理システムの開発/運用
・アノテーションツール/サービスの開発・運用
データセンターの環境はCPUサーバー2台(ストレージ500TB)、GPUサーバー2台(DGX)で、LinuxサーバーでオンプレミスでKubernetesの環境を整備しています。
ストレージサービスはRook(Ceph)を検討しています。社内サービスはPythonをメインに開発しております。
内視鏡動画は1検査5分で10GB程度の大容量の動画となります。施設からHDDで受け取ったデータをサーバー上で効率よく管理し、動画によるAIの開発体制を作ることが目標です。