kubernetesの案件一覧

・Pythonを用いたデータ分析基盤の作成、テスト
・データの提供プラットフォームへのパイプライン構築
・GCP上での機能追加・改善
・本番環境上での安定運用と障害対応

・エンタープライズ企業向けにAI Saasサービスを展開している企業のPJ
・データエンジニアとしてデータプラットフォームの企画およびアーキテクチャ設計や、データパイプラインの設計・構築といった業務を担当

・マイクロサービスプラットフォームの構築
・運用オペレーションの自動化（Toilの削減）
・各種KPIの可視化
・クラウドインフラの構築
・プラットフォームエンジニアリング
【担当工程】
要件定義、基本設計、詳細設計、開発、テスト、保守改修、研究開発、基盤設計

■開発環境
言語：Go
クラウド環境：AWS/GCP
コンテナオーケストレーション：GKE & EKS
CIツール：Github Actions
CDツール：Spinnaker
メトリクス/監視：Datadog
構成管理ツール：Terraform

現在AIロボットサービスのプロジェクトが走っておりそのプロジェクトに置いて以下の領域をご担当いただきます。

・IOTコアのサービスを使って機体と連携
・機体の中にプロメテウスのためのエクスポータがいくつか経っている
・GKEのオートパイロット→スタンダードクラスタに戻す
・クラスタのステージングが2つ立っているのを消す
・スマホアプリに撮った写真を見れる機能の改修

SRE支援を担っていただきます。

【開発環境／使用ツール】

• 言語: Go言語(Ent)、TypeScript（Next、React）
• プラットフォーム: AWS（EKS, S3, RDS, etc.）
• データベース：PostgreSQL
• CI/CD: AlgoCD, tekton
• 構成管理: Docker, Terraform, Kubernetes

現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。
PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。

データ基盤要件定義
データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ
ル etc…)
データソースのインターフェイス特定 (REST API, FTP etc…)
データ加⼯(ETL)要件ヒアリング
データレイク設計 (Hadoop File System)
DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…)
データフロー設計 (Apache NiFi)
バッチアプリケーション作成 (Java, Shellスクリプト)
インフラセキュリティ対応 （SSL化対応、AD認証連携 etc…)

環境
オンプレサーバー (現地作業等は無し、リモートから接続)
OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…)
データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品
(サポートが付くだけのようなイメージ)
HPE Ezmeral Runtime (≒ Kubernetes)
OpenShift等に⽐べ、より純正Kubernetesに近い
構成
データレイク: HDFS, minio(≒S3), HBase
DWH: Hive or Spark
ワークフロー: NiFi or Airflow
データ加⼯: Hive, Spark (シェルスクリプト/Java or Python)
BI: Tableau, Palantir (本募集スコープの作業範囲外)
体制
アジャイル開発 (スクラム)
メンバー10名程度
デイリーで午前にスクラムミーティング有り

3年以上のバックエンドまたはインフラ開発経験

機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築や、効率よくデータを捌くためのミドルウェア開発、インフラ構築など業務をおまかせします。
GCPデータ基盤とその活用案件、は既に多数存在するものの、さらなる拡充を狙った専門人材の募集となります。
IP(知的財産)ビジネスがドメインの事業会社において、全社へ大きな影響を与える分析部門にアサイン頂きます。

【業務スコープ】
分析官や機械学習エンジニアと連携しながら、速く安全に機械学習のサイクルを回せるML基盤の構築をお任せします。

■ ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■ ML基盤内へログデータを収集・蓄積・加工する、一連のデータパイプラインの設計/開発/運用

スマートシティ構想のクライアントにて主に以下の業務を依頼します。
[主要業務]
・Data Pipeline 設計、実装
・ML Ops 設計・実装 、 サービス・モデル
・データセキュリティ 設計、実装
・AI サービスAPIの設計、実装
・データ可視化サービスの設計、実装
・データ収集PoC 向けシステム設計、実装
[備考]
・daily scrum、sprint planning/review参加、報告（英語）
・PoC関連ドキュメント作成 （英語）
・メンバーとのdailyコミュニケーション（slack meet,f2f：英語）
[その他利用ツールなど環境]
・Python,AWS
・MS（Excel、Word、 Power Point）、G suite、Slack
・GitHub、JIRA/Confluence、Linux(CLI)

・GKE上に構築されたETLの保守
・ETLはOSSのDigdagとEmbulkを使用
・GKE上に構築されたRPAの保守
・RPAはセレニウム　Pythonでマクロを書くようなイメージ
・定期メンテ3ヶ月単位目安
・Google CloudやOSSを使用しているため、定期的なメンテナンスが必要
・ソフトウェア、ミドルウェアのアップデート対応
・Dockerfile で最新Verを指定してビルド＆デプロイして検証、問題なければリリース

※工数についてはご提示可能な工数で相談可能。

・Docker, Kubernetes, Python,Gitご経験

【業務内容】
・データ要素追加、アプリケーション追加によるデータ処理(Go言語)の追加
・既存データ基盤(オンプレ、Kubernetes環境)の改修、検証、テスト
・各種ミドルウェア(CI/CD、監視、DB)の導入、検証、テスト
・データ基盤の量産
・顧客折衝