Pythonの案件一覧

【システム概要】
複数のビジネスチーム向けに必要なデータセットの要件を整理し、
Databricks上で分析用データセットを効率的に作成するETL、
ワークフローを開発します。

【業務内容】
各チームから挙げられる要件の整理や、ベストプラクティスを調査し、
購買情報、各種施策、会員情報やアクセスログなどを元に、効率的な
データセットを作成するためのETL、パイプラインの作成を行います。
データ分析基盤チームに参画しており、必要に応じてノウハウなどを
共有しながら作業を進めて頂きます。

【担当領域】
要件定義～実装

【開発方式】
お客様と都度調整しながら進めるアジャイル開発となります。

【システム構成】
サービス：AWS、Databricks、Redshift
利用ツール：Slack、Backlog、Git (GitHub)

■案件内容：
【システム概要】
AWS環境に、データ分析用API構築。
AWS(EC2,ECS,ECR,CloudFormation,Lambda等) の構成。

【開発方式】
ウォーターフォールモデル or アジャイル

原子力規制庁が運用している放射線モニタリングポータルサイトの刷新プロジェクトをご支援いただきます。
　現状、レガシーな構成で構築されているシステムをAWSをベースとしたクラウドネイティブな仕組みに刷新します。
■作業内容：アプリ設計開発リーダーの下で、下記業務をご対応いただきます。
　・要件に基づくWebアプリケーションの構築及びテスト
　　→Lambda（Python）によるバックエンド（DynamoDBからCloudSearchへのデータ連携、DynamoDBからデータ取得するAPI、CloudSearchを検索するAPIなど）のプログラムの実装
　　→テスト仕様書の作成、テストコード（pytest）の実装
　・現行サイトのデータを移行するための移行プログラムの構築及びテスト
　　→現行サイトのコンテンツ（テキストデータやファイル）をkintoneのREST APIをコールして登録するPythonプログラムの実装
　　→移行対象のデータを読み込んだり、ファイルを参照するため、ディレクトリ参照やファイルReadするPythonの実装

Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用と日々の運用業務から発生する課題の解決・改善

主要技術：BigQuery/Cloud Composer(Airflow)/Python/（一部Spark）

・新機能の設計・開発・保守。
・既存機能の保守・改修。
・ユーザーや社内の声を反映したプログラム改善。
・プログラム起因による障害発生時のトラブルシューティング。
・データベース周りの業務
・API設計の経験

放射線モニタリングポータルサイトの刷新プロジェクトをご支援いただきます。
現状、レガシーな構成で構築されているシステムをAWSをベースとしたクラウドネイティブな仕組みに刷新します。

アプリ設計・開発リーダー(弊社社員)の下で、下記業務をご対応いただきます。
・要件に基づくWebアプリケーションの構築及びテスト
　→ Lambda（Python）によるバックエンド（DynamoDBからCloudSearchへのデータ連携、DynamoDBからデータ取得するAPI、CloudSearchを検索するAPIなど）のプログラムの実装
　→ テスト仕様書の作成、テストコード（pytest）の実装
・現行サイトのデータを移行するための移行プログラムの構築及びテスト
　→ 現行サイトのコンテンツ（テキストデータやファイル）をkintoneのREST APIをコールして登録するPythonプログラムの実装
　→ 移行対象のデータを読み込んだり、ファイルを参照するため、ディレクトリ参照やファイルReadするPythonの実装

Pythonを利用したスケジュール管理システムの画面回りを開発する
※詳細は面談時に確認。

概要：
需要予測モデルをEC2上の分析環境で動かしているJupyterコードでの運用になっており、様々な問題が生じている。
SageMakerの実装を進めていただきます。

依頼内容：

1. 実験環境の整備:既存の実験環境のSageMaker上への移行。
2. Training/Inferenceパイプラインコードの作成
3. CI/CD環境の構築
4. その他追加作業

環境：
SageMaker, Snowflake, Snowpark, Streamlit

主業務：定義された設計書の意図を理解し、設計書に沿ってデータを加工するパイプラインバッチの開発を行う。

主要な使用技術：BigQuery/dbt/Prefect/great_expectations（一部Airbyteの可能性）
期間：短期間（2024/1〜3月の３ヶ月間）想定
その他希望：週５日フルタイム（フレックス制）、フルリモートOK

内容：
物流マッチングプラットフォームを展開する企業にて、データエンジニアとしてご参画頂きます。
主に各事業のデータ分析基盤（DWHとデータパープライン）の設計・構築・運⽤を⾏っていただきます。
＜具体的な業務内容＞
既存のDWH（BigQuery）とデータパイプラインの拡充

• 利用可能なデータの拡充
• データのリアルタイム性の向上
  将来のデータ基盤戦略の策定とその推進
• 新たなDWHとデータパイプライン（ELT）の設計・構築・運用
  データ分析によるビジネス課題の発見の推進
• データによる課題の可視化
• BIなどを通したモニタリング環境の構築
  技術環境：
  ・言語：Ruby、Python
  ・バージョン管理：Git/GitHub
  ・データ基盤：BigQuery、AWS RDS
  ・BI： Redash、Google Spread Sheet、Google Data Studio
  ・コミュニケーション：Slack、Notion