Pythonの案件一覧

原子力規制庁が運用している放射線モニタリングポータルサイトの刷新プロジェクトをご支援いただきます。
　現状、レガシーな構成で構築されているシステムをAWSをベースとしたクラウドネイティブな仕組みに刷新します。
■作業内容：アプリ設計開発リーダーの下で、下記業務をご対応いただきます。
　・要件に基づくWebアプリケーションの構築及びテスト
　　→Lambda（Python）によるバックエンド（DynamoDBからCloudSearchへのデータ連携、DynamoDBからデータ取得するAPI、CloudSearchを検索するAPIなど）のプログラムの実装
　　→テスト仕様書の作成、テストコード（pytest）の実装
　・現行サイトのデータを移行するための移行プログラムの構築及びテスト
　　→現行サイトのコンテンツ（テキストデータやファイル）をkintoneのREST APIをコールして登録するPythonプログラムの実装
　　→移行対象のデータを読み込んだり、ファイルを参照するため、ディレクトリ参照やファイルReadするPythonの実装

Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用と日々の運用業務から発生する課題の解決・改善

主要技術：BigQuery/Cloud Composer(Airflow)/Python/（一部Spark）

・新機能の設計・開発・保守。
・既存機能の保守・改修。
・ユーザーや社内の声を反映したプログラム改善。
・プログラム起因による障害発生時のトラブルシューティング。
・データベース周りの業務
・API設計の経験

放射線モニタリングポータルサイトの刷新プロジェクトをご支援いただきます。
現状、レガシーな構成で構築されているシステムをAWSをベースとしたクラウドネイティブな仕組みに刷新します。

アプリ設計・開発リーダー(弊社社員)の下で、下記業務をご対応いただきます。
・要件に基づくWebアプリケーションの構築及びテスト
　→ Lambda（Python）によるバックエンド（DynamoDBからCloudSearchへのデータ連携、DynamoDBからデータ取得するAPI、CloudSearchを検索するAPIなど）のプログラムの実装
　→ テスト仕様書の作成、テストコード（pytest）の実装
・現行サイトのデータを移行するための移行プログラムの構築及びテスト
　→ 現行サイトのコンテンツ（テキストデータやファイル）をkintoneのREST APIをコールして登録するPythonプログラムの実装
　→ 移行対象のデータを読み込んだり、ファイルを参照するため、ディレクトリ参照やファイルReadするPythonの実装

Pythonを利用したスケジュール管理システムの画面回りを開発する
※詳細は面談時に確認。

概要：
需要予測モデルをEC2上の分析環境で動かしているJupyterコードでの運用になっており、様々な問題が生じている。
SageMakerの実装を進めていただきます。

依頼内容：

1. 実験環境の整備:既存の実験環境のSageMaker上への移行。
2. Training/Inferenceパイプラインコードの作成
3. CI/CD環境の構築
4. その他追加作業

環境：
SageMaker, Snowflake, Snowpark, Streamlit

主業務：定義された設計書の意図を理解し、設計書に沿ってデータを加工するパイプラインバッチの開発を行う。

主要な使用技術：BigQuery/dbt/Prefect/great_expectations（一部Airbyteの可能性）
期間：短期間（2024/1〜3月の３ヶ月間）想定
その他希望：週５日フルタイム（フレックス制）、フルリモートOK

内容：
物流マッチングプラットフォームを展開する企業にて、データエンジニアとしてご参画頂きます。
主に各事業のデータ分析基盤（DWHとデータパープライン）の設計・構築・運⽤を⾏っていただきます。
＜具体的な業務内容＞
既存のDWH（BigQuery）とデータパイプラインの拡充

• 利用可能なデータの拡充
• データのリアルタイム性の向上
  将来のデータ基盤戦略の策定とその推進
• 新たなDWHとデータパイプライン（ELT）の設計・構築・運用
  データ分析によるビジネス課題の発見の推進
• データによる課題の可視化
• BIなどを通したモニタリング環境の構築
  技術環境：
  ・言語：Ruby、Python
  ・バージョン管理：Git/GitHub
  ・データ基盤：BigQuery、AWS RDS
  ・BI： Redash、Google Spread Sheet、Google Data Studio
  ・コミュニケーション：Slack、Notion

・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります

・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化

・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善

・データマート日次運用保守業務

【開発環境】
プログラミング言語：Python
ライブラリ：PySpark, pandas
データベース：AWS RDS (SQLServer), AWS Athena(trino)
環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール：QuickSight

特典型サービスの改善に向けたデータ分析データマート開発・改修業務。
データ調査、加工、集計　等