SQLの案件一覧

データ分析基盤の構築・運用に際し下記業務をご担当いただきます。

・各種システムからのBigQueryへのデータパイプラインの構築、運用

・BigQuery上のデータウェアハウス・データマートの加工処理の構築、運用

◆開発環境

・言語 : Python

・データベース : BigQuqery, Aurora MySQL 2.0, Aurora PostgreSQL

・インフラ : AWS (EC2, S3, Lambda etc.) , GCP

・バージョン管理 : git/Github

・CI : CircleCI, Jenkins

プラットフォームを構成するビッグデータ基盤における視聴データの収集、データレイクからデータウェアハウス / データマートまでのワークフローの開発・運用をお任せします。

ご自身のアイディア・工夫をカジュアルに提案しプロダクトに反映していただける環境であり、単純に作るのではなく価値を提供することを重視していますので、裁量を持って様々な工程のご経験を積んでいただけます。
具体的には、参画後、

・ビッグデータを処理するワークフロー

・ELTの実装

・急激なスパイクにも耐えうるインフラの運用・保守及び改善

・システム自動化の推進やパフォーマンス改善

・基盤としての運用改善(構成管理/CI/CDなど)

までお任せします。
またチームとしては失敗を恐れずに新しい手法・技術を積極的に取り入れてアイデアを実現しグロースさせるスタンスですので、様々なご経験を積んでいただける環境となっております。
・主要開発技術：Googleクラウド環境でのワークフロー開発

・開発言語：Python, JavaScript, SQL

・ローカル環境 : Macbook Pro(13inc, Corei7, 16GB), Docker, docker-compose

・クラウドプラットフォーム : Googleクラウド（BigQuery, Dataform, Workflows, CloufdFunctions, CloudRun）

・データウェアハウス : BigQuery

・コミュニケーションツール：Slack

・エンジニアの人数：12名程度（業務委託含む）

・開発手法：アジャイル（一部ウォーターフォール）

・開発支援ツール・環境：GitHub, GitHub Actions（CI/CD）

・構成管理 : Terraform

・エディタ/IDE：VSCode Vim

※お好みのエディタを使用していただいてOKです。

■仕事内容

（１）クライアント課題の解決

・ビジネス課題に対して、どのデータをどのように分析すれば解決できるかを設計

・SQL/R/Pythonを用いたデータの抽出、加工、可視化、統計分析

・分析レポートの作成と分析結果の報告
（２）自動化・仕組み化による業務支援

・データベースの整備

・定期納品物の自動化

・依頼されるデータの加工・抽出
（３）新分析の開発

・今までに提供していないデータの分析手法の立案、サービス化の推進

■チーム

担当執行役員： 1名

データサイエンティスト：4名

エンジニア：５名（＋フリーランス7名）

データ分析基盤の構築・運用をおまかせします
・各種システムからのBigQueryへのデータパイプラインの構築・運用

・BigQuery上のデータウェアハウス・データマートの加工処理の構築・運用

開発環境言語 : Python,

データベース : BigQuqery, Aurora MySQL 2.0, Aurora PostgreSQL

インフラ : AWS (EC2, S3, Lambda etc.) , GCP

バージョン管理 : git/Github

CI : CircleCI, Jenkins

コミュニケーション : Slack, JIRA, ClickUP, Notion

本番稼働中のECサイトの運営支援・運用業務に携わって頂きます。
以下作業が基本的な業務となります。

・データ更新

　SQLを使用して設定データの更新

・データ抽出（SQL作成、Excel加工を含む）

　クライアントからの依頼に基づき、SQLを作成して、DB（Oracle）から取得・加工。

・システム状態確認

　DBの空き容量、CPUの利用状況、ジョブの実行状況など、システムが問題なく稼働している事を確認。

・お問合せ調査

　クライアントやエンドユーザからの仕様確認、操作ログ調査。

　設計書／プログラムや、本番環境から取得したログを参照して確認。

　検証環境を使用しての動作確認。

　※土日勤務あり（月次の作業内容確認MTGにて主任担当者様（弊社担当者）と擦り合わせ）

電子書籍取次システム(基幹システム)更改取次システムの維持及び追加開発を実施タスク整理やスケジュール管理も必要

クライアント（HR系）のデータマネジメント部署にてデータマートの開発およびディレクション業務を担当いただきます。

データ分析/活用プロジェクトへ参画いただき、データエンジニアとしてデータマート開発実装をメインにご担当いただきつつ、データ要件の定義やプロジェクトの進行管理などディレクション業務も一部ご担当いただきます。
【業務内容】

・データ分析/活用プロジェクトの推進

・データマート開発における要件定義、プロジェクトの進行管理

・分析用データマートの開発

　└データマート（テーブル）設計、SQL実装、バッチ（digdag）実装

・データマートの保守運用

某証券様の既存システム更改における設計開発をご担当頂きます。

主に現行システム解析、次期システム構造の検討、設計、C⇒Java変換を作業頂きます。

生保様で使用している「新契約本社査定システム」のリプレイスを進めている状況でクラウド化に向けいちメンバーとして、主に設計、開発、テストをご担当頂きます。

体制は全体で40名となります。

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。

顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

【開発環境】

・開発言語： Python、SQL

・DB: Aurora(PostgreSQL互換)、Redshift

・ライブラリ・フレームワーク：Pandas、Numpy、Dask

・インフラ：AWS

・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch

・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry