データエンジニアの案件一覧

・LLMの追加学習を行うため、Docker環境構築とドキュメント化まで行うポジション
・構築後、オープンモデルに対して追加学習も実行予定

・LLMの追加学習を行うOSSフレームワークを使い、追加学習を実行できるDocker環境を構築する。
・構築した環境内で、オープンモデルに対して追加学習を実行。
・作成した環境の概要や使い方について、ドキュメントでまとめる作業が発生。
・追加学習を再現するために必要なコードやスクリプトをJupyter Notebookでまとめる。

・体制（人数やレポートライン等）：PM1名、エンジニアマネージャー1名、SE1名
　ー作業指示はPMもしくはエンジニアマネージャーから実施予定。

・稼働率：50％
・稼働環境：フルリモート
・契約期間: 2023年08月01日 ～ 2023年09月30日 ※継続の可能性あり

デジタルマーケティングツールやデータ分析ツールへのデータ投入のための ETL 準備、実装を行います。

作業内容：
・某社向けデータ分析のためのデータ処理基盤の開発・保守・運用・機能追加

・通信会社にてお客様とコミュニケーションを取りながらBIツール（Tableau）作成及び、運用、改修
・Tableau環境の問い合わせ対応
・クライアントとコミュニケーションを取りながら画面の設計を行う

■開発環境
プログラミング言語：Python
ライブラリ：PySpark, pandas
データベース：AWS RDS (SQLServer), AWS Athena(trino)
環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール：QuickSight

■業務内容
・新規データマート要件定義、既存集計フロー効率化
ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善
  ・データマート日次運用保守業務

・通信会社にてお客様とコミュニケーションを取りながらBIツール（Tableau）作成及び、運用、改修
・Tableau環境の問い合わせ対応
・お客様とコミュニケーションを取りながら画面の設計を行う

■概要
店舗発注可視化支援
■主管
デジタルマーケティング部(エンド)
■業務
・背景と目的
エンドが展開する店舗への発注推奨に対し、店舗の発注数、廃棄数を明確化し粗利が最大化するような発注に取り組む
・業務の概要
店舗が適正な発注を行っているか可視化を行う。
・作業の内容
・発注情報、販売情報などを紐づけしTableauで可視化を行う。
・帳票（画面）設計、可視化、可視化元データの設計、データ加工、集計：1名

利用（利用想定）環境
インフラ：AWS　GooglePlatform Azure
バージョン管理：GitLab CodeCommit
言語・その他：
BI:Tableau
BA:SAS
DWH:databricks
SQL

上位クライアント（HR系）のプロダクト戦略の中長期戦略とKPI策定を担う部署にて、BIエンジニアとしてTableauレポートの開発をご担当いただきつつ、データエンジニアとしてデータ抽出およびデータマートの設計・開発をご担当いただきます。
また事業企画との折衝、主には実現方法の検討であったり連携項目の整理といった、レポートで表現するにあたっての要件定義もご担当いただきます。

・Tableau レポートの開発・保守運用
・Tableau レポート用のデータマートの設計・開発
　└テーブル設計、SQL実装、リレーション構築、バッチ実装
・レポート開発にあたっての要件定義
　└実現方法検討、連携項目整理
・調査、効果測定といったSQLデータ抽出業務

HR系のプロダクト戦略の中長期戦略とKPI策定を担う部署にて、 BIエンジニアとしてTableauレポートの開発をご担当いただきつつ、 データエンジニアとしてデータ抽出およびデータマートの設計・開発をご担当いただきます。
また事業企画との折衝、主には実現方法の検討であったり連携項目の整理といった、 レポートで表現するにあたっての要件定義もご担当いただきます。
・Tableauレポートの開発・保守運用
・Tableauレポート用のデータマートの設計・開発 →テーブル設計、SQL実装、リレーション構築、バッチ実装 ・レポート開発にあたっての要件定義 　→実現方法検討、連携項目整理 ・調査、効果測定といったSQLデータ抽出業務

【案件概要】
上位クライアント（HR系）のデータマネジメント部署にて、BIエンジニアとしてTableauレポートの開発をご担当いただきます。
また事業企画やデータマート開発チームとの折衝、主にはデータ要件の整理、設計などレポートで表現するにあたっての要件定義もご担当いただきます。
【業務内容】
・Tableau レポートの開発・保守運用
・Tableau レポート用のデータマートの設計・開発
　└テーブル設計、SQL実装、リレーション構築、バッチ実装
・レポート開発にあたっての要件定義
　└実現方法検討、連携項目整理