データエンジニアの案件一覧

・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイスの実施
・上記に必要な検証環境構築作業および要件定義の資料化
※上記取り組みを下記の①顧客案件および②社内研究開発の作業として行います　
①製造業向けデータ分析基盤構築：要件定義
・クライアントの持つデータ分析基盤の構築ソリューションをベースに顧客向けにシステムを構築する
・AWS Glueを中心したETL/ELT機能とBIツール（Power BI）、DWH（Snowflake）が主な構成要素となる
・要件定義の作業になるため、クライアントとともに一緒に検討を行える方がベター
・今のところ、下記のようなサービスが必要なのではと思案中
　AWS Glue
　AWS Lambda
　AWS Code Pipeline
　AWS Code Commit
・合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定
　AWS Step Functions（詳細フロー制御）
　Amazon Managed Workflow for Apache Airflow（実行管理）
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えているため、これらの統合についてもテーマとなる
②研究開発
・上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築する
・Snowflakeを用いたデータ基盤の構築を早期化するソリューション

　グローバル展開されている機械部品専門商社の基幹システム刷新プロジェクトをご支援いただきます。
　現行システムから新システムへのデータ移行を実施する案件となります。
　移行計画に則り、移行要件整理、移行方式設計、移行ツール設計、手順書作成、移行作業をご担当いただきます。
　なお、移行対象DBはOracle、PostgreSQL、MySQLで、AWSのDMSなどを活用してデータ移行を実施します。
　移行対象テーブルは200件・1テーブルの最大データ件数は約4億件となり、大規模なデータ移行案件の知見が獲得できます。
　業界トップの大手商社のデータの構造、データの作り方、運用方法、課題などについても知見が獲得できるポジションです。

Tableauでのデータ可視化業務となります。
具体的に、エンドユーザーに要件ヒアリングし、仕様確定後、ダッシュボードを作成となります。
※Tableau Server／Desktop／Prepの操作を伴う予定

上記業務に加え、現チーム体制における技術的な指導も一部行って頂きます。
※実務的な操作の最適化等が該当となり、講師などでは御座いません。

Tableau Server／Desktop／Prepの実務経験

クライアントゲーム事業で蓄積されたビッグデータを用いたデータ分析環境の基盤構築および開発、管理を行っていただきます。
環境構築にとどまらず、社内共通の内製BIツールで利用するためのデータ集計や、各タイトルのデータ分析者とのやりとりを通じてゲーム品質やサービス改善に繋がるための業務を担当していただきます。

・ログ、DBデータのETL/ELT処理のためのシステム開発/運用
・大規模データベースの構築/運用/管理
・社内BIツール向けデータ集計バッチ開発/運用
・データ分析者への技術的サポート

データマート業務支援にて以下の業務をご担当いただきます。

・顧客調整
・調査、解析
・開発、テスト
・リリース対応

グループに属する事業会社のデータを集約し、ビジネス活用を推進していきます。
目的達成のために柔軟に設計でき、自由度高く開発することができます。
グループ全体のDXプロジェクトの一部であり、ビジネスインパクトが大きく、長期的に続く案件へアサインいただきます。

【業務スコープ】
■データの品質管理
・データレイクに格納されたデータの異常値調査
・テーブル定義書の作成

■データマート開発
・データマート要件定義・設計・開発

【概要】
・医療従事者向けポータルサイト上で展開されている医師を対象としたアンケート・調査
・ビジネス領域※及びプロモーション配信サービスの領域において、社内向け各種ダッシュボード・社外向け（クライアント向け）ダッシュボードの要件定義及び開発を担当

【業務内容】
・ダッシュボード開発要望のヒアリングと詳細要件定義、画面設計
・Tableauダッシュボード実装
・ダッシュボード実装に必要なデータマート整備（DB整備自体はエンジニアが担当するためエンジニアに対する要件提示）

Azure databricks を使った、データエンジニア業務

・画面要件の整理、管理
・非機能要件(運用、性能、権限、テスト方針)の整理
・DWH側とのテーブル設計

・DWHの構築
・ETL設計・構築
・pythonを使ったデータ抽出