AWSの案件一覧

航空会社向けBIシステム データ抽出

・数理系学部卒業レベルの数学力及び統計学力
・英語で書かれた文献を理解できる英語力
・プログラミングの基礎知識（言語問わず）
・Python及び画像認識の経験

■概要
クレジットサービスを運営している会社です。
機械学習モデルを効率よく安全に回せる環境の構築をお願いします。

■業務
・要求課題整理、アーキテクチャ検討
・ワークフローの設計～運用
・CI/CDパイプラインの構築
・モデル設計～構築

■環境
GCP(Dataflow,teraform)
現モデルはVertexAI

・MLOpsのアーキテクチャ検討～構築経験
・GCP及び、AWSの経験
・Iac及び、CI/CDの経験
・表形式データのモデル開発の経験
・英語（少なくともビジネスレベル）

【業種】
・グローバル動画学習プラットフォーム

【概要】
案件①：グローバル最大手の動画学習プラットフォームに関し、定められた法人内のユーザー群の動画視聴履歴と視聴前後のテスト結果の変化を追跡、この変動に対しての相関を分析いたします
・法人にお返しするレポートにおいて必要な動画視聴状況とテスト結果の変化についての可視化をご担当いただきます
・相関を与えうる有望な指標の探索のための分析、特性に応じたユーザーのセグメント分割の実行をご担当いただきます

案件②：グローバル最大手の動画学習プラットフォームに関し、導入法人や一般消費者のユーザー動向を追跡、よりこのサービスの活用を行うための施策を定量的な分析から導出します
・分析設計を元に適切なセグメントに分けたユーザー群のプロファイル探索をご担当いただきます
・上記で得たプロファイルを元に、より活用が進んでいくための施策を提案するための根拠となる分析をご担当いただきます

どちらか一方もしくは、適切な工数分割により並行で対応していきます。

【対応内容】
・Pythonによる探索的データ分析
・分析設計補助
・分析設計の下での相関分析
・顧客セグメント分割などのクラスタリング分析
・クライアントミーティングへの参加・分析レポートの説明

・Pythonを用いたデータクレンジング・集計・分析（機械学習・統計解析）・可視化作業
・PowerPointでの分析レポート作成作業
・クライアントミーティングへの参加・分析レポート説明のご経験
・要件背景を咀嚼し、クライアントとの折衝を含めた自走力
・エクセルを用いたデータ整理のご経験

・プログラマー経験3年以上
・Python開発経験
・一人称で動ける

・チケットに沿った機能の実装
・自動テストコードの記述
・必要に応じてデータ・インフラの設計
・デプロイスクリプトの構築

・Python、 NodeJSなどを使用したWebアプリ設計
・開発経験3年以上

大手メーカーのデータエンジニアとして、データ資産活用およびデータ民主化を見据えながら、事業課題を特定しデータ分析案件を推進いただきます。データ分析に必要な処理の自動化および効率化を実現するための大規模なデータ分析基盤の構築/運用を自らドライブする経験を得ることができます。

データ活用最大化のための分析基盤の構築/運用
データ民主化を実現するための仕掛けづくりと啓蒙/教育
ID-POSやパネルデータを用いた顧客インサイトの抽出
協力会社やIT部門に対するコントロール及びコラボレーション

<データ分析案件の例>
・全社統一KGI/KPI指標の設計および提供
・チャネル×価格帯でのBiz Opportunity分析
・ブランド中期計画のためのプロモーション効果検証
・離脱者＆再購入者の分析
・情緒的価値観の指標化

・自ら課題を定義/提案し、解決策の実行まで責任もって取り組める
・幅広く知識/経験を吸収し、プロフェッショナルとして専門性を高める意欲がある
・データエンジニアとしての実務経験を1年以上有する
・Azure/AWS/GCPのいずれかを用いたデータ分析基盤の構築/運用経験がある
・データマネジメント（モデリング/加工/カタログ/品質管理など）の経験がある
・基本的なSQL言語を記述できる
・テクノロジー動向に興味がある

エンドユーザー(企業)のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。
◆業務内容の詳細◆
Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用
Apache Sparkを利用したETL処理の開発
各サービス開発チームのデータエンジニアリングの支援
◆今後の進展について◆
昨年夏頃にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。
それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。

・サーバーサイドのアプリケーション開発経験
・AWS/GCP/Azureのいずれかのクラウドサービスを利用した経験
・データレイク、データウェアハウスの設計・構築・運用経験
・ETL/ELTなどのデータワークフロー管理ツールの開発・運用経験
・チーム開発経験

■背景■
食品通信販売における需要予測のリリースを行う上で、現在机上でのシミュレーションではなく、実際の状況下で未来のデータを予測する実地検証フェーズにある。その中で事業部からの改善要望が多数挙げられており、現在のデータサイエンティストのリソースでは十分に対応しきれず、リリースに至るクオリティのモデル構築が難航すると想定されるため、新たにリソースが必要となった。

■課題一例■
・商品IDが分析観点で作られていない
・年末やGW等に特殊な動きがある
⇒変動が多い時期に予測しきれていない
等

■やること■
前需要予測における改善要望（商品IDの名寄せや長期間でのモデル机上検証などのモデルの課題を解決してほしい。ものによっては具体的な要件を元に特徴量エンジニアリングに落としてほしいというものもあるが、課題のリストアップに終わっているため自ら具体的な特徴量エンジニアリング/モデリング改善方法を考えていただくものもある）をもとに、SQLを用いたデータ抽出、Pythonを用いたデータの加工・結合、特徴量エンジニアリング、およびその検証結果の報告

・SQL
※SELECT、WHERE、JOIN、GROUP BYが可能なレベル(window関数までは不要)
※分析に必要なデータ抽出SQLの元はクライアントメンバーが作成するため、深いDWHの理解や高度なSQLは必要とされない。
※必要に応じて自分でデータ集約を行うぐらいは必要

・Python
※3年以上のコーディング経験
※基本的にはJupyter Notebook上でのモデル開発になります

・特徴量エンジニアリング
※ValidationなどのMLモデル生成プロセス全体についての理解と経験、ラグ特徴量、集約特徴量、エンコーディング等を行いながらモデルを構築した経験。こちらが一番必要なナレッジです。特に時系列モデリングにおける特徴量エンジニアリングの経験があればベストです

機械学習・深層学習による時系列解析・異常検知解析の経験及び深い知見
異常検知に関する従来手法(ルールベースなど)の経験及び知見
Pythonによる最適なコードの実装能力