Snowflakeの案件一覧

■概要

• 保持データのハッシュ化（Snowflake、Azure Synapse、Azure Blob）
  　- 処理の改修：I/F・バッチ処理（主にデータ加工・ロード／アンロード処理）（Python、SQL）
  　- 機能の新規開発：ハッシュ化・復号ツール（Python、PHP、Shell）

■詳細
クライアントグループPOINTのデータ（主にグループ全体のPOS明細およびPOINTの会員情報）分析基盤において、個人情報等に該当するID情報をハッシュ化するため、処理方式およびデータ保持方式の変更を設計・実装。
想定される影響範囲について、I/F処理、バッチ処理、DL/DWH、Webアプリ、分析ツールが想定される。

■概要

• Webアプリ／API処理の改修（Kotlin、PHP）
  　- 分析ツール（SPSS）の修正等対応

■詳細
クライアントグループPOINTのデータ（主にグループ全体のPOS明細およびPOINTの会員情報）分析基盤において、個人情報等に該当するID情報をハッシュ化するため、処理方式およびデータ保持方式の変更を設計・実装。
想定される影響範囲について、I/F処理、バッチ処理、DL/DWH、Webアプリ、分析ツールが想定される。

エンドクライアント内にある散らかったデータ(BtoB向けの受発注や契約関係のデータ等)を連携しsnowflakeに蓄積してデータ利活用を推進していきたいと考えております。

業務スコープは以下を想定
・Snowflakeを利用したデータ蓄積+活用。
・連携されたファイルなどのデータをSnowflakeにてデータを蓄積。
・蓄積後ユーザに使いやすいように加工し活用してもらうよう設計・開発を行う。

【主なスキル技術や環境】
AWS(Lambda等)
Snowflake
Python
SQL
GitやGithub
CI/CD

Javascript
GCP
Informatica Intelligent Cloud Services（IICS）

その他(ツール作成等)
Powershell
bash
Excelマクロ

PJTの進め方
毎朝大手Slerの開発チームとクライアントの開発メンバーを交えた朝礼を行なっております。
必要に応じてエンド企業との打ち合わせが日中発生する想定です。

連携されたファイルなどのデータをSnowflakeにてデータを蓄積
蓄積後ユーザに使いやすいように加工し活用してもらうよう設計・開発を行う。
また、基盤構築も併せて実施するが基盤チームへの作業依頼が主な作業となる。
クラウド環境ではあるもののNW等の設定依頼が多く発生するため、オンプレでの
基盤構築経験があった方が良い。

グローバルブランドとして国内外に展開している某小売企業においてデータエンジニア業務をご担当いただきます。
少人数で運用出来る整ったデータ基盤を目指して、様々な技術やノウハウを積極的に試行していく予定です。

想定業務：
・データパイプライン清流化設計、実装
・データ項目定義
　-データカタログ構築
　-プロトタイピング（OpenMetadata）
・その他改善活動

【環境】
DWH：Snowflake
ETL：AWS Glue／dbt
BI：Looker／Tableau

【業務内容】
データ分析システム開発・運用作業全般をお願いします。
スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。
・基本設計
・詳細設計
・実装
・テスト
・リリース
・運用・保守　など

【開発環境】
言語 : Python
クラウド：AWS（Lambda）
DB : SQL

・Pythonでの開発経験
・AWSと連携する機能を設計・実装・テストした経験

【案件概要】データ連携基盤の構築
【作業内容】会計系データを取り込み⇒他データとマージ⇒レポート系のシステム(DWH/BIなど)へ連携
【工程/スケジュール】
2024/01-　現行調査など
2024/02-　要件定義工程

希望のスキルセット
　-データ分析基盤の全体的なアーキテクチャ検討
　-Snowflakeの設計・実装
　-Snowflake構築に関連するパブリッククラウド(AWS等)のご経験)
英語は優先度下がったので、英語できなくても可

【必　須】以下いずれかのスキル要件に2～3つ程度該当する
1)AWS（ETLとしてGlueを使用）
… 上流(アーキ検討)から対応可能な方。2に付随したAWS環境の構築。
2)Snowflake
… 上流(アーキ検討)から対応可能な方。Snowflakeは新規に構築。
3)Talend
… 設計・構築から対応可能な方。顧客内に既存のTalend環境あり、そこに追加していく
4)JP1/AJS
… 設計・構築から対応可能な方。ジョブ連携
5)英語コミュニケーション
… 親会社が海外でありコミュニケーション発生する
6)顧客調整、プロジェクトリード

【案件概要】Snowflakeデータ基盤設計構築

【作業内容】Snowflakeの設計・実装

【環境】AWS Lambda、Amazon Redshift、Amazon Linux

Snowflakeの設計経験

【作業内容】Snowflakeの設計・実装

【環境】AWS Lambda、Amazon Redshift、Amazon Linux

・Snowflakeの設計経験

・大手文具メーカーにおけるデータ分析基盤構築案件
・要件定義から設計、開発、リリースまでを担当
・AWSとSnowflakeを用いたデータ分析システム（ETL、DWH、BIなど）の開発を行うチームに参画予定

【環境】
・AWSサービス：S3、Glue、StepFunctions、CloudWatch、QuickSight、DataZone
・DWH：Snowflake
・開発ツール：dbt