データエンジニアの案件一覧

【概要】
・通信会社内コンシューマ営業情報を、チームでTableau構築/運営を行う
・適正に応じて以下どちらかのポジションを担当

設計者】
・要件定義/設計
・投入データの設計/tableauでの可視化
・PMOとの相対、作業者との相対

【作業者】
・Snowflake/tableauでの加工編集、マート作成、ダッシュボード作成

企業様等で不正/不祥事事案が発生した際のデジタル・フォレンジック調査に関与頂きます。
データ保全(PC/Mobile/サーバ/クラウド)各種のデータ処理/解析(ログ解析、データ復元、パスワード解析等)をお任せします。

＝＝スキルに合わせて以下の業務もお任せします＝＝
フォレンジック・ツールの開発：当社が開発しているドキュメント・レビュー・プラットフォームで使用するデータ処理・解析(プロセシング)のプログラムの開発に従事いただきます。なお、プロセシングプログラムはJavaで開発を行っています。今後、調査プロセスのDX化を進める為、新規ツール等の開発提案等も可能です。

・BI（Tableau、Looker）での可視化
・BQ上でのSQLを使ったデータ集計、データ抽出作業、
　データマートの保守作業（データの修正や追加、加工など）

AccessからTableauへの移行を行っていただきます。
・事業で運用されている Access の処理解析および Tableau化
・Access が参照しているDBの特定および処理のSQL化
・Access 帳票で実現されているUIのTableau化
・窓口としてAccess ユーザーからの問い合わせ受領および相談

・ビジネスプラットフォームを展開されている企業様にて
データエンジニアとして参画をしていただきます。
・具体的にはデータパイプラインの設計と実装やデータレイク及びデータウェアハウスの設計と整備等に携わっていただきます。

◆主な開発環境・ツール
・使用言語：Python
・DB：PostgreSQL
・インフラ：AWS（Glue、S3、Athena等）
・その他ツール：Tableau Server、JupyterLab、Github、JIRA、Slack

・人事DX（人事DWH構築）でのプログラム作成
-データ抽出と加工
-データベース構築
-BIツールでのダッシュボード/レポート作成
・ドキュメンテーション業務（課題一覧、プログラム一覧、画面一覧、環境定義等）
・分析要件の定義

・PowerBIレポートスキル及びそれに必要な前処理等でのデータ加工スキル（Python等）

主に Python を用いたデータ基盤や ETL の構築・運用
・同じく Python（FastAPI）を用いて Web サービス向けサーバサイド API の実装・運用
・ クラウドインフラ（GCP）のアーキテクチャ上での機能追加・改善
・多数のデータサービス施策のモニタリングとインシデント発生時のオペレーション
・エンジニアリングチーム内の技術コミュニケーション（レビューや技術調査）
BI開発（未経験可)

BI/DWH構築の結合テスト以降のフェーズ対応
新規画面の開発の可能性あり

Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用
データ分析システム・サービスの監視設計・運用
日々の運用業務から発生する課題の解決・改善

技術要素(★が特に重要)
GoogleCloud
★Cloud Composer2（及びAirflow2）
★Cloud Dataproc（Apache Spark(scala)）
Cloud Build
Cloud Storage
BigQuery
Cloud Monitoring / Cloud Logging
AWS
★Kinesis firehose
★SQS / SNS
★ECS
★Lambda
ECR
S3
Cloud Watch
その他
GithubActions
Terraform

某金融機関の吸収合併に伴う事業継承の為、下記基盤移行を行います。

現行オンプレ環境のサーバーOS EOLが2024年7月末、
そのタイミングでAWSへの移行を計画中です。

下記の作業を行うにあたりアーキテクト（テックリード）のような立ち位置で支援していただける方を募集しています。

・AWS SaaSを利用したデータパイプライン環境構築
　　-Lambda
　　-Glue
　　-Step Function etc…
・基本テンプレート開発
・システム監視
・構築する環境
・本番環境
・開発環境