案件内容 |
・DWH層テーブルの設計 |
---|---|
必須スキル | ・実務でのSQL利用経験(1年以上)
・実務でのDWH・データマートの構築経験(1年以上)
・実務でのプログラミング経験(2年以上)
・クラウド環境のDWH利用経験
・git/GitHubの利用経験
・チケット管理 (JIRA, backlog等) での開発経験
|
Apache Airflowの案件一覧
過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。
該当件数:13件
Apache Airflowの案件を探す
案件内容 |
基幹システムからGCPへの取り込み処理およびGCP内でのデータマートの開発運用保守を実施 |
---|---|
必須スキル | – SQLによるデータ加工経験(とくに複数テーブルの結合~加工)
– データマート作成経験
– GCP/AirFlowよるバッチ処理経験
|
案件内容 |
【募集背景】 【業務内容】 |
---|---|
必須スキル | ・ BigQueryをはじめとしたSQLを用いたデータ加工経験
・Webサービスなどでアプリやサーバーなどのソフトウェアエンジニアリング経験・チーム開発経験
・データ関連チームでの業務経験
|
案件内容 |
【業務内容】 以下、チームで取り組んでいる分析テーマの具体例です。 【開発環境】 |
---|---|
必須スキル | [データサイエンス]
統計検定2級レベルの知識
機械学習・統計モデルの構築、およびモデルに基づく分析の経験
デジタルプロダクトのデータ分析経験
アンケート調査設計と調査結果分析への興味関心
[ビジネス]
論理的思考力(定量思考力/要約力/仮説構築能力など)
ドキュメント作成能力 (見栄えではなく、構成の組み立て方やわかりやすさが担保できる)
ビジネスサイドと円滑なコミュニケーションを図りながら分析を進めることができる
[エンジニアリング]
SQLを利用してデータを加工・集計した経験
・100~200行のコードを読み書きできる
・結合, CTE (WITH句)・サブクエリ, ウィンドウ関数が利用できる
Python・Rなどによる集計やモデル構築・可視化の経験
・numpy, pandas などの集計用ライブラリの利用経験
・scikit-learn,statsmodels などの機械学習ライブラリの利用経験
・matplotlib, seaborn などの可視化ライブラリの利用経験
|
【Python】MLOpsエンジニア業務の求人・案件
案件内容 |
機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築や、効率よくデータを捌くためのミドルウェア開発、インフラ構築など業務をおまかせします。 【業務スコープ】 ■ ビジネス課題と要求の整理(案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる) |
---|---|
必須スキル | ・Infrastructure as CodeおよびCI/CDの経験
・Pythonなどを利用した開発経験
・GCPでの開発経験
・コンテナ技術(Docker)を用いた開発経験
・ワークフローの構築経験(Digdag / Airflow etc.)
|
案件内容 |
・クライアントグループ全社のデータパイプライン設計・実装及び実装委託 【業務スコープ】 |
---|---|
必須スキル | ・ 複雑なSQLを用いたデータ抽出経験
・ ETL/ELTのデータパイプライン設計/構築
・ワークフローの構築経験(Digdag / Airflow etc.)
・ GCPでの開発経験
|
- 〜¥600,000 /月
- データアナリスト
- 東京都
- メディア・広告・出版
案件内容 |
【概要】 【開発環境】 |
---|---|
必須スキル | ・実務でのデータパイプラインを用いたデータ処理経験
・SQL、Linux、Gitの経験
・Pythonを用いた開発経験
・GCP/AWSなどパブリッククラウド上での開発経験
|
【AWS/GCP】データエンジニア業務の求人・案件
案件内容 |
某ユニコーン企業様にて、データエンジニアとして下記業務に携わっていただく想定になります。 ※スコープが広いためスキルに応じて依頼内容を調整。 ・データ基盤や分析基盤の開発、運用 ・AWS/GCP等のクラウド基盤を活用し、機械学習パイプラインやBIツールで利用しやすいデータ構築のためのシステム設計・開発・運用 ・ストリーミング処理開発、挿入されたデータを分析ログとしての価値を高めるパイプライン開発、CI/ CDも活用したインフラ構築の自動化 |
---|---|
必須スキル | ・コンピュータサイエンス関連の学位、または1年以上のWebサービスのサーバサイド開発運用経験
・AWSやGCPなどのクラウド利用経験
・バッチ設計、開発経験
|
案件内容 |
今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。 |
---|---|
必須スキル | ・クラウド基盤における知識/実務経験
・技術的に有ると望ましい物
Kafka / AirFlow / Spark等のデータ分析基盤のクラウドエンジニア側での知識/経験
コンテナオーケストレーション(Kubernetes)知識/経験
※重要:DWH(TiDB/Snowflake)の実務経験
|
案件内容 |
概要: エンドクライアントの分析基盤の設計、開発、運用を担当いただきます ・外部とのデータ連携 ・データ仕様や処理のスキームについての要件擦り合わせ ・AWS S3, Google Cloud Storage, Google Drive と言った各種ストレージと BigQuery 間でのデータの転送処理を Cloud Functions と Airflow を用いて実装・管理 ・IAM の発行・管理、データのアクセスコントロール ・データサイエンティストと意見交換しながら、データの取得や前処理、予測モデル・予測値生成、および抽出のバッチ化・運用 ・データ処理に係るコストのモニタリング、最適化施策 ・データ連携に係るプライバシーマークへの対応 フラットな組織で、自身で物事を推進する文化です。 |
---|---|
必須スキル | ・社内外と的確かつ迅速に物事を相談して進めるためのコミュニケーションスキル
・データベース、処理スキームの設計、運用
・ビッグデータの処理スクリプト開発(大量ファイル・大容量データにおける文字コード変換、文字置換、一括解凍・圧縮等)
・Python, Java, Go, Rのいずれかの言語による簡易なデータ分析スクリプト開発
|
検索結果13件中1-10件