AI・データ分析のフリーランス向け案件が業界最大級
ビッグデータ分析、大規模サイトの運営、機械学習・ディープラーニングなどの用途に応じて効率的にデータを利用するには、データを収集・蓄積し活用するためのプラットフォーム（データ基盤）が必要です。
今回特集する職種は「データ基盤エンジニア」です。募集中の求人や案件、仕事内容やスキル、どのくらいの収入が期待できるのか、その将来性はあるのか、といったことについて見ていきましょう。
現在、多くの企業で機械学習やデータ分析などビッグデータの活用が求められており、それらを支える「データ基盤エンジニア」の需要が高まっています。フリーランスとしての引き合いも多く経験があれば報酬の月単価も100万円以上が見込めます。
Hadoop、Sparkなどの分散処理プラットフォームや、AWS、GCPなどクラウドインフラを利用することも多いためその分野の経験があるエンジニアは優遇されるでしょう。
データ基盤エンジニアの求人の傾向として、非常に幅広い領域の知識とスキルを求めらる点があげられます。案件によっては、バックエンド開発、インフラ・ネットワーク、DevOps、セキュリティなどフルスタックに近いスキルを求められることもあります。
データ基盤エンジニアは、ビッグデータ分析・解析のためのデータ処理基盤の開発や運用を担当する技術者です。さまざまなデータを収集し活用しやすい形に整形するなどの処理を含めて利用目的に応じた環境構築や基盤設計などを担当します。
データ基盤の保守・運用や効率化に関するアプリケーション開発もデータ基盤エンジニアの仕事です。バッチ処理のコードを書いたり、パフォーマンスの監視やチューニング、必要に応じたツールの導入などを行います。
データ基盤エンジニアは、クラウドやAIなど技術革新が著しい分野と密接に関わるため最新技術への探求心やOSSへの関心が評価されることも多い仕事です。また、データ基盤の設計には、業務フローや利用目的を理解する必要がありビジネス知識を学ぶことも重要です。
ビッグデータを活用するというと、データサイエンティスト・データアナリスト、機械学習エンジニアなどのデータを活用する役割に注目が集まることが多いです。しかし、データ基盤エンジニアもデータサイエンスやデータ分析チームにおいて重要な役割を果たします。
データ基盤エンジニアが分析環境やデータ基盤を整えることで、データアナリストはデータ可視化やレポーティングなどの業務に専念できますし、機械学習エンジニアやデータサイエンティストは解析業務を進めることができます。データエンジニアはそれらの分析者が利用するAPIを用意したり、学習済みモデルの本番環境へのデプロイなど運用面を支えます。
データ基盤の整備、機械学習などのAI開発業務、BIなどのレポート開発といった様々な業務範囲を一人ですべてカバーするのは実際問題厳しいです。そのため現在では、それら業務を役割ごとに分業してチームで開発を進める形が主流となっています。
広範囲のスキルが求められるデータ基盤エンジニアですが、基本的にはデータ基盤のアーキテクチャを設計、運用、保守することが中心的な仕事です。データ基盤を立ち上げる段階やこれから立ち上げを考えている段階の企業も非常に多いため、システム全体のデザインを設計し、それを技術面で主導しながらデータ基盤の立ち上げが行える人材への需要が非常に高まっています。
ここ数年で注目を集めているキーワードにAIがあります。あらゆるものがインターネットに接続してデータを取得・分析・活用できる時代が訪れつつあり、ディープラーニングや機械学習などAI技術の実用化が加速するなかスマート家電やフィンテック、画像認識、需要予測など、あらゆる業界で試験的な導入や本番開発が行われています。それらのAI開発やデータアナリティクスには大量のデータを収集・蓄積するための基盤が必要となるため、企業での開発ニーズが増加するとともにデータ基盤を扱うエンジニアの求人に対する需要も高まっています。
ただし、データ基盤や分散処理に関するスキルを持つエンジニアは数が少なく、市場への人材供給量は不足しています。そのため、スキルのあるエンジニアにとってみれば収入アップにつながりやすい状況だということです。この業界において、同じ仕事内容でも働く企業が違うと年収が100～200万円違うことは珍しくありません。データ基盤エンジニアとして経験を積むことができれば、大幅な年収アップも可能でしょう。
ここからは、さらに細かくデータ基盤エンジニアの仕事内容を見ていきましょう。
データ分析や機械学習のための基盤システムを開発し運用していくことがデータ基盤エンジニアのメインの仕事です。インフラやアプリケーションの開発に強みがある人なら、そのスキルを使ってデータ基盤の開発・運用にかかわるなかでデータの仕様に詳しくなり、それを活用する側へとキャリアを移行させることもできます。
ITシステムは、いまやどんな業界でもそのサービスを展開するにあたって必要不可欠のものです。しかし、従来のITシステムには経営と結合するという考えがなかったため、経営者にとってみるとITシステムがビジネスにどの程度貢献しているのかがわかりにくいものでした。
そのわかりにくかったITシステムの貢献度をわかりやすく、つまり、データを可視化するシステムを開発・運用することがデータ基盤エンジニアの仕事の一つです。専門的な知識を持っている人だけでなく、システムに疎い経営者や他職種の社員にも、データの可視化によってビジネスに与えるITシステムの影響を把握することが可能になります。
データが膨大でも、それを適切にチェックし、その都度効率化や最適化を図れるよう管理することもデータ基盤エンジニアの仕事と関係しています。システムの仕組み作りから、実際の運用、その効率化まで幅広く担当することもあるでしょう。
また、オープンソースソフトウェア（OSS）は、ITや通信事業だけでなく金融サービスやメディアなどさまざまな業界にとって重要であり、実際にOSSの管理計画を策定する企業も多いです。それらの企業は、OSSをプロダクトチームやエンジニアリングチームにとって極めて重要なものとしており、その調査としてデータ基盤エンジニアに期待される面も大きいです。
ここからはデータ基盤エンジニアの収入面を見ていきますが、実際に専門として働いている人はそれほど多くないため、以下に掲げる数字はあくまで参考程度に留めておいてください。
企業で正社員として働くデータ基盤エンジニアといっても、その企業の規模や業態、サービスの内容などは多岐にわたり、エンジニアのスキルにもかなり幅があります。そのため、データ基盤エンジニアだけの正確な年収の統計はありません。ただ、正社員のデータ基盤エンジニア募集の求人によると、年収は350万円から600万円台のものが多いです。大企業で大規模なデータベースにかかわることができれば、800万円以上の年収も可能でしょう。
フリーランスの場合も正確な単価相場はわかりませんが、60～80万円程度と推測されます。もちろんエンジニアのスキルや経験にも大きく左右されますので、キャリアのあるエンジニアならフリーランスでも年収1000万円以上超えてくる人もいるでしょう。その逆に、経験の浅いエンジニアの場合、20～30万円の単価となることも考えられます。
ビッグデータナビは、機械学習・深層学習・IoTといった先端IT人材向けの求人情報を業界最大級の800件以上保有するフリーランスエージェントです。フリーランス（個人事業主）の方以外に、独立・起業をお考えのエンジニアや、正社員の副業もサポートします。
AI、IoTなど最先端分野に特化したエージェントだから紹介できるエンジニア求人案件で高単価や柔軟な働き方を支援します。
AI開発・データ分析保有案件数が国内最大級。大手企業からスタートアップ・ベンチャーまで、業種/業界を問わず魅力的な案件をご紹介。 数多くの案件の中から、ご希望にマッチした案件を選ぶことができます。
フリーランスとして独立や、AI領域でのキャリアをお考えの方に、未経験でも参画可能かつスキルアップにつながる案件をご紹介。 経験者の方は、より高単価など自由度高くご活躍頂ける案件をお選びいただけます。
人工知能やIoT/RPAなどAI領域に詳しいコンサルタントがカウンセリング面談を担当します。エンジニアのほかアナリスト、マーケターも多く所属しているため適切なスキル把握とサポートが可能です。
ここからはデータ基盤エンジニアに必要とされるスキルを簡単に見ていきましょう。
分散処理システム、IoTの基盤などをオンプレミスで運用する場合にLinuxが使用されていることが多く、データ基盤エンジニアにもその知識が要求されることが多いです。データ基盤エンジニアの求人を実際に見ても、かなりの割合でLinuxのスキルと経験を求めていることがわかります。また、クラウド環境では、コンテナオーケストレーションツールとしてオープンソースのKubernetesやDockerを使用している現場が多いです。
データベースの開発・運用はデータ基盤のなかでも中核の技術なので、もちろんこれらのスキルも求められます。NoSQLのみならずRDBが必要な現場も多いですし、NoSQLのみが稼働する現場であっても、広くデータベース全般の知識とスキルがあると評価されやすいです。
生成したデータを加工してデータウェアハウスに入れるまでの一連の設計・開発・運用経験がある方が評価されやすいでしょう。Hadoop、Sparkでの分散処理基盤の構築やバッチ、ストリーム処理の経験です。また、AWSの提供するRedshiftやGoogleが提供するBigQueryの経験も求められることがあります。
データ基盤エンジニアの使用するプログラミング言語で多いのは、Java、Scalaです。それに加え、機械学習やデータ分析で使用されるPythonを習得しておくとよいでしょう。
データ基盤とは、データの収集・蓄積といったデータ処理システムや統合データベースを指す言葉です。AIやIoT、ビジネスアナリティクスなど、ビッグデータを活用するためのプラットフォームとして機能します。
一口にデータ基盤にも目的や用途、データパイプラインのフェーズなどに応じて、いくつかの種類に分類されます。ここでは、データ基盤の三つの形式を紹介します。
さまざまなデータソースから集めたデータを加工なしに一つの環境に集約したものを「データレイク」と呼びます。データパイプラインの最初のフェーズにあたるデータレイクでは、構造化データだけでなく非構造化データも扱います。スキーマを定義する必要がないため柔軟にデータを活用できます。データレイクに集めたデータは、主にデータサイエンティストなどのユーザーが機械学習などの用途に利用します。
データレイクで重要なのは、元のデータをそのまま集約することです。もし加工してしまっていると、後で加工方法に誤りがあるなどと判明した際に修復できなくなってしまいます。元の状態のままデータが残っていれば、その際の調査や修正も簡単です。データレイクの例としてGCS（Google Cloud Storage）やAmazon S3といったストレージサービスがあげられます。
分析基盤として最も一般的なのが「データウェアハウス（DWH）」です。基幹システムやCRMデータ、POSデータなど企業内に様々な形式で保管されているデータを統合して、分析に利用しやすいように整理します。データ間の関連性や正確性が担保されていること、時系列で履歴が記録されていることが重要です。過去のデータを整理して保管するという意味で、「倉庫（ウェアハウス）」と呼ばれます。
データウェアハウスでは、データレイクと異なり構造化データを扱います。つまり、ローデータ (raw data)をそのままコピーするのではなく、処理済みのデータを保存します。データウェアハウスは分析基盤として利用するため、どこから取得したデータなのかをわかるようにし、データアナリストなどの分析者がSQLでデータを抽出できる状態にします。
データ基盤エンジニアが扱うデータウェアハウスとしては、BigQuery、Hadoop、Redshiftなどの分散データストアが一般的です。
データウェアハウスをカスタマイズして、特定の用途や利用者に向けて加工した状態を「データマート」と呼びます。完成品ですぐに使える状態なので「市場（マート）」です。データマートがしっかり整備されていると、対象データを複雑な集計なしに見ることができますし、大量データの処理もパフォーマンスを気にすることなく行えます。エンジニアだけでなく、専門知識のない営業などの他職種にもわかりやすい形にすることが大切です。
データマートの例としては、TableauやRe:dashといったBIツールがよく使用されています。
ここ数年で日本国内のデータ通信量は数倍にも膨らんでいます。2020年にはデータ爆発時代と呼ばれるほどの大量のデータが発生するとの試算もあり、今後、IoTや機械学習、予測分析などの導入を検討する企業も加速度的に増えていくでしょう。経営の意思決定をサポートするためのデータ分析やAIを続けるには構築した基盤を保守・運用していくことも重要です。そこで必要とされるのがデータ基盤エンジニアです。
現在、データ基盤エンジニアとして働いている人はそれほど多くありませんが、その需要は年々高まっています。つまり、この先も採用ニーズはある程度見込めるということです。未経験からAIや機械学習に直接たずさわるデータサイエンティストを目指すことも可能ですが、インフラや開発経験がある場合は、データ基盤エンジニアをおすすめします。
まだまだ需要に応えられるだけの十分なスキルを持つデータ基盤エンジニアは少ないですから、今のうちからしっかりスキルアップを図っておくことで多くの企業にとって貴重な人材になり得ます。最新技術を習得していくことが前提ですが、データ基盤エンジニア自体の将来性は明るいと言えるでしょう。