The Bitter Lesson と Anti-Bitter Lesson ｜ AI活用に必要な2つの戦略観

ハローワールド！ データサイエンスVTuberのアイシア=ソリッドです。

この連載では、この大AI時代、AI活用・開発において重要な考え方・知識をお届けしていくよ！

第1回のテーマは、The Bitter Lessonとその捉え方について、いまビジネスの世界でAIを活用している人に向けてお届けします。

本記事の監修者

アイシア=ソリッド Aicia Solid

データサイエンスVTuber 監修:杉山 聡

• 一般社団法人データサイエンティスト協会 スキル定義委員（データサイエンティストのスキル定義および検定プログラムの策定に従事）
• 大阪大学 D3センター 招へい研究員
• 慶應義塾大学 総合政策学部 島津明人研究室 上席所員（SFC上席所員）
• 株式会社アトラエ シニアデータサイエンティスト

学位：東京大学大学院数理科学研究科 博士課程修了。博士（数理科学）

受賞歴：第35回世界コンピュータ将棋選手権 優勝・独創賞特別賞（水匠チーム）

著書：『妥協しないデータ分析のための 微積分＋線形代数入門』（2024年、ソシム）／『本質を捉えたデータ分析のための分析モデル入門』（2022年、ソシム）

The Bitter Lessonとは

The Bitter Lessonは、2019年に機械学習の大家R. Suttonによってまとめられた主張です。

それによれば、AI研究の70年の歴史において、以下の流れがあったと言われています。

1. 人間の知識を注入し、AIをうまく動かす(ドメイン知識)
2. それは短期的にはうまくいく
3. しかし、長期的にはうまくいかない(スケールしない)
4. 結局、計算資源の大投入が良成果に繋がる方法が勝つ

つまり、人間の発想や工夫をAIに注入する方法ではなく、「計算資源が増えれば増えるほど、性能がどんどん上がる方法」を見つけ出し、そこに計算資源を投入する方が、長期的に良い成果を生み出す、とまとめられます。

であれば、AIの研究者としては、ドメイン知識を活用して性能を上げる方針の研究では、良い成果を生み続けるのは難しいと考えることができます。

研究者の仕事は、人類の知を広げ、不可能を可能にすることです。将来確実に凌駕してくる方法論があるのであれば、別の方法で小規模な成果を出すことに意味を見出すのは難しいからです。

とはいえ、これは、特定領域の研究者にとっての解釈です。ビジネスの領域におり、価値創造や課題解決を生業にする私たちは、どのように解釈すべきでしょうか？

早い・安い・うまい

企業が存在する理由を分析した、Ronald CoaseのThe Nature of the Firmでは、企業は「市場で取引するか、組織内で実行するか」を、取引コストの観点で選択すると説明されています。この考え方を単純化して言い換えると、

• 企業Cが何かを実行したい時、自分で実行するより企業Xに発注したほうが良い場合、企業Cは内製せずに企業Xに外注する
• 逆に、内製のほうが良い場合、企業Cは内製する

これを企業Xの立場で見れば、要するに、なにか「良さ」を提供できればよいわけです。良さには様々な種類がありますが、ここでは、「自分でやるより早い」「自分でやるより安い」「自分でやるよりうまい」の3つを束ねて、「早い・安い・うまい」と整理して先に進むことにします。

私たちは、企業に所属し、顧客に対して価値創出や課題解決を行う身です。その中で特にAIの利活用を考えているのであれば、早い・安い・うまいの実現こそが本質的だと言えます。

企業人にとってのThe Bitter Lesson

では、企業Xの立場として、早い・安い・うまいはどの様に実現することになるでしょうか。

モデル開発の観点では大きく分けて2通りあります。それは、

• 米中等の企業群よりも多くの計算資源を用意して、より良いモデルを作る
• ドメインに合わせてチューニングする

です。

The Bitter Lessonは、もともと研究者向けの言葉です。ですので、企業人としては別の解釈も成立します。そのため、常にドメインへのチューニングを行い続け、継続的に+αの早い・安い・うまいを実現し続ける道も、有効な戦略として存在するのです。

この例として、LEGAL-BERTやMed-PaLMなどがあります。前者は法律ドメインにチューニングされたモデルであり、後者は医療領域にチューニングされたモデルです。

もはや、最新のLLMの方が、最初のバージョンのLEGAL-BERTやMed-PaLMよりよい性能でしょう。では無駄だったかというと、全くそんなことはありません。当時において早い・安い・うまい(特にうまい)を達成していたため、非常に良くつかわれました。

また、今後、LLMの性能がいくら上がったとしても、法律・医療ドメインでは誤りの損失が大きすぎるため、その時々においてチューニングされたベストなモデルが使われ続けるでしょう。

このように、常に+αの早い・安い・うまいを実現し続けることは、立派な戦略として成立することが分かります。それは、あなたのドメインでも同じことでしょう。最新LLMを自社で使うより早い・安い・うまいを提供できれば、今後も選ばれ続けるのは必定です。

もう少し卑近な例では、こんな場面もあります。

今のLLMを最大限活用するのであれば、Agentic frameworkやharnessの整備が非常に重要です。

しかし、1年もすれば、LLMそのものの精度が上がり、これらの作り込みの大部分は不要・負債になる可能性があります。

この場面において、The Bitter Lessonを素直に転用すれば、「作り込みは控え、将来のLLMの性能向上に期待し、別の箇所に注力する」戦略が自然に浮かびます。

一方、早い・安い・うまいを追求するのであれば、「今は今できる最大限を作り、時が来たら捨て、その時にまた別の最大限を作り続ける」戦略が成立すると分かります。

状況によってどちらが良いかは変わります。ですので、この両者が良い戦略としてあり得ることは知っておくべきでしょう。

まとめ

本記事の要約は以下のとおりです。

• The Bitter Lessonは、「ドメイン知識を加えたチューニングも有効だが、長期的には、計算資源を投入した未来のAIに優位が移りやすい」と主張する教訓
• これはもともと研究者向けの教訓であり、ビジネスでAIを利活用するうえでは解釈に注意が必要
• 企業が選ばれるのは、「早い・安い・うまい」を達成しているから
• ビジネスにおいては、ドメイン知識を加えたチューニングに全力を投下する戦略も成立する

The Bitter Lessonを踏まえ、将来のAIが更に高度化することを折り込むこと。

とはいえ、The Bitter Lessonの示唆にナイーブに従うのみならず、時々の「早い・安い・うまい」を実現するために全力を投下する戦略もありえること。

このあたりを感じていただければ嬉しいなと思います。

以上。データサイエンスVTuberの、アイシア=ソリッドでした！

次回もお楽しみに！

柏倉＠acrefa

関連記事Related Posts