「AIの世界」に欠けているものは何でしょうか?オックスフォード大学教授マイケル・ウールドリッジ：現実世界

無限猿定理とは、猿がタイプライターのキーを無限の時間ランダムに押すことを許可された場合、シェイクスピアの全作品など、与えられたテキストをほぼ確実に入力できるというものです。

この定理では、「ほぼ確実に」は特定の意味を持つ数学用語であり、「猿」は実際の猿を指すのではなく、ランダムな文字の無限のシーケンスを生成できる抽象的な装置を指すために使用されます。

図｜ランダムにタイピングするチンパンジーは、十分な時間を与えれば、フランス国立図書館にあるすべての書籍をほぼ確実にタイピングできる。 （出典：Wikipedia）

この理論は、大きいが有限な数が無限であると推論するのは間違いであることを示しています。観測可能な宇宙がノンストップでタイピングしているサルでいっぱいだったとしても、サルが「ハムレット」をタイプできる確率は 1/10^183800 未満です。

さらに、たとえ無数の猿に無限の時間が与えられたとしても、吟遊詩人の詩的な言葉の味わい方を学ぶことはできないだろう。

「人工知能（AI）についても同じことが言える」とオックスフォード大学のコンピューターサイエンス教授マイケル・ウールドリッジ氏は語った。

写真: マイケル・ウールドリッジ

ウールドリッジ氏の見解では、GPT-3などのAIモデルは数百億から数千億のパラメータの助けを借りて驚くべき能力を発揮しているものの、その問題は処理能力の大きさではなく、現実世界での経験不足にあるという。

たとえば、言語モデルは「雨は濡れている」ということを非常によく学習し、雨は濡れているか乾いているかを尋ねられたときに、雨は濡れていると答える可能性が高いですが、人間とは異なり、この言語モデルは実際に「濡れている」という感覚を経験したことはありません。彼らにとって、 「濡れる」は「雨」などの言葉と一緒に使われる単なる記号です。

しかし、ウッドリッジ氏は、現実の物理世界に関する知識の欠如がAIモデルを役に立たなくするわけではなく、AIモデルが特定の分野における経験的な専門家になることを妨げるわけでもないと強調したが、理解などの問題においてAIモデルが人間と同じ能力を持っていると考えるのは確かに疑わしい。

「現代の AI に欠けているものは何ですか? 世界」と題された関連研究論文が、Intelligent Computing 誌に掲載されました。

現在の AI イノベーションの波では、データとコンピューティング能力が AI システムの成功の基盤となっています。AI モデルの機能は、そのサイズ、トレーニングに使用されるリソース、トレーニング データのサイズに直接比例します。

この現象に関して、ディープマインド研究科学者リチャード・S・サットン氏は以前、AIの「痛い教訓」は、AIの進歩は主に、より大規模なデータセットとより多くのコンピューティングリソースの使用によるものだということだ、と述べていた。

図｜AIが生成した作品（出典：Wired）

AI業界全体の発展について語ると、ウールドリッジ氏は前向きな反応を示した。 「過去15年間、AI業界、特に機械学習（ML）の分野における進歩のスピードには何度も驚かされました。何が可能で、いつ実現可能かを判断するために、私たちは常に期待を調整する必要があります。」

しかし、ウッドリッジ氏は現在のAI業界の問題点も指摘した。 「彼らの業績は称賛に値するが、現在の大規模 ML モデルのほとんどは、AI モデルが現実世界を実際に経験していないという 1 つの重要な要因によって制限されていると私は考えている。

ウールドリッジ氏の見解では、ほとんどの ML モデルはビデオゲームなどの仮想世界で構築されています。膨大なデータセットでトレーニングすることはできますが、物理世界に適用されると重要な情報が失われ、実体から切り離された AI システムとなってしまいます。

自動運転車を動かす人工知能を考えてみましょう。自動運転車が路上で自ら学習するのは現実的ではありません。このため、またその他の理由から、研究者は仮想世界でモデルを構築することを選択することが多いのです。

「しかし、彼らには、我々の世界という最も重要な環境で活動する能力がまったくないのだ」とウッドリッジ氏は語った。

(出典: ウィキメディア・コモンズ)

一方、言語 AI モデルにも同じ制限があります。おそらく、それらは、とんでもなくひどい予測テキストから Google の LAMDA へと進化したのでしょう。今年初め、元グーグルのエンジニアが人工知能プログラムLAMDAには知覚力があると主張し、話題になった。

「このエンジニアの結論の妥当性がどうであれ、彼がLAMDAの会話能力に感銘を受けたことは明らかであり、それには十分な理由がある」とウールリッジ氏は述べたが、同氏はLAMDAに知覚があるとは考えておらず、またこのAIがそのようなマイルストーンに近づいているわけでもない。

「これらの基本モデルは、自然言語生成において前例のない能力を示しており、比較的自然に聞こえるテキストの断片を生成でき、常識的な推論能力を獲得したように見えます。これは、過去 60 年間の AI 研究における主要な出来事の 1 つです。」

これらの AI モデルには膨大な入力パラメータが必要であり、それらを理解できるようにトレーニングされます。たとえば、GPT-3 はインターネット上の何千億もの英語のテキストを使用してトレーニングされました。膨大な量のトレーニング データと強力なコンピューティング能力を組み合わせることで、これらの AI モデルは人間の脳と同様に動作し、狭い範囲のタスクを超えて、パターンを認識し、主要なタスクとは無関係と思われる関連付けを行うことができます。

(出典: OpenAI)

しかし、ウッドリッジ氏は、基礎となるモデルは「さまざまな領域で有用な機能を持つように膨大なデータでトレーニングされ、その後、特定のアプリケーションに特化できる」という賭けだと述べた。

「シンボリックAIは『知能は主に知識の問題である』という仮定に基づいていますが、基礎となるモデルは『知能は主にデータの問題である』という仮定に基づいています。大規模なモデルに十分なトレーニングデータを入力することで、モデルの能力が向上する可能性があると考えられています。」

ウールドリッジ氏は、この「力こそ正義」というアプローチは、よりスマートな AI を生み出すために AI モデルのサイズを拡大し続けるが、AI を真に進歩させるために必要な現実の物理世界の知識を無視していると考えています。

「公平に言えば、状況は変わりつつあるという兆候がいくつかある」とウッドリッジ氏は語った。今年 5 月、DeepMind は、大規模な言語セットとロボット データに基づき、単純な物理環境で動作できる基礎モデルである Gato を発表しました。

「基礎モデルが物理世界への第一歩を踏み出したことは素晴らしいことですが、それはほんの小さな一歩にすぎません。AI を現実の世界で機能させるための課題は、シミュレーションで機能させるための課題と少なくとも同じくらい大きく、おそらくそれ以上です。」

論文の最後で、ウールドリッジ氏は次のように書いている。 「我々はAIへの道の終わりを探しているわけではないが、すでに道の始まりの終わりに到達しているのかもしれない。」

これについてどう思いますか？コメント欄にメッセージを残してください。

参考文献:

https://spj.sciencemag.org/journals/icomputing/2022/9847630/

https://www.eurekalert.org/news-releases/966063