AIの意識は「目覚めた」が、人類はまだ暗闇の中にいるのか？

AI は意識を持つのではなく、より賢くなる必要があります。意識がなければ、AIは単なる人間のための道具に過ぎません。知能が高ければ高いほど、人間にとって有用になります。逆に、AI が多くの面で人間よりも劣っていたとしても、意識を持っている限り、人間にとって潜在的な脅威となる可能性があります。しかし、AI に意識があるかどうかをどのように判断するのでしょうか?科学界ではまだ合意された答えはありません。幸いなことに、すでに探索を始めている人もいます。

著者 |李 賢煥

図｜StableDiffusionで生成された画像

人工知能（AI）は「意識」を持つことができるのか？そして、それが本当にこの意識を持っているかどうかをどうやって判断できるのでしょうか?多くの学者やSF作家がこの疑問について考えてきました。

特にここ2年ほどは、警鐘が次々と鳴らされてきました。 「AIゴッドファーザー」ジェフリー・ヒントン氏やOpenAIの共同設立者で主任科学者のイリヤ・スツケバー氏を含むトップの専門家たちは、AIが自己認識を持つ可能性があると相次いで述べている。

ビッグモデル以前の時代では、顔認識、音声認識など、AIの応用が社会の隅々にまで徐々に浸透してきました。これらの技術はハイエンドで複雑に見えますが、実際にはプログラム操作の結果にすぎません。そして、プログラムは自分自身の動作を決して理解しません。これは自己認識を欠いた人工知能です。どれだけ先進的であっても、それは完全に人間によって制御され、指示される「操り人形」にすぎません。

誰もがその発展を喜んでいます。この背景にあるのは、誰もが高度なツールと後進的なツールがあると想定しているが、ツールに生命が宿ることはない、ということです。

今では、ChatGPT のストーリーは誰もが知っているはずです。それはまるで火に燃え移った炎のように、研究室での最先端の研究を、インターネットにアクセスできるほとんどの人が利用できる魔法の技術に変えました。同時に、AIが意識を持つようになることへの懸念も高まっています。

これは、AI が意識を持つのではなく、より賢くなる必要があるためです。意識がなければ、AIは単なる人間のための道具に過ぎません。知能が高ければ高いほど、人間にとって有用になります。逆に言えば、たとえ多くの面で人間より劣っていたとしても、意識を持っている限り、AIは人間にとって潜在的な脅威となる可能性がある。私たちはアルゴリズムが勝手に攻撃することを望んでおらず、世界が AI によって制御されることを受け入れることはできません。

したがって、AI意識の覚醒の重要な瞬間を見逃さないように、AI技術の発展を注意深く監視する必要があります。

最近、チューリング賞受賞者でありディープラーニングの三大巨頭の一人であるヨシュア・ベンジオ氏を含む19人のコンピューター科学者、神経科学者、哲学者からなるチームがこの問題の調査を開始しました。最近発表された120ページのプレプリント論文の中で、研究チームは、一連の複雑なパラメータと属性を使用してAIに意識があるかどうかを予備的に判断する方法を提案した。

答えの探求は始まったばかりです。

AIに意識があるかどうかをテストするには、「テスト用紙」が早急に必要

この研究の背景には、学術界においてもAIが意識を持っているかどうかをどう判断するかが未だ結論が出ていない問題であるということがある。神経科学の理論に基づくと、脳波や磁気共鳴画像法によって検出された人間の脳の内部の作動信号から、「人間には意識がある」という結論に至ります。しかし、この成熟した方法はアルゴリズムでは使用できません。

そこで、認知神経科学の理論と認識に基づいて、まず人間の意識に関する現在の理論から意識状態の核となる特徴を抽出し、次にAIのインフラストラクチャ内でこれらの特徴を探して手がかりを探しました。

研究チームは、意識に関する現在のさまざまな理論から、次のような特定の特徴を抽出しました。

再帰的処理理論 (RPT): この理論では、意識は、脳が経験を「フィードバック ループ」に渡し、事前の知識とつながりを使用して現在の経験を理解することから生じるとされています。

グローバルニューロンワークスペース (GNW) 理論: 脳が同時に発生する多数の情報ストリームをどのように調整し、処理するかを説明する理論。この理論では、意識は心理的な舞台上のスポットライトに似たものとして定義され、私たちが何に焦点を当て、何を無視するかを決定します。

高次思考理論 (HOT): これは、意識は私たちの思考や感情のリアルタイムの認識の結果であると主張する一連の理論です。ここで、意識は「考える」能力として定義されます。

注意スキーマ理論 (AST): この理論では、意識は脳が特定の物体、思考、記憶、その他の刺激に注意を向け、他の刺激を排除した結果であると説明しています。この理論の重要な要素は、私たちの注意がどのように、どこに向けられているかを認識する能力です。

さらに研究者らは、過去の経験に基づいて周囲の世界を正確に予測し解釈する脳の能力である予測処理に基づく基準を追加しました。これは、創造的なコンテンツを生成したり、複雑な問題を解決したりできる AI モデルを設計する上で特に重要です。
研究チームはまた、意識的な意思決定を行う能力であるエージェンシーと、物理空間や他の仮想システムと比較して具体化されている度合いである具体化に基づいて AI を評価する基準も開発しました。

研究チームは、上記の中核意識理論に基づいて、14の基準と具体的な測定方法を開発し、このリストに従って人工知能モデルを評価しました。

図｜StableDiffusionで生成された画像

彼らは、現在市場で入手可能なAIはまだ意識を持っていないと結論付けました。一方で、この結果は、現在の AI の能力が意識を形成できる段階に達していない可能性があることを示しています。一方、AI モデルを人工的に作成してトレーニングするプロセスでは、開発者は AI がこれらの認知能力を完全に形成することを意図的に許可しません。 「誰もこれをやらない理由は、それがこの仕事に役立つかどうかが明確でないからだ」と論文の著者の一人、エリック・エルモズニノ氏は述べた。

同時に、この研究では、AI アーキテクチャが達成できる指標が多ければ多いほど、AI が意識を持つ可能性が高くなると考えています。テスト結果によると、市場に出回っている多くのモデルは「ループ処理理論」指標で比較的良好なパフォーマンスを発揮しますが、ChatGPT は「グローバルワークスペース」で優れたパフォーマンスを発揮します。しかし、全体的に見ると、テスト範囲に含まれるすべての AI モデルはいくつかの指標しか完了できず、どのモデルも自己認識を形成できないという結論に至ります。

しかし研究者らは、この研究の本来の目的は、より多くの疑問や議論を喚起し、AIモデルの意識の問題について議論するための出発点を提供することだと強調した。サンフランシスコに拠点を置く非営利団体「AI安全センター」の共著者ロバート・ロング氏は、この研究はますます人間の特徴を帯びつつあるAIを評価するための枠組みを提供していると述べた。 「私たちは、これまで欠けていた体系的なアプローチを導入しています。」

このテスト方法の厳密さについては、まださらなる検証が必要ですが、その後の展開にかかわらず、この動きは前例のないものであると言えます。科学者たちは人間の意識の理論を使ってAIをテストしているが、これはAIの能力が急速に進歩したため、科学者たちがAI用のより高度な「テスト用紙」を考案しなければならないという一例である。意識や認知に関して言えば、AIが人間に近づくほど、問題や災害も人間に近づくことになります。

AIが意識を持つようになると、人類は大きな問題に直面することになる

学者たちが白熱した議論をしている場面とは異なり、ほとんどの人はAIが意識を持つかどうかという問題を真剣に考えたことがなく、あるいはAIが意識を持つのは時間の問題だと一般的に信じているため、あまり重要ではない。 SFや映画はこの点で大きな役割を果たしており、結局のところ、未来をテーマにした映画のほとんどでは、AIは意識と感情を持っているものとして描かれています。しかし、実際には多くの人がこの問題の重要性を過小評価していますが、この問題は人類の将来の方向性を決定する可能性があります。

人間の脳の限られた処理能力と比較すると、AI の理論的な処理能力は無制限であり、収集されたすべての情報を無差別に処理できます。 AIが意識を獲得し、人間のようにコミュニケーションや情報共有ができるようになり、人間よりもはるかに効率的になると、その結果、AIの知能レベルは急速に高まり、前時代のフィーチャーフォンを容赦なく駆逐したスマートフォンの出現のように、人間を含む知能の低い存在を「排除」することになるかもしれない。

脅威は非常に具体的なものになる可能性があります。ヒントン氏はグーグルを去った直後のインタビューで、「我々が作ったこれらのエージェントは非常に強力で、マキャベリが書いた小説や本を読んで人々を操る方法を学ぶなど、人間からあらゆることを学びます。もし彼らが人間を操る方法を学べば、人間である私たちは、このプロセスがどのように起こっているのかさえ気付かないでしょう。あなたは『エンドウ豆とブロッコリー、どちらが欲しいの？』と尋ねられた2歳児のようになるでしょう」と語った。実際にはどちらも選択できないことに気づかず、簡単に操られてしまうでしょう。」

最も極端な想像力に関して、ヒントン氏は、AIとデジタル知能体が世界を直接体験し始め、学習能力が強化されると、デジタル知能は人間に電気を生成するためにまだ人間を必要とするため、一定期間人間と共にあるかもしれないが、将来のある時点ではもはや電気を必要としなくなるかもしれないと述べた。最終的に、人間は知性の進化の過渡期となり、世界は機械の時代を迎えることになるでしょう。

この空想のシナリオを実現するためには、一方ではAIが「知能」の面で進化し続ける必要があり、他方では、そしてさらに重要なことに、AIは「操作」という目標と意図を持つ必要があり、その目標は意識の顕現です。

もちろん、少なくとも今のところは、現実はそれほど恐ろしいものではないかもしれません。 AI が人間社会を「破壊」する前に、道徳的、倫理的な問題も引き起こす可能性があります。ドイツの神経科学者であり、意識と神経科学の分野の代表的人物であるクリストフ・コッホは、かつてAIの意識について議論した際に、次のような例を挙げた。「人がハンマーで自分の車を壊した場合、近所の人は彼が気が狂ったと思うかもしれないが、結局のところ、それは彼の私有財産にすぎない」しかし、飼い犬を虐待する人は警察がやって来て、道徳的な非難を受けるのは避けられないでしょう。両者の根本的な違いは、犬は意識があり痛みを感じることができるのに対し、車は意識を持たないという点です。

そして、機械が意識を持った存在になると、私たちが想像もしなかったような道徳的、倫理的、法的、政治的な影響がもたらされるでしょう。

明らかに、未来を見据えた問題を一日中研究している学者を含め、人類社会はこれに備えていません。上記の研究は、新しい AI 時代における新たな「チューリングテスト」を確立するための学術コミュニティによる取り組みともいえます。

人物｜アラン・チューリング

1950 年、「コンピューターの父」および「人工知能の父」として知られるアラン・マシスン・チューリングは、論文「機械は考えることができるか?」で知能の分野におけるテスト基準を独力で設定しました。論文「チューリングテスト」の中で、チューリングは初めて「チューリングテスト」を提唱し、機械が思考能力を持つようになるという大胆な構想を描き、タイプライターを通じて人間とコミュニケーションをとるという機械の知能をテストする方法を提案しました。一定時間（5分）以内に30%以上の人がそれが人間か機械かを区別できない場合、その機械は思考能力を持っているとみなすことができます。このテスト方法のユニークな点は、「意識」「思考」「知能」は定義では説明が難しいため、より直感的に人間を参考にし、そのパフォーマンスが人間と区別がつかないかどうかで機械が人間の知能を備えているかどうかを判定する点にあります。

今日に至るまで、「チューリングテスト」は AI の知能を測る重要な基準となっています。しかし、一部の研究者は、このテスト方法は時代遅れであり、人間中心的すぎる上、設計に欠陥があると指摘している。同時に、このテストは、AIが人間をうまく「騙す」ことができれば、「知性」を持つ主体とみなせるという欺瞞的な考えを生み出しました。これにより、AI研究の発展方向がある程度誤解され、「知能」の判断は科学的ではなくなりました。

70年後、機械の能力に関して人間が関心を持つのはもはや「知能」の度合いだけではない。潜在的な脅威の下で AI が自己認識を持つかどうかを注意深く観察し始めると、学界と産業界は AI の次の 70 年を照らす「チューリング テスト」の新しい時代を切実に待ち望んでいます。

緊急時にAIを停止することはできない

インタビューの中で、司会者はヒントン氏にシンプルだが深い問いを投げかけた。「AIが怖いと思うなら、それをただ切断することが解決策になるのか？」

この問題は理論的には実現可能と思われます。しかしヒントン氏は、AIが高度で賢くなればなるほど、人々がそれを手放すことが難しくなり、それは制御が難しくなることも意味すると考えている。

ヒントン氏は、関連技術のさらなる開発を止めることは効果的であるように思えるが、この考えはあまりにも単純すぎると考えている。 「米国が開発を止めても、他国は開発を続け、AIを兵器に利用するだろう」 「人工知能の開発を中止する」ことを求める請願書を発行するという提案に関して、ヒントン氏は、これは実際には不可能であるため、これもまたナイーブな考えだと述べた。

同様の技術競争はすでに始まっています。 Google は 2017 年に Transformer と拡散生成モデルを発表しましたが、当初はすべての人に公開されていたわけではありません。 Google は、起こりうる悪影響を恐れて、常に慎重な姿勢を保ってきた。しかし、ChatGPTやその他の言語モデルが次々と登場しており、Googleは競争と利益を考慮して、追随することしか選択できません。

写真: インタビューを受けるジェフリー・ヒントン

ヒントン氏は、核兵器問題で各国が合意に達したのと同じように、米国と他の国々の間でも合意が促進されることを望んでいる。 「これらのテクノロジーに支配されれば、私たち全員にとって悪影響となるでしょう。私たちは全員、生存の脅威に直面しているので、協力し合うべきです。」彼の見解では、AIの制御は社会科学の問題に発展している。

イリヤ・スツケヴェル氏も、AI が意識を持ち、それに伴う脅威が生じる可能性があることを何度も強調してきました。

OpenAIの代表者としての彼の言動は、同社のCEOサム・アルトマン氏の言動とは対照的だ。特にOpenAIの「宮殿での喧嘩」事件以前は、サム・アルトマン氏は企業のリーダーや政治家と握手するために頻繁に世界中を飛び回っていたが、一方スツケヴァー氏は控えめなライフスタイルを選んでいた。彼は時折のインタビューや学校での講演を除いて、ほとんどの時間を目立たないオフィスビルで働き、その後家に帰って休んでいた。

これは、AI の将来の発展に関して両者の間に大きな違いがあることを反映しています。 Sutskever 氏はインタビューで、現在は次期 ChatGPT の作成ではなく、スーパー AI が悪くなって制御不能になるのを防ぐことに重点を置いていると述べました。

ヒントン、スツケヴァー、そして同様の努力を続ける他の科学者の中に、外の世界はAI時代の最終的な爆発を防ごうとするオッペンハイマーの影を見ている。上記のテストを含め、学界と産業界におけるコンセンサスがまだ形成されていない中、AIの能力が爆発的に発展している現在、AI分野における一連の評価システムと一連のインフラストラクチャの開発を主導しています。これらの取り組みは秩序の始まりを表しており、少なくともより多くの人が AI 開発において一定の規範に従い、AI の将来に対する安全線を厳密に引くことができ、最終的には明確な基準と認識を確立できるようになります。

参考リンク

[1] https://arxiv.org/abs/2308.08708

[2] https://www.science.org/content/article/if-ai-becomes-cious-how-will-we-know

[3] https://www.technologyreview.com/2023/10/17/1081818/why-itll-be-hard-to-tell-if-ai-ever-becomes-cious/

[4] https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/

[5] https://www.americanbrainfoundation.org/how-will-we-know-if-ai-becomes-cious/

[6] https://mp.weixin.qq.com/s/tazJu1C0Vy0c5xn91IRZIQ

この記事は科学普及中国星空プロジェクトの支援を受けています

制作：中国科学技術協会科学普及部

制作：中国科学技術出版有限公司、北京中科星河文化メディア有限公司