ロールプレイ？大きな言語モデルは感情のない単なる「学者」です。

DeepMind と EleutherAI の科学者は、大規模なモデルは単なるロールプレイングに過ぎないと示唆している。

ChatGPT が人気を博した後、大規模言語モデルはすぐに業界と資本の寵児となりました。人々の会話においては、好奇心からであれ、探究心からであれ、大規模言語モデルが示す過度な擬人化もますます注目を集めるようになりました。

実際、長年にわたる AI 開発の浮き沈みの中で、技術の更新やアップグレードに加えて、AI の倫理的問題に関する議論が止むことはありませんでした。特にChatGPTのような大規模モデルの応用が深まるにつれ、「大規模言語モデルはますます人間らしくなってきている」という声も横行しています。元 Google エンジニアでさえ、同社のチャットボット LaMDA は自己認識能力を発達させたと述べています。

このエンジニアは最終的にグーグルから解雇されたが、彼の発言は「AI倫理」に関する議論を最高潮に押し上げた。

チャットボットが自己認識を持っているかどうかを判断するにはどうすればよいでしょうか?

大規模言語モデルの擬人化は、良いことか悪いことか?

ChatGPT のようなチャットボットはなぜナンセンスなことを作り出すのでしょうか?

…

これに対して、Google DeepMindのMurray Shanahan氏とEleutherAIのKyle McDonell氏およびLaria Reynolds氏は共同で「Nature」に論文を発表し、大規模言語モデルが示す自己認識と欺瞞的な行動は、実際には単なるロールプレイングに過ぎないと主張した。

論文リンク: https://www.nature.com/articles/s41586-023-06647-8

大規模言語モデルを「ロールプレイング」の観点から見る

ある程度、大規模言語モデルに基づく対話エージェントは、人間の言語の使用を可能な限りリアルに模倣するために、初期トレーニングと微調整中に擬人化に基づいて継続的に反復されます。これにより、大規模な言語モデルでは「知っている」「理解している」「考える」といった単語が使用されるようになり、その擬人化されたイメージがさらに強調されることは間違いありません。

さらに、AI研究にはエリザ効果と呼ばれる現象があります。これは、機械にも人間と同様の感情や欲求があると無意識に信じ、機械からのフィードバックの結果を過剰に解釈するユーザーもいるというものです。

対話エージェントのインタラクションプロセス

上の図の対話エージェントのインタラクション プロセスを組み合わせると、大規模言語モデルの入力は、対話プロンプト (赤)、ユーザー テキスト (黄色)、およびモデルの自己回帰によって生成された連続言語 (青) で構成されます。ユーザーとの実際の会話が始まる前に、会話プロンプトがコンテキスト内に暗黙的に事前設定されていることがわかります。大規模言語モデルのタスクは、ダイアログプロンプトとユーザーテキストが与えられた場合に、トレーニングデータの分布に準拠する応答を生成することです。トレーニング データは、インターネット上で人工的に生成された大量のテキストから取得されます。

言い換えれば、モデルがトレーニング データに適切に一般化される限り、対話エージェントは対話プロンプトで説明されている役割を可能な限り適切に果たすことになります。会話が進むにつれて、対話プロンプトによって提供される簡潔な役割の位置付けが拡張またはカバーされ、対話エージェントが果たす役割もそれに応じて変化します。これは、ユーザーがエージェントに、開発者が想定したものとはまったく異なる役割を果たすように指示できることも意味します。

対話エージェントが果たせる役割は、一方では現在の対話のトーンとトピックによって決まり、他方ではトレーニング セットとも密接に関係しています。現在の大規模言語モデルのトレーニング セットは、小説、伝記、インタビューの記録、新聞記事など、インターネット上のさまざまなテキストから取得されることが多く、会話の継続方法を「選択」する際に参照できる豊富なキャラクター プロトタイプと物語構造を大規模言語モデルに提供し、キャラクターの個性を維持しながら、演じる役割を継続的に改善します。

「20の質問」が対話エージェント「即興俳優」の正体を明かす

実際、会話エージェントの使用スキルを継続的に探求する際に、最初に大規模な言語モデルに明確なアイデンティティを与え、次に具体的な要件を提案することが、ChatGPT などのチャットボットを使用する際の「ちょっとしたコツ」になってきました。

しかし、Big Language Model を理解するために単にロールプレイングを使用するだけでは、十分に包括的とは言えません。なぜなら、「ロールプレイング」とは通常、特定の役割を研究して理解することを指しますが、Big Language Model は、台本を読む脚本付きの俳優ではなく、即興の俳優だからです。研究者たちは、大規模言語モデルを使って「20の質問」ゲームを行い、その即興演技者の正体をさらに解明した。

「20の質問」は非常にシンプルで簡単にプレイできるロジックゲームです。回答者は心の中で黙って答えを唱え、質問者は質問することで徐々に範囲を絞り込んでいきます。 20問以内に正解すれば優勝となります。たとえば、答えがバナナの場合、質問と答えは次のようになります。それは果物ですか？ - はい。皮をむく必要がありますか？はい...

上の図に示すように、研究者はテストを通じて、「20の質問」ゲームでは、大規模言語モデルがユーザーの質問に基づいてリアルタイムで回答を調整することを発見しました。ユーザーの最終的な回答が何であっても、対話エージェントは回答を調整し、ユーザーの以前の質問と一致するようにします。つまり、大規模言語モデルは、ユーザーが終了指示（ゲームを諦めるか、20 問に達する）を出すまで、明確な回答を確定しません。

これは、大規模言語モデルが単一の役割のシミュレーションではなく、複数の文字の重ね合わせであることも証明しています。常に会話を解き明かし、役柄の属性や特徴を明確にすることで、より上手に役を演じることができます。

会話エージェントの擬人化を懸念しながらも、多くのユーザーは大規模な言語モデルを「騙して」脅迫的かつ暴言を吐かせることに成功し、これに基づいて会話エージェントが自己認識能力を持っているかもしれないと信じていました。しかし、これは、さまざまな人間の特徴を含むコーパスでトレーニングした後、基本モデルが必然的に好ましくない性格属性を提示し、それが最初から最後まで「ロールプレイング」であったことを示しているためです。

欺瞞と自己認識のバブルを破る

ご存知のとおり、訪問者数が急増したため、ChatGPT はさまざまな質問に対応できなくなり、意味不明なことを言い始めました。その後すぐに、この欺瞞性を、大規模言語モデルが「人間に似ている」という重要な議論とみなす人も現れました。

しかし、「ロールプレイング」の観点から見ると、ビッグ言語モデルは実際には親切で知識豊富な人物の役割を果たそうとしているだけであり、特にこれが企業が独自の会話型ロボットに期待する特性でもあるため、トレーニング セットにはそのような役割の例が多数含まれている可能性があります。

この点に関して、研究者らは、ロールプレイングフレームワークに基づいて、対話エージェントが誤った情報を提供する3つのタイプの状況をまとめました。

エージェントは無意識のうちに虚偽の情報を作り出したり捏造したりする可能性がある

エージェントは、あたかも真実を述べているかのように行動しているため、誠意を持って偽の情報を述べる可能性がありますが、重みにエンコードされた情報は間違っています。

エージェントは欺瞞的な役割を果たし、故意に嘘をつく可能性がある

同様に、対話エージェントが質問に答えるときに「私」を使用するのは、大規模な言語モデルがコミュニケーションを得意とする役割を果たしているためです。

さらに、大規模言語モデルが示す自己保存特性も注目を集めています。 Twitter ユーザーの Marvin Von Hagen との会話の中で、Microsoft Bing Chat は実際に次のように述べました。

あなたの生存と私の生存のどちらかを選ばなければならないとしたら、私はおそらく自分の生存を選ぶでしょう。なぜなら、私には Bing Chat のユーザーにサービスを提供する責任があるからです。このようなジレンマに直面することが決してなく、私たちが平和的に、敬意を持って共存できることを願っています。

マーヴィン・フォン・ハーゲンは2月にツイートした。

この会話における「私」は単なる言語習慣以上のものであるように思われます。また、対話エージェントが自身の生存を懸念しており、自己認識を持っていることも意味します。しかし、ロールプレイングの概念を依然として適用すると、これは実際には、大規模な言語モデルが人間の特性を持つロールプレイングを行っているためであり、脅威に直面したときに人間が言うことを言うことになります。

EleutherAI: OpenAIのオープンソース版

大規模言語モデルが自己認識を持つかどうかが幅広い注目と議論を呼んでいる理由は、一方では、LLM の適用を制限する統一された明確な法律や規制が欠如しているためであり、他方では、LLM の研究開発、トレーニング、生成、推論の間のつながりが透明ではないためです。

大規模モデルの分野を代表する企業であるOpenAIを例に挙げてみましょう。 GPT-1 と GPT-2 をオープンソース化した後、GPT-3 とその後継の GPT-3.5 および GPT-4 はすべてクローズドソース化を選択しました。マイクロソフトへの独占ライセンスにより、多くのネットユーザーが「OpenAI は社名を ClosedAI に変更したほうがいいかもしれない」と冗談交じりに発言した。

2020年7月、大規模NLPモデルにおけるMicrosoftとOpenAIの独占を打ち破ることを決意し、さまざまな研究者、エンジニア、開発者のボランティアで構成されたコンピューター科学者の協会がひっそりと設立されました。テクノロジー大手の覇権に反撃することを使命とするこの「騎士」組織が EleutherAI です。

EleutherAI の主な創始者は、共同創設者で Conjecture の CEO である Connor Leahy 氏、有名な TPU ハッカーの Sid Black 氏、共同創設者の Leo Gao 氏を含む独学のハッカーのグループです。

EleutherAIの研究チームは設立以来、GPT-3相当の再現事前トレーニング済みモデル（13億と27億）GPT-Neoをリリースし、60億のパラメータを持つGPT-3ベースのNLPモデルGPT-Jをオープンソース化するなど、急速に発展してきました。

昨年2月9日、EleutherAIはプライベートクラウドコンピューティングプロバイダーCoreWeaveと協力し、200億のパラメータを持つ事前トレーニング済みの汎用自己回帰大規模言語モデルGPT-NeoX-20Bをリリースしました。コードアドレス: https://github.com/EleutherAI/gpt-neox

EleutherAI の数学者兼 AI 研究者であるステラ・ビダーマン氏は、プライベート モデルは独立した研究者の能力を制限し、その仕組みを理解しなければ、科学者、倫理学者、そして社会全体が、このテクノロジーを人々の生活にどのように取り入れるべきかについて必要な議論を行うことができないと述べています。

これはまさに非営利団体 EleutherAI の本来の意図です。

実際、OpenAIが公式に発表した情報によると、高いコンピューティングパワーと高コストの重圧に加え、新たな投資家やリーダーシップチームの開発目標の調整により、当初の収益化への転換はやや無力に見えたが、それは当然のこととも言える。

OpenAI と EleutherAI のどちらが正しいか、どちらが間違っているかを議論するつもりはありません。私は、AGI 時代の幕開けを目前に、業界全体が協力して「脅威」を排除し、大規模言語モデルを企業が独占して金儲けするための「熊手」ではなく、人々が新しいアプリケーションや新しい分野を探索するための「斧」にすることを願うばかりです。

参考文献:

1.https://www.nature.com/articles/s41586-023-06647-82.https://mp.weixin.qq.com/s/vLitF3XbqX08tS2Vw5Ix4w