ChatGPT はほぼ 1 周年を迎えました。質問に流暢に答える能力はどのようにして身についたのでしょうか?

今年の11月で、ChatGPTは1周年を迎えます。 ChatGPT に代表される人工知能モデルは驚異的なスピードで進化しており、一部のテクノロジー企業は ChatGPT が将来的に人間に取って代わる可能性があると主張しています。では、ChatGPT の原理は何でしょうか?本当に人間の代わりになれるのでしょうか？今日は、誰もが知っている例を使って、この一見神秘的な技術を直感的に理解できるようにしたいと思います。

「入れ子人形」方式により、ChatGPTは長いテキストを生成できる。

英語の略語 ChatGPT は Generative Pre-trained Transformer の正式名称で、「Generative Pre-trained Transformer」と翻訳されます。名前からわかるように、コンテンツを生成できる事前トレーニング済みのモデルです。生成されたコンテンツとは何ですか?イディオムチェーンゲームは、前のコンテンツに基づいて次のコンテンツを生成する一種の生成です。 「待って見てください...」と言うと、ChatGPT は「ウサギ」を生成する可能性があり、「東にフェイントをかけて攻撃してください...」と言うと、ChatGPT は「西」を生成する可能性があります。これが言葉の連鎖の生成力です。

単語ごとに生成すると、長いテキストを生成するのに時間がかかりすぎませんか?これには、「入れ子人形」方式を使用する必要があります。これは、単語が生成されるたびに、その単語が前のコンテンツと結合され、新しい前のコンテンツとして使用されて次の単語が生成されます。このプロセスを繰り返して、任意の長さの記事を生成します。たとえば、最初に「守树待」と入力すると、ChatGPT は「兔」を生成し、次に「守树待兔」を新しいコンテキストとして使用して次の単語を生成します。このように、多数の単語を生成して組み合わせることで、任意の長いテキストを生成することができます。

生成されるコンテンツは 2 つの要因の影響を受けており、ランダムな回答ではありません。

では、ChatGPT によって生成されるコンテンツは完全にランダムなのでしょうか?答えは「いいえ」です。生成されるコンテンツは 2 つの要素の影響を受けるためです。1 つは以前のコンテキスト、もう 1 つは ChatGPT 独自の言語モデルです。簡単に言えば、同じコンテキストを持つ異なるモデルは異なるコンテンツを生成し、異なるコンテキストを持つ同じモデルも異なるコンテンツを生成します。 「木のそばでウサギを待つ」の後にどのような言葉をつなげるかは、人それぞれに解釈が違うのと同じです。

もちろん、ChatGPT に必要なコンテンツを生成してもらうことも必要です。これには、ChatGPT に必要なコンテンツを大量に提供して、学習を通じて独自の言語モデルを変更できるようにする必要があります。これは、「守树待兔」の後の単語が「猛虎」である必要があることを繰り返し学習するのと同じです。時間が経つにつれて、「木のそばでウサギを待つ」というフレーズを見ると、私たちの頭に最初に浮かぶ言葉は「トラ」になります。 ChatGPTについても同様です。学習を通じて、私たちは徐々に望む言語ルールを習得することができます。

ChatGPTは学習を通じて自ら新しい回答を生成できる

学習とは単に暗記することではなく、学んだことを他の状況に適用できるようになることです。 「木のそばでウサギを待っていると、トラが現れる」という文章を訓練しておけば、「助け合うと、英雄たちが大勢現れる」という文章を見ると、次の文章は「トラ」であることがわかるでしょう。これは ChatGPT の一般化能力であり、学習したルールを適用して、これまで見たことのない質問に答えることができることを意味します。これは、学習を通じて原則を適用して新しい質問に答えることができるのと同じです。

ChatGPT の質問回答にも同じ原則が適用されます。学習のために多数の正しい質問と回答の例を提供することで、このタイプの質問に答える方法を習得し、これまでに見たことのない新しい質問に答えることができるようになります。これは、データベース内の既成の回答を直接検索する検索エンジンとは異なります。 ChatGPT は質問にどのように答えるかを理解し、独自に新しい回答を生成することができます。

ただし、ChatGPT の回答は必ずしも正しいとは限りません。間違った例から間違った知識を学び、事実と矛盾する回答を生成する可能性があるのと同じように、ChatGPT は間違ったルールに従って誤ったコンテンツを生成する可能性があるからです。したがって、一方的な発言を盲目的に信じることはできず、複数の質問をしてその信頼性を評価する必要があります。

巨大なモデルサイズと3段階のトレーニング方法のおかげで

ChatGPT がこのような驚くべき言語生成効果を実現できるのはなぜでしょうか?これは、巨大なモデルサイズと 3 段階のトレーニング方法のおかげです。まず、ChatGPT は教師なしの事前トレーニングのために何億ものインターネット データを吸収し、幅広い言語知識を習得しました。次に、動作を調整するために言語対話テンプレートを手動で設計しました。最後に、手動での質問と継続的なフィードバックトレーニングを通じて、創造性が向上しました。このような段階的なトレーニングを通じて、ChatGPT は私たちの期待を上回り、多くの複雑な言語タスクを完了することができます。

人間が作成したシステムであるため、ChatGPT にも制限があります。生成されたコンテンツは完全に信頼できるものではなく、人間による監視と評価が必要です。他のテクノロジーと同様に、テクノロジーは補助的なツールとしてのみ機能し、人間の創造性や意識に取って代わるべきではなく、また取って代わることもできません。最終的には、その使用を指導する人々が必要です。この技術の進歩を前向きかつ合理的に捉え、人間を第一に考え、社会に利益をもたらしましょう。

（著者の馮潤は北京科学技術普及科学講演チームのメンバーであり、北京実験動物研究センター株式会社の市場および産業研究員です。）