ChatGPT とは何ですか?私たちの生活にこれらの変化をもたらします↓

科学普及中国冬休み特別コラム「子どものためのハイテク授業」へようこそ！

今日の最先端の技術の一つである人工知能は、驚くべきスピードで私たちの生活を変えています。スマート音声アシスタントから自動運転車、AI ペインティングから機械学習まで、AI は私たちに無限の可能性に満ちた未来をもたらします。このコラムでは、ビデオとテキストを使用して、人工知能の原理、応用、そして社会への大きな影響を子供たちにわかりやすく説明します。

私たちと一緒に AI の旅を始めましょう!

2022年末、「ChatGPT」という言葉がひっそりと世間の注目を集めるようになりました。

まだ聞いたことがない、または単にチャットボットだと思っているなら、それは過小評価していることになります。

ニュース、法律、教育、顧客サービスコンサルティングなど、多くの業界でChatGPTが制作やサービスに応用されています。

では、ChatGPT とは何でしょうか?今回は、ChatGPTとその背後にあるテクノロジーについて学びます。

まずは名前から始めましょう。

Chatは文字通り「チャット」と翻訳され、WeChatやQQのように使用されるチャットアプリケーションであると言えます。しかし、電話の相手は友達ではなく、AI です。

G、P、T はより重要な部分であり、「Generative Pre-trained Transformer」の略語です。

Generative は「生成的」という意味で、受信した情報に基づいて応答テキストを生成できることを意味します。

事前トレーニング済みとは「事前にトレーニング済み」という意味で、Chat GPT はあなたと会話する前に多くのテキストトレーニングを受けていることを意味します。

Transformerはディープラーニングモデルです。トランスフォーマーはGPT全体の中核であると言えます。

「ChatGPT」を理解するには、まずAIがどのように話すことを学習するかを知る必要があります。

人間が話すときは、頭の中にある「辞書」から単語を選び出して文章を作ります。 AI に辞書から単語をランダムに選択させるだけでは、生成される文章は支離滅裂で意味のないものになる可能性が高くなります。

コンピューターが人間の言語を話せるようにするために、マルコフモデルが導入されました。簡単に言えば、マルコフモデルは単語とその前の単語との間のつながりを確立することができます。

たとえば、コーパスによれば、「ソーダ」の次の単語が「クッキー」または「ソーダ」である確率は、「テーブル」や「ニンジン」などの単語である確率よりもはるかに高くなります。「ソーダ」の前に「食べる」という単語を追加し続けると、「ソーダ」が記入される確率よりも「ビスケット」が記入される確率が高くなります。この方法で生成された文は、ランダムに生成された文よりも人間の言語に近くなります。

ギャラリー内の画像は著作権で保護されています。転載して使用すると著作権侵害の恐れがあります。

この考えに基づいて、1970年代から1980年代にかけて、リカレントニューラルネットワークと呼ばれるモデルが誕生しました。リカレントニューラルネットワーク (略して RNN) は、単語の順序と、前の単語が後続の単語に与える影響を考慮できます。

しかし、RNN には、「消失勾配」効果などのいくつかの制限もあります。文章が長くなるにつれて、前に言ったことを忘れてしまいます。

そのため、人々は RNN モデルを最適化し、LSTM と略される長期短期記憶モデルを開発して、「物忘れ」の問題を解決しました。

しかし、それだけでは十分ではありません。 RNN ベースのモデルには 2 つの問題があります。 1つは学習速度が遅すぎることです。第二に、言葉の意味の理解が十分ではありません。

この目的のために、新しいニューラルネットワークアーキテクチャトランスフォーマーが登場しました。トランスフォーマーベースのモデルは学習速度が非常に速く、短時間で大量のテキストデータを学習できます。

現在、人とコミュニケーションをとる GPT モデルは、少なくとも 45 TB のテキストデータでトレーニングされています。

そして、Transformerには「セルフアテンション」と呼ばれる技術が導入されています。これにより、記事内の他の語彙に基づいて単語の意味を理解し、私たちが何を言っているかをよりよく理解できるようになります。

もちろん、GPT はまだ最適化中です。たとえば、GPT-4.0 は論理的推論能力が強化されており、画像の内容も理解できます。その展望は計り知れない。

実際、GPT のような非常に複雑なパラメータを持ち、大量のテキストトレーニングを必要とする言語モデルは、大規模言語モデルと呼ばれます。 GPT の他に、Alibaba の PLUG、Huawei の Pangu-α、Baidu の ERNIE 3.0 などがあり、いずれも大規模な言語モデルです。

これらの大規模な言語モデルの助けにより、私たちの仕事やライフスタイルは大きく変化するかもしれません。

準備はできたか？