世の中にはたくさんの AI モデルが存在します。 1つだけに集中すれば成功しやすくなるでしょうか?

2023 年の初めには、Chat GPT が大規模な AI モデルのトレンドを引き起こしたようです。 2月以降、国内各社もそれぞれ大型モデルを発売している。

BaiduのWenxin Yiyan、AlibabaのTongyi Qianwen、HuaweiのPangu、TencentのHunyuanなどはよく知られています。さらに、多くのテクノロジー企業や学術機関が独自の大型モデルを製作しています。例えば、北京AシステムアカデミーのWuDao 2.0、中国科学院オートメーション研究所のZidong Taichu、復旦大学のMOSS、清華大学のChatGLMなどがあります。

大きなモデルの名前が多すぎると、目が回ります。これらすべての機関がモデルの作成に注力すれば、成功しやすくなるのではないでしょうか。

画像ソース: unsplash.com

この考えには確かにいくらかの真実が含まれています。しかし、人工知能の発展の歴史を見ると、複数の技術と複数のルートを共同で模索することも、人工知能が急速に発展し、何度も「冬」を突破できる理由の一つです。

人工知能の発展における技術的多様性の利点を理解するには、まず象徴主義とコネクショニズムから始めなければなりません。

コンピューターをよりスマートにする

1956 年のダートマス会議において、人工知能は新たな分野として確立されました。世代を超えて科学者たちは、コンピューターを「よりスマート」にする研究に専念してきました。しかし、「賢くなる」というのは抽象的すぎます。具体的にはどうすれば実現できるのでしょうか?

実際、ダートマス会議のずっと前から、人々はすでにこの問題の調査を始めていました。この過程では、いくつかの異なるルートが出現しましたが、その中で「象徴主義」と「コネクショニズム」は 2 つの重要な代表的なルートです。

象徴主義の考え方は、人間の知能は主に高度な推論に反映されるというものです。「知能の基礎は知識であり、知能の核心は知識の表現と推論である。」知識や論理的推論は数学記号に変換することができ、それらの推論や計算のプロセスも数式記号を使用して表現することができます（このため、この学派は「記号主義」と呼ばれます）。

シンボリズムの最も代表的な技術は「エキスパートシステム」です。エキスパート システムの背後にある考え方は、特定の分野の知識とロジックをシンボルの形で表現し、それを知識ベースと推論エンジンに整理することです。エキスパート システムは、入力条件に基づいて、知識ベース内の知識と推論エンジン内の確立された論理的推論方法を使用して段階的に推論し、知識ベースにない正しい結果を得ることができます。

1955年に「Logic Theorist」という番組が登場しました。このプログラムは、「Principia Mathematica」の 52 の定理のうち 38 を推論することができ、いくつかの定理についてはより簡潔な証明方法も提供します。

このプログラムは、「最初の人工知能プログラム」と呼ばれることもあります。人工知能の出現以来長い間、象徴主義は人工知能の分野で重要な位置を占めてきました。 「人工知能」という言葉自体も、主に象徴学派の科学者によって付けられた新しい名前です。

もちろん、シンボリズムが大きく発展する一方で、同時に発展してきたコネクショニズムなど、コンピューターに「知性」を与えるための他の探求も止まっていません。

コネクショニズムと人工ニューラルネットワーク

コネクショニズムは、人間の知的行動を説明するために人間の脳の構造を根本から研究し、模倣するバイオニクスに似ています。

コネクショニズムは、微視的な神経節間の活動が最終的に巨視的な認知知能を生み出すと信じています。この考え方は、他の科学分野におけるボトムアップの方法論とも一致しています。たとえば、基本的な物理的知識を使用して、高度な化学反応の原理を説明するなどです。その開発により、今日の人工知能分野で最も重要な技術の 1 つである人工ニューラル ネットワークが誕生しました。

画像ソース: unsplash.com

1943 年、ウォーレン・マカロックとウォルター・ピッツは、生物学的ニューロンに類似した数学モデルである MP ニューロン モデルを提案しました。このモデルは実際にニューロン細胞を模倣し、入力信号を処理して特定の情報を提供します。

1949 年、神経心理学者のヘブは、人間の脳内のニューロン間で伝達される信号の強さは固定ではなく「可塑性」があることを発見しました。この理論は後に「ヘブの法則」として知られるようになり、人工ニューラル ネットワークの開発に重要な役割を果たしました。

ローゼンブラットは、MP ニューロン モデルとヘブの法則に基づいて、1958 年にパーセプトロン モデルを確立しました。これは、「学習能力」を備えた最も初期の人工ニューラル ネットワークとして知られています。米海軍はこのニューラル ネットワークに大きな期待を寄せており、新世代のニューラル コンピュータになることを期待してハードウェア マシンの構築に多額の投資を行ってきました。このプロジェクトはアメリカ海軍にとって重要なプロジェクトです。

しかし、当時の計算能力と技術の限界により、パーセプトロンの機能は制限されすぎていて、非常に単純な線形分類問題しか解けないことがすぐに分かりました。

MIT のマービン・ミンスキー氏とシーモア・パパート氏 (子供向けプログラミングの初期の提唱者でもある) は、「人工ニューラル ネットワークの使用は非常に限られており、単純な「XOR」問題さえも解くことができない」と公に述べた本を執筆しました。

1960 年代後半、人工ニューラル ネットワークの研究は低迷しました。ほぼ同時に、投資家たちは、人々が期待していた「人工知能の爆発」が到来していないことに気づき始めた。

たとえば、1958 年には、10 年以内にコンピューターをチェスのチャンピオンにすることができるようになると信じる科学者もいました (実際には、これは予想より 30 年近く遅れて、1997 年まで実現しませんでした)。 1970 年、一部の科学者は「3 年から 8 年以内に、普通の人間と同等の知能を持つロボットが登場するだろう」と信じていました。しかし、これは明らかに不可能であり、今日まで私たちはそのような機械を作ることができていません。

こうした「明るい未来」は実現せず、政府や投資家は研究開発資金を大幅に削減し、人工知能にとって初めての寒い冬が到来した。

AI 冬

しかし幸いなことに、人工知能の分野には複数の技術的なルートがあります。寒い冬の間、コネクショニスト人工ニューラルネットワークの開発は困難でしたが、シンボリックエキスパートシステムは静かに台頭していました。

1972年に、患者の症状に基づいて適切な治療計画を推測できるMYCINと呼ばれるエキスパートシステムが登場しました。

画像ソース: unsplash.com

例えば、MYCIN には、さまざまな内科疾患の症状や原因、それぞれの疾患にどのような薬が適しているか、またどの薬同士が反応するかなどが記録されています。下痢の症状がある場合、対応する症状（体温、血液検査データ、持続時間など）を入力するだけで、MYCIN は病気を推測し、適切な薬を処方します。

MYCIN が出した治療計画の「許容スコア」は、人間の専門家のスコアとほぼ同じです (MYCIN は 65%、人間の専門家 5 名は 42.5%～62.5%)。

MYCIN に加えて、XCON と呼ばれる別のエキスパート システムにより、DEC は毎年数千万ドルのコストを節約しています (XCON は専門的な注文処理システムとして理解できます)。エキスパート システムが実際に経済的利益をもたらすことに気づいた他の企業も、1980 年代に追随し、コストを節約するために独自のエキスパート システムを構築し始めました。

しかし、エキスパートシステムの普及に伴い、その欠点が徐々に明らかになってきています。たとえば、エキスパート システムの知識ベース内の知識は自動的に更新されず、エキスパート システムの保守コストは非常に高くなります。

エキスパート システムはすぐに行き詰まりに陥り、このとき、コネクショニスト人工ニューラル ネットワークが独自の「ルネッサンス」を到来させました。

1970 年代と 1980 年代に、科学者たちは「バックプロパゲーション アルゴリズム」の重要性を発見しました。 1982 年、ポール・ウェッブスはバックプロパゲーション アルゴリズムを多層パーセプトロンに適用しました。これは人工ニューラル ネットワークの開発にとって非常に重要でした。今日、私たちの人工ニューラル ネットワークは、バックプロパゲーション アルゴリズムとほぼ切り離せません。

このことから、寒い冬であろうと人工知能のルネッサンス期であろうと、象徴主義とコネクショニズムの研究は継続しており、それが人工知能技術が飛躍的に進歩するための条件を提供していることがわかります。こうした多様な研究基盤がなければ、AI研究は一定の道筋で行き詰まり、前進することが困難になる可能性があります。

もちろん、人工知能技術そのものに加え、他の産業におけるブレークスルーも人工知能分野の発展を促進するでしょう。たとえば、1990 年代以降、チップ技術が急速に発展し、コンピューターの計算能力が急速に向上しましたが、これは人工知能の発展にとっても重要です。

たとえば、1990 年代以前は、バックプロパゲーション アルゴリズムを使用しても、多数の層 (5 層以上) を持つディープ ニューラル ネットワークをトレーニングすることは非常に困難であったため、人工ニューラル ネットワークはサポート ベクター マシンに置き換えられました。 2000年頃には、GPUの登場により人工ニューラルネットワーク（主にディープニューラルネットワーク）のトレーニング速度が大幅に向上しました。さらに、インターネットの普及により、AIが学習するためのデータが大量に得られるようになり、ディープラーニング技術が登場し始めました。

BERT と GPT

今日、人工知能技術は急速に発展しており、多様な研究によって予期せぬブレークスルーがもたらされる可能性があります。たとえば、今日私たちがよく知っている ChatGPT は、並行して進行している複数の研究プロジェクトの恩恵を受けています。

2017年、Google Brainの科学者たちは「必要なのは注意だけ」と題した論文を発表し、Transformerモデルを提案した。

簡単に言えば、Transformer は、コンピューターが人間の言語をよりよく「理解」できるようにするモデルです。これは、「注意」と「自己注意」のメカニズムを紹介しています。これは、私たちが本を読むときに、より理解しにくい断片や単語や文章に焦点を当て、文脈の意味を統合してこれらの断片や単語を理解するのと似ています。

Transformer をベースにしたさまざまな大規模モデルの開発が続けられ、2018 年に Google は BERT モデルをリリースしました。同年、Open AI も GPT モデルを発表しました。 2 つのモデルには多くの類似点がありますが、いくつかの相違点もあります。

簡単に言えば、BERT はテキスト内の単語の意味を理解するのに優れており、GPT はテキストを生成するのに優れています。

BERT は、試験の空欄を埋めるのと少し似て、単語の表と裏の両方の意味を理解することができます。たとえば、「私のペットは吠える（）で、骨を噛むのが大好きです。」 BERT は、スペースの前後の単語から、この単語が「dog」である可能性が高いと判断するのが非常に得意です。

GPT は一方向で、私たちが読むように左から右に分析し、次の単語を予測します。たとえば、「私のペットは吠える犬で、（）が大好きです」という文章では、GPTは以前の情報に基づいて次のコンテンツを完成させることができます。

BERT の登場以来、その優れた意味理解性能により自然言語処理で注目を集めています。 2018年から2020年にかけて、GPTモデルは現在ほど注目されていませんでしたが、その研究はそこで止まりませんでした。

2019 年と 2020 年に、Open AI は GPT 2.0 と GPT 3.0 を相次いでリリースしました。 GPT 3.0では、GPTのパラメータは1750億に達し、トレーニングサンプルは40TBを超えました。 GPT 3.0 は、以前の GPT モデルよりも強力な理解および生成機能を示しました。

GPT3.5では、人間がラベル付けしたトレーニング方法が追加され、パフォーマンスがさらに向上しました。 Chat GPTの登場後、ますます多くの人々がGPT技術について知るようになり、人工知能は再び人類の技術開発の舞台の中心へと押し上げられました。

あらゆる研究は注目に値する

このことから、人工知能開発の全過程において、多様な研究開発が人工知能技術にさらなる可能性をもたらしたことがわかります。たとえば、1960 年代から 1990 年代にかけて、エキスパート システム、人工ニューラル ネットワーク、サポート ベクター マシンが同時に開発されました。一つの技術が問題に直面すると、他の技術が登場するでしょう。

これは人工知能の分野全体に当てはまりますが、大規模モデルなどの領域に焦点を当てた場合にも当てはまります。自然言語処理の分野では、科学者は BERT の優れた成果のせいで GPT を無視したわけではありません。これにより、Chat GPT は 2023 年にすべての人に知られるようになる機会が与えられます。

GPTやBERT以外にも、大規模モデルの分野では研究開発中のモデルが数多く存在します。これらのモデルの特定のテクノロジーと成果は、将来的には自然言語処理、さらには AI 業界に破壊的な変化をもたらす可能性があります。

したがって、元の質問に戻ると、すべての企業と機関がモデルのトレーニングに努力とリソースを集中すれば、確かに超大規模モデルを作成できるチャンスがあります。しかし、その過程で、貴重な「技術的多様性」が失われる可能性がある。さまざまな企業の商業的配慮も、客観的に見て AI の多様な発展を促進する可能性があります。

参考文献

[1] 中国百科事典

https://www.zgbk.com/ecph/words?SiteID=1&ID=216644&SubID=81535

[2] スタンフォード哲学百科事典

https://plato.stanford.edu/archives/fall2018/entries/connectionism/#DesNeuNet

[3]MCCULLOCH WS、PITTS W.神経活動に内在するアイデアの論理的計算[J]。Bulletin of Mathematical Biophysics、1943、5：115-133。

[4]HEBB DO『行動の組織化：神経心理学理論』[M]ローレンス・アールバウム・アソシエイツ、ニュージャージー州、1949年。

[5]ROSENBLATT F.パーセプトロン：脳内の情報の蓄積と組織化のための確率モデル[J].心理学評論、1958年、65(6):386-408。

[6]サイモン＆ニューウェル1958、p. 7−8 Crevier 1993、p. より引用。 108.

[7]Yu VL、Fagan LM、Wraith SM、Clancey WJ、Scott AC、Hannigan J、Blum RL、Buchanan BG、Cohen SN。コンピュータによる抗菌剤の選択。感染症の専門家による盲検評価。ジャマ。 1979年9月21日;242(12):1279-82. PMID: 480542。

[8]Vaswani A、Shazeer N、Parmar N、他。あなたに必要なのは注目だけです[J]。神経情報処理システムの進歩、2017年、30。

企画・制作

著者: 秦増昌、北京航空航天大学教授

田大偉、科学人気作家

監査丨テンセントセキュリティ玄武ラボ責任者、Yu Yang

企画丨Xu Lai Cui Yinghao

編集者：イヌオ