中国科学院の李国奇氏：脳型コンピューティングの過去と現在を整理した論文

出典: 知源コミュニティ

はじめに: 人間の脳の活動は複雑で継続的な動的プロセスであり、その複雑さは現在のコンピューティング リソースでシミュレートできる上限をはるかに超えていることはよく知られています。脳には約 1,000 億個のニューロンと 100 兆個のシナプスがあり、シナプス接続の平均長さは約 10 ～ 1,000 ミクロンです。各ミクロンの接続が 1 つの微分方程式で近似されると仮定すると、大まかに見積もると、人間の脳には約 100 兆から 100 兆個のパラメータがあることになります (このパラメータは過小評価されている可能性があります)。

脳のようなコンピューティングの核心は、生物神経系の情報処理モードや構造を利用し、それに応じたコンピューティング理論、チップアーキテクチャ、アプリケーションモデル、アルゴリズムを構築することです。脳のようなコンピューティングは、ポストムーア時代における最も重要な開発方向の 1 つと考えられており、将来のインテリジェント コンピューティングにおける画期的な進歩となる可能性があります。

知遠研究所の第16回清遠トークイベントにおいて、中国科学院自動化研究所の研究員である李国奇氏が「脳型コンピューティングの研究の進歩と展望」と題する報告を行った。李国奇氏はまず、脳型コンピューティングの基本概念を紹介し、次に、脳型コンピューティング システムのモデル アルゴリズム、ソフトウェア、チップ、データなど、さまざまな側面から脳型コンピューティング システムの最新の研究の進歩を紹介しました。最後に、脳型コンピューティングシステムの開発動向を総括し、展望を述べた。

著者について: Li Guoqi 氏は、中国科学院自動化研究所の研究者であり、博士課程の指導者であり、北京人工知能アカデミーの若手科学者です。 Li Guoqi 氏は、Nature、Nature Communications、Proceedings of the IEEE、IEEE TPAMI などのジャーナルや、ICLR、NeurIPS、AAAI、CVPR などの会議で 150 本以上の論文を発表しています。中国における脳型コンピューティングの分野で初期の学術論文を出版した。彼の論文は Google Scholar で 4,500 回以上引用されています。 2017年に北京自然科学基金の優秀若手人材に選ばれ、2018年に中国指揮統制学会の科学技術部門一等賞を受賞、2019年に北京知源人工知能研究所の「知源学者」に選ばれ、2021年に福建省科学技術進歩二等賞を受賞、2021年に北京優秀青年基金から資金援助を受け、2022年に中国科学院の「百人計画」に選ばれました。彼が参加した脳型チップの理論、アーキテクチャ、ツールチェーンに関する研究は、2019年の中国科学のトップ10の進歩と、2020年の世界人工知能のトップ10の進歩の1つに選ばれました。

編纂者：王光華

編集者：李孟佳

01

脳にヒントを得たコンピューティングとは何ですか?

脳のようなコンピューティングは、近年出現した新しい研究分野です。人工知能や機械学習などの分野と同様に、正確に定義することは困難です。現在、業界には脳のようなコンピューティングの概念について、世界的に認められた定義はありません。

Li Guoqi 氏は、脳のようなコンピューティングの記述的定義は「人間の脳が情報を処理する方法にヒントを得て、より一般的な人工知能と効率的なインテリジェント エッジ/クラウド エンドを備えた情報システムの構築を目指すテクノロジーの総称」であると指摘しました。脳型コンピューティングは、脳科学、計算神経科学、認知科学、さらには統計物理学などの分野の知識を統合して、既存の従来のコンピューティング技術のいくつかの問題を解決し、より汎用的で効率的かつインテリジェントな新しい情報システムを構築することを目的としています。

狭義の脳型コンピューティングとは、ニューロモルフィック コンピューティングを指し、主に計算神経科学から派生したスパイキング ニューラル ネットワーク (SNN) をサポートするニューロモルフィック チップの開発を伴います。広い意味での脳のようなコンピューティングには、インメモリ コンピューティング、メモリスタ チップ、さらには従来の人工ニューラル ネットワーク (ANN) をサポートする AI チップの開発も含まれます。したがって、人工知能のような脳型コンピューティングの研究開発も、モデルアルゴリズム、ソフトウェア、チップ、データなど、さまざまな方向からの調整が必要です。

02

脳のようなコンピューティングモデル: 神経科学と AI のギャップを埋める

現在、神経科学と人工知能の間には大きな隔たりがあります。神経科学は脳内の微細構造と生理学的詳細を再構築することに重点を置いているのに対し、人工知能は神経構造の数学的抽象化を通じて効率的なコンピューティングを実現することに重点を置いています。

したがって、人工知能と神経科学をどのように相互統合するかは困難な課題となります。脳のようなコンピューティングでは、パルスニューラルネットワークが生物学的合理性と計算効率を組み合わせ、人工知能の新しいパラダイムを提供する可能性があります。簡単に言えば、SNN = ANN + ニューロンダイナミクスです。生物学的に妥当で計算効率の高いスパイキング ニューロン モデルを見つける方法、およびスパイキング ニューロン モデルと AI タスクの関係を確立する方法は、脳に着想を得たコンピューティングの分野における中心的な課題です。

現在、SNN では、ニューラル ネットワークを構築するための基本単位として、一般的に LIF ニューロンが使用されています。その理由は、LIF ニューロンは IF モデルのシンプルさと使いやすさを備え、HH ニューロン モデルのような生物学的ニューロンの豊富な生理学的特性をシミュレートできる典型的な総合モデルだからです。

ご存知のとおり、ANN と SNN にはそれぞれ独自の特徴と強みがあります。 ANN は既存のコンピュータの計算特性を最大限に活用し、ニューロン状態で情報を表現し、空間領域で情報を伝送することができ、その主な演算は密な行列ベクトル乗算です。対照的に、SNN はパルスシーケンスを使用して情報を表現し、空間領域と時間領域の両方で情報を伝送し、その主な操作は計算効率と生物学的信頼性の両方を備えたイベント駆動型のスパース加算です。

03

脳のような学習アルゴリズム

ANN トレーニングと比較して、効率的な SNN トレーニングには、スパイキング ニューロンにおける複雑な時空間動的プロセス、スパイキング ニューロン間で伝送されるパルス情報の非微分性、パルスの劣化、トレーニング精度の低下など、多くの問題と課題があります。現在、SNN のトレーニング方法には、主に教師なし学習、間接教師あり学習、直接教師あり学習が含まれます。これらのトレーニング方法は、さまざまな視点から上記の問題や課題に対処しようとします。

1. STDPに基づく教師なし学習

スパイクタイミング依存可塑性 (STDP) は、脳ニューロン間の重み接続の更新を制御でき、典型的な教師なし学習方法です。簡単に言えば、2 つのニューロンの発火時間が近いほど、それらの間の結合関係が強くなります。上の図に示すように、2 つのニューロンが次々に活性化すると、時系列的に近い関係にある 2 者は接続を強化し、逆の関係にある 2 者は接続を弱めます。そのため、ニューロン間には一方向の強化接続が確立されることが多いです。

2 つのニューロンが同時に活性化されると、共通の下流ニューロンとより密接な接続が形成され、2 つのニューロンは兄弟ニューロンとなり、互いに間接的な関係を持つことになります。たとえば、STDP ルールと Winner-Take-All (WTA) を組み合わせた学習モデルは、シンプルで効果的な教師なし学習方法です。

具体的には、入力層で画像がパルスシーケンスに変換され（パルスの発火率はピクセル値に比例します）、ニューロンは完全接続形式で順方向接続され、興奮性入力を受け入れ、STDP ルールを使用して更新されます。これらは抑制ニューロンと 1 対 1 で後方接続されており、側方抑制 (つまりソフト WTA) を生成し、適応しきい値を通じてパルス発火率のバランスをとります。

STDP モデルはルールをローカルに調整することで学習するため、ニューロモルフィック チップ上で分散実装を簡単に実装でき、オンライン学習機能も備えています。しかし、局所的なシナプス可塑性だけでは、個々のシナプスの変化がどのように神経系全体の目標の達成を調整するのかを説明するには不十分です。同時に、李国奇氏は、この教師なし学習のトレーニング方法には、高性能なネットワークを得るのが難しい、大規模なディープニューラルネットワークでは使用できないなどの問題があるとも指摘した。

2. ANNからSNNへの間接教師あり学習

ANN 変換 SNN 方式とは、ANN モデルをトレーニングし、学習後に ANN の重みを同じ構造の SNN に移行することを指します。基本的な考え方は、SNN の平均パルス発火率を使用して、ANN の ReLU 活性化値を近似することです。

そのため、ANN 変換 SNN 方式では、モデル精度とモデルシミュレーションのステップ サイズ T の間にトレードオフの問題があります。この方式では、教師あり信号を使用して元の ANN モデルで勾配逆伝播トレーニングを実行し、それを SNN モデルに変換するため、間接的な教師あり学習になります。

ANN 変換 SNN 方式はスケーラビリティが高く、新しく出現した、または大規模な ANN ネットワーク構造を対応する SNN バージョンに簡単に変換できます。一般的に、シミュレーション時間ステップ T が大きいほど、SNN の平均パルス発火率は ANN の活性化値に近くなり、2 つのモデル間の誤差が小さくなるため、ANN から SNN へのほぼ「ロスレス」な変換が実現します。ただし、時間ステップ T が長すぎると、トレーニングと推論の効率が低下し、SNN の電力消費の利点も減少します。さらに、Li Guoqi 氏は、この方法は基本的に SNN を使用して ANN を近似するため、変換プロセス中に SNN 内の利用可能な時間依存信号が失われ、アプリケーション シナリオが比較的制限される可能性があると指摘しました。

3. SNN直接教師あり学習の開発

上記 2 つのトレーニング方法の制限を回避し、SNN を効果的にトレーニングできない問題を解決するために、Li Guoqi 氏と彼のチームは以前に STBP (Spatio-Temporal Backpropagation) などの SNN 直接トレーニング方法を提案しました。

直接トレーニング アルゴリズムの難しさは、SNN の複雑な時空間動的特性と、微分不可能なパルス放出の問題にあります。 Li Guoqi 氏のチームが提案した解決策は、パルスニューロンの微分方程式形式をコンピューターシミュレーションに便利な差分方程式形式に変換し、情報を時間と空間の次元に沿って同時に拡張し、パルス勾配近似法を使用することです。近似置換関数はパルス放射の「非線形特性」を保持するため、その勾配近似曲線は一定の堅牢性を持ちます。

STBP は SNN ネットワークのバックプロパゲーション トレーニングにおける勾配置換問題を解決しますが、それでも 10 層以下の小規模ネットワークしかトレーニングできません。主な問題は、ネットワークが深くなると、ANN と比較して、スパイクニューロンのバイナリ活性化方法とその複雑な時空間ダイナミクスにより、ネットワークの勾配が消失または爆発する可能性が高くなることです。

SNN の時空間動的特性をさらに分析すると、適切なネットワーク パルス発火率を得るためにニューロン膜電位と閾値のバランスを確立することが、ネットワークのパフォーマンスにとって非常に重要であることがわかります。発火率が低すぎると有効な情報が不十分になる可能性がありますが、発火率が高すぎると SNN ネットワークの入力を区別する能力が低下します。

そこで、Li Guoqi 氏のチームは、スパイクニューロンの閾値と組み合わせた BN アルゴリズム、つまり閾値依存 BN 法 (TDBN) をさらに提案し、SNN を制約するスケールボトルネックの問題を軽減しました。初めて SNN のネットワーク規模が 50 層に増加し、ImageNet などの大規模データセットで競争力のあるパフォーマンスが達成され、この方法が深層 SNN の勾配消失と爆発の問題を軽減できることが証明されました。

TDBN は SNN の規模を改善しましたが、そのパフォーマンスは従来の ANN の数百層からなるディープ ネットワークと比較するとまだ不十分であり、大規模なデータ セットで ANN と競合するには不十分です。 SNN のネットワーク表現能力をさらに向上させ、ネットワーク規模を拡大してタスクパフォ​​ーマンスを向上させるには、古典的な ResNet 構造を借用することが実現可能な方法であると思われます。

しかし、ResNet 構造を SNN (Vanilla Res-SNN) に直接コピーすると、パルス劣化の問題が発生し、ネットワークが深くなるほど精度が低下します。そこで、Li Guoqi 氏のチームは、LIF ニューロンを残余ブロックに配置し、異なる層のニューロンの膜電位間のショートカットを確立する新しい Ms-Rse-SNN 構造を提案しました。動的等長理論は、提案された構造にパルス劣化の問題がないことを証明するために使用されています。大規模SNN（482層CIFAR-10、104層ImageNet）の直接トレーニングの問題は比較的広い範囲で解決され、後者はTop-1 76%分類精度のSOTA結果を達成しました。

さらに、SNN がデータを処理する方法に応じて、データ依存の処理アプローチを使用すると、一部のタスクで SNN を直接トレーニングすることで、パフォーマンスがさらに向上する可能性があります。たとえば、ニューロモルフィック ビジョン タスクでは、イベント ストリーム データはスパースで不均一な特性を持つことがよくあります。

この観察に基づいて、Li Guoqi 氏のチームは時間的注意パルス ニューラル ネットワークを提案しました。異なる時間におけるイベント ストリームの入力信号対雑音比に応じて、時間的注意メカニズムと組み合わせて SNN を使用し、データ駆動型の方法でタスク処理を実行します。これにより、パフォーマンスが向上し、ネットワークのエネルギー消費がさらに削減されます。実験結果によると、入力の半分が削除されても、SNN のパフォーマンスは基本的に変わらないか、わずかに向上することが示されています。要約すると、SNN は現在、大規模なディープ モデルとアルゴリズムの開発段階に入っており、従来の人工知能分野のさまざまな下流タスクにさらに適用されることになります。

04

脳にヒントを得たコンピューティングソフトウェア

脳に着想を得たコンピューティング ソフトウェア フレームワークとツールには通常、ニューロモルフィック チップ ツール チェーン、ニューラル システム シミュレーション、SNN 学習フレームワークという 3 つの側面が含まれます。詳細については、IEEE Transactions on High Performance Computing に掲載された清華大学の張有輝教授のレビュー論文を参照してください。

ニューロモルフィック チップのツール チェーンはまだ初期段階にあり、ソフトウェアとハ​​ードウェアの密接な結合、汎用性と自動化の低さ、使いやすさの悪さなど、多くの問題があります。ニューラル システム ソフトウェア シミュレーション フレームワークは生物学的ニューラル ネットワークを詳細にシミュレートできますが、ユーザーには計算神経科学に関する一定の基礎知識が必要です。

既存のシミュレーション ツール ソフトウェア フレームワークは通常 C 言語で開発されており、クロスプラットフォーム機能がなく、さまざまなバックエンド ハードウェアの詳細な最適化をサポートしていません。さらに、これらのソフトウェアは通常、CPU や GPU などの汎用ハードウェア向けに設計されており、さまざまな種類のニューロモルフィック チップをサポートしていません。 SNN 学習フレームワークの目標は、ディープラーニング フレームワーク開発の利便性と SNN の特性を組み合わせ、ディープラーニング分野のさまざまなリソースを最大限に活用し、SNN ネットワークのトレーニングを加速することです。関連する作業は基本的に初期段階にあり、十分に安定しておらず、さまざまなソフトウェアおよびハードウェア インターフェイスに適応できません。 GPUアーキテクチャをベースに開発しても、SNN自体の特性を高速化に十分に活かすことは難しい。

05

脳のようなコンピューティングチップ

機能的な観点から見ると、脳のようなチップは主に次の 4 つのカテゴリに分類されます。

主に人工ニューラルネットワーク向けのディープラーニングアクセラレータ（TPU、Cambrian、Huawei Ascendなど）をサポートします。

主にスパイキングニューラルネットワークをサポートするニューロモルフィックチップ（TrueNorth、Loihi、Darwinなどのチップ）。

人工/スパイキングニューラルネットワークをサポートする異種融合チップ（Tianjinc チップ）。

また、ニューロンプログラミングをサポートする脳シミュレーションチップ（SpiNNaker、ROLLS、Loihiなどのチップ）や、低遅延かつ高ダイナミクスのニューロモルフィックカメラに代表される知覚チップもあります。

脳のようなチップのアーキテクチャには、主流のディープラーニング アクセラレータで使用されるストレージとコンピューティングの分離アーキテクチャ、主流のマルチコア分散アーキテクチャ チップのニアメモリ コンピューティング アーキテクチャ、およびインメモリ コンピューティング チップとメモリスタ チップで使用されるストレージとコンピューティングの統合アーキテクチャが含まれます。チップ設計の観点から見ると、ルーターで接続されたマルチコア アーキテクチャのチップはスケーラビリティが向上し、複数の機能コアが独立して動作し、コアは定期的に同期してデータを共有します。そのため、サポートされるネットワーク規模が大きく、SNN の適用範囲が広がります。

純粋なデジタル信号を使用する小規模なシングルコア チップは、インメモリ計算を使用して行列ベクトル乗算を実行でき、同期および非同期の設計プロセスを備え、エネルギー効率が高く、静的電力消費が低く、テクノロジの移行が容易ですが、ニューロンとシナプスの規模は制限されます。小規模シングルコアハイブリッドデジタルアナログチップは、デジタル非同期パルスルーティングを使用し、インメモリデジタル計算方式を使用して行列ベクトル乗算を実行し、アナログ膜電位を使用してアクティブ化と更新を行います。そのため、エネルギー効率は最も高いのですが、ニューロンやシナプスの数が少ない、設計が不便などの問題もあります。

06

脳のようなコンピューティングデータ

ご存知のとおり、ディープラーニングの開発には、アルゴリズム、コンピューティング能力、開発ツール、大規模データという 4 つの要素が必要です。ディープラーニングの分野では、分類、検出、追跡、自然言語などをカバーする数百のオープンソースデータセットが、ディープラーニングの繁栄を大きく促進してきました。

対照的に、脳のようなデータセットは非常に少なく、既存のデータセットには主に次の 4 つのカテゴリが含まれます。

最初のカテゴリは、変換アルゴリズムを使用して ANN データセットをイベント信号データセットに変換することです。代表的なデータセットには、ImageNet から変換された ES-ImageNet、UCF101 から変換された ES-UCF101 イベント信号データセット、BDD100K から変換された BDD100K-DVS イベント信号データセットなどがあります。

2 番目のカテゴリは、ニューロモルフィック カメラ DVS を使用して、画像またはビデオ データベースを N-MNIST、CIFA10-DVS などのイベント データセットに変換することです。

3 番目のカテゴリは、DVS-Gesture、PKU-DDD17-CAR、Gen1 Detection、1Mpx Detection、PKU-DAVIS-SOD など、ニューロモルフィック カメラ DVS によって直接キャプチャされたデータセットです。最後のカテゴリは、EEG データセット、脳コンピューターインターフェース (BCI) 関連データセット、フレームデータとイベントの混合データなど、他の種類の脳のようなデータセットです。

07

脳型システムの開発動向

最後に、李国奇氏は自身の考えに基づいて脳型コンピューティングの今後の発展動向をまとめ、脳型システムの枠組みをまとめました。

モデルアルゴリズムの観点では、モデルパラメータ、ネットワークの深さや幅を増やすことで SNN モデルをより大きく、より強力にできるだけでなく、さらに重要なことに、ニューロンの内部の複雑さを高める機能を提供できるため、神経科学と人工知能の間のギャップが縮まります。したがって、より豊富なダイナミクスを含むニューロン モデル、ニューラル ネットワーク、および対応するアルゴリズムを構築することが、将来の重要な方向性となります。

脳のようなソフトウェアに関しては、SNN の研究エコシステムをいかに改善するかが、今後の発展の唯一の道です。重要な方向性としては、ニューロモルフィック ツール チェーンのソフトウェアとハ​​ードウェアの分離、SNN トレーニング アクセラレーション フレームワーク、効率的なニューラル システム シミュレーションなどがあります。脳のようなデータに関しては、スパースなイベント特性と豊富な時間スケール/空間スケール特性を備えた大規模なマルチモーダル混合データセットを構築することが非常に重要です。

脳のようなチップに関しては、ニューロモルフィック チップがどのようにより効率的な知覚、ストレージ、コンピューティングを実行できるか、また、センシング、ストレージ、コンピューティングを統合したコンピューティング システムをどのように構築するかが主な焦点となっています。より効率的なチップアーキテクチャの研究や、より脳のような要素を備えたチップ機能の開発も、将来の開発の重要な方向性です。チップアーキテクチャの面では、脳のようなチップの階層型ストレージシステム、効率的なオンライン学習アーキテクチャ、および他のハードウェアプラットフォームとの効率的な互換性を検討できます。チップ機能の面では、微分方程式や線形方程式の解法などの演算子サポートをさらに統合する方法や、演算子レベルでより脳に似たニューロンモデルやネットワーク構造をサポートする方法を検討できます。

李国奇氏は、脳型システムの全体的な枠組みには、脳型モデル、アルゴリズム、ソフトウェア、チップが含まれており、豊富な脳型データで構築されたコンピューティングシステムと組み合わされていると考えています。人工知能の分野では、効率的なクラウド/エッジブレインのようなコンピューティングシステムの構築に向けて発展することができます。脳科学の分野では、既存のスーパーコンピューティング サーバー クラスターを使用して神経ダイナミクスをシミュレートし、より複雑な脳シミュレーションおよび神経シミュレーション システムを構築できます。