AIビッグモデルの急速な発展の裏では、「グリーンコンピューティング」による持続可能な開発が実現されているのでしょうか？

現在、人工知能（AI）は、コンピュータービジョン、自然言語処理、時系列分析、音声合成など、多くの分野で広く使用されています。

ディープラーニングの時代、特に大規模言語モデル (LLM) の出現により、ほとんどの研究者の関心は新たな最先端 (SOTA) の結果の追求に集中しており、その結果、モデルのサイズと計算の複雑さはますます増大しています。

高い計算能力の要求は二酸化炭素排出量の増加につながり、資金が限られている中小企業や研究機関の参加を妨げ、研究の公平性を損なうことになります。

コンピューティング リソースと環境への影響に関する AI の課題に対処するために、グリーン コンピューティングが注目の研究テーマとなっています。

最近、アントグループは国内の多くの大学や研究機関と共同で調査レポートを発表しました。このレポートでは、グリーンコンピューティングで使用されるテクノロジーを体系的に概説し、次の4つの主要コンポーネントを含むグリーンコンピューティングフレームワークを提案しました。

グリーン性の尺度: インテリジェント システムに必要なコンピューティング リソースを測定するための主要な要素と方法。一般的に測定されるメトリックには、実行時間、電力消費、モデル サイズなどの直接的なメトリックと、炭素排出量などの間接的なメトリックが含まれます。

エネルギー効率の高い AI : モデル設計、トレーニング、推論など、AI モデルのライフサイクル全体を最適化するためのエネルギー効率の高い方法と、トレーニングと推論中の電力消費を削減するための大規模言語モデルの最適化手法。

エネルギー効率の高いコンピューティング システム: クラスター リソースのスケジューリング、パーティショニング、データ管理の最適化など、コンピューティング システムにおけるリソース消費を最適化するテクノロジ。

持続可能性のための AI: 環境上の利点 (環境のためのグリーン コンピューティング) やエンジニアリングの効率性の向上 (エンジニアリングのためのグリーン コンピューティング) のためのアプリケーションなど、持続可能性を向上させるために AI を使用するアプリケーション。環境グリーン コンピューティングには、衛星画像 CV を使用して大気汚染の排出や炭素隔離の推定を監視するなどのアプリケーションが含まれ、エンジニアリング グリーン コンピューティングには、データベース セキュリティ暗号化の最適化が含まれます。

この研究では、「この新しい研究の方向性は、リソースの制限と AI 開発の間の矛盾を解決する可能性を秘めている」と述べられています。

「グリーンコンピューティングの機会について：調査」と題された関連研究論文が、プレプリントウェブサイト arXiv で公開されています。

論文リンク:

https://arxiv.org/abs/2311.00447

多くの AI アルゴリズムのトレーニングと推論のケースでは、モデルのサイズ、パラメータの調整、トレーニング データがコンピューティング リソースに影響を与える 3 つの主な要因になっています。これを基に、この研究では、実行時間、モデル サイズ、FPO/FLOPS (浮動小数点演算)、ハードウェアの電力消費、エネルギー消費、炭素排出量など、6 つの一般的な「環境保護」測定方法をまとめました。

「グリーン性」の測定を追跡するためのツールには、tfprof、Green Algorithms、CodeCarbon、Carbontracker、Automatic AI Model Greenness Tracking Toolkit などがあります。

画像分類、物体検出、その他の AI タスクでは、LeNet、VGG、GoogleNet などの従来のディープラーニング ニューラル ネットワーク モデルは優れたパフォーマンスを実現していますが、必要なコンピューティング リソースが多すぎます。したがって、本研究では、この問題を解決するために、深さ方向の分離可能な畳み込み、ファイア畳み込み、平坦化畳み込み、および縮小畳み込みを使用することを提案します。

さらに、グラフデータに基づくニューラルネットワークの開発という観点から、本研究では、 GCN の主要な必須コンポーネントを含む ImprovedGCN も提案しました。さらに、この研究では、事前に計算された隣接表現を集約するために使用される別のニューラルネットワークである SeHGNN も推奨されており、複雑さが軽減され、各トレーニングサイクルで隣接頂点を繰り返し集約する冗長な操作が回避されます。

時系列分類に関しては、現在一般的に使用されているアンサンブル学習法では、大量の計算リソースが必要になります。この目的のために、この研究では、LightTS と LightCTS という 2 つの方法を使用してこの問題を解決することを提案しています。

さらに、Transformer は強力なシーケンス モデルですが、シーケンスの長さが長くなるにつれて、必要な時間とメモリが指数関数的に増加します。自己注意型ネットワークは、長いシーケンスを処理するときに大量のメモリと計算リソースを必要とします。このため、この研究では、この課題に対処するために、Effective Attention と EdgeBERT および R2D2 モデルを使用することを推奨しています。

特定のニューラル ネットワーク コンポーネントの設計に加えて、低ランク モジュール戦略、静的パラメーター共有、動的ネットワーク、スーパー ネットワーク戦略など、効率的なニューラル ネットワーク構造設計に使用できる一般的な戦略もいくつかあります。これらの戦略は、あらゆるパラメトリック構造にシームレスに統合できます。

モデルトレーニングに関しては、この研究では、効果的なトレーニングパラダイム、トレーニングデータの効率、ハイパーパラメータの最適化という3つの側面から方法をまとめました。グリーン AI を実現し、ニューラル ネットワークのエネルギー消費を削減するために、モデル プルーニング、低ランク分解、量子化、蒸留などの効果的な方法を採用できます。

エネルギー効率の高いコンピューティング システムに関しては、クラウド データベース リソースの利用の最適化やハードウェアとソフトウェアの共同設計など、さまざまな側面でのソリューションを簡単に紹介しています。これらの原則は、ハイブリッド クエリ最適化や機械学習などのテクノロジを使用して処理プロセスのエネルギー効率を向上させることを含む、データ分析の分野にも適用できます。

グリーン コンピューティングでは、AI は自身の開発と運用においてエネルギー効率が高いだけでなく、環境と持続可能性の課題に対処するためにさまざまなグリーン アプリケーション領域に積極的に参加する必要があることを強調していることは注目に値します。

研究では、AIは監視データ、リモートセンシングデータ、気象データから有用な情報を効果的に抽出し、大気汚染監視、炭素隔離推定、炭素価格予測など多くの分野をカバーし、意思決定と行動の指針を提供できると指摘した。

現在、グリーン コンピューティングはエネルギー効率と炭素排出量の削減に成功していますが、コンピューティング リソースは依然として業界の成長のボトルネックとなっています。この目的のために、この研究では、モデル評価に「グリーン性」の測定を組み込むこと、広く受け入れられているグリーン性評価フレームワークを開発すること、より小規模だが効率的な言語モデルを探求すること、環境への影響を軽減するためのより多くの産業用アプリケーションの促進など、いくつかの将来の研究の方向性を提案しました。

さらに、この研究では、グリーンコンピューティングの将来は、環境の持続可能性とAIの効率性のバランスのとれた発展を達成するための学界、産業界、政府の共同の取り組みに依存すると指摘しました。政策支援、革新的なコラボレーション、ベストプラクティスの共有が、この分野のさらなる発展を推進する鍵となるでしょう。

著者: Yan Yimi 編集者: Academic Jun