ゲームの世界を制覇した初の AI エージェント!人間のように指示に従ってタスクを受け入れることができますか?

ビデオゲームは人工知能 (AI) システムにとって重要なテストの場です。現実世界と同様に、ゲームは応答性の高いリアルタイムの設定と常に変化する目標を備えた、豊かな学習環境です。

Google DeepMind は、Atari Games との初期の取り組みから、StarCraft II を人間のマスターレベルでプレイできる AlphaStar システムの能力まで、AI とゲーム分野で長い歴史を持っています。

最近、Google DeepMind は、単一のゲームから、汎用的で指導可能なゲームをプレイする AI エージェントに焦点を移すという新たなマイルストーンを発表しました。

Google DeepMind は新しい技術レポートで、3D 仮想環境向けの汎用 AI エージェントである SIMA (Scalable Instructable Multiworld Agent) を紹介しています。 Google DeepMind はゲーム開発者と協力して、さまざまなビデオゲームで SIMA をトレーニングしました。この研究は、AI エージェントがさまざまなゲームの世界を理解し、人間のように自然言語の指示に従ってその中でタスクを実行する能力を実証した初めての研究です。

この仕事は高い成績を取るためのものではありません。 1 つのビデオ ゲームをプレイすることさえ学習することは、人工知能システムにとっては技術的な偉業ですが、さまざまなゲーム環境で指示に従うことを学習することで、AI エージェントはあらゆる環境でより効果的になる可能性があります。

Google DeepMind の研究では、高度な AI モデルの機能が言語インターフェースを通じて現実世界での有用なアクションに変換される様子が示されています。彼らは、SIMA やその他のエージェント研究がビデオ ゲームをサンドボックスとして使用し、AI システムがどのように役立つかをより深く理解することを期待しています。

ビデオゲームから学ぶ

SIMA をより多くの環境に公開するために、Google DeepMind はゲーム開発者と数多くのパートナーシップを確立し、研究を行っています。彼らは 8 つのゲーム スタジオと協力し、Hello Games の No Man's Sky や Tuxedo Labs の Teardown など、9 つの異なるビデオ ゲームで SIMA をトレーニングおよびテストしました。 SIMA ポートフォリオの各ゲームは、簡単なナビゲーションやメニューの使用から、資源の採掘、宇宙船の操縦、ヘルメットの作成まで、さまざまなスキルを学べる新しいインタラクティブな世界を提供します。

Google DeepMind は、Unity で構築された Architecture Lab と呼ばれる新しい環境を含む 4 つの研究環境も使用しました。この環境では、エージェントはブロックから彫刻を組み立て、オブジェクトの操作と物理世界に対する直感的な理解をテストします。

SIMA はさまざまなゲームの世界から学習することで、言語とゲームの動作のつながりを捉えます。最初のアプローチでは、一方のプレイヤーがもう一方のプレイヤーを観察して指導するゲーム構成で、人間のプレイヤーのペアを記録しました。また、研究者らはプレイヤーにゲームを自由にプレイしてもらい、その後彼らの行動を再観察し、彼らのゲーム行動につながった可能性のある指示を記録しました。

図 | SIMA は、事前にトレーニングされた視覚モデルと、キーボードやマウスの操作を出力できるメモリを含むメイン モデルで構成されています。

SIMA: 多機能AIエージェント

SIMA は、環境を認識して理解し、コマンド目標を達成するためのアクションを実行できる AI エージェントです。これは、正確な画像言語マッピングのためのモデルと、画面上で次に何が起こるかを予測するためのビデオ モデルで構成されています。 Google DeepMind は、SIMA ポートフォリオの特定の 3D 設定からのトレーニング データに基づいてこれらのモデルを微調整しました。

SIMA では、ゲームのソース コードやカスタマイズされたアプリケーション プログラミング インターフェイスへのアクセスは必要ないと言われています。必要な入力は、画面上の画像とユーザーが提供する簡単な自然言語による指示の 2 つだけです。 SIMA はキーボードとマウスの出力を使用してゲーム センターのキャラクターを制御し、これらのコマンドを実行します。このシンプルなインターフェースは人間が使用するものであり、SIMA はあらゆる仮想環境と対話できることを意味します。

SIMA の現在のバージョンでは、ナビゲーション (「左に曲がる」など)、オブジェクトの操作 (「はしごを登る」)、メニューの使用 (「地図を開く」) など、600 の基本スキルを評価します。 Google DeepMind は、SIMA が簡単なタスクを 10 秒で完了するようにトレーニングしました。

Google DeepMind は、将来のエージェントが「リソースの発見やキャンプの建設」など、高度な戦略的計画と複数のサブタスクの完了を必要とするタスクを処理できるようになることを期待しています。これは AI における重要な目標です。大規模言語モデル (LLM) は、世界についての知識を取り込み、計画を生成できる強力なシステムを生み出してきましたが、現時点では人間に代わって行動する能力が欠けているからです。

クロスゲーム誘導

Google DeepMind は、複数のゲームでトレーニングされたエージェントが、1 つのゲームだけをプレイすることを学習したエージェントよりも優れたパフォーマンスを発揮することを発見しました。評価では、9 つ​​の 3D ゲームでトレーニングされた SIMA エージェントは、単一のゲームでトレーニングされたすべてのプロフェッショナル エージェントよりも大幅に優れたパフォーマンスを発揮しました。さらに重要なことは、1 つのゲームを除くすべてのゲームでトレーニングされたエージェントは、専門的なゲームでトレーニングされたエージェントと、未知のゲームで平均してほぼ同じレベルのパフォーマンスを発揮したことです。重要なのは、新しい環境で機能するこの能力が、トレーニングを超えた SIMA の一般的な能力を際立たせていることです。これは有望な初期結果ですが、SIMA のパフォーマンスを、既知のゲームと未知のゲームの両方で人間のレベルにまで引き上げるには、さらなる研究が必要です。

結果はまた、SIMA のパフォーマンスが言語に依存することを示しました。エージェントが口頭による訓練や指示を受けなかった対照テストでは、エージェントは適切に行動したが、目的がなかった。たとえば、エージェントは指示通りに歩くのではなく、頻繁にリソースを収集する場合があります。

図 | Google DeepMind は、SIMA が指示に従い、約 1,500 の独自のゲーム タスクを完了する能力を評価しました。その一部は人間の審査員によって評価されました。ベースライン比較として、環境固有の SIMA エージェント (単一の環境で指示に従うようにトレーニングおよび評価されたもの) のパフォーマンスを使用し、このパフォーマンスを、それぞれ複数の環境でトレーニングされた 3 つの汎用 SIMA エージェントと比較しました。

AIエージェント研究の推進

Google DeepMindは、SIMAの研究結果は、新しい一連の汎用的な言語駆動型AIエージェントを開発する可能性を示していると述べた。これは初期の研究であり、彼らはより多くのトレーニング環境で SIMA を構築し、より高性能なモデルを組み込むことを期待しています。

Google DeepMind は、SIMA がより多くのトレーニング環境に適用されるにつれて、その汎用性と汎用性がさらに高まることを期待しています。

より高度なモデルにより、SIMA が高水準言語の命令を理解して実行する能力が向上し、より複雑な目標を達成できると期待されています。

最終的に、Google DeepMind の研究は、オンラインと現実世界で人々を支援するために、幅広いタスクを理解し、安全に実行できる、より汎用的な AI システムとエージェントへと移行します。

オリジナルリンク:

https://deepmind.google/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/