AI自律型兵器が登場、私たちの世代のオッペンハイマーの瞬間が到来

ロシアとウクライナの紛争では、最近の映像が注目を集めている。ウクライナのドローンが国境から1,000キロ以上離れたロシア領土の奥深くまで侵入し、ロシアの石油・ガスインフラを破壊したのだ。専門家は、ドローンに標的を攻撃するよう指示したのは人工知能である可能性が高いと分析した。ウクライナ軍司令官らはまた、ウクライナは「人間の介入なしに完全にロボットによる作戦を実行している」と述べた。

つまり、このタイプの人工知能兵器システムは、人間の介入なしに自律的にターゲットを選択し、攻撃することができます。実際、戦争における人工知能の応用は私たちが考えるよりもはるかに簡単です。既存の人工知能とロボット工学の技術は、適切な物理的プラットフォームを提供することができます。人間の標的を見つけて殺害するというこうしたシステムの技術的な難しさは、自動運転車を開発するよりもさらに簡単です。どの大学院生でもこのプロジェクトを完了できます。

そのため、将来的には、顔認識技術を使って特定の人物を排除する安価なAIドローンの群れをどの勢力も送り込む可能性があると懸念する観測者もいる。さらに、機械に殺害ボタンを与えれば、戦争の性質は完全に変わるでしょう。したがって、自律型致死兵器システムは、火薬と核兵器に続く戦争における第3の革命であると考えられています。

「これは我々の世代のオッペンハイマーの瞬間だと信じている」とオーストリア連邦のアレクサンダー・シャレンベルク欧州国際問題担当大臣は4月29日、ウィーンで開かれた自律型兵器システムに関する初の国際会議で強調した。

著者 |レン

戦争は人類文明が決して取り除くことのできない影のようなものだ。今日、これまで常に人間によってプレイされてきたこの血みどろのゲームは、人工知能 (AI) によって引き継がれつつあります。

ロシアとウクライナの紛争であれ、イスラエルとパレスチナの紛争に端を発する中東の戦争であれ、AIの影は漠然と見えている。AIは（人間の監視下で）ドローン、ミサイル、銃、地雷、その他の兵器を制御し、標的を特定し、攻撃を仕掛けるのだ。

AIの2つの側面を深く体験したのは今回が初めてです。それは人類に利益をもたらすこともありますが、一瞬にして人命を奪うこともあります。残念ながら、死者を悼む時間はありません。軍事分野において、この規模の AI の応用はまだ始まったばかりです。

私たちがこれから目にするのは、ゆっくりと展開する AI 軍拡競争です。武器はますますインテリジェントかつ自律的になり、人間は徐々に意思決定プロセスから撤退し、最終的には自律型致死兵器システム (LAW) が出現して戦場に配備されることになります。

私たちはこれに備えていませんでした。ある日、AI兵器が自律的に攻撃できるようになり、たった1行のコードで無数の人々の生死が決まってしまうとき、あなたは自分の運命が冷酷なアルゴリズムによって決められることを受け入れられるでしょうか？

アルゴリズムに人の生死を決めさせるのはひどい考えだということは誰の目にも明らかだ。幸いなことに、これを防ぐ時間はまだあります。残念ながら、時間がなくなってきています。

遠隔操作と自律的な意思決定

米国国防総省の定義によれば、兵器の自律性のレベルは、人間が果たす役割に応じて、「人間が関与する」、「人間が関与する」、「人間が関与しない」の 3 つのカテゴリに分類できます。

人間が関与することで、兵器の動作は完全に人間によって決定され、制御されます。

人間が介入することで、兵器は起動後に自律的に判断し、指示に従って行動することができ、人間はいつでも監視および介入して、必要に応じて意思決定と制御権を引き継ぐことができます。

人間はループの外側にいて、武器が起動された後、行動目標が割り当てられ、その後は完全に独立して決定を下し、行動を実行します。

幸いなことに、私たちの知る限り、真の意味での「（人間が関与しない）自律型致死兵器システム」は使用されていない。国連によれば、これらは「人間の監視なしに人間の標的を見つけ、選択し、攻撃するように設計された兵器」である。

私たちが話しているのは、有名なアメリカの「プレデター」ドローンや、ウクライナの最前線兵士が作った、人間の制御で遠隔操作で手榴弾を投げることができる自家製の爆弾投下ドローンなど、人間が遠隔操作する兵器のことではありません。

これらの兵器に対する人々の理解が深まり、電子妨害技術が向上するにつれて、その有効性はますます弱まるだろう。そのため、一部の国や企業はドローンなどの自律型兵器の研究開発に注目し始めています。

米国防総省の高等研究計画局（DARPA）は、自律型兵器システムの計画的な使用方法を明らかにする2つのプログラム、高速軽量自律（FLA）と妨害環境における協調作戦（CODE）を公開した。前者は、マイクロローター航空機が人間の支援なしに市街地や建物内を高速で飛行するようにプログラムします。後者は、敵の信号妨害により人間の指揮官との通信が不可能になった場合に、攻撃任務のすべてのステップ（検出、識別、追跡、標的設定、交戦、評価）を実行できる自律走行車のチームを開発することを目指しています。

他の国々も関連する兵器の研究開発を行っています。トルコのSTM社は2017年から、ディナープレートほどの大きさで1キログラムの爆発物を運ぶことができる「カルグ」ドローンを販売している。同社の2019年のウェブサイトの説明によると、このドローンは「自律的かつ正確に」車両や人を攻撃し、「画像上で標的を選択」し、「移動する標的を追跡」することができるという。

イスラエルのハーピー無人機は、何時間も一帯を飛行し、視覚的またはレーダー信号に一致する標的を探し、爆発物で破壊することができる。米海軍と国防高等研究計画局も、対潜水艦追跡などの任務を遂行できる無人艦「シーハンター」を開発している。

世界では、AIを活用した自律走行や射撃が可能な実験用の潜水艦や戦車、船舶が建造されている。これまでに公開された情報によると、これらの兵器は遠隔操作が可能であり、起動後は自律的にタスクを実行できる。意思決定プロセスに人間がどの程度関与しているかを見極めるのは困難です。

AIが戦闘に応募

何らかの自律型兵器は、少なくとも数十年前から存在しており、その中にはアメリカ南北戦争にまで遡る熱追跡ミサイルや圧力起動型地雷も含まれる（自律性を緩く定義した場合）。しかし現在、AI アルゴリズムの開発と使用により、その機能は拡大しています。

実際のところ、戦争における AI の応用は私たちが考えるよりもはるかに簡単です。

「人間を見つけて殺すシステムの技術的能力は、自動運転車を開発するよりもはるかに簡単だ」と、カリフォルニア大学バークレー校のコンピューター科学者でAI兵器反対の著名な活動家であるスチュアート・ラッセル氏は言う。「これは大学院生のプロジェクトです。」

既存の AI およびロボット工学技術は、適切な物理プラットフォーム、認識、運動制御、ナビゲーション、マッピング、戦術的意思決定、長期計画を提供できる立場にあります。武器メーカーがしなければならないのは、必要に応じてそれらを組み合わせることだけです。たとえば、DeepMind の DQN アルゴリズムを使用して人間の戦術戦略を学習し、それを既存の自動運転技術と組み合わせることで、自律型兵器システムは都市の捜索破壊ミッションを完全に完了できます。

AI兵器が戦場でどのように機能するかを知ることは難しい。主な理由は、軍がそのようなデータを容易に公開しないからだ。

2023年、英国戦略軍の副司令官トム・コピンジャー・サイムズ氏は、英国議会の調査中にAI兵器システムについて直接質問された。同氏は、あまり多くの情報を開示するのは都合が悪いと述べ、英国軍が自律型兵器システムと非自律型システムを比較するためのベンチマーク研究を実施しているとだけ述べた。

現実世界の戦場のデータは乏しいものの、研究者らは、AIは優れた処理能力と意思決定能力を備えており、理論的には大きな優位性をもたらす可能性があると指摘している。たとえば、高速画像認識の分野では、アルゴリズムはほぼ 10 年間にわたって人間を上回っています。これにより、画像内のターゲットを正確に識別できるようになります。

2020年には、一連の模擬空中戦でAIモデルが経験豊富なF-16戦闘機パイロットを打ち負かしたが、その主な理由は「人間のパイロットにはかなわない積極的かつ正確な操縦」だった。 AI は、特定のアクションの実行方法、敵からの飛行距離、攻撃角度などについて、非常に短時間で非常に複雑な決定を下すことができるということを知っておく必要があります。

米軍は今年4月、AI制御のF-16戦闘機が人間が操縦する戦闘機と実際の空中戦を繰り広げる画期的な実験を完了したと発表した。 AI制御の航空機は攻撃と防御の訓練を実施し、人間が操縦する戦闘機からわずか610メートルの距離にいた。

X-62Aとして知られる改造されたF-16戦闘機は人工知能によって操縦される。

出典: データ

これは、AI制御航空機の自律戦闘の分野における米軍にとって画期的な進歩となる。この技術が将来戦場に登場した場合、空中戦の刻々と変化する性質上、遠隔制御が困難になるため、必然的に致死性の自律型兵器の範疇に入ることになるだろう。

理論的には、AI は潜在的な標的のリストの作成など、戦争の他の側面にも使用できる可能性があります。以前のメディア報道によると、イスラエルはAIを使用して、数万人の過激派容疑者の名前を含むデータベースを作成したという。しかしイスラエル軍はこれを否定した。

AI兵器の制御は難しい

AI の力により、人々は実用的な応用の観点と倫理的な観点の両方から、AI の使用をより適切に制御する方法について考えるようになります。

人類が武器の使用を制御および規制するための取り組みは、数百年前に遡ります。たとえば、規律正しい中世の騎士たちは、互いの馬に槍を向けないことで合意していました。 1675年、フランスと神聖ローマ帝国は毒弾の使用を禁止することに合意した。

現在、武器に対する主な国際的な規制は、1983年に調印された国連の特定通常兵器使用禁止条約（CCW）によるもので、盲目化レーザー兵器などが禁止されている。

研究者たちは、致死的な自律型兵器システムによってもたらされる新たな脅威を制御するために何年も研究を続けてきた。国連のアントニオ・グテーレス事務総長は昨年7月、2026年までに監視なしの武器使用を禁止したいと述べた。

殺人ロボット運動を止めろ。出典: インターネット

2023年12月、国連はAI兵器の問題を2024年9月の国連総会の議題に載せる重要な決議を可決した。

専門家らは、今回の動きは各国がAI兵器に対して行動を起こすための初の現実的な手段となると述べている。しかし、これは言うほど簡単ではありません。

AI支援兵器は人間が誘導する兵器よりも精度が高く、民間人の死傷者や住宅地の破壊、兵士の死傷者数など、いわゆる付随的被害を減らす可能性があると同時に、弱い国やグループが自らを守るのに役立つと考える人もいる。

しかし、この考え方の欠陥は、敵対国もそのような兵器を保有しており、軍事力の強い国はより強力な自律型兵器を保有する可能性があり、被害は減るどころか大きくなるだろうという点だ。

巻き添え被害を減らすために自律型兵器に頼るという点については、達成が難しい2つの前提に基づいています。

まず、AIは間違いをしない、あるいはAIが間違いを犯す確率は人間よりも低いです。しかし、民間人を標的と見なすなど、AIが人間と同じ間違いをしないという保証は誰にもできない。

第二に、自律型兵器は、ライフル、戦車、プレデター・ドローンなど、人間が制御する兵器とほぼ同じシナリオで使用できます。これは持続可能ではないかもしれない。なぜなら、新しい兵器が登場すると、戦闘方法や標的がそれに応じて変化し、その使用シナリオを予測し制御することが難しくなるからだ。

その結果、ほとんどの AI 専門家は、自律型兵器への道を強く進むと、悲惨な結果を招く可能性があると考えています。 AI が自律的にターゲットを選択し、意思決定を行うことを許可することの倫理的問題について、多くの人々が深く懸念しています。

2007年、英国軍は、子供たちを乗せたバスを反乱軍のトラックと間違える恐れがあるという懸念から、アフガニスタンで使用するために自国のブリムストーンミサイルを急遽再設計せざるを得なかった。

AI は画像認識が得意ですが、絶対確実というわけではありません。猫を犬と間違えるなど、画像認識におけるばかげた間違いは誰もが聞いたことがあるでしょう。しかし、戦争では、子供をテロリストと間違えると悲惨な結果を招く可能性があります。

さらに、AIシステムがハッキングされたり、指示に反する行動をとったり、誤判断などの予期せぬ事態を引き起こしたりして、紛争の激化や戦争の閾値の低下につながる可能性もあります。

研究者や軍隊が一般的に主張する原則は、自律型兵器は「人間をループの中に入れておく」ことを考慮しなければならないというものである。しかし、人間がどこでどのように関与すべきか、あるいは関与しなければならないかについては依然として議論の余地がある。攻撃を承認する前に、人間が標的を視覚的に確認すべきだろうか？戦場の状況が変わった場合（民間人が戦闘地域に入った場合など）には攻撃を中止できる必要がありますか？

同時に、AI 自律型兵器は説明責任のメカニズムを複雑かつわかりにくいものにします。問題が起きたら、責任があるのは武器そのものではなく、攻撃を許可した人物であることは明らかではないでしょうか?それとも武器製造業者ですか?それともAIシステムの開発者でしょうか?

AI を搭載した自律型兵器の高度さと破壊力を考えると、多くの人々 (おそらく地球上の大多数の人々) は、最善の解決策は致死性の自律型兵器を禁止することだと考えています。しかし、これらすべての問題は国際レベル（国連）で認識され、議論され、論争され、交渉され、妥協されなければなりません。このように議論の多いテーマと膨大な作業量を考えると、最初の実質的なステップを踏むには数年かかることになります。

しかし、市民社会は今行動を起こすことができます。 AIとロボット工学の分野の専門家協会は、致死性の自律型兵器に関する研究を禁止する行動規範を策定し、施行すべきである。この点に関しては、アメリカ化学会の厳格な化学兵器政策や、平和と安全を促進するために米国が包括的核実験禁止条約を批准し、非核保有国に対する核兵器の使用に反対するようアメリカ物理学会が呼びかけたことなど、多くの前例がある。

つまり、AI 駆動の自律型兵器は必ず登場し、それが致死的かどうかに関わらず、将来の戦争の形を変えることになるだろう。

人類はこの「兵器」を制御不能にさせてはならない。私たちは、それがもたらすリスクと課題に立ち向かい、その発展を適時に制御できるようにあらゆる機会を捉えなければなりません。この方法によってのみ、「ターミネーター」から「人間のターミネーター」への変化を避けることができます。

参考文献:

[1] https://www.nature.com/articles/d41586-024-01029-0

[2] https://www.nature.com/articles/d41586-023-00511-5

[3] https://www.nature.com/articles/521415a

[4] https://san.com/cc/experts-warn-world-is-running-out-of-time-to-regulate-ai-in-warfare/

この記事は科学普及中国星空プロジェクトの支援を受けています

制作：中国科学技術協会科学普及部

制作：中国科学技術出版有限公司、北京中科星河文化メディア有限公司

特別なヒント

1. 「Fanpu」WeChatパブリックアカウントのメニューの下部にある「特集コラム」に移動して、さまざまなトピックに関する人気の科学記事シリーズを読んでください。