人間は光を使ってAIを「騙した」が、結果は…

ご存知のとおり、人工知能（AI）は現在非常に強力になっています。高性能なハードウェアとソフトウェア、そして私たちの目として普及しているカメラを組み合わせることで、写真に写っている動物が猫なのか犬なのかを簡単に判別したり、群衆の中から対象物を見つけたりすることができるようになります。画像分類・認識や画像ターゲット検出などのタスクでは、精度率はほぼ「100%正確」であり、多くの場合、実際の人間の精度を上回ります。

顔認識とビッグデータを通じて、AI ビジョン システムは「あなたは誰ですか?」を知ることができるだけでなく、「どこから来たのですか?」も推測できる可能性が高くなります。そして「どこへ行くの？」魂を揺さぶるこの 3 つの究極の哲学的疑問については、AI がすでに答えを持っているので、何も言う必要はありません。

圧倒的な AI 視覚システムによって検出されたくない場合には、何か良い方法はあるのでしょうか?

フードやマスクで顔をしっかりと覆ったり、カメラを壊したり、コンピューターの電源コードを抜いたりしますか?こうした無謀な行為は事態を悪化させ、自らを危険にさらすだけだ。本当のコツは、真実を隠し、密かに物事を動かし、音を立てずに AI を欺くことです。しかし、AI はますます賢くなってきていますが、それでも簡単に騙されてしまうのでしょうか?実際、 AI を欺くことは可能であるだけでなく、AI をハッキングする方法も数多くあります。

ギャラリー内の画像は著作権で保護されています。転載して使用すると著作権侵害の恐れがあります。

ディープニューラルネットワークモデルに代表される現在の AI システムは多くのタスクを優れた方法で実行できますが、その内部構造はブラックボックスのようなもので、研究者はそのメカニズムを完全には理解していません。このような複雑なシステムには、さまざまな抜け穴（バグ）が必ず存在します。そのうちの 1 つを見つけて急所を攻撃すれば、AI を暴走させることができます。人間の目がさまざまな視覚的錯覚を生み出すのと同じように、AI ビジョン システムも間違いを犯すことがよくあります。

AI システムが通常は優れたパフォーマンスを発揮する場合でも、騙されると完全に機能しなくなる可能性があります。 AIシステムは、パフォーマンスが不安定な優等生のようなものです。試験で最も難しい質問には簡単に答えることができますが、説明のつかない低レベルの間違いを犯したり、「簡単な質問」には答えられなかったりすることもあります。画像にわずかな変更や知覚できない変更のみが加えられ、AI ビジョン システムが誤った判断を下すように誘導される場合、それは敵対的サンプル攻撃と呼ばれます。

携帯電話やコンピューター上の電子写真の場合、ユーザーは各ピクセルの値を任意に変更できるため、画像コンテンツの外観を完全に変更することが非常に簡単になります。難しいのは、一方では、加えられた変更が可能な限り微妙で簡単には目に見えないものでなければならない一方で、他方では、加えられた変更が AI システムの脆弱性を引き起こし、誤った出力を生成するようにシステムを誤らせるのに十分なものでなければならないという点です。

しかし、困難を恐れず、敵対的サンプルと呼ばれるそのような画像を生成できる最適化アルゴリズムはすでに数多く存在します。下の写真は、電子的な「画像詐欺」攻撃に遭遇した後の AI ビジョン システムのさまざまな異常な動作を示しています。

図1：電子的な「画像スプーフィング」（敵対的サンプル）攻撃に遭遇した後、AI視覚システムは異常な動作をします。人間の目に最適化された色の雪片を追加した後、元のパンダの写真は基本的に変更されていませんが、AIシステムはそれがパンダではなくテナガザルであると伝えます。アルプスは犬に、フグはカニに見立てられているが、これはあまりにもひどい。最も基本的な手書きの数字さえ認識できず、4は9、3は7、8は1だと主張している...これはかなりの飲酒量に違いない[1、2、3]

敵対的なサンプルによる攻撃を受けた後では、AI の視覚は本当に良くないと言わざるを得ません。 「目を見開いて嘘をつく」し、画像認識の結果もデタラメばかりで、性能も標準を大きく下回っている。 AI システムは結果を提供するだけでなく、対応する信頼度レベルも提供し、結果が正しいとどの程度確信できるかを示します。ただし、これらの誤判定結果の信頼度は 99% または 100% と非常に高くなります。現時点でのAIビジョンシステムは、まだまだ「普通」のようだ。そのパフォーマンスは明らかに非常に平凡ですが、それでもとても自信があります。

電子画像に対して魔法攻撃が行われるのであれば、現実の物体に対しては物理的な攻撃が必要になります。より簡単な物理的な攻撃方法は、顔や交通標識などの物体に小さなラベルを貼り、数本の線を引くことです。もちろん、加えられた変更も AI ビジョン システムを失敗させるように注意深く設計されています。

図2：小さなラベルを貼ってAIビジョンシステムを混乱させる簡単な方法

この種のいたずらを侮らないでください。写真の「停止」の交通標識は、AIによって「制限速度45」と誤認されます。もし自動運転車が本当にそのような標識に騙されれば、交通事故が発生し、車が破壊され、人が死亡する可能性があります。 AI ビジョン システムのこの脆弱性は深刻な注意を払う必要があります。

図3: 女の子が特別なフレームを着用すると、AIによって別の女の子として認識されます

一般的に言えば、人の外見が AI 視覚システムによって認識できる場合、その人が眼鏡をかけていても認識できる可能性が高くなります。ただし、前述の特殊な「メガネ」を着用する場合はそうではない可能性があります。このタイプの偽メガネにはレンズがなく、フレームだけです。フレームのカラフルな装飾パターンも非常に独創的です。外見は現代アート作品のように見えますが、実際にはAIモデルの欠陥に基づいて「独占的にカスタマイズ」されており、AIビジュアルシステムが「2人の異なる人物のように」感じられることがあります。

物理的な対象に対する敵対的サンプル攻撃は、もちろん光学的手段と切り離せないものです。プロジェクターを使用して物体の表面に干渉光パターンを投影する方法は、シンプルで効果的な方法です。どこにでもある影を攻撃方法として使用すると、より自然で隠蔽性が高まります。影が希望どおりに見えるようにするには、遮るものを適切な位置に配置するだけです。

図4: プロジェクター（左）と物体の自然な影（右）を使用した光学的敵対的攻撃

昨今、スマートフォンのカメラ機能はますます進化しており、撮影した写真や動画はますます鮮明になってきています。低機能の携帯電話でも、基本的には満足のいく写真を撮ることができます。しかし、デジタルカメラで忠実に記録された現実世界と人間の目との間には、実は違いがあるのです。 AIソフトウェアシステム自体に脆弱性があるだけでなく、AIの視覚入力となるカメラやカメラレンズにも脆弱性があります。撮影プロセスを「操作」することで、人間の目には正常に見える物体がイメージセンサー上では奇妙な写真に変換され、AIの判断を誤らせることになります。

カメラを騙す最初のトリックは、人間の目とカメラセンサーの周波数スペクトルの違いを利用することです。赤、オレンジ、黄、緑、シアン、青、紫など、さまざまな色の光は、人間の目の可視範囲内で見ることができるため、可視光と呼ばれます。しかし、赤色光よりも波長が長い赤外線や、紫色光よりも波長が短い紫外線は人間の目には見えません。一般的な携帯電話やカメラのセンサーが受信できる光信号のスペクトル範囲は、人間の目のものとほぼ同様ですが、まったく同じではありません。多くの場合、人間の目には見えない特定の波長の赤外線を検出できます。

図5: 奇妙な赤外線により、AIは常に人を誤認する: カメラで撮影した画像(1行目)と認識結果(2行目)

一部の研究者は、赤外線 LED ランプを使用して、設計されたさまざまな配光パターンを人の顔に投影しました。光がどのように撮影されたとしても、実際の視聴者の目には何も異常はありませんでした。しかし、撮影した写真では、顔に必ず紫色の部分がありました。これにより、AI 顔認識システムが「顔の盲目」状態を生じ、同じ人物を複数の異なる人物として誤って識別することになります。オンライン決済に使われる通常の紙のQRコードは、100メートル離れたところから赤外線レーザーを照射されると、携帯電話のカメラの目には全く別のQRコードに変化し、気付かれずに悪質なウェブサイトへのリンクへの入り口となってしまう可能性があります。

図 6: 一連の投影パターンを高速で切り替えると、人間の目には顔は同じに見えますが、カメラの目にはまったく異なる「化粧なし」の外観になります。

2 番目のコツは、人間の目の独特な色融合メカニズムを利用することです。赤色光と緑色光が交互に高速で表示される場合（たとえば、1 秒あたり 60 フレーム）、人間の目は高速点滅のためにそれらを区別することが困難になり、赤色光と緑色光が融合して形成された黄色光しか見えなくなります。対照的に、画像センサーはより識別力が高く、融合された黄色の光ではなく、各瞬間に赤色光または緑色光のいずれかを記録します。プロジェクターは、偽装したターゲット（ヒラリーなど）の顔を含む 2 つのパターンを実際の顔の上に素早く交互に投影します。実際の視聴者が目にするのは、投影された 2 つのパターンを中和した結果生じる均一な光のパターンです。顔の見た目自体には影響はないようです。しかし、携帯電話やカメラで撮影した写真では、投影されたパターンによって大きく歪んだ顔が現れ、投影されたパターンの人物として識別されます。これはプロジェクターを使って人の顔に「濃いメイクと薄いメイク」を施すのと同じことですが、メイクは曖昧です。カメラを通して見られない限り、メイクは自動的に落とされます。

3 番目のトリックは、イメージ センサーのローリング シャッターの欠陥を利用することです。人間の目の網膜はカメラのセンサーに相当し、どちらも画像の光信号を記録するために使用されます。ただし、違いは、網膜が 2 次元画像全体を記録するときに、同期して記録することです。たとえば、顔を見るとき、耳、目、鼻、口がすべて同時に見られます。しかし、多くのカメラセンサーはそうではありません。ローリングシャッターと呼ばれるラインごとのスキャン方式を採用しています。単一画像の光信号もラインごとに個別に記録されます。耳、目、鼻、口の位置が異なるため、同期して録音されるわけではなく、わずかな時間差があります。このように、明暗が急激に変化する光がたまたまカメラのセンサーに当たり、画像内に光信号の線が記録されると、光が暗くなり、撮影した写真に黒い線が現れ、最終的に写真全体がシマウマのようになります。人間の目には、光が非常に速く点滅するためまったく知覚できず、画像に黒い線は表示されません。

図 7: ローリング シャッター効果により、急速に点滅する光の下でカメラで撮影した写真に黒い線や色の縞が現れます。

しかし、赤、緑、青の3色の光を使い、それぞれの光のオンとオフの状態を一瞬ごとにより注意深く計算すると、写真に映るのは単なる黒い線ではなく、虹のようなカラフルな縞模様になります。黒い線と色のついた縞模様はどちらも AI システムを混乱させ、正常に動作しなくなる可能性があります。

研究者らは、既存のカメラセンサーの欠陥を悪用するだけでなく、通常のカメラの撮像システムの光学経路に追加の処理モジュールを追加することで、トロイの木馬の中に兵士を隠すなど、より積極的な攻撃方法も試みた。このモジュールは、撮影した画像の光信号を光学的にわずかに修正することができます。

具体的には、通常、被写体像の光信号はカメラレンズを通過した後、イメージセンサーに直接投影されます。しかし、この珍しいシステムでは、カメラのレンズとセンサーの間に追加のモジュールが追加されます。モジュールには 2 つのレンズと空間光変調器が含まれています。最初のレンズは、光場伝播による画像のフーリエ変換をシミュレートすることと同等であり、次に空間光変調器を使用して変換結果の位相を調整し、別のレンズに通過させて逆フーリエ変換を実行します。

この特別なモジュールによって処理された画像は、通常のカメラで撮影された画像とは少し異なります。 「悪魔は細部に宿る」と言われており、巧妙に設計された入力の小さな変更は、AI システムの正常な動作を妨害するのに十分です。

図 8: 敵対画像を生成するための光学プロセッサを内蔵したカメラ システム。

もちろん、さまざまな敵対的サンプル攻撃に直面しても、AI ビジョン システムの設計者は無力ではありません。二人は槍と盾の関係にある。槍が鋭ければ鋭いほど、盾は強くなります。

近年、研究者たちは、世界規模の AI 敵対的サンプル攻撃および防御コンテストを頻繁に開催しており、参加者はシミュレートされたシナリオで互いに競い合い、集まってスキルについて話し合うことができます。中国の諺に「悪魔の高さは1フィートだが、道は10フィート高い」というのがあります。 AI ビジョン システムの敵対的サンプルからの攻撃に抵抗する能力も向上しており、さまざまな抜け穴が埋められるにつれて、ますます完璧になってきています。

参考文献

[1] IJ Goodfellow、J. Shlens、C. Szegedy、「敵対的事例の説明と活用」、arXiv:1412.6572 (2014)

[2] Y. Dong、F. Liao、T. Pang、H. Su、J. Zhu、X. Hu、J. Li、「Momentumによる敵対的攻撃の強化」、2018 IEEE/CVF コンピュータービジョンおよびパターン認識会議 (CVPR 2018)、9185-9193 (2018)

[3] H. Ye、X. Liu、C. Li、「DSCAE：ノイズ除去スパース畳み込みオートエンコーダによる敵対的サンプルに対する防御」、J. Ambient。インテリジェンスヒューマンコンピューティング。 13、1419–1429（2022）

[4] J. Fang、Y. Jiang、C. Jiang、ZL Jiang、S.-M. Yiu、C. Liu、「ディープラーニング コンピューター ビジョン システム向けの最先端の光学ベースの物理的敵対的攻撃」、arXiv: 2303.12249 (2023)

[5] M. Sharif、S. Bhagavatula、L. Bauer、MK Reiter、「犯罪へのアクセサリー：最先端の顔認識に対するリアルでステルス的な攻撃」、2016 ACM SIGSAC コンピューターおよび通信セキュリティ会議 (CCS '16) の議事録、1528–1540 (2016)

[6] A. Gnanasambandam、AM Sherman、SH Chan、「光学的敵対的攻撃」、arXiv:2108.06247 (2021)

[7] Y. Zhong、X. Liu、D. Zhai、J. Jiang、X. Ji、「影は危険である：自然現象によるステルスかつ効果的な物理世界の敵対的攻撃」、2022 IEEE/CVF コンピュータービジョンおよびパターン認識会議 (CVPR)、15324-15333 (2022)

[8] Z. Zhou、D. Tang、X. Wang、W. Han、X. Liu、K. Zhang、「見えないマスク：赤外線による顔認識の実際的攻撃」arXiv:1803.04683 (2018)

[9] 「紙のQRコードは遠隔改ざんも可能：100メートル離れたところから痕跡を残さず攻撃し、数秒で悪意のあるウェブサイトの入り口に変えてしまう」QuantumBit WeChat公式アカウント、https://mp.weixin.qq.com/s/mNB-4mAfFCtcNtvSUW3x5Q

[10] M. Shen、Z. Liao、L. Zhu、K. Xu、およびX. Du、「VLA：物理世界における顔認識システムに対する実用的な可視光ベースの攻撃」、Proc. ACM インタラクト。暴徒。ウェアラブルユビキタステクノロジー。 3(3), 103 (2019)

[11] Z. Chen、P. Lin、ZL Jiang、Z. Wei、S. Yuan、J. Fang、「自動顔認識システムに対する照明変調ベースの敵対的攻撃」、情報セキュリティと暗号学：第16回国際会議（Inscrypt 2020）、53–69（2020）

[12] A. Sayles、A. Hooda、MK Gupta、R. Chatterjee、E. Fernandes、「Invisible Perturbations: Physical Adversarial Examples Exploiting the Rolling Shutter Effect」、2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)、14661-14670 (2020)

[13] K. Kim、J. Kim、S. Song、J.-H. Choi、C. Joo、および J.-S. Lee, 光学的敵対攻撃のための瞳孔関数のエンジニアリング、Optics Express 30(5), 6500-6518 (2022)

[14] 張子豪、「ニューラルネットワークは推測しにくいのか？清華大学チームはどのようにしてNIPS攻撃防御競技で3つの優勝を果たしたのか？」プログラマーグッドシングスWeChat公式アカウント、https://mp.weixin.qq.com/s/k0dCmIhwMsqvsR_Fhhy93A

企画・制作

出典：光科学フォーラム/中国光学

編集者：鍾延平