AI 偽造肖像画を識別するにはどうすればよいでしょうか?目を見てください！

下の絵画は「偽りの鏡」と題され、1928年にベルギーのシュルレアリスト画家マグリット（1898-1967）によって制作されました。現在は米国ニューヨーク近代美術館のコレクションに所蔵されています。

図1：ベルギーの画家マグリットの作品「偽りの鏡」[1]

芸術的な観点から見ると、この絵画は視覚の本質についての考察を喚起し、鑑賞者それぞれが独自の解釈を持ちます。

しかし、科学的な観点から見ると、絵画に描かれた人間の目の構造は、実際の人間の目の構造と非常によく一致しています。白い部分は人間の目の乳白色の強膜に相当し、青と白の雲の部分は人間の目の虹彩（通常は眼球または眼球と呼ばれる）に相当します。虹彩の色は強膜よりも暗く、民族によっては茶色または青色になることがあります。しかし、目の最も暗い部分は虹彩の中心にある瞳孔であり、非常に多くの光を吸収するため真っ黒に見えます。絵画の中の目には人間の目の基本的な構成要素がすべて備わっています。

図2：人間の目の外部構造：強膜、虹彩、瞳孔、角膜[2]

絵画では、虹彩は部分的に青い空と白い雲で覆われていますが、黒い瞳孔はまだはっきりと見えます。この表現は現実と矛盾しています。なぜなら、私たちは通常、相手の目を見ただけでは、相手が何を見ているのかを正確に知ることはできないからです。

図3: 人間の目の内部構造[3]

人間の目の動作原理はカメラの原理に似ています。瞳孔は絞りとして機能し、入ってくる光の量を制御します。網膜は光信号を受け取る光感応素子に相当します。瞳孔は非常に小さく、ほとんどの光が眼球内部の組織に吸収されるため、網膜上に形成された像を外部から直接観察することは困難です。

図4: 人間の目とカメラの類似性

もちろん、外側から目の内部についての手がかりを得られることもあります。一例として、夜間にフラッシュを使って写真を撮るときによく起こる「赤目」現象が挙げられます。これは、暗い環境では瞳孔が拡張し、フラッシュの強い光が目の充血した脈絡膜に反射して、写真の目が赤く見えるためです。

人間の目の光学系は主に角膜と水晶体で構成されており、どちらも透明でカメラのレンズ群に似ています。角膜は目の最も外側の層に位置し、一定の形をしています。水晶体は毛様体筋の働きによって形を変え、焦点距離を調整することで、異なる距離にある物体を網膜上に鮮明に映し出すことができます。レンズ群の調整機能が故障すると、遠くの物体の像は網膜上に焦点を合わせることができず、網膜の前にしか焦点を合わせることができません。視界がぼやけて近視が起こります。

先ほど言ったことに戻ると、目の写真から人が何を見ているのかを判断するのは通常不可能ですが、絶対的なものではありません。特定のケースではそれがまだ可能であり、そのためには角膜が大きな役割を果たす必要があります。角膜は理想的な光学装置です。滑らかな表面は光を屈折・反射し、適切な条件下では小型の鏡として機能します。この反射によって形成される「鏡像」は通常小さくて不明瞭であり、虹彩の質感によっても妨害されます (虹彩の独特の質感は指紋に似ており、本人確認に使用できます)。

図5：目の角膜に映った「鏡像」から鮮明な写真を復元する[2]

研究者たちは、目の反射から周囲の環境の鮮明な画像を復元するために複雑なコンピューターアルゴリズムを設計しました[4]。研究者たちは数学モデルを構築し、位置と角度を修正し、虹彩の質感の干渉を除去して、最終的に周囲の環境の画像を再構築することに成功しました。研究者らはまた、角膜の「鏡像」には独特の利点があることも発見した。角膜の曲面により広角のパノラマビューが得られ、目の動きと体の動きによって複数の視点を捉えます。これらの特性により、角膜反射から 3 次元シーンを再構築することが可能となり、通常のカメラでは実現が難しい効果が得られ、「他人の目を通して世界を見る」という効果を実現できます。

図6: 人間の目の反射を含むビデオクリップから目の前の3Dシーンを再構築する[4]

これらの研究は理想的な実験室環境で実施されたものであり、この技術を日常の環境に適用するには依然として多くの困難があることに留意することが重要です。

角膜からの反射は、写真やビデオの信憑性を見分けるのにも役立ちます。画像処理技術や人工知能の発達により、偽の画像や動画はますますリアルになり、社会的な懸念や信頼の危機を引き起こしています。この課題に対処するために、研究者はさまざまな偽の画像ビデオ検出技術を開発しました。その中でも、画像内の目の詳細を分析することは効果的な方法です。

下の2枚の写真のうち1枚は偽物です。どれかわかりますか？未解決事件を解決する手がかりは、二人の目から得られる。

図7：本物と偽物の2枚の写真：区別するための目の角膜反射画像[5]

研究により、人の目の位置が近いため、実際の写真では左目と右目の角膜反射画像が非常によく似ていることがわかっています。偽造者はこの詳細を無視することが多く、その結果、偽の写真の 2 つに矛盾が生じます。図7（右）がその典型的な例です。この機能を使用することで、研究者は本物の写真と偽物の写真を区別することに94%の成功率を達成しました[5]。

さらに、瞳孔の形状は写真の真正性を識別するためにも使用できます[6]。図 8 の 2 枚の写真も、1 枚は本物で、もう 1 枚は偽物です。両者を区別するコツは、左側の通常の写真の人間の目の瞳孔の形は通常、整った円または楕円であるのに対し、右側の AI によって偽造された写真の瞳孔の形は不規則であることです。

図8：本物と偽物の2枚の写真：瞳孔の形の違いの見分け方 [6]

目の構造と機能に関する徹底的な研究は、視覚システムに対する理解を深めるだけでなく、画像処理や情報セキュリティ技術の発展も促進しました。科学研究や技術応用における多くのインスピレーションは、人の目から生まれます。

参考文献

[1] https://www.wikiart.org/en/rene-magritte/the-false-mirror-1928

[2] K. Nishino および SK Nayar、「The World in an Eye」、2004 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2004)、444-451 (2004)

[3] https://commons.m.wikimedia.org/wiki/File:Schematic_diagram_of_the_human_eye_zh-hans.svg

[4] H. Alzayer、K. Zhang、B. Feng、C. Metzler、J.-B.黄「あなたの目を通して世界を見る」arXiv:2306.09348 (2023)

[5] S. Hu、Y. Li、S. Lyu、「不一致な角膜鏡面ハイライトを使用したGAN生成顔の露出」、IEEE国際音響・音声・信号処理会議（ICASSP 2021）、2500-2504（2021）

[6] H. Guo、S. Hu、X. Wang、M.-C. Chang および S. Lyu、「目はすべてを語る: 不規則な瞳孔の形状が GAN 生成の顔を明らかにする」、2022 IEEE 国際音響、音声、信号処理会議 (ICASSP 2022)、2904-2908 (2022)

企画・制作

出典: Chinese Optics

著者: 焦淑明広東・香港・マカオ粤港区量子科学センター