光学と AI が「出会う」と、5G と 6G の「キラー アプリケーション」になるのでしょうか?

計算光学は、情報符号化のための光学イメージング法として理解できます。 「その本質は、光場情報の取得と解釈です。幾何学的光学イメージングに基づいて物理的な光学情報を導入し、情報伝達を基準として、情報を通じて高次元の情報を取得します。」計算光学イメージングは​​、次世代の光電子イメージング技術であり、情報化時代を迎えた光電子イメージング技術の必然的な産物です。

背景 -光電イメージングの原理

光電子イメージングの本質は、光場情報の取得と解釈です。いわゆるライトフィールド解釈とは、従来の光電子画像システムでキャプチャされた画像情報のより詳細な分析と解釈を指します。従来の光電子画像システムは、人間の視覚と同様に、2 次元空間における光強度の分布しか記録できません。しかし、実際には、私たちが目にする情報よりも多くの情報が画像システムには含まれています。ライトフィールド解釈は、この情報を分析および解釈することで、より有用な情報を取得します。ライトフィールド解釈を通じて、画像に暗黙的に含まれる情報を抽出して解釈することができ、計算による光学イメージングが可能になります。

図1 光フィールドに含まれる情報

計算光学イメージングとは何ですか?

計算光学イメージングは​​、従来の幾何光学に基づいて、偏光、位相、軌道角運動量、その他の物理量などの物理光学からの情報を有機的に統合します。情報伝送を基準として多次元の光場情報を取得し、数学と信号処理の知識を組み合わせて光場情報を深く掘り下げます。物理的なプロセスの解釈を通じて高次元の情報を取得する、次世代の光電子イメージング技術です。

従来の画像との比較

従来の光学画像システムは、「まず画像を撮ってから加工する」という画像化方法を採用しており、つまり、画像化効果が良くない場合は、Photoshopや「Meitu XiuXiu」などのツールを使用して画像をさらに加工する必要があります。現時点では、画像処理アルゴリズムは後処理プロセスと見なされており、イメージングシステムの設計では考慮されていません。

計算光学イメージングでは、「まず変調し、次に撮影し、最後に復調する」というイメージング方法を採用しています。光学システム（照明、光学装置、光検出器）とデジタル画像処理アルゴリズムを全体として考えると、フロントエンドの撮像素子とバックエンドのデータ処理が相互に補完し、有機的な全体になります。

図2 計算光学イメージングシステムのイメージングプロセス

計算光学イメージングでは、照明コーディング、波面コーディング、アパーチャコーディングなどの制御可能なコーディングを照明およびイメージング システムに導入し、センサーによってキャプチャされた元の画像にさらに多くのライト フィールド情報を変調します。この画像は中間画像とも呼ばれます。この画像は多くの追加のライトフィールド情報を変調するため、直接使用および観察されることはほとんどありません。次に、復調段階では、上記の変調および撮影段階で確立された幾何光学と波動光学に基づく数学モデルを「逆解」し、計算による再構築を通じてより多くのライトフィールド情報を取得します。つまり、「コンピュテーショナルイメージング」における画像は直接キャプチャされるのではなく、「エンコードとデコード」を通じて計算されます。光学コーディングには、アパーチャコーディング、検出器コーディング、その他の方法が含まれます。これが計算イメージングにおける計算の意味です。 ‍‍‍‍‍‍‍‍‍

開発概要

「計算画像処理」というアイデアは、光電子検出システムの合成開口レーダーに初めて適用されました。 1984年、コロラド大学は、光学系を共同設計するための「計算イメージング」というアイデアの実際の使用を提案しました。 1995 年、Dowski 氏と Cathey 氏は波面コーディング技術を提案しました。これは、計算光学イメージング技術が理論から実用化へと移行する転換点となりました。 2004 年、Levoy 氏のグループは、計算光学イメージングを合成開口イメージング、高速写真撮影、HDR イメージングに適用するためのマルチカメラ アレイ システムを構築しました。 2006 年、Lytro は、最初に写真を撮影し、後でフォーカスを合わせることで完全な被写界深度撮影を実現できる、商用グレードのハンドヘルド マイクロレンズ ライト フィールド カメラ Lytro I と Lytro II の 2 機種を発売しました。それ以来、ライトフィールドイメージングは​​世間の注目を集めるようになりました。

国内の計算光学イメージング研究も国際的な研究と並行して行われています。中国科学院光電子研究所の計算光学イメージング技術研究室は、計算分光法、光場、アクティブ 3 次元イメージングに関する広範な研究を行ってきました。国家情報研究所と清華大学光電子工学研究所は、計算光場イメージングと顕微鏡イメージングにおいて重要な貢献をしてきました。西安大学の計算イメージング重点研究室では、散乱イメージング、偏光イメージング、広域高解像度計算イメージングなどの技術をベースに研究を行っています。北京理工大学の光学イメージングおよびコンピューティング研究所と測定およびイメージング研究所も、計算ディスプレイと計算スペクトルイメージングのための最適化されたソリューションを提案しています。南京理工大学のインテリジェント計算イメージング研究室は、定量的位相イメージング、デジタルホログラフィックイメージング、計算3次元イメージングにおいて優れた成果を達成しました。

テクニカル

計算光学画像技術の出現により、人間の目の視覚特性が拡張・拡大され、従来の光電子画像化プロセスの末端における情報処理・計算が画像化プロセスに革新的に拡張され、物理的に突破が困難な従来の光学的問題の一部が数学的・情報処理的問題に変換され、ハードウェア設計とソフトウェア計算が結合されました。光信号の情報処理の潜在能力を最大限に活用し、従来の光電子画像技術における「見えない」「不明瞭」「不完全」といった問題を解決し、より高い解像度、より長い有効距離、より広い視野、より小型の光学画像システム、より強力な環境適応性へと発展します。

図3 光イメージング技術の5つの開発目標

単一リンク計算と独立した最適化に依存する従来の光電子イメージングとは異なり、計算イメージングでは、フルリンク統合グローバル最適化の概念を導入し、伝送媒体（大気、水域など）をイメージングモデルに組み込みます。これにより、有効距離と環境適応性が向上し、従来の画像処理の限界を突破することができます。リンク全体には、光源、撮像対象、伝送媒体、光学系、感光性電子部品 (CCD)、外部回路、コンピューターなどが含まれます。

図4 フルリンク光路イメージングモデル

この記事では、ライトフィールド取得と3次元表示という2つの側面からライトフィールド技術を紹介します。

ライトフィールド取得、既存の​​ライトフィールド取得方法は、時系列取得、マルチセンサー取得、および多重取得の3 つのタイプに分けられます。ライトフィールドの多視点情報を収集し、ライトフィールドの表示に使用することができます。

タイミング取得

時系列取得では、通常、従来の単一カメラを機械式モバイル デバイスにインストールし、機械式デバイスを調整して、さまざまな視点から対象シーンの画像を取得します。ただし、この方法では機械装置を動かす際に一定の時間がかかるため、静止した物体しか捉えることができません。この問題を解決するために、マルチセンサー取得方法が考案されました。

マルチセンサー取得

マルチセンサー取得とは、一般的に、カメラアレイに基づくライトフィールドカメラを指します。マルチカメラ組み合わせ方式では、複数の従来のカメラを使用してカメラアレイを形成し、複数のレンズ投影中心で構成される仮想投影基準面と、複数の CCD (または CMOS) で構成される仮想イメージング面を形成します。複数のカメラを使用して、対象シーン内の同じポイントで異なる視野角からの光放射強度を同時に取得します。各カメラで撮影された画像は、異なる角度での光照射野のサンプリング画像とみなすことができます。

カメラアレイ内の各サブカメラ間の距離を調整することで、カメラアレイ全体のさまざまな用途を実現できます。すべてのカメラ間の距離が比較的短い場合、カメラアレイ全体を単眼カメラと見なすことができます。すべてのカメラ間の距離が中規模の場合、カメラアレイ全体を合成開口を備えたカメラと見なすことができます。すべてのカメラ間の距離が大きい場合、カメラアレイ全体をマルチカメラカメラと見なすことができ、このとき、物体の多視点情報が得られ、多視点情報を用いてパノラマ写真を構築することができる。

代表的な例としては、2002 年に MIT の Jason Yang が構築した、対象シーンの 64 視点の画像を同時に取得できる 8x8 カメラで構成された世界初のリアルタイム カメラ アレイがあります。 2005年、ベネット・ウィルバーンはカメラの数をさらに約100台に増やしましたが、カメラの性能は向上しましたが、コストが高く、サイズも大きくなっていました。 2013年、ペリカンは光学設計を最適化し、ライトフィールド超解像アルゴリズムを適用してコンパクトな4x4カメラアレイを作成しました。これは独立したライトフィールドカメラモジュールです。デバイス全体はコインよりも小さく、携帯電話に組み込むことができます。

図5. 2005年にベネット・ウィルバーンが設計した大規模ライトフィールドカメラアレイ

多重イメージング

マルチセンサーライトフィールド取得の欠点は、特定の領域内の静止したシーンや動きの遅いシーンをキャプチャするためにしか使用できないことです。多重イメージング法はこの問題を解決できます。多重化イメージングは​​、空間多重化と周波数多重化に分けられます。

空間多重化：イメージセンサー上にマイクロレンズアレイを設置することで実現します。たとえば、プレノプティック カメラ (ライト フィールド カメラとも呼ばれる) は、形状、サイズ、動作が通常のカメラに似ており、角度領域 (角度情報) を空間 (または周波数) 領域に多重化することで、4 次元のライト フィールドを 2 次元センサー平面にエンコードします。

ライトフィールドカメラの原理を説明します。現実世界の物体の表面は、一般的に拡散反射します。例えば、下図の点Aは理想的な拡散反射面であれば、半球の180度の範囲内で光を放射します。レンズのピンホールを撮像に使用して、物体の表面にある点 A から一定の角度範囲内で放射されるすべての光がレンズを通して撮像センサーの点 A' に焦点を合わせ、角度範囲内のすべての光を積分し、積分結果を点 A のピクセル値として使用します。これにより、撮像の信号対雑音比が大幅に向上するだけでなく、点 A からの光がこの角度範囲内ですべての方向に結合されます。

図6 レンズピンホール結像の原理

プレノプティック関数とは、空間と時間における光場の変化を記述する関数を指します。プレノプティック関数の角度情報を取得するために、アデルソンは 1992 年にプレノプティック カメラ (ライト フィールド カメラとも呼ばれる) モデルを提案しました。従来のカメラにマイクロレンズ アレイが追加されました。物体の表面の光は、まずメインレンズを通過し、次にマイクロレンズを通過して、最終的にイメージセンサーに到達します。各マイクロレンズは、メインレンズのあらゆる角度の光を捉えます。図 7 に示すように、物体表面の点 A から FOP (Field Of Parallax) 角度範囲内で放射された光 (同じ点の異なる角度の光線は異なる色で表されます) は、カメラのメイン レンズに入り、マイクロ レンズに焦点を合わせます。マイクロレンズは光を 4 x 4 のビームに分割し、イメージセンサー上の対応する 16 ピクセルに記録します。同様に、空間内の他の発光点（B 点や C 点など）からの光線も、FOP 角度範囲内で 4x4 ビームに分割され、個別に記録されます。

図7 レンズアレイ4Dライトフィールドの画像解像度と角度解像度

2011年、Lytroはプレノプティックカメラの原理に基づいた世界初の消費者向けライトフィールドカメラLytroを発売しました。

図8 マイクロレンズアレイに基づくRaytrixライトフィールドカメラ

空間多重化はライトフィールドを収集するために最も広く使用されている方法ですが、画像解像度と角度解像度が互いに制限し合い、一方が増加すると他方が減少するという問題もあります。さらに、マイクロレンズ間の直線距離が非常に短いため、収集された光照射野の視差角が小さく、視点を変更できる角度の範囲が狭くなります。

周波数再利用: 近年、圧縮センシングなどの情報理論技術の発展に伴い、空間多重化方式では画像解像度と角度解像度の間で妥協しなければならないという問題を解決するために、マスクベースなどの周波数再利用方式も登場しています。マスクベースのソリューションでは、事前にライトフィールドを学習することでライトフィールド辞書を取得できるため、ライトフィールドの冗長性が除去され、より少ないデータの収集で完全なライトフィールドを再構築できます。図9に示すように、従来のカメラの撮像光路に半透明のコーディングマスクが追加されます。マスク上の各ピクセルの光透過率は異なります。開口部に入る光は、イメージングセンサーに到達する前にマスクによって変調されます。マスクによって変調された光はイメージングセンサーに到達します。事前に学習された完全なライト フィールド ディクショナリを使用することで、キャプチャされた単一のエンコードされた 2D 変調画像から完全なライト フィールドを再構築できます。

図9 マスクライトフィールドカメラの原理

コード化マスクに基づくライトフィールド取得方式は、画像解像度と角度解像度の矛盾を解決できますが、透過率が 100% に達することができないため、光信号強度が失われ、画像信号対雑音比が低下します。同時に、最終的な再構成されたライトフィールド画像は、イメージングセンサーを介して直接取得するのではなく、変調された画像を復調することによって取得されるため、学習されたライトフィールド辞書の正確性に依存することになります。

要約すると、既存のライトフィールド取得方法は、主に、マルチセンサー取得を備えたカメラアレイ方式、空間多重化イメージングを備えたマイクロレンズベースのプレノプティックカメラ、または周波数領域多重化を備えたマスクベースのプレノプティックカメラを通じて、複数の角度で光をサンプリングすることによってライトフィールドを記録します。さまざまなライトフィールド取得デバイスは、さまざまな技術的ソリューションを通じて特定の問題を解決します。さまざまなシナリオの要件に応じて、ソフトウェアとハ​​ードウェアで常に進歩が遂げられています。技術の継続的な進歩により、ライトフィールド取得のためのより優れた、より軽量なソリューションが生まれると信じています。

3Dディスプレイ

現実世界のシーンは3次元です。従来の 2 次元ディスプレイでは、空間オブジェクトの特定の断面の 2 次元画像情報しか取得できません。詳細な情報が不足しており、情報の欠落や信頼性の不足などの問題があります。したがって、より没入感のある3次元ディスプレイ技術は、新しいディスプレイ技術の重要な開発方向です。

3D 奥行きの手がかり

3 次元の奥行き手がかりとは、ユーザーに奥行き知覚を提供できるすべての特性情報を指します。これらは 3 次元表示効果の鍵となるもので、心理学と生理学の 2 つのカテゴリに分けられます。

心理的奥行き手がかりとは、主に線形遠近法、遮蔽、影、テクスチャ、事前知識など、3 次元知覚を誘発する 2 次元画像の特性情報を指します。生理的奥行き手がかりとは、3 次元シーンの空間的な位置関係によって誘発される 3 次元知覚特徴情報を指し、さらに両眼奥行き手がかりと単眼奥行き手がかりに分けられます。

3 次元表示の場合、心理的な奥行きの手がかりを実現しやすくなります。従来の超高解像度では、屋外の大画面の裸眼3D効果や携帯電話の裸眼3D着信音など、繊細な質感や影などの効果を通じて、一定の立体感を実現することもできます。生理的な合図を得るのは比較的困難です。技術の発展に伴い、両眼立体視は比較的成熟し、VR デバイスや裸眼 3D デバイスなどを通じて徐々に一般の人々の目に留まるようになりましたが、単眼の奥行きの手がかりを実現するのは比較的困難です。

3Dディスプレイ技術の分類

立体効果を実現するためのさまざまなメカニズムに応じて、3D ディスプレイは、視聴者がメガネや赤青メガネなどの視覚補助具を着用する補助 3D ディスプレイに分類できます。さらに、左右の目に異なる映像を投影して立体感を生み出す両眼視差3Dディスプレイを搭載。真の 3D ディスプレイは、ライト フィールド ディスプレイ、ボリューム ディスプレイ、ホログラフィック ディスプレイなど、ほぼ本物の 3D 画像情報と実際の物理的な被写界深度を提供します。補助的な 3D 技術は効果が乏しく、比較的古いため、ここでは詳細には触れません。以下では、両眼視差3Dディスプレイ、ライトフィールドディスプレイ、ボリュームディスプレイ、ホログラフィックディスプレイについて簡単に紹介します。

図10 3Dディスプレイの分類

両眼視差3D

両眼視差 3D には、従来のスリット グレーティングと円筒レンズ方式のほか、指向性バックライトに基づく視差型 3D ディスプレイがあり、視聴領域で視聴者の左目または右目で知覚されるパネル解像度を維持します。光の放射方向を制御する指向性バックライト構造設計に基づく時空間多重化 3D ディスプレイ技術と、高速リフレッシュ LCD ディスプレイ技術を組み合わせ、時間多重化を使用してフル解像度の 3D ディスプレイ効果を実現します。

図11 ポインティングバックライト表示原理

ライトフィールドディスプレイ

視差 3D ディスプレイは、特定の瞬間に複数の個別の視点画像を提示しますが、ライト フィールド ディスプレイは、特定の角度範囲内で連続または準連続の視点画像を提示します。ライトフィールドディスプレイ技術は、実装原理に応じて、圧縮ライトフィールドディスプレイ、指向性ライトフィールドディスプレイ、統合イメージングディスプレイに分けられます。

圧縮ライトフィールドディスプレイ

多層構造を採用し、積層されたディスプレイ層を使用して特定の角度範囲内で光の強度を調節するため、積層ライトフィールドディスプレイとも呼ばれます。多層スクリーン構造により、ハイダイナミックレンジや超解像の2D画像表示を実現します。圧縮ライトフィールド表示は、3 次元シーンの視点画像間の強い相関関係を利用して、特定の視野角でのターゲット ライトフィールドを複数の 2 次元パターンに「圧縮」します。ただし、このため、関連のないマルチビュー画像を表示するときにクロストークが多く発生します。圧縮ライトフィールドディスプレイの視野は限られています。表示レイヤー数を増やしたり、リフレッシュレートを向上したりすることで視野角を広げることができます。ただし、ディスプレイ層の数を増やすと、ハードウェアとコンピューティングの複雑さが増し、光学効率も指数関数的に低下します。

ポインティングライトフィールドディスプレイ

上記の問題はある程度解決できます。 2012 年、G. Wetzstein らは、多層LCDの背後に指向性バックライトパネルを追加することで、新しい「テンソル」ディスプレイ技術を提案しました。この構造は、多層LCDスクリーンとマルチフレームレートのライトフィールド分解によって視野を拡大するという目的を達成し、視野は元の10°×10°から50°×20°に拡大されます。

イメージングディスプレイも内蔵されています。円筒レンズアレイに基づく 3D ディスプレイ技術は水平視差しか提供できませんが、球面マイクロレンズアレイに基づく統合ディスプレイは完全な視差画像を提供できます。その原理を図12に示す。画像を記録する際には、マイクロレンズアレイまたはピンホールアレイを使用して、さまざまな視野角の画像をフィルム上に「統合」します。映像を再生する際、多視点映像素子の出射光がマイクロレンズアレイの前で再生され、表示パネル上の素子映像を異なる視点に結像し、完全な3D映像を形成します。統合型イメージングディスプレイの利点は、コンパクトでシンプルな構造、完全な視差の 3D 画像を再現する機能、および動きの視差情報を提供する機能です。ただし、解像度は大幅に低下し、視野は比較的限られています。

図12 統合写真と統合イメージング

ボリューム表示

ライト フィールド ディスプレイは、あらゆる種類の心理的手がかりと両眼の奥行き手がかりを提供できるほか、動きの視差や遮蔽の変化などの単眼の奥行き手がかりも提供できます。しかし、従来のライトフィールドディスプレイでは、完全なフォーカスキューを提供することが困難です。ボリューム 3D ディスプレイは、空間内の発光材料または「ボクセル」を点灯することで、一定体積の空間内で表示プロセスを完了し、人間の目の持続効果を通じて焦点合わせの手がかりを提供できますが、複雑な機械式スキャン デバイスが必要であり、機動性が低いという欠点があります。

図13 回転走査立体表示原理

ホログラフィックディスプレイ

理論的には、ホログラフィック ディスプレイはあらゆる種類の奥行きの手がかりを提供でき、3 次元ディスプレイを実現する究極の方法と考えられています。ホログラフィーは、ホログラフィック写真とも呼ばれ、光波の振幅と位相の分布を写真フィルムまたは乾板に記録して、物体の 3 次元画像を再現する技術を指します。物理的な意味に応じて、波面記録と波面再構成の 2 つの部分に分けることができます。波面記録プロセス中に、物体光波がホログラム平面内の参照光波と干渉し、干渉縞の強度が記録されます。ホログラフィーは、参照光波の振幅と位相が既知であるため、物体光波の複雑な振幅信号を強度信号に変換し、物体光波のすべての情報を記録するプロセスです。波面再構成のプロセスでは、再構成光波のビームを使用してホログラムを照射します。再構成された光波は、ホログラムの回折光波を介して、特定の位置における物体光波の振幅および位相情報を再構成することができる。

図14 ホログラフィック記録とホログラフィック再構成

まとめると、3次元表示技術の発展により、3次元表示の効果は大幅に向上しました。心理的手がかりと生理的手がかりにおける両眼視差に基づく従来の裸眼 3D は、その単純な原理と低コストのため広く使用されてきました。ただし、視野角が限られているため、エクスペリエンスの向上の余地はまだ大きく残っています。より多くの生理的、心理的な奥行きの手がかりを提供するために、ライトフィールド表示技術、ボリューム表示技術、ホログラフィック表示技術が急速に発展しました。しかし、これらのテクノロジーは実装コストが高くなることが多く、そのほとんどはまだ研究段階にあり、真の消費者レベルのアプリケーションには程遠い状況です。

応用

計算光学イメージング技術は、初期段階では主に医学、天文学、軍事、産業検出の分野で、さまざまな分野で広く使用されています。近年、仮想/拡張現実、裸眼3Dなどの事業の発展に伴い、計算光学イメージング技術は徐々に生活に応用され、世間の注目を集めるようになりました。光学イメージング技術は、人々が周囲の環境に関する情報をよりよく理解・把握し、作業効率を向上させ、生活の質を高め、科学技術の発展を促進するのに役立ちます。今日の社会において、光イメージング技術の応用は、さまざまな分野で欠かせない基幹技術の一つとなっています。

仮想現実/拡張現実

従来の構造化光技術を使用してオブジェクトの 3 次元モデルを迅速に作成することができ、ディープラーニング技術と組み合わせることで、マルチアングル画像/ビデオを通じて 3 次元モデルを迅速に生成できます。たとえば、清華大学の研究チームは、新しいマルチカメラ大空間高密度ライトフィールドキャプチャシステム「Den-SOFT」を開発しました。これは、パブリックドメインにおける品質と視点密度の点でトップクラスのデータセットです。これは、空間中心の光場再構成に関する研究を刺激し、没入型の仮想/拡張現実体験のためのより高品質の 3 次元シーンを提供することが期待されます。

図15 清華電ソフト

民生用RGB-Dカメラのみで、複数人のリアルタイム3D人体再構成を実現し、人体モデルをリアルタイムAR表示、オンライン教育、ゲームなどに活用できます。清華大学の論文「Function4D: 非常にスパースなコンシューマー RGBD センサーからのリアルタイムの人間の体積キャプチャ」などを参照してください。

図16 清華大学RGB-Dリアルタイム3D再構築

プロフェッショナルレベルのモーション キャプチャ ドライバーに関しては、光学式モーション キャプチャは、ターゲット上の特定の光点を監視および追跡することでモーション キャプチャを完了します。高解像度の光学赤外線カメラを使用して撮影できます。例えば、Lingyunguang の FZMotion AI マルチモーダル モーション キャプチャ システムは、高精度かつ高速な AI 人間動作認識のためのマルチモーダル モーション キャプチャを実現します。

図17 FZMotion AIマルチモーダルモーションキャプチャシステム

消費者レベルのドライバーに関しては、ディープラーニングと組み合わせることで、少数の消費者グレードの RGB-D カメラを使用して、リアルタイムの複数人モーション キャプチャを実現できます。

メガネ不要の3D

消費者向け裸眼3Dは急速に発展しています。 2023年3月、ZTEはモバイル・ワールド・コングレスでLCD Nubia Pad 3D（米国企業Leiaと共同）を発表しました。切り替え可能な指向性光源モジュールを採用し、表示解像度は2K、2D/3D表示のリアルタイム切り替えをサポートし、価格は約1,300ユーロです。コンテンツ面では、nubiaとChina Mobile Migu Companyが緊密に協力し、ユーザーに新たな多次元のインタラクティブで没入感のあるゲーム、ビデオ、ライブ放送、音楽体験を共同で提供し、デジタルエンターテインメント業界に幅広い発展の余地をもたらしました。

図18 ZTE nubia Pad 3D

ライトフィールドディスプレイの分野では、ルッキンググラスなどにより多視点ライトフィールドディスプレイを実現できる。

図19 清華大学のライトフィールドディスプレイ研究

映画・テレビ制作

Light Stage ライト フィールド取得システムは、ハリウッド映画制作で広く使用されています。 Light Stage は、南カリフォルニア大学の ICT グラフィック ラボの Paul Debevec によって開発された、高忠実度の 3D 取得および再構築プラットフォーム システムです。このシステムは、高忠実度の 3D 顔再構成に重点を置いており、ハリウッド映画のレンダリングに使用されています。第 1 世代のシステムである Light Stage 1 は 2000 年に開始され、Light Stage 6 にアップグレードされました。最新世代のシステムは Light Stage X と呼ばれています。

図20 ライトステージ6取得システムのプロトタイプ

Lingyun OptoelectronicsやYingmo Technologyなどの国内企業も、Light Stageと同様の独自の取得システムを構築しています。たとえば、Lingyunguang の LuStage デジタル ヒューマン ライト フィールド モデリング システムは、0.1 mm の毛穴レベルの再構築を実現できます。このシステムは、独立して設計、開発、製造された 6 色 LED (RGBWCA) 756 個、直径 6.6 m の 375 面ブラケット、組み込み制御プラットフォーム、および 4K カメラ 100 台で構成されています。各光源には 97 個の LED ビーズが含まれており、各ビーズの明るさ、点灯時間、周波数を制御できます。システム全体では、入力画像またはビデオ内の周囲の照明をシミュレートし、光源を瞬間的に特定の方向に点灯し、3 軸 XYZ 画像のグラデーション照明を実現できます。球面上のカメラを使用して光源を同期させて画像を撮影し、映画やテレビの照明、AIトレーニングデータの収集などの目的を実現できます。

図21 LuStageデジタルヒューマンライトフィールドモデリングシステム

医学

医療分野では、中国工程院の院士で清華大学画像知能技術研究所所長の戴瓊海氏が率いるチームが、追加の電子機器を必要とせずに携帯電話に高解像度の統合顕微鏡を搭載することで刺激を与えることができる、皮膚の健康に関する新しいポータブル診断法を実現した。ニキビ、天疱瘡、乾癬などの他の皮膚疾患も、内蔵顕微鏡と対応するインテリジェントなアルゴリズムを使用して、一度に簡単に診断できます。

図22 携帯電話に内蔵された顕微鏡

天文学的な

天文学分野では、清華大学の戴瓊海院士チームが開発したデジタル適応光学地球・月観測システムが、国立天文台星龍観測所で40万キロメートルの地球・月撮影テストを達成した。既存の光学システムに直接接続できます。既存の大口径光学系の容積を縮小し、コストを3桁以上削減しました。大きな視野を持つ複数の領域で空間的に不均一な環境乱流異常の修正を達成し、高解像度画像を再構築しました。

図23デジタルアダプティブアースムーン観測

計算光イメージングは​​さまざまな分野で適用されており、計算光学イメージングの市場が急速に発展しています。メタバースの開発により、コンテンツの生成とディスプレイにおいて、計算光画像がますます重要になっています。テクノロジーの開発により、計算光学イメージングに関与するソフトウェアとハ​​ードウェアの市場の見通しがますます幅広くなっています。

見通し

従来の光電イメージングテクノロジーは、工業デザインのアイデアによって制限されており、そのパフォーマンスはその限界に達しています。計算イメージングテクノロジーは、情報時代の避けられない開発です。

軽いフィールドの獲得は、メタバースの新しい入力方法を拡大すると予想されます

従来の光電イメージングは​​2次元データのみを取得できますが、人間の目は従来のカメラよりも高いデータ密度と寸法で情報を知覚できます。人間の目には、リアルタイムで実際のシーンで多次元光場情報をキャプチャできる洗練された構造があります。脳の計算と組み合わせることで、人間の目 +脳は自然で洗練された計算光画像システムです。ただし、現在使用されている従来の撮影方法では、大量の高次元データ情報が失われ、その結果、獲得効率が大幅に低下します。人間の目 +脳のような計算光システムを設計すると、実際のシーンの効率的なリアルタイムの取得を実現できます。 4Dライトフィールドデータを通じて、現在の2次元画像では解決できない多くの問題を解決し、最終的に真のインテリジェントマシンビジョンを実現できます。

ホログラフィックディスプレイは、将来の3Dディスプレイの究極の形式です

軽いフィールドテクノロジーを通して実際の3次元の世界を再現することは、長年にわたって人類の夢でした。現在の3Dディスプレイテクノロジーは、めまいや非現実的な画像などのさまざまな問題を引き起こす可能性のあるすべての深さの手がかりを提供することはできません。ホログラフィックディスプレイは、現実の世界に3次元のオブジェクトを表示し、仮想と現実を完全に統合し、実際の世界と仮想世界の境界がもはや明らかではありません。

図24映画アバターに描かれているホログラフィック3Dミリタリーサンドテーブル

光フィールド + AIは、光学イメージングを計算する唯一の方法です

深い学習は、徐々に光学技術の複数の分野に侵入し、多くの光学技術の開発を促進しました。ディープラーニングには、強力なコンピューティング、データの進化、非線形逆問題解決能力があり、より複雑な光学システムの設計と最適化のための新しいアイデアと方法を提供します。同時に、深い学習に基づいて光学システムを簡素化する方法、光学システムのコストを削減し、光フィールドの獲得効果を改善することも大きな課題です。現在、神経放射線場に基づく3D再構成技術は、1日ごとに変化しており、この背後には、軽量の光場3D再建に対する人々の無限の期待があります。

計算光画像技術は、5Gおよび6Gキラーアプリケーションを達成することが期待されています

イメージのエンコードとデコードの開発ハードウェアテクノロジーの開発により、従来の2次元ビデオの解像度は2Kから4K、8K、および16Kに進化し、平均的な人間の眼の解像度制限を超えています。さらに増加する画像解像度の利点はすでに小さいです。ただし、メタバーステクノロジーの開発により、コンテンツは2次元から3次元に移行し、情報量が指数関数的に増加します。

2次元平面の人間の視力の限界に近い従来の高解像度情報は、3次元ディスプレイでは不十分です。

5G後、さらには6G ERAでは、携帯電話裸の目の3Dディスプレイアプリケーションで、マイクロナノライトフィールドコントロールとメタサーフェース光学技術に代表される可能性があります。ミリメートル波、テラヘルツ、汎光学通信（6Gフォトニクスのカテゴリに該当する）などの技術は、通信ピーク帯域幅、連続スペクトル帯域幅、ネットワークレイテンシ、トラフィック密度などのネットワークキャリカル容量インジケーターを大幅に改善できます。

5G後および6Gのライフサイクルでさえ、「大きな爆発」の時代になる可能性があります。たとえば、ユーザーに現実的なディスプレイ効果を提示するために、3D高解像度ビデオでは、GBIT以上のエンドツーエンドトラフィックが必要になる場合がありますが、グラスの支援を必要としないホログラフィック3Dステレオ画像には300〜30億ピクセルが必要です。生成された膨大な量のTbitレベルデータは、モバイルネットワークに前例のない圧力をもたらします。最初の課題は、3Dオブジェクトデータを圧縮することです。膨大な量のデータには、必然的に高い圧縮率が必要です。第二に、大規模な3Dオブジェクトデータを保存することも困難な問題です。 3Dオブジェクトが運ぶ情報の量は非常に大きく、ストレージと読み取りと書き込みの現在の制限を超えることがあります。最後に、3Dデータの送信と計算も重要な問題です。このような巨大なデータのリアルタイムの送信と計算を確保する方法は？エッジコンピューティングパワーのアップグレードと変換は避けられないようです。

さらに、生産から経験までの計算光学イメージングに関連する標準には依然としてギャップがあります。これは、技術の進歩と業界が実施されるにつれて補足する必要があります。計算イメージングテクノロジーの継続的な開発と理論の継続的な改善により、計算イメージングシステムはより豊かで3次元、より効果的になり、計算イメージングがより高い（イメージング解像度）、より遠い（検出距離）、より大きな（イメージングフィールド）、より小さな（電力消費と量）の目標を真に達成できるようにします。

[参照] [1] Shao Xiaopeng、Su Yun、Liu Jinpeng、他計算イメージングの意味とシステム（招待）[J]。 Acta Photonica Sinica、2021、50（5）：0511001

[2]チェンリアン、ユシャオフア。 5G/6Gネットワ​​ークの容量に対するホログラフィック3Dディスプレイの影響に関する研究

[3] Qiao Wen、Zhou Fengbin、Chen Linsen。モバイルデバイスの適用に向けて：メガネのない3Dディスプレイのステータスと未来

[4] Wang Cheng、Zhu Xiang-Bing.Search Development of Stereospic Display Technology

[5] Gao Chen、Li Ziyin、Wu Rengmao、Li Haifeng、Liu Xu。ポータブル3次元ディスプレイの開発と見通し

[6] Cao Liangcai、He Zehao、Liu Kexuan、Sui Xiaomeng。メタバースのダイナミックホログラフィック3Dディスプレイの進歩と課題（招待）

[7] Kang Jiaxin、Wang Wenwen、Peng Yuyan、Zhang Jiazhen、Zhou Xiongtu、Yan Qun、Guo Tailiang、Zhang Yongai。ライトフィールド表示テクノロジーの研究状況と傾向

[8] Fang Lu、Dai Qionghai。計算ライトフィールドイメージング[J]。 Acta Optica Sinica、2020、40（1）：1-11。

[9] Zuo Chao、Chen Qian。計算光イメージング：概要

[10] Gao Jinming、Guo Jining、Dai Anli、Situ Guohai。光学システム設計：反復的最適化から人工知能まで。

[11] Shao Xiaopeng。計算光画像[OL]。 Xidian Universityの放送およびテレビイメージングエンジニアリングセンター（公式アカウント）

著者：Liu JianlongとBi Lei

ユニット：China Mobile Communications Group Migu Company