Q: AIの世界で、ブルドーザー製造が最も得意な企業はどこでしょうか？

「どの会社が最高の掘削技術を持っていますか？」と誰かに尋ねられたら、

おそらく、この有名な広告スローガンを覚えているでしょう。「中国山東省の蘭香を探せ。」 （広告なし、広告なし）

話題を変えて、「人工知能（AI）の世界で、どのブルドーザーがよりクールですか？」と別の方法で尋ねたらどうでしょうか？

考えられる答えは何でしょうか?

さあ、まずは写真で勝負しましょう。

どうですか？各種ブルドーザーは、とてもかっこよくて芸術的な雰囲気に溢れていると思いませんか？

しかし実際には、現実のテンプレートは、下の写真のような普通の「バンブルビー」カラーのブルドーザーです。

醜いブルドーザーがゴッホの「星月夜」に出会うと、魔法のようなことが起こります。

ブルドーザーが望むどんな姿にも変身できるようにする「魔法」は、コーネル大学とアドビ リサーチから生まれました。

人工知能技術を使えば、有名な芸術作品のスタイルをあらゆる 3D シーンに取り入れることができると報告されています。

さらに、この最新技術は、以前の研究よりも高品質の詳細を示すことができます。

図 |新しい方法では幾何学的アーティファクトが少なくなります (出典: arXiv)

研究チームは、「星月夜」のスタイルに加え、エドヴァルド・ムンクの「叫び」の芸術スタイルをピックアップトラックに装備することにも成功し、色彩マッチングと細部表現の両方の面でより優れた統合効果を実現しました。

(出典: arXiv)

「ARF: Artistic Radiance Fields」と題された関連研究論文が、プレプリントウェブサイトarXivに掲載されました。

論文によると、変換品質の向上は、研究チームの人工知能技術により、元の画像と新しいスタイルの3Dシーンの詳細を直接比較できるようになったためだという。これまでの人工知能技術では、画像の特徴をよりコンパクトな統計セットに変換して分析していたため、元の詳細の多くが失われていました。

この点について、論文の著者の一人であるカイ・チャン氏は、「私たちは『星月夜』の筆遣いのような繊細な芸術的スタイルを本当に捉えようとしました。人間の目は局所的な細部に非常に敏感なので、これは人間の知覚にとって非常に重要なことです」と述べている。

この研究で、研究チームは、最近傍特徴マッチング (NNFM) スタイル損失が、複数のビュー間で一貫性を維持しながらスタイルの詳細をキャプチャするのに非常に効果的であることを実証しました。

図｜NNFM に基づく一貫した自由視点スタイルのレンダリングの取得 (出典: arXiv)

同時に、彼らは、フル解像度のレンダリング画像で定義されたスタイル損失を使用して、メモリを大量に消費する放射輝度フィールドを最適化する、新しい遅延バックプロパゲーション法も提案しました。

図 |遅延バックプロパゲーションの概略図（出典：arXiv）

さらに、オンライン調査では、5 つの異なる芸術スタイルによる 5 つの異なる 3D シーンのビデオが示されました。以前のAI技術と比較すると、彼らのAI技術はより人気があり、86％以上を占め、より多くのポイントを獲得しました。

芸術的な画像を作成するには、多くの場合、多大な時間と特別な専門知識が必要であり、アートワークを 2D 画像平面を超えて時間 (アニメーション) や 3D 空間 (彫刻や仮想環境) などの次元に拡張すると、多くの制限と課題が生じます。

研究チームは、この最新のスタイル転送技術が、今後、アニメ映画やゲーム業界で、手作業による微調整前のスタイルテンプレートとして利用されるようになると期待していると述べた。

さらに、この技術は、正午の自由の女神像を日没の自由の女神像に変換するなど、フォトリアリスティックなスタイルの転送にも適用できます。

ただし、この技術にも多くの制限があります。たとえば、360 度の視覚シーンをキャプチャするには、複数のカメラやドローンをホバリングさせて複数の角度からビューをキャプチャする必要があります。

さらに、アルゴリズムが 1 回正常に実行されるまでに最大 20 分かかる場合があります。これは、試行錯誤の過程でさまざまなスタイルを試すことになるため、非常に時間のかかるプロセスです。

このため、研究チームは今後の研究においてコンテンツ生成の効率性の向上に注力していきます。

将来的には、この技術が誰もが使うスマートフォンに使われるようになるかもしれません。

参考文献:

https://arxiv.org/abs/2206.06360

https://www.cs.cornell.edu/projects/arf/

https://github.com/Kai-46/ARF-svox2