アリババの新しいAI技術は、普通の人を数秒でダンスの達人に変える

2024 年の初めには、ソーシャル メディアと WeChat Moments は一連の素晴らしいダンス ビデオで占められていました。アイアンマンはダンスの3番目の部分を踊り、マスク氏もインターネットの有名人のダンスの動きを真似していた。約10秒のこれらのビデオは、誰でも、またはキャラクターを簡単にダンスマスターに変えることができる大型モデル技術の助けを借りて作成され、ダンスバトルの流行を引き起こしました。

ネットユーザーたちは、人工知能作成ツールのワンクリック生成機能に驚き、「AIが手足の協調運動の問題を治してくれた」と述べ、考古学界でさえ被験者3の流行を感じ取った。今では、写真1枚で誰もが簡単にダンスマスターに変身できるのだ。実際にステージで踊る必要はありません！

これこそまさに、アリババのブラックテクノロジーである「Animate Anyone」ビデオ生成モデルが実現していることです。昨年11月以降、写真を動かすこの画期的なツールはTwitterやYouTubeで大人気となり、関連動画の再生回数は1億回を超え、GitHubでの注目度も急上昇し、スター数も1万を超えました。海外のネットユーザーや開発者はこの技術を絶賛しており、これを体験する機会が増えることを期待している。

Animate Anyone の使い方も非常に簡単です。 「同義千文」アプリを開き、「同義舞王」または「全国舞王」と入力し、好きなダンステンプレートを選択し、全身写真をアップロードすると、システムは約10秒のダンスビデオを生成できます。この技術は、実在の人物、アニメや漫画のキャラクターの画像を処理し、主題三、ゴーストステップダンス、ウサギダンスなどの人気のダンスを簡単に実現することができ、ユーザーが選択できる12種類の人気のダンステンプレートを提供し、誰もがダンスマスターになることができ、完全に無料です。

これまで、キャラクターの動きを滑らかで自然にすることは、ビデオ制作において常に課題となっていましたが、アリババの「Animate Anyone」技術によってそれが実現されました。キャラクターの表情や衣服の質感など、細部まで正確に再現するだけでなく、アニメーション内のキャラクターの動きを滑らかで自然にし、元の画像と同じくらいリアルに表現します。これは間違いなく、ビデオ生成の分野、特にキャラクターの動きの処理において、AI アニメーションにおける大きな進歩です。

Animate Anyone はどのようにして画像アニメーションを作成しますか?

注目のビデオ生成分野では、Google、Meta、Runway などの大手企業も注目を集めています。しかし、難しいのは、ビデオ内のキャラクターの動きをリアルかつスムーズにすることであり、これは常に技術的なハードルとなっていた。

GAN ベースの方法などの従来の技術でも画像を動かすことはできますが、画像の一部が歪んだりぼやけたり、アニメーションの各フレームが十分に一貫性を持たなかったりするなどの問題が発生することがよくあります。それはまるで映画を観ているときに、登場人物が突然変形したり、映像が突然飛び出したりしたときのように、とても奇妙な感じがするのです。

今回、アリババの研究チームが提案した解決策が「Animate Anyone」です。この技術は、あらゆるキャラクターの写真を、特定のポーズのシーケンスをたどるアニメーション ビデオに変換できます。彼らは、マルチフレーム入力を処理できる、つまりビデオ内の複数のフレームを同時に考慮できる Diffusion と呼ばれるネットワーク設計を活用しました。

アリババの公開論文によると、Animate Anyone には、元の画像情報をキャプチャして保持することに重点を置き、キャラクターの外見、表情、衣服の詳細を正確に復元できる ReferenceNet の導入など、数多くの革新的なテクノロジーが統合されているという。さらに、動きの正確性と制御性を確保するために効率的なポーズガイダーも使用します。同時に、時系列生成モジュールを通じて、ビデオフレーム間の滑らかさと一貫性を効果的に確保します。

興味のある友人はそこに行って詳細を学ぶことができます。

プロジェクトアドレス: https://humanaigc.github.io/outfit-anyone/

体験アドレス: https://huggingface.co/spaces/HumanAIGC/OutfitAnyone

誰でもアニメーション化できるフレームワーク

このテクノロジーは、5,000 を超えるキャラクターのビデオ クリップのデータセットでトレーニングされています。効果は自然でリアルです。動画内のキャラクターの外観や動きの時間的な一貫性を維持し、ジッターやちらつきのない高精細な動画を生成できます。パフォーマンステストでは、Animate Anyone は、追加の人間のマスク学習を必要とせずに、ファッションビデオ合成と人間のダンス生成において他のモデルよりも優れたパフォーマンスを発揮し、前景と背景の関係と動きの視覚的な一貫性を理解する優れた能力を実証しました。

この違いを説明するために、静止写真を例に挙げてみましょう。

直感的に見ると、DreamPose と BDMM は衣服の質感のディテールの維持が不十分で、動きの連続性やちらつきがより顕著です。対照的に、Animate Anyone は現実のモデルと同じように自然かつスムーズに動作します。衣服の質感もしっかりと再現されており、脚のスリットなども非常に正確に再現されており、より細かな表現がされています。

Animate Anyone にはどのような実用的な用途がありますか?

Animate Anyone テクノロジーは、人工知能研究分野の進歩を促進するだけでなく、さまざまな業界の境界を越えています。オンライン小売からエンターテイメントビデオ制作、芸術作品の創作、仮想キャラクターの開発まで、さまざまなアプリケーションシナリオに新たな可能性を提供します。

チームの仮想試着室「Outfit Anyone」がその一例です。この仮想試着室テクノロジーを Animate Anyone と組み合わせると、パーソナライズされた服のマッチングが簡単になるだけでなく、誰であっても、どんなスタイルが好きであっても、自分に合った仮想試着体験を見つけることができます。また、フィットネス体型から曲線美、小柄な体型まで、さまざまな体型に適応できるため、誰もがこの仮想試着室で自分だけのユニークなスタイルを見つけることができます。

さらに、「Animate Anyone」技術と組み合わせることで、AIアニメキャラクター描画生成の敷居が大幅に下がり、一般の人でも簡単にさまざまなアニメキャラクターを作成できるようになります。ユーザーは自分の好みに合わせてキャラクターの顔、服装、アクセサリー、背景を自由に組み合わせ、個性と魅力のある二次元キャラクターを作成できます。

さらに、デジタルヒューマン技術の発展とコストの削減により、Animate Anyone技術は仮想デジタルヒューマンの分野でも活躍しています。ニュース放送から接客・説明まで、その応用範囲はどんどん広がっています。 2026年までに中国のバーチャルデジタルヒューマン市場規模は102.4億元に達すると予測されている。ユーザーはカスタマイズ機能を利用して、自分のニーズに合ったデジタルアバターを作成できるため、より幅広い分野でのデジタルヒューマンの応用が促進されます。

過去 1 年間、AI テクノロジーは、テキストやコードの作成から映画レベルの HD 制作、そして今日のビデオ生成まで、猛スピードで進化してきました。 AI はテクノロジーの世界におけるジェネラリストであるだけでなく、変化の先駆者でもあります。

この技術の波の中で、ビデオ生成技術は特に注目を集めています。 Runway の Gen-2 モデルから Meta の Emu Video、そして Stability AI の Stable Video Diffusion まで、進歩のあらゆるステップは境界の拡大です。国内では、バイトダンスとファーウェイも中国技術の革新力を実証し、目を引くアプリケーションを発表し、業界の境界を継続的に広げています。

アリババもこのコンテストで好成績を収め、Animate AnyoneをTongyi Qianwen APPに統合し、ダンスビデオ合成を実現しました。これは技術的な進歩を意味するだけでなく、ライフスタイルの変化を告げるものでもあります。 AI が進歩し続けるにつれ、生成型 AI が私たちの仕事や創造の方法を変える新しい時代に入りつつあります。アリババは間違いなく、この技術革新において重要な役割を果たし続けるだろう。

今日頭条の青雲計画と百家曼の百+計画の受賞者、2019年百度デジタル著者オブザイヤー、百家曼テクノロジー分野最人気著者、2019年捜狗テクノロジー文化著者、2021年百家曼季刊影響力のあるクリエイターとして、2013年捜狐最優秀業界メディア人、2015年中国ニューメディア起業家コンテスト北京3位、2015年光芒体験賞、2015年中国ニューメディア起業家コンテスト決勝3位、2018年百度ダイナミック年間有力セレブなど、多数の賞を受賞しています。