孟徳海は「嵐」で何と言ったのですか？分かりましたか？

最近ヒットしたテレビシリーズ「快創」は突如として「事件解決」ブームを巻き起こし、多くの視聴者が名探偵に変身して秘密を解明しようと試みている。しかし、この秘密は劇中の事件に関するものではなく、劇そのものに関するものである。

「嵐」の後半には、それまでに立てられた筋書きの論理と矛盾する、多くのどんでん返しがあることが判明しました。視聴者は、これらのストーリーはテレビシリーズが撮影され、その後編集され、再び吹き替えられた後に変更されたのではないかと疑った。

写真はテレビシリーズ「光川」より

観客もこの疑問に対する証拠を示した。劇中の多くの登場人物の唇の動きがセリフと一致していなかったのだ。観客は俳優たちの口元を何度も見つめ、「本来のセリフ」を解読さえした。

昨今の映画やテレビ作品では、ポストプロダクションでの吹き替え方式が採用されることが多く、セリフと唇の動きが一致しないことも珍しくありません。では、唇の動きを見てセリフを推測するのは信頼できるのでしょうか?

動く口に込められた情報

まずはちょっとしたゲームをしてみましょう。以下の画像をご覧ください:

リップリーディングパズル、画像出典: Wikipedia

絵の中の12人が自分の名前を言いながら「写真」を撮る面白い絵パズルです。彼らの名前は、オーム、アルデン、イーストマン、アルフレッド、アーサー、ルーク、フレッチャー、マシュー、セオドア、リチャード、シャーマー、ヒスワルドであることがわかっています。誰が誰だかわかりますか？

写真を拡大し、名前をもう一度読んで、唇の動きを自分の唇の動きと比べてみてください。英語の発音の助けがなくても、中国人は大まかに推測できることがわかります。これは、私たちが話すとき、口の形が発せられる音を反映するからです。確かに、唇の形を見るだけでいくつかの発音を推測することができます。

科学者たちは、会話によって伝えられる情報は主に声に依存しているものの、唇の形も非常に重要であることを発見しました。赤ちゃんが話し方を学ぶとき、両親の口の形に特に注意を払います。赤ちゃんに、話し方と唇の動きがわざとずれているビデオを見せると、赤ちゃんはすぐにそれに気づき、非常に混乱した様子を見せます。言語学習の初期段階では、口の形を真似することで発音を真似るのに役立ちます。

人々は唇の形と話し言葉の対応を非常に早くから発見し、唇の形を言語理解の助けとして利用しました。古代では、聴覚障害者は人の口の形を観察することで、人の言っていることを理解していました。この方法は「リップリーディング」と呼ばれていました。今日でも、多くの聾学校では読唇術を教えています。後天性難聴の人は一般的に手話を習得しません。一部のトレーニング機関では、これらの人々がリップリーディングを学び、リップリーディングを使用してスピーチを聞き取るのを助け、コミュニケーションを改善するのを支援します。多くの聴覚障害者は長い間読唇術を利用しており、高度な読唇術のスキルを持っています。顔の動きを見て、その人が何を言っているのか推測することができます。

ということは、観客は唇の動きを見て元のセリフを推測できるということですか?がっかりするかもしれません。訓練を受けた読唇術の専門家であっても、口の動きを完全に復元することは困難です。これはなぜでしょうか?

唇の動きを読み取ることの限界

2006年のワールドカップ決勝戦では有名なファウルがあった。有名なフランスのスター、ジダンが試合中に突然、イタリアの選手マテラッツィの胸を頭で殴ったのだ。相手選手は倒れ、このファウルによりジダン選手はレッドカードを受けて退場となった。

その試合はもともとジダンがフランス代表として出場したワールドカップ決勝戦だった。また、引退前の最後の試合でもあった。彼のこのような退場はファンを驚かせた。

2006年ワールドカップからの画像

ジダンが怒ってピッチを去るビデオと当時の彼のパフォーマンスを合わせて、人々はファウルには理由があったと気づいた。マテラッツィがジダンに何かをささやいたため、ジダンは制御を失った。試合後、両者の意見は異なった。ジダン氏は、マテラッツィ氏が自身の妹と母親を言葉で虐待したと主張した。マテラッツィは失礼な発言をしたことを認めたが、相手の家族を侮辱したことは否定した。

当然、メディアはこの噂を放っておかないだろう。彼らは、当時のビデオを見てマテラッツィが何を言ったのかを分析するために、読唇術の専門家を呼んだ。その結果、結果に対する全員の解釈は一貫していませんでした。翌年、マテラッツィはインタビューで自分が言ったことを明らかにしたが、それも読唇術の専門家が解釈したものとは異なっていた。もちろん、アスリートが後から言葉を装飾することは可能ですが、この例は少なくとも、人々が唇の動きを頼りにできず、元の文章を完全に推測することはできないことを示しています。

言語学者は、英語には約 40 種類の区別できる発音があることを発見しましたが、多くの異なる発音は似たような口の形を共有しています。中国語でも同様です。鏡の前で試すこともできます。中国語のピンインbとp、kとg、z、cとsなどの口の形は非常に似ています。これは、人が話すときに、喉、舌、唇がすべてそれに応じて動くためです。多くの場合、人は唇と舌のほんの一部しか観察できず、喉の動きは目では全く見ることができません。

聴覚障害者が読唇術を行う際、会話の話題がわかっていて話し手のことをよく知っていれば、読唇術を通じて情報を得ることができるだけでなく、文脈や相手の話し方の癖に基づいて正確さを高めることもできます。しかし、文脈を考慮せずに遠くから人の唇の動きを観察するだけでは、唇の動きを読み取る精度は大幅に低下します。

ミュート後

唇の動きが認識しやすくなったようですね？

動画を見ていると、唇の動きが一致していないことに気づくのは簡単そうですが、唇の動きだけで本来のセリフを推測するのはそう簡単ではありません。しかし、言及する価値のある興味深い現象があります。一部のネットユーザーは、ストーリーを解読する際に、ある現象を発見した。それは、動画を直接見ると、声が唇の形の判断を妨げてしまうが、動画をオフにすると、元のセリフを推測しやすくなるというものだ。

そうです、声と唇の形の情報は互いに影響し合うのです。時々、声が聞こえていれば、唇の動きが一致していなくても、それほど気になりません。近年では、テレビドラマや映画の撮影時にセリフを最後まで読み上げず、ポストプロダクションでの吹き替えに頼る俳優もいるが、それでも違和感のない作品が作られている。さらに、人々は吹き替え映画を観ると、最も優れた吹き替えは俳優が自然に話しているように聞こえ、まったく「吹き替え」という感じがしないという感覚も持つ。まさにこれが、発話が唇の動きの知覚に影響を与える仕組みです。

逆に、口の形も話し方の知覚に影響を与えることがあります。科学者たちは、人が「ba」という単語を発音するビデオを録画する実験を行った。唇の形を見て、声を聞いて、誰もがすべてが正常だと思った。すると、俳優の口の形は「ファ」に変わったが、音は依然として「バ」のままだった。この時、人々が聞いた音には全く変化がなかったが、ビデオを見ると、実際に少し「ファ」という音が聞こえた。この現象は「マガーク効果」と呼ばれます。これは、人間が他の人と話すときに、音声情報と唇の動きの情報を自動的に統合することを示しています。口の形を変えると発音にも影響が出ることがあります。

人工知能

またなぜあなたですか？

唇の動きを読み取ることで得られる情報には限りがあり、人間が話し方や唇の形を理解するのにも限界があるようです。唇の形に基づいてプロットを推測することはもはや不可能です。しかし、おそらく将来的には、人々は唇の動きを読み取る能力をさらに向上させることができるようになるでしょう。そして、それには人工知能の助けが必要になるでしょう。 Google の科学者たちは、唇の動きを読み取る精度を向上させるために、大量のビデオを使ってコンピューターをトレーニングしました。この研究の進歩は音声認識に比べるとはるかに遅れていますが、コンピューターはある程度の精度を達成しています。

画像出典：参考文献[9]

さらに、Jaliという人工知能企業は、音声とテキストを入力すると3Dキャラクターが自動的にリップシンクする新しい技術を開発しました。一部の 3D ゲームでは、12 を超える言語での吹き替えが提供されており、キャラクターの表情や唇の動きを特定の言語にマッピングできます。これはアニメーターが手作業で行うと不可能な作業ですが、人工知能を使えば精巧な演技を生み出すことができます。

おそらく、将来の映画やテレビドラマでは、実在の人物の代わりに仮想俳優を使うことが検討されるだろう。結局のところ、バーチャル俳優の唇の動きとセリフは常に一致するため、唇を読む探偵が行動を起こすチャンスはありません。

最後に、冒頭の唇の動きを読み取るパズルは解けましたか?メッセージを残してあなたの答えを教えてください！

参考文献:

[1] サム・ロイドのパズル百科事典、1914年

[2] ドッドB(1976)。乳児の唇の読唇：同期している発話と同期していない発話への注意。認知心理学10月;11(4):478-84

[3] 徐成（2013年）。唇の動きを読む研究のレビュー：聴覚障害者から健常者まで。華東師範大学学報（教育科学版）、31(1):56-61.

[4] 雷江華、張鳳琴、方俊明。（2004年）。単語ベースの条件下での聴覚障害のある学生による唇読みの漢字の音声認識に関する実験的研究。中国特殊教育ジャーナル、53(11)、37-39。

[5] レッドカードによりジネディーヌ・ジダンの頭突き事件は終結した。中国ニュースネットワーク、2007.3.6

[6] アウアー、ET（2010）。「音声読解と聴覚障害の調査」。アメリカ聴覚学会誌。 21(3):163–8.

[7] マクガークH.、マクドナルドJ.（1976）。「唇を聞いて声を見る」。自然。 264（5588）：746–748.

[8] 羅暁暁、康冠蘭、周暁林。（2018年）。マガーク効果に影響する要因と神経基盤。心理科学の進歩、2018年、26(11): 1935-1951

[9] Chung、JS、シニア、A.、Vinyals、O.、および Zisserman、A. (2017)。野生の唇を読む文章。 2017 IEEE コンピュータービジョンおよびパターン認識会議 (CVPR)、3444–3453。