世界初！機械は人間よりもあなたをよく理解しますか?ウェアラブル感情認識システムがネイチャー誌に掲載

彼/彼女の言っていることが理解できますか？彼/彼女はあなたの言っていることを理解していますか？他人に共感できなかったり、共感されなかったりして、悩むことが多いですか?

人間の感情は複雑で変化しやすい心理状態であり、多くの場合「仮面」の背後に隠されており、他人に正確に理解されることは困難です。表情や声のトーンなどの非言語的な手がかりはある程度の手がかりを提供しますが、多くの課題が残っており、人間同士の感情的なコミュニケーションは複雑で曖昧なものとなっています。

科学技術の継続的な進歩とインテリジェントシステムに対する需要の高まりにより、感情認識技術は人間とコンピュータの相互作用の分野の重要な部分として、ますます注目を集めています。

従来の感情認識技術は、主に顔の表情や声のイントネーションなど、人間の非言語的コミュニケーション方法の分析に基づいています。しかし、これらの方法は環境条件や個人差などの要因によって制限されることが多く、正確かつ効率的な感情認識を実現することは困難です。

感情、気分、気持ちなど人間の感情は抽象的で曖昧であるため、感情情報を理解し、正確に抽出することは常に難しい問題でした。

そのため、さまざまな環境で正確な感情認識を実現するための新しい方法を模索することが、現在の研究の焦点の 1 つになっています。

最近、蔚山科学技術院と南洋理工大学の研究チームは、世界初のリアルタイムウェアラブル人間感情認識技術を提案し、言語と非言語表現データを組み合わせて総合的な感情情報を効果的に活用するマルチモーダル人間感情認識システムを開発した。

「パーソナライズされた皮膚統合型ワイヤレス顔インターフェースによるマルチモーダル感情情報のエンコード」と題された関連研究論文が、科学誌「ネイチャー・コミュニケーションズ」に掲載されました。

このシステムの中核となるのは、自己駆動型皮膚インターフェース顔および音声感情認識インターフェース(PSiFI) システムであると報告されています。この技術は、自己発電摩擦電気原理に基づいています。特殊なセンサーユニットにより、顔と声の表情から発生する信号を同時に感知し、人間の感情を正確に認識します。

「このシステムでは、複雑な測定機器を使わずに、わずか数ステップの学習でリアルタイムの感情認識を実現できる」と論文の筆頭著者であるジン・ピョ・リー氏は述べた。 「これにより、将来のポータブル感情認識デバイスや次世代の感情ベースのデジタルプラットフォームサービスの可能性が開かれます。」

さらに、研究チームはこのシステムをVR環境（スマートホーム、プライベートシアター、スマートオフィスなど）に適用し、さまざまな状況における個人の感情を認識して、パーソナライズされた音楽、映画、本の推奨を提供しました。

表情や声を正確に認識

PSiFI テクノロジーは、生理学的信号に基づいた顔と声の表情を認識するインターフェースです。この技術は、PDMSやPEDOT:PSSなどの柔軟で透明かつ加工可能な材料を使用してセンサーユニットを構築し、人間の顔や声などの生理学的信号を捉え、感情状態を認識および監視します。

中でもPDMSは柔軟性と透明性に優れ、PEDOT:PSS導電層は良好な電気伝導性を提供します。どちらも PSiFI システムを構築するための重要な材料です。これらの材料の加工性と調節性を利用して、PSiFI 技術の構築と準備を実現できます。

図｜PSiFIシステム概要A. PSiFI は、摩擦電気センサー (TES)、無線通信用のデータ処理回路、顔の表情と音声を認識するためのディープラーニング分類器で構成されています。 B. PSiFI ウェアラブルマスクの 2D レイアウトと、顔の緊張や音の振動などの感覚刺激に関する 2 種類の TES の描写。 C. 電極層と誘電体層を含む単純な 2 層構造で構成される TES の概略図と TES アセンブリの写真。スケールバー: 1 cm。 D. TES 製造コンポーネントの概略図。 PEDOT:PSS ベースの電極は半硬化プロセスによって製造されました (左)。歪みや振動などの感知刺激を考慮して、最高の感知性能を実現するために誘電体層は異なる設計になっています。中央の挿入図は、歪み誘電体層のナノ構造表面の SEM 画像であり、右の挿入図は、振動誘電体層の音響孔として機能するパンチ穴の写真を示しています。スケールバー: 2 μm および 1 mm。

PSiFI システムは、PDMS 基板、PEDOT:PSS 導電層、および音響孔で構成されています。 PDMS は柔らかさと適合性を提供し、PEDOT:PSS 導電層は信号の伝送に使用され、音響孔はセンサーの感度と性能を向上させるために使用されます。

PDMS基材と硬化剤を一定の割合で混合し、基板上に塗布して真空脱ガス後に所望の薄膜を形成します。導電層は、PEDOT:PSS と添加剤の水性分散液を混合し、基板上に塗布して硬化させることによって形成されます。

図｜ひずみ検知ユニットの動作原理と特性A. ひずみ検知ユニットの概略図。挿入図：顔の緊張を感知するセンシングユニットの拡大図。 B. 屈曲および張力におけるひずみ感知ユニットの電位分布。

図 |出力測定に使用した実験装置の実際の画像。スケールバー: 1 cm。

PDMS 層と PEDOT:PSS 層を特定のコーティングおよび硬化方法によって組み合わせて、センサー ユニットを形成しました。センサーの感度と応答性を高めるために、レーザー切断技術を使用して PDMS 基板上に音響孔が準備されました。

図｜振動検知ユニットの動作原理と特性A. 振動検知ユニットの概略図。挿入図: 声帯の振動を検知するセンシングユニットの拡大図。 B. 動作サイクル中のセンシングユニットの電位分布。 C. 音響振動センサーの穴パターン構成の概略図と、32 穴構成の穴の SEM 画像。スケールバー: 2 mm (挿入図: ソノポアを示す拡大図。スケールバー: 400 μm)。

PSiFI システムを構築した後、研究チームはそのパフォーマンスを確認するために一連のテストを実施しました。

まず、研究者らは分光計を使用してPSiFIシステムの透明性をテストしました。結果から、PSiFI システムは可視光範囲で優れた透明性を備えており、光が透過し、ユーザーは遮られたり妨げられたりすることなく PSiFI デバイスを快適に装着できることが示されました。

その後、研究者らは引張試験と曲げ試験を実施し、さまざまな変形下における PSiFI システムの柔軟性と安定性を検証しました。実験結果によると、PSiFI システムは、伸ばしたり曲げたりしても構造の完全性と性能の安定性を維持でき、優れた柔軟性を示しています。

その後、研究チームは感情認識実験を行った。

PSiFI センサーを使用して顔の動きの信号を収集し、高度なアルゴリズムを使用してそれを処理および分析します。結果は、顔の筋肉の動きの微細な変化を監視することで、PSiFI システムがさまざまな感情状態における顔の表情の特徴を正確に捉え、記録できることを示しています。

さらに、研究チームはPSiFI技術を使用して音声信号を収集し、音響分析法を通じて感情認識を実行しました。結果は、PSiFI システムが音の周波数、振幅、その他の特性を効果的に捕捉して分析し、音声に含まれる感情情報を識別できることを示しています。

将来的には機械が人間よりも理解できるようになるかもしれない

研究チームは、将来的にはPSiFI技術を感情認識の分野に応用できると述べた。顔や音声の信号を監視することで、個人の感情状態を識別し、スマート医療システムに感情の健康監視および診断サービスを提供できます。

人間とコンピュータのインタラクションの分野では、PSiFI テクノロジーをスマート デバイスと統合して、自然な人間とコンピュータのインタラクションを実現することもできます。たとえば、仮想現実環境では、PSiFI テクノロジーを使用してユーザーの感情状態を感知し、よりインテリジェントでパーソナライズされたユーザー エクスペリエンスを実現できます。

ロボット工学の面では、PSiFI 技術は感情知能ロボットの分野に応用することができ、ロボットが人間の感情表現を認識して理解できるようになり、人間とのコミュニケーションや対話が改善されます。

この技術は完璧ではなく、現時点ではいくつかの制限があることを指摘する必要があります。

まず、PSiFIテクノロジーのセンサーは、微弱な顔や音声の信号を正確に捉えて分析するために高い感度を備えている必要がありますが、現在、センサーの感度をさらに向上させる必要があります。これは、センサーの構造と材料の選択を最適化し、センサーの感度と安定性を向上させることで実現でき、さまざまな状況や環境での感情認識タスクにより適したものになります。

さらに、PSiFI テクノロジーでは、大量の生理学的信号データを処理し、複雑なデータ分析とアルゴリズム処理を実行する必要があるため、データ処理能力に課題が生じ、より効率的でインテリジェントなアルゴリズムと処理プラットフォームが必要になります。将来的には、より効率的で正確なデータ処理アルゴリズムが開発され、PSiFI テクノロジーの生理学的信号の分析と識別能力が向上し、感情認識の精度と信頼性が向上します。

もちろん、この技術はバイオメディカル、エンジニアリング、心理学などの分野の専門知識と技術を組み合わせたものであり、PSiFI技術の開発と応用を共同で推進し、スマートヘルスケア、ヒューマンコンピューターインタラクションなどの分野での応用の可能性を拡大するために、より多くの学際的なコラボレーションが必要です。

近年、感情認識技術は、人間とコンピュータの相互作用や医療健康などの分野で広く注目され、研究されています。 PSiFI テクノロジーに加えて、他の多くの関連研究でも重要な進歩が遂げられています。

例えば、画像処理とディープラーニングをベースとした表情認識技術や、音声信号処理とパターン認識をベースとした音声感情認識技術などです。これらの研究成果は、感情認識技術の開発に豊富な技術的手段と方法を提供します。

PSiFIなどの革新的な技術が継続的に登場し、応用シナリオが継続的に拡大するにつれて、近い将来、人々はスマートデバイスやシステムとよりインテリジェントかつ自然に対話できるようになり、医療や健康管理はよりパーソナライズされ、より正確になるでしょう。

その時までに、機械は人間よりもあなたをよく理解するようになるかもしれません。

参考リンク:

https://www.nature.com/articles/s41467-023-44673-2

https://www.mdpi.com/1424-8220/23/5/2455