全球首個！機器比人更懂你？可穿戴情感識別系統(tǒng)登上Nature子刊

你懂他/她嗎？他/她懂你嗎？你是否經(jīng)常因為無法共情他人，或者被共情而苦惱？

人類情感是一種復(fù)雜而多變的心理狀態(tài)，常常隱藏在“面具”之下，難以被他人準(zhǔn)確理解。盡管面部表情、語言語調(diào)等非語言信號提供了一些線索，但仍然存在著許多挑戰(zhàn)，使得人類之間的情感交流變得復(fù)雜而模糊。

隨著科技的不斷進(jìn)步和人類對于智能化系統(tǒng)的需求日益增長，情感識別技術(shù)作為人機交互領(lǐng)域的重要組成部分，正受到越來越多的關(guān)注。

傳統(tǒng)的情感識別技術(shù)主要基于面部表情、語音語調(diào)等人類非語言交流方式進(jìn)行分析，然而，這些方法往往受到環(huán)境條件、個體差異等因素的限制，難以實現(xiàn)準(zhǔn)確而高效的情感識別。

由于情緒、心情和感覺等人類情感的抽象性和模糊性，理解和準(zhǔn)確提取情感信息一直是個難題。

因此，尋求一種能夠在各種環(huán)境下實現(xiàn)準(zhǔn)確情感識別的新途徑已然成為當(dāng)前研究的重點之一。

近日，來自蔚山科學(xué)技術(shù)院、南洋理工大學(xué)的研究團隊，提出了全球首個實時可穿戴人類情感識別技術(shù)，并開發(fā)了一種多模態(tài)人類情感識別系統(tǒng)，該系統(tǒng)結(jié)合了語言和非語言表達(dá)數(shù)據(jù)，可有效利用全面的情緒信息。

相關(guān)研究論文以“Encoding of multi-modal emotional information via personalized skin-integrated wireless facial interface”為題，已發(fā)表在科學(xué)期刊 Nature Communications 上。

據(jù)介紹，該系統(tǒng)的核心是個性化皮膚集成面部界面（Self-powered Skin-interfaced Facial and Vocal Emotion Recognition Interface，PSiFI）系統(tǒng)，該技術(shù)基于自供電的摩擦電原理，通過特制的傳感器單元，能夠同時感知面部和聲音表達(dá)所產(chǎn)生的信號，從而實現(xiàn)對人類情感的準(zhǔn)確識別。

該論文的第一作者 Jin Pyo Lee 表示：“有了這個系統(tǒng)，只需幾個學(xué)習(xí)步驟，無需復(fù)雜的測量設(shè)備，就能實現(xiàn)實時情感識別。這為未來的便攜式情感識別設(shè)備和下一代基于情感的數(shù)字平臺服務(wù)提供了可能性?！?/p>

此外，研究團隊還將該系統(tǒng)應(yīng)用于 VR 環(huán)境（智能家居、私人影院和智能辦公室等），通過識別個人在不同情況下的情緒，提供個性化的音樂、電影和書籍推薦。

準(zhǔn)確識別面部表情和聲音

PSiFI 技術(shù)是一種基于生理信號的面部和聲音表情感知界面。該技術(shù)利用 PDMS 和 PEDOT:PSS 等柔性、透明、可加工的材料構(gòu)建傳感器單元，用于捕捉人體面部和聲音等生理信號，實現(xiàn)對情感狀態(tài)的識別和監(jiān)測。

其中，PDMS 具有出色的柔軟性和透明性，PEDOT:PSS 導(dǎo)電層可提供良好的電導(dǎo)性，這兩者是構(gòu)建 PSiFI 系統(tǒng)的關(guān)鍵材料。利用這些材料的可加工性和可調(diào)制性，可以實現(xiàn) PSiFI 技術(shù)的構(gòu)建和制備。

圖｜PSiFI 系統(tǒng)概述。A. PSiFI 包括摩擦電傳感器（TES）、用于無線通信的數(shù)據(jù)處理電路以及用于面部表情和語音識別的深度學(xué)習(xí)分類器。B. 可穿戴面罩的 PSiFI 二維布局，并在面部緊張和聲音振動等感官刺激方面描繪了兩種不同類型的 TES。C. 由電極層和介電層等簡單兩層結(jié)構(gòu)組成的 TES 示意圖以及 TES 組件的照片。比例尺：1 cm。D. TES 制造組件示意圖。PEDOT:PSS 基電極是由半固化工藝制成的（左圖）。考慮到應(yīng)變和振動等傳感刺激，介電層進(jìn)行了不同的設(shè)計，以實現(xiàn)最佳的傳感性能。中間的插圖為應(yīng)變型介電層的納米結(jié)構(gòu)表面的 SEM 圖像，右側(cè)插圖顯示作為振動型介電層的聲孔的沖孔的照片。比例尺：2 μm 和 1 mm。

PSiFI 系統(tǒng)由 PDMS 基底、PEDOT:PSS 導(dǎo)電層和聲學(xué)孔組成。PDMS 提供柔軟性和舒適性，PEDOT:PSS 導(dǎo)電層用于傳輸信號，聲學(xué)孔用于增強傳感器的靈敏度和性能。

將 PDMS 的基礎(chǔ)材料與固化劑按照一定比例混合，并在真空脫氣后在基板上涂覆形成所需薄膜。通過混合 PEDOT:PSS 的水性分散液和添加劑，然后在基板上涂覆和固化形成導(dǎo)電層。

圖｜應(yīng)變傳感單元的工作機理及表征。A. 應(yīng)變傳感單元的示意圖。插圖：檢測面部應(yīng)變的傳感單元的放大視圖。B. 應(yīng)變傳感單元在屈曲和拉伸狀態(tài)下的電位分布。

圖｜用于輸出測量的實驗裝置的真實圖像。比例尺：1 cm。

通過特定的涂覆和固化方法將 PDMS 和 PEDOT:PSS 層結(jié)合形成傳感器單元。利用激光切割技術(shù)在 PDMS 基底上制備聲學(xué)孔，從而增強傳感器的靈敏度和響應(yīng)性。

圖｜振動傳感單元的工作機制和表征。A. 振動傳感單元的示意圖。插圖：檢測聲帶振動的傳感單元的放大視圖。B. 工作循環(huán)期間傳感單元的電勢分布。C. 用于聲音振動傳感器的孔圖案配置示意圖以及 32 孔配置中孔的 SEM 圖像。比例尺：2 mm（插圖：顯示聲孔的放大視圖。比例尺：400 μm）。

在搭建好 PSiFI 系統(tǒng)之后，為確保其性能，研究團隊進(jìn)行了一系列測試。

首先，研究人員使用光譜儀對 PSiFI 系統(tǒng)的透明性進(jìn)行測試。結(jié)果顯示，PSiFI 系統(tǒng)在可見光范圍內(nèi)具有良好的透明性，允許光線穿透，使得用戶能夠舒適地佩戴 PSiFI 設(shè)備而不感到遮擋或阻礙。

然后，研究人員對此進(jìn)行了拉伸實驗和彎曲實驗，以驗證 PSiFI 系統(tǒng)在各種形變下的柔韌性和穩(wěn)定性。實驗結(jié)果表明，即使在受到拉伸或彎曲時，PSiFI 系統(tǒng)仍能保持其結(jié)構(gòu)完整性和性能穩(wěn)定性，表現(xiàn)出優(yōu)異的柔韌性。

隨后，研究團隊又開展了情感識別實驗。

他們使用 PSiFI 傳感器對面部運動信號進(jìn)行采集，并利用先進(jìn)的算法進(jìn)行處理和分析。結(jié)果表明，通過監(jiān)測面部肌肉的微小運動變化，PSiFI 系統(tǒng)能夠準(zhǔn)確捕捉和記錄不同情感狀態(tài)下的面部表情特征。

此外，研究團隊還利用 PSiFI 技術(shù)對聲音信號進(jìn)行采集，并通過聲學(xué)分析方法進(jìn)行情感識別。結(jié)果顯示，PSiFI 系統(tǒng)能夠有效地捕捉和分析聲音的頻率、振幅和其他特征，從而識別出言語中所蘊含的情感信息。

未來，也許機器比人更懂你

研究團隊表示，在未來，PSiFI 技術(shù)可以應(yīng)用于情感識別領(lǐng)域，通過監(jiān)測面部和聲音信號，識別出個體的情感狀態(tài)，為智能醫(yī)療系統(tǒng)提供情感健康監(jiān)測和診斷服務(wù)。

在人機交互領(lǐng)域，PSiFI 技術(shù)也可以與智能設(shè)備集成，實現(xiàn)人機自然交互。例如，在虛擬現(xiàn)實環(huán)境中，PSiFI 技術(shù)可以用于感知用戶的情感狀態(tài)，從而實現(xiàn)更加智能化和個性化的用戶體驗。

在機器人方面，PSiFI 技術(shù)則可應(yīng)用于情感智能機器人領(lǐng)域，使機器人能夠識別和理解人類的情感表達(dá)，從而更好地與人類交流和互動。

必須說明的是，這項技術(shù)并非十全十美，目前還存在一些局限性。

首先，PSiFI 技術(shù)的傳感器需要具備高靈敏度，從而準(zhǔn)確捕捉和分析微弱的面部和聲音信號，但目前傳感器的靈敏度還有待進(jìn)一步提高。這可以通過優(yōu)化傳感器的結(jié)構(gòu)和材料選擇，提高傳感器的靈敏度和穩(wěn)定性，使其更適用于不同情境和環(huán)境下的情感識別任務(wù)。

此外，PSiFI 技術(shù)需要處理大量的生理信號數(shù)據(jù)，并進(jìn)行復(fù)雜的數(shù)據(jù)分析和算法處理，這對數(shù)據(jù)處理能力提出了挑戰(zhàn)，需要更加高效和智能的算法和處理平臺。在未來，可以開發(fā)更加高效和精確的數(shù)據(jù)處理算法，提高 PSiFI 技術(shù)對生理信號的分析和識別能力，從而提升情感識別的準(zhǔn)確性和可靠性。

當(dāng)然，這項技術(shù)結(jié)合了生物醫(yī)學(xué)、工程學(xué)、心理學(xué)等領(lǐng)域的專業(yè)知識和技術(shù)，需要更多的跨學(xué)科合作，來共同推動 PSiFI 技術(shù)的發(fā)展和應(yīng)用，拓展其在智能醫(yī)療、人機交互等領(lǐng)域的應(yīng)用前景。

近年來，情感識別技術(shù)在人機交互、醫(yī)療健康等領(lǐng)域得到了廣泛關(guān)注和研究。除了 PSiFI 技術(shù)，還有許多其他相關(guān)研究取得了重要進(jìn)展。

例如，基于圖像處理和深度學(xué)習(xí)的面部表情識別技術(shù)，以及基于聲音信號處理和模式識別的語音情感識別技術(shù)等。這些研究成果為情感識別技術(shù)的發(fā)展提供了豐富的技術(shù)手段和方法。

隨著 PSiFI 等創(chuàng)新技術(shù)的不斷出現(xiàn)和應(yīng)用場景的不斷擴展，在不久的將來，人們或許能夠更加智能、更加自然地與智能設(shè)備和系統(tǒng)進(jìn)行交互，醫(yī)療健康管理也將變得更加個性化和精準(zhǔn)。

到那時，也許機器比人更懂你。

參考鏈接：

https://www.nature.com/articles/s41467-023-44673-2

https://www.mdpi.com/1424-8220/23/5/2455