婦女節(jié)特刊 | 上海交大吳夢(mèng)玥：用言語(yǔ)智能技術(shù)，為精神疾病開(kāi)出第一張?jiān)\療單

從孩童的咿呀學(xué)語(yǔ)，到青年時(shí)期聊不完的少年心事，進(jìn)而人到中年，耳邊既有父母長(zhǎng)輩的叮嚀關(guān)切，也有生活壓力一刻不停的催促……細(xì)細(xì)回想，人生每個(gè)階段的經(jīng)歷與回憶都縈繞著不同的聲音，夏日的蟬鳴與籃球場(chǎng)上的聒噪是青春，傍晚的嘆息與手機(jī)消息的提示音是成長(zhǎng)。正如人們哪怕緊緊捂住耳朵或戴上降噪耳機(jī)也無(wú)法完全關(guān)停聽(tīng)覺(jué)一樣，聲音，無(wú)處不在。

從物理學(xué)的角度來(lái)看，聲音是由物體振動(dòng)產(chǎn)生的聲波，能夠通過(guò)空氣介質(zhì)傳播，所以，只有在完全真空的環(huán)境才能夠隔絕聲音。從另一個(gè)角度來(lái)看，作為語(yǔ)言的載體，聲音不僅是交流的重要媒介，同時(shí)也是情緒外化的出口。而隨著 AI 的蓬勃發(fā)展，分析技術(shù)與相關(guān)能力日益強(qiáng)大，原本縹緲于空氣中的聲波也變成了可供研究的數(shù)據(jù)，甚至能夠反映出人體的健康狀況。

近年來(lái)，基于語(yǔ)音的疾病檢測(cè)技術(shù)已經(jīng)開(kāi)始在呼吸科、心內(nèi)科、腸胃科等領(lǐng)域嶄露頭角。相較而言，音頻在精神疾病診療上的應(yīng)用則是半憂半喜：憂的是相關(guān)音頻數(shù)據(jù)嚴(yán)重匱乏（主要由精神疾病的高度隱私性導(dǎo)致）；喜的則是基于音頻的線上病情診斷，可以在初診階段幫助患者緩解病恥感，盡快判別是否患病。

中國(guó)科學(xué)院院士陸林在一次采訪中曾提到，截止 2021 年底，全國(guó)數(shù)據(jù)庫(kù)里登記在冊(cè)的重性精神障礙患者有 660 萬(wàn)，其中接受治療的人數(shù)不超過(guò) 20%。大力拓展推廣基于音頻分析的診斷方式，對(duì)于解決精神疾病的低就診率具有重要意義。

上海交通大學(xué)計(jì)算機(jī)系副教授，博士生導(dǎo)師吳夢(mèng)玥課題組，就曾發(fā)布了面向精神疾病診療的言語(yǔ)智能模型，基于大語(yǔ)言模型模擬了醫(yī)生與患者的不同角色，并在人類精神疾病診斷醫(yī)生的共同參與下，構(gòu)建了全世界第一個(gè)符合臨床標(biāo)準(zhǔn)的開(kāi)源抑郁癥問(wèn)診對(duì)話數(shù)據(jù)集。

吳夢(mèng)玥 上海交通大學(xué)計(jì)算機(jī)系副教授，博士生導(dǎo)師

恰值「國(guó)際婦女節(jié)」來(lái)臨，HyperAI超神經(jīng)有幸與吳夢(mèng)玥老師進(jìn)行了一次深度訪談，進(jìn)一步了解到了聲音的魅力及其與 AI 產(chǎn)生的奇妙反應(yīng)，同時(shí)也看到了一位堅(jiān)定、灑脫的女性，是如何從興趣出發(fā)，并逐步在專業(yè)領(lǐng)域有所建樹(shù)的。

興之所至，堅(jiān)持做可落地的研究

每個(gè)人的聲道、口腔、鼻腔等都存在細(xì)微差別，因此人的聲紋與指紋、人臉一樣具有差異性。吳夢(mèng)玥自小便對(duì)人與人說(shuō)話方式的獨(dú)特性非常感興趣，日常生活中的「聞聲識(shí)人」可以說(shuō)是帶領(lǐng)她走進(jìn)音頻世界的云梯。

本科時(shí)期，對(duì)聲音高度敏感并饒有興趣的吳夢(mèng)玥，在北京師范大學(xué)研究心理聲學(xué)，期間她在技術(shù)層面認(rèn)知到了用物理聲學(xué)特征來(lái)解釋聲音差別的重要性，并在畢設(shè)階段選擇了用計(jì)算建模的方式分析聲學(xué)數(shù)據(jù)。

吳夢(mèng)玥在大學(xué)期間赴陜西支教

如果說(shuō)本科階段在心理聲學(xué)領(lǐng)域展開(kāi)音頻分析研究的早期嘗試，是在吳夢(mèng)玥心里埋下了一顆種子，那么博士期間近距離接觸到的兩個(gè)相關(guān)研究項(xiàng)目，便是一劑催化劑。

讀博期間，她一位進(jìn)行精神分裂患者語(yǔ)音分析研究的同學(xué)，在田野調(diào)查期間接觸了大量患有精神分裂的街頭流浪漢，另一位室友則在臨床心理學(xué)博士畢業(yè)后，進(jìn)入墨爾本監(jiān)獄為犯人進(jìn)行精神疾病評(píng)估，以解釋其相關(guān)的犯罪行為是否受精神疾病影響。

這兩位同學(xué)的經(jīng)歷給吳夢(mèng)玥帶來(lái)了深刻的啟發(fā)和影響，回國(guó)后，她便開(kāi)始圍繞精神疾病診療進(jìn)行更加深入的研究。

她表示，在語(yǔ)音學(xué)領(lǐng)域，語(yǔ)音和語(yǔ)言其實(shí)都是人類大腦功能的外化表現(xiàn)，所以，無(wú)論是情緒障礙還是認(rèn)知功能障礙，最終都會(huì)在語(yǔ)音和語(yǔ)言的表達(dá)上留下線索，換言之，在音頻中能夠找到相關(guān)的生物標(biāo)記物，對(duì)精神障礙或情感障礙人群進(jìn)行有效、便捷地篩查。

吳夢(mèng)玥與團(tuán)隊(duì)師生參加 Interspeech 2023 會(huì)議

從某種意義上講，在人們躊躇不決是否就診、如何就診時(shí)，音頻分析能夠成為精神疾病診斷中的第一張檢查單，并在一定程度上弱化患者病恥感。

一直以來(lái)，吳夢(mèng)玥心中所堅(jiān)守的就是「要做落地的研究」，博士畢業(yè)后，吳夢(mèng)玥收到了 AI 語(yǔ)音識(shí)別公司 Nuance Communications 的邀請(qǐng)，試圖在產(chǎn)業(yè)端從事座艙人機(jī)交互方面的技術(shù)研究和落地。后來(lái)在與上海交大計(jì)算機(jī)科學(xué)與工程系教授俞凱的一次對(duì)話中，她通過(guò)俞凱教授的經(jīng)歷，也看到了高校內(nèi)的科研優(yōu)勢(shì)與成果轉(zhuǎn)化新思路，進(jìn)而從業(yè)界回歸學(xué)術(shù)界。

吳夢(mèng)玥坦言，無(wú)論是在高校還是在工業(yè)界，「要做落地的研究」的初心從未改變。疫情期間，其研究團(tuán)隊(duì)就從現(xiàn)實(shí)需求出發(fā)，開(kāi)發(fā)了一個(gè)實(shí)用的抑郁癥問(wèn)診小程序，學(xué)生能夠直接使用。

豐富音頻分析，攻克數(shù)據(jù)不足問(wèn)題

回到高校后，吳夢(mèng)玥仍然選擇了音頻分析的研究方向，并將更多 AI 技術(shù)融入其中。目前，其課題組的主要研究方向是豐富音頻分析 (Rich Audio Analysis)，通俗來(lái)講就是除了語(yǔ)音識(shí)別之外的所有音頻處理。

吳夢(mèng)玥介紹道，聲音可以分為三個(gè)層次，其一是人說(shuō)了什么話，這便是語(yǔ)音識(shí)別的研究重點(diǎn)；其二是人怎么說(shuō)話，即同樣一句話會(huì)有多種不同的表達(dá)方式，其背后蘊(yùn)含了不同的含義，而這恰恰能夠用來(lái)檢測(cè)一個(gè)人的精神狀態(tài)或認(rèn)知功能；其三是對(duì)環(huán)境音頻的理解，這也是讓機(jī)器在音頻理解方面更像人類的關(guān)鍵。以上便構(gòu)成了豐富的音頻分析，其中語(yǔ)音識(shí)別目前已經(jīng)相對(duì)成熟了，所以她的研究重點(diǎn)就放在了后兩者上。

目前，吳夢(mèng)玥的課題組共有二十余個(gè)學(xué)生，圍繞這兩個(gè)方向開(kāi)展相關(guān)研究——計(jì)算精神病學(xué)與音頻理解中的病理語(yǔ)音研究。

課題組研究成果

具象到應(yīng)用場(chǎng)景，例如在駕駛環(huán)境中，語(yǔ)音識(shí)別是指交互系統(tǒng)被動(dòng)識(shí)別指令、執(zhí)行相應(yīng)的控制。如果能做到主動(dòng)交互，就可以根據(jù)駕駛?cè)苏f(shuō)話的語(yǔ)氣來(lái)判斷他的情緒或是疲勞情況，進(jìn)而通過(guò)車內(nèi)燈光或音效來(lái)調(diào)節(jié)情緒，同時(shí)，當(dāng)機(jī)器感知到用戶語(yǔ)氣不佳時(shí)，也能夠同步調(diào)整回復(fù)指令時(shí)的策略和思路。

再比如，疫情期間通過(guò)利用拾音器來(lái)收集開(kāi)關(guān)門(mén)的環(huán)境音，分析判斷離家/居家狀態(tài)，跟傳統(tǒng)攝像頭監(jiān)控來(lái)比，這一方法更有助于保障人員隱私安全。

固有印象中，聲音數(shù)據(jù)應(yīng)該是樣本量極大且極為豐富的，但其實(shí)在細(xì)化到疾病診療、尤其是精神疾病領(lǐng)域的時(shí)候，數(shù)據(jù)卻成為了一大挑戰(zhàn)。一方面，醫(yī)患隱私關(guān)系與患者的病恥感導(dǎo)致心理咨詢的對(duì)話音頻極難獲取；另一方面，部分醫(yī)院或醫(yī)生可能會(huì)以對(duì)話的形式進(jìn)行問(wèn)診記錄，但是并沒(méi)有形成規(guī)范性數(shù)據(jù)，音頻質(zhì)量往往不高，加之隱私保護(hù)，往往無(wú)法對(duì)外分享。

為此，吳夢(mèng)玥帶領(lǐng)研究團(tuán)隊(duì)構(gòu)建了全球第一個(gè)符合臨床標(biāo)準(zhǔn)的開(kāi)源抑郁癥問(wèn)診對(duì)話數(shù)據(jù)集。首先是通過(guò)在精神衛(wèi)生中心與醫(yī)生和患者進(jìn)行長(zhǎng)時(shí)間的深度溝通，沉淀問(wèn)診流程與對(duì)話要點(diǎn)，進(jìn)而將相關(guān)內(nèi)容整理成決策樹(shù)結(jié)構(gòu)的對(duì)話流程，并與專業(yè)醫(yī)生共同反復(fù)推敲調(diào)整。其次還通過(guò)角色扮演的形式，進(jìn)行了醫(yī)患對(duì)話的模擬，最終請(qǐng)專業(yè)醫(yī)生對(duì)所獲得的數(shù)據(jù)進(jìn)行篩選，得到了更加接近臨床問(wèn)診的數(shù)據(jù)，從而形成了這一開(kāi)源數(shù)據(jù)集。

數(shù)據(jù)集鏈接：https://x-lance.github.io/D4/

與其他從事 AI for Science 研究的學(xué)者類似，心理學(xué)與計(jì)算機(jī)交叉學(xué)科的背景，使得吳夢(mèng)玥在推進(jìn) AI 賦能精神疾病診療的過(guò)程中，既能夠切中當(dāng)下患者的實(shí)際痛點(diǎn)，也能夠在研究遇到挑戰(zhàn)時(shí)以仿真數(shù)據(jù)的形式靈活地調(diào)整研究策略。交叉學(xué)科背景往往能夠更富有創(chuàng)造性地為科研領(lǐng)域帶來(lái)創(chuàng)新突破。

吳夢(mèng)玥出席 CHINC 2022 會(huì)議并發(fā)表演講

興趣驅(qū)使 ，亦能大有作為

在與吳夢(mèng)玥的訪談中，筆者數(shù)次聽(tīng)到了「興趣」二字——專注音頻研究是從興趣出發(fā)；對(duì)精神疾病診斷的相關(guān)研究感興趣；轉(zhuǎn)向計(jì)算機(jī)系并不是追趕潮流，而是自身感興趣；對(duì)課題組學(xué)生的考量也是希望興趣優(yōu)先……

不可否認(rèn)，無(wú)論是嚴(yán)謹(jǐn)?shù)膶W(xué)術(shù)研究或是快節(jié)奏的職場(chǎng)工作，「興趣」都是一塊養(yǎng)分更加充足土壤，播種于幼年，向上生長(zhǎng)的驅(qū)動(dòng)力也更加強(qiáng)勁。吳夢(mèng)玥老師立足興趣的同時(shí)，雖然「佛系」卻并不懈怠，無(wú)論是在論文發(fā)表頻次上的科研積累，還是產(chǎn)研融合上的落地應(yīng)用，都是她踐行「做可落地研究」的有力證明。

近些年來(lái)，越來(lái)越多的女性力量開(kāi)始活躍于科技、科研領(lǐng)域，帶來(lái)了驚艷世人的革命性創(chuàng)新，聯(lián)合國(guó)婦女署也將今年的國(guó)際婦女節(jié)主題定為「投資于婦女：加速進(jìn)步」，在一定程度上彰顯了女性在社會(huì)進(jìn)程中的重要作用。

雖然筆者并不愿過(guò)多著墨于強(qiáng)調(diào)兩性差異，但在真實(shí)的社會(huì)環(huán)境中，壓力確實(shí)存在。不過(guò)正如吳夢(mèng)玥所言，「要以快樂(lè)為主，從興趣出發(fā)」。尤其是在外界并沒(méi)有給予女性過(guò)高期待時(shí)，其實(shí)也意味著沒(méi)有過(guò)多限制，或許反而提供了積蓄力量、擇機(jī)爆發(fā)的成長(zhǎng)空間。

最后，在這個(gè)特殊的節(jié)日里，祝所有女性都能夠像吳夢(mèng)玥老師一樣，成長(zhǎng)于興趣，自信地汲取養(yǎng)分，綻放更精彩灑脫的人生！