從孩童的咿呀學(xué)語,到青年時期聊不完的少年心事,進(jìn)而人到中年,耳邊既有父母長輩的叮嚀關(guān)切,也有生活壓力一刻不停的催促……細(xì)細(xì)回想,人生每個階段的經(jīng)歷與回憶都縈繞著不同的聲音,夏日的蟬鳴與籃球場上的聒噪是青春,傍晚的嘆息與手機(jī)消息的提示音是成長。正如人們哪怕緊緊捂住耳朵或戴上降噪耳機(jī)也無法完全關(guān)停聽覺一樣,聲音,無處不在。
從物理學(xué)的角度來看,聲音是由物體振動產(chǎn)生的聲波,能夠通過空氣介質(zhì)傳播,所以,只有在完全真空的環(huán)境才能夠隔絕聲音。從另一個角度來看,作為語言的載體,聲音不僅是交流的重要媒介,同時也是情緒外化的出口。而隨著 AI 的蓬勃發(fā)展,分析技術(shù)與相關(guān)能力日益強(qiáng)大,原本縹緲于空氣中的聲波也變成了可供研究的數(shù)據(jù),甚至能夠反映出人體的健康狀況。
近年來,基于語音的疾病檢測技術(shù)已經(jīng)開始在呼吸科、心內(nèi)科、腸胃科等領(lǐng)域嶄露頭角。相較而言,音頻在精神疾病診療上的應(yīng)用則是半憂半喜:憂的是相關(guān)音頻數(shù)據(jù)嚴(yán)重匱乏(主要由精神疾病的高度隱私性導(dǎo)致);喜的則是基于音頻的線上病情診斷,可以在初診階段幫助患者緩解病恥感,盡快判別是否患病。
中國科學(xué)院院士陸林在一次采訪中曾提到,截止 2021 年底,全國數(shù)據(jù)庫里登記在冊的重性精神障礙患者有 660 萬,其中接受治療的人數(shù)不超過 20%。大力拓展推廣基于音頻分析的診斷方式,對于解決精神疾病的低就診率具有重要意義。
上海交通大學(xué)計算機(jī)系副教授,博士生導(dǎo)師吳夢玥課題組,就曾發(fā)布了面向精神疾病診療的言語智能模型,基于大語言模型模擬了醫(yī)生與患者的不同角色,并在人類精神疾病診斷醫(yī)生的共同參與下,構(gòu)建了全世界第一個符合臨床標(biāo)準(zhǔn)的開源抑郁癥問診對話數(shù)據(jù)集。
吳夢玥 上海交通大學(xué)計算機(jī)系副教授,博士生導(dǎo)師
恰值「國際婦女節(jié)」來臨,HyperAI超神經(jīng)有幸與吳夢玥老師進(jìn)行了一次深度訪談,進(jìn)一步了解到了聲音的魅力及其與 AI 產(chǎn)生的奇妙反應(yīng),同時也看到了一位堅定、灑脫的女性,是如何從興趣出發(fā),并逐步在專業(yè)領(lǐng)域有所建樹的。
興之所至,堅持做可落地的研究
每個人的聲道、口腔、鼻腔等都存在細(xì)微差別,因此人的聲紋與指紋、人臉一樣具有差異性。吳夢玥自小便對人與人說話方式的獨特性非常感興趣,日常生活中的「聞聲識人」可以說是帶領(lǐng)她走進(jìn)音頻世界的云梯。
本科時期,對聲音高度敏感并饒有興趣的吳夢玥,在北京師范大學(xué)研究心理聲學(xué),期間她在技術(shù)層面認(rèn)知到了用物理聲學(xué)特征來解釋聲音差別的重要性,并在畢設(shè)階段選擇了用計算建模的方式分析聲學(xué)數(shù)據(jù)。
吳夢玥在大學(xué)期間赴陜西支教
如果說本科階段在心理聲學(xué)領(lǐng)域展開音頻分析研究的早期嘗試,是在吳夢玥心里埋下了一顆種子,那么博士期間近距離接觸到的兩個相關(guān)研究項目,便是一劑催化劑。
讀博期間,她一位進(jìn)行精神分裂患者語音分析研究的同學(xué),在田野調(diào)查期間接觸了大量患有精神分裂的街頭流浪漢,另一位室友則在臨床心理學(xué)博士畢業(yè)后,進(jìn)入墨爾本監(jiān)獄為犯人進(jìn)行精神疾病評估,以解釋其相關(guān)的犯罪行為是否受精神疾病影響。
這兩位同學(xué)的經(jīng)歷給吳夢玥帶來了深刻的啟發(fā)和影響,回國后,她便開始圍繞精神疾病診療進(jìn)行更加深入的研究。
她表示,在語音學(xué)領(lǐng)域,語音和語言其實都是人類大腦功能的外化表現(xiàn),所以,無論是情緒障礙還是認(rèn)知功能障礙,最終都會在語音和語言的表達(dá)上留下線索,換言之,在音頻中能夠找到相關(guān)的生物標(biāo)記物,對精神障礙或情感障礙人群進(jìn)行有效、便捷地篩查。
吳夢玥與團(tuán)隊師生參加 Interspeech 2023 會議
從某種意義上講,在人們躊躇不決是否就診、如何就診時,音頻分析能夠成為精神疾病診斷中的第一張檢查單,并在一定程度上弱化患者病恥感。
一直以來,吳夢玥心中所堅守的就是「要做落地的研究」,博士畢業(yè)后,吳夢玥收到了 AI 語音識別公司 Nuance Communications 的邀請,試圖在產(chǎn)業(yè)端從事座艙人機(jī)交互方面的技術(shù)研究和落地。后來在與上海交大計算機(jī)科學(xué)與工程系教授俞凱的一次對話中,她通過俞凱教授的經(jīng)歷,也看到了高校內(nèi)的科研優(yōu)勢與成果轉(zhuǎn)化新思路,進(jìn)而從業(yè)界回歸學(xué)術(shù)界。
吳夢玥坦言,無論是在高校還是在工業(yè)界,「要做落地的研究」的初心從未改變。疫情期間,其研究團(tuán)隊就從現(xiàn)實需求出發(fā),開發(fā)了一個實用的抑郁癥問診小程序,學(xué)生能夠直接使用。
豐富音頻分析,攻克數(shù)據(jù)不足問題
回到高校后,吳夢玥仍然選擇了音頻分析的研究方向,并將更多 AI 技術(shù)融入其中。目前,其課題組的主要研究方向是豐富音頻分析 (Rich Audio Analysis),通俗來講就是除了語音識別之外的所有音頻處理。
吳夢玥介紹道,聲音可以分為三個層次,其一是人說了什么話,這便是語音識別的研究重點;其二是人怎么說話,即同樣一句話會有多種不同的表達(dá)方式,其背后蘊含了不同的含義,而這恰恰能夠用來檢測一個人的精神狀態(tài)或認(rèn)知功能;其三是對環(huán)境音頻的理解,這也是讓機(jī)器在音頻理解方面更像人類的關(guān)鍵。以上便構(gòu)成了豐富的音頻分析,其中語音識別目前已經(jīng)相對成熟了,所以她的研究重點就放在了后兩者上。
目前,吳夢玥的課題組共有二十余個學(xué)生,圍繞這兩個方向開展相關(guān)研究——計算精神病學(xué)與音頻理解中的病理語音研究。
課題組研究成果
具象到應(yīng)用場景,例如在駕駛環(huán)境中,語音識別是指交互系統(tǒng)被動識別指令、執(zhí)行相應(yīng)的控制。如果能做到主動交互,就可以根據(jù)駕駛?cè)苏f話的語氣來判斷他的情緒或是疲勞情況,進(jìn)而通過車內(nèi)燈光或音效來調(diào)節(jié)情緒,同時,當(dāng)機(jī)器感知到用戶語氣不佳時,也能夠同步調(diào)整回復(fù)指令時的策略和思路。
再比如,疫情期間通過利用拾音器來收集開關(guān)門的環(huán)境音,分析判斷離家/居家狀態(tài),跟傳統(tǒng)攝像頭監(jiān)控來比,這一方法更有助于保障人員隱私安全。
固有印象中,聲音數(shù)據(jù)應(yīng)該是樣本量極大且極為豐富的,但其實在細(xì)化到疾病診療、尤其是精神疾病領(lǐng)域的時候,數(shù)據(jù)卻成為了一大挑戰(zhàn)。一方面,醫(yī)患隱私關(guān)系與患者的病恥感導(dǎo)致心理咨詢的對話音頻極難獲取;另一方面,部分醫(yī)院或醫(yī)生可能會以對話的形式進(jìn)行問診記錄,但是并沒有形成規(guī)范性數(shù)據(jù),音頻質(zhì)量往往不高,加之隱私保護(hù),往往無法對外分享。
為此,吳夢玥帶領(lǐng)研究團(tuán)隊構(gòu)建了全球第一個符合臨床標(biāo)準(zhǔn)的開源抑郁癥問診對話數(shù)據(jù)集。首先是通過在精神衛(wèi)生中心與醫(yī)生和患者進(jìn)行長時間的深度溝通,沉淀問診流程與對話要點,進(jìn)而將相關(guān)內(nèi)容整理成決策樹結(jié)構(gòu)的對話流程,并與專業(yè)醫(yī)生共同反復(fù)推敲調(diào)整。其次還通過角色扮演的形式,進(jìn)行了醫(yī)患對話的模擬,最終請專業(yè)醫(yī)生對所獲得的數(shù)據(jù)進(jìn)行篩選,得到了更加接近臨床問診的數(shù)據(jù),從而形成了這一開源數(shù)據(jù)集。
數(shù)據(jù)集鏈接:https://x-lance.github.io/D4/
與其他從事 AI for Science 研究的學(xué)者類似,心理學(xué)與計算機(jī)交叉學(xué)科的背景,使得吳夢玥在推進(jìn) AI 賦能精神疾病診療的過程中,既能夠切中當(dāng)下患者的實際痛點,也能夠在研究遇到挑戰(zhàn)時以仿真數(shù)據(jù)的形式靈活地調(diào)整研究策略。交叉學(xué)科背景往往能夠更富有創(chuàng)造性地為科研領(lǐng)域帶來創(chuàng)新突破。
吳夢玥出席 CHINC 2022 會議并發(fā)表演講
興趣驅(qū)使 ,亦能大有作為
在與吳夢玥的訪談中,筆者數(shù)次聽到了「興趣」二字——專注音頻研究是從興趣出發(fā);對精神疾病診斷的相關(guān)研究感興趣;轉(zhuǎn)向計算機(jī)系并不是追趕潮流,而是自身感興趣;對課題組學(xué)生的考量也是希望興趣優(yōu)先……
不可否認(rèn),無論是嚴(yán)謹(jǐn)?shù)膶W(xué)術(shù)研究或是快節(jié)奏的職場工作,「興趣」都是一塊養(yǎng)分更加充足土壤,播種于幼年,向上生長的驅(qū)動力也更加強(qiáng)勁。吳夢玥老師立足興趣的同時,雖然「佛系」卻并不懈怠,無論是在論文發(fā)表頻次上的科研積累,還是產(chǎn)研融合上的落地應(yīng)用,都是她踐行「做可落地研究」的有力證明。
近些年來,越來越多的女性力量開始活躍于科技、科研領(lǐng)域,帶來了驚艷世人的革命性創(chuàng)新,聯(lián)合國婦女署也將今年的國際婦女節(jié)主題定為「投資于婦女:加速進(jìn)步」,在一定程度上彰顯了女性在社會進(jìn)程中的重要作用。
雖然筆者并不愿過多著墨于強(qiáng)調(diào)兩性差異,但在真實的社會環(huán)境中,壓力確實存在。不過正如吳夢玥所言,「要以快樂為主,從興趣出發(fā)」。尤其是在外界并沒有給予女性過高期待時,其實也意味著沒有過多限制,或許反而提供了積蓄力量、擇機(jī)爆發(fā)的成長空間。
最后,在這個特殊的節(jié)日里,祝所有女性都能夠像吳夢玥老師一樣,成長于興趣,自信地汲取養(yǎng)分,綻放更精彩灑脫的人生!