在影院看電影的時候,我們能感受到聲音從我們的左邊、右邊、后邊甚至是頭頂傳進我們的耳朵,從而給我們帶來更好的聽覺體驗。這種能夠使聲音具有空間方向感的技術被稱為環(huán)繞聲技術,它能讓聽眾體驗到與現(xiàn)場幾乎一致的聲場。
那么,如何才能實現(xiàn)這種環(huán)繞聲技術呢?顯然,最簡單的思路是,在我們的耳朵四周放盡可能多的揚聲器,這樣不同的揚聲器重放的聲音能夠讓人耳感應到聲音來自不同的位置,這也是電影院空間音頻的設計思路。
但是,對于個人來說,這樣會增大我們的設備成本。與具有復雜音響設備的電影院不一樣,我們的耳機只用左右兩個揚聲器也可以實現(xiàn)這種效果。**這種用兩個入耳式耳機發(fā)出空間中任意方向聲音的技術被稱為虛擬環(huán)繞聲技術,也被稱為沉浸式空間音頻技術,**是我們接下來要關注的重點。
圖片來源:WWDC 2020
空間音頻的目的是為了讓人耳對重放的聲音有更真實的空間感。因此,要深入了解空間音頻技術,首先需要我們思考一個問題——人類是如何判斷聲音方向的呢?
人類雙耳如何判斷聲音方向
大家都知道,我們可以憑借一只耳朵來感受聲音的響度、音調(diào)和音色。但是,如果想辨別出聲音的方向,就要依靠兩只耳朵了。原因在于兩只耳朵才可以聽出時間差和聲級差。時間差是指聲音抵達兩只耳朵時間的前后差別,聲級差則是兩只耳朵聽到聲音能量的大小差別。
比如在下圖場景中,聲源在我們的右邊時,我們的右耳會先聽到聲音,之后聲音才會到達左耳。聲波在空氣中的傳播距離越長,能量會越來越小,因此右耳聽到的聲音能量要大于左耳。
圖片來源: Google I/O
那么僅僅依靠時間差和聲級差這兩個因素,就可以實現(xiàn)聲源在三維空間中的定位嗎?
別著急,先看看下面這個場景。
如下圖場景,當聲音從我們的正前方和正后方發(fā)出的時候,到達雙耳的時間差和能量差都是零。也就是說,當聲音到達兩耳的時間差和能量差都是零時,我們無法區(qū)分聲音是從正前方來的,還是正后方來的。
圖片來源:Google I/O
那么,問題又來了,雙耳怎么辨別聲音的前后方向?事實上,聲音從發(fā)出到被我們的耳朵聽到,經(jīng)歷了三個過程——傳播過程、生理過程和心理過程 [1]。由于生理過程和心理過程幾乎不可操控,在這里我們僅僅關注傳播過程。
傳播過程也稱為物理過程,**是指聲源發(fā)出的聲波經(jīng)由介質(zhì)到達耳廓,再通過耳道傳遞到鼓膜并引起其振動的過程。**這是一個極其復雜的過程,人耳廓構造的不同會使聲波經(jīng)由耳廓影響后形成的波形不盡相同。
顯然,正前方聲源的傳播過程和正后方聲源的傳播過程是不一樣的!因為我們的耳朵并不是前后對稱的。來自正前方的聲音經(jīng)過耳廓反射,可以直接進入耳道;而正后方的聲音則需要繞過耳廓才能進入耳道。也正是由于這種不同,我們才可以分辨出聲音來源的前后。
圖片來源:Google I/O
耳廓相當于一個給聲音進行“加密”的設備,而我們的大腦經(jīng)過長時間的學習,已經(jīng)完全掌握了這門“解密技術”,因此,可以輕而易舉地聽出聲源的前后方位。
現(xiàn)在,我們終于有了答案,雙耳定位三維空間中聲源的方向依賴于耳廓的“加密” [2,3]。
耳機的虛擬環(huán)繞聲
更加科學地講,加密聲音的不僅僅是耳廓,還有頭部輪廓和肩膀等身體部位。由于這一系列的影響都與頭部有關,因此這種加密方法也被研究人員稱為:頭相關函數(shù)(Head Related Transfer Function)[4,5]。
頭相關函數(shù)可以理解成我們頭部對于聲音的加密方法,這種加密是針對不同方位的。也正因為頭部對于各個方向上的聲音加密方式不一樣,我們的大腦才可以解密出聲音的方向。
為了解密不同聲源方位的加密方式,研究人員可以通過測量或者計算得到不同方向的頭相關函數(shù)[4,6],然后組成一個數(shù)據(jù)庫。
圖片來源:Veer圖庫
我們戴上耳機之后,聲音便直接經(jīng)由耳道,被鼓膜接收了。失去了頭部加密的過程,耳機內(nèi)的聲音聽起來也就沒有了方向感。
但是,隨著聲信號處理技術的發(fā)展,我們可以通過在耳機內(nèi)部置入電子設備,來模擬頭部的加密過程。如果我們的電子設備與頭相關函數(shù)的加密方法一致,那么經(jīng)過電子設備加密之后的聲音就可以被大腦解密出方位信息,成功地“欺騙”大腦。
正是基于這樣的思路,工程師們開發(fā)了基于頭相關函數(shù)數(shù)據(jù)庫的空間音頻方法。他們用數(shù)字電路來模擬整個的頭相關函數(shù)數(shù)據(jù)庫,然后對耳機內(nèi)的聲音進行特定方向上的加密,這樣,就能夠讓耳機內(nèi)的聲音聽起來具有特定的方向感。
圖片來源:百度百科
舉例來說,在一場真實的音樂會上,小提琴在聽眾的左邊45°,鋼琴在聽眾的右邊45°,無論是小提琴的聲音,還是鋼琴的聲音,都能夠經(jīng)過聽眾的頭部進行加密,現(xiàn)場聲音聽起來就有很好的方向感。
如果線上的觀眾也想通過耳機獲得身臨其境的體驗,那么耳機內(nèi)部的數(shù)字電路可以選擇左邊45°的頭相關函數(shù)來加密小提琴的聲音,右邊45°的頭相關函數(shù)加密鋼琴的聲音,這樣就能夠“欺騙”大腦,讓耳機內(nèi)的聲音聽起來也有很好的方向感。
由于這種聲音不是從真實的空間中發(fā)出來,而是通過信號處理這樣一種虛擬的方式“加密”出來的,所以被稱為虛擬環(huán)繞聲。
近些年,隨著耳機等可穿戴設備的應用越來越多,虛擬環(huán)繞聲技術得到了大量的應用,也被科技公司稱為沉浸式空間音頻技術。
參考文獻
[1] 俞勝鋒. 基于腦電的雙耳聽覺定位的初步研究[D]. 華南理工大學, 2019.
[2] 黃勁文, 楊飛然, 楊軍. 頭部跟蹤器的虛擬聲源定位系統(tǒng)[J]. 網(wǎng)絡新媒體技術,2019,8(02):28-35.
[3] Blauert J. Spatial hearing: the psychophysics of human sound localization[M]. MIT press, 1997.
[4] 楊飛然. 頭相關傳遞函數(shù)測試新方法[J]. 應用聲學, 2014, 33(03): 263.
[5] 謝菠蓀. 頭相關傳輸函數(shù)與虛擬聽覺[M]. 國防工業(yè)出版社, 2008.
[6] 胡紅梅, 周琳, 馬浩, 楊飛然, 吳鎮(zhèn)揚. 耳機虛擬聲系統(tǒng)的外部化方法[J]. 東南大學學報(自然科學版), 2008(01): 1-5.