一、簡介
從投幣游戲開始，音頻就是計算機和視頻游戲體驗的重要一部分。相較于傳統(tǒng)行業(yè)，虛擬現(xiàn)實采用頭戴設(shè)備（HMD）和耳機，可以追蹤用戶的頭部的方向和位置，這些信息可以為音頻技術(shù)帶來許多新的機遇。目前，虛擬現(xiàn)實僅僅關(guān)注視覺信息，例如分辨率、延遲和追蹤，但是音頻也必須跟上來提供最好的現(xiàn)場體驗。
本文關(guān)注于虛擬現(xiàn)實音頻相關(guān)的挑戰(zhàn)、機遇和解決方法，以及傳統(tǒng)游戲開發(fā)相關(guān)技術(shù)需要針對VR做哪些改變。本文不對音頻、聽覺和人的聽覺系統(tǒng)進行深入的研究，如果感興趣的話，可以谷歌以下關(guān)鍵詞：Head- ，Head- ，Sound 。
二、定位和人體聽覺系統(tǒng)
人只用兩只耳朵，就可以在三維空間中定位聲音，根據(jù)時間、相位、強度和頻譜的變化，依靠于心理聲學(xué)和推理去定位。
本節(jié)總結(jié)了人類定位聲音的方法，并應(yīng)用這些知識來解決空間定位問題，讓開發(fā)者可以把單聲道的聲音信號進行轉(zhuǎn)化，讓這個聲音聽起來像是來自于空間中的某個具體位置。
人類定位聲音的兩個關(guān)鍵因素，分別是方向和距離。
2.1方向定位
2.1.1側(cè)面（）
側(cè)面的定位是最簡單的，當一個聲音更靠近左邊時，左耳會比右耳更早聽到，并且聽到的聲音更大。通常來說，兩只耳朵聽到的聲音越接近，那這個聲音就越靠近中間。
然后，還有一些有趣的細節(jié)。首先，我們主要依靠到達兩耳的延遲來定位聲音，也就是“耳間時間差別”（ITD: time ）；或者依靠兩耳的音量差別，也就是“耳間強度差別”（ILD: level ）。我們使用的定位技術(shù)極大的依賴了信號的頻率內(nèi)容。
當聲音低于一定頻率時（500到800HZ之間，取決于源），會很難分辨出強度的差別。但是，在這個頻率范圍的聲音，比人腦袋的規(guī)模還要大半個波長（have half than the of a human head），讓我們可以依靠兩耳之間的時間信息（phase相位）區(qū)別。
另一個極端，當聲音的頻率高于時，比腦袋小半個波長，用相位信息來定位聲音就不再可靠了。對于這些頻率，我們需要根據(jù)由腦袋引起的強度差別，叫做head ，這是由于腦袋的阻擋，導(dǎo)致較遠的那只耳朵聽到的聲音強度有所衰減，如下圖所示。
我們也根據(jù)信號的起始時間差來判斷，當聲音播放時，哪個耳朵先聽到會有很大影響，但是這個僅能幫我們定位突變的聲音，而不是連續(xù)的聲音。
對于頻率在800HZ到的聲音，我們需要依靠時間差別和強度差別來同時判斷。
2.1.2前后（Front/Back/）
前后的判斷會比側(cè)面的判斷難很多，因為我們無法依靠時間差和強度差，因為它們的差為0，如下圖所示。
人體依靠由人體和腦袋引起的光譜差別（ ）來解決混淆。這些光譜的差別是因為腦袋、脖子、肩膀、軀干、尤其是外耳（或耳廓）引起的過濾和反射。由于來自不同方向的聲音與人體的交互會不一樣，我們的大腦通過光譜的差別來推測源的方向。從前方過來的聲音會與耳廓的內(nèi)部產(chǎn)生共振，而從后側(cè)傳來的聲音被為耳廓削弱（）。類似的，從上方傳來的聲音會在肩膀處反射音頻信號主要物理參數(shù)有，而來自下方的聲音會被軀干和肩膀阻擋（）。
以上這些反射和阻擋被結(jié)合起來，創(chuàng)造了一個方向選擇濾波器（ ）。
問題：如何考慮人的高度和姿勢？
2.1.3 頭部相關(guān)的轉(zhuǎn)換方程組 （HRTFs: Heade- ）
一個方向選擇濾波器可以被編碼為一個腦袋相關(guān)的轉(zhuǎn)換方程（HRTF），這個HRTF方程是當今3D聲音空間關(guān)鍵技術(shù)的基石，具體怎么樣來構(gòu)造這個方程，將在后文中進行詳細的說明。
2.1.3.1 頭部模型
僅僅依靠HRTF方程組還不足以準確定位聲音，因此我們需要一個腦袋模型來輔助定位。通過旋轉(zhuǎn)腦袋，就可以把一個前后定位的問題轉(zhuǎn)換為側(cè)面定位的問題，讓我們可以更好去解決。
例如下圖中的A和B無法通過強度和時間的差別來區(qū)分，因此它們是一樣的。通過輕微的旋轉(zhuǎn)腦袋，聽者就改變了兩只耳朵的時間和強度差別，來幫助定位聲音。D1比D2要近，因此可以判斷出聲音在用戶的左側(cè)（后側(cè)）。
類似的，扭動腦袋，可以幫助定位垂直的物體。在下圖中，D1變短D2變長，因此可以判斷物體在腦袋的上面。
2.2距離定位
ILD,ITD和HRTFs可以幫助我們定位聲音源頭的方向，但是對于聲音的距離只能給出一個寬泛的參考。為了定位距離，我們需要考慮一系列的因素，包括起始時間的延遲，聲音和混音的比例，以及運動視差。
2.2.1 聲音大小
聲音大小是距離最明顯的線索，但是有時候會誤導(dǎo)。如果我們?nèi)鄙賲⒄?，我們就無法判斷聲音從源頭的削弱來衡量距離。幸運的是，我們對生活中的聲源很熟悉，例如樂器、人聲、動物、汽車等，因此我們很好的判斷這些距離。
對于合成的和不熟悉的聲源，我們沒有參照，那就只能依靠其他的信息或者是相對音量的改變來判斷一個聲音是接近還是遠離。
2.2.2 起始時間延遲（ Time Delay）
起始時間延遲描述了聲音和回聲的區(qū)間，這個區(qū)間越長，我們就離聲源越近。無回聲或者空曠的環(huán)境中，例如沙漠，不會產(chǎn)生可感知的回聲，這會導(dǎo)致距離的估計更加困難。
2.2.3 聲音和混音()的比例
在一個有回聲的環(huán)境中，聲音之間會有很長的、散開的音尾融合，在不同平面上反射，最終消失。如果我們聽到的原聲比混聲要多，那我們就離聲源越近。
音頻工程師在人工混音時，常常需要考慮這個因素，來調(diào)整樂器和歌手的位置。
2.2.4 運動視差
聲音的運動視差可以體現(xiàn)距離，例如比較近的昆蟲可以從左邊很快的飛到右邊，但是遠處的飛機可能需要好多秒來達到同樣的效果。因此，如果一個聲源運動的比一個固定的視角要快，那我們就猜測這個聲源來自附近。
三、3D音頻的空間化
前文討論了人類如何在三維空間中定位聲音，現(xiàn)在，我們反過來問，“我們能不能應(yīng)用這些信息來讓人們認為一個聲音來自于空間中的某個具體位置？”
答案是YES，否者的話，這篇文章就會非常短了。VR音頻很重要的一部分就是空間化：能夠讓一個聲音聽起來來自于三維空間中的某個位置?？臻g化給用戶提供了在一個真實3D環(huán)境中的感覺，可以加深。
和定位一樣，空間化有兩個重要部分：方向和距離。
3.1使用HRTF的方向空間化
我們知道不同方向的聲音，在身體和耳朵里的傳播是不同的。這些不同的影響構(gòu)成了HRTF的基礎(chǔ)，讓我們來定位聲音。
3.1.1 得到HRTFs
最準確的方法是把話筒放在人的耳朵里，然后放在一個無回聲的環(huán)境里，然后在房間里從各個重要的方向播放聲音，并記錄下話筒里的聲音，通過比較原始聲音和話筒的聲音就可以計算出HRTF。（的音頻工程師在一次演講中提到，這種方法不是很實際，對于被測者是個）
兩只耳朵都必須這樣做，并且需要從足夠多的離散的方向來建立模型。但是這些模型只是針對一個人的，在現(xiàn)實世界中，我們無法得到每個人的模型，因此生成一個通用的模型一般也夠用了。
大多數(shù)基于HRTF的空間化方法，都采用一些現(xiàn)有的公開數(shù)據(jù)集，例如下面的4個。
IRCAM
MIT KEMAR
CIPIC HRTF
ARI( ) HRTF
大多數(shù)HRTF的數(shù)據(jù)集中不包含各個方向的HRTF，例如頭下區(qū)域。有些HRTF數(shù)據(jù)集只進行了稀疏采樣，只有5-15個自由度。
大多數(shù)方法，或者采用最近的HRTF音頻信號主要物理參數(shù)有，或者進行插值。在這個領(lǐng)域有許多研究，但是對于基于桌面的VR應(yīng)用，通常情況下都能夠找到足夠的數(shù)據(jù)集。
3.1.2 應(yīng)用HRTFs
給定一個HRTF數(shù)據(jù)集，如果我們知道了聲源的方向，我們就可以選擇一個HRTF然后把它應(yīng)用到該聲源。這常通過一個時域的卷積或者一個FFT/IFFT對實現(xiàn)。
如果你不知道這些事什么東西，也不用著急，這些細節(jié)只有當你自己實現(xiàn)HRTF時才用得到。本文討論的是應(yīng)用的細節(jié)，例如怎么存儲一個HRTF，當處理音頻時如何調(diào)用。我們關(guān)注的是高層的邏輯，“將音頻進行進行過濾讓它聽起來來自于一個特定的方向”。
由于HRTFs會考慮到聽眾的頭部位置，因此在進行空間化時，需要帶耳機。如果沒有耳機，就需要應(yīng)用兩個HRTF方程組：模擬的一個，和真實通過身體得到的。
3.1.3 頭部追蹤
聽眾本能的會通過頭部的運動來分辨空間中的聲音，如果一個聽眾的腦袋向一側(cè)轉(zhuǎn)了45度，那我們就必須在他們的聽覺環(huán)境中體現(xiàn)出來，否則音響就會出錯。
VR頭部設(shè)備（例如Rift）可以追蹤聽者的頭部方向（或者位置），根據(jù)這些信息，我們就可以投射聲音信息到聽者的空間中。這些的前提是聽者戴了耳機，否則難度系數(shù)對于大多數(shù)VR應(yīng)用是無法接受的。
3.2距離模型
HRTFs幫助我們定位聲音的方向，但是不能對距離進行建模。人們通過一些因素來估計聲音的距離，這些可以通過在軟件中調(diào)整參數(shù)和精度來進行模擬。
聲音大?。鹤钪匾囊蛩?，很容易通過聽者和聲源的距離進行建模。
起始時間延遲（ Time Delay）：很難建模，需要根據(jù)空間進行計算反射，但是依然有幾個數(shù)據(jù)集嘗試對此進行建模，從簡單的 到完整的空間幾何建模。
聲音和混音()的比例：通過對反射和回聲進行建?？梢缘玫?，有一些現(xiàn)有模型，但計算復(fù)雜度很高。
運動視差：根據(jù)聲源的速度可以直接計算得到。
高頻衰變：通過低通濾波器可以很容易的建模，實際應(yīng)用中，該因素并不是很重要。
四、聽覺設(shè)備
對于當前的VR，特別是需要追蹤頭部和用戶的運動，耳機是標配，因為它提供了更好的獨立性、隱私性、便攜性和空間性。
與自由聲場話筒系統(tǒng)（free-field ）相比，在VR音頻領(lǐng)域，耳機有以下優(yōu)點。
聽覺與聽者所在環(huán)境的增強現(xiàn)實以及沉浸式相獨立。
頭部的追蹤變得很簡單。
HRTFs變得更準確，因為不需要收到其他HRTF以及自己身體的影響。
更容易控制HMD設(shè)備。
耳機都戴的很好，不會受到回聲的影響。
4.1耳機
當前的耳機種類有以下幾種，各自有優(yōu)點和缺點。
1、 Back
這種型號的耳機可以提供最好的隔離以及音響效果，到那時可能會導(dǎo)致不舒服。
They tend to offer less due to . Also, if on or over the ear, they cause the to sound .
聽覺的隔離可以提升沉浸式的效果，讓聽者與外界環(huán)境隔絕，聽不到有人走進屋子、手機響、門鈴響等，這是不是一件好事取決于用戶自己。
2、Open Back
比-back更加準確和舒服，但不能讓聽者與外界隔絕，比較適合在安靜的環(huán)境中體驗VR，可以與外界的音響設(shè)備（）相結(jié)合。當戴在耳朵上時，可以放耳廓對聲音有所反應(yīng)和重建。
3、
和手機配套的耳機比較便宜，輕便，低音效果比較差。有些設(shè)備例如蘋果的耳機，對頻率有很好的響應(yīng)，雖然會丟失一些低音，這些會被空間化忽略掉。 大部分這種耳機的隔絕性較差。
4、In-Ear
對空間有較好的隔絕效果，并且很輕便，對整個頻域的反應(yīng)都很好。這些耳機去除了耳廓對聲音的反應(yīng)，由于要插入內(nèi)耳，這就削弱了耳道對于聲音的重構(gòu)。
1脈沖反應(yīng)
耳機本身有自己的脈沖信號，由于HRTF對頻率很敏感，因此在輸出信號時，最好把耳機的脈沖信號給去掉。可以對輸出信號進行去卷積。
4.3外置話筒系統(tǒng)
對于家用的VR不實際。
4.4藍牙
由于目前的藍牙技術(shù)會造成嚴重的延遲，有事會有500ms那么多，因此藍牙技術(shù)不推薦用于音頻的輸出。
五、環(huán)境建模
HRTFs和衰減一起為三維空間聲音提供了無回聲的模型，可以體現(xiàn)很強的方向信息，但是由于缺少空間因素，造成聲音比較干和假。為了補償這個，我們加入了環(huán)境建模來模擬周圍空間的聽覺效果。
1、混響和反射
隨著聲音在空間中傳播，它們會在平面上反射，造成一系列的回音。最初的回音可以幫助我們確定聲音的距離和方向，當這些回音傳播、消失以及交叉時，會產(chǎn)生混音（late tail），來增強我們的空間感。
混音和反射有以下幾個模型。
model
6面平行的墻，需要指定距離，聽者的位置和朝向。雖然這個模型很簡單，但是總比沒有強。
人工混音
由于物理建模的計算復(fù)雜度很高，混音常常使用人工的模擬，ad hoc 。雖然計算復(fù)雜度低了一些，但是由于缺少聽者的朝向信息，可能會造成聲音的失真，這與算法和實現(xiàn)相關(guān)。
基于抽樣的脈沖響應(yīng)與游戲中的環(huán)境不太匹配，同樣缺少聽者的位置和朝向，他們是單聲道的，并且很難在不同空間進行轉(zhuǎn)移。
2、真實世界的空間和聲音
模型試圖對空間信息進行簡化的表達，它假設(shè)沒有沖突，并且所有墻對頻率的吸收是相同的，并且六面墻對聽者的距離是固定的。由于VR環(huán)境是復(fù)雜且動態(tài)的，這種方法不能很好的scale。
現(xiàn)有方法有對復(fù)雜環(huán)境進行建模，但是知名度不夠高。
3、環(huán)境的轉(zhuǎn)變
對一個區(qū)域進行建模是很復(fù)雜的，但也很直接。但是當空間進行轉(zhuǎn)換時，可能會有音頻的不連續(xù)性，有些模型需要緩沖和重啟整個混音器，有些系統(tǒng)會在現(xiàn)實系統(tǒng)中引入噪聲。
4、現(xiàn)場和沉浸式
開發(fā)者將用戶沉浸在一個虛擬世界中，給用戶一種現(xiàn)場感。當用戶在場景中間時，音頻的沉浸感是最強的。例如，一個人在遠處觀看3D棋盤游戲時，壓迫感遠不如她站在棋盤的中心。
六、空間化的聲音設(shè)計
既然我們已經(jīng)分析了人們?nèi)绾伟崖曇舴旁谡鎸嵤澜缰校约拔覀內(nèi)绾纹垓_用戶讓他們以為聲音來自于空間的某個具體位置，接下來，我們就要研究如果改變我們的聲音設(shè)計來支持空間化。
1、單聲道
大多數(shù)空間化技術(shù)把聲音建模成一個無限小的點源，假設(shè)聲音來自于巨大空間中的一個點，或者是離散的幾個話筒。因此，聲音可以被視為是單通道的。
2、避免正弦波
純聲音例如正弦波，缺乏泛音，會導(dǎo)致以下幾個問題：
純音調(diào)很難出現(xiàn)在現(xiàn)實世界中，聽起來是不真實的，并不代表你需要徹底杜絕，因為VR體驗是抽象的。
HRTFs通過濾波來工作，但是純聲音缺乏一些內(nèi)容，因此很難使用HRTF來進行空間化。
HRTF過程中的任何瑕疵或者不連續(xù)，在純音調(diào)中會更明顯，因為缺乏其它的內(nèi)容來掩蓋。一個移動的正弦波還會在空間化的實現(xiàn)過程中表現(xiàn)的非常差。
3、使用寬頻譜的源
與空間化正弦波的問題類似，寬頻譜的聲音可以為HTF提供更多的頻率信息。它們也可以來掩蓋由HRTF動態(tài)改變引起的聽覺瑕疵。同時要保證內(nèi)容中包含以上的聲音信息，因為人民最常用這個來定位聲音。
人們很難定位低頻的聲音，這就是為什么家庭影院系統(tǒng)會使用單聲道的低音頻道。如果一個聲音必須是低頻的，那就要避免這些頭上的空間化，換做使用搖動或者衰變。
4、避免實時的格式轉(zhuǎn)換
音頻的格式轉(zhuǎn)化非常費時，會造成延遲，因此音頻應(yīng)該使用和目標設(shè)備一致的輸出格式。對大部分PC來說，一般是16-bit，44.1kHz PCM，但是一些其他平臺使用其他類型的格式。
空間化的聲音是單聲道的，因此應(yīng)該避免在播放時進行信號的融合，這會造成相位和音量的誤差。
七、VR的混合場景
和聲音設(shè)計一樣，為VR混合一個場景既是藝術(shù)又是科學(xué)，以下的推薦可能包含警告。
1、創(chuàng)造性的控制
我們的最終目標不一定是真實，需要一直記住這一點。和計算機環(huán)境中的燈光一樣，什么需要連續(xù)或者正確并不是在藝術(shù)上有很高的要求。音頻團隊應(yīng)該注意，不要逼著自己在VR環(huán)境中去追求完全的正確。特別是在考慮動態(tài)范圍、衰變曲線以及直接返回時間的時候。
2、聲源的精確3D位置信息
聲源必須被精確的放在3D的場景中。以前，一個大概的位置信息就足夠，因為可以通過移動和衰變來定位。一個物體的默認位置可能是它的尾部或者是腳和地面接觸的地方，當一個聲音從這些位置發(fā)出時，會在空間中顯得很不和諧。
3、有方向的聲源
Audio SDK不包含聲源的方向，但是高層級的SDK會使用基于角度的衰變進行建模，來控制方向。這些方向的衰變會在空間化之前就發(fā)生。
4、場景聲音
Audio SDK不包含場景聲音，例如瀑布、河流、人群等。
5、多普勒效應(yīng)
當聲音接近或遠去時，會產(chǎn)生明顯的多普勒效應(yīng)。VR可以通過聲源和聽者之間的相對速度來消除，但是這個過程很容易引入噪聲。
6、聲音傳輸時間
在現(xiàn)實世界中，聲音的傳輸需要時間，因此在看到和聽到東西之間會有明顯的延遲。
Audio SDK支持time-of-。
7、非空間化的聲音
并不是所有的聲音都需要被空間化，有許多聲音是靜態(tài)的或者與頭部相關(guān)的，例如：
用戶交互的元素，例如點擊、嗶嗶聲、傳輸或者其他。
背景音樂
旁白
身體聲音，例如呼吸和心跳
這些聲音應(yīng)該在編寫程序時被隔離，避免它們在混音時不小心被加入到3D空間化聲音的流水線中。
8、效果
空間化的效果與設(shè)備的性能有關(guān)，例如在高配的PC上可以空間化30多種聲音，但是在移動設(shè)備上只能空間化一到兩個。
有些聲音空間化后效果很差，例如低頻的轟隆聲，給出的空間感很弱。這些聲音可以通過一些移動和衰變來作為標準的立體聲播放。
9、氣氛（）
傳統(tǒng)的非VR游戲很難做到聲音的沉浸感。因為PC用戶的話筒質(zhì)量很低，家庭影院的隔離效果很差。
有了耳機、位置追蹤和完全的視覺沉浸之后，對用于聲音體驗的音效設(shè)計變得更為重要。
這就意味著：
有效空間化的聲源
合適的音效范圍，不太密集，也不太稀疏
避免用戶疲勞
合適的音量，可以讓用戶聽得時間比較長
空間和環(huán)境的效果
10、延遲
VR音效的延遲與設(shè)備有關(guān)，最少可以達到2ms，最多可能達到幾百毫秒。當用戶腦袋的移動速度與聲源速度的差別較大時，系統(tǒng)延遲會比較明顯。如果觀看者移動較慢，且場景相對靜止時，音頻的延遲很難被察覺。
11、特效
在VR體驗中，特效是很重要的一個環(huán)節(jié)，像是濾波、賦值、變形和折邊等。例如一個低通的濾波器可以模擬水下游泳的聲音，因為高頻會比在空氣中失去能量的更快?；蛘呖梢杂门で鷣砟M迷失方向。
（本文是 Audio SDK文檔的閱讀筆記，作者只對感興趣的內(nèi)容進行了簡單的翻譯。轉(zhuǎn)自：）
點擊一下立即閱讀相關(guān)好文章
丨丨
丨
丨
......
近期熱文