《通信聲學(xué)》報(bào)告

1、通信聲學(xué)本份匯報(bào)詳細(xì)講述第一章，第四章內(nèi)容，二三章屬于學(xué)過(guò)的內(nèi)容，不重點(diǎn)概述，第五章及其之后的章節(jié)對(duì)內(nèi)容進(jìn)行概括，并挑選重點(diǎn)理解的部分進(jìn)行說(shuō)明。第一章 聽(tīng)覺(jué)場(chǎng)景的分析和合成所謂分析：在某種聲場(chǎng)景下，對(duì)場(chǎng)景內(nèi)的聲音進(jìn)行分析和評(píng)價(jià)所謂合成：通過(guò)計(jì)算和分析，對(duì)聲場(chǎng)景進(jìn)行模擬1.1引言1.歷史回顧上世紀(jì)聲學(xué)發(fā)展迅速，隨著計(jì)算機(jī)迅速發(fā)展，促進(jìn)了聲學(xué)的前進(jìn)，數(shù)字信號(hào)處理已經(jīng)成為了通信聲學(xué)中不可或缺的部分，許多聲學(xué)技術(shù)圍繞現(xiàn)代技術(shù)繼續(xù)前行，可以預(yù)見(jiàn)，未來(lái)通信系統(tǒng)將會(huì)包含越來(lái)越多的內(nèi)置智能和知識(shí)。2.通信經(jīng)典范例：雙耳技術(shù)通信傳輸系統(tǒng)結(jié)構(gòu)：信息源->編碼器->傳輸通道->解碼器->接受

2、信號(hào)聲學(xué)傳輸重要的一點(diǎn)是：聲信號(hào)發(fā)送接受，在兩種場(chǎng)合下的聽(tīng)覺(jué)感知要彼此一直，在這點(diǎn)上，最嚴(yán)格的任務(wù)是真實(shí)再現(xiàn)。體現(xiàn)真實(shí)再現(xiàn)的可行方法：雙耳技術(shù)雙耳技術(shù)：在收聽(tīng)雙耳入口，真實(shí)再現(xiàn)聲音信號(hào)。輸入信號(hào)從真人的耳道拾取，用耳機(jī)完成回放。3.經(jīng)典傳輸連的分離將經(jīng)典傳輸分為了兩個(gè)部分，分別是：兩者級(jí)聯(lián)成為一個(gè)傳輸系統(tǒng)AVE聽(tīng)覺(jué)虛擬環(huán)境系統(tǒng) ASA聽(tīng)覺(jué)場(chǎng)景分析系統(tǒng)1.2聽(tīng)覺(jué)場(chǎng)景分析ASA雙耳信號(hào)處理模型外耳模塊獲取信號(hào)輸入，通過(guò)中耳模塊帶通濾波，送到內(nèi)耳模型進(jìn)行信號(hào)處理，輸出信號(hào)反饋到雙耳接受信號(hào)模塊中，分析內(nèi)耳之間到達(dá)的時(shí)間差別和聲級(jí)差，最總得到三維時(shí)變輸出，被稱(chēng)為是雙耳活性圖。舉例2個(gè)1.質(zhì)量的識(shí)別和評(píng)

3、價(jià)音樂(lè)演奏廳中記錄的雙耳房間響應(yīng)，輸入到上述模型，得到人工頭耳中的直達(dá)聲和個(gè)別反射聲，分析這些圖可以預(yù)測(cè)該音樂(lè)廳的質(zhì)量。故雙耳活性圖能夠作為系統(tǒng)的聽(tīng)覺(jué)質(zhì)量評(píng)價(jià)和估計(jì)的基礎(chǔ)。質(zhì)量判斷是從一組公認(rèn)的和可以命名的特征開(kāi)始，然后與參考組的特征作比較。2.雞尾酒會(huì)處理得到兩個(gè)同時(shí)發(fā)音者的雙耳活性圖，進(jìn)行分析圖中的高度和峰值表示兩個(gè)發(fā)音者中，每一個(gè)激活的空間，時(shí)間，頻譜位置。用適當(dāng)?shù)臑V波算法處理這些信息，能夠增強(qiáng)想聽(tīng)的發(fā)音人的信號(hào)，并抑制不想聽(tīng)的發(fā)音人的信號(hào)。在圖中不想聽(tīng)的發(fā)音人激活的區(qū)域顏色發(fā)暗。顯然，這種信號(hào)處理的 有效性取決于如何可靠的辨認(rèn)想聽(tīng)的發(fā)音人的激活點(diǎn)。只要處理的發(fā)音者有限，在無(wú)回聲而且是較

4、低的干擾噪聲條件下，雞尾酒會(huì)處理器是很有效果的。在混響大量的場(chǎng)景中，就會(huì)出現(xiàn)問(wèn)題，對(duì)于辨別發(fā)音者有一定困難。建立在雙耳活性圖基礎(chǔ)之上的聽(tīng)覺(jué)場(chǎng)景分析的應(yīng)用分別是：1.聲品質(zhì)的評(píng)價(jià)2.同時(shí)發(fā)音者的分離1.3聽(tīng)覺(jué)場(chǎng)景的合成AVE 聽(tīng)覺(jué)虛擬環(huán)境聽(tīng)覺(jué)虛擬環(huán)境與通常的虛擬環(huán)境一樣是人工的，有計(jì)算機(jī)產(chǎn)生，只停留在場(chǎng)景的參數(shù)表示上。虛擬環(huán)境 有諸多應(yīng)用，先做一些簡(jiǎn)單介紹1.雙耳房間模擬從待建?？臻g的幾何描述開(kāi)始，包括 具有不同吸收系數(shù)的所有周?chē)谋砻?，以及聲源的位置和方向特性，聲?chǎng)模擬確定了虛擬聲源的層次，按照從收聽(tīng)者位置所看到的來(lái)描述聲場(chǎng)，然后，這些虛擬聲源所產(chǎn)生的沖激響應(yīng)，再按規(guī)定的方向用收聽(tīng)者耳朵的沖激

5、響應(yīng)加權(quán)，該響應(yīng)預(yù)先已經(jīng)測(cè)量，這樣最后得到一組雙耳沖擊響應(yīng)，在依次和沒(méi)有回波的語(yǔ)音或者音樂(lè)卷積，所得到的信號(hào)再送到收聽(tīng)者的耳中。2.虛擬環(huán)境發(fā)生AVE發(fā)生器的結(jié)構(gòu)由于交互作用的要求，發(fā)生器系統(tǒng)的結(jié)構(gòu)和靜態(tài)模擬系統(tǒng)的結(jié)構(gòu)不同，現(xiàn)在目標(biāo)是要產(chǎn)生感覺(jué)似真的場(chǎng)景，體現(xiàn)交互作用真實(shí)性感覺(jué)。從上面的發(fā)生器結(jié)構(gòu)可以看到，發(fā)生器已經(jīng)變成多模態(tài)的，觸覺(jué)，視覺(jué)和身體感覺(jué)的信息最終于聽(tīng)覺(jué)結(jié)合在了一起。聽(tīng)-觸只是其中一部分雙模型例子。核心是外界的模型，具有數(shù)據(jù)庫(kù)的作用。外界模型的 一個(gè)層面成為應(yīng)用，列出很多規(guī)則，用來(lái)調(diào)節(jié)虛擬目標(biāo)相對(duì)于試圖的特殊應(yīng)用之間的相互作用?？刂茖邮占诮换プ饔弥惺褂锰摂M環(huán)境系統(tǒng)的被實(shí)驗(yàn)者的反應(yīng)

6、，促使系統(tǒng)做出適當(dāng)?shù)捻憫?yīng)。用戶的頭，手等被連續(xù)監(jiān)視，這些能夠影響虛擬環(huán)境，影響有關(guān)的聲源。信號(hào)最后通過(guò)參與其被反饋給被實(shí)驗(yàn)者，產(chǎn)生這些信號(hào)的那些系統(tǒng)部件被稱(chēng)為執(zhí)行器，聽(tīng)覺(jué)執(zhí)行器最重要的部件就是聲場(chǎng)模型，是基于雙耳房間模擬原理而產(chǎn)生的一組雙耳沖擊性響應(yīng)。1.4討論和總結(jié)ASA和AVE需要變得越來(lái)越智能化，增加內(nèi)置系統(tǒng)智能成為一種趨勢(shì)。第二章 聽(tīng)覺(jué)通信進(jìn)化中的適應(yīng)性2.2 發(fā)送器的適應(yīng)性動(dòng)物會(huì)根據(jù)周?chē)晫W(xué)環(huán)境調(diào)節(jié)自己的信號(hào)輸出方式，這就是一種適應(yīng)性。2.3 處理傳輸通道的特性信號(hào)在傳輸?shù)浇邮盏倪^(guò)程中就有一些變化，但是信號(hào)仍然可以被識(shí)別，這些變化反過(guò)來(lái)又能使接收器用來(lái)估計(jì)信號(hào)的傳輸距離。2.4 接收

7、器的適應(yīng)性在接收器的聽(tīng)覺(jué)系統(tǒng)中，應(yīng)聲學(xué)環(huán)境要求進(jìn)行匹配，發(fā)展共性，這就是一種適應(yīng)性。典型的適應(yīng)例子1.聽(tīng)覺(jué)非線性的增益控制機(jī)制聽(tīng)覺(jué)系統(tǒng)必須分析的聲音幅度范圍可以超過(guò)6個(gè)幅度量級(jí)，倘若動(dòng)態(tài)范圍有限，為了使機(jī)械刺激感受器細(xì)胞表現(xiàn)這種幅度上的變化成為可能，聽(tīng)覺(jué)器官逐漸形成非線性轉(zhuǎn)換機(jī)制和增益控制的主動(dòng)機(jī)制。2.頻率選擇性動(dòng)物聽(tīng)覺(jué)系統(tǒng)從內(nèi)耳開(kāi)始就有選擇的處理聲音中的不同頻率成分，這種能力用一組帶通濾波器表示，也就是聽(tīng)覺(jué)濾波器，他們構(gòu)成了聽(tīng)覺(jué)系統(tǒng)。根據(jù)聲信號(hào)的頻率，在耳蝸的規(guī)定位置表現(xiàn)出最大的震動(dòng)幅度和速度，不僅增加了靈敏度，而且也使得頻率選擇性的尖銳化。3.聲音定位接收器受益于能夠精確測(cè)定聲源的位置，

8、定位能力不僅包括聽(tīng)到信號(hào)的發(fā)送器方向，還包括他的距離，很多動(dòng)物都面臨聲音定位問(wèn)題，因?yàn)槲锓N的頭部較小，用來(lái)通信的聲音波長(zhǎng)比他們頭的直徑大得多，在定位的過(guò)程中有兩類(lèi)線索，一類(lèi)是耳間時(shí)間差，一類(lèi)是耳間強(qiáng)度差。2.5 聽(tīng)覺(jué)場(chǎng)景分析吧每種聲源的聲音分類(lèi)為一種知覺(jué)對(duì)象的任務(wù)，聽(tīng)覺(jué)流指的是一個(gè)特定聲源發(fā)出的聲音，把特定聲源分析出來(lái)，并對(duì)同類(lèi)聲源做出適當(dāng)?shù)捻憫?yīng)，就是聽(tīng)覺(jué)場(chǎng)景分析。第三章 人類(lèi)外圍聽(tīng)覺(jué)器官的功能性觀察聲音信號(hào)處理總是從人頭的外部開(kāi)始，外部聲場(chǎng)必須耦合到聲道，兩個(gè)耳道和聲源的相對(duì)位置，導(dǎo)致了耦合強(qiáng)烈的依賴(lài)于頻率，其中不包括低于幾百赫茲的低頻，在其中，耳廓和頭部都齊了重要作用，這種線性濾波通常使用

9、傳輸函數(shù)HRTF來(lái)描述。聽(tīng)覺(jué)器官結(jié)構(gòu)復(fù)雜，傳聲有著自己獨(dú)特的方式。3.2 耳蝸3.3 耳道和中耳3.4 到耳蝸的直接骨傳導(dǎo)都是關(guān)于人耳的介紹內(nèi)容，不做詳細(xì)總結(jié)第四章 雙耳聽(tīng)覺(jué)的建模模擬雙耳聽(tīng)覺(jué)，存在幾種模型：1.詳細(xì)模擬神經(jīng)細(xì)胞的特性2.面向心理學(xué)，精確模擬聽(tīng)覺(jué)通道雙耳定位模型，必要條件：1.必須知道由聽(tīng)覺(jué)系統(tǒng)分析的空間線索2.開(kāi)發(fā)至少模擬一種空間線索的聽(tīng)覺(jué)分析算法3.確定一種從空間線索分析結(jié)果中估計(jì)聲源位置的方法4,2 人的雙耳線索分析早期雙耳聽(tīng)覺(jué)基本定律：從單聲源發(fā)射聲波到達(dá)時(shí)間，由于到達(dá)兩只耳朵的不同路徑長(zhǎng)度，通常在左右耳膜上不會(huì)嚴(yán)格相同，這種左右耳之間到達(dá)時(shí)間差，成為耳間時(shí)間差I(lǐng)TD，

10、兩耳之間頭的存在不僅決定了行進(jìn)的聲波必須迂回，而且也引起聲波在耳膜對(duì)側(cè)的衰減，導(dǎo)致兩耳信號(hào)的耳間聲級(jí)差I(lǐng)LD，在低頻范圍ITD是主要線索，在高頻是，ILD是主要線索。他們可以通過(guò)信號(hào)包絡(luò)起伏來(lái)評(píng)價(jià)用ITD和ILD組合估計(jì)聲源位置：我們的聽(tīng)覺(jué)系統(tǒng)對(duì)整個(gè)頻率范圍內(nèi)的ITD都一樣靈敏，對(duì)于長(zhǎng)時(shí)間周期，假設(shè)在聽(tīng)覺(jué)系統(tǒng)中ITD和ILD是被分開(kāi)估計(jì)的，兩者被估計(jì)的位置并不相同，聽(tīng)覺(jué)事件經(jīng)常包含使用兩者線索位置之間的中途結(jié)果，導(dǎo)致進(jìn)入相反的方向并相互補(bǔ)償。在描述聽(tīng)覺(jué)系統(tǒng)執(zhí)行解碼過(guò)程以前，ITD對(duì)于確定聲源的左右偏側(cè)性，仍然是可靠的線索。4,3 雙耳線索的計(jì)算分析1.外圍聽(tīng)覺(jué)系統(tǒng)的模擬各級(jí)定位模型的通用結(jié)構(gòu)表

11、示：信號(hào)由模擬外耳，中耳，內(nèi)耳等聽(tīng)覺(jué)外圍的處理級(jí)來(lái)處理外耳用HRTF對(duì)信號(hào)濾波來(lái)模擬中耳用不均勻的帶通濾波器來(lái)模擬濾波器的形狀對(duì)于處理雙耳任務(wù)和單耳任務(wù)相比，要有不同的選擇。比方在雙耳任務(wù)中，要考慮模擬毛細(xì)胞特性，對(duì)毛細(xì)胞功能要做更為詳細(xì)的模擬聽(tīng)覺(jué)外圍的所有原件包含在模擬算法中，并不能?chē)?yán)格分開(kāi)，在算法中，使用心理學(xué)聲學(xué)方法所得到的只是聽(tīng)覺(jué)系統(tǒng)對(duì)耳信號(hào)的整體響應(yīng)，生理學(xué)的方法允許在聽(tīng)覺(jué)通路上任何位置做測(cè)量，設(shè)計(jì)出心理聲學(xué)模型，可以模擬毛細(xì)胞群體，得到雙耳參數(shù)，進(jìn)行定位模擬。2.耳間時(shí)間差Jeffress算法：模型包括兩條延遲線，一條到達(dá)左耳的信號(hào)，另一條到達(dá)右耳的信號(hào)，他們和一些耦合檢測(cè)器連接，

12、延遲線離散實(shí)現(xiàn)描述如下：當(dāng)從兩個(gè)連接位置的延遲線上同時(shí)接受到輸入時(shí)，一個(gè)耦合檢測(cè)器被激活，由于信號(hào)在延遲線上傳播的速度有限，每一個(gè)耦合檢測(cè)器 被調(diào)整到不同的IDT，在兩者激發(fā)相應(yīng)的耦合檢測(cè)器之前，左耳信號(hào)在延遲線上比右耳的信號(hào)將行進(jìn)較大的距離。問(wèn)題：沒(méi)有明確規(guī)定兩個(gè)脈沖尖峰如何重合，為了達(dá)到這個(gè)目的，假定許多調(diào)諧到同一ITD的耦合檢測(cè)器細(xì)胞是存在的，來(lái)自相反通道的兩組脈沖激發(fā)一個(gè)確定的重合細(xì)胞概率，由這些左右通道里脈沖數(shù)目的乘積給出。Sayers&Cherry 算法：使用耳間互相關(guān)ICC確定ITD相反通道的兩組脈沖，當(dāng)他們相互通過(guò)延遲線時(shí)總是會(huì)重合的，此時(shí)重合函數(shù)的輸出不是每一延遲時(shí)間

13、在左右通道中幅度的乘積，而是這兩個(gè)幅度的最小值，圖中顯示這種算法的輸出特性，與互相關(guān)算法的輸出特性非常相似，只在頂部的峰值稍微略窄。假設(shè)兩種脈沖在他們重合以后應(yīng)該抵消，在左右耳通道中的信號(hào)要預(yù)先壓縮幅度?，F(xiàn)今預(yù)測(cè)：ITD并不是由類(lèi)似細(xì)胞陣列中相應(yīng)細(xì)胞的激發(fā)峰值確定，可能是兩組協(xié)調(diào)到度數(shù)范圍內(nèi)耳間相位 移的細(xì)胞群體間的比值。問(wèn)題：不能證明這種生定位模型在哺乳動(dòng)物中怎樣分析ITD為更好描述。3.耳間聲級(jí)差計(jì)算方式：4.單耳線索單耳線索模型：所有頻帶上的功率相比較，無(wú)論信號(hào)是從前面表現(xiàn)還是從上面表現(xiàn)或者后面，都做一次邏輯判斷，為了估計(jì)的單耳線索，收聽(tīng)者使用聲音的內(nèi)部表示。耳信號(hào)和這種內(nèi)部表示作比較。

14、4.4 判決過(guò)程，需要模擬偏差，幫助探索聽(tīng)覺(jué)系統(tǒng)工作1.偏側(cè)性模型通常感覺(jué)到有些聲音在頭內(nèi)部的耳間軸線上離頭中心有一段距離處，這個(gè)距離是偏側(cè)性，通常是用間隔或者比例標(biāo)度測(cè)量模型一：Stern&Colburn可變位置模型從不同線索的ITD和ILD中集成信息模型二：Lindemann模型時(shí)間圖像是由 互相關(guān)曲線的峰值位置確定的，而強(qiáng)度圖像是由單耳處理器的貢獻(xiàn)確定的。2.加權(quán)函數(shù)之所以需要加權(quán)函數(shù)是因?yàn)?，在確定聲源的時(shí)候，需要一種適當(dāng)?shù)念~方式來(lái)把所有分析線索信息結(jié)合起來(lái)，所以這里普通的方法是通過(guò)時(shí)間和頻率加權(quán)不同的信息加權(quán)函數(shù)表示：除此之外還有組合頻率加權(quán)和內(nèi)部延遲加權(quán)的加權(quán)方法，各有不同的

15、表示方式。3.定位模型針對(duì)在自由聲場(chǎng)中的信號(hào)做優(yōu)化。在自由場(chǎng)中，聽(tīng)覺(jué)事件被認(rèn)為是來(lái)自三維空間的感覺(jué)。ITD和ILD的水平角的頻率依賴(lài)關(guān)系能夠從HRTF的樣本確定。有時(shí)候基于ITD的分析不能夠顯示聲音是來(lái)自前半球還是后半球，如果在分析中考慮的是三維空間，那么ILD線索必須處理。如果只是用ITD和ILD在幾個(gè)頻帶中的組合來(lái)確定生源位置具有困難。每個(gè)符合LINDEMAN模型的細(xì)胞，按照在HRTF中找到的不同入射角和頻率，調(diào)諧到ITD和ILD 的自然組合。在這種方法中，當(dāng)兩個(gè)延遲線"相應(yīng)的"偶合檢測(cè)器相遇時(shí)，信號(hào)的ILD 正好抵消。為了能夠在不同的方向補(bǔ)償ILD ，補(bǔ)償因子必須在每

16、兩個(gè)符合檢測(cè)器之間實(shí)現(xiàn)。最后， ITD必須簡(jiǎn)單的在方位基礎(chǔ)上重新畫(huà)出，以便估計(jì)聲源的方位角。定位模型的這些形式是分析lTD 和ILD 兩者，然后使用兩種方法，或者在合成算法中處理兩種線索，或者先獨(dú)立估計(jì)兩種線索，然后把結(jié)果組合起來(lái)，以便仙計(jì)聲源的位置。4.5檢測(cè)算法檢測(cè)的是目標(biāo)聲音，使用很多模型主要介紹EC 模型1包含目標(biāo)信號(hào)和掩蔽這是通過(guò)聽(tīng)覺(jué)帶通濾波器送入，2在左右通道中，有各種不同給的參數(shù)和因子，3用增益因子A吧掩蔽噪聲的幅度調(diào)整到相同的值，為通道做均衡4一個(gè)通道從另一個(gè)通道減去，做消除，一邊消除噪聲5決定信號(hào)檢測(cè)或不檢測(cè)的判決期間是按照最有檢測(cè)器實(shí)現(xiàn)的，根據(jù)信號(hào)檢測(cè)理論設(shè)計(jì)的4.6 多聲

17、源場(chǎng)景下的定位有一些雙耳定位模型，是在干擾聲源存在的情況下，專(zhuān)門(mén)用來(lái)定位測(cè)試聲音的。貝葉斯分類(lèi)器模型：加權(quán)線索，在非連續(xù)聲源存在的情況下去模擬聲源的定位 雞尾酒會(huì)處理器：聲源的位置信息是用于將他們互相分開(kāi)，全部都是普通的信號(hào)驅(qū)動(dòng)，由底層向上的方法。第五章 試聽(tīng)交互作用本章內(nèi)容揭示了視覺(jué)和聽(tīng)覺(jué)相交的背景下的一些研究成果如何集征聽(tīng)覺(jué)和視覺(jué)的線索是本章的問(wèn)題所在在視覺(jué)和聽(tīng)覺(jué)都同時(shí)存在或者在速率，位置上表現(xiàn) 不同，有相互干擾的嫌疑的時(shí)候，被試得到的結(jié)果既不是視覺(jué)上的也不是聽(tīng)覺(jué)上的，故聽(tīng)覺(jué)神經(jīng)和視覺(jué)神經(jīng)是交互作用的特殊模態(tài)。這種刺激組合數(shù)目更多的話上升為多感官刺激，不去考慮矛盾的信息，感覺(jué)并不能分開(kāi)在每

18、種模態(tài)下的孤立的感覺(jué)，而替代的是改變了之后的矛盾特征。我認(rèn)為這種組合是讓音頻和視頻在三維上有了聯(lián)系.在處理聽(tīng)視覺(jué)注意力的問(wèn)題的時(shí)候，分為兩類(lèi)問(wèn)題，一類(lèi)是必須對(duì)刺激做出超速反應(yīng)，結(jié)果是處理聽(tīng)覺(jué)和視覺(jué)刺激的注意力資源不是完全獨(dú)立的。另一類(lèi)問(wèn)題是同一感覺(jué)模態(tài)下和不同感覺(jué)模態(tài)下發(fā)生的刺激，結(jié)果是在一種模態(tài)下對(duì)一種刺激的識(shí)別，并不損傷識(shí)別另外模態(tài)中協(xié)同刺激的能力在語(yǔ)音信號(hào)中包含了直接信息，相對(duì)比視覺(jué)來(lái)說(shuō)和聽(tīng)覺(jué)同時(shí)具有信息的時(shí)候，如果在空間進(jìn)行了對(duì)齊，那么語(yǔ)音可懂度有上升，就好比口技的例子。如果兩者在空間上分開(kāi)，那么語(yǔ)音可懂度就有了不同程度的改善。這說(shuō)明兩者之間有了信息的交互作用，對(duì)于質(zhì)量評(píng)價(jià)，可以發(fā)現(xiàn)音

19、頻損傷的接受程度低，相比視頻損傷來(lái)說(shuō)。音頻質(zhì)量和視頻質(zhì)量如何進(jìn)行測(cè)量評(píng)價(jià)，經(jīng)過(guò)試驗(yàn)刺激，被試連續(xù)計(jì)分制，對(duì)自己的總體質(zhì)量評(píng)分，發(fā)現(xiàn)，從最高視頻質(zhì)量到最低視頻質(zhì)量，總質(zhì)量的改變，大體上和從最高音頻質(zhì)量到最低音頻質(zhì)量，所引起的質(zhì)量改變相同，得到的結(jié)論是：在視頻中，比特率降低到2.3Mbit/s所降低的質(zhì)量，大體上和三個(gè)HIFI揚(yáng)聲器替換低質(zhì)量的TV揚(yáng)聲器所增加的質(zhì)量相同。音視頻質(zhì)量相互之間如何交互？在判斷音頻質(zhì)量時(shí)，視頻質(zhì)量影響強(qiáng)大，與整體質(zhì)量相關(guān)0.9，而音頻和總質(zhì)量相關(guān)只有0.35，使用質(zhì)量降低比較嚴(yán)重的視頻，音頻的感覺(jué)質(zhì)量也會(huì)降低。當(dāng)視頻不存在時(shí)，音頻的感覺(jué)質(zhì)量總比視頻時(shí)判斷要低一些。經(jīng)過(guò)不

20、同實(shí)驗(yàn)說(shuō)明，可以確定的是聽(tīng)視覺(jué)肯定有相互影響。第六章 心理聲學(xué)和聲品質(zhì)心理聲學(xué)的方法我們?cè)谏蠈W(xué)期課程中討論了許多，這本書(shū)中對(duì)心理聲學(xué)模型，評(píng)價(jià)有了一些介紹和比較從方法到建模到品質(zhì)評(píng)價(jià)一次進(jìn)行總結(jié)心理物理方法這里介紹了4中，分別是隨機(jī)排序，語(yǔ)義差別，類(lèi)別劃分，幅度估計(jì)我挑選其中幾個(gè)模型進(jìn)行詳細(xì)概述，并結(jié)合所學(xué)提出自己的看法在語(yǔ)義差別中，使用形容詞來(lái)描述聲音，在這里需要注意的問(wèn)題是，如何選擇合適的形容詞。在很多時(shí)候語(yǔ)音差別就體現(xiàn)在語(yǔ)義上，如果語(yǔ)義 不準(zhǔn)確不合適，可能會(huì)導(dǎo)致結(jié)果相差很遠(yuǎn)。在類(lèi)別劃分中，將評(píng)價(jià)級(jí)別分為5-7度，有時(shí)在每一季中再細(xì)分10個(gè)類(lèi)別，在這里需要注意的問(wèn)題是，如何對(duì)級(jí)別進(jìn)行程度描

21、述，如果程度描述的語(yǔ)言不準(zhǔn)確或者不合適，會(huì)導(dǎo)致評(píng)價(jià)結(jié)果偏離，并且在細(xì)分類(lèi)別的時(shí)候會(huì)增加工作量，如何做到既快又準(zhǔn)是需要重點(diǎn)考慮的額問(wèn)題。對(duì)聲音不同性質(zhì)進(jìn)行了模型的建立，避免在估計(jì)的時(shí)候耗費(fèi)時(shí)間，響度模型：Zwicker模型尖銳度模型：通過(guò)聲音響度模式，來(lái)估計(jì)尖銳度粗糙度模型：通過(guò)聲音的時(shí)間掩蔽模式來(lái)描述起伏強(qiáng)度模型：輸入和粗糙度一直，調(diào)制頻率有些許不同（4KHz附近）綜合度量模型：煩惱評(píng)價(jià)公式聲品質(zhì)：個(gè)人認(rèn)為聲品質(zhì)是從很多方面共同評(píng)價(jià)聲音，如果聲音本身就有了意義對(duì)聲品質(zhì)的判斷就有了影響，這樣的判斷結(jié)果可能會(huì)因?yàn)椴煌奈幕尘岸煌倪@個(gè)角度出發(fā)，不難看出，聲音的品質(zhì)某種程度上可以推向品牌形象。

22、典型案例：汽車(chē)關(guān)門(mén)聲實(shí)驗(yàn)第七章 人-機(jī)器語(yǔ)音傳輸?shù)馁|(zhì)量本章：1.人人電話通信；2.人與電話語(yǔ)音技術(shù)的交互電話網(wǎng)絡(luò)通道質(zhì)量是由每一個(gè)部件組成的，這是一個(gè)綜合的結(jié)果、。如果分別進(jìn)行評(píng)價(jià)不符實(shí)際的話，我們建立了標(biāo)準(zhǔn)的結(jié)構(gòu)，體現(xiàn)傳輸通道中許多使得質(zhì)量下降的因素。方法根據(jù)個(gè)路徑對(duì)語(yǔ)音或者噪聲響度的影響，借助加權(quán)量值，對(duì)路徑描述。評(píng)價(jià)質(zhì)量分為兩個(gè)方向，一個(gè)是服務(wù)提供者的觀點(diǎn)，另一個(gè)是用戶的觀點(diǎn)，服務(wù)質(zhì)量分三種，1.語(yǔ)音通信因素2.服務(wù)因素3.情況因素人機(jī)交互的評(píng)價(jià)方法也分類(lèi)，在人人電話通信分類(lèi)基礎(chǔ)之上，考慮到背景因素質(zhì)量預(yù)測(cè)模型，考慮五中準(zhǔn)則，準(zhǔn)則不再細(xì)述，目的是為了描述系統(tǒng)信號(hào)或者參數(shù)·，提取

23、質(zhì)量特征，應(yīng)該說(shuō)這兩種平價(jià)引入一種分類(lèi)，幫助驗(yàn)證質(zhì)量·狀況，第八章 給聲音賦予意義-產(chǎn)品聲音設(shè)計(jì)背景下的符號(hào)學(xué)每一種聲音被認(rèn)為是一種符號(hào)載體,符號(hào)如果發(fā)送了信息，則需要通過(guò)學(xué)習(xí)，畢竟聲音的形式和符號(hào)本身之間的關(guān)系不能確定，符號(hào)學(xué)，目的在于驗(yàn)證從元素和組合規(guī)則去構(gòu)件結(jié)構(gòu)過(guò)程的基本原理，總是想要一個(gè)穩(wěn)定且有限制的類(lèi)推，來(lái)處理各種不同領(lǐng)域的集合。設(shè)計(jì)的產(chǎn)品是一種工具，目的是在被使用的時(shí)候激發(fā)某種感覺(jué)，和目標(biāo)。聲學(xué)設(shè)計(jì)是要支持到達(dá)這個(gè)目的，是產(chǎn)生支持產(chǎn)品質(zhì)量印象的一種工具。產(chǎn)品感覺(jué)的聲音是一個(gè)符號(hào)載體，引起對(duì)產(chǎn)品的的想象，聲音是支持產(chǎn)品的，從這個(gè)角度出發(fā)，在設(shè)計(jì)過(guò)程中，考慮符號(hào)的意義和功能，

24、收聽(tīng)者的思維模式等，在此之后建立參考評(píng)價(jià)，符號(hào)學(xué)在此過(guò)程中扮演主要角色。第九章 雙耳技巧-錄音，合成，和再現(xiàn)的基本方法雙耳錄音人工頭錄音聲音傳輸模型：分為依賴(lài)于方向和不依賴(lài)于方向部分，為了再現(xiàn)情況的相似模型是用來(lái)確定完整的錄音和回放鏈的正確校準(zhǔn)如果錄音和耳機(jī)傳輸函數(shù)的確定針對(duì)并不是同一個(gè)人，則應(yīng)當(dāng)考慮到個(gè)體差異性，HRTF函數(shù)有明顯差別。雙耳錄音真實(shí)再現(xiàn)，對(duì)耳機(jī)的傳輸函數(shù)有不同要求，大部分是HIFI型，但是并不具有真實(shí)再現(xiàn)所要求的平坦頻率響應(yīng)，通過(guò)壓力分配，耳機(jī)均衡等對(duì)耳機(jī)進(jìn)行補(bǔ)償，達(dá)到想要的效果，人工頭錄音實(shí)現(xiàn)了對(duì)人頭的模擬，但是只是在原理上表現(xiàn)了平均的或者典型的收聽(tīng)者，也不能很好的表示真人

25、的HRTF，在某些情況下，人工頭偏離平均的或者典型的結(jié)構(gòu)是相當(dāng)大的。對(duì)于HRTF測(cè)量：在房間中放入少數(shù)揚(yáng)聲器，吧圍繞在被試周?chē)璧脑O(shè)備減到最小，在測(cè)量過(guò)程中，使檢測(cè)器更靠近被試，用于計(jì)算HRTF的測(cè)量，已經(jīng)使用限制較低頻率的設(shè)備來(lái)實(shí)現(xiàn)。當(dāng)收聽(tīng)這頭的運(yùn)動(dòng)改變了聲音的入射方向是，如果在合成中可以交互改變HRTF，那么雙耳合成就可以而有明顯的改善，用雙耳錄音，收聽(tīng)這必須靜坐才能有真是收聽(tīng)感受，但是這樣的雙耳信號(hào)不能響應(yīng)后者的動(dòng)態(tài)變化，這是合成技術(shù)的障礙，但是也可以進(jìn)行修正：故收聽(tīng)者的位置和方向由跟蹤器來(lái)跟蹤，合成能夠由連續(xù)的修正信號(hào)來(lái)處理這些響應(yīng)變化。雙耳技術(shù)的應(yīng)用：房間模擬，耳機(jī)產(chǎn)生環(huán)繞聲音，通

26、信系統(tǒng)，三維聽(tīng)覺(jué)顯示，虛擬現(xiàn)實(shí)說(shuō)一下虛擬現(xiàn)實(shí)：目的是對(duì)不存在的環(huán)境進(jìn)行模擬，對(duì)人的感覺(jué)提供刺激，讓這些刺激感覺(jué)是真的，讓人身臨其境，除了聽(tīng)覺(jué)模擬還有其他感官的模擬。第十章 助聽(tīng)技術(shù)助聽(tīng)器，分為耳背式，或者耳內(nèi)式；耳內(nèi)式分為：CIC，ITC，ITE 深耳道式，耳道式，耳內(nèi)式，選擇取決于使用者耳道的大小和形狀。簡(jiǎn)單介紹一下傳統(tǒng)BTE助聽(tīng)器：組成是：傳聲器：聲音信號(hào)->電信號(hào)；音量控制；開(kāi)關(guān)控制；電池室；接收器。信號(hào)處理是在集成電路上實(shí)現(xiàn)的。一般來(lái)說(shuō)助聽(tīng)器尺寸越大，增益可能越高，電池可能越大。在近期發(fā)展的助聽(tīng)器中，使用數(shù)字編程，提供數(shù)字信號(hào)處理，相比模擬信號(hào)處理有一些優(yōu)點(diǎn)：小型化，功耗低，內(nèi)部

27、噪聲低，更加穩(wěn)定等等。但是也需要考慮一些技術(shù)限制：在處理動(dòng)態(tài)范圍時(shí)有附加限制，計(jì)算精度需要進(jìn)行專(zhuān)門(mén)計(jì)算，采樣頻率必須大于信號(hào)帶寬的兩倍。現(xiàn)代典型的數(shù)字助聽(tīng)器模型：包含三個(gè)傳聲器在現(xiàn)實(shí)使用中遇到的問(wèn)題：1.噪聲掩蔽的情況下，聽(tīng)力損失的人要求在信噪比上增加4-10db，但是經(jīng)常不足以做出這樣的補(bǔ)償。在助聽(tīng)器中引入的信號(hào)處理，獨(dú)立檢出語(yǔ)音和噪聲，用不同的方法來(lái)處理兩種個(gè)信號(hào)，提高語(yǔ)音的可懂度。原理就是：利用語(yǔ)音在濁音中表現(xiàn)出來(lái)的諧波結(jié)構(gòu)，使其分離。2.聽(tīng)覺(jué)損失就是降低了動(dòng)態(tài)范圍，要補(bǔ)償已經(jīng)降低的動(dòng)態(tài)范圍，可以用比較算法實(shí)現(xiàn)：即多通道壓縮。3.反饋：助聽(tīng)器反饋可能會(huì)產(chǎn)生鳴響，故反饋可通過(guò)降低某一頻率區(qū)

28、域的放大量而避免，或者使用窄帶剔除濾波器。其實(shí)助聽(tīng)器現(xiàn)在的設(shè)計(jì)，并不僅僅是給佩戴者提供了周?chē)穆曇?，還對(duì)接受的信號(hào)進(jìn)行了處理，智能的分辨情景，然后再給佩戴者提供聲音。如今的助聽(tīng)器在失真，頻響上都還有不足之處，有余地進(jìn)行改進(jìn)。第十一章 聽(tīng)覺(jué)虛擬環(huán)境AVE的產(chǎn)生包括物理和感覺(jué)兩個(gè)方面。關(guān)于聲音事件是指聽(tīng)覺(jué)現(xiàn)象的物理方面，聽(tīng)覺(jué)事件是指聽(tīng)覺(jué)的感覺(jué)和理解。聲音事件和聽(tīng)覺(jué)事件之間沒(méi)有直接的因果關(guān)系，但也有著一定聯(lián)系。典型AVE包括：聲源，環(huán)境，收聽(tīng)者三種方法實(shí)現(xiàn)虛擬：1.真實(shí)再現(xiàn)方法2.似真方法（是重點(diǎn)）3.創(chuàng)建型方法，這種方法在游戲中找到了應(yīng)用。這三種方法的目的都不相同。在似真方法中，目的是按照在真實(shí)環(huán)

29、境中已經(jīng)出現(xiàn)的用戶感覺(jué)來(lái)喚起聽(tīng)覺(jué)事件，無(wú)論對(duì)于他是已知還是未知的。11.2聽(tīng)覺(jué)虛擬環(huán)境的組成任何情況下，AVE都可以分為聲源，環(huán)境，信號(hào)處理和重現(xiàn)模塊。通過(guò)這個(gè)模塊結(jié)構(gòu)，我們看以看出來(lái)AVE的主要數(shù)據(jù)流的路徑：信號(hào)處理模塊處理聲源信號(hào)并用濾波器通過(guò)物理方法或感覺(jué)方法，模擬環(huán)境的影響，然后用特殊的重現(xiàn)方法輸出這種結(jié)果。接下來(lái)我們一次說(shuō)一下各部分。聲源：通過(guò)錄制，合成或者兩者結(jié)合得到，錄制信號(hào)以后加到AVE系統(tǒng)計(jì)算的反射中，故要在消聲室中錄制，保證沒(méi)有任何反射，同時(shí)也要使采樣速率和幅度分辨率足夠高，這樣可以獲得信號(hào)帶寬和動(dòng)態(tài)范圍。聲音可用錄制的，也可用合成的，錄制時(shí)候分軌錄制，合成時(shí)候用模型加以控

30、制舉例：混響聲場(chǎng)，合成被試兩耳所收聽(tīng)到的聲音，喚起相應(yīng)于分布生源的聲場(chǎng)所產(chǎn)生的聽(tīng)覺(jué)事件，需要合成立體聲音信號(hào)，加到耳機(jī)上，合成步驟：1.聲源信號(hào)經(jīng)過(guò)濾波成為臨界頻帶，直到1.5KHZ左右2.在每一個(gè)臨界頻帶內(nèi)使用相關(guān)算法3.把做得到的信號(hào)加到一起，1.5KHZ以上的相關(guān)系數(shù)近似為零。3.環(huán)境：環(huán)境如果具有邊界，聲波則會(huì)反射揮著散射，到達(dá)收聽(tīng)者有兩個(gè)途徑，一個(gè)是反射達(dá)到，一個(gè)是直達(dá)。模擬該現(xiàn)象主要方法：分別建立上聲波，幾何，統(tǒng)計(jì)，感覺(jué)基礎(chǔ)之上的方法，目標(biāo)是喚起特殊的聽(tīng)覺(jué)事件。波的方法：利用波動(dòng)方程的解析解優(yōu)點(diǎn)：求解簡(jiǎn)單缺點(diǎn)：只能用在最簡(jiǎn)單的幾何情況，處理限制在很低的頻率和很小的房間。幾何方法：聲

31、波用射線近似優(yōu)點(diǎn)：計(jì)算快缺點(diǎn)：忽略干涉和衍射另外還有聲線跟蹤法，波束跟蹤法，和虛源法等統(tǒng)計(jì)方法：統(tǒng)計(jì)能量分析努力目標(biāo)是希望得到實(shí)時(shí)的性能。感知方法：不忠于某個(gè)特別的物理模型，而是集中于引起特殊的聽(tīng)覺(jué)感知。特點(diǎn)：計(jì)算能力低這里特別提一下混響模型：對(duì)于延遲反射應(yīng)用混響模型設(shè)計(jì)，近似散射聲場(chǎng)，能夠展示出密集的反射圖案壁面抖動(dòng)，產(chǎn)生好的空間印象。4.再現(xiàn)方法利用頻譜線索和雙耳時(shí)間差和聲級(jí)差，再設(shè)計(jì)再現(xiàn)方法的時(shí)候，由聽(tīng)覺(jué)系統(tǒng)按照聽(tīng)覺(jué)事件形式加以利用。再現(xiàn)方法：應(yīng)用HRTF再現(xiàn)，1>使用基于耳機(jī)的系統(tǒng)時(shí)，單頻道的時(shí)域信號(hào)使用左耳和右耳的HRTF濾波，應(yīng)用耳機(jī)的逆?zhèn)鬏敽瘮?shù)，講從耳機(jī)本身的濾波中將信號(hào)解

32、卷積，結(jié)果通過(guò)耳機(jī)來(lái)表示。在這里要考慮要對(duì)頭部進(jìn)行定位，如果環(huán)境反射，這種影響可以消除。再一個(gè)就是HRTF的差異性，2>如果使用基于揚(yáng)聲器的系統(tǒng)時(shí)，解法過(guò)程同耳機(jī)系統(tǒng)。如果不使用HRTF的再現(xiàn)方法，則換成是矢量基幅度調(diào)整再現(xiàn)方法等等，使用標(biāo)準(zhǔn)立體聲原理，在聲場(chǎng)中重組。5.信號(hào)處理模塊利用濾波器處理聲源信號(hào)舉例：聲場(chǎng)模擬計(jì)算接受者通過(guò)兩次反射，得到聲源信號(hào)，第七部分是HRTF獨(dú)立的再現(xiàn)機(jī)構(gòu)如果虛擬環(huán)境發(fā)生了變化，那么相關(guān)系數(shù)就要進(jìn)行修正，是部分修正還是全部重新計(jì)算取決于環(huán)境發(fā)生了什么變化，另外AVE系統(tǒng)可以應(yīng)用預(yù)先計(jì)算的數(shù)據(jù)庫(kù)，或預(yù)先記錄的雙耳沖擊響應(yīng)來(lái)產(chǎn)生，也并不是每次都需要實(shí)時(shí)計(jì)算修正

33、。11.3 當(dāng)前系統(tǒng)和研究項(xiàng)目1.基于物理的 系統(tǒng)：SCATIS系統(tǒng)：能夠使用似真方法給收聽(tīng)者表現(xiàn)復(fù)雜的聽(tīng)覺(jué)環(huán)境，利用80片MOTOROLA的DSP56002數(shù)字信號(hào)處理器組成的陣列，配置成為相應(yīng)的虛擬聲音。已經(jīng)接口到PC環(huán)境。DIVA系統(tǒng)：在UNIX上實(shí)現(xiàn)，集成了聲音合成，房間聲學(xué)模擬，空間再現(xiàn)，并和同步動(dòng)作組合到一起。粒子：假設(shè)在虛擬音樂(lè)廳中，允許有兩個(gè)同事的用戶，一個(gè)導(dǎo)演一個(gè)收聽(tīng)者，他們與系統(tǒng)相互作用，用動(dòng)作，導(dǎo)演控制管弦樂(lè)隊(duì)，該樂(lè)隊(duì)可以包含有真正的和虛擬的兩類(lèi)音樂(lè)家，同一時(shí)間收聽(tīng)者在音樂(lè)廳內(nèi)可以自由移動(dòng)，我覺(jué)得這種技術(shù)，可以應(yīng)用到演唱會(huì)或者大型表演者中去?；诟杏X(jué)的系統(tǒng)：SPACIALISATEUR系統(tǒng)：應(yīng)用減少數(shù)量相互獨(dú)立的感覺(jué)因子，表示聲音信號(hào)所經(jīng)歷的變換。2.研究重點(diǎn)：1>.多模態(tài)：聽(tīng)覺(jué)觸覺(jué)等多模態(tài)的集成引起了更多重視，這樣的多模態(tài)虛擬環(huán)境使沉浸該環(huán)境的用戶具有豐富的潛在能力，但也要避免出現(xiàn)不需要的效果。2>.聯(lián)合實(shí)現(xiàn)：真實(shí)的和虛擬的環(huán)境混合起來(lái)，能溝提高聲學(xué)效果，需要幾何空間信息和