聽覺系統(tǒng)中語音信號處理性質(zhì)研究(共47頁)

1、華中科技大學(xué)碩士學(xué)位論文PAGE 分類號 學(xué) 號 M200770091 學(xué)校(xuxio)代碼 10487 密 級 碩士學(xué)位論文(lnwn)聽覺系統(tǒng)(xtng)中語音信號處理相關(guān)性質(zhì)研究學(xué)位申請人：羅海風(fēng)學(xué)科專業(yè)：理論物理指導(dǎo)教師：龍長才 教 授答辯日期：2011年 1月 2日A Thesis Submitted in Partial Fulfillment of the Requirementsfor the Degree of Master of ScienceAuditory System Property about Speech Signal ProcessCandidate: Lu

2、o HaiFengMajor : Theoretical PhysicsSupervisor: Professor Long ZhangcaiHuazhong University of Science &TechnologyWuhan 430074, P.R. ChinaNov, 2010獨創(chuàng)性聲明(shngmng)本人聲明所呈交(chn jio)的學(xué)位論文是我個人在導(dǎo)師指導(dǎo)下進行的研究工作及取得的研究成果。盡我所知，除文中已經(jīng)標(biāo)明引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng)發(fā)表或撰寫過的研究成果。對本文的研究做出貢獻的個人和集體，均已在文中以明確方式標(biāo)明。本人完全意識到本聲明的法律結(jié)果

3、由本人承擔(dān)。學(xué)位(xuwi)論文作者簽名：日期： 年 月 日學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，即：學(xué)校有權(quán)保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授權(quán)華中科技大學(xué)可以將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。保密，在_年解密后適用本授權(quán)書。本論文屬于不保密。（請在以上方框內(nèi)打“”）學(xué)位論文作者簽名： 指導(dǎo)教師簽名：日期： 年 月 日 日期： 年 月PAGE PAGE 50摘 要隨著計算機科學(xué)技術(shù)的快速發(fā)展，計算機信息的處理和判斷能力進步迅速，但計算

4、機與人類信息交流卻進步較小，使得信息瓶頸問題日益嚴重。語音技術(shù)作為人機接口的重要技術(shù)之一，經(jīng)歷了半個多世紀的發(fā)展，涌現(xiàn)了許多重大的技術(shù)突破。在語音識別、說話人識別和語音合成等諸多領(lǐng)域(ln y)，已經(jīng)產(chǎn)生了大量的進入實際應(yīng)用水平(shupng)的商業(yè)化產(chǎn)品(chnpn)，對社會帶來了巨大的變化。但是，現(xiàn)有語音系統(tǒng)在面對實際應(yīng)用環(huán)境時還存在著某些限制。因此，對于人類聽覺系統(tǒng)的性質(zhì)研究，具有非常重要的意義和價值。現(xiàn)有的對聽覺系統(tǒng)的大量抗噪性特性研究中，可以按照自下而上和自上而下的分析過程分為兩個大類。自下而上分析過程是信號處理系統(tǒng)的基本功能，對聲音信號的基本物理特征進行分析和歸類；自上而下分析過程

5、則是按照人的意識、注意力和經(jīng)驗等對聲音信號的處理進行指導(dǎo)。其中后者作為人類聽覺系統(tǒng)和人工系統(tǒng)最顯著的區(qū)別，是當(dāng)今聽覺研究的熱點領(lǐng)域。本研究從三個不同的方面，揭示了人類聽覺系統(tǒng)的兩個過程中的某些特性。第一個研究通過心理聲學(xué)實驗，發(fā)現(xiàn)了人類聽覺系統(tǒng)在進行說話人識別過程中，遵循著類似信息論的信息編碼方式，而且受到了語言環(huán)境的訓(xùn)練帶來的影響。第二個研究則通過同樣的方式，揭示出人類在進行說話人識別過程中，不同與現(xiàn)有的技術(shù)模型，利用了詞匯及更長時間尺度上的連續(xù)信息。在第三個研究則揭示了在對語音信號分析過程中，除了存在現(xiàn)有理論揭示的分析過程外，還可能存在基于頻譜包絡(luò)結(jié)構(gòu)這樣的高級特征作為輔助，更加增強了在某

6、些特殊環(huán)境下（如耳語環(huán)境）中的識別能力。關(guān)鍵詞：說話人識別 聽覺系統(tǒng) 抗噪性 信息論 頻譜包絡(luò)AbstractWith the rapid development of computer science, computer has great improvement in information processing and judgment, but computer information exchange with human has smaller progress, which makes the information bottleneck problem increasingly

7、 serious. Speech technology as one of the most important technologies in man-machine interface, experienced more than half a century of development, has made many major breakthroughs. In speech recognition, speaker recognition and speech synthesis fields, a lot of commercial products have entered th

8、e practical application stage, which brought great changes to the society. However, the existing technology in practical application environment still has some problems. So, the research of human auditory system properties is of extremely significance and value.The research on auditory systems robus

9、tness could be classified into two basic topics: bottom-up process and up-bottom process. Bottom-up process is the basic functional part of human auditory system, is used to analysis the physical character of sounds and classify them into different sound streams. But in up-bottom process, human audi

10、tory system reconstructs the sound scene based on consciousness, attention and experiences. The latter is the most remarkable difference between artificial system and human auditory system, is also the focus in auditory research field. In our research we studied these two processes property of human

11、 auditory system from three different aspects. From the first experiment and analysis, we can find that in speaker recognition process, human auditory system takes the method similar with the information theory method, is also influenced by native language environment. In the second study, we find t

12、hat in speaker recognition process, people use word-length or longer information, which is different with modern modals such as GMM. In third research, we found auditory system maybe takes not only the sound clues that existing theory explored, but also high level characteristic such as the kurtosis

13、 of spectral envelope, which could improve the system ability in some special conditions, e.g. whisper environment.Key words: speaker recognition auditory system robustness information theory spectral envelope.目 錄 TOC o 1-2 h z u HYPERLINK l _Toc280690152 摘 要 PAGEREF _Toc280690152 h I HYPERLINK l _T

14、oc280690153 Abstract PAGEREF _Toc280690153 h II1 緒 論 HYPERLINK l _Toc280690156 1.1 自下而上(z xi r shn)加工過程（ PAGEREF _Toc280690156 h 1） HYPERLINK l _Toc280690157 1.2 自上而下(z shn r xi)加工過程（ PAGEREF _Toc280690157 h 7） HYPERLINK l _Toc280690158 1.3 其他(qt)相關(guān)研究（ PAGEREF _Toc280690158 h 10） HYPERLINK l _Toc280

15、690159 1.4 本文研究內(nèi)容（ PAGEREF _Toc280690159 h 10） HYPERLINK l _Toc280690160 2 說話人辨識聽覺線索研究 HYPERLINK l _Toc280690161 2.1 引言（ PAGEREF _Toc280690161 h 11） HYPERLINK l _Toc280690162 2.2 實驗1：不同元音所含音質(zhì)特征信息測定（ PAGEREF _Toc280690162 h 12） HYPERLINK l _Toc280690163 2.3 小結(jié)（ PAGEREF _Toc280690163 h 15） HYPERLINK l

16、 _Toc280690164 3 文本無關(guān)說話人識別心理模型研究 HYPERLINK l _Toc280690165 3.1 引言（ PAGEREF _Toc280690165 h 17） HYPERLINK l _Toc280690166 3.2 實驗2：順/倒序語句判斷測試（ PAGEREF _Toc280690166 h 18） HYPERLINK l _Toc280690167 3.3 小結(jié)（ PAGEREF _Toc280690167 h 20） HYPERLINK l _Toc280690168 4 時頻結(jié)構(gòu)檢測聽覺模型 HYPERLINK l _Toc280690169 4.1

17、引言（ PAGEREF _Toc280690169 h 21） HYPERLINK l _Toc280690170 4.2 相關(guān)定義（ PAGEREF _Toc280690170 h 23） HYPERLINK l _Toc280690171 4.3 聽覺特征檢測器模型（ PAGEREF _Toc280690171 h 25） HYPERLINK l _Toc280690172 4.4 小結(jié)（ PAGEREF _Toc280690172 h 26） HYPERLINK l _Toc280690173 5 總 結(jié)（ PAGEREF _Toc280690173 h 27） HYPERLINK l

18、_Toc280690174 致 謝（ PAGEREF _Toc280690174 h 29） HYPERLINK l _Toc280690175 參考文獻（ PAGEREF _Toc280690175 h 30） HYPERLINK l _Toc280690176 附 錄 攻讀碩士學(xué)位期間發(fā)表論文（ PAGEREF _Toc280690176 h 39）1 緒 論人們對于人類聽覺系統(tǒng)的研究已經(jīng)有超過半個世紀的歷史(lsh)。早期的研究主要著眼于一些基本的聽覺性質(zhì)，如聽覺感知閾限、耳蝸濾波特性等。隨后的研究中引入了雙耳模型，做了大量關(guān)于雙耳時間差，雙耳強度差，雙耳效應(yīng)，空間定位等工作。后來學(xué)者們

19、認為相對于機器語音信號處理系統(tǒng)，人類聽覺系統(tǒng)的優(yōu)越性在很大程度上被認為是由于其有關(guān)于意識、注意力、經(jīng)驗等要素影響的結(jié)果，研究的熱點逐漸轉(zhuǎn)向了聽覺系統(tǒng)的高級功能領(lǐng)域。研究者們廣泛認識到后者對于聽覺過程的影響非常顯著：意識及注意力主導(dǎo)著對于聲音信號信息的選擇，經(jīng)驗知識主導(dǎo)著對于聲音信號模式的識別，而且它們共同指導(dǎo)著對于已識別信號的檢驗和修正，對于未來信號的預(yù)測過程。從某種意義上來說，當(dāng)前機器聽覺系統(tǒng)想要達到人類聽覺系統(tǒng)信號處理能力水平，最缺乏的就是注意力和經(jīng)驗知識機制的建立。這并非一件容易的事情，需要整個認知科學(xué)領(lǐng)域研究的深入來予以支持1。自下而上分析過程的研究主要集中于時頻、空間聽覺流形成、優(yōu)先

20、效應(yīng)、前向掩蔽等方面，而自上而下分析過程的研究由于其本身的復(fù)雜性，并不像自下而上過程的研究那么深入，主要涉及對于信息掩蔽，語音(yyn)理解和注意力等方面的心理及生理實驗研究，下面對這幾個方面進行簡要的介紹。1.1 自下而上(z xi r shn)加工過程自下而上的加工過程，是指聽覺系統(tǒng)依據(jù)某些聲學(xué)特征，將聲信號中的不同感覺元素分配到相應(yīng)的聽覺流中。在這個過程中聲音信息經(jīng)由外耳，中耳，內(nèi)耳到達中樞聽覺神經(jīng)系統(tǒng)，在傳輸?shù)倪^程中同時完成聲音的分解和重組。關(guān)于這個過程的特性研究，主要分成以下幾個方向：1.1.1 時頻相關(guān)(xinggun)聽覺流聲音信號中不同的感覺元素在加工時被分離重組到相應(yīng)的聽覺事

21、件和聲源(shn yun)中，這個過程中分離和重組的特征依據(jù)已經(jīng)發(fā)現(xiàn)的有不少，其中研究最多的就是依據(jù)聲音信號中時頻特征進行分離的過程。這類研究范式是給被試循環(huán)播放不同頻率的短音A和B，即聲音序列“ABAB”。被試可能聽到一個聲音(shngyn)序列“ABAB”,也可能聽到“A”和“B”兩個同時出現(xiàn)的聲音。A和B之間頻率差越大，序列播放速度越快，被試越容易聽到兩個單獨的聲音；反之容易聽到一個聲音序列。近年來對此現(xiàn)象背后的特點和機制研究更加深入。Elyse S. Sussman2利用ERPs檢測沒有意識參與的被試的失匹配負波，實驗證明了：（1）分離出來的聽覺流各自保持著相對獨立性；（2）聽覺流形成

22、過程發(fā)生在流內(nèi)整合之前；（3）聽覺事件的前后內(nèi)容影響聽覺系統(tǒng)對于該聽覺事件的整合。這個研究的結(jié)果反映出了聽覺流形成過程的一些性質(zhì)。Christophe Micheyl等人3研究了在聽覺皮層水平上，這種感覺現(xiàn)象后面的神經(jīng)機制。他們觀察到了在初級聽覺皮質(zhì)區(qū)（A1）中聽覺流形成的神經(jīng)“微機制”。還利用功能性核磁共振 (fMRI)和腦磁描記法（MEG）從人腦得到的結(jié)果表明了來自不同于A1區(qū)域的皮層區(qū)域?qū)τ诼犛X流形成也起到了作用。除此以外，Yonatan I. Fishman等人4通過動物生理實驗也找到了一些時頻特征分流的生理依據(jù)。不過以動物為被試的實驗得到的結(jié)果并不是總和人類被試結(jié)果一致。Akihir

23、o Izumi5的實驗結(jié)果表明猴子在處理聲音序列區(qū)分任務(wù)時采用頻率變化線索，而且猴子比人類更依賴于局部特征作為分離線索。Elyse Sussman等人6采用了電生理指標(biāo)來記錄結(jié)果的方法判斷在沒有意識參與情況下不同年齡的被試聽覺流分離能力。結(jié)果反映了當(dāng)頻率近似程度為分離線索時，聽覺流分離機制在小學(xué)生和成人之間基本一致。但是在類似實驗中，研究者7以不同年齡段的被試進行對照實驗，卻發(fā)現(xiàn)其頻率分流能力的差異，這反映了自下而上信息加工過程受到了長期經(jīng)驗的影響。雙耳系統(tǒng)(xtng)不能夠跟蹤信號快速變化的耳間相關(guān)性，這種雙耳遲緩效應(yīng)被稱為“雙耳短時窗”一種平均移動濾波器，將一段時間上的雙耳信息整合到一個(

24、y )聲音事件中。Susan E. Boehnke等人8研究(ynji)了這個短時窗的等效矩形窗長度，給出的結(jié)果是平均86ms。Hilmi R. Dajani等人9對于雙耳效應(yīng)的實驗研究給出了47和4.4ms的兩個時間常數(shù)。前者可能反映了皮層的綜合，和雙耳感知的“呆滯現(xiàn)象”吻合。后者可能反映了腦干或者主要聽覺皮層中相關(guān)性交互過程。除了對正常聽力者的研究以外，在對非正常聽力者的對照研究也可以為我們提供一些關(guān)于聲音信號加工過程的信息，同時在醫(yī)學(xué)領(lǐng)域的應(yīng)用，因而顯得也頗有價值。Marina M. Rose等人10通過正常聽覺者和聽力缺失者的心理聲學(xué)實驗，發(fā)現(xiàn)依據(jù)頻率分流時頻率差FB和人的頻率分辨能力

25、的生理極限FDL在這兩種被試中關(guān)系不一致，表明了頻率分流時的頻率差閾限不是由FDL單獨決定的。Chandra S. Throckmorton等人11對于人工耳蝸的研究從一個側(cè)面也對此結(jié)論予以了支持。Monita Chatterjee等人12通過對于耳蝸移植者的心理實驗，表明有些人工耳蝸移植者還是可能基于耳蝸不同電極和時域包絡(luò)聽得到分離的感覺。Huw R. Cooper等人13發(fā)現(xiàn)被試報告聽覺感受出現(xiàn)分離的時間比例是隨著耳蝸電極分離距離增大而增加的，但是聲音序列播放速度對此卻沒有什么明顯影響。這個結(jié)果預(yù)示著耳蝸移植者是以通道為聲音分離依據(jù)而不是以時頻為依據(jù)的聽覺流分離。Thomas H. Sta

26、insby等人14通過對聽力損傷者的研究，用來了解在序列流分離情況下短時線索的影響。發(fā)現(xiàn)成份相關(guān)系和通頻帶的不同都對于最小可探測延遲有明顯的影響。這意味著短時結(jié)構(gòu)對于流分流有很大影響。Etienne Gaudrain等人15用模擬聽力缺失患者聽覺效果的頻率缺失的聲音來測試正常聽力的被試。在實驗中發(fā)現(xiàn)元音的譜平滑處理（spectral smearing）能夠在某些方面改善聽力效果，這可能對于聽力缺失患者的困難有所裨益。1.1.2 空間(kngjin)相關(guān)聽覺流聽覺系統(tǒng)將聲信號中的不同感覺(gnju)元素分配到相應(yīng)的聽覺流的過程中，聲場中聲源的空間分布也是一個很重要的線索，對應(yīng)到聽覺系統(tǒng)中的特征，

27、目前已知的重要特征主要是雙耳時間差I(lǐng)TD，雙耳聲強差I(lǐng)LD，雙耳相位差I(lǐng)PD等。依據(jù)這些特征，我們?nèi)祟愒诼犛X過程中可以感受到各個聲源不同的方位和距離，為注意力指導(dǎo)下的選擇性聽覺過程作基礎(chǔ)。對于靜態(tài)的空間定位(dngwi)研究出現(xiàn)較早，研究空間感受分辨率與頻率，方位等因素的關(guān)系，討論其背后的機制。Mao dongxing等人16研究了人在雙耳聽覺中整體響度感受的依賴因素，包括ILD和聲音頻率，發(fā)現(xiàn)了感受響度級對于ILD和頻率的非線性依賴關(guān)系。Gregg H. Recanzone等人17采用短尾猿（和人的聽覺能力相當(dāng)類似）做心理聽覺實驗，發(fā)現(xiàn)聲源定位精度隨著聲音強度變化而變化，也隨著聲源方位變化而

28、變化。隨后Andrew T. Sabin等人18研究了在不同聲音信號強度下人類聽覺的空間區(qū)分閾限，得出同樣的結(jié)論。Ruth Y. Litovsky等人19在對特殊腦部受損的病例的研究中發(fā)現(xiàn)單側(cè)的下丘損傷很大程度上損壞了病人的聲源空間定位能力（錯認為發(fā)生在下丘損傷一側(cè)的聲音源是在下丘正常一側(cè)）。Mark I. Sanderson等人20在對蝙蝠定位聲納系統(tǒng)的研究中發(fā)現(xiàn)：只有適當(dāng)?shù)靥岣哳l率，在蝙蝠內(nèi)耳的濾波響應(yīng)才可以在并行過程中得到完全的相位信息，并且可以解釋蝙蝠聲納的精確性(其精確性比實驗室水平高一個數(shù)量級)。在生理(shngl)微觀機制的研究中，發(fā)現(xiàn)了神經(jīng)對于ITD的編碼依賴于一個特殊的機制（

29、對雙耳輸入信號進行(jnxng)比較），曾經(jīng)提出了一個著名的雙耳精確時差的假設(shè)(jish)模型jeffress模型。jeffress模型采用了同時性神經(jīng)元檢測陣列比較來自兩側(cè)的輸入信號使得不同的ITD對應(yīng)著陣列上不同的神經(jīng)元。雖然jeffress這類模型成功地預(yù)言了人類對于ITD的敏感性，但是也有一些神經(jīng)響應(yīng)性質(zhì)用這種模型不能完全解釋。Douglas C. Fitzpatrick等人21就記錄下了在某些情況中超出了jeffress模型框架的神經(jīng)元的響應(yīng)信號。相對較晚時候開始出現(xiàn)了動態(tài)的空間定位研究。這類研究范式主要利用先出現(xiàn)的適配音來影響聽覺系統(tǒng)對于后出現(xiàn)的目標(biāo)音的空間感受。Stephan G

30、etzmann22以這種范式進行的實驗結(jié)果表明聲源空間分辨力的增強只有在適配音有合適的空間位置和頻率時才會出現(xiàn)。當(dāng)適配音和目標(biāo)音的頻譜不一樣的時候，這種影響效果則很不明顯。 Phillips等人23的研究描述了針對ILD和ITD的感知通道的頻率特定的選擇適應(yīng)性。兩種不同頻率的適配音輪流地、強偏向性地呈現(xiàn)在相反兩邊。在適配音出現(xiàn)前后，進行基于ITD和ILD的偏向性心理測量。在適配音之后，感知中心點朝著適配音的方向移動，而且兩種頻率有著相反的移動方向。這個結(jié)果支持聲音側(cè)向性編碼的雙通道逆過程模型。Bronwyn K. Vigneault-MacLean和Dennis P. Phillips等人24

31、-25的實驗結(jié)果也支持這個結(jié)論。Dennis P. Phillips等人26后來又采用了相同的范式來研究ITD和ILD的感知過程的關(guān)系。發(fā)現(xiàn)基于ITD呈現(xiàn)的適配音對基于ITD的目標(biāo)音感知中心點的偏移，反之亦然。這又提供了神經(jīng)系統(tǒng)處理ITD和ILD時之間的相互關(guān)系的一些證據(jù)。同時還有實驗表明ITD，ILD還和頻率有聯(lián)系：Alan R. Palmer等人27測量了麻醉的幾內(nèi)亞豬下丘72個細胞的ITD敏感性對于頻率和ILD的函數(shù)關(guān)系。發(fā)現(xiàn)對于許多單元存在“null”頻率，即頻率上ILD的變化對于ITD敏感性峰值位置沒有影響。除此之外，還有一些與聽覺有關(guān)的其他(qt)的感知覺研究也引入了聽覺研究范圍。

32、Frhlich 效應(yīng)指人類視覺對于中快速移動的信號(xnho)的初始位置的判斷會出現(xiàn)偏移。Stephan Getzmann28將Frhlich效應(yīng)引入聽覺的研究中，發(fā)現(xiàn)聽覺系統(tǒng)處理聲音信號時也存在該效應(yīng)，而且隨著(su zhe)注意力參與到聽覺空間定位過程，該效應(yīng)還會被放大。1.1.3 優(yōu)先效應(yīng)剛才提到的研究中虛擬聲源的主觀空間感受都是利用ITD或ILD來模擬的，這利用了優(yōu)先效應(yīng)的結(jié)論。左右耳聽到的有短暫時間差的類似信號，或者同時到達的不同強度的類似信號，會在人腦中形成聲音來自某個方向聲源的主管感受，這就是優(yōu)先效應(yīng)。優(yōu)先效應(yīng)在聽覺研究中應(yīng)用很多，所以也有不少對于優(yōu)先效應(yīng)本身的研究。Kouros

33、h Saberi和Joseph V. Antonio29-30研究了優(yōu)先效應(yīng)實驗中不同參數(shù)的影響，發(fā)現(xiàn)了在不同的實驗條件下受試對實驗的熟悉程度對于實驗結(jié)果的明顯影響，被試們的測試閾限值，閾限分布等對訓(xùn)練有著高度依賴性。Richard A. Roberts等人31檢測了短時音的回音檢測閾限，即多長的延遲時間下聽覺系統(tǒng)把兩個聲音當(dāng)作一個聽覺事件，而不是前后兩個不同的聽覺事件。發(fā)現(xiàn)相對于沒有回音的環(huán)境,在回音環(huán)境中兩個先后出現(xiàn)的同樣聲音更容易整合到一個聽覺事件中. Liang Li等人32不像以往采用瞬時聲音材料來研究優(yōu)先效應(yīng)，而是采用持續(xù)時間較長的聲音材料，且材料中包含短時靜音端點。結(jié)果發(fā)現(xiàn)人的聽

34、覺系統(tǒng)對于聲音事件的整合與端點的整合規(guī)則并不一樣。這為聽覺場景分析研究中感覺元素的整合機制提供了一些有價值的參考。Andrew J. Oxenham33在基頻不同和聲源空間位置兩種情況下研究聽覺系統(tǒng)中哪部分對端點檢測貢獻最大，結(jié)果發(fā)現(xiàn)聽覺外周主導(dǎo)著聽覺系統(tǒng)的端點檢測能力,深層次的神經(jīng)編碼機制沒有什么影響。現(xiàn)今語音識別算法中語音端點的檢測是一個非常重要的環(huán)節(jié)，所以這個結(jié)論在端點檢測算法的研究上有很大的指導(dǎo)意義。1.1.4 前向掩蔽效應(yīng)(xioyng)聽覺系統(tǒng)對于瞬時信號的檢測(jin c)和整合等加工過程和神經(jīng)元的刺激不應(yīng)期有很密切的關(guān)系。神經(jīng)元對刺激產(chǎn)生響應(yīng)后，短時間內(nèi)對于接下來的刺激不會產(chǎn)生

35、響應(yīng)，這在宏觀上的表現(xiàn)就是前向掩蔽效應(yīng)。對于正常聽力者,在相同的功率(gngl)譜情況下,諧波復(fù)音在基底膜上產(chǎn)生的尖銳波形導(dǎo)致的前向掩蔽效果要低于一般復(fù)音在基底膜上產(chǎn)生平滑些的波形導(dǎo)致的前向掩蔽效果.通常認為差異主要歸結(jié)為聽覺外周部分的壓縮和抑制聯(lián)合效應(yīng)，這兩個過程都依賴于耳蝸中活動機制的操作。Brian C.J. Moore34通過對耳蝸聽力受損的被試的實驗，間接地支持了這種看法。前向掩蔽常常被認為是由于神經(jīng)自身的非線性效應(yīng)引起的。Andrew J. Oxenham的研究35卻表明,只要引入了一些非線性參量,前向掩蔽是可以用線性過程來描述的。1.1.5 神經(jīng)編碼不對稱性D.P. Philli

36、ps等人36發(fā)現(xiàn)人的聽覺系統(tǒng)在處理聲音信號時，信號各個部分對于聽覺系統(tǒng)而言重要程度是不一樣的。起始端的編碼占有非常重要的位置，而結(jié)束端重要程度就相對低的多。Christian Borgmann等人37采用腦磁圖MEG和腦電圖EEG來測量對于不同信號人的聽覺中樞延遲響應(yīng)MLR。發(fā)現(xiàn)在同樣強度下起始端變化強烈的刺激信號產(chǎn)生的聽覺中樞響應(yīng)不僅幅度大而且反應(yīng)時間短。Janine C. Clarey等人38檢測了自然音節(jié)的聲音起始時間段(VOT)編碼，語音呈現(xiàn)過程采用了不同的強度，實驗對象為麻醉的老鼠的耳蝸腹核(ventral cochlear nucleus, VCN)神經(jīng)元。細胞外紀錄了VCN響應(yīng)形

37、式。結(jié)果表明BF高于第一共振峰頻率的VCN細胞的響應(yīng)對于語音起始端敏感，使得它們能夠精確傳達音節(jié)VOT的信息。有相似的起始端的信號，不同的頻率、相位排列方式也會讓聽覺系統(tǒng)響應(yīng)有明顯差異。Dau等人39證明了頻率瞬間提高的聲脈沖（up-chirp）可以通過同步基底膜上所有頻率通道的激勵，增強聽覺腦干響應(yīng)ABR的V波。下降聲脈沖(down-chirp)，是上升聲脈沖在時域上的反轉(zhuǎn)，可以增加耳蝸相位延遲，從而導(dǎo)致較小的ABR V波。Stefan Uppenkamp等人40采用了up-chirp和down-chirp來研究這種相位改變?nèi)绾斡绊懳覀兯牭降膬?nèi)容。結(jié)果感知的內(nèi)容不同于在腦干水平上的研究結(jié)果

38、，是down-chirp聽起來更加的緊湊。1.1.6 聽覺(tngju)外周對于聲音在外耳，中耳和內(nèi)耳中的處理過程的研究，通常稱為聽覺外周模型研究。聽覺外周由于(yuy)其獨特的非線性變換結(jié)構(gòu)，對聲音信號的處理時帶有天然的頻率選擇性和抗噪性，在聽覺信息加工過程中占有比較重要的地位。從總體上來說它是一個將聲音信號由時域轉(zhuǎn)化為頻域的過程，但是其中還有許多細節(jié)尚未研究清楚，比如隨機共振機制在聽覺神經(jīng)系統(tǒng)中的作用正被廣泛的研究著。如Shahdad E. Behnam等人41的實驗表明噪聲明顯增強了閾上諧波信號的分辨(fnbin)能力，尤其是在低強度信號伴隨著閾上噪聲的時候，這反映出合適的噪聲強度可以優(yōu)

39、化聽覺表現(xiàn)。對于聽覺系統(tǒng)的研究，李朝暉等人42對此方面相關(guān)總結(jié)。1.2 自上而下加工過程自上而下的加工過程，主要是聽覺中涉及的注意力，經(jīng)驗知識等內(nèi)容的部分。人類聽覺系統(tǒng)在對聲音元素進行聲源重組時，這些信息起到了非常重要的作用。在這些高級功能的支持下，人類才可以在復(fù)雜的聲場環(huán)境中分辨目標(biāo)信號，很大程度上提高對噪聲的魯棒性。但是由于這部分的研究涉及到對智能認知的深入理解，所以研究是以心理實驗為主要研究手段，生理的實驗研究大多較為局部。1.2.1 信息掩蔽當(dāng)噪音和目標(biāo)聲音信號的信息模式有一定程度的相似時，例如兩者都是語音信號時，噪音就會在心理加工過程中搶占一部分的心理資源，使人對于目標(biāo)信號的信息加工

40、受到影響，即目標(biāo)信號受到了掩蔽作用。和前向掩蔽和頻率掩蔽等低層次上的掩蔽效應(yīng)不同，信息掩蔽是一種在較高的神經(jīng)和心理加工水平上所產(chǎn)生的掩蔽效應(yīng)，即使同一時刻目標(biāo)聲音和噪聲在頻率上并沒有重合。心理學(xué)實驗證明了在同樣的信噪比條件下，以語音為內(nèi)容的噪聲相對于普通噪聲對于人的語音感知能力有著更大的干擾43-44，而且當(dāng)噪聲中的語言和被試的母語為同一種語言時這種干擾效果尤其明顯45。這些結(jié)果確認了在“語言干涉”形式下噪聲中句子識別中的信息屏蔽效應(yīng)。H. Kozou等人46在不同聲場環(huán)境下測試被試的MMN，結(jié)果顯示了在嘈雜環(huán)境和安靜環(huán)境中語音和非語音的處理方式是不同的。相比于非語音處理過程，語音處理過程更多

41、地受到噪音環(huán)境的影響。此外，對于語音和非語音聲音的預(yù)注意辨別力在不同類別的噪音下受到的的影響也是不同的。Xihong Wu等人47語音噪音干擾效應(yīng)相對于頻譜噪聲更容易通過優(yōu)先效應(yīng)來消除，這也從一個側(cè)面反映出其處理過程的神經(jīng)機制某些特征。另外，Marisciel Litong-Palima等人48揭示出語音跟蹤不同于語音識別，人類在多語音干擾的情況下跟蹤目標(biāo)語音的能力魯棒性很好，其反應(yīng)表現(xiàn)出來的是一個線性系統(tǒng)的特征。而語音識別在環(huán)境中不相關(guān)的語音源增多的情況下，其識別能力迅速惡化。1.2.2 語音(yyn)理解在各種不同的實驗條件(tiojin)下對語音的可理解度的研究，可以有助于我們了解聽覺系

42、統(tǒng)在信號中提取什么樣的語音特征，如何提取這些語音特征以及知識體系在大腦記憶系統(tǒng)中的存儲形式。同時，這種研究在應(yīng)用層面，對于語音識別系統(tǒng)采用新的特征提取技術(shù)有一定的指導(dǎo)意義。M. Kathleen Pichora-Fuller等人49采用短時抖動來干擾(gnro)語音的周期性線索來研究這種擾動如何影響詞的辨認，得出時域扭曲比低頻成分的譜扭曲更能影響詞識別的結(jié)論。Thomas Baer等人50設(shè)計了對于語音進行的smearing操作，發(fā)現(xiàn)對于安靜環(huán)境中的語音信號進行smearing處理后，可理解性沒什么影響；對于噪音環(huán)境中的語音信號進行smearing處理后，可理解性明顯降低。F. Apoux等人

43、51對正常聽力者和聽力受損者進行了語音信號時域包絡(luò)擴充效應(yīng)對于噪音環(huán)境中語音識別效果影響的研究。時域擴展在正常聽力者識別得分上改進很?。s為5%），在聽力受損者識別得分上沒有影響。在另一方面，結(jié)果顯示擴展導(dǎo)致在所有被試反應(yīng)時間都明顯下降。兩個實驗組平均反應(yīng)時間減少65ms。這些結(jié)果顯示噪聲環(huán)境中語音信號時域包絡(luò)擴充可以讓正常聽力和聽力受損者“容易聽到”信號。Rob DrullmanZ等人52描述了相對于傳統(tǒng)的單雙耳的聽覺呈現(xiàn)方式，3D聽覺呈現(xiàn)方式在考慮可理解性和有競爭語音的環(huán)境中說話人識別任務(wù)中的優(yōu)點。在進行識別人任務(wù)時，能夠很有效的減少反應(yīng)時間。語音(yyn)理解(lji)研究中一個(y )

44、重要發(fā)現(xiàn)是相同的聲音信號可以被感知為不同的語音,這倚賴于前后的語音內(nèi)容。雖然這種語音內(nèi)容效應(yīng)在語音感知中非常普遍,它的神經(jīng)機制仍然很大程度上沒有被了解。Lori L. Holt等人53通過回顧這方面的研究情況，說明了這個效應(yīng)受到高級聽覺過程的支配，提出了一種描述性框架來整理這些工作。同時進行了4個心理實驗揭示出語音內(nèi)容效應(yīng)持續(xù)數(shù)百毫秒。Matthew H. Davis等人54回顧四個對于語音理解很重要的過程:感知整合(perceptual grouping)、詞匯分割(lexical segmentation)、感知學(xué)習(xí)(perceptual learning)和絕對感知(categorica

45、l perception)。提出并證明了自上而下信息驅(qū)動過程和語音輸入解釋抑制過程之間的高度相互作用。這些相互作用的認知和神經(jīng)基礎(chǔ)依賴于對聽到的語音兩種獨立的表述方式：對于輸入語音信號的表述和能夠產(chǎn)生該語音的肌肉行為表述。1.2.3 注意力在整個認知科學(xué)研究領(lǐng)域里，注意力對于知覺的影響都受到了研究人員廣泛的承認和重視。在人的聽覺系統(tǒng)處理大量復(fù)雜聲音信號時，注意力機制能夠讓人有選擇的處理某一部分信號而忽略其他信號，同時也就對大量復(fù)雜噪聲干擾具有強大的抗噪能力。在聽覺研究領(lǐng)域，注意力的研究可以說是難點和核心之一。Claude Alain55綜述(zngsh)了多聲源感知的研究進展，指出初級聽覺皮層

46、和顳平面在多聲源感知(gnzh)過程中發(fā)揮重要作用,而且揭示了丘腦皮層活動和多路語音成功分離與確認之間的聯(lián)系。A.R. Palmer等人56回顧(hug)了近年關(guān)于非被動聽覺（即包括注意力等因素的聽覺過程）的研究進展。Tomas hromadka等人57則站在神經(jīng)生理和動物行為實驗角度上,對于近年來有關(guān)注意力的生物實驗研究作了回顧。E. Ofek等人58采用提示注意范式研究了左耳優(yōu)勢現(xiàn)象的神經(jīng)生理學(xué)關(guān)聯(lián)，并且了評估刺激的方向和注意力的相互作用。Jonathan B. Fritz等人59-60在動物進行實驗任務(wù)的同時記錄它們大腦皮層信號，實驗結(jié)果表明A1區(qū)中注意力引發(fā)的可塑變化可以很快的改變ST

47、RF形狀（通過改變接受區(qū)域來增強特征/背景分離能力，通過對比匹配來濾掉背景，同時增強前景中目標(biāo)聲音的聲學(xué)特征）。這些結(jié)果支持這樣的觀點：大腦可以動態(tài)的，和注意力相關(guān)地、自適應(yīng)地可以根據(jù)當(dāng)前面對的問題，快速改變其濾波性質(zhì)和中樞連接。1.3 其他相關(guān)研究除了對于聽覺系統(tǒng)本身的研究之外，還有不少相關(guān)工作涉及到聽覺場景分析的系統(tǒng)實現(xiàn)，對于計算機智能化聽覺作出有益的嘗試。戴明揚等人61采用精細的聽覺外周模型來提取信號特征，發(fā)現(xiàn)比常見的MFCC特征參數(shù)有更好的魯棒性。趙鶴鳴等人62采用聲源空間定位算法和簡化的頻率掩蔽算法實現(xiàn)了2個語音源的信號分離。Martin Cooke63模擬人的聽覺過程中對于不完整信

48、號的處理方法，采用數(shù)據(jù)丟失技術(shù)和基于不完整信息的模式識別技術(shù)來實現(xiàn)在不平穩(wěn)噪聲中語音信號的識別。不過由于對于生物聽覺系統(tǒng)缺乏深入了解，這些人工系統(tǒng)聽覺系統(tǒng)想要達到生物聽覺的水平，還有相當(dāng)長的路要走。1.4 本文(bnwn)研究內(nèi)容以上對于聽覺系統(tǒng)研究領(lǐng)域按照自下而上分析過程和自上而下分析過程兩個大類進行了一些簡單的介紹(jisho)。本研究的工作是對聽覺系統(tǒng)自上而下及自下而上分析過程中的一些特性進行了三個相關(guān)研究，包括聲學(xué)實驗及語音信號處理模擬計算。2 說話人辨識聽覺(tngju)線索研究2.1 引言(ynyn)在多個說話人語音以及復(fù)雜(fz)的聲環(huán)境中，辨識和跟蹤某一個說話人的語音并提取語音

49、信息，是語音識別技術(shù)走向應(yīng)用面臨的重要課題和難題。技術(shù)上是從接收的語音信號中提取某些特征，利用這些特征和一定的判據(jù)將語音信號進行分類。迄今，所取得的效果并不令人滿意。但是，聽覺系統(tǒng)卻有很好的說話人跟蹤和辨識能力，其工作模式和機理值得借鑒。在說話人辨識技術(shù)中，以MFCC為代表的主流語音特征在時域上對語音作均勻權(quán)重處理64。但是聽覺系統(tǒng)(xtng)是否按這種方式工作呢？由于說話人音質(zhì)特征信息對于噪聲環(huán)境中搜索目標(biāo)語音起到了最為關(guān)鍵性的作用，這就轉(zhuǎn)化成需要明確的具體問題：音質(zhì)特征信息量在語音時域上如何分布? 語言學(xué)研究65表明在詞匯處理上輔音音素起到支配性作用。類似地，如果語句字詞識別過程中輔音元音

50、具有不同的重要性，提供不等的信息量，那么說話人語音特征信息量在元音/濁輔音中所含是否也不等呢？不同的元音對說話人識別過程的重要性是否一樣的呢?如果不一樣,那與什么因素有關(guān)? 直接對不同音素中語音音質(zhì)特征信息量進行測量具有一定的難度，但是近年來心理聲學(xué)研究中發(fā)現(xiàn)的“提示效應(yīng)” 66-67實驗?zāi)Ｊ胶芎玫亟鉀Q了這個問題。提示效應(yīng)是指通過預(yù)先播放與目標(biāo)聲音相關(guān)的提示音，能夠有效提高人類在噪聲中識別目標(biāo)語音的能力的現(xiàn)象。我們研究了被試在進行說話人辨識任務(wù)時所依賴的提示信息，發(fā)現(xiàn)提示音中不同音素有著不同的提示效果，這反映出音素所包含的說話人語音特征信息是不等量的。同時，通過與自然語言環(huán)境中發(fā)音的統(tǒng)計結(jié)果相

51、比較，不同音素所包含的說話人的特征信息，與信息論中的信息熵的估計是一致的。這些研究結(jié)果，為說話人聽覺辨識機制的揭示，以及說話人辨識的語音特征時域非均勻權(quán)重處理提供了全新的思路和實驗證據(jù)。2.2 實驗1：不同元音所含音質(zhì)特征(tzhng)信息測定2.2.1 實驗(shyn)參與者26名華中科技大學(xué)本科生及研究生（20名女性和6位男性(nnxng)，年齡從20歲至25歲）參與實驗擔(dān)任被試人員。所有被試都通過面試確認擁有正常聽力。2.2.2 實驗材料實驗語音材料是由6為男性說話人（華中科技大學(xué)研究生，年齡從23至25歲，普通話標(biāo)準(zhǔn)）錄制，他們所有人都不認識參與實驗的被試者。所有聲音材料都是在隔音室中

52、錄制完成。錄音材料最高頻率為8kHz，保存格式為PCM（22.050kHz，16位，單聲道）。實驗語音材料有三種不同內(nèi)容：自然語句，非自然語句和元音串。自然語句是從常見流行書中隨機抽取。對自然語句的統(tǒng)計分析可知，在總計2274個字中，各個元音的發(fā)音概率分別是：/i/ 46.9%, /a/ 29.1%, /e/ 25.9%, /u/ 24.8%, /o/ 20.6% and /v/ 3.39%。根據(jù)這個概率分布，針對性地設(shè)計了非自然語句。在保持原語句通順有意義的前提下，通過將自然語句中某些詞替換，得到非自然語句中各元音發(fā)音概率明顯不同于原有語句：/u/ 32.1%, /e/ 30.7%, /o/

53、 25.5%, /i/ 23.7%, /a/ 22.7% and /v/ 5.97%。語句中元音發(fā)音概率分布見圖1。圖1 在自然語句和非自然語句中各個元音的發(fā)音概率分布。自然語句經(jīng)過修改后得到的非自然語句中，自然語句中出現(xiàn)概率高的元音變成了低概率元音，低概率元音變成了高概率元音（除了元音/v/，其在中文中的可搭配音素過少）。自然語句經(jīng)過修改后得到的非自然語句中，自然語句中出現(xiàn)概率高的元音變成了低概率元音，低概率元音變成了高概率元音。但是元音/v/例外，它在中文發(fā)音中十分特殊。因為缺乏與其能夠結(jié)合(jih)成為C-V音節(jié)的輔音，元音/v/在中文語言環(huán)境中出現(xiàn)較少，所以無法將其在非自然語句中的出現(xiàn)

54、概率設(shè)計成最高。所以實驗中采用的兩種不同的元音序列分別是：自然語句中的高概率元音（/i/，/a/和/e/）和低概率元音（/e/，/u/和/o/）。換句話說，前者在非自然語句中是低概率發(fā)音，后者在非自然語句中是高概率發(fā)音。在每個發(fā)音序列中，相鄰元音的間隔為400ms左右。兩個發(fā)音串中元音在語句中出現(xiàn)的平均概率如表1所示。表1 兩個元音串中元音在語句中出現(xiàn)(chxin)的平均概率（%）元音串/i a e/e u o/語句類型自然34.023.8非自然25.729.4每個錄音者所錄的是1個完整(wnzhng)的中文單元音序列(/a/, /o/, /e/, /i/, /u/ and /v/)，10個自

55、然語句和10個非自然語句。兩種類型的元音發(fā)音串是基于這個錄音制作出來的，所有發(fā)音的平均聲強級都被歸一化了。錄音和制作的工作都是用Cool Edit Pro 2.1完成的。2.2.3 實驗方法實驗采用22完全隨機化設(shè)計，啟動效應(yīng)范式。因素A的兩個水平表示兩種不同的待判斷語句（Xa1:自然語句；Xa2:非自然語句），因素B的兩個水平表示提示元音串在自然語言環(huán)境中的出現(xiàn)概率（Xb1:提示元音在自然語句中出現(xiàn)較多，如/iae/；Xb2:提示元音在自然語句總出現(xiàn)較少，如/euo/）首先呈現(xiàn)元音串進行提示，兩種提示元音串隨機出現(xiàn)。元音串后間隔500ms，同時播放語句A和B。語句A和B長度均為4秒，具有相同

56、的平均功率。A和B內(nèi)容不同，且其說話人是從說話人集合中隨機挑選。A和B中有可能出現(xiàn)元音串的發(fā)音人，也可能沒有。兩個語句的類型相同，均為自然語句或非自然語句。兩類型隨機出現(xiàn)。被試被要求判斷提示元音串發(fā)音人是否出現(xiàn)在語句發(fā)音人中。每個被試進行5組，每組10次，共50次測試。每完成一組測試，被試可以休息3分鐘。整個測試在隔音室中進行，通過基于MATLAB R2007A 編寫的人機交互界面程序?qū)崿F(xiàn)聲音信號呈現(xiàn)，被試結(jié)果記錄等所有工作。實驗過程中實驗者不對被試施加任何提示或干擾。2.2.4 實驗(shyn)結(jié)果總共26個被試者參與了實驗，每人進行了50次測試，總共應(yīng)有1300次測試判斷(pndun)結(jié)果

57、。由于疏忽等原因，只記錄了1293個結(jié)果。在對照組Xa1b1348個判斷(pndun)結(jié)果中，219個是正確的，129個是錯誤的，判斷準(zhǔn)確率為62.9%；在對照組Xa1b2356個判斷結(jié)果中，238個是正確的，112個是錯誤的，判斷準(zhǔn)確率為66.9%；在對照組Xa2b1297個判斷結(jié)果中，176個是正確的，121個是錯誤的，判斷準(zhǔn)確率為59.3%；在對照組Xa2b2292個判斷結(jié)果中，179個是正確的，113個是錯誤的，判斷準(zhǔn)確率為62.9%。在實驗中，由于錄音人總數(shù)是6個，而只需要選擇一個，所以被試者如果選擇“是”則導(dǎo)致16.7%的先驗準(zhǔn)確率，而選擇“否”則導(dǎo)致了83.3%的先驗準(zhǔn)確率。因為

58、每個被試的選擇傾向性不同，所以4個對照組中先驗準(zhǔn)確率分別為Xa1b1: 53.6%, Xa1b2: 54.1%, Xa2b1: 54.0%, Xa2b2: 50.8%。在各個對照組中被試的準(zhǔn)確率提高百分比如表2所示。表2 實驗中4個對照條件下被試者的說話人判斷準(zhǔn)確率提高百分比(%)。提示音概率 (Xb)高概率 (Xb1)低概率(Xb2)語句類型 (Xa)自然(Xa1)9.312.811.1非自然(Xa2)5.310.57.97.311.7在Xa1水平上，共記錄(jl)了704個判斷結(jié)果，其中457個正確，247個錯誤。判斷準(zhǔn)確率為64.9%，由提示音帶來的判斷準(zhǔn)確率的提高百分比為11.1%。在

59、Xa2水平上，共記錄了589個判斷(pndun)結(jié)果，其中355個正確，234個錯誤。判斷準(zhǔn)確率為60.3%，由提示音帶來的判斷準(zhǔn)確率的提高百分比為7.9%。當(dāng)測試語句是自然語句時，判斷準(zhǔn)確率的提高百分比比當(dāng)測試語句是非自然語句時更高。這兩個結(jié)果差異顯著(|Z|=1.9414, p0.05)，說明測試(csh)語句是自然還是非自然對于說話人判斷過程中的準(zhǔn)確率有明顯影響。在Xb1水平上，共記錄了645個判斷結(jié)果，其中395個正確，250個錯誤。判斷準(zhǔn)確率為61.2%，由提示音帶來的判斷準(zhǔn)確率的提高百分比為7.3%。在Xb2水平上，共記錄了642個判斷結(jié)果，其中417個正確，225個錯誤。判斷準(zhǔn)確

60、率為65.0%，由提示音帶來的判斷準(zhǔn)確率的提高百分比為11.7%。當(dāng)提示元音串中元音是自然語言環(huán)境中出現(xiàn)概率低的元音時，判斷準(zhǔn)確率的提高百分比比當(dāng)提示元音串中元音是自然語言環(huán)境中出現(xiàn)概率高的元音時更高。這兩個結(jié)果差異顯著(|Z|=2.6923, p0.05)，說明提示元音在自然語言環(huán)境中發(fā)音概率高低對于說話人判斷過程中的準(zhǔn)確率有明顯影響。2.3 小結(jié)通過該實驗，我們發(fā)現(xiàn)人類在進行說話人識別處理時，不僅說話人語言的自然程度對其結(jié)果有影響，而且即使是自然語句中，在語言環(huán)境中出現(xiàn)概率高的發(fā)音和出現(xiàn)概率低的發(fā)音對結(jié)果也有明顯影響。在這里我們著重討論后一種現(xiàn)象。在聽覺心理現(xiàn)象研究中，D.P. Phill