31520078104270_黃俊_語音識別技術(shù)

1、廈門大學(xué)智能系07級課學(xué)號：31520078104270指導(dǎo)老師：洪青陽-語音識別技術(shù)E-mail： HYPERLINK mailto: 2010/7/5一、基本概述人類利用語言相互交流信息，包括語音和文字兩種表達(dá)方式。通過語音相互傳遞信息，這是人類最重要的基本功能之一。隨著信息社會的發(fā)展，人與人之間，自不必說，即使在人與機(jī)器之間也每時(shí)每刻都需要進(jìn)行大量的信息交換。語音識別技術(shù)，也被稱為自動(dòng)語音識別AutomaticSpeechRecognition(ASR),語音識別是研究如何采用數(shù)字信號處理技術(shù)自動(dòng)提取以及決定語音信號中最基本、最有意義的信息的一門新興的邊緣學(xué)科。它是語音信號處理學(xué)科的一個(gè)

2、分支。語音識別技術(shù)所涉及的領(lǐng)域包括：信號處理、模式識別、概率論和信息論、發(fā)聲機(jī)理和聽覺機(jī)理、人工智能等等，是一門十分實(shí)用的交叉前沿學(xué)科。從廣義上講，語音識別也包括了對說話人的識別，其主要內(nèi)容是提取語音信號中有關(guān)個(gè)人特征的信息、即語音的個(gè)性特征(如：音律特性等)。在這里專指有意義、有內(nèi)容的語音識別。計(jì)算機(jī)語音識別是智能計(jì)算機(jī)系統(tǒng)的重要特征。這一技術(shù)的應(yīng)用將從根本上改變計(jì)算機(jī)的人機(jī)界面，從而對計(jì)算機(jī)的發(fā)展以及推廣應(yīng)用產(chǎn)生深遠(yuǎn)的影響.二、發(fā)展歷程語音識別的研究工作大約開始于20世紀(jì)50年代，當(dāng)時(shí)AT&TBell實(shí)驗(yàn)室基于共振峰提取技術(shù)實(shí)現(xiàn)了第一個(gè)可識別十個(gè)英文數(shù)字的語音識別系統(tǒng)udry系統(tǒng)。60年代

3、，計(jì)算機(jī)的應(yīng)用推動(dòng)了語音識別的發(fā)展。這時(shí)期的重要成果是提出了動(dòng)態(tài)時(shí)間規(guī)劃DP）和線性預(yù)測分析技術(shù)（LPC）,其中后者較好地解決了語音信號產(chǎn)生模型的問題，對語音識別的發(fā)展產(chǎn)生了深遠(yuǎn)影響。70年代，語音識別領(lǐng)域取得了較大進(jìn)展。在理論上，LP技術(shù)得到進(jìn)一步發(fā)展，動(dòng)態(tài)時(shí)間歸正技術(shù)DTW）基本成熟，特別是提出了矢量量化（VQ）和隱馬爾可夫模型（HMM）理論。在實(shí)踐上，實(shí)現(xiàn)了基于線性預(yù)測倒譜和DTW技術(shù)的特定人孤立語音識別系統(tǒng)。80年代，MFCC的參數(shù)提取技術(shù)和HMM模型的深入使用使得語音識別技術(shù)得到進(jìn)一步的發(fā)展，語音識別的問題逐步在理論體系上得到了比較完整和準(zhǔn)確的描述，同時(shí)在實(shí)踐上又逐步研發(fā)出效率較高的

4、解決算法。90年代以來，在美國國防部的Darpa測試、Ears計(jì)劃、近期的Gales計(jì)劃，以及我國863計(jì)劃等推動(dòng)下，一大批高水平的研究機(jī)構(gòu)和企業(yè)加入到語音識別的研究領(lǐng)域，極大地推動(dòng)了語音識別技術(shù)的發(fā)展和應(yīng)用。語音識別系統(tǒng)已經(jīng)從過去的小詞匯量、孤立詞識別、特定人識別、安靜環(huán)境等簡單任務(wù)逐步發(fā)展到大詞匯量、連續(xù)語音、非特定人、噪聲環(huán)境下的識別任務(wù)，從單純的語音識別任務(wù)發(fā)展到語音翻譯任務(wù)，從實(shí)驗(yàn)室系統(tǒng)走向商用系統(tǒng)。三、關(guān)鍵技術(shù)下圖展示了人與人之間、人與機(jī)器之間的語音信息處理過程。（機(jī)肆）垃人與人之間的通信說話方收聽方（人）耆文本解析應(yīng)答文生咸語音通信問題第二類人機(jī)語音通信問題語音合成下面是常用的關(guān)

5、鍵技術(shù)和應(yīng)用：語音特征的采集大量的實(shí)驗(yàn)研究發(fā)現(xiàn)語音信號主要存在以下兩個(gè)特點(diǎn)：在頻域內(nèi)，語音信號的頻譜分量主要集中在3003400Hz的范圍內(nèi)。利用這個(gè)特點(diǎn)，可以用一個(gè)帶通濾波器將此范圍內(nèi)的語音信號頻率分量取出，然后按8kHz的采樣率對語音信號進(jìn)行采樣，就可以得到離散的語音信號。在時(shí)域內(nèi)，語音信號具有“短時(shí)性”的特點(diǎn)，即在總體上，語音信號的特征是隨著時(shí)間而變化的，但在一段較短的時(shí)間間隔內(nèi)，語音信號保持平穩(wěn)。在濁音段表現(xiàn)出周期信號的特征，在清音段表現(xiàn)出隨機(jī)噪聲的特征。因此我們對語音信號的分析處理就集中在這兩個(gè)特點(diǎn)上。其中預(yù)處理就包括了對聲音的采樣和編碼。聲學(xué)的參數(shù)分析這更多的時(shí)域和頻域方面，具體的

6、分析還會用到倒頻譜分析(采用MFCC或LPCC)。矢量量化(VQ)矢量量化是一種重要的信號壓縮方法，主要適用于小詞匯量、孤立詞的語音識別中。其過程是:將語音信號波形的k個(gè)樣點(diǎn)的每1幀，或有k個(gè)參數(shù)的每1參數(shù)幀，構(gòu)成k維空間中的1個(gè)矢量，然后對矢量進(jìn)行量化。量化時(shí)，將k維無限空間劃分為M個(gè)區(qū)域邊界，然后將輸入矢量與這些邊界進(jìn)行比較，并被量化為“距離”最小的區(qū)域邊界的中心矢量值。矢量量化器的設(shè)計(jì)就是從大量信號樣本中訓(xùn)練出好的碼書，從實(shí)際效果出發(fā)尋找到好的失真測度定義公式，設(shè)計(jì)出最佳的矢量量化系統(tǒng)，用最少的搜索和計(jì)算失真的運(yùn)算量，實(shí)現(xiàn)最大可能的平均信噪比。基于模式匹配方式的語音識別技術(shù)失真測度幾種典

7、型的失真測度(1)歐氏距離D(x,y)二遼|xy|r/N,(01N-1)-均方誤差-絕對值平均誤差對數(shù)頻譜距離V(w)=log(f(3)-log(g(3)D(g,f)=/|V(w)|rdw如(3)倒譜距離D(x,y)=I(c一c)2,(1np)采用不同的測度會產(chǎn)生不同的匹配結(jié)果。動(dòng)態(tài)時(shí)間規(guī)整法(DTW)為了解決語音模式匹配中匹配時(shí)音長不一致和線性匹配與非線性的問題，DTW技術(shù)被廣泛應(yīng)用。DTW是把時(shí)間規(guī)整和距離測度計(jì)算結(jié)合起來的一種非線性規(guī)整技術(shù)，是較早的一種模式匹配和模型訓(xùn)練技術(shù)。該方法成功解決了語音信號特征參數(shù)序列比較時(shí)時(shí)長不等的難題，在孤立詞語音識別中獲得了良好性能。下面是一個(gè)采用模式匹

8、配的方法完成的對孤立語音(例如電子門鎖等)的識別系統(tǒng)的工作流程圖。3基于統(tǒng)計(jì)模型(HMM)方式的語音識別技術(shù)隱馬爾可夫模型是20世紀(jì)70年代引入語音識別理論的，它的出現(xiàn)使得自然語音識別系統(tǒng)取得了實(shí)質(zhì)性的突破。目前大多數(shù)大詞匯量、連續(xù)語音的非特定人語音識別系統(tǒng)都是基于HMM模型的。HMM是對語音信號的時(shí)間序列結(jié)構(gòu)建立統(tǒng)計(jì)模型，將其看作一個(gè)數(shù)學(xué)上的雙重隨機(jī)過程：一個(gè)是用具有有限狀態(tài)數(shù)的Markov鏈來模擬語音信號統(tǒng)計(jì)特性變化的隱含的隨機(jī)過程，另一個(gè)是與Markov鏈的每一個(gè)狀態(tài)相關(guān)聯(lián)的觀測序列的隨機(jī)過程。前者通過后者表現(xiàn)出來，但前者的具體參數(shù)是不可測的。人的言語過程實(shí)際上就是一個(gè)雙重隨機(jī)過程，語音

9、信號本身是一個(gè)可觀測的時(shí)變序列，是由大腦根據(jù)語法知識和言語需要(不可觀測的狀態(tài))發(fā)出的音素的參數(shù)流。HMM合理地模仿了這一過程，很好地描述了語音信號的整體非平穩(wěn)性和局部平穩(wěn)性，是較為理想的一種語音模型。HMM模型可細(xì)分為離散隱馬爾可夫模型(DHMM)和連續(xù)隱馬爾可夫模型(CHMM)以及半連續(xù)隱馬爾可夫模型SCHMM)等3。4人工神經(jīng)元網(wǎng)絡(luò)(ANN)人工神經(jīng)元網(wǎng)絡(luò)在語音識別中的應(yīng)用是目前研究的又一熱點(diǎn)。ANN實(shí)際上是一個(gè)超大規(guī)模非線性連續(xù)時(shí)間自適應(yīng)信息處理系統(tǒng)它模擬了人類神經(jīng)元活動(dòng)的原理，最主要的特征為連續(xù)時(shí)間非線性動(dòng)力學(xué)、網(wǎng)絡(luò)的全局作用、大規(guī)模并行分布處理及高度的穩(wěn)健性和學(xué)習(xí)聯(lián)想能力。這些能力

10、是HMM模型不具備的。但ANN又不具有HMM模型的動(dòng)態(tài)時(shí)間歸正性能。因此，人們嘗試研究基于HMM和ANN的混合模型，把兩者的優(yōu)點(diǎn)有機(jī)結(jié)合起來，從而提高整個(gè)模型的魯棒性，這也是目前研究的一個(gè)熱點(diǎn)。支持向量機(jī)（SVM）支持向量機(jī)是應(yīng)用統(tǒng)計(jì)學(xué)習(xí)理論的一種新的學(xué)習(xí)機(jī)模型，它采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理（SRM）,有效克服了傳統(tǒng)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化方法的缺點(diǎn)，在解決小樣本、非線性及高維模式識別方面有許多優(yōu)越的性能。其基本思想可以概括為：首先通過非線性變換將輸入空間變換到一個(gè)高維空間，然后在這個(gè)新空間中求取最優(yōu)線性分類面，而這種非線性變換是通過定義適當(dāng)?shù)膬?nèi)積函數(shù)實(shí)現(xiàn)的。目前，統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)也是國際上機(jī)器學(xué)習(xí)

11、領(lǐng)域的研究熱點(diǎn)。孤立詞語音識別系統(tǒng)孤立詞語音識別系統(tǒng)系統(tǒng)是目前市場上常見簡單的語音識別裝置，這是因?yàn)樗軐?shí)現(xiàn)在低成本的條件下，進(jìn)行實(shí)時(shí)處理（一般W0.3S）且準(zhǔn)確率足夠高（一般為9%）。當(dāng)然他所能承擔(dān)的任務(wù)也是極其簡單的。當(dāng)下的這類系統(tǒng)多采用基于DTW技術(shù)的多樣板識別方式或基于VQ/HMM技術(shù)的識別方式。這兩種方式也是我們前面提到的，它們的實(shí)現(xiàn)較為簡單且運(yùn)算速度快能更好地滿足實(shí)時(shí)性和低成本的要求。HMM訓(xùn)練識別X:特征矢量的時(shí)間序列0：基于VQ的觀察符號序列判決規(guī)則上圖是基于VQ/HMM技術(shù)的識別方式連續(xù)語音識別系統(tǒng)這是目前的學(xué)科前沿陣地，連續(xù)的語音識別是一項(xiàng)很復(fù)雜的過程即使是人類有時(shí)都無法正

12、確的理解一段連續(xù)的語音資料。連續(xù)單詞語音識別的技術(shù)難點(diǎn)：-單詞序列的長度未知-單詞序列中各單詞之間的邊界未知。-當(dāng)給定M個(gè)單詞參考模式和L長的待識語音模式時(shí)，就可能有ML種組合的匹配序列。下圖展示連續(xù)語音識別的過程，經(jīng)過語音識別后產(chǎn)生的文章和最左邊的原文章之間可能會有很大的不同。這就是上面的因素所造成的。目前常采用以下兩種算法來解決：-兩級DP法(Two-LevelDynamicProgramming)-分層構(gòu)造法(LevelBuilding)說話者ASR置聲學(xué)模型聲學(xué)信道(語言編碼)文章A發(fā)聲聲學(xué)參數(shù)分析文章W詞條模型-構(gòu)詞層音素模型語音層聲學(xué)層BEGIN句子模型句法層語音特征矢量序列詞條盤

13、2詞條A1詞條B1詞條E1詞條陽音素音素C上圖說明了在連續(xù)語音識別系統(tǒng)中的多層協(xié)作的過程。說話認(rèn)識別說話認(rèn)識別是目前應(yīng)用最廣泛的語音識別技術(shù)。其主要任務(wù)就是提取說話人的聲音特征，在使用前面提到的模式匹配、HHM等算法最終確認(rèn)說話人身份。說話人識別系統(tǒng)分為說話人辨認(rèn)(SpeakerIdentification)與說話人確認(rèn)(SpeakerVerification。對于說話人辨認(rèn)系統(tǒng)，其性能的評價(jià)標(biāo)準(zhǔn)主要是正確識別率。對于說話人確認(rèn)系統(tǒng)，其最重要的兩個(gè)參量是錯(cuò)誤拒絕率(FRR)與錯(cuò)誤接受率(RAR),前者是拒絕真實(shí)的說話人，又稱“拒真率”后者是接受冒認(rèn)者而造成的錯(cuò)誤，又稱“認(rèn)假率”，兩者均與閾值的

14、設(shè)定相關(guān)。說話人1說話人2說話人訓(xùn)練語音:測試語音MFCC特征向量提取UBIvI模型MAP自適應(yīng)k-說話人2說話人目標(biāo)說話人模型：說話人1接受拒絕確認(rèn)對象模型確認(rèn)決策GMM-UBM說話人識別系統(tǒng)(MAP自適應(yīng))未來前景語音識別所面臨的問題盡管語音識別取得很大成功，但是距離真正的人機(jī)自由交流還有很大的距離。例如，目前計(jì)算機(jī)還需要對用戶做大量訓(xùn)練才能更準(zhǔn)確識別，用戶的語音識別率也并不是盡如人意。主要難題有以下幾個(gè)方面：識別系統(tǒng)的適應(yīng)性差。主要體現(xiàn)在對環(huán)境依賴性強(qiáng)，特別在高噪音環(huán)境下語音識別性能還不理想。語音識別系統(tǒng)從實(shí)驗(yàn)室演示系統(tǒng)到商品的轉(zhuǎn)化過程中，還有許多具體問題需要解決。例如，識別速度、拒識等問題，還有連續(xù)語音中去除不必要語氣詞如“呃”、“啊”等語音的技術(shù)細(xì)節(jié)問題。語言學(xué)、生理學(xué)、心理學(xué)方面的研究成果已有不少，但如何把這些知識量化、建模并用于語音識別，還需要進(jìn)一步研究。面對上面的困難，語音識別技術(shù)要做到真正成功，在任何環(huán)境中都能人機(jī)進(jìn)行自由地對話，不僅需要語音識別基礎(chǔ)理論的突破，更需要大量的實(shí)際工作的積累。語音識別技術(shù)的前景展望語音作為當(dāng)前通信系統(tǒng)中最自然的通信媒介，語音識別技術(shù)是非常重要