語(yǔ)音聲紋識(shí)別技術(shù)和具體的應(yīng)用

1、語(yǔ)音聲紋識(shí)別技術(shù)及應(yīng)用主要內(nèi)容聲音處理技術(shù)語(yǔ)音識(shí)別技術(shù)聲紋識(shí)別技術(shù)技術(shù)演示2聲音處理 聲音的三要素 音質(zhì)聲音的三要素是音調(diào)、音色和音強(qiáng) 音調(diào)代表聲音的高低，與頻率有關(guān)。頻率越高，音調(diào)越高，反之亦然。 音色是聲音的特色。影響聲音特色的主要因素是復(fù)音，即具有不同頻率和不同振幅的混合聲音。 音強(qiáng)是聲音的強(qiáng)度，也被稱為聲音的強(qiáng)度。音強(qiáng)與聲波的振幅成正比，振幅越大，強(qiáng)度越大。 對(duì)于數(shù)字音頻信號(hào)，音質(zhì)的好壞與數(shù)據(jù)采樣頻率和數(shù)據(jù)位數(shù)有關(guān)。 音質(zhì)與聲音還原設(shè)備有關(guān)。 音質(zhì)與信號(hào)噪聲比(SNR)有關(guān)。 文件數(shù)字化的音頻文件主要分為4類(lèi)： 波形音頻文件。一種最直接的表達(dá)聲波的數(shù)字形式，文件擴(kuò)展名是“.wav”。

2、MIDI音頻文件。一種計(jì)算機(jī)數(shù)字音樂(lè)接口生成的數(shù)字描述音頻文件，擴(kuò)展名是“.mid”。 CD-DA音頻文件。標(biāo)準(zhǔn)激光盤(pán)文件，擴(kuò)展名是“.cda”。 壓縮音頻文件。在數(shù)字音頻領(lǐng)域，一種MP3格式的壓縮音頻文件很流行，該格式的文件簡(jiǎn)稱MP3文件。 聲音處理聲音處理獲取聲音 獲得CD中的聲音 錄音 聲音轉(zhuǎn)換 如果希望把音樂(lè)CD中的歌曲或樂(lè)曲作為素材，需要把這些歌曲或樂(lè)曲轉(zhuǎn)換成計(jì)算機(jī)能夠處理的數(shù)字化聲音，這就是“采樣”。可以使用Easy CD-DA Extractor、CoolEdit等音頻處理軟件對(duì)音頻進(jìn)行編輯和處理。 要錄制音質(zhì)好的聲音，有兩個(gè)途徑：使用性能優(yōu)良的錄音設(shè)備；采用較高的采樣頻率?？梢?/p>

3、使用Windows系統(tǒng)自帶的“錄音機(jī)”進(jìn)行錄音。 聲音的轉(zhuǎn)換只能從高質(zhì)量向低質(zhì)量進(jìn)行，聲音的轉(zhuǎn)換不需要專(zhuān)門(mén)的軟件，使用Windows的“錄音機(jī)”轉(zhuǎn)換即可，并且轉(zhuǎn)換功能很強(qiáng)。 如果要進(jìn)一步處理，可采用CoolEdit(Adobe Audition）工具軟件。短時(shí)能量和過(guò)零率語(yǔ)音分幀每幀10-30ms, 幀間隔10ms短時(shí)能量對(duì)數(shù)平方和絕對(duì)值過(guò)零率(ZCR)6參數(shù)提取的預(yù)處理預(yù)加重： 減少尖銳噪聲影響，提升高頻部分加窗：Hamming 減少Gibbs效應(yīng)7各種參數(shù)的比較Linear Prediction Cepstrum Coefficients (LPCC)假定所處理信號(hào)為自回歸信號(hào)（不適用輔音

4、）；計(jì)算簡(jiǎn)單，但抗噪性差。Mel-Frequency Cepstrum Coefficients (MFCC)模擬人的聽(tīng)覺(jué)模型；強(qiáng)調(diào)低頻部分，屏蔽噪聲影響；識(shí)別率高，但計(jì)算量大。能量輔助作用，需歸一化。音調(diào)對(duì)算法要求高，適于二次判別。8Mel-頻率目的：模擬人耳對(duì)不同頻率語(yǔ)音的感知人類(lèi)對(duì)不同頻率語(yǔ)音有不同的感知能力1kHz以下，與頻率成線性關(guān)系1kHz以上，與頻率成對(duì)數(shù)關(guān)系Mel頻率定義1Mel1kHz音調(diào)感知程度的1/10009Mel-頻率公式：頻率Mel-頻率：- 頻率- Mel-頻率Mel-頻率頻率(Hz)10MFCC計(jì)算流程：11DFT時(shí)域信號(hào)線性譜域Mel濾波器組LogDCTMel譜

5、域?qū)?shù)譜域MFCC主要內(nèi)容聲音處理技術(shù)語(yǔ)音識(shí)別技術(shù)聲紋識(shí)別技術(shù)技術(shù)演示12語(yǔ)音識(shí)別Automatic Speech Recognition (ASR) 的中文含意是自動(dòng)語(yǔ)音識(shí)別。語(yǔ)音識(shí)別技術(shù)的目標(biāo)是讓機(jī)器能夠“聽(tīng)懂”不同人說(shuō)的話，實(shí)現(xiàn)從聲音到文字的轉(zhuǎn)換。13語(yǔ)音識(shí)別基本術(shù)語(yǔ)特定人和非特定人（話者相關(guān)或話者無(wú)關(guān)）詞匯量（大，?。┕铝⒃~，連接詞，關(guān)鍵詞和連續(xù)語(yǔ)音自然發(fā)音和朗讀發(fā)音口音（方言）背景噪音（環(huán)境噪音）信道差異（固定 ，麥克，手機(jī)等）聲學(xué)模型（HMM，mono-phone，bi-phone，tri-phone）聲學(xué)特征（MFCC）解碼（Viterbi）14語(yǔ)音識(shí)別基本術(shù)語(yǔ)識(shí)別指標(biāo)：SER（

6、Sentence Error Rate，句子錯(cuò)誤率）WER（Word Error Rate，詞錯(cuò)誤率）CER（Character Error Rate，字錯(cuò)誤率）PER（Phone Error Rate，音節(jié)錯(cuò)誤率）采樣率，8kHz（ 或手機(jī)），16kHz（麥克風(fēng)）時(shí)域，頻域端點(diǎn)檢測(cè)，靜音檢測(cè)或有效音檢測(cè)（VAD）15語(yǔ)音識(shí)別分類(lèi) 孤立詞識(shí)別識(shí)別單元是有限的，單個(gè)的詞；優(yōu)點(diǎn)：速度快，識(shí)別正確率高缺點(diǎn)：應(yīng)用范圍窄，不能識(shí)別詞表外的詞應(yīng)用案例：語(yǔ)音命令，手機(jī)語(yǔ)音撥號(hào) 連續(xù)語(yǔ)音識(shí)別識(shí)別單元可以是字，詞或者句子優(yōu)點(diǎn)：應(yīng)用范圍廣缺點(diǎn)：速度慢，識(shí)別率不高，尤其是詞表較大的時(shí)候應(yīng)用案例：語(yǔ)音翻譯，語(yǔ)音短信，

7、聽(tīng)寫(xiě)機(jī)，語(yǔ)音郵件 關(guān)鍵詞識(shí)別識(shí)別單元是詞，判斷輸入語(yǔ)音中是否含有詞表中的詞優(yōu)點(diǎn)：能夠處理連續(xù)語(yǔ)音，詞表可定制缺點(diǎn)：速度較慢，詞表越大，錯(cuò)誤率越多應(yīng)用案例：電話呼叫服務(wù)，電話安全監(jiān)聽(tīng)16語(yǔ)音識(shí)別發(fā)展歷史 50年代AT&T Bell Lab，可識(shí)別10個(gè)英文數(shù)字60年代LP較好地解決了語(yǔ)音信號(hào)產(chǎn)生模型, DP則有效解決了不等長(zhǎng)語(yǔ)音的匹配問(wèn)題。70年代DTW（Dynamic Time Warp）技術(shù)基本成熟，實(shí)現(xiàn)了基于LPC和DTW技術(shù)相結(jié)合的特定人孤立詞語(yǔ)音識(shí)別系統(tǒng)。80年代HMM模型和人工神經(jīng)元網(wǎng)絡(luò)（ANN）在語(yǔ)音識(shí)別中成功應(yīng)用。1988年美國(guó)CMU大學(xué)基于VQ/HMM開(kāi)發(fā)SI-CSR系統(tǒng) SP

8、HINX。90年代大規(guī)模應(yīng)用，工業(yè)標(biāo)準(zhǔn)，理論進(jìn)展緩慢。17語(yǔ)音識(shí)別潛在應(yīng)用語(yǔ)音監(jiān)聽(tīng)語(yǔ)音撥號(hào)語(yǔ)音命令語(yǔ)音導(dǎo)航語(yǔ)音搜索語(yǔ)音聽(tīng)寫(xiě)語(yǔ)音翻譯18語(yǔ)音識(shí)別系統(tǒng)框架特征提取訓(xùn)練模式匹配拒識(shí)語(yǔ)法模型結(jié)果語(yǔ)音說(shuō)話人自適應(yīng)19語(yǔ)音識(shí)別過(guò)程20HMM基礎(chǔ)(1)隱含Markov模型觀測(cè)可見(jiàn)，狀態(tài)隱含基本要素N - 模型狀態(tài)數(shù)=i - 初始概率分布A=aij - 狀態(tài)轉(zhuǎn)移矩陣B=bj(k) - 輸出概率矩陣21HMM基礎(chǔ)(2)轉(zhuǎn)移概率矩陣aij狀態(tài)i到狀態(tài)j發(fā)生跳轉(zhuǎn)的概率22HMM基礎(chǔ)(3)輸出概率bi(x) x屬于狀態(tài)i的概率23HMM基礎(chǔ)(4)HMM的三個(gè)基本問(wèn)題 - 模型評(píng)估問(wèn)題(如何求：P(O|) - 最佳路徑

9、問(wèn)題(如何求：Q=q1q2qT) - 模型訓(xùn)練問(wèn)題(如何求：A、B、)24模型評(píng)估問(wèn)題(如何求：P(O|)前向概率給定HMM參數(shù) ，在t時(shí)刻處于狀態(tài)i，部分觀察序列為o1o2ot 的概率后向概率給定HMM參數(shù) ，在t時(shí)刻處于狀態(tài)i，部分觀察序列為ot+1ot+2oT 的概率25模型評(píng)估問(wèn)題(如何求：P(O|)前向和后向遞推的示意圖26最佳路徑問(wèn)題(如何求：Q=q1q2qT)前向后向算法的缺點(diǎn)計(jì)算量的浪費(fèi)狀態(tài)路徑不能明確判定Viterbi算法不完全的狀態(tài)空間搜索保留狀態(tài)轉(zhuǎn)移路徑的信息27最佳路徑問(wèn)題(如何求：Q=q1q2qT)Viterbi算法的搜索空間28Viterbi識(shí)別算法和路徑回溯29模

10、型訓(xùn)練問(wèn)題(如何求：A、B、)優(yōu)化問(wèn)題優(yōu)化目標(biāo)：P(O|)最大Lagrange數(shù)乘法，輔助函數(shù)：30Baum-Welch參數(shù)重估算法：模型訓(xùn)練問(wèn)題(如何求：A、B、)31連續(xù)HMM算法連續(xù)的含義參數(shù)重估識(shí)別算法32“連續(xù)”的含義連續(xù)混合高斯概率密度函數(shù)(pdf):每個(gè)狀態(tài)表示為若干函數(shù)fn(x)的線性組合fn(x)是連續(xù)高斯概率密度函數(shù)33連續(xù)HMM參數(shù)重估(1)需要重估的參數(shù)：起始概率轉(zhuǎn)移概率各狀態(tài)中不同pdf的權(quán)各狀態(tài)中不同pdf的均值和方差34連續(xù)HMM參數(shù)重估(2)t時(shí)刻序列處于狀態(tài)j、混合高斯密度l的概率35連續(xù)HMM參數(shù)重估(3)pdf的無(wú)溢出參數(shù)重估公式36識(shí)別算法概率計(jì)算: P

11、(O|)Viterbi算法對(duì)數(shù)形式與離散HMM相似，只需替換bjl(x)37實(shí)際HMM系統(tǒng)的具體問(wèn)題起始概率的問(wèn)題轉(zhuǎn)移概率的問(wèn)題模型的自適應(yīng)區(qū)別性訓(xùn)練38起始概率的問(wèn)題自左向右結(jié)構(gòu)的HMM，起始概率為：1, 0, 0, 0即：只能從第一個(gè)狀態(tài)開(kāi)始39轉(zhuǎn)移概率的問(wèn)題大量實(shí)驗(yàn)證明：轉(zhuǎn)移概率對(duì)識(shí)別性能的影響是微不足道的訓(xùn)練過(guò)程中，常常將其設(shè)定為常數(shù)： aij識(shí)別過(guò)程中，不進(jìn)行l(wèi)og(aij)的累加僅考慮bi(.)的作用40模型的自適應(yīng)(1)自適應(yīng)的必要性口音感冒.MAP自適應(yīng)算法MAP: 最大后驗(yàn)概率準(zhǔn)則本質(zhì)上是重新訓(xùn)練一次，對(duì)原B矩陣進(jìn)行微調(diào)特點(diǎn)：簡(jiǎn)單，對(duì)每個(gè)HMM單獨(dú)自適應(yīng)，只需一次發(fā)音41模型

12、的自適應(yīng)(2)MLLR算法MLLR：最大似然線性回歸本質(zhì)：將原模型的參數(shù)進(jìn)行線性變換后再進(jìn)行識(shí)別特點(diǎn)：少量語(yǔ)音可以對(duì)所有模型進(jìn)行自適應(yīng)，只要得到線性變換矩陣即可42區(qū)別性訓(xùn)練傳統(tǒng)HMM訓(xùn)練算法的缺陷MCE算法MCE：最小分類(lèi)誤差準(zhǔn)則使用場(chǎng)合：小詞表識(shí)別系統(tǒng)需要細(xì)致調(diào)整算法參數(shù)，才能保證收斂43中文語(yǔ)音識(shí)別的特點(diǎn) 相對(duì)于西方語(yǔ)言來(lái)說(shuō)，中文有自己的獨(dú)特之處。中文是有調(diào)語(yǔ)言，發(fā)音的基本單元是聲母和韻母并且以音節(jié)為自然單位，一個(gè)音節(jié)就是一個(gè)字甚至詞，以至字詞的時(shí)長(zhǎng)很短，混淆度更大。另外，中文用415個(gè)基本的無(wú)調(diào)音節(jié)來(lái)構(gòu)成7000多個(gè)基本漢字的發(fā)音，多音字很多。特別是，中文的發(fā)音和字是獨(dú)立的，僅僅是中國(guó)

13、大陸地區(qū)就有很多的方言，口音問(wèn)題非常嚴(yán)重。特別是在做中文孤立詞和短語(yǔ)命令識(shí)別的時(shí)候，由于沒(méi)有上下文的信息并且語(yǔ)音的長(zhǎng)度很短，口音會(huì)嚴(yán)重地降低識(shí)別率。 44中文語(yǔ)音建模基元比較45語(yǔ)音識(shí)別應(yīng)用舉例嵌入式語(yǔ)音識(shí)別：智能玩具：語(yǔ)音對(duì)話娃娃、語(yǔ)音聲控機(jī)器人智能家電：語(yǔ)音識(shí)別臺(tái)燈、語(yǔ)音識(shí)別插座智能手機(jī)：語(yǔ)音撥號(hào) 語(yǔ)音識(shí)別：語(yǔ)音 簿：電信增值智能語(yǔ)音總機(jī)：企業(yè)應(yīng)用46嵌入式語(yǔ)音識(shí)別47智能玩具語(yǔ)音對(duì)話娃娃序號(hào)問(wèn)句應(yīng)答句1你好3條2你叫什么名字？3條3你從哪里來(lái)?3條4你會(huì)什么?1條5背首詩(shī)15首詩(shī)6講個(gè)故事6個(gè)故事7我要聽(tīng)笑話4個(gè)笑話8唱首歌5首歌曲9來(lái)首英文歌5首英文歌10你喜歡玩什么？5條11你好可愛(ài)

14、3條12我很喜歡你3條智能玩具語(yǔ)音聲控機(jī)器人問(wèn)句回答前進(jìn)前進(jìn)后退后退左轉(zhuǎn)左轉(zhuǎn)右轉(zhuǎn)右轉(zhuǎn)跳舞跳舞語(yǔ)音增值業(yè)務(wù)企業(yè) 簿：會(huì)議通知、語(yǔ)音信箱、 信箱、企業(yè)郵箱、信息發(fā)布、定向廣告。個(gè)人 簿：個(gè)人郵件、數(shù)據(jù)同步、資訊定制、個(gè)人財(cái)經(jīng)、業(yè)務(wù)定制。語(yǔ)音門(mén)戶：天氣、股票、航班查詢。50主要內(nèi)容聲音處理技術(shù)語(yǔ)音識(shí)別技術(shù)聲紋識(shí)別技術(shù)技術(shù)演示51生物識(shí)別技術(shù)優(yōu)勢(shì)生物識(shí)別技術(shù)比較 錯(cuò)誤接受率錯(cuò)誤拒絕率容易實(shí)用性處理速度/人指紋識(shí)別很低較低好2s-5s掌紋識(shí)別低5%使用困難5s-10s人臉識(shí)別低0.2%非常好5s虹膜識(shí)別很低約10% 需要培訓(xùn)才能使用，手工操作對(duì)虹膜有困難 儀器自動(dòng)對(duì)準(zhǔn)虹膜需要3s-5s，手工操作需要5s

15、-25s視網(wǎng)膜識(shí)別未知未知不好15s-30s聲紋識(shí)別低低可以1s-3s簽名識(shí)別低10%一般5s-10s聲紋識(shí)別技術(shù)聲紋識(shí)別（又稱說(shuō)話人識(shí)別）技術(shù)是從說(shuō)話人發(fā)出的語(yǔ)音信號(hào)中提取聲紋信息，并對(duì)說(shuō)話人進(jìn)行身份驗(yàn)證的生物識(shí)別技術(shù)。 聲紋識(shí)別基本術(shù)語(yǔ)類(lèi)型分類(lèi)：文本相關(guān)(Text-dependent)文本無(wú)關(guān)(Text-dependent)任務(wù)分類(lèi)：說(shuō)話人辨認(rèn)(Speaker Identification)說(shuō)話人確認(rèn)(Speaker Verification)UBM(Universal Background Model)，通用背景模型GMM(Gaussian Mixture Model)，高斯混合模型背景

16、噪音（環(huán)境噪音）信道差異（固定 ，手機(jī)，麥克風(fēng)）身體差異，語(yǔ)速快慢，時(shí)間間隔聲紋識(shí)別基本術(shù)語(yǔ)FAR（False Accept Rate），錯(cuò)誤接受率；FRR（False Reject Rate），錯(cuò)誤拒絕率。EER（Equal Error Rate），等錯(cuò)誤率；即FAR=FRR時(shí)的錯(cuò)誤率。多說(shuō)話人識(shí)別，分割聲紋識(shí)別基本術(shù)語(yǔ)0.1 0.2 0.5 1 2 5 10 20 404020105210.50.20.1錯(cuò) 誤 接 受 的 概 率 (%)錯(cuò) 誤 拒絕的 概 率 (%)等錯(cuò)誤率(ERR)=1%平衡點(diǎn)減少錯(cuò)誤接受的可能，提高系統(tǒng)的安全。但是由于錯(cuò)誤拒絕率高，會(huì)給用戶使用帶來(lái)不便。高安全性高方便

17、性對(duì)于安全性要求不高的應(yīng)用場(chǎng)景，可以適當(dāng)提高錯(cuò)誤接受率，使得用戶容易進(jìn)入系統(tǒng)。DET (Detection Error Tradeoff) 曲線經(jīng)典模型GMM(1)GMM高斯混合模型基本原理：根據(jù)從語(yǔ)音信號(hào)中提取的特征參數(shù)， 為每一個(gè)說(shuō)話人建立一個(gè)GMM。為處 理的方便，人為的使不同說(shuō)話人的模 型的概率密度函數(shù)在形式上都是一樣 的，不同的只是函數(shù)中的參數(shù)。優(yōu) 點(diǎn)：簡(jiǎn)單高效，可以很好的描述從語(yǔ)音信 號(hào)中提取的特征參數(shù)等不規(guī)則的數(shù)據(jù)。GMM是當(dāng)今應(yīng)用于說(shuō)話人識(shí)別的最主流模型經(jīng)典模型GMM(2)一個(gè)M階高斯混合模型的概率密度函數(shù)是由M個(gè)高斯概率密度函數(shù)加權(quán)求和得到，如下：其中M是混合模型的階數(shù)，X是

18、一個(gè)D維隨機(jī)向量wi是混合權(quán)重，滿足：bi(X)是子分布，每個(gè)子分布是D維的聯(lián)合高斯概率分布，表示為： 是均值向量， 是協(xié)方差矩陣經(jīng)典模型GMM(3)完整的高斯混合模型由參數(shù)均值向量、協(xié)方差矩陣和混合權(quán)重共同描述。因此，一個(gè)模型可表示為如下一個(gè)三元組：GMM計(jì)算結(jié)構(gòu)：經(jīng)典模型GMM(4)GMM的說(shuō)話人鑒別(Speaker Identification)系統(tǒng)UBMUBM通用背景模型 UBM也是一個(gè)GMM，只是這個(gè)GMM需要用 大量的 不同說(shuō)話人的語(yǔ)音數(shù)據(jù)經(jīng)過(guò)訓(xùn)練來(lái)表 示說(shuō)話 人無(wú)關(guān)的特征分布，這種特征是大多 數(shù)說(shuō)話人的共性特征。GMM-UBM建模 說(shuō)話人需要建立自己的模型時(shí)，就可以通過(guò) 自適應(yīng)UBM來(lái)得到個(gè)性特征，即修正后的參 數(shù)，從而得到自己的GMM。GMM-UBM優(yōu)點(diǎn)實(shí)現(xiàn)信道均衡少量訓(xùn)練數(shù)據(jù)得到比