數(shù)字語音處理及MATLAB仿真PPT學(xué)習(xí)教案

1、會計學(xué)1數(shù)字語音處理及數(shù)字語音處理及MATLAB仿真仿真第2頁/共51頁第3頁/共51頁第4頁/共51頁 參數(shù)合成法也稱為分析合成法。參數(shù)合成法也稱為分析合成法。 參數(shù)合成法有：發(fā)音器官參數(shù)合成和聲道模型參數(shù)合成法有：發(fā)音器官參數(shù)合成和聲道模型參數(shù)合成。參數(shù)合成。 發(fā)音器官參數(shù)合成法：發(fā)音器官參數(shù)合成法： 是對人的發(fā)音過程直接進行模擬。它定義了唇是對人的發(fā)音過程直接進行模擬。它定義了唇、舌、聲帶的相關(guān)參數(shù)，如唇開口度、舌高度、舌、舌、聲帶的相關(guān)參數(shù)，如唇開口度、舌高度、舌位置、聲帶張力等，由發(fā)音參數(shù)估計聲道截面積函位置、聲帶張力等，由發(fā)音參數(shù)估計聲道截面積函數(shù)，進而計算聲波。數(shù)，進而計算聲波。

2、 缺點：合成語音的質(zhì)量不理想。缺點：合成語音的質(zhì)量不理想。第5頁/共51頁第6頁/共51頁第7頁/共51頁 基音同步疊加基音同步疊加PSOLA技術(shù)技術(shù)主要特點：主要特點： 在語音波形片在語音波形片斷拼接之前，首先根據(jù)語義，斷拼接之前，首先根據(jù)語義，用用PSOLA算法對拼接單元的韻律特征進行調(diào)整，算法對拼接單元的韻律特征進行調(diào)整，使合成波形既保持了原始語音基元的主要音段特使合成波形既保持了原始語音基元的主要音段特征，又使拼接單元的韻律特征符合語義，從而獲征，又使拼接單元的韻律特征符合語義，從而獲得很高的可懂度和自然度。得很高的可懂度和自然度。第8頁/共51頁項目項目波形合成方式波形合成方式參數(shù)合

3、成方式參數(shù)合成方式按規(guī)則合成方式按規(guī)則合成方式語音語音質(zhì)量質(zhì)量可懂度可懂度高高高高中中自然度自然度高高中中低低詞匯量詞匯量?。ㄐ。?00字以下）字以下）大（數(shù)千字）大（數(shù)千字）無限無限合成方法合成方法PCM,ADPCMLPC,LSP,共振峰共振峰LPC,LSP共振峰共振峰數(shù)碼率數(shù)碼率9.664kbit/s 2.49.6 kbit/s5075 kbit/s1兆比特可合成兆比特可合成的語音長度的語音長度15秒秒100秒秒100秒秒7分分無限無限合成基元合成基元音節(jié)、詞組、句音節(jié)、詞組、句子子音節(jié)、詞組、句子音節(jié)、詞組、句子音素、雙音素、音音素、雙音素、音節(jié)節(jié)裝置裝置簡單簡單比較復(fù)雜比較復(fù)雜復(fù)雜復(fù)雜

4、硬件主體硬件主體存儲器存儲器存儲器和處理器存儲器和處理器處理器處理器表表9.1 三種語音合成方式的比較三種語音合成方式的比較第9頁/共51頁第10頁/共51頁第11頁/共51頁第12頁/共51頁激勵源激勵源V1V2- V5輻射模型輻射模型 語語音音G一個五個極點的共振峰級聯(lián)模型如下一個五個極點的共振峰級聯(lián)模型如下圖圖9.2 共振峰級聯(lián)模型共振峰級聯(lián)模型五個極點的共振峰級聯(lián)模型傳遞函數(shù)為：五個極點的共振峰級聯(lián)模型傳遞函數(shù)為：101( )1kkkGza z5512111( )( )1iiiiizGzGb zc z即：即：式中，式中，G為增益因子。為增益因子。第13頁/共51頁01( )1Rrrrp

5、kkkb zv za z其傳遞函數(shù)為其傳遞函數(shù)為:第14頁/共51頁121( )1MllllAzB zC z01( )1Rrrrpkkkb zv za z第15頁/共51頁激勵激勵源源 +輻 射 模輻 射 模型型語音語音1A2A5A125圖圖9.3 并聯(lián)型共振峰模型并聯(lián)型共振峰模型第16頁/共51頁第17頁/共51頁混和型共振峰模型如下圖所示：混和型共振峰模型如下圖所示：圖圖9.4 混和型共振峰模型混和型共振峰模型第18頁/共51頁第19頁/共51頁第20頁/共51頁圖圖9.5 LPC語音合成器的框圖語音合成器的框圖第21頁/共51頁piinGuinsans1)()()(第22頁/共51頁 1

6、a ap p ia 基音周期基音周期 沖激序列發(fā)生器沖激序列發(fā)生器 白噪聲發(fā)生白噪聲發(fā)生器器 濁音濁音/ /清音清音控制控制 G u(n) 1Z 1Z 1Z 圖圖9.6 直接用預(yù)測器系數(shù)直接用預(yù)測器系數(shù)ai構(gòu)成的合成濾波器構(gòu)成的合成濾波器 第23頁/共51頁11( )( )(1)piiis nGu nk bn 其中：其中：G為模型增益；為模型增益；u(n)為激勵；為激勵；ki為反射系數(shù)；為反射系數(shù)； bi(n)為后向預(yù)測誤差；為后向預(yù)測誤差；p為預(yù)測器階數(shù)。為預(yù)測器階數(shù)。第24頁/共51頁第25頁/共51頁第26頁/共51頁第27頁/共51頁第28頁/共51頁第29頁/共51頁ZnmnwmxX

7、mmn )e()()(ejj)(jneX第30頁/共51頁ZnreXeYrRnjnjr,| )()(ZmdeeYmymjjrr)(21)()(jreyZmmrRwmxmrRwmxmymyrrrr)()()()()()(第31頁/共51頁rjReWmrRw)()(0ReWnxnyj)()()(0)(jeW第32頁/共51頁21 ( ), ( )|()()|2mggjjtttD x n y nXeY ed212212 ( ), ( ) () ()() ()() ()() ( )ggmmmgggtnggmgtnD x n y nw tntx ntw tnty ntw ntx nttw nty n(9

8、-14)第33頁/共51頁 ( ), ( )0( )D x ny ny n1222()() ()( )()gggggmtgtw ntw ntx ntty nw nt第34頁/共51頁 實際合成時實際合成時w1(n)和和w2(n)可以用完全相同的窗可以用完全相同的窗，分母可視為常數(shù)，而且可以加一個短時幅度因子，分母可視為常數(shù)，而且可以加一個短時幅度因子 來調(diào)整短時能量，即：來調(diào)整短時能量，即： 基音同步疊接相加法優(yōu)點：基音同步疊接相加法優(yōu)點： 良好的韻律調(diào)整能力的；良好的韻律調(diào)整能力的； 缺點：缺點：基音頻率修改過大時可能出現(xiàn)嚴(yán)重的譜基音頻率修改過大時可能出現(xiàn)嚴(yán)重的譜包絡(luò)失真。包絡(luò)失真。gt12

9、22()() ()( )()gggtgggmtgtw tn w tn x ntty nw tn第35頁/共51頁 概括起來說，用概括起來說，用PSOLA算法實現(xiàn)語音合成時主算法實現(xiàn)語音合成時主要有三個步驟。分別為基音同步分析、基音同步修要有三個步驟。分別為基音同步分析、基音同步修改和基音同步合成。下面介紹這三個步驟。改和基音同步合成。下面介紹這三個步驟。 第36頁/共51頁 1.基音同步分析基音同步分析 同步標(biāo)記是與合成單元濁音段的基音保持同步的一同步標(biāo)記是與合成單元濁音段的基音保持同步的一系列位置點，用它們來準(zhǔn)確反映各基音周期的起系列位置點，用它們來準(zhǔn)確反映各基音周期的起始位置。同步分析的功

10、能主要是對語音合成單元始位置。同步分析的功能主要是對語音合成單元進行同步標(biāo)記設(shè)置。進行同步標(biāo)記設(shè)置。PSOLA技術(shù)中，短時信號的技術(shù)中，短時信號的截取和疊加，時間長度的選擇，均是依據(jù)同步標(biāo)截取和疊加，時間長度的選擇，均是依據(jù)同步標(biāo)記進行的。對于濁音段有基音周期，而清音段信記進行的。對于濁音段有基音周期，而清音段信號則屬于白噪聲，所以這兩種類型需要區(qū)別對待號則屬于白噪聲，所以這兩種類型需要區(qū)別對待。第37頁/共51頁),(),(nstxnstxsa式中式中ta(s)為分析基音標(biāo)記，為分析基音標(biāo)記，ts(s)為合成基音標(biāo)記。為合成基音標(biāo)記。 第38頁/共51頁第39頁/共51頁圖圖9.7 時域基頻

11、同步合成語音時域基頻同步合成語音a) 語音基頻被降低語音基頻被降低 b) 語音被延長但基頻保持不變語音被延長但基頻保持不變第40頁/共51頁第41頁/共51頁圖圖9.8 TTS系統(tǒng)基本框圖系統(tǒng)基本框圖第42頁/共51頁 1.文本分析文本分析 工作過程包括：工作過程包括： 將輸入的文本規(guī)范化，并處理用戶可能的拼寫將輸入的文本規(guī)范化，并處理用戶可能的拼寫錯誤，將出現(xiàn)的不規(guī)范或無法發(fā)音的字符過濾掉錯誤，將出現(xiàn)的不規(guī)范或無法發(fā)音的字符過濾掉； 分析文本中的詞或短語的邊界，確定文字的讀分析文本中的詞或短語的邊界，確定文字的讀音，同時分析文本中出現(xiàn)的數(shù)字、姓氏、特殊字音，同時分析文本中出現(xiàn)的數(shù)字、姓氏、特

12、殊字符以及各種多音字的讀音方式；符以及各種多音字的讀音方式； 確定發(fā)音時語氣的變換及不同音的輕重方式。確定發(fā)音時語氣的變換及不同音的輕重方式。最終，將輸入的文字轉(zhuǎn)換成計算機能夠處理的內(nèi)最終，將輸入的文字轉(zhuǎn)換成計算機能夠處理的內(nèi)部參數(shù)，便于后續(xù)模塊進一步處理并生成相應(yīng)的部參數(shù)，便于后續(xù)模塊進一步處理并生成相應(yīng)的信息。信息。 第43頁/共51頁 2.韻律控制韻律控制 任何人說話都有韻律特征，有不同的聲調(diào)、任何人說話都有韻律特征，有不同的聲調(diào)、語氣、停頓方式，發(fā)音長短也各不相同，這些都語氣、停頓方式，發(fā)音長短也各不相同，這些都屬于韻律特征。而韻律參數(shù)則包括了能影響這些屬于韻律特征。而韻律參數(shù)則包括了能影響這些特征的聲學(xué)參數(shù)，如：基頻、音長、音強等。最特征的聲學(xué)參數(shù)，如：基頻、音長、音強等。最終系統(tǒng)能夠用來進行語音信號合成的具體韻律參終系統(tǒng)能夠用來進行語音信號合成的具體韻律參數(shù)，還要靠韻律控制模塊。數(shù)，還要靠韻律控制模塊。 3.語音合成語音合成