語(yǔ)音信號(hào)數(shù)字處理：第二章 語(yǔ)音信號(hào)的聲學(xué)基礎(chǔ)及產(chǎn)生模型

1、第二章語(yǔ)音信號(hào)的聲學(xué)基礎(chǔ)及產(chǎn)生模型語(yǔ)音學(xué)語(yǔ)音產(chǎn)生過(guò)程語(yǔ)音信號(hào)的特性分析語(yǔ)音感知語(yǔ)音產(chǎn)生數(shù)學(xué)模型語(yǔ)音學(xué)界定三個(gè)分支 基礎(chǔ)知識(shí)語(yǔ)音學(xué)界定語(yǔ)音學(xué)是研究人類(lèi)說(shuō)話(huà)聲音的科學(xué) 三個(gè)分支 基礎(chǔ)知識(shí)語(yǔ)音學(xué)界定三個(gè)分支（發(fā)音-傳遞-感知）發(fā)音語(yǔ)音學(xué)也稱(chēng)生理語(yǔ)音學(xué)，研究發(fā)音器官在發(fā)音階段的生理特性，確定發(fā)音部位和發(fā)音方式 聲學(xué)語(yǔ)音學(xué)研究語(yǔ)音在傳遞階段的聲學(xué)特性，用聲學(xué)和現(xiàn)代信號(hào)分析理論來(lái)解釋各種語(yǔ)音現(xiàn)象 感知語(yǔ)音學(xué)研究語(yǔ)音感知階段的生理和心理特性，也就是研究耳朵是怎樣聽(tīng)音的，大腦是怎樣解釋這些聲音的，語(yǔ)言信息在大腦中的存儲(chǔ)部位和形式基礎(chǔ)知識(shí)語(yǔ)音學(xué)界定三個(gè)分支 基礎(chǔ)知識(shí)基本聲學(xué)特征層級(jí)結(jié)構(gòu)輔音元音音節(jié)結(jié)構(gòu) 基本聲學(xué)

2、特征音質(zhì)響度音高音長(zhǎng)音段特征，音質(zhì)超音段特征，音高、響度、音長(zhǎng)層級(jí)結(jié)構(gòu)由下而上（bottom-to-top）音素(Phoneme)：最小的發(fā)音單位音節(jié)(Syllable)：最小的節(jié)奏單位語(yǔ)音詞(Prosodic Word)：最小的韻律組合單位韻律短語(yǔ)(Prosodic Phrase)：非完整語(yǔ)調(diào)的短語(yǔ)語(yǔ)調(diào)短語(yǔ)(Intonational Phrase)：具備完整語(yǔ)調(diào)的可獨(dú)立的短語(yǔ)例：一九九九年（BP1）十二月（BP1）三十一號(hào)（BP2）一 九 九 九 年 十 二 月 三 十 一 號(hào)yi1 jiu3 jiu2 jiu3 nian2 shi2 er4 yue4 san1 shi2 yi1 hao4輔

3、音輔音的特點(diǎn)口腔內(nèi)有阻塞或阻礙氣流較強(qiáng)，特別是清輔音器官在遇阻部分是緊張的多數(shù)輔音為不帶音的清輔音，少數(shù)輔音為聲帶顫動(dòng)的濁輔音輔音輔音的分類(lèi)按發(fā)音部位分類(lèi)唇音：b，p，m，f舌尖前音：d，t，n，l，z，c，s舌尖后音：zh，ch，sh，r舌面前音：j，q，x，舌根音：g，k，h，ng（鼻韻尾）按發(fā)音方法分類(lèi)塞音：b，d，g（不送氣）p，t，k（送氣）塞擦音：z，zh，j（不送氣）c，ch，q（送氣）擦音：f，s，sh，x，h（清擦）r（濁擦）邊音：l鼻音：m ， n，ng（鼻韻尾）半元音：如，i，u， 起頭的零聲母音節(jié)的起始部元音元音的特點(diǎn)聲帶顫動(dòng)，其波形呈準(zhǔn)周期性變化器官均衡地保持緊張，口

4、腔內(nèi)無(wú)明顯阻礙氣流較弱元音元音的分類(lèi)按舌位高低、前后分；按唇形圓展分；調(diào)音器官的變化來(lái)分單元音（10個(gè)）舌面元音：a, i, u, , o, e, 舌尖元音：-i, -ii卷舌元音：er二合元音（9個(gè)）前響： ai, ao, ou, ei, e后響： ia, ua, ie, uo 三合元音（4個(gè)）iao, iou, uai, uei 音節(jié)結(jié)構(gòu)音節(jié)聲母韻母聲調(diào)tang1 = t + ang1非輕聲音節(jié)1268個(gè)（新華字典）聲母聲母（21個(gè)） 全部為輔音塞音：b，d，g（不送氣）p，t，k（送氣）塞擦音：z，zh，j（不送氣）c，ch，q（送氣）擦音：f，s，sh，x，h（清擦）r（濁擦）邊音：l

5、鼻音：m ， n，ng（鼻韻尾）半元音：如，i，u， 起頭的零聲母音節(jié)的起始部韻母韻母（39個(gè)） 大部分為元音，或元音加鼻韻尾單元音（10個(gè)）舌面元音：a, i, u, , o, e, 舌尖元音：-i, -ii卷舌元音：er二合元音（9個(gè)）前響： ai, ao, ou, ei, e后響： ia, ua, ie, uo 三合元音（4個(gè)）iao, iou, uai, uei鼻韻尾（7個(gè)）an, en, in, ang, eng, ing, ong復(fù)合鼻韻尾（9個(gè)） ian, iang, iong, uan, uen, uang, ueng, an, en聲調(diào)聲調(diào)（5個(gè)）孤立音節(jié)中有四個(gè)聲調(diào)，調(diào)型稱(chēng)

6、之為陰平、陽(yáng)平、上聲、去聲，簡(jiǎn)稱(chēng)1、2、3、4聲連續(xù)語(yǔ)音中由音節(jié)弱化、致使原有調(diào)型丟失，形成輕聲上聲連讀變調(diào)：上聲變陽(yáng)平主要由韻母音段的音高所負(fù)載第二章語(yǔ)音信號(hào)的聲學(xué)基礎(chǔ)及產(chǎn)生模型語(yǔ)音學(xué)語(yǔ)音產(chǎn)生過(guò)程語(yǔ)音信號(hào)的特性分析語(yǔ)音感知語(yǔ)音產(chǎn)生數(shù)學(xué)模型語(yǔ)音產(chǎn)生過(guò)程發(fā)音過(guò)程語(yǔ)音生成模型語(yǔ)音產(chǎn)生過(guò)程聲帶-激勵(lì)源聲道-調(diào)節(jié)器唇-輻射語(yǔ)音產(chǎn)生過(guò)程激勵(lì)源（體積速度）嗓音聲源脈動(dòng)聲門(mén)氣流噪音聲源瞬態(tài)過(guò)程、摩擦、送氣語(yǔ)音產(chǎn)生過(guò)程激勵(lì)源（體積速度）嗓音聲源脈動(dòng)聲門(mén)氣流線譜基頻（pitch）、音高（F0）、聲調(diào)（tone）-12dB/Oct.下傾注：分頻斜率（也稱(chēng)濾波器的衰減斜率）用來(lái)反映分頻點(diǎn)以下頻響曲線的下降斜率，用分

7、貝/倍頻程（dB/oct）來(lái)表示。它有一階（6 dB/oct）、二階（12 dB/oct）、三階（18 dB/oct）和四階（24 dB/oct）之分，階數(shù)越高，分頻點(diǎn)后的頻率曲線斜率就越大。較常用的是二階分頻斜率。高階分頻器可增加斜率，但相移位大；低階分頻器能產(chǎn)生較平緩的斜率和很好的瞬態(tài)響應(yīng)，但幅頻特性較差。 語(yǔ)音產(chǎn)生過(guò)程激勵(lì)源（體積速度）調(diào)節(jié)器（聲道截面積）元音聲道長(zhǎng)度舌的位置共振峰（formant）, F1, F2, F3, F4輔音方式: 摩擦、送氣、阻塞部位：唇、齒、舌面、舌根、鼻語(yǔ)音產(chǎn)生過(guò)程激勵(lì)源（體積速度）調(diào)節(jié)器（聲道截面積）輻射（差分函數(shù)）一階差分+6dB/Oct. 增益語(yǔ)音產(chǎn)

8、生模型源-濾波-輻射模型沖激序列發(fā)生器聲門(mén)波模型聲道 模型信號(hào)輻射模型隨機(jī)噪聲發(fā)生器第二章語(yǔ)音信號(hào)的聲學(xué)基礎(chǔ)及產(chǎn)生模型語(yǔ)音學(xué)語(yǔ)音產(chǎn)生過(guò)程語(yǔ)音信號(hào)的特性分析語(yǔ)音感知語(yǔ)音產(chǎn)生數(shù)學(xué)模型語(yǔ)音信號(hào)的特性分析時(shí)域波形（Time-Domain Waveform）頻域特征（Frequency-Domain Feature）語(yǔ)譜圖（Spectrogram）時(shí)域波形samples時(shí)域波形samples時(shí)域波形samples時(shí)域波形直觀的特征周期性摩擦停頓時(shí)長(zhǎng)幅度波形解釋發(fā)音方式清濁摩擦塞送氣鼻時(shí)域波形直觀的特征周期性摩擦停頓時(shí)長(zhǎng)幅度波形解釋發(fā)音方式清濁摩擦塞送氣鼻顯著程度頻域特征samples頻域特征直觀的特征包

9、絡(luò)細(xì)節(jié)頻域特征發(fā)音部位周期性共振峰位置能量集中區(qū)能量語(yǔ)譜圖需求：綜合顯示發(fā)音方式-時(shí)域發(fā)音部位-頻域語(yǔ)譜圖：語(yǔ)音頻譜隨時(shí)間變化的圖形橫軸：時(shí)間縱軸：頻率灰度：能量大小語(yǔ)譜圖-samples寬帶-300Hz窄帶-45Hz語(yǔ)譜圖典型特征橫杠沖直條亂紋最為經(jīng)典的語(yǔ)音分析顯示手段實(shí)現(xiàn)手段Bell Lab. in 40s, 模擬濾波器組Kay Inc. in 80s，基于DSP的數(shù)字濾波器組Speech analysis toolspraat, free, professional toolsSFS, free, professional toolsCooledit, popular tools第二章語(yǔ)

10、音信號(hào)的聲學(xué)基礎(chǔ)及產(chǎn)生模型語(yǔ)音學(xué)語(yǔ)音產(chǎn)生過(guò)程語(yǔ)音信號(hào)的特性分析語(yǔ)音感知語(yǔ)音產(chǎn)生數(shù)學(xué)模型語(yǔ)音感知聽(tīng)覺(jué)器官(聲學(xué)特征)感知效應(yīng)語(yǔ)音感知聽(tīng)覺(jué)器官(聲學(xué)特征)音質(zhì)、音強(qiáng)、音高、音長(zhǎng)感知效應(yīng)感知效應(yīng)聽(tīng)閾主觀響度主觀音高言語(yǔ)的選擇性感知感知效應(yīng)聽(tīng)閾頻率范圍2020kHz聲強(qiáng)0120dB(0dB eq. 20uPa)主觀響度主觀音高言語(yǔ)的選擇性感知主觀響度響度級(jí)（Loudness Level）, Phon數(shù)值上等于1kHz純音的聲強(qiáng)級(jí)響度（Loudness）, 1Sone等于1kHz純音t聽(tīng)閾之上40dB的響度P=33.33lgS+4035kHz頻段最為靈敏主觀音高美（Mel）1kHz純音定為1000Mel

11、聽(tīng)感上為1000Mel的n倍，nx1000Mel臨界帶寬（Critical Band）相同功率的噪聲對(duì)純音的屏蔽，噪聲的頻帶寬度2016kHz,劃為24個(gè)BarkMel與頻率的關(guān)系言語(yǔ)的選擇性感知“雞尾酒會(huì)效應(yīng)”發(fā)音的改變選擇性感知感知過(guò)程非線性處理過(guò)程自下而上（數(shù)據(jù)驅(qū)動(dòng)）+從上而下（知識(shí)驅(qū)動(dòng)）第二章語(yǔ)音信號(hào)的聲學(xué)基礎(chǔ)及產(chǎn)生模型語(yǔ)音學(xué)語(yǔ)音產(chǎn)生過(guò)程語(yǔ)音信號(hào)的特性分析語(yǔ)音感知語(yǔ)音產(chǎn)生數(shù)學(xué)模型語(yǔ)音產(chǎn)生數(shù)學(xué)模型產(chǎn)生模型激勵(lì)聲道輻射語(yǔ)音產(chǎn)生模型源-濾波-輻射模型沖激序列發(fā)生器聲門(mén)波模型聲道 模型信號(hào)輻射模型隨機(jī)噪聲發(fā)生器激勵(lì)模型清音隨機(jī)白噪聲均值為0，方差為1的隨機(jī)序列濁音右斜類(lèi)三角波斜三角波模型Rosenberg聲門(mén)波模型 TpTnT0TpTnT0斜三角波Rosenberg聲門(mén)波激勵(lì)模型右斜類(lèi)三角波的Z變換G(z)聲道模型聲管模型共振峰模型聲管模型管子串聯(lián)管子對(duì)應(yīng)于四端網(wǎng)絡(luò)反射系數(shù)與線性預(yù)測(cè)的參數(shù)相對(duì)應(yīng)（Km對(duì)應(yīng)于線性預(yù)測(cè)的反射系數(shù)）。聲門(mén)唇1324共振峰模型級(jí)聯(lián)型并聯(lián)型混合型級(jí)聯(lián)型