語音信號處理基礎(chǔ)知識精選PPT

1、關(guān)于語音信號處理基礎(chǔ)知識第一張，PPT共五十八頁，創(chuàng)作于2022年6月2.1 概述 語音信號處理目的: 一是要通過處理得到一些反映語音信號重要特征的語音參數(shù)以便高效的傳輸或儲(chǔ)存語音信號信息；二是要通過處理的某種運(yùn)算以達(dá)到某種用途的要求，例如人工合成出語音、辨識出講話者、識別出講話的內(nèi)容等等。 研究用數(shù)字信號處理技術(shù)對語音信號進(jìn)行處理的一門學(xué)科第二張，PPT共五十八頁，創(chuàng)作于2022年6月語音中包含的信息語言（文字）說話人、性別方言：認(rèn)老鄉(xiāng)的主要依據(jù)情感（情緒）語種：國外找“親人”的主要信息來源說話方式（快、慢、耳語）語音品質(zhì)（口語、朗誦、流暢性、動(dòng)聽度）健康狀況：特別是發(fā)音器官病變第三張，PP

2、T共五十八頁，創(chuàng)作于2022年6月重要概念語音音節(jié)元音、輔音清音、濁音聲母、韻母共振峰、音色語譜圖、聲紋第四張，PPT共五十八頁，創(chuàng)作于2022年6月2.1概述2.2語音和語言2.3漢語語音學(xué)2.4語音生成系統(tǒng)和語音感知系統(tǒng)2.5語音信號生成的數(shù)學(xué)模型2.6語音信號的特性分析第2章 語音信號處理的基礎(chǔ)知識第五張，PPT共五十八頁，創(chuàng)作于2022年6月 2.2 語音和語言 語音是人的發(fā)聲器官發(fā)出的一種聲波，它具有一定的音色，音調(diào)，音強(qiáng)和音長。一種聲音區(qū)別于另一種聲音的基本特征聲音的高低，它取決于聲波的頻率聲音的強(qiáng)弱,聲波的振動(dòng)幅度決定聲音的長短叫音長，它取決于發(fā)音時(shí)間的長短第六張，PPT共五十八

3、頁，創(chuàng)作于2022年6月語音語音（Speech）=聲音（Acoustic）+語言（Language），是二者的組合體語音是由一連串的音組成語言的聲音第七張，PPT共五十八頁，創(chuàng)作于2022年6月語言是從人們的話語中概括總結(jié)出來的規(guī)律性的符號系統(tǒng)。2.2 語音和語言2.2 語音和語言2.2 語音和語言不同層次的單位:語素、詞、短語和句子語法和語義內(nèi)容:詞法、句法、文脈第八張，PPT共五十八頁，創(chuàng)作于2022年6月2.2 語音和語言人的說話的過程：第九張，PPT共五十八頁，創(chuàng)作于2022年6月 語音學(xué)(Phonetics)是研究言語過程的一門科學(xué)。 它考慮的是語音產(chǎn)生、語音感知等的過程以及語音中各

4、個(gè)音的特征和分類等問題。 現(xiàn)代語音學(xué)發(fā)展成為三個(gè)主要分 支： 發(fā)音語音學(xué) 聲學(xué)語音學(xué) 聽覺語音學(xué)第十張，PPT共五十八頁，創(chuàng)作于2022年6月2.2 語音和語言第十一張，PPT共五十八頁，創(chuàng)作于2022年6月重要概念語音元音、輔音清音、濁音聲母、韻母音節(jié)共振峰、音色語譜圖、聲紋第十二張，PPT共五十八頁，創(chuàng)作于2022年6月2.2 語音和語言 當(dāng)聲帶振動(dòng)發(fā)出的聲音氣流從喉腔、咽腔進(jìn)入口腔從唇腔出去時(shí)，這些聲腔完全開放，氣流順利通過，這種音稱為元音。 第十三張，PPT共五十八頁，創(chuàng)作于2022年6月 2.2 語音和語言 呼出的聲流，由于通路的某一部分封閉起來或受到阻礙，氣流被阻不能暢通，而克服發(fā)

5、音器官的這種阻礙而產(chǎn)生的音素稱為輔音。發(fā)輔音時(shí)由聲帶是否振動(dòng)引起濁音和清音的區(qū)別，聲帶振動(dòng)的是濁音，聲帶不振動(dòng)的是清音。 （b/p）第十四張，PPT共五十八頁，創(chuàng)作于2022年6月 2.2 語音和語言決定元音音色的主要因素是舌頭的形狀及其在口腔中的位置(簡稱舌位)、嘴唇的形狀(簡稱口形)等。元音的另一個(gè)重要聲學(xué)特性是共振峰（Formant）。共振峰參數(shù)是區(qū)別不同元音的重要參數(shù)，它一般包括共振峰頻率（Formant Frequency）的位置和頻帶寬度（Formant Bandwidth）。 一般地說，女聲和童聲的基頻高于男聲，但是實(shí)驗(yàn)表明：區(qū)分語音是男聲還是女聲、是成人聲音還是兒童聲音，更重要

6、的因素是共振峰頻率的高低。 第十五張，PPT共五十八頁，創(chuàng)作于2022年6月 2.2 語音和語言發(fā)音器官產(chǎn)生元音的三條件聲道受到聲帶振動(dòng)的激勵(lì)引起共振；在語音流的持續(xù)過程中，聲道不發(fā)生極端的狹窄，并維持較穩(wěn)定的形狀；和鼻腔不發(fā)生偶合，聲音只從口腔輻射出去。 這三個(gè)條件中，只要缺少其中之一，則該語音就是輔音。 輔音沒有明確的共振峰結(jié)構(gòu)。輔音發(fā)音時(shí)的阻礙的位置叫調(diào)音點(diǎn)（Place of Articulation）、阻礙的方法叫調(diào)音方式（Manner of Articulation ）第十六張，PPT共五十八頁，創(chuàng)作于2022年6月 2.2 語音和語言調(diào)音方式等的不同可以把輔音分成如下幾類：塞音、摩

7、擦音、塞擦音、鼻音、邊音、顫音、通音。根據(jù)發(fā)輔音時(shí)聲帶有無振動(dòng)，可以把輔音分類成濁輔音和清輔音。根據(jù)輔音除阻后是否緊跟著送出一股氣來，可以把輔音分類成送氣輔音和不送氣輔音。第十七張，PPT共五十八頁，創(chuàng)作于2022年6月2.1概述2.2語音和語言2.3漢語語音學(xué)2.4語音生成系統(tǒng)和語音感知系統(tǒng)2.5語音信號生成的數(shù)學(xué)模型2.6語音信號的特性分析第2章 語音信號處理的基礎(chǔ)知識第十八張，PPT共五十八頁，創(chuàng)作于2022年6月重要概念語音音節(jié)元音、輔音清音、濁音聲母、韻母共振峰、音色語譜圖、聲紋第十九張，PPT共五十八頁，創(chuàng)作于2022年6月 2.3 漢語語音學(xué)漢語語音的特點(diǎn)： 音系簡單。這是指音素

8、少、音節(jié)少。音節(jié)的結(jié)構(gòu)也比較簡單。 由于清輔音多，而且多是弱清音，而且開口呼的音節(jié)占全部音節(jié)的一半以上，所以漢語語音聽感上有清亮、高揚(yáng)和舒服、柔和的感覺。 有鮮明的輕重音和兒化韻，所以字詞分隔清楚，語言表達(dá)準(zhǔn)確而豐富。 第二十張，PPT共五十八頁，創(chuàng)作于2022年6月 漢語的拼音方法漢語由音素構(gòu)成聲母或韻母。有時(shí)，將含有聲調(diào)（漢語通常認(rèn)為有五個(gè)聲調(diào)）的韻母稱為調(diào)母。由單個(gè)調(diào)母或由聲母與調(diào)母拼音成為音節(jié)。漢語的一個(gè)音節(jié)就是漢語一個(gè)字的音，即音節(jié)字。由音節(jié)字構(gòu)成詞（其中主要是兩音節(jié)字構(gòu)成的兩字詞，約占74%），最后再由詞構(gòu)成句子。國際上，都是用音標(biāo)來描述拼音過程的。漢語也不例外。漢語拼音的音標(biāo)包括

9、：聲母表、韻母表和聲調(diào)符號等。 第二十一張，PPT共五十八頁，創(chuàng)作于2022年6月漢語音節(jié)的一般結(jié)構(gòu) 漢語音節(jié)一般由聲母、韻母和聲調(diào)三部分組成。漢語普通話中有6000多個(gè)常用字每個(gè)漢字是一個(gè)音節(jié)，如將同音字合一處理，則漢語中共有1332個(gè)有調(diào)音節(jié)，其中可以單念的有1268個(gè)。漢語中一般有五個(gè)聲調(diào)，即陰平、陽平、上聲、去聲以及輕聲。如果不考慮聲調(diào)，則漢語中無調(diào)音節(jié)共有407個(gè)。 漢語音節(jié)的一般結(jié)構(gòu)，由9個(gè)部分組成。其中14段屬于聲母（輔音），69段屬于韻母（元音），第5段是二者的過渡段。一個(gè)音節(jié)可能只包含里面的某幾段，但是第7段（主要元音段）是每個(gè)音節(jié)是具有的。 第二十二張，PPT共五十八頁，創(chuàng)

10、作于2022年6月漢語音節(jié)的一般結(jié)構(gòu)第二十三張，PPT共五十八頁，創(chuàng)作于2022年6月漢語聲母的結(jié)構(gòu) 普通話中的22個(gè)聲母可分為六大類：擦音塞音塞擦音邊音鼻音零聲母除零聲母之外，其他所有的聲母全部都是單輔音。 第二十四張，PPT共五十八頁，創(chuàng)作于2022年6月漢語韻母的結(jié)構(gòu) 普通話的38個(gè)韻母大致可以分為三類8個(gè)單韻母，如a、i、u等14個(gè)復(fù)韻母，如ai、ao等16個(gè)鼻韻母如an、uang等在這38個(gè)韻母中有三個(gè)（-i、er、）是特殊韻母。應(yīng)該注意，元音并不等于韻母。元音、輔音是按音素的發(fā)音特征分類的；而聲母、韻母則是按音節(jié)結(jié)構(gòu)分類的。這是兩種不同的概念，盡管它們之間有一定的聯(lián)系。 第二十五張

11、，PPT共五十八頁，創(chuàng)作于2022年6月聲母和韻母的相互作用音征互載 在普通話里，聲母和韻母的音征并不總是在各自的音段之內(nèi)，而且又可能跨越兩者的邊界，即聲母里可能會(huì)帶有韻母的信息，韻母里也可能帶有聲母的信息，如輔音音渡。如果把韻母從元音起始就開始算起的話，那么音渡就是韻母中載帶的輔音音征，對于某些輔音來說，如不送氣塞音b、d，元音里的音渡正是它們之間相互區(qū)別的主要音征。而韻母中的某些音征有聲帶載帶的現(xiàn)象，最典型的就是介音的實(shí)現(xiàn)方式。 第二十六張，PPT共五十八頁，創(chuàng)作于2022年6月漢語的聲調(diào)漢語是一種聲調(diào)語言，相同聲母和韻母構(gòu)成的音節(jié)隨聲調(diào)的不同而具有完全不同的意義，對應(yīng)著不同的漢字。漢語普

12、通話的聲調(diào)只有陰平、陽平、上聲、去聲以及“輕聲”等五種聲調(diào)。聲調(diào)的變化就是濁音基音周期（或基音頻率）的變化，各個(gè)韻母段中基音周期隨時(shí)間的變化產(chǎn)生了聲調(diào)，變化的軌跡稱為聲調(diào)曲線。 第二十七張，PPT共五十八頁，創(chuàng)作于2022年6月漢語的聲調(diào)漢語普通話四種聲調(diào)的典型曲線： 第二十八張，PPT共五十八頁，創(chuàng)作于2022年6月2.1概述2.2語音和語言2.3漢語語音學(xué)2.4語音生成系統(tǒng)和語音感知系統(tǒng)2.5語音信號生成的數(shù)學(xué)模型2.6語音信號的特性分析第2章 語音信號處理的基礎(chǔ)知識第二十九張，PPT共五十八頁，創(chuàng)作于2022年6月2.4 語音生成系統(tǒng)和語音感知系統(tǒng)語音發(fā)音系統(tǒng) 人的發(fā)音器官包括：肺、氣管

13、、喉（包括聲帶）、咽、鼻和口。這些器官共同形成一條形狀復(fù)雜的管道。喉的部分稱為聲門。從聲門到嘴唇的呼氣通道叫做聲道（Vocal Tract）。聲道的形狀主要由嘴唇、顎和舌頭的位置來決定。由聲道形狀的不斷改變，而發(fā)出不同的語音。 第三十張，PPT共五十八頁，創(chuàng)作于2022年6月語音聽覺系統(tǒng)人耳由內(nèi)耳、中耳和外耳三部分組成。 外耳由耳翼、外耳道和鼓膜構(gòu)成。外耳在對聲音的感知中起著聲源定位和聲音放大的作用。 中耳包括由錘骨、砧骨和鐙骨這三塊聽小骨構(gòu)成的聽骨鏈以及咽鼓管等組成。中耳的作用是進(jìn)行聲阻抗的變換，即將中耳兩端的聲阻抗匹配起來，同時(shí)對內(nèi)耳起著保護(hù)的作用 。內(nèi)耳的主要構(gòu)成器官是耳蝸(Cochle

14、a)。它是聽覺的受納器，把聲音通過機(jī)械變換產(chǎn)生神經(jīng)發(fā)放信號。 第三十一張，PPT共五十八頁，創(chuàng)作于2022年6月語音聽覺系統(tǒng)人的聽覺系統(tǒng) 第三十二張，PPT共五十八頁，創(chuàng)作于2022年6月語音聽覺系統(tǒng)人的聽覺系統(tǒng)有兩個(gè)重要特性，一個(gè)是耳蝸對于聲信號的時(shí)頻分析特性；另一個(gè)是人耳聽覺掩蔽效應(yīng)。如果信號是一個(gè)多頻率信號，則產(chǎn)生的行波將沿著基底膜在不同的位置產(chǎn)生最大幅度。從這個(gè)意義上講，耳蝸就象一個(gè)頻譜分析儀，將復(fù)雜的信號分解成各種頻率分量。并非所有的聲音都能被人耳聽到，這取決于聲音的強(qiáng)度和其頻率范圍。心理聲學(xué)中的聽覺掩蔽效應(yīng)是指，在一個(gè)強(qiáng)信號附近，弱信號將變得不可聞，被掩蔽掉了。時(shí)間掩蔽：同時(shí)掩蔽和

15、短時(shí)掩蔽頻率掩蔽第三十三張，PPT共五十八頁，創(chuàng)作于2022年6月2.1概述2.2語音和語言2.3漢語語音學(xué)2.4語音生成系統(tǒng)和語音感知系統(tǒng)2.5語音信號生成的數(shù)學(xué)模型2.6語音信號的特性分析第2章 語音信號處理的基礎(chǔ)知識第三十四張，PPT共五十八頁，創(chuàng)作于2022年6月 2.5 語音信號生成的數(shù)學(xué)模型所謂建立數(shù)學(xué)模型就是要尋求一種可以表達(dá)一定物理狀態(tài)下量與量之間關(guān)系的數(shù)學(xué)表示。建立了語音信號的數(shù)字模型，才能夠用計(jì)算機(jī)來定量地對語音信號進(jìn)行模擬和處理。所以語音信號生成的數(shù)學(xué)模型是語音信號處理的基礎(chǔ)。 第三十五張，PPT共五十八頁，創(chuàng)作于2022年6月 2.5 語音信號生成的數(shù)學(xué)模型理想的模型是

16、線性的和時(shí)不變的。語音信號是非平穩(wěn)隨機(jī)過程，其特性是隨著時(shí)間變化的，所以模型中的參數(shù)應(yīng)該是隨時(shí)間而變化的。但語音信號特性隨著時(shí)間變化是很緩慢的。所以可以作出一些合理的假設(shè)，將語音信號分為一些相繼的短段進(jìn)行處理，在這些短段中可以認(rèn)為語音信號特性是不隨著時(shí)間變化的平穩(wěn)隨機(jī)過程。這樣在這些短段時(shí)間內(nèi)表示語音信號時(shí)，可以采用線性時(shí)不變模型。 第三十六張，PPT共五十八頁，創(chuàng)作于2022年6月激勵(lì)模型激勵(lì)模型一般分成濁音激勵(lì)和清音激勵(lì)來討論。發(fā)濁音時(shí)，由于聲帶不斷張開和關(guān)閉，將產(chǎn)生間歇的脈沖波。這個(gè)脈沖波的波形類似于斜三角形的脈沖，它的數(shù)學(xué)表達(dá)式如下： 式中，N1為斜三角波上升部分的時(shí)間，N2為其下降部

17、分的時(shí)間。單個(gè)斜三角波波形的頻譜的圖形如圖2-18所示。由圖可見，它是一個(gè)低通濾波器。它的變換的全極模型的形式是： 第三十七張，PPT共五十八頁，創(chuàng)作于2022年6月激勵(lì)模型這里，c是一個(gè)常數(shù)。顯然，上式表示斜三角波形可描述為一個(gè)二極點(diǎn)的模型。因此，斜三角波形串可視為加權(quán)了單位脈沖串激勵(lì)上述單個(gè)斜三角波模型的結(jié)果。而該單位脈沖串及幅值因子則可表示成下面的z變換形式： 所以，整個(gè)濁音激勵(lì)模型可表示為： 也就是說濁音激勵(lì)波是一個(gè)以基音周期為周期的斜三角脈沖串。 第三十八張，PPT共五十八頁，創(chuàng)作于2022年6月 聲道模型關(guān)于聲道部分的數(shù)學(xué)模型，有多種觀點(diǎn)，目前最常用的有兩種建模方法。一是把聲道視為

18、由多個(gè)等長的不同截面積的管子串聯(lián)而成的系統(tǒng)。按此觀點(diǎn)推導(dǎo)出的叫“聲管模型”。另一個(gè)是把聲道視為一個(gè)諧振腔，按此推導(dǎo)出的叫“共振峰模型”。 共振峰模型，把聲道視為一個(gè)諧振腔。共振峰就是這個(gè)腔體的諧振頻率。由于人耳聽覺的柯替氏器官的纖毛細(xì)胞就是按頻率感受而排列其位置的，所以這種共振峰的聲道模型方法是非常有效的。一般來說，一個(gè)元音用前三個(gè)共振峰來表示就足夠了；而對于較復(fù)雜的輔音或鼻音，大概要用到前五個(gè)以上的共振峰才行?；谖锢砺晫W(xué)的共振峰理論，可以建立起三種實(shí)用的共振峰模型：級聯(lián)型、并聯(lián)型和混合型。 第三十九張，PPT共五十八頁，創(chuàng)作于2022年6月聲道模型 級聯(lián)型這時(shí)認(rèn)為聲道是一組串聯(lián)的二階諧振器

19、。從共振峰理論來看，整個(gè)聲道具有多個(gè)諧振頻率和多個(gè)反諧振頻率，所以它可被模擬為一個(gè)零極點(diǎn)的數(shù)學(xué)模型；但對于一般元音，則用全極點(diǎn)模型就可以了。它的傳輸函數(shù)可分解表示為多個(gè)二階極點(diǎn)的網(wǎng)絡(luò)的串聯(lián)： 第四十張，PPT共五十八頁，創(chuàng)作于2022年6月聲道模型 級聯(lián)型第四十一張，PPT共五十八頁，創(chuàng)作于2022年6月聲道模型 并聯(lián)型對于非一般元音以及大部分輔音，必須考慮采用零極點(diǎn)模型。此時(shí)，模型的傳輸函數(shù)如下： 通常，NR，且設(shè)分子與分母無公因子及分母無重根，則上式可分解為如下部分分式之和的形式：這就是并聯(lián)型的共振峰模型。如圖2-21所示（M=5）。 第四十二張，PPT共五十八頁，創(chuàng)作于2022年6月聲道

20、模型 并聯(lián)型第四十三張，PPT共五十八頁，創(chuàng)作于2022年6月聲道模型 混合型上述兩種模型中，級聯(lián)型比較簡單，可以用于描述一般元音。當(dāng)鼻化元音或鼻腔參與共振，以及阻塞音或摩擦音等情況時(shí)，級聯(lián)模型就不能勝任了。這時(shí)腔體具有反諧振特性，必須考慮加入零點(diǎn)，使之成為零極點(diǎn)模型。采用并聯(lián)結(jié)構(gòu)的目的就在于此，它比級聯(lián)型復(fù)雜些，每個(gè)諧振器的幅度都要獨(dú)立地給以控制。但對于鼻音、塞音、擦音以及塞擦音等都可以適用。正因?yàn)槿绱?，將級?lián)模型和并聯(lián)模型結(jié)合起來的混合模型也許是比較完備的一種共振峰模型。 第四十四張，PPT共五十八頁，創(chuàng)作于2022年6月聲道模型 混合型共振峰模型 第四十五張，PPT共五十八頁，創(chuàng)作于20

21、22年6月輻射模型從聲道模型輸出的是速度波 ，而語音信號是聲壓波 ，二者之倒比稱為輻射阻抗 。它表征口唇的輻射效應(yīng)，也包括圓形的頭部的繞射效應(yīng)等。當(dāng)然，從理論上推導(dǎo)這個(gè)阻抗是有困難的。但是如果認(rèn)為口唇張開的面積遠(yuǎn)小于頭部的表面積，則可近似地看成平板開槽輻射的情況。此時(shí)，可推導(dǎo)出輻射阻抗的公式如下： 式中， ，這里， 是口唇張開時(shí)的開口半徑， 是聲波傳播速度。圖2-24 顯示了輻射阻抗的實(shí)部和虛部的頻率響應(yīng)曲線。由輻射引起的能量損耗正比于輻射阻抗的實(shí)部，所以輻射模型是一階類高通濾波器。 第四十六張，PPT共五十八頁，創(chuàng)作于2022年6月語音信號的數(shù)學(xué)模型 綜上所述，完整的語音信號的數(shù)字模型可以用

22、三個(gè)子模型：激勵(lì)模型、聲道模型和輻射模型的串聯(lián)來表示。如圖所示： 它的傳輸函數(shù)可以表示為：第四十七張，PPT共五十八頁，創(chuàng)作于2022年6月語音信號的數(shù)學(xué)模型這里，U(z)是激勵(lì)信號，濁音時(shí)U(z)是聲門脈沖即斜三角形脈沖序列的z變換；在清音的情況下， U(z)是一個(gè)隨機(jī)噪聲的z變換。V(z)是聲道傳輸函數(shù)，既可用聲管模型，也可以共振峰模型等來描述。實(shí)際上就是全極點(diǎn)模型：上式所示模型的內(nèi)部結(jié)構(gòu)并不和語音產(chǎn)生的物理過程相一致，但這種模型和真實(shí)模型在輸出處是等效的。第四十八張，PPT共五十八頁，創(chuàng)作于2022年6月2.1概述2.2語音和語言2.3漢語語音學(xué)2.4語音生成系統(tǒng)和語音感知系統(tǒng)2.5語音

23、信號生成的數(shù)學(xué)模型2.6語音信號的特性分析第2章 語音信號處理的基礎(chǔ)知識第四十九張，PPT共五十八頁，創(chuàng)作于2022年6月2.6 語音信號的特性分析語音信號的特性主要是指它的聲學(xué)特性、語音信號的時(shí)域波形和頻譜特性以及語音信號的統(tǒng)計(jì)特性等。在時(shí)間域里，語音信號可以直接用它的時(shí)間波形表示出來，通過觀察時(shí)間波形可以看出語音信號的一些重要特性。第五十張，PPT共五十八頁，創(chuàng)作于2022年6月語音信號的時(shí)域波形 下圖是漢語拼音“sou ke”的時(shí)間波形。表示這段語音波形時(shí)采用的采樣頻率是8kHz，量化精度是16bit。從B點(diǎn)開始的音節(jié)OU從D點(diǎn)開始的音節(jié)e元音具有明顯的周期性，且振幅較大清輔音的波形類似于白噪聲，振幅很小，沒有明顯的周期性從A點(diǎn)開始的音節(jié)s從C點(diǎn)開始的音節(jié)k第五十一張，PPT共五十八頁，創(chuàng)作于2022年6月語音信號的頻譜特性語音信號屬于短時(shí)平穩(wěn)信號，一般認(rèn)為在1030ms內(nèi)語音信號特性基本上是不變的，或者變化很緩慢。于是，可以從中截取一小段進(jìn)行頻譜分析。下圖給出“sou”中音素“ou”的傅里葉變換 ：頻率/kHz幅度/dB第五十二張，PPT共五十八頁，創(chuàng)作于2022年6