第2講 語音信號處理基礎(chǔ)知識.ppt

1、2.1概述 2.2語音和語言 2.3漢語語音學(xué) 2.4語音生成系統(tǒng)和語音感知系統(tǒng) 2.5語音信號生成的數(shù)學(xué)模型 2.6語音信號的特性分析,第2章 語音信號處理的基礎(chǔ)知識,2.1 概述,語音信號處理 目的: 一是要通過處理得到一些反映語音信號重要特征的語音參數(shù)以便高效的傳輸或儲存語音信號信息； 二是要通過處理的某種運(yùn)算以達(dá)到某種用途的要求，例如人工合成出語音、辨識出講話者、識別出講話的內(nèi)容等等。,研究用數(shù)字信號處理技術(shù)對語音信號進(jìn)行處理的一門學(xué)科,語音中包含的信息,語言（文字） 說話人信息：身份、性別、年齡 方言：認(rèn)老鄉(xiāng)的主要依據(jù) 情感（情緒） 語種：國外找“親人”的主要信息來源 說話方式（快、

2、慢、耳語） 語音品質(zhì)（口語、朗誦、流暢性、動聽度） 健康狀況：特別是發(fā)音器官病變,重要概念,語音 音節(jié) 元音、輔音 清音、濁音 聲母、韻母 共振峰、音色 語譜圖、聲紋,2.1概述 2.2語音和語言 2.3漢語語音學(xué) 2.4語音生成系統(tǒng)和語音感知系統(tǒng) 2.5語音信號生成的數(shù)學(xué)模型 2.6語音信號的特性分析,第2章 語音信號處理的基礎(chǔ)知識,2.2 語音和語言 語音是人的發(fā)聲器官發(fā)出的一種聲波，它具有一定的音色，音調(diào)，音強(qiáng)和音長。,一種聲音區(qū)別于另一種聲音的基本特征,聲音的高低，它取決于聲波的頻率,聲音的強(qiáng)弱,聲波的振動幅度決定,聲音的長短叫音長，它取決于發(fā)音時(shí)間的長短,語音,語音（Speech）=

3、聲音（Acoustic）+語言（Language），是二者的組合體 語音是由一連串的音組成語言的聲音,語言是從人們的話語中概括總結(jié)出來的規(guī)律性的符號系統(tǒng)。,2.2 語音和語言,2.2 語音和語言,2.2 語音和語言,不同層次的單位: 語素、詞、短語和句子,語法和語義內(nèi)容: 詞法、句法、文脈,2.2 語音和語言,人的說話的過程：,語音學(xué)(Phonetics)是研究言語過程的一門科學(xué)。 它考慮的是語音產(chǎn)生、語音感知等的過程以及語音中各個(gè)音的特征和分類等問題。 現(xiàn)代語音學(xué)發(fā)展成為三個(gè)主要分 支： 發(fā)音語音學(xué) 聲學(xué)語音學(xué) 聽覺語音學(xué),2.2 語音和語言,2.2 語音和語言,當(dāng)聲帶振動發(fā)出的聲音氣流從喉

4、腔、咽腔進(jìn)入口腔從唇腔出去時(shí)，這些聲腔完全開放，氣流順利通過，這種音稱為元音。,2.2 語音和語言 呼出的聲流，由于通路的某一部分封閉起來或受到阻礙，氣流被阻不能暢通，而克服發(fā)音器官的這種阻礙而產(chǎn)生的音素稱為輔音。 發(fā)輔音時(shí)由聲帶是否振動引起濁音和清音的區(qū)別，聲帶振動的是濁音，聲帶不振動的是清音。 （b/p）,2.2 語音和語言 決定元音音色的主要因素是舌頭的形狀及其在口腔中的位置(簡稱舌位)、嘴唇的形狀(簡稱口形)等。 元音的另一個(gè)重要聲學(xué)特性是共振峰（Formant）。共振峰參數(shù)是區(qū)別不同元音的重要參數(shù)，它一般包括共振峰頻率（Formant Frequency）的位置和頻帶寬度（Forma

5、nt Bandwidth）。 一般地說，女聲和童聲的基頻高于男聲，但是實(shí)驗(yàn)表明：區(qū)分語音是男聲還是女聲、是成人聲音還是兒童聲音，更重要的因素是共振峰頻率的高低。,2.2 語音和語言 發(fā)音器官產(chǎn)生元音的三條件 聲道受到聲帶振動的激勵引起共振； 在語音流的持續(xù)過程中，聲道不發(fā)生極端的狹窄，并維持較穩(wěn)定的形狀； 和鼻腔不發(fā)生偶合，聲音只從口腔輻射出去。 這三個(gè)條件中，只要缺少其中之一，則該語音就是輔音。 輔音沒有明確的共振峰結(jié)構(gòu)。輔音發(fā)音時(shí)的阻礙的位置叫調(diào)音點(diǎn)（Place of Articulation）、阻礙的方法叫調(diào)音方式（Manner of Articulation ）,2.2 語音和語言 調(diào)

6、音方式等的不同可以把輔音分成如下幾類：塞音、摩擦音、塞擦音、鼻音、邊音、顫音、通音。 根據(jù)發(fā)輔音時(shí)聲帶有無振動，可以把輔音分類成濁輔音和清輔音。 根據(jù)輔音除阻后是否緊跟著送出一股氣來，可以把輔音分類成送氣輔音和不送氣輔音。,2.1概述 2.2語音和語言 2.3漢語語音學(xué) 2.4語音生成系統(tǒng)和語音感知系統(tǒng) 2.5語音信號生成的數(shù)學(xué)模型 2.6語音信號的特性分析,第2章 語音信號處理的基礎(chǔ)知識,2.3 漢語語音學(xué) 漢語語音的特點(diǎn)： 音系簡單。這是指音素少、音節(jié)少。音節(jié)的結(jié)構(gòu)也比較簡單。 由于清輔音多，而且多是弱清音，而且開口呼的音節(jié)占全部音節(jié)的一半以上，所以漢語語音聽感上有清亮、高揚(yáng)和舒服、柔和的

7、感覺。 有鮮明的輕重音和兒化韻，所以字詞分隔清楚，語言表達(dá)準(zhǔn)確而豐富。,漢語的拼音方法 漢語由音素構(gòu)成聲母或韻母。有時(shí)，將含有聲調(diào)（漢語通常認(rèn)為有五個(gè)聲調(diào)）的韻母稱為調(diào)母。由單個(gè)調(diào)母或由聲母與調(diào)母拼音成為音節(jié)。 漢語的一個(gè)音節(jié)就是漢語一個(gè)字的音，即音節(jié)字。由音節(jié)字構(gòu)成詞（其中主要是兩音節(jié)字構(gòu)成的兩字詞，約占74%），最后再由詞構(gòu)成句子。 國際上，都是用音標(biāo)來描述拼音過程的。漢語也不例外。漢語拼音的音標(biāo)包括：聲母表、韻母表和聲調(diào)符號等。,漢語音節(jié)的一般結(jié)構(gòu) 漢語音節(jié)一般由聲母、韻母和聲調(diào)三部分組成。漢語普通話中有6000多個(gè)常用字 每個(gè)漢字是一個(gè)音節(jié)，如將同音字合一處理，則漢語中共有1332個(gè)有

8、調(diào)音節(jié)，其中可以單念的有1268個(gè)。 漢語中一般有五個(gè)聲調(diào)，即陰平、陽平、上聲、去聲以及輕聲。如果不考慮聲調(diào)，則漢語中無調(diào)音節(jié)共有407個(gè)。 漢語音節(jié)的一般結(jié)構(gòu)，由9個(gè)部分組成。其中14段屬于聲母（輔音），69段屬于韻母（元音），第5段是二者的過渡段。一個(gè)音節(jié)可能只包含里面的某幾段，但是第7段（主要元音段）是每個(gè)音節(jié)是具有的。,漢語音節(jié)的一般結(jié)構(gòu),漢語聲母的結(jié)構(gòu) 普通話中的22個(gè)聲母可分為六大類： 擦音 塞音 塞擦音 邊音 鼻音 零聲母 除零聲母之外，其他所有的聲母全部都是單輔音。,漢語韻母的結(jié)構(gòu) 普通話的38個(gè)韻母大致可以分為三類 8個(gè)單韻母，如a、i、u等 14個(gè)復(fù)韻母，如ai、ao等 1

9、6個(gè)鼻韻母如an、uang等 在這38個(gè)韻母中有三個(gè)（-i、er、）是特殊韻母。 應(yīng)該注意，元音并不等于韻母。元音、輔音是按音素的發(fā)音特征分類的；而聲母、韻母則是按音節(jié)結(jié)構(gòu)分類的。這是兩種不同的概念，盡管它們之間有一定的聯(lián)系。,聲母和韻母的相互作用音征互載,在普通話里，聲母和韻母的音征并不總是在各自的音段之內(nèi)，而且又可能跨越兩者的邊界，即聲母里可能會帶有韻母的信息，韻母里也可能帶有聲母的信息，如輔音音渡。如果把韻母從元音起始就開始算起的話，那么音渡就是韻母中載帶的輔音音征，對于某些輔音來說，如不送氣塞音b、d，元音里的音渡正是它們之間相互區(qū)別的主要音征。 而韻母中的某些音征有聲帶載帶的現(xiàn)象，最

10、典型的就是介音的實(shí)現(xiàn)方式。,漢語的聲調(diào) 漢語是一種聲調(diào)語言，相同聲母和韻母構(gòu)成的音節(jié)隨聲調(diào)的不同而具有完全不同的意義，對應(yīng)著不同的漢字。漢語普通話的聲調(diào)只有陰平、陽平、上聲、去聲以及“輕聲”等五種聲調(diào)。 聲調(diào)的變化就是濁音基音周期（或基音頻率）的變化，各個(gè)韻母段中基音周期隨時(shí)間的變化產(chǎn)生了聲調(diào)，變化的軌跡稱為聲調(diào)曲線。,漢語的聲調(diào) 漢語普通話四種聲調(diào)的典型曲線：,2.1概述 2.2語音和語言 2.3漢語語音學(xué) 2.4語音生成系統(tǒng)和語音感知系統(tǒng) 2.5語音信號生成的數(shù)學(xué)模型 2.6語音信號的特性分析,第2章 語音信號處理的基礎(chǔ)知識,2.4 語音生成系統(tǒng)和語音感知系統(tǒng) 語音發(fā)音系統(tǒng) 人的發(fā)音器官包

11、括：肺、氣管、喉（包括聲帶）、咽、鼻和口。這些器官共同形成一條形狀復(fù)雜的管道。喉的部分稱為聲門。 從聲門到嘴唇的呼氣通道叫做聲道（Vocal Tract）。聲道的形狀主要由嘴唇、顎和舌頭的位置來決定。由聲道形狀的不斷改變，而發(fā)出不同的語音。,語音聽覺系統(tǒng) 人耳由內(nèi)耳、中耳和外耳三部分組成。 外耳由耳翼、外耳道和鼓膜構(gòu)成。外耳在對聲音的感知中起著聲源定位和聲音放大的作用。 中耳包括由錘骨、砧骨和鐙骨這三塊聽小骨構(gòu)成的聽骨鏈以及咽鼓管等組成。中耳的作用是進(jìn)行聲阻抗的變換，即將中耳兩端的聲阻抗匹配起來，同時(shí)對內(nèi)耳起著保護(hù)的作用 。 內(nèi)耳的主要構(gòu)成器官是耳蝸(Cochlea)。它是聽覺的受納器，把聲音

12、通過機(jī)械變換產(chǎn)生神經(jīng)發(fā)放信號。,語音聽覺系統(tǒng) 人的聽覺系統(tǒng),語音聽覺系統(tǒng) 人的聽覺系統(tǒng)有兩個(gè)重要特性，一個(gè)是耳蝸對于聲信號的時(shí)頻分析特性；另一個(gè)是人耳聽覺掩蔽效應(yīng)。 如果信號是一個(gè)多頻率信號，則產(chǎn)生的行波將沿著基底膜在不同的位置產(chǎn)生最大幅度。從這個(gè)意義上講，耳蝸就象一個(gè)頻譜分析儀，將復(fù)雜的信號分解成各種頻率分量。 并非所有的聲音都能被人耳聽到，這取決于聲音的強(qiáng)度和其頻率范圍。心理聲學(xué)中的聽覺掩蔽效應(yīng)是指，在一個(gè)強(qiáng)信號附近，弱信號將變得不可聞，被掩蔽掉了。 時(shí)間掩蔽：同時(shí)掩蔽和短時(shí)掩蔽 頻率掩蔽,2.1概述 2.2語音和語言 2.3漢語語音學(xué) 2.4語音生成系統(tǒng)和語音感知系統(tǒng) 2.5語音信號生成

13、的數(shù)學(xué)模型 2.6語音信號的特性分析,第2章 語音信號處理的基礎(chǔ)知識,2.5 語音信號生成的數(shù)學(xué)模型 所謂建立數(shù)學(xué)模型就是要尋求一種可以表達(dá)一定物理狀態(tài)下量與量之間關(guān)系的數(shù)學(xué)表示。 建立語音信號的數(shù)字模型，才能用計(jì)算機(jī)來定量地對語音信號進(jìn)行模擬和處理。所以語音信號生成的數(shù)學(xué)模型是語音信號處理的基礎(chǔ)。,2.5 語音信號生成的數(shù)學(xué)模型 理想的模型是線性的和時(shí)不變的。 語音信號是非平穩(wěn)隨機(jī)過程，其特性是隨著時(shí)間變化的，所以模型中的參數(shù)應(yīng)該是隨時(shí)間而變化的。但語音信號特性隨著時(shí)間變化是很緩慢的。所以可以作出一些合理的假設(shè)，將語音信號分為一些相繼的短段進(jìn)行處理，在這些短段中可以認(rèn)為語音信號特性是不隨著時(shí)

14、間變化的平穩(wěn)隨機(jī)過程。這樣在這些短段時(shí)間內(nèi)表示語音信號時(shí)，可以采用線性時(shí)不變模型。,激勵模型 激勵模型一般分成濁音激勵和清音激勵來討論。發(fā)濁音時(shí)，由于聲帶不斷張開和關(guān)閉，將產(chǎn)生間歇的脈沖波。這個(gè)脈沖波的波形類似于斜三角形的脈沖，它的數(shù)學(xué)表達(dá)式如下： N1為斜三角波上升部分的時(shí)間，N2為其下降部分的時(shí)間。,喉內(nèi)窺鏡圖像,聲門波曲線,聲門及聲門波,激勵模型 單個(gè)斜三角波波形的頻譜的圖形如圖2-18所示。由圖可見，它是一個(gè)低通濾波器。它的變換的全極模型的形式是：,c是一個(gè)常數(shù)。顯然，上式表示斜三角波形可描述為一個(gè)二極點(diǎn)的模型。因此，斜三角波形串可視為加權(quán)了單位脈沖串激勵上述單個(gè)斜三角波模型的結(jié)果。,

15、激勵模型 單位脈沖串及幅值因子則可表示成下面的z變換形式： 所以，整個(gè)濁音激勵模型可表示為： 也就是說濁音激勵波是一個(gè)以基音周期為周期的斜三角脈沖串。,聲道模型 目前最常用的有兩種： 聲管模型、共振峰模型 聲管模型：把聲道視為由多個(gè)等長的不同截面積的管子串聯(lián)而成的系統(tǒng)。 共振峰模型：把聲道視為一個(gè)諧振腔。共振峰就是這個(gè)腔體的諧振頻率。 由于人耳聽覺的柯替氏器官的纖毛細(xì)胞就是按頻率感受而排列其位置的，所以這種共振峰的聲道模型方法是非常有效的。 一般來說，一個(gè)元音用前三個(gè)共振峰來表示就足夠了；而對于較復(fù)雜的輔音或鼻音，大概要用到前五個(gè)以上的共振峰才行?；谖锢砺晫W(xué)的共振峰理論，可以建立起三種實(shí)用的

16、共振峰模型：級聯(lián)型、并聯(lián)型和混合型。,聲道模型 級聯(lián)型 這時(shí)認(rèn)為聲道是一組串聯(lián)的二階諧振器。從共振峰理論來看，整個(gè)聲道具有多個(gè)諧振頻率和多個(gè)反諧振頻率，所以它可被模擬為一個(gè)零極點(diǎn)的數(shù)學(xué)模型；但對于一般元音，則用全極點(diǎn)模型就可以了。 傳輸函數(shù)可分解表示為多個(gè)二階極點(diǎn)的網(wǎng)絡(luò)的串聯(lián)：,聲道模型 級聯(lián)型,聲道模型 并聯(lián)型 對于非一般元音以及大部分輔音，必須考慮采用零極點(diǎn)模型。此時(shí)，模型的傳輸函數(shù)如下： 通常，NR，且設(shè)分子與分母無公因子及分母無重根，則上式可分解為如下部分分式之和的形式： 這就是并聯(lián)型的共振峰模型。如圖2-21所示（M=5）。,聲道模型 并聯(lián)型,聲道模型 混合型 上述兩種模型中，級聯(lián)型

17、比較簡單，可以用于描述一般元音。當(dāng)鼻化元音或鼻腔參與共振，以及阻塞音或摩擦音等情況時(shí)，級聯(lián)模型就不能勝任了。這時(shí)腔體具有反諧振特性，必須考慮加入零點(diǎn)，使之成為零極點(diǎn)模型。采用并聯(lián)結(jié)構(gòu)的目的就在于此，它比級聯(lián)型復(fù)雜些，每個(gè)諧振器的幅度都要獨(dú)立地給以控制。但對于鼻音、塞音、擦音以及塞擦音等都可以適用。正因?yàn)槿绱?，將級?lián)模型和并聯(lián)模型結(jié)合起來的混合模型也許是比較完備的一種共振峰模型。,聲道模型 混合型共振峰模型,輻射模型 從聲道模型輸出的是速度波 ，而語音信號是聲壓波 ，二者之倒比稱為輻射阻抗 。它表征口唇的輻射效應(yīng)，也包括圓形的頭部的繞射效應(yīng)等。當(dāng)然，從理論上推導(dǎo)這個(gè)阻抗是有困難的。但是如果認(rèn)為口

18、唇張開的面積遠(yuǎn)小于頭部的表面積，則可近似地看成平板開槽輻射的情況。此時(shí)，可推導(dǎo)出輻射阻抗的公式如下： 式中， ，這里， 是口唇張開時(shí)的開口半徑， 是聲波傳播速度。圖2-24 顯示了輻射阻抗的實(shí)部和虛部的頻率響應(yīng)曲線。 由輻射引起的能量損耗正比于輻射阻抗的實(shí)部，所以輻射模型是一階類高通濾波器。,語音信號的數(shù)學(xué)模型 綜上所述，完整的語音信號的數(shù)字模型可以用三個(gè)子模型：激勵模型、聲道模型和輻射模型的串聯(lián)來表示。如圖所示： 它的傳輸函數(shù)可以表示為：,語音信號的數(shù)學(xué)模型 這里，U(z)是激勵信號，濁音時(shí)U(z)是聲門脈沖即斜三角形脈沖序列的z變換；在清音的情況下， U(z)是一個(gè)隨機(jī)噪聲的z變換。 V(

19、z)是聲道傳輸函數(shù)，既可用聲管模型，也可以共振峰模型等來描述。實(shí)際上就是全極點(diǎn)模型： 上式所示模型的內(nèi)部結(jié)構(gòu)并不和語音產(chǎn)生的物理過程相一致，但這種模型和真實(shí)模型在輸出處是等效的。,2.1概述 2.2語音和語言 2.3漢語語音學(xué) 2.4語音生成系統(tǒng)和語音感知系統(tǒng) 2.5語音信號生成的數(shù)學(xué)模型 2.6語音信號的特性分析,第2章 語音信號處理的基礎(chǔ)知識,2.6 語音信號的特性分析,語音信號的特性主要是指它的聲學(xué)特性、語音信號的時(shí)域波形和頻譜特性以及語音信號的統(tǒng)計(jì)特性等。,在時(shí)間域里，語音信號可以直接用它的時(shí)間波形表示出來，通過觀察時(shí)間波形可以看出語音信號的一些重要特性。,語音信號的時(shí)域波形 下圖是漢

20、語拼音“sou ke”的時(shí)間波形。表示這段語音波形時(shí)采用的采樣頻率是8kHz，量化精度是16bit。,從B點(diǎn)開始的音節(jié)OU,從D點(diǎn)開始的音節(jié)e,元音具有明顯的周期性， 且振幅較大,清輔音的波形類似于白噪聲， 振幅很小，沒有明顯的周期性,從A點(diǎn)開始的音節(jié)s,從C點(diǎn)開始的音節(jié)k,Waveform for “Kaimen”,元音的準(zhǔn)平穩(wěn)特征,長約200ms的元音“a”的波形圖 長約45ms的元音“a”的波形圖 長約15ms的元音“a”的波形圖,背景噪音,輔音,輔音和背景噪聲的波形,語音信號的頻譜特性 語音信號屬于短時(shí)平穩(wěn)信號，一般認(rèn)為在1030ms內(nèi)語音信號特性基本上是不變的，或者變化很緩慢。于是，可以從中截取一小段進(jìn)行頻譜分析。下圖給出“sou”中音素“ou”的傅里葉變換 ：,語音信號的語譜圖（Spectrogram） 語音的時(shí)域分析和頻域分析,兩種重要方法;均有局限性： 1)時(shí)域分析對語音信號的頻率特性沒有直觀的了解； 2)頻域分析出的特征中又沒