聲音信號的特征檢測

1、摘要語言是人類最為重要的交流工具， 它具有簡易方便， 準確自然等其他工具所 無法替代的特點。 隨著信息社會的迅速發(fā)展， 計算機已經(jīng)滲透進人類生活工作的 每一個角落， 因此人機交互顯得尤其重要。 在人機交互的各種通信方式中， 語音 通信又是最好的交流方式， 而聲音信號的特征參數(shù)的精確度就會直接影響著語音 通信的質(zhì)量和準確度。 因此，聲音信號的特征檢測在語音信號處理中是一項非常 重要的工作。本文利用 MATLAB 軟件檢測聲音信號的特征參數(shù)，以語音信號為主，首先 討論了聲音信號的基本特性，包括聲音信號的產(chǎn)生，傳播，聲學(xué)特性等等。然后 又分別討論了聲音信號在時域， 變換域的特征參數(shù)。 最后詳細研究了

2、聲音信號的 特征參數(shù)的檢測提取。第一章 聲音信號的基本特征1.1 聲音信號的產(chǎn)生聲音是一種波，它是由物體振動產(chǎn)生的，能被人耳聽到，它的振動頻率在 2020000Hz 之間。自然界中有各種各樣的聲音，如雷聲，樹葉被風(fēng)吹時發(fā)出的 “颯颯”聲，大海波濤洶涌的翻滾聲，機械工作時發(fā)出的聲音等等。語音也是聲 音的一種，它是由人的發(fā)聲器官發(fā)出的，語音的振動頻率最高可達15000Hz。語音信號的產(chǎn)生過程分為如下幾個階段： 首先，說話人在頭腦中產(chǎn)生想要用 語言表達的信息； 然后將這些信息轉(zhuǎn)換成語言編碼， 即將這些信息用其所包含的 音素序列、韻律、響度?；糁芷诘纳档缺硎境鰜怼Ｒ坏@些信息編碼完成 后，說話人

3、會用一些神經(jīng)肌肉命令在適當(dāng)?shù)臅r候控制聲帶震動， 并塑造聲道的形 狀以便發(fā)出編碼中指定的聲音序列。 神經(jīng)肌肉命令必須同時控制調(diào)音運動中涉及 的各個部位：唇、腭、舌頭以及控制氣流進入鼻腔的軟腭。 一旦產(chǎn)生了語音信號， 并將這些信息傳遞到聽者時， 語音的感知過程也就開始了。 聽者內(nèi)耳的基底膜對 語音信號進行動態(tài)的頻譜分析， 神經(jīng)傳感器將基底膜輸出的頻譜信號轉(zhuǎn)換成對聽 覺神經(jīng)的觸動信號， 這一過程和后面將要介紹的特征提取過程有些類似。 作用在 聽覺神經(jīng)上的活動信號， 在大腦更高層的中樞轉(zhuǎn)化成語言編碼， 并由此產(chǎn)生具有 語義的信息。人類的語音是由人體發(fā)聲器官在大腦控制下的生理運動產(chǎn)生的。 人的發(fā)聲器 官

4、包括肺、氣管、喉、咽、鼻腔和口腔等，如圖 1-1 所示。喉以上的部分稱為聲 道，發(fā)出聲音的不同會導(dǎo)致其形狀的變化，所以聽到的聲音 也不同；而喉（包括聲帶）的部分稱為聲門，呼吸時左右兩聲帶打開，講話時則合攏。聲帶每開啟和閉合一次的時間即振動周期稱為音調(diào)周期或者基音周期，其倒數(shù)稱為基因頻率，簡稱基頻?；蝾l率取決于聲帶的尺寸和特性，也決定于它 所受的張力。聲帶振動的頻率決定了聲音頻率的高低，頻率快則音頻高，頻率慢 則音調(diào)低。基音的范圍約為80-500HZ左右，它隨發(fā)音人的性別、年齡及具體情 況而定，老年男性偏低，小孩和青年女性偏高?，F(xiàn)在我們來討論一下聲音的產(chǎn)生過程。其原理圖如圖1-2所示。根據(jù)聲帶

5、是否震動，語音又分為濁音和清音。在發(fā)聲的過程中，肺當(dāng)聲帶處于收緊狀態(tài)時， 流經(jīng)的氣流使聲帶振動，這時產(chǎn)生的聲音成為濁音，沒有聲帶振動的音稱為清音。 當(dāng)聲帶處于松弛狀態(tài)時，有兩種方式能發(fā)出聲音：一種方式是通過舌頭，在聲道 的某一部分形成狹窄部位，也稱為收緊點，當(dāng)氣流經(jīng)過這個收緊點時會產(chǎn)生湍流， 形成噪聲型聲音。這時對應(yīng)的收緊點的位置不同及聲道形狀的不同， 形成不同的 摩擦音。另一種方式是聲帶處于松懈狀態(tài)， 利用舌頭和嘴唇關(guān)閉聲音，暫時阻止 氣流。當(dāng)氣流壓力非常高時，突然放開舌與唇，氣流被突然釋放產(chǎn)生短暫脈沖音。對 應(yīng) 于 聲 道 閉 緊 點 的 不 同 位置 和肺活量主聲it:聲門驚上.經(jīng)咽舉

6、腔的營直取& 道 ：經(jīng)力i舌和揖的管道稱為鼻道。 次聲門舷 經(jīng)肺、氣官和支氣営的琶道。聲道的形狀，形成不同的爆破音。綜上所述，聲道是氣流自聲門之后最為重要的器官，它是一個具有分布參 數(shù)系統(tǒng)的諧振腔，因而有許多諧振頻率。諧振頻率由瞬態(tài)的聲道外形所決定。 人 在說話的時候舌和唇連續(xù)運動，使得聲道發(fā)生外形和尺寸上的改變，隨即改變了 諧振頻率。諧振頻率發(fā)生在Fn = 4L)Gn = 1,2,3，C為聲速，空氣中c=340m/s。L為聲道長度，n表示諧振頻率的序號。這些 諧振頻率稱為共振峰頻率，簡稱為共振峰，它是聲道的重要聲學(xué)特性。聲道對于 一個激勵信號的響應(yīng)，可以用一個含有多對極點的線性系統(tǒng)來近似描述

7、。每對極點都對應(yīng)一個共振峰頻率。這個線性系統(tǒng)的頻率響應(yīng)特性稱為共振峰特性，它決 定信號頻譜的總輪廓或者譜包絡(luò)。聲音的頻率特性也主要是由共振峰決定的。 其 中共振峰特性和元音的音色密切相關(guān)。1.2聲音信號的特征1.2.1聲音信號的基本特性聲音是一種波，它具有以下幾種物理特征：音質(zhì)。它是一種聲音區(qū)別于其 他聲音的基本特征。C2音調(diào)。就是聲音的高低。音調(diào)取決于聲波的頻率，頻率快音調(diào)就高，頻率慢音調(diào)就低。03響度。響度表示聲音的強弱，它是由聲波振動幅度決定的。04音長。它表示聲音的長短，是由發(fā)音持續(xù)時間的長短決定的。 除了有物理特征外，它還具有另一個重要的性質(zhì)，這就是聲音總是能表達一定的意義和思想內(nèi)容

8、。 而且不僅如此， 它還能表達出一定的語氣、 情感。因此， 聲音中所包含的信息是豐富多彩的。我們平時說話的時候很自然地一次發(fā)出來的、有一個響亮的中心的、聽的 時候也很自然地感到是一個小的語音片段的， 稱為音節(jié)。 音節(jié)是構(gòu)成語音的最小 單位，是發(fā)聲的最小單位。 而一個音節(jié)又是由一個或若干個音素構(gòu)成， 音素是語 音的最小、 最基本的組成單位。 各種音素組合到一起構(gòu)成了不同的音節(jié)， 各種音 節(jié)組合到一起又構(gòu)成了更大的單位詞， 詞是文章的基礎(chǔ)， 是有意義的語言的 最小單位。任何語音都有元音和輔音兩種音素。一個音節(jié)由元音和輔音構(gòu)成。元音是 由聲帶的振動發(fā)出的聲音， 它是一個音節(jié)的主要部分。 每個元音的特

9、點是由聲道 的形狀和尺寸決定的。 所有元音都是濁音。 輔音則是由呼出的氣流克服發(fā)音器官 的阻礙而產(chǎn)生的。 發(fā)輔音時如果聲帶不振動， 稱為清輔音； 發(fā)輔音時如果聲帶振 動，則稱為濁輔音。1.2.2聲音信號的時域波形及特性 在進行聲音信號數(shù)字化處理時，能最為直觀的了解聲音信號的方式便是看 它的時域波形。 下面我們利用計算機聲卡錄音， 看一下這段聲音的時域波形。 要 求采樣頻率為8kHz，每個采樣點用16位進行量化，錄音時間為1s，內(nèi)容為“你 好”圖中橫軸為時間，縱軸為信號的幅度。從圖1-3(a)中可以看出聲音能量的起伏，以及聲音信號隨時間變化的過程。圖1-3 (b)是將“好”的元音部分laol拉長

10、后的形狀。圖1-3 (c)是“好”的輔音lhl的波形圖。4語音波形44圖1-3 (a)語音信號“你好”的時域波形44圖 1-3 (b)元音部分/ao/的波形語音波形200015001000500 0-500 -1000 -1500 -2000100020003000400050006000700080002500-25000圖1-3 (c)輔音部分/h/的波形可以看出，元音/ao/的波形具有很強的準周期性并且有較強的振幅。它的周 期對應(yīng)的就是基音頻率。而/h/的波形類似于白噪聲，并且振幅也弱一些。1.2.3聲音信號的頻域波形及特性前面我們所研究的時域波形雖然簡單直觀，但是對于一些復(fù)雜的聲音信號

11、一些特性只有在頻域中才能體現(xiàn)出來；并且頻譜是表征語音特征的基本參數(shù)。共振峰即是一個典型的頻域參數(shù)，它決定了信號頻譜的包絡(luò)。在聲音的發(fā)音過程 中，聲道通常都處于運動狀態(tài)，但是這個運動狀態(tài)的時變過程同振動過程相比要 緩慢得多，因此我們研究聲音信號的時候都要假設(shè)其為一種短時平穩(wěn)信號，一般都假定在10ms30ms之內(nèi)是相對平穩(wěn)的，但在長時間的周期中聲音信號的特性 會發(fā)生變化，這種變化的不同決定了聲音的不同。 根據(jù)聲音信號這種短時平穩(wěn)的 特點，在每一時刻都可以用該時刻附近的一短段語音信號分析得到一個頻譜。圖1-4給出了“你好”的頻譜特性。124語譜圖前面的頻譜分析只能反映出信號的頻率變化，而不能表示信號

12、的時間變化特性。由于語音信號是一種短時平穩(wěn)信號，可以在每個時刻用其附近的短時段語音 信號分析得到一種頻譜，將語音信號連續(xù)地進行這種頻譜分析， 可以得到一種二 維圖譜，橫坐標表示時間，縱坐標表示頻率，每個像素的灰度值大小反映相應(yīng)時 刻和相應(yīng)頻率的能量。這種視頻圖稱為語譜圖。能量功率譜的表達式為1 2Px n, 3 =時 |X n, CD |2其中，X(n, 3)= t 乂 x k 3 n- k e-j wk; n是一個長度為2N+1的窗函數(shù),X(n, 3)表示在時域以n點為中心的一幀信號的傅里葉變換在 3處的大小。在實 際情況下，一般不用對每個可能的頻率和時間計算相應(yīng)的能量。對于頻率軸，-般計算

13、2N+1點就足夠；對于時間軸，取 N個點也足夠了。Vr- _f1fl *-,IbJ!I2or451I 500024( me圖1-5 一段語音的語譜圖I圖1-5給出了一段語音的語譜圖。圖中橫軸表示時間，縱軸表示頻率，顏色 的深淺表示該處能量的大小，一般用能量的對數(shù)表示。巧0(】 jnrn I3CM)U20001(X30500第二章聲音信號的特征分析對于聲音信號的分析所采用的主要技術(shù)是“短時分析技術(shù)”。聲音信號的特征是隨時間變化的，是一個非穩(wěn)態(tài)的過程。但即便如此，由于發(fā)聲時人的口腔肌 肉運動頻率相對于語音頻率來講是相對緩慢的， 所以在一個短時間范圍內(nèi)，它的 基本特征是可以被認為是保持不變的，那么我

14、們就可以將其視為一個準穩(wěn)態(tài)過程。 因此，對于一段較長的語音我們必須將其分為一段一段的“幀”進行處理，幀長 一般取 10ms30ms對聲音信號進行特征分析之前，首先需要對信號進行數(shù)字化處理，這一部 分我們只做簡單討論。2.1聲音信號的數(shù)字化2.1.1采樣與量化聲音信號在時間和幅度上都是連續(xù)變化的模擬信號， 如果想在計算機上對其 處理必須先進行采樣和量化，將它變成在時間和幅度上都離散的數(shù)字信號。 所謂 采樣，就是把模擬信號在時域上進行等間隔抽樣，其中兩相鄰抽樣點之間的間隔稱為采樣周期，倒數(shù)為采樣頻率。根據(jù)奈奎斯特采樣定理，采樣頻率必須大于聲音信號最高頻率的2倍，只有這樣，在恢復(fù)信號的時候才能確保原

15、始信號被完整 地重構(gòu)。在實際語音信號處理中，米樣頻率一般為8kHz10kH z.采樣后的信號在時間上是離散的，但在幅度上仍然保持連續(xù)，所以要進行 量化處理。量化就是將信號的幅度分成若干個有限的區(qū)間，并且把同一區(qū)間的樣本點都用一個幅度值表示，這個幅度值稱為量化值。量化有3種方式：零記憶量 化、分組量化和序列量化。其中零記憶量化是最簡單的一種，它的輸入-輸出特性采用階梯型函數(shù)的形式。信號經(jīng)過量化后，一定存在一個量化誤差。其定義為e n =(n) -x(n)式中，e(n)為量化誤差；xi(n)為量化后的采樣值，即量化的輸出； x( n)為未量化的采樣值，即量化的輸入。經(jīng)過采樣和量化后，一般還要對信號

16、進行預(yù)加重。其實質(zhì)就是提升高頻部分，使信號的頻譜變得平坦，便于進行頻譜分析或聲道參數(shù)的分析。預(yù)加重濾波器一 -般是一階的形式如下H(z)=1-uz-1式中，u值接近于1,一般取值在0.940.97之間。預(yù)加重后的信號在分析處理后， 需要進行去加重處理。2.1.2短時加窗處理為了得到短時聲音信號，要對聲音信號進行加窗處理。窗函數(shù)在聲音信號 上滑動，將聲音信號分成幀。分幀可以連續(xù)，也可以采用交疊分段的方法，交疊 部分稱為幀移，一般為窗長的一半。在加窗的時候，不同的窗口選擇將會得到不 同的分析結(jié)果。在選擇窗函數(shù)時，需要考慮兩個問題。(1)窗函數(shù)形狀窗函數(shù)可以選擇矩形窗，其表達式為1, 0 ? ?-

17、10,其他也可以選擇漢明窗，表達式為2 nn0.54 - 0.46 cos 丁丁，0 ? ? ?- 1N- 10,其他或漢寧窗的)2 m0.51 - cos?ni,0 n N - 10,其他式中，N為窗口長度雖然這些窗函數(shù)的頻率響應(yīng)都具有低通特性， 但不同的窗函數(shù)形狀將影響分幀后短時特征的特性。我們拿矩形窗和漢明窗作比較。圖2-1( a)給出了 N=51時的矩形窗及其頻率響應(yīng)的對數(shù)幅度。51點漢明窗的頻率響應(yīng)如圖2-1 (b)所示?？梢钥闯觯瑵h明窗的第一個零值頻率位置比矩形窗要大一倍 左右，也就是說，漢明窗的帶寬大約是同樣寬度矩形窗帶寬的兩倍。從兩個 圖中也可以看出在通帶外，漢明窗的衰減比矩形

18、窗大得多。矩形窗的傅里葉變換-20-40jW1J-60-8000.2歸一化頻率pi圖2-1(a)矩形窗-100Hamming的傅里葉變換0-10-1000-20-30-40-50-60-70-80-900.2歸一化頻率piHamming的傅里葉變換0-10圖2-1(b)漢明窗(2)窗函數(shù)長度窗函數(shù)長度對能否反映聲音信號的幅度變化其決定性的作用。如果N特別大，即等于幾個基音周期量級，則窗函數(shù)等效于很窄的低通 濾波器，此時信號短時信息將和慢地變化，因而也就不能充分反映波形變化的細 節(jié)；反之，如果N特別小，即等于或小于一個基音周期的量級，則信號的能量 將按照信號波形的細微狀況而很快地起伏。如果N太小

19、，濾波器的通帶變寬，則不能得到較為平滑的短時信息，因此窗函數(shù)的長度要選擇合適。窗函數(shù)的衰減 基本上與窗的持續(xù)時間無關(guān)，因此當(dāng)改變寬度 N時，只會使帶寬發(fā)生變化。綜上所述，矩形窗的頻譜平滑性較好，但波形細節(jié)容易丟失，并且矩形窗 會產(chǎn)生泄露現(xiàn)象；而漢明窗可以有效地克服泄漏現(xiàn)象，應(yīng)用更為廣泛。2.2聲音信號的時域參數(shù)分析2.2.1短時能量分析聲音信號的能量分析是基于聲音信號能量所時間有相當(dāng)大的變化，特別是 清音段的能量一般比濁音段的小得多這一特性。 聲音信號的短時能量分析給出了 反映這些幅度變化的一個合適的描述方法。對于信號x(n)，短時能量的定義如下：En = m = - 乂 x m 3 n- m

20、 2二 m = - 乂 h(n - m)x2(m)=x2 ? h(n)式中，h(n)=32(n), Ep表示在信號的第n個點開始加窗函數(shù)時的短時能量。根據(jù) 定義式可以看出，窗函數(shù)加權(quán)的短時能量相當(dāng)于聲音信號的平方經(jīng)過一個線性濾 波器的輸出，該線性濾波器的單位沖擊響應(yīng)為h(n)。沖激響應(yīng)h(n)的選擇，或者說窗函數(shù)的選擇決定了短時能量表示方法的特點。為了反映窗函數(shù)選擇對短時能 量的影響，假設(shè)h(n)非常長，且為恒定幅度，那么En隨時間的變化將變?yōu)楹苄。?這樣的窗就等效為很窄的低通濾波器。我們要求的是對聲音信號進行低通濾波， 但還不是很窄的低通濾波，至少短時能量應(yīng)能反映聲音信號的幅度變化。因此出

21、現(xiàn)了窗長選取上的矛盾，這種矛盾將在聲音信號的短時表示方法的研究中反復(fù)出 現(xiàn)。即希望有一個短時窗(沖激響應(yīng))，以響應(yīng)快速的幅度變化。但是，太窄的 窗將得不到平滑的能量函數(shù)，并且窗函數(shù)的形狀和長短直接影響著短時能量的性 質(zhì)。如果用x 3(n)表示x(n)經(jīng)過加窗處理后的信號，窗函數(shù)的長度為N，貝U短時能量可表示為En= m+n 1 x 32(m)短時能量En反映了聲音能量隨著時間緩慢變化的規(guī)律，它的主要用途有：首 先可以從清音中區(qū)分出濁音來，因為濁音的能量要比輕音的能量大得多；其次可以用來確定聲母與韻母，無聲與有聲，連字等的分界。除此之外短時能量還可以 作為一種超音段信息用于語音識別。短時能量由于

22、是對信號進行平方運算，因而人為增加了高低信號之間的差 距，在一些應(yīng)用場合不太適用。解決這個問題的簡單方法是采用短時平均幅值來 表示能量的變化，其公式為sn+N - 1Mn = m= - x m 3 n - m = m=n | x (m)|圖2-2 (a)加矩形窗的聲音文件“你好”的短時平均能量222短時平均過零率短時平均過零率是聲音信號時域分析中最簡單的一種特征，它是指每幀內(nèi)信號通過零值的次數(shù)。對于連續(xù)聲音信號，可以考察其時域波形通過實踐軸的情況。 而對于離散時間信號，如果相鄰的取樣值改變符號則稱為過零，由此可計算過零 率。過零率就是樣本改變符號的次數(shù)。 單位時間內(nèi)的過零率稱為平均過零率。 如

23、果信號是正弦信號，它的平均過零率就是信號的頻率除以兩倍的采樣頻率，采樣頻率是固定的，因此過零率在一定程度上可以反映出頻率的信息。因為聲音信號不是簡單的正弦序列，所以平均過零率的表示方法就不那么確切。 然而短時平均 過零率仍然可以在一定程度上反映其頻譜性質(zhì)，可以通過短時平均過零率獲得譜 特性的一種粗略估計，短時平均過零率的公式為Zn=1 m= -乂 |sgnx m - sgnx m - 1 | w n- m =11, ?n) o2 m=n-1 |sgnx 3(m)-sgnxw (m-1 川式中，sgnx(n)是符號函數(shù)，即sgnx(n)=根據(jù)公式可以看出，首先對聲音信號序列x(n)進行成對處理，檢查是否有過 零現(xiàn)象，若有符號變化，則表示又一次過零現(xiàn)象；然后進行一階差分計算，取絕 對值；最后進行低通濾波。短時平均過零率可以用于聲音信號分析。發(fā)濁音時，聲帶振動，因而聲門激 勵是頻率為基頻的聲壓波，它在經(jīng)過聲道時產(chǎn)生共振。盡管聲道由若干個共振峰， 但由于聲門的影響，其能量分布主要集中在 3kHz頻率范圍內(nèi)；反之，在發(fā)清音 時，聲帶不振動聲道的某部分收到阻塞產(chǎn)生類白噪聲的激勵， 該激勵通過聲道后 能量集中在比濁音時更高的頻率范圍內(nèi)。 因此，濁音時的能量集中