信息工程系__論文

1、南京郵電大學(xué)通達(dá)學(xué)院 畢 業(yè) 設(shè) 計(jì)（論 文）題 目基于時(shí)間序列的語音/音樂檢測系統(tǒng)的研究與實(shí)現(xiàn)專 業(yè)通信工程學(xué)生姓名班級學(xué)號1000指導(dǎo)教師指導(dǎo)單位信息工程系 日期：2013年11月20日至2014年6月6日畢業(yè)設(shè)計(jì)（論文）原創(chuàng)性聲明本人鄭重聲明：所提交的畢業(yè)設(shè)計(jì)（論文），是本人在導(dǎo)師指導(dǎo)下，獨(dú)立進(jìn)行研究工作所取得的成果。除文中已注明引用的內(nèi)容外，本畢業(yè)設(shè)計(jì)（論文）不包含任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫過的作品成果。對本研究做出過重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明并表示了謝意。 論文作者簽名： 日期： 年 月 日摘 要在許多研究領(lǐng)域和實(shí)際應(yīng)用中，音頻自動分類是音頻信號分析的一項(xiàng)重

2、要研究內(nèi)容。在過去的研究中，針對廣義音頻的研究相對較少。但隨著對音頻分類技術(shù)研究的深入、分類對象范圍的擴(kuò)大、音頻分類實(shí)際應(yīng)用領(lǐng)域的增多，對廣義音頻進(jìn)行分類的重要性日益凸顯。音頻分類主要應(yīng)用于音頻檢索、輔助視頻分析、設(shè)備智能檢測等方面。論文分析了當(dāng)前音頻檢索的現(xiàn)狀文介紹了音頻信號的基本概念及其檢索方法；討論了 wav 音頻信號的特征提取及其表達(dá)方式。音頻分類主要包括兩個(gè)步驟：從音頻信號中提取音頻特征；構(gòu)造合適的分類模型，對音頻進(jìn)行分類。本文在對現(xiàn)有音頻分類技術(shù)進(jìn)行深入分析的基礎(chǔ)上，探討了語音、音樂以及特定音頻的分類問題，著重研究了音頻特征提取。語音和音樂是最重要的兩類音頻信息。語音/音樂檢測是基

3、于內(nèi)容的音頻檢索一個(gè)很重要的部分。本文提出一種新的可用于廣播新聞自動轉(zhuǎn)錄的語音/音樂檢測方法。用樣本熵作為語音/音樂辨別的特征值，樣本熵是近似熵的變體，用來測量時(shí)間序列的規(guī)律，根據(jù)測量結(jié)果將所給信號歸類為語音或音樂信號。最后實(shí)驗(yàn)采用了BBC廣播里面的語音，和各種不同類型的音樂作為實(shí)驗(yàn)室數(shù)據(jù)。實(shí)驗(yàn)結(jié)果證明了方法對所有實(shí)驗(yàn)數(shù)據(jù)的準(zhǔn)確性達(dá)到了90%以上。關(guān)鍵詞：語音/音樂檢測；音頻分類；樣本熵；特征提??；ABSTRACTIn many fields of research and applications, audio classification is one of the most import

4、ant problems in audio signal analysis. Generalized audio was studied less in the past. Along with the rapid development of audio classification technology and application, the study on generalized audio classification is more and more important. Audio classification is mainly applied to audio retrie

5、val, video analyze technology, intelligent detection on equipment.This paper analyses the situation and disadvantage of audio retrieval, some basic conceptions and retrieval method are introduced and discusses the feature exaction and expression of wav form audio signal. There are two key problems i

6、n audio classification, which are how to extract features from audio signal and how to implement the audio classifier. This dissertation, which is based on the summary and analysis of the existing technologies of audio classification, studies the audio classification problem on music/speech and ultr

7、asonic partial discharge. Researches are emphasized on audio feature analysis.Speech and music are the most important two types of audio information. The problem of speech/music discrimination is important in a number of content-based audio retrieval systems. In this paper, we present a new method t

8、o discriminate between speech and music related to the automatic transcription of broadcast news. In the method presented here, sample entropy (SampEn) mainly operates as a feature to discriminate speech and music. SampEn is a variant of the approximate entropy (ApEn). It measures the regularity of

9、time series. The basic idea is to classify a given audio into speech or music depending on its regularity.The effectiveness of the proposed method is tested on experiments, including broadcast news shows from BBC radio stations and different speech and music types. Results show the robustness of the

10、 proposed method achieving the discrimination accuracy higher than 90% for all tested experiments.Key words：Speech and Music Discrimination；Audio Classification；Sample Entropy；Feature Exaction；目 錄第一章緒論11.1課題背景11.2本課題的研究目的及意義21.3國內(nèi)外研究現(xiàn)狀21.3.1音頻特征分析與抽取發(fā)展現(xiàn)狀31.3.2音頻分類器的設(shè)計(jì)發(fā)展現(xiàn)狀31.4本文主要研究內(nèi)容和論文結(jié)構(gòu)41.4.1研究目標(biāo)和

11、所做的工作41.4.2論文組織結(jié)構(gòu)4第二章語音信號和時(shí)間序列52.1概述52.2語音信號的時(shí)域波形52.3語音信號數(shù)字處理中的短時(shí)分析技術(shù)62.3.1預(yù)濾波、采樣、A/D變換62.3.2數(shù)字化語音信號的存儲及加窗72.3.3語音信號的短時(shí)能量、短時(shí)平均幅度和短時(shí)過零率72.3.4短時(shí)自相關(guān)函數(shù)8第三章音頻文件格式與音頻信號特征提取與表達(dá)103.1主流音頻文件格式介紹103.1.1WAV 簡介103.1.2MPEG 簡介113.1.3MID 和 RMI 簡介113.2音頻信號特征提取與分析113.2.1特征抽取的相關(guān)技術(shù)123.2.2特征分析與抽取描述123.2.3語音和音樂15第四章音頻分類的

12、理論基礎(chǔ)及相關(guān)技術(shù)174.1音頻分類概述174.2常用的分類方法184.2.1最小距離法184.2.2決策樹法194.2.3神經(jīng)網(wǎng)絡(luò)法204.2.4高斯混合模型法204.2.5隱馬爾可夫模型法204.2.6支持向量機(jī)法204.2.7常用分類方法對比21第五章基于樣本熵的語音/音樂檢測215.1概述215.2樣本熵215.3加窗樣本熵原理225.4算法步驟245.5評估實(shí)驗(yàn)245.6結(jié)論25結(jié)束語25致 謝27南京郵電大學(xué)2014屆本科生畢業(yè)設(shè)計(jì)（論文）第一章 緒論1.1 課題背景聲音被用來傳遞意向、情感、消息，是人類最熟悉最習(xí)慣的傳遞消息的方式。它攜帶的信息量大、準(zhǔn)確、精細(xì)。聲音作為波形信號具

13、有振幅、頻率、相位等特性。由于聲音是我們所能感覺到的媒體，因此聲音具有物理和心理兩種屬性，并且是相互關(guān)聯(lián)的。物理屬性與波形有關(guān)，包括聲強(qiáng)、頻率、聲波復(fù)合、諧波結(jié)構(gòu)等屬性。心理屬性則與我們的感覺有關(guān)，主要包括音量、音調(diào)、音色3個(gè)屬性 齊俊英.基于內(nèi)容的音頻檢索技術(shù)的研究, 碩士學(xué)位論文, 遼寧工程技術(shù)大學(xué), 2005: 783812. 。(1) 音量(Volume)，也稱響度(loudness)，其大小主要由聲波壓力大小決定。 (2) 音調(diào)(Pitch)，也稱音高，其高低取決于聲音的基頻。基頻越低，給人的感覺越低沉。 (3) 音色(Harmonicity)，音色與聲波的基音、泛音等聲音元素的結(jié)構(gòu)

14、有關(guān)，它是區(qū)分不同聲源聲音的重要標(biāo)志。在接收和處理聲音前對它進(jìn)行采樣和量化，變成為數(shù)字音頻。人們能夠聽見的音頻頻率帶寬范圍是 20Hz20kHz，語音信號的頻譜分量主要集中在3003400Hz，音樂和其它的自然界的聲音是全頻域范圍分布的。按照在計(jì)算機(jī)內(nèi)部表示形式的不同，音頻可以分為自然音頻和合成音頻兩類。自然音頻是計(jì)算機(jī)通過聲音獲取設(shè)備從自然界獲取的聲音，一般以數(shù)字波形形式表示；合成音頻是指參數(shù)化表示的計(jì)算機(jī)合成的聲音，例如，MIDI音樂。近年來，國內(nèi)外在多媒體數(shù)據(jù)庫技術(shù)的研究中出現(xiàn)了一個(gè)新熱點(diǎn)基于內(nèi)容的檢索 CBIR(Content-Based Retrieval)技術(shù)。人們已經(jīng)不再滿足于通

15、過一般的屬性(如名字、年月、價(jià)格等文本信息)進(jìn)行檢索，而直接使用多媒體屬性來完成查詢檢索。對圖像和視頻，可以采用主色調(diào)、紋理等視覺特征來檢索;同樣，對于音頻，用戶要求通過聽覺特征來進(jìn)行檢索，基于文本檢索的常規(guī)信息檢索技術(shù)已不能滿足用戶這方面的檢索需求。所謂基于內(nèi)容的音頻檢索，是指通過音頻特征分析，對不同音頻數(shù)據(jù)賦以不同的語義，使具有相同語義的音頻在聽覺上保持相似?；趦?nèi)容的音頻檢索是一個(gè)較新的研究方向，由于原始音頻數(shù)據(jù)除了含有采樣頻率、量化精度、編碼方法等有限的注冊信息外，本身僅僅是一種非語義符號表示和非結(jié)構(gòu)化的二進(jìn)制流，缺乏內(nèi)容語義的描述和結(jié)構(gòu)化的組織，因而音頻檢索受到極大的限制。相對于日益

16、成熟的圖像與視頻檢索，音頻檢索相對滯后?；趦?nèi)容的音頻檢索己成為多媒體檢索技術(shù)的研究熱點(diǎn)。在當(dāng)今網(wǎng)絡(luò)化和數(shù)字化時(shí)代，多媒體數(shù)據(jù)已經(jīng)成為互聯(lián)網(wǎng)高速公路上傳輸?shù)臄?shù)據(jù)主要部分，其中音頻占有重要地位。如何對海量的多媒體信息進(jìn)行及時(shí)處理，深入分析和有效利用成了人們面對的一個(gè)重要課題，音頻在多媒體信息中占有重要地位，約占總信息量的 20% 李恒峰,李國輝. 基于內(nèi)容的音頻檢索與分類, 計(jì)算機(jī)工程與應(yīng)用, 2000,7(5): 5456.，相應(yīng)地,音頻信息處理是多媒體信息處理的重要組成部分。不管是實(shí)時(shí)音頻流信號還是文件類型音頻信號的，我們的語音/音樂檢測系統(tǒng)（speech/music discriminat

17、ion，SMD）就是要把音頻分成語音和音樂兩類。語音/音樂檢測系統(tǒng)是語音識別系統(tǒng)的關(guān)鍵部分，通過語音/音樂檢測我們可以把非語音部分濾除，減小語音識別系統(tǒng)不必要的工作量。語音/音樂檢測也可用于比特率編碼器，對語音編碼時(shí)用語音編碼器比音樂編碼器效率更高，反之亦然。因此，正確區(qū)分語音和音樂信號，選用相應(yīng)的編碼器對其編碼就顯得很重要。語音/音樂檢測系統(tǒng)的更大優(yōu)點(diǎn)在使基于內(nèi)容索引更容易實(shí)現(xiàn)，除了應(yīng)用于音頻文件，也能應(yīng)用于電視節(jié)目和電影。當(dāng)我們在網(wǎng)絡(luò)上搜索時(shí)可以搜索到音頻文件的內(nèi)容部分，而不僅僅是文件名和文件類型了。1.2 本課題的研究目的及意義語音/音樂檢測作為音頻結(jié)構(gòu)化的關(guān)鍵技術(shù)在以下方面有著重要應(yīng)用

18、：1) 基于內(nèi)容的音頻檢索基于內(nèi)容的音頻檢索是當(dāng)前多媒體信息檢索領(lǐng)域的一個(gè)熱點(diǎn)，它在新聞節(jié)目檢索、數(shù)字圖書館、遠(yuǎn)程教學(xué)等眾多領(lǐng)域都有極大的應(yīng)用價(jià)值。而基于內(nèi)容檢索的第一步就是要將音頻分類，因此，分類問題是基于內(nèi)容的音頻檢索的核心問題。 2) 音頻信息的深度處理音頻分類是音頻深度處理的基礎(chǔ)和前提。對于隨機(jī)給出的一段音頻，首先使用音頻分類進(jìn)行分類和分割。針對不同類型的音頻數(shù)據(jù)采取不同的處理過程，既減少了處理過程的時(shí)間和空間消耗，同時(shí)也提高了處理的精度。其中，通用編碼器 Ludovic Tancerel, Stephane Ragot, et al. Combined speech and audi

19、o coding by discrimination. IEEE, 2000,5(2):154156. 就是音頻深度處理的代表，是一種聯(lián)合語音/音頻編碼方式，其主要思想是先對用分類算法對音頻信號進(jìn)行分類，然后根據(jù)分類結(jié)果采用合適的編解碼方式。3) 輔助視頻分析近幾年，一些研究人員借助視頻中的音頻信號，將其與可視信息相結(jié)合，完成視頻的分割、分類和索引等。在視頻檢索和分類中，簡單的分類特征并不能很好的反映視頻的內(nèi)容和結(jié)構(gòu)語義，而更高級地視覺語義特征的提取則相當(dāng)困難。因此，Zhu Liu Liu,Zhu,Huang,J., Wang,Y. Classificaion of TV programs b

20、ased on audio information using Hidden Markov model, In: Proceedings of IEEE Signal Progcessing Society 1998 workshop on Multimedia Signal Processing. IEEE, 1998, 6(3): 2732.等人嘗試根據(jù)音頻特征訓(xùn)練馬爾可夫模型，作種視頻場景的分類新聞節(jié)目、天氣預(yù)報(bào)、籃球比賽、廣告和足球比賽。Patel Patel,N., Sethi,I. Audio characterization for video indexing. In: Pro

21、cessing of the SPIE on Storage and Retrieval for Still Image and Video Databbases, 1996,3(9): 489498. 等人在壓縮數(shù)據(jù)中，利用音頻信號特征把視頻分成對話、非對話和沉默三種。1.3 國內(nèi)外研究現(xiàn)狀音頻處理是一個(gè)涵義比較廣泛的概念，包括心理聲學(xué)、語音學(xué)、聲樂學(xué)、音頻數(shù)字信號處理以及語音信號處理技術(shù)、多媒體數(shù)據(jù)庫技術(shù)和計(jì)算機(jī)技術(shù)等。音頻處理已有很長的歷史，并且取得了一定的成果。其主要領(lǐng)域是語音，對廣義的聲音研究的比較少，對音頻分類技術(shù)的研究則是最近幾年才開始的。音頻分類技術(shù)是音頻深度處理的基礎(chǔ)，它在視

22、頻自動處理系統(tǒng)和其他多媒體應(yīng)用系統(tǒng)中有著廣泛的應(yīng)用1。 對音頻進(jìn)行處理之前，通常要進(jìn)行預(yù)處理，將音頻流切分成長度較短的單元，所謂的音頻分類就是指對這些音頻單元類別進(jìn)行識別的過程。音頻分類從本質(zhì)上講是一個(gè)模式識別過程，包括特征抽取和分類兩個(gè)基本過程。音頻分類技術(shù)是一個(gè)交叉研究領(lǐng)域,它涉及多個(gè)方面的知識，包括人耳的聽覺特征、信號與系統(tǒng)、數(shù)字信號處理、語音信號處理、模式識別、統(tǒng)計(jì)學(xué)習(xí)、人工智能等。目前，該領(lǐng)域的研究重點(diǎn)主要在以下兩個(gè)方面音頻特征分析與抽取以及分類器設(shè)計(jì)。 1.3.1 音頻特征分析與抽取發(fā)展現(xiàn)狀對于一個(gè)音頻分類方法而言，合適的音頻特征選擇與精確的分類器設(shè)計(jì)同樣重要。音頻特征分析和抽取是

23、音頻分類的基礎(chǔ)，所選取的特征應(yīng)該能夠充分表示音頻時(shí)域和頻域的重要分類特性，對環(huán)境的改變具有魯棒性和一般性。語音/音樂信號檢測需要提取特征值，先前提取特征值的方法大致可分為三類。一類基于時(shí)域特征，例如零點(diǎn)率 C. Panagiotakis and G. Tziritas. A speech/ musicdiscriminator based on rms and zero-crossings. IEEETransactions on MultiMedia, 7(1):155166, Feb 2005.、短時(shí)能量 L. Lu, H.-J. Zhang, and H. Jiang. Content

24、analysis foraudio classification and segmentation. IEEETransactions on Speech and Audio Processing, 10(7):,October 2002. T. Zhang and C.-C. J. Kuo. Audio content analysis for online audiovisual data segmentation and classification. IEEE Transactions on Speech and Audio Processing, 9(4):441457, May 2

25、001.。第二類分類方法采用頻域特征，例如基礎(chǔ)頻率、色熵、熵態(tài)和動態(tài) J. Ajmera, I. McCowan, and H. Bourlard. Speech/music segmentation using entropy and dynamism features in a hmm classification framework. Speech Communication, 40(-):351363, - 2003.，以及梅爾倒譜參數(shù) H. Harb and L.Chen. Robust speech and music discrimiantion using spectrums

26、first order statisitcs and neural networks. In Symp on Signal Processing and Its Applicaitons, pages 125128. IEEE Int, - 2003.。第三種方法同時(shí)運(yùn)用時(shí)域和頻域特征來提高精確度和穩(wěn)定性。在分類任務(wù)中，有標(biāo)準(zhǔn)分類方法和基于規(guī)則的啟發(fā)式分類方法。基于規(guī)則的方法可以參考678隱馬爾可夫鏈（HHM）9，神經(jīng)網(wǎng)絡(luò)10，多層感知器（MLP）9，貝葉斯網(wǎng)絡(luò)9 A. Pikrakis, T. Giannakopoulos, and S. Theodoridis. Speech/music

27、discrimination for radio broadcasts using a hybrid hmm-bayseian network architecture. In -, pages . EUSIPCO, - 2006.，k-近鄰（kNN）和高斯混合模型（GMM） E. Scheirer and M. Slaney. Construction and evaluation of a robust multifeature speec/music discrimiantion. In -, pages 13311334. IEEE ICASSP, - 1997.，這些都是標(biāo)準(zhǔn)分類技術(shù)

28、。大部分方法都要首先驅(qū)動數(shù)據(jù)流分成訓(xùn)練序列和測試序列兩部分。一些分類技術(shù)的復(fù)雜性取決于訓(xùn)練序列的大小?？傊ㄟ^深入分析和借助新的信號處理方法，提取能夠盡可能反映音頻類別的聲學(xué)特征是音頻特征分析和抽取的研究重點(diǎn)。1.3.2 音頻分類器的設(shè)計(jì)發(fā)展現(xiàn)狀目前，音頻分類器的實(shí)現(xiàn)主要基于以下幾類方法：1) 基于規(guī)則的音頻分類方法該方法的基本思路是：選取可以識別某種音頻類別的合適的特征，然后設(shè)定該特征的一個(gè)閾值，根據(jù)約定的規(guī)則，用實(shí)際計(jì)算的特征值域閾值比較，來識別音頻類別。這種方法操作簡單，但也由于其簡單，所以只適用于識別特征簡單音頻類型。這種方法存在一下缺點(diǎn)：a. 決策規(guī)則和分類順序并不一定是最優(yōu)的；b

29、. 上層的決策錯(cuò)誤會積累到下一層而形成“雪球”效應(yīng)；c. 分類誤差大，需要人的先驗(yàn)知識和試驗(yàn)分析，特別是閾值的確定。所以基于規(guī)則的分類方法的分類精度較低，只適合于區(qū)別性明顯的簡單的音頻分類工作，難于滿足復(fù)雜的、多特征的音頻分類應(yīng)用。但由于這種分類器簡單、容易實(shí)現(xiàn)，在大部份傳統(tǒng)音頻分類工作中基于規(guī)則的分類器應(yīng)用廣泛。J.Foote J.Foote. Conten-based retrieval of music and audio. In:C.C.J.Kuo et.(eds) Multimedia Storage and Archiving Systems II, Proc. of SPIE,

30、1997,12(8): 138147 采用的一種有監(jiān)督的貪心算法構(gòu)造分類決策樹就是其中的代表。2) 最小距離音頻分類方法該分類器利用模版匹配的思想，為每一個(gè)音頻類型建立一個(gè)模版，然后計(jì)算實(shí)際音頻幀的特征向量，用特征向量匹配模版向量（通常是計(jì)算他們在向量空間中的距離），來識別音頻類別。在澳大利亞人工只能研究員的Elias Pampalk等人開發(fā)的基于SOM (Self-Organizing Maps)的音樂聚類系統(tǒng) Andreas Rauder, Elias Pampalk. Using PsychoAcoustic Models and Self-Organizing Maps to Crea

31、te a Hierarchical Structuring of Music by Sound Similarity. IRCAM, 中采用了模版匹配的類型判斷方法，通過計(jì)算模版向量域特征向量的歐拉距離來進(jìn)行匹配。3) 基于統(tǒng)計(jì)學(xué)習(xí)算法的音頻分類方法早期的基于統(tǒng)計(jì)學(xué)習(xí)算法的音頻分類研究主要集中在神經(jīng)網(wǎng)絡(luò)算法的應(yīng)用上。Zhu Liu4根據(jù)音頻特征為每類音頻訓(xùn)練簡單的多層預(yù)報(bào)、新聞、廣告等電視節(jié)目的視頻場景的分類。 近年來隨著人工智能，機(jī)器學(xué)習(xí)領(lǐng)域的快速發(fā)展，為開展決有自主學(xué)習(xí)能力和自動音頻分類研究工作提供了很好的基礎(chǔ)，越來越多的研究者將隱馬爾可夫模型，K階最近鄰算法，高斯混合模型等統(tǒng)計(jì)學(xué)習(xí)算法應(yīng)

32、用到了音頻分類研究中。南京大學(xué)軟件學(xué)院的盧堅(jiān)博士等人提出了一種基于隱馬爾可夫模型的音頻 分 類 方法 盧堅(jiān), 陳毅松, 等. 語音/音樂自動分類中的特征分析. 計(jì)算機(jī)輔助設(shè)計(jì)于圖形學(xué)報(bào). 2002, 14(3):233237 ，用于語音、音樂以及它們的混合聲音類型的分類；E. Wold, T.Blum E.Wold, T.Blum, and D.Keslar. Content-based classification, search, and retrieval of audio. IEEE Multimedia, Fall, 1996,15(6):2736. 等人采用最近鄰算法構(gòu)造分類器。1

33、.4 本文主要研究內(nèi)容和論文結(jié)構(gòu)1.4.1 研究目標(biāo)和所做的工作本文在在對現(xiàn)有音頻分類技術(shù)進(jìn)行深入分析和總結(jié)的基礎(chǔ)上，提出了基于樣本熵的語音/音樂檢測方法。文充分利用語音/音樂混合信號在其信號序列中出現(xiàn)的新信息量的大小及其變化幅度這一差異來實(shí)現(xiàn)語音/音樂識別。主要的研究包括以下三點(diǎn)：1) 語音信號時(shí)間序列的基本結(jié)構(gòu)和特征，分析語音信號的基本手段和過程，包括它的“短時(shí)能量”、“短時(shí)過零率”、“短時(shí)相關(guān)函數(shù)”、“短時(shí)頻譜”等。2) 音頻信號的基本格式與音頻信號的特征提取與分析。音頻分類的常用技術(shù)。3) 基于樣本熵的分類方法。設(shè)計(jì)了分類算法，并與其它相關(guān)技術(shù)進(jìn)行了比較。1.4.2 論文組織結(jié)構(gòu)論文結(jié)

34、構(gòu)如下：第一章：緒論。介紹研究目的和意義，以及國內(nèi)外研究現(xiàn)狀。第二章：語音信號和時(shí)間序列。介紹了語音信號時(shí)域波形的特征和基本處理方法。第三章：音頻文件格式與音頻信號特征提取與表達(dá)。介紹了現(xiàn)今流行的三種音頻文件格式 WAV、MPEG 和 MIDI，并就音頻的常用特征的提取與表達(dá)方法進(jìn)行了詳細(xì)論述。第四章：音頻分類的理論及其相關(guān)技術(shù)。介紹了一些音頻分類技術(shù)并對這些技術(shù)進(jìn)行了總結(jié)對比。第五章：基于樣本熵的語音/音樂檢測。以樣本熵作為特征對語音/音樂進(jìn)行分類識別，實(shí)現(xiàn)了相關(guān)算法。結(jié)束語：總結(jié)全文工作。第二章 語音信號和時(shí)間序列2.1 概述在研究各種語音信號數(shù)字處理技術(shù)及其應(yīng)用之前，需要了解語音信號的一

35、些重要特點(diǎn)，應(yīng)知道它是如何由一些最基本的單位組成的，在此基礎(chǔ)上可以建立一個(gè)既實(shí)用又便于分析的語音產(chǎn)生模型，這些問題可以歸于聲學(xué)語音范疇。通過對語音信號發(fā)聲過程的研究以及觀察記錄的各種語音波形，便可知道語音信號的頻譜分量主要集中在3003400Hz的范圍內(nèi)。如果用防混疊的帶通濾波器將此范圍內(nèi)的語音信號頻譜分量取出，然后按8kHz采樣率對語音信號進(jìn)行采樣，就可以得到離散時(shí)域的語音信號。下面將討論離散時(shí)域語音信號或稱數(shù)字語音信號。應(yīng)該注意，為了實(shí)現(xiàn)更高質(zhì)量的語音編譯碼器或者使語音識別系統(tǒng)得到更高的識別率，某些近代語音系統(tǒng)將此頻率范圍高端擴(kuò)展到79kHz，相應(yīng)的采樣率也提高到1520kHz。語音信號的

36、另一個(gè)特點(diǎn)就是它的“短時(shí)性”。在某些短時(shí)段中它呈現(xiàn)出隨機(jī)噪聲的特性，另一些短時(shí)段中則呈現(xiàn)出周期信號的特性，其它一些是二者的混合。簡而言之，語音信號的特征是隨時(shí)間而變化的。只有在一段短時(shí)間間隔中，語音信號才保持相對穩(wěn)定一致的特征，這短段時(shí)間長度一般可取為550ms。因此，對于語音信號的分析和處理必須建立在“短時(shí)”的基礎(chǔ)上。最重要的語音信號“短時(shí)特征”和“短時(shí)參數(shù)”包括它的“短時(shí)能量”、“短時(shí)過零率”、“短時(shí)相關(guān)函數(shù)”、“短時(shí)頻譜”等。短時(shí)信號最基本的組成單位是音素。音素可以分為“濁音”和“清音”兩大類。如果將不存在語音而只有背景噪聲的情況稱之為“無聲”，那么音素可以分為“無聲”、“濁音”和“清音

37、”三類。在短時(shí)分析的基礎(chǔ)上可判斷一段短時(shí)語音屬于哪一類。如果是濁音語段，還可測定它的另一些重要參數(shù)，如基音和共振峰等。這里將討論語音信號數(shù)字處理的這些基本知識、術(shù)語和分析技術(shù)。2.2 語音信號的時(shí)域波形在進(jìn)行語音信號數(shù)字處理時(shí)，最先接觸到并且也是最直觀的是它的時(shí)域波形。為了獲取一段語音信號的時(shí)域波形，首先將語音用話筒轉(zhuǎn)換成電信號，再用A/D變換器將其轉(zhuǎn)換為離散的數(shù)字化取樣信號后存入計(jì)算機(jī)的內(nèi)存中，最后將此信號取出，用繪圖儀繪成時(shí)域波形。圖2.1所示是一個(gè)男青年說的“歡迎你到南京”這段話的語音時(shí)域波形。語音是在安靜的環(huán)境下錄取的。采樣率為8kHz。每個(gè)采樣信號用12位進(jìn)行量化。這段語音的持續(xù)時(shí)間

38、為4秒圖中橫軸為時(shí)間，縱軸為語音信號的幅度。由于時(shí)間軸壓縮的很短，從圖2.1中無法識別語音波形的細(xì)節(jié)，但是可以看到語音能量的起伏，還可以大致分辨出話語中每一個(gè)字（音節(jié)）再次波形中的位置。語音信號具有很強(qiáng)的“時(shí)變特性”，在有些段落它具有很強(qiáng)的周期性，有些段落中又具有噪聲特性，而且周期性語音和噪聲語音的特性也在不斷變化之中，只有在較短的時(shí)間間隔才可認(rèn)為語音信號的基本特征保持不變。這一特點(diǎn)是語音信號數(shù)字處理的一個(gè)重要出發(fā)點(diǎn)。歡 迎 你 來 南 京圖2.1一段語音信號的時(shí)域波形2.3 語音信號數(shù)字處理中的短時(shí)分析技術(shù)由于語音信號的準(zhǔn)平穩(wěn)特性，任何語音信號數(shù)字處理算法核技術(shù)都建立在“短時(shí)”基礎(chǔ)上。為了實(shí)

39、現(xiàn)各種具體應(yīng)用目的而做進(jìn)一步復(fù)雜處理之前，有一些經(jīng)常使用的、共同的短視分析技術(shù)應(yīng)該給出。2.3.1 預(yù)濾波、采樣、A/D變換預(yù)濾波的目的有兩個(gè)：1) 抑制輸入信號各頻域分量中頻率超出fs/2的所有分量（fs為采樣頻率），以防止混疊干擾。2) 抑制50Hz的電源干擾。這樣，預(yù)濾波器必須是一個(gè)帶通濾波器，其上、下截頻分別是fh和fl。對于絕大多數(shù)語音編譯碼器，fh=3400Hz，fl=60100Hz，采樣率為fs=8kHz。對于語音識別而言，但用于電話用戶時(shí)，指標(biāo)與語音編譯碼器相同;當(dāng)時(shí)用在要求較高或很高的場合時(shí)，fh=4500Hz或8000Hz，fl=60Hz，fs=10Hz或20kHz。語音信

40、號經(jīng)預(yù)濾波和采樣后，由A/D變換器絕大部分是12位的（即每一采樣脈沖轉(zhuǎn)換為12位二進(jìn)制數(shù)字）。非線性A/D變換器則是8位的，它與12位線性變換器等效，但是為了后續(xù)處理，必須將非線性的8位碼轉(zhuǎn)換為線性的12位碼。2.3.2 數(shù)字化語音信號的存儲及加窗已數(shù)字化的語音信號序列將一次存入一個(gè)數(shù)據(jù)區(qū)，在語音信號處理中一般用循環(huán)隊(duì)列的方式來存儲這些數(shù)據(jù)，以便用一個(gè)有限容量的數(shù)據(jù)區(qū)來應(yīng)付數(shù)據(jù)量極大的語音數(shù)據(jù)（已處理過的語音數(shù)據(jù)可以依次拋棄，讓出存儲空間來存入新數(shù)據(jù)）。再進(jìn)行處理時(shí)，按幀從此數(shù)據(jù)區(qū)中取出數(shù)據(jù)，處理完成后再取下一幀，等等。絕大部分情況下，語音信號處理的幀長都是取20ms（當(dāng)fs=8kHz時(shí)，相應(yīng)

41、于每幀有160個(gè)信號樣值）。在取數(shù)據(jù)時(shí)，前一幀和后一幀的交疊部分稱為幀移。幀移與幀長的比值一般取為01/2，圖2.2給出了幀移和幀長之比為1/2時(shí)各前后幀的相對關(guān)系。圖2.2幀長和幀移示例第k幀第k+1幀第k+2幀幀移幀長已取出的一幀語音s(n)要經(jīng)過加窗處理，這就是用一定的窗函數(shù)w(n)來乘s(n)，從而形成加窗語音sw(n) =s(n)·w(n)。在語音信號數(shù)字處理中常用的窗函數(shù)是方窗和哈明窗，它們的表達(dá)式如下（其中N為幀長）：方窗(2- 1)哈明窗(2- 2)2.3.3 語音信號的短時(shí)能量、短時(shí)平均幅度和短時(shí)過零率這是語音信號的一組最基本的短時(shí)參數(shù)，在各種語音信號數(shù)字處理技術(shù)中

42、都要進(jìn)一步應(yīng)用。在計(jì)算這些參數(shù)時(shí)使用的一般是方窗或哈明窗。當(dāng)窗起點(diǎn)n=0時(shí)，語音信號的短時(shí)能量用E0表示，其計(jì)算公式如下：(2- 3)如果窗w(n)的起點(diǎn)不是n=0而是某個(gè)其它整數(shù)m，那么相應(yīng)的短時(shí)能量用Em表示，其取和限為n=m(m+N-1).窗起點(diǎn)為n=0時(shí)，語音信號的短時(shí)平均幅度用M0表示，其計(jì)算公式為：(2- 4)同樣，當(dāng)窗的起點(diǎn)為任意整數(shù)m時(shí)，可表示為Mm。M0也是一幀語音信號能量大小的表征，它與E0的區(qū)別在于計(jì)算時(shí)小取樣值和大取樣值不因取平方而造成較大差異，在某些領(lǐng)域中會帶來一些好處。當(dāng)窗起點(diǎn)為n=0時(shí)，語音信號的短時(shí)過零率用Z0表示，以表示一幀語音中語音信號波形穿過橫軸（零電平）

43、的次數(shù)，它可以用相鄰兩個(gè)取樣改變符合的次數(shù)來計(jì)算如下：(2- 5)其中sgn·表示取符號，即sgnx=-1, &x<01, &x0同樣，當(dāng)窗的起點(diǎn)為任意整數(shù)m時(shí)，過零率用Zm表示。2.3.4 短時(shí)自相關(guān)函數(shù)自相關(guān)函數(shù)用于衡量信號自身時(shí)間波形的相似性。清音和濁音的發(fā)聲機(jī)理不同，因而在波形上也存在著較大的差異。濁音的時(shí)間波形呈現(xiàn)出一定的周期性，波形之間相似性較好；清音的時(shí)間波形呈現(xiàn)出隨機(jī)噪聲的特性，樣點(diǎn)間的相似性較差。因此，我們用短時(shí)自相關(guān)函數(shù)來測定語音的相似特性。短時(shí)自相關(guān)函數(shù)定義為：(2- 6)令，并且，可以得到：(2- 7)圖2.3給出了清音的短時(shí)自相關(guān)函數(shù)波

44、形，圖7給出了不同矩形窗長條件下（窗長分別為N=70，N=140，N=210，N=280）濁音的短時(shí)自相關(guān)函數(shù)波形。由圖6、圖2.4短時(shí)自相關(guān)函數(shù)波形分析可知：清音接近于隨機(jī)噪聲，清音的短時(shí)自相關(guān)函數(shù)不具有周期性，也沒有明顯突起的峰值，且隨著延時(shí)k的增大迅速減??；濁音是周期信號，濁音的短時(shí)自相關(guān)函數(shù)呈現(xiàn)明顯的周期性，自相關(guān)函數(shù)的周期就是濁音信號的周期，根據(jù)這個(gè)性質(zhì)可以判斷一個(gè)語音信號是清音還是濁音，還可以判斷濁音的基音周期。濁音語音的周期可用自相關(guān)函數(shù)中第一個(gè)峰值的位置來估算。所以在語音信號處理中，自相關(guān)函數(shù)常用作以下兩種語音信號特征的估計(jì)：1) 區(qū)分語音是清音還是濁音；2) 估計(jì)濁音語音信號

45、的基音周期。圖2.3清音的短時(shí)自相關(guān)函數(shù)圖2.4不同矩形窗長條件下的濁音的短時(shí)自相關(guān)函數(shù)第三章 音頻文件格式與音頻信號特征提取與表達(dá) 3.1 主流音頻文件格式介紹自從 PC 支持多媒體以來，陸陸續(xù)續(xù)地出現(xiàn)了許多存儲音頻信息的文件格式。 3.1.1 WAV 簡介WAV 是 Microsoft Windows 本身提供的音頻格式，由微軟開發(fā)，WAV 是一種文件格式，符合 RIFF Resource Interchange File Format 的規(guī)范 齊俊英. 基于內(nèi)容的音頻檢索技術(shù)的研究 遼寧工程技術(shù)大學(xué)碩士論文，2005 年 6 月。所有的 WAV都有一個(gè)文件頭，這個(gè)文件頭音頻流的編碼參數(shù)。

46、WAV 對音頻流的編碼沒有硬性規(guī)定，除了 PCM 之外，還有幾乎所有支持 ACM 規(guī)范的編碼都可以為 WAV 的音頻流進(jìn)行編碼。由于 Windows 本身的影響力，這個(gè)格式已經(jīng)成為了事實(shí)上的通用音頻格式。在 Windows 平臺下，基于 PCM 編碼的 WAV 是被支持得最好的音頻格式，所有音頻軟件都能夠完美支持，由于本身可以達(dá)到比較高的音質(zhì)要求，因此，WAV 也是音樂編輯創(chuàng)作的首選格式，適合保存音樂素材。因此，基于 PCM 編碼的 WAV 被作為一種中介的格式，常常使用在其他編碼的互相轉(zhuǎn)換之中，例如 MP3轉(zhuǎn)換成 WMA。通常我們使用 WAV 格式都是用來保存一些沒有壓縮的音頻，因此它的文件

47、很龐大，一般都在幾 MB 以上。也正因?yàn)闆]有采用壓縮技術(shù)，WAV 文件中聲音的采樣數(shù)據(jù)很容易被讀出來，便于做其它處理 賀前華，陸以勤，韋崗. 一種新的 HMM 訓(xùn)練方法. 電子學(xué)報(bào) Vol 28 No 9,Sep,2000:p56-58 。例如:畫出聲音的信號波形、做出頻譜等?，F(xiàn)在的應(yīng)用程序幾乎都支持 WAV 文件格式，也有專門軟件可以完成從 WAV 文件格式向其它文件格式的轉(zhuǎn)換，因此 WAV 文件在目前仍然有著相當(dāng)廣泛的應(yīng)用價(jià)值。WAV 文件是資源互換文件 RIFF 的一種(如圖2.1 )。 圖3.1WAV 文件格式ID (RIFF) SIZE Form Type (WAVE) ID (FM

48、T) SIZE WAVE DATA ID (DATA) SIZE WAVEDATA 一個(gè) WAV 文件至少包括三個(gè)塊:RIFE 塊，F(xiàn)MT 塊和 DATA 塊。每個(gè)塊包含下面幾個(gè)部分: 4字節(jié)塊標(biāo)記碼域：ID4 字節(jié)塊大小域：Size數(shù)據(jù)域：DataFMT 塊包含 WAVE FORMAT 結(jié)構(gòu)所需的信息，即波形數(shù)據(jù) 的采樣頻率、聲道數(shù)目、每個(gè)樣本存儲數(shù)據(jù)長度。DAT 塊是文件最大的部分，它包含所有 WAVE 波形數(shù)據(jù)，它的末尾就是 RIFF 塊的末尾。3.1.2 MPEG 簡介MPEG 即為活動圖像專家組(Moving Picture Expert Group )，成立于 1988 年，這個(gè)組

49、織的任務(wù)是建立活動圖像及相應(yīng)音頻的編碼標(biāo)準(zhǔn)。實(shí)際上 MPEG 是一個(gè)標(biāo)準(zhǔn)系列，包括 MPEG-1，MPEG-2，MPEG-4，MPEG-7和MPEG-21等。 MPEG 的數(shù)據(jù)流主要包含3個(gè)成分：圖像流，伴音流和系統(tǒng)流。圖像流僅僅包含畫面信息，伴音流包含聲音信息，系統(tǒng)流實(shí)現(xiàn)圖像和伴音的同步。所有播放MPEG圖像和伴音數(shù)據(jù)所需的時(shí)鐘同步信息都包含在系統(tǒng)流中。MPEG是一種有損的，非平衡編碼。有損意味著為達(dá)到低比特率，采用了基于聽覺和視覺心理的壓縮模式，一些人眼和人耳最不敏感的圖像和伴音信息將丟失;非平衡編碼意味著其壓縮編碼過程比解碼過程慢的多。 3.1.3 MID 和 RMI 簡介 這兩種文件擴(kuò)

50、展名表示該文件是 MIDI 文件。MIDI 是數(shù)字樂器接口的國際標(biāo)準(zhǔn)，它定義了電子音樂設(shè)備與計(jì)算機(jī)的通訊接口，規(guī)定了使用數(shù)字編碼來描述音樂樂譜的規(guī)范。電腦就是根據(jù) MIDI 文件中存放的對 MIDI 設(shè)備的命令，即每個(gè)音符的頻率、音量、通道號等指示信息進(jìn)行音樂合成的。MIDI 文件的優(yōu)點(diǎn)是短小，一個(gè)六分多鐘、有 16 個(gè)樂器的文件也只是 80 多 KB;缺點(diǎn)是播放效果因軟、硬件而異。使用媒體播放機(jī)可以播放，但如果想有比較好的播放效果，電腦必須支持波表功能。目前大多數(shù)人都使用軟件波表，最出名的就是日本 YAMAHA 公司出品的YAMAHA SXG了。使用這一軟波表進(jìn)行播放，可以達(dá)到與真實(shí)樂器幾乎

51、一樣的效果。 MIDI 技術(shù)本來不是為了電腦發(fā)明的。該技術(shù)最初應(yīng)用在電子樂器上用來記錄樂手的彈奏，以便以后重播。不過隨著在電腦里面引入了支持 MIDI 合成的聲音卡之后 MIDI 才正式地成為了一種音頻格式。有很多人都誤以為 MID 工是用來記譜的，這是錯(cuò)的。MIDI 的內(nèi)容除了樂譜之外還記錄了每個(gè)音符的彈奏方法，所以有些 MIDI 文件播放起來不好聽，而某些則有良好的效果。3.2 音頻信號特征提取與分析音頻是一種緩慢時(shí)變的信號，可以應(yīng)用數(shù)字信號處理技術(shù)和信號系統(tǒng)理論來抽取音頻的物理特征。對音頻特征的抽取要用到多種方法，其中短時(shí)時(shí)域處理技術(shù)、短時(shí)頻域處理技術(shù)和同態(tài)處理技術(shù)是最基本、最典型的技術(shù)

52、 王超. 基于小波和隱馬爾可夫模型的音頻分類, 碩士學(xué)位論文，西北工業(yè)大學(xué), 2007: 260284. 。3.2.1 特征抽取的相關(guān)技術(shù)1) 音頻短時(shí)處理技術(shù)音頻信號本質(zhì)上是一種非平穩(wěn)的隨機(jī)過程，但在大多數(shù)的音頻處理方案中，例如，語音處理，都基本假定音頻信號的特性隨時(shí)間的變化是緩慢的。這一假定導(dǎo)出各種“短時(shí)”處理方法，即音頻信號被分割為一些短段也稱為分析幀再加以處理，這些短段就好像是來自一個(gè)具有固定特性的持續(xù)音片段一樣，所以經(jīng)過處理以后產(chǎn)生一個(gè)新的依賴于時(shí)間的序列而用于描述音頻信號。短時(shí)處理技術(shù)根據(jù)在研究域上的不同分為短時(shí)時(shí)域處理技術(shù)和短時(shí)頻域處理技術(shù)。短時(shí)時(shí)域處理主要是計(jì)算音頻的短時(shí)能量、

53、短時(shí)平均幅度、短時(shí)平均過零率和短時(shí)自相關(guān)函數(shù)。這些計(jì)算都是以音頻信號的時(shí)域抽樣為基礎(chǔ)的。短時(shí)頻域處理主要是對各個(gè)短段音頻信號進(jìn)行頻譜分析，因而又叫做短時(shí)傅立葉分析。2) 同態(tài)處理技術(shù)根據(jù)聲音信號的產(chǎn)生模型，音樂和語音都可以看作是一個(gè)線性非時(shí)變因果穩(wěn)定系統(tǒng) V(Z)受到信號 E(Z)激勵(lì)后產(chǎn)生的輸出。對樂器而言，不同音調(diào)的音，有的是激勵(lì)信號 E(Z)的變化產(chǎn)生的，如弦樂器；有的是系統(tǒng)函數(shù) V(Z)的變化產(chǎn)生的，如吹拉樂器。有的是 E(Z)和 V(Z)同時(shí)變化產(chǎn)生的，如鋼琴。對于語音來說，聲音的變化是由系統(tǒng)函數(shù) V(Z)和激勵(lì)信號 E(Z)的共同作用產(chǎn)生的。為了對聲音進(jìn)行識別，需要獲取 V(Z)及

54、 E(Z)。在時(shí)域上，這些音頻信號 s(n)可以看成是系統(tǒng)的單位沖激響應(yīng) v(n)和激勵(lì)信號 e(n)的卷積。由卷積信號求得參與卷積的各個(gè)信號是數(shù)字信號處理領(lǐng)域中普遍遇到的一項(xiàng)共同的任務(wù)。解決此任務(wù)的算法稱為解卷算法。同態(tài)信號處理是解卷算法的一種。3.2.2 特征分析與抽取描述 音頻特征抽取中，過短的處理單元將得到粒度過細(xì)的信息，不能很好地反映各類音頻的區(qū)別特性，但過長的處理單元又容易導(dǎo)致音頻特征平均化，不能反映特征的時(shí)序變化特性。文獻(xiàn)15采用一種音頻段和音頻幀相結(jié)合的特征分析與抽取方法。首先將音頻切分成clip序列，然后對每一個(gè)clip加窗形成幀。先計(jì)算基于幀的音頻特征，在此基礎(chǔ)上再計(jì)算基于

55、段的音頻特征。一、基于音頻幀（frame）的音頻特性1) 頻域能量（frequency energy） 頻域能量定義如下：(3- 1)式中：E - 頻譜能量；W - 頻率；fs - 采樣頻率；w0 - 頻率值為 fs/2；F(w) - 頻譜函數(shù)。利用頻域能力 E 來判斷靜音幀，如果某一幀的頻域能量小于閾值，則將該幀標(biāo)記為靜音幀，否則為非靜音幀。通常，語音中含有比音樂中更多的靜音，因此，語音的頻域能量變化要比音樂中的大的多。對非靜音幀計(jì)算以下的音頻特征。 2) 子帶能量（sub band energy）將頻域劃分為 4 個(gè)子帶區(qū)間sbi(i=0,1,2,3)，分別為0,w0/8,，w0/8,w0

56、/4，w0/4,w0/2和w0/2,w0，并計(jì)算各自的子帶能量SWi(i=0,1,2,3)，計(jì)算公式為：(3- 2)不同類型的音頻，其能量在各個(gè)子帶區(qū)間的分布有所不同。音樂的頻域能量在上述各個(gè)子帶區(qū)間sbi中的分布相對比較均勻；而語音的頻域能量主要集中在第 0 個(gè)子帶sb0 ，約在 80以上。3) 頻率中心（frequency centroid）頻率中心 FC 是度量音頻亮度（brightness）的指標(biāo)，其定義如下：(3- 3)一般地，音樂的頻率中心比語音要高，而語音的頻率中心相對較低。4) 帶寬（bandwidth）帶寬 BW 是衡量音頻頻域范圍的指標(biāo)，其定義如下：(3- 4)一般地，語音的帶寬范圍在 0.3KHz3.4 KHz 左右，而音樂的帶寬范圍比較寬，最高可達(dá)到 20 KHz 左右。5) 過零率（zero crossing rate）在離散時(shí)間信號情況下，相鄰的抽樣具有不同的符號就稱為發(fā)生了過零，過零率是指每幀內(nèi)信號通過零值的次數(shù)。通常，語音信號是由發(fā)音的音節(jié)和不發(fā)音的