第二章 數(shù)字聲音及話音編碼

第二章數(shù)字聲音與話音編碼主要內(nèi)容2.1.1聲音與聽(tīng)覺(jué)器官2.1.2聲音信號(hào)數(shù)字化2.1.3音頻處理2.1.4電子樂(lè)器數(shù)字接口系統(tǒng)MIDI2.1.5數(shù)字音頻的文件格式2.2.1話音編碼概要2.2.2脈沖編碼調(diào)制(PCM)2.2.3增量調(diào)制2.2.4自適應(yīng)差分脈沖編碼調(diào)制2.2.5線性預(yù)測(cè)編碼(LPC)的概念導(dǎo)語(yǔ)：聲音是攜帶信息的極其重要的媒體。聲音的種類繁多。聲音有共同的特性，也有各自的特性。我們將研究聲音的基礎(chǔ)知識(shí)，掌握聲音數(shù)字化的兩個(gè)最基本的概念；了解基本的音頻信號(hào)編碼技術(shù)。第一節(jié)數(shù)字聲音聲音是通過(guò)空氣傳播的一種連續(xù)的波，叫聲波。聲音的強(qiáng)弱（音強(qiáng)）音調(diào)的高低（頻率）聲波的特性反射(reflection)、折射(refraction)和衍射(diffraction)2.1.1聲音與聽(tīng)覺(jué)器官聲音信號(hào)由許多頻率不同的信號(hào)組成。帶寬：它用來(lái)描述組成復(fù)合信號(hào)的頻率范圍。20～20000Hz（音頻，人能感知的）,低于20的是次音，高于2萬(wàn)的是超聲波。0～120dB（人能感知的音強(qiáng)）80～3400Hz（話音）2.1.1聲音與聽(tīng)覺(jué)器官人可以從聲波中判斷出聲音的來(lái)源、強(qiáng)度以及聲音的特殊空間效果。人是根據(jù)三個(gè)現(xiàn)象來(lái)確定聲音的方向：(a)聲音在時(shí)間上的差別（相位）(b)聲音強(qiáng)弱的差別（音量）聲音衰減；聲音頻率對(duì)聲音的強(qiáng)度差別有影響。(c)聲音的遮擋效果（陰影）頭部與障礙物的遮擋。判別聲源的其他方法：視覺(jué)幫助、聲音知識(shí)、耳廓等。聲音的方向性是產(chǎn)生立體聲效果和空間效果的基礎(chǔ)。聲音方向的確定音樂(lè)以小提琴為例，當(dāng)它的A弦振動(dòng)時(shí)，并不僅僅是整根弦在振動(dòng)，這根弦的1/2、1/3、1/4…處都在振動(dòng)著。整根弦的振動(dòng)產(chǎn)生了最主要的頻率，稱為基音。弦長(zhǎng)的1/2、1/3、1/4等處的振動(dòng)則產(chǎn)生了一些次要的頻率，稱為泛音。

如果泛音是基音的整數(shù)倍，這個(gè)音就會(huì)具有清晰的音高，稱為樂(lè)音，如鋼琴，小提琴等發(fā)出的都是樂(lè)音；如果泛音是基音的非整數(shù)倍，這個(gè)音就不具備清晰可辨的音高，稱之為噪音。

音強(qiáng)中分貝的定義定義示例聲音質(zhì)量的度量聲音的質(zhì)量與聲音的帶寬有關(guān)，一般來(lái)說(shuō)頻率范圍越寬，聲音質(zhì)量也就越高。聲音類型帶寬電話語(yǔ)音200Hz－3.4kHz調(diào)幅廣播50Hz－7kHz調(diào)頻廣播20Hz－15kHzCDDAT20Hz－20kHz20Hz－20kHz清P48各聲音的相應(yīng)數(shù)據(jù)率見(jiàn)書(shū)P48(清華版)聲音質(zhì)量的度量清P48客觀質(zhì)量度量：信噪比（SNR）主觀平均判分法（MOS）由評(píng)委打分聲音質(zhì)量評(píng)分標(biāo)準(zhǔn)參見(jiàn)P482.1.2聲音信號(hào)數(shù)字化為什么要數(shù)字化？話音信號(hào)是典型的連續(xù)信號(hào)，不僅在時(shí)間上是連續(xù)的，而且在幅度上也是連續(xù)的。聲音進(jìn)入計(jì)算機(jī)的第一步就是數(shù)字化，數(shù)字化過(guò)程中最重要的步驟是：采樣和量化。采樣（sampling）：將聲音信號(hào)在時(shí)間上離散化，比如，每隔相等的一段時(shí)間抽取一個(gè)信號(hào)樣本。(均勻采樣)2.1.2聲音信號(hào)數(shù)字化量化（quantization）：將連續(xù)的信號(hào)幅度離散化。如果幅度的劃分是等間隔的，稱為線性量化，否則為非線性量化。

電壓范圍量化(dec)編碼(bin)0.5~0.7 3 0110.3~0.5 2 0100.1~0.3 1 001-0.1~0.1 0 000-0.3~-0.1 -1 111-0.5~-0.3 -2 110-0.7~-0.5 -3 101-0.9~-0.7 -4 100例：2.1.2聲音信號(hào)數(shù)字化采樣頻率奈奎斯特理論指出：采樣頻率不應(yīng)低于聲音信號(hào)最高頻率的兩倍，這樣就能把以數(shù)字表達(dá)的聲音還原成原來(lái)的聲音，稱為無(wú)損數(shù)字化。

fs>=2fmax例：話音信號(hào)最高頻率約為3.4kHz，所以采樣頻率取為8kHz。2.1.2聲音信號(hào)數(shù)字化采樣精度兩種表示方法：

1、每個(gè)聲音樣本的數(shù)字化位數(shù)反映了聲音波形幅度的采樣精度。質(zhì)量采樣頻率（kHz）樣本精度單道聲/立體聲數(shù)據(jù)率（kb/s）頻率范圍（kHz）電話88單道聲64200～3400AM11.0258單道聲8850～7000FM22.05016立體聲705.620～15000CD44.116立體聲1411.220～20000DAT4816立體聲153620～20000

2、信噪比(signal-to-noiseratio，SNR)SNR＝10log[(Vsignal/Vnoise)2]＝20log(Vsignal/Vnoise)2.1.2聲音信號(hào)數(shù)字化

音頻信號(hào)的帶寬人-機(jī)通信計(jì)算機(jī)接收音頻信號(hào)。獲取、語(yǔ)音識(shí)別與理解。機(jī)-人通信計(jì)算機(jī)輸出音頻。音頻合成；聲音重構(gòu)、模擬。產(chǎn)生真實(shí)感的聲音。人-機(jī)-人通信人通過(guò)網(wǎng)絡(luò)進(jìn)行語(yǔ)音通信，需要的處理包括：語(yǔ)音采集、編碼解碼、傳輸、檢索，識(shí)別。音頻信號(hào)處理的內(nèi)容：2.1.3音頻處理

1.數(shù)字音頻信號(hào)的獲取音頻信號(hào)的獲取框圖如下所示。圖4-5音頻信號(hào)獲取框圖圖4-6音頻信號(hào)的回放框圖

2、音頻信號(hào)的回放經(jīng)壓縮的音頻信號(hào)以一定的格式記錄在媒體上（磁帶、磁盤及光盤等），或者傳送到接收端?；胤乓纛l信號(hào)時(shí)，首先由專用的硬件或軟件對(duì)壓縮數(shù)據(jù)進(jìn)行解壓縮，恢復(fù)音頻數(shù)字信號(hào)，然后，由圖示的電路框圖對(duì)音頻信號(hào)進(jìn)行放音。

關(guān)于信號(hào)的幾個(gè)問(wèn)題2.1.3音頻處理技術(shù)數(shù)字信號(hào)與模擬信號(hào)離散時(shí)間信號(hào)和離散幅度信號(hào)采樣和量化信號(hào)的時(shí)間域與頻率域表示奈奎斯特（Nyquist）理論與混迭效應(yīng)（Aliasing）信號(hào)的重構(gòu)音頻信號(hào)處理的流程原始聲音信號(hào)聲電信號(hào)轉(zhuǎn)換低通濾波模擬數(shù)字轉(zhuǎn)換數(shù)字信號(hào)處理傳輸存儲(chǔ)聲音合成功率放大數(shù)字模擬轉(zhuǎn)換電聲信號(hào)轉(zhuǎn)換2.1.4電子樂(lè)器數(shù)字接口系統(tǒng)MIDI

MIDI(樂(lè)器數(shù)字化接口)，是一種用于計(jì)算機(jī)與電子樂(lè)器之間進(jìn)行數(shù)據(jù)交換的通信標(biāo)準(zhǔn)。MIDI文件（.mid）記錄了用于合成MIDI音樂(lè)的各種控制指令(包括發(fā)聲樂(lè)器、所用通道、音量大小等)。由于MIDI文件本身不包含任何數(shù)字音頻信號(hào)，因而所占的貯存空間比wav文件要小得多。MIDI標(biāo)準(zhǔn)的特點(diǎn)是一種在計(jì)算機(jī)和音樂(lè)合成器之間交換音樂(lè)信息的標(biāo)準(zhǔn)協(xié)議。MIDI不是聲音信號(hào)，在MIDI電纜上傳遞的是指令。MIDI音樂(lè)常用作游戲音樂(lè)或背景音樂(lè)，典型應(yīng)用就是手機(jī)音樂(lè)。MIDI音樂(lè)合成方法常用的合成方式有FM（調(diào)頻）與Wavetable（波表）兩種。早期的聲卡及目前大多數(shù)廉價(jià)的聲卡都采用的FM合成方式。FM合成是通過(guò)振蕩器產(chǎn)生正弦波，然后再疊加成各種樂(lè)器的波形。由于振蕩器成本較高，即使是OPL3這類高檔的FM合成器也只提供了4個(gè)振蕩器，僅能產(chǎn)生20種復(fù)音。因此MIDI音樂(lè)聽(tīng)起來(lái)生硬呆板，帶有明顯的人工合成色彩，即所謂的電子聲。樂(lè)音的波形用數(shù)字來(lái)表示，再通過(guò)數(shù)模轉(zhuǎn)換器來(lái)生成樂(lè)音由以下五部分組成：數(shù)字載波器調(diào)制器聲音包絡(luò)發(fā)生器數(shù)字運(yùn)算器模數(shù)轉(zhuǎn)換器頻率調(diào)制（FM）合成法FM聲音合成器的工作原理從理論上講，F(xiàn)M合成方法可以產(chǎn)生任何樂(lè)音，但是，這種“物理式”的合成方法合成出來(lái)的聲音不夠真實(shí)。樂(lè)音樣本合成法樂(lè)音樣本合成法是把真實(shí)樂(lè)器發(fā)出的聲音以數(shù)字的形式記錄下來(lái)，播放時(shí)再加以調(diào)整、修飾和放大，生成各種音階的音符。樂(lè)音樣本通常放在ROM芯片上，播放時(shí)以查表的方式給出，所以這種合成器又叫做波表（wavetable）合成器。樂(lè)音樣本合成器的工作原理：主流的音頻格式：WAV

MIDIPCMMP32.1.5數(shù)字音頻的文件格式WMAAPEOGG

WAV文件

又稱波形文件，是Microsoft公司的音頻文件格式。Microsoft將WAV文件作為標(biāo)準(zhǔn)格式的文件，用于保存Windows平臺(tái)的音頻信息資源，被Windows平臺(tái)及其應(yīng)用程序所廣泛支持。WAV文件來(lái)源于對(duì)聲音模擬波形的采樣，并以不同的量化位數(shù)把這些采樣點(diǎn)的值轉(zhuǎn)換成二進(jìn)制數(shù)。

2.1.5數(shù)字音頻的文件格式

WAV聲音文件是使用RIFF(資源交換文件）的格式描述的，RIFF格式文件是一種帶有標(biāo)記的文件結(jié)構(gòu)，它由文件頭和波形音頻文件數(shù)據(jù)塊組成。文件頭包括標(biāo)志符、語(yǔ)音特征值、聲道特征以及PCM格式類型標(biāo)志等。數(shù)據(jù)塊是由數(shù)據(jù)子塊標(biāo)記、數(shù)據(jù)子塊長(zhǎng)度和波形音頻數(shù)據(jù)3個(gè)數(shù)據(jù)子塊組成。Wave格式支持MSADPCM、CCITTA_Law、CCITTμ_Law和其他壓縮算法，支持多種音頻位數(shù)、采樣頻率和聲道。WAV文件特點(diǎn)：音質(zhì)非常好，被大量軟件所支持。缺點(diǎn)：wav文件占用很大的貯存空間。

16bit、44.1Khz采樣精度錄制的《Myheartwillgoon》為例，5分10秒的長(zhǎng)度需要占用近55M的空間。適用于：多媒體開(kāi)發(fā)、保存音樂(lè)和音效素材Windows提供的WinAPI中有不少函數(shù)可以直接播放wav，因此，在開(kāi)發(fā)多媒體軟件時(shí)，往往大量采用wav，用作事件聲效和背景音樂(lè)。PCM編碼的wav可以達(dá)到相同采樣率和采樣大小條件下的最好音質(zhì)，因此，也被大量用于音頻編輯、非線性編輯等領(lǐng)域。WAV文件

MPEG音頻文件——.MP1/.MP2/.MP3

這里指的是MPEG標(biāo)準(zhǔn)中的音頻部分，即MPEG音頻層(MPEGAudioLayer)。MPEG音頻文件的壓縮是一種有損壓縮，根據(jù)壓縮質(zhì)量和編碼復(fù)雜程度的不同可分為三層，分別對(duì)應(yīng)MP1、MP2和MP3這三種聲音文件；MPEG音頻編碼具有很高的壓縮率，MP1和MP2的壓縮率分別為4∶1和6∶1～8∶1，而MP3的壓縮率則高達(dá)10∶1～12∶1也就是說(shuō)一分鐘CD音質(zhì)的音樂(lè)，未經(jīng)壓縮需要10MB存儲(chǔ)空間，而經(jīng)過(guò)MP3壓縮編碼后只有1MB左右，同時(shí)其音質(zhì)基本保持不失真。MP3MP3具有不錯(cuò)的壓縮比，使用合適的參數(shù)，LAME編碼的MP3很適合于音樂(lè)欣賞。由于MP3推出年代已久，幾乎所有著名的音頻編輯軟件支持MP3，可以將mp3象wav一樣使用。由于mp3編碼是有損的，因此多次編輯后，音質(zhì)會(huì)急劇下降，mp3并不適合保存素材，可作為作品的demo。網(wǎng)絡(luò)上可以找到大量的mp3資源，mp3player日漸成為一種時(shí)尚。MP3也并非完美，在較低碼率下表現(xiàn)不好。MP3也具有流媒體的基本特征，可以做到在線播放。特點(diǎn)：音質(zhì)好，壓縮比比較高，被大量軟件和硬件支持，應(yīng)用廣泛。適用于：適合用于比較高要求的音樂(lè)欣賞。MP3PROMP3pro是對(duì)MP3格式的改良，其編碼算法要比MP3復(fù)雜得多。MP3pro分兩層編碼，是在MP3的基礎(chǔ)上再與SB頻段復(fù)制技術(shù)進(jìn)行混合編碼。表現(xiàn)出了相當(dāng)不錯(cuò)的素質(zhì)，高音豐滿，這種格式在低比特率的時(shí)候壓縮率非常高，同比特率的MP3pro文件體積要比MP3和WMA都小得多，而音質(zhì)卻最好！特點(diǎn)：低碼率下的音質(zhì)之王

適用于：低要求下的音樂(lè)欣賞

OGGOgg是一種非常有潛力的編碼，在各種碼率下都有比較驚人的表現(xiàn)，尤其中低碼率下。Ogg除了音質(zhì)好之外，她還是一個(gè)完全免費(fèi)的編碼。Ogg有著非常出色的算法，可以用更小的碼率達(dá)到更好的音質(zhì)，128kbps的Ogg比192kbps甚至更高碼率的mp3還要出色。但Ogg的高音具有一定的金屬味道，因此在編碼一些高頻要求很高的樂(lè)器獨(dú)奏時(shí)，Ogg的這個(gè)缺陷會(huì)暴露出來(lái)。Ogg目前的被支持的情況還不夠好。特點(diǎn)：可以用比mp3更小的碼率實(shí)現(xiàn)比mp3更好的音質(zhì)，高中低碼率下均具有良好的表現(xiàn)。適用于：用更小的存儲(chǔ)空間獲得更好的音質(zhì)WMA微軟開(kāi)發(fā)的WMA同樣也是不少朋友所喜愛(ài)的，在低碼率下，有著好過(guò)mp3很多的音質(zhì)表現(xiàn)，有微軟背景的WMA獲得了很好的軟件及硬件支持，WindowsMediaPlayer就能夠播放WMA，也能夠收聽(tīng)基于WMA編碼技術(shù)的數(shù)字電臺(tái)。因?yàn)椴シ牌鲙缀醮嬖谟诿恳慌_(tái)PC上，越來(lái)越多的音樂(lè)網(wǎng)站都樂(lè)意使用WMA作為在線試聽(tīng)的首選了。除了支持環(huán)境好之外，WMA在64-128kbps碼率下也具有相當(dāng)出色的表現(xiàn)，雖然不少要求較高的朋友并不夠滿意，但更多的朋友接受了這種編碼，WMA很快普及。特點(diǎn)：低碼率下的音質(zhì)表現(xiàn)難有對(duì)手適用于：數(shù)字電臺(tái)架設(shè)、在線試聽(tīng)、低要求下音樂(lè)欣賞APE一種新興的無(wú)損音頻編碼，可以提供50-70%的壓縮比，但對(duì)于追求完美的朋友簡(jiǎn)直是天大的福音。APE可以做到真正的無(wú)損，而不是聽(tīng)起來(lái)無(wú)損，壓縮比也要比類似的無(wú)損格式要好。

特點(diǎn)：音質(zhì)非常好。

適用于：最高品質(zhì)的音樂(lè)欣賞及收藏

RealAudio文件——.RA/.RM/.RAM

RealAudio文件是RealNetworks公司開(kāi)發(fā)的一種流式音頻(StreamingAudio)文件格式；它包含在RealNetworks所制定的音頻視頻壓縮規(guī)范RealMedia中，主要用于在低速率的廣域網(wǎng)上實(shí)時(shí)傳輸音頻信息；網(wǎng)絡(luò)連接速率不同，客戶端所獲得的聲音質(zhì)量也不盡相同：對(duì)于28.8kb/s的連接，可以達(dá)到廣播級(jí)的聲音質(zhì)量；如果擁有ISDN或更快的線路連接，則可獲得CD音質(zhì)的聲音。

小結(jié)自然界數(shù)據(jù)進(jìn)入計(jì)算機(jī)包含兩個(gè)過(guò)程，轉(zhuǎn)換成電信號(hào)和轉(zhuǎn)換成數(shù)字信號(hào)。采樣和量化是數(shù)字化過(guò)程中的基本過(guò)程。聲音的基本特性包括聲強(qiáng)，音頻，不同類別的聲音具有不同的頻率范圍，具有不同的處理方法。各種數(shù)字音頻格式。作業(yè)清華版書(shū)第63頁(yè)1-8題第二節(jié)話音編碼（SpeechCoding）話音技術(shù)的研究熱點(diǎn)話音壓縮編碼（SpeechCoding）基于內(nèi)容的音頻檢索技術(shù)(Content-basedAudioRetrieval)話音識(shí)別（SpeechRecognition）文本話音轉(zhuǎn)換（TextToSpeech）2.2.1話音編碼概要話音信號(hào)具有高度的周期性，可利用這個(gè)特性對(duì)話音編碼，減少數(shù)據(jù)率。衡量話音編碼器的因素或指標(biāo):音頻質(zhì)量數(shù)據(jù)率編/解碼延時(shí)算法復(fù)雜度價(jià)格因素2.2.1話音編碼概要2.2.1話音編碼概要話音編譯碼器的分類(1)波形編譯碼器（waveformcoder）：不利用生成話音的信號(hào)的任何知識(shí)，將話音視為一種普通的聲音，直接對(duì)波形信號(hào)進(jìn)行采樣和量化。例如PCM、DPCM、ADPCM等。音源編譯碼器（Sourcecoder）：也叫參數(shù)編譯碼器、聲碼器（vocoder）。它從話音波形信號(hào)中提取生成話音的參數(shù)，使用這些參數(shù)通過(guò)話音生成模型重構(gòu)出話音?；旌暇幾g碼器（Hybridcoder）：綜合使用上述兩種技術(shù)。使用的激勵(lì)信號(hào)波形盡可能接近于原始