音頻采樣與編碼

1、音頻信號(hào)提取和處理音頻技術(shù)的應(yīng)用 音頻的數(shù)字化存貯/傳輸 數(shù)字唱片、IP電話、多媒體網(wǎng)頁. 音頻合成 電子樂器、語音合成 安全防衛(wèi) 聲紋識(shí)別、聲音欺騙. 語音分析 語義分析、人機(jī)交互.2010-SPRING2LIST2010-SPRINGLIST32010-SPRINGLIST42010-SPRINGLIST5聲音的屬性物理屬性物理屬性 機(jī)械波 時(shí)間域：f(t) 頻率域：F()感知屬性感知屬性 響度(Loudness Level) 音調(diào)(Pitch) 音色(Timbre)2010-SPRINGLIST6聲音的強(qiáng)度度量2010-SPRINGLIST7聲音的動(dòng)態(tài)范圍=20 log(最大音量/最小音

2、量) (dB)音質(zhì)效果音質(zhì)效果AM廣播廣播 FM廣播廣播 數(shù)字電話數(shù)字電話CD動(dòng)態(tài)范圍(dB)406050100響度(Loudness Level) 聽閾(Threshold of Hearing) 人耳剛可以聽到的響度 客觀的響度 主觀感受的響度2010-SPRINGLIST8dynes = gcm/sec2010-SPRINGLIST9響度與頻率有關(guān)等響度曲線音調(diào)和音色2010-SPRINGLIST10音調(diào)：聲波的基頻音色：基頻的諧波諧波的次數(shù)、幅度和相位決定了不同的音色（樂器）不同音頻業(yè)務(wù)的帶寬)001. 01log(23.3322HzMelfT主觀音調(diào)：掩蔽效應(yīng)(Masking Eff

3、ect)2010-SPRINGLIST11 頻域掩蔽一個(gè)強(qiáng)純音會(huì)掩蔽附近頻率的弱純音（掩蔽效果與兩個(gè)純音的頻率差有關(guān)）噪聲對(duì)純音產(chǎn)生掩蔽臨界帶寬(Critical Band) 時(shí)域掩蔽時(shí)間軸上相近時(shí)刻的聲音之間的掩蔽效應(yīng)超前掩蔽 (Pre-masking) , 滯后掩蔽(Post-masking)音頻有損壓縮的依據(jù)，音頻水印技術(shù)的依據(jù)音頻有損壓縮的依據(jù)，音頻水印技術(shù)的依據(jù)2010-SPRINGLIST122010-SPRINGLIST13編號(hào)編號(hào)頻率頻率(Hz)編號(hào)編號(hào)頻率頻率(Hz)低端高端帶寬低端高端帶寬1100200100132000232032022003001001423202700

4、3803300400100152700315045044005101101631503700550551063012017370044007006630770140184400530090077709201501953006400110089201080160206400770013009108012701902177009500180010127014802102295001200025001114801720240231200015500350012172020002802415500220506550臨界帶寬（20-16kHz）數(shù)字音頻存貯/通信2010-SPRINGLIST14A/D傳

5、感器 聲音電信號(hào)數(shù)據(jù)壓縮數(shù)字信號(hào)數(shù)據(jù)解壓D/A數(shù)字信號(hào)喇叭電信號(hào)聲音存貯/傳輸音頻的采樣2010-SPRINGLIST15采樣頻率：Nyquist采樣定理量化分辨率：音量動(dòng)態(tài)范圍量化位量化位(bit)(bit) 量化階量化階動(dòng)態(tài)范圍動(dòng)態(tài)范圍(dB)(dB) 應(yīng)用應(yīng)用825648-50數(shù)字電話166553696-100CD聲道：單聲道、雙聲道、多聲道2010-SPRINGLIST162010-SPRINGLIST172010-SPRINGLIST182010-SPRINGLIST19音頻編碼語音編碼的分類 按照壓縮后傳輸所需要的數(shù)據(jù)速率可以分為： 高速率語音編碼，PCM 64kbit/s, 公用

6、電話網(wǎng) 中高速率語音編碼，ADPCM, 32kbit/s 公用網(wǎng) 中速率語音編碼，GSM RPE/LTP 13kbit/s；VSELP 8kb/s 數(shù)字移動(dòng)通信話音郵件 低速率語音編碼，CELP 4.8kb/s, LPC 1.2kb/s 保密話音 極低速率語音編碼，速率1.2kbit/s以下2010-SPRING21LIST 波形編碼： 脈沖編碼調(diào)制 自適應(yīng)增量調(diào)制 自適應(yīng)參分脈沖編碼調(diào)制 自適應(yīng)子帶編碼 自適應(yīng)預(yù)測(cè)編碼語音編碼的分類2010-SPRING22LIST語音編碼性能 客觀評(píng)定方法: 信噪比，加權(quán)信噪比，平均分段信噪比等 主觀評(píng)定方法: 平均意見得分（Mean Opinion Sc

7、ore，MOS） 判斷韻字測(cè)試（ Diagnostic Rhyme Test，DRT） 判斷滿意度得分（ Diagnostic Acceptability Measure，DAM）2010-SPRING23LIST平均意見得分（MOS）MOS得分采用5級(jí)評(píng)分標(biāo)準(zhǔn)MOS得分質(zhì)量等級(jí)失真級(jí)別5優(yōu)不覺察4良剛有覺察3可有覺察且稍有可厭2差明顯覺察且可厭但可忍受1壞不可忍受2010-SPRING24LIST平均意見得分（MOS） 4.0-4.5 高質(zhì)量數(shù)字化語音，達(dá)到長途電話網(wǎng)的要求，接近于透明信道的編碼，也稱為網(wǎng)絡(luò)質(zhì)量。 3.5 左右 通信質(zhì)量，這時(shí)能夠感到重建話音質(zhì)量有所下降，但是不妨礙正常的通話

8、，可以滿足多數(shù)話音通信系統(tǒng)的使用要求。 3.0分以下 合成語音質(zhì)量，一些聲碼器合成語音所能達(dá)到的質(zhì)量，一般具有足夠高的可懂度，但是自然度以及講話人的確認(rèn)方面不是很好。2010-SPRING25LIST音頻脈沖編碼(PCM)調(diào)制2010-SPRINGLIST26PCM (Pulse Coding Modulation) : 脈沖編碼調(diào)制PCM的量化方式均勻量化與非均勻量化2010-SPRING27LIST對(duì)數(shù)非均勻量化2010-SPRINGLIST28c(x)非線性壓縮均勻量化編碼解碼c-1(x)非線性擴(kuò)張發(fā)送接收xBxcln1)(2010-SPRINGLIST29) 11(ln1ln1)10(

9、ln1)(xAAAxAxAAxxc) 10()1ln()1ln()(xxxcConsultative Committee for International Telegraph and Telephone國際電報(bào)電話咨詢委員會(huì)G.711A律律2010-SPRINGLIST30律A律CCITT G.711 PCM編碼規(guī)則2010-SPRINGLIST31 8kHz 采樣頻率 音頻帶寬 300 3400 Hz A律 13段 或 律15段編碼 8位表示每個(gè)采樣點(diǎn) 數(shù)據(jù)量 64kb/sb1 b2 b3 b4 b5 b6 b7 b8符號(hào)位段號(hào)段內(nèi)分層折疊碼2010-SPRINGLIST32A律13段折線

10、2010-SPRINGLIST33律15段折線自適應(yīng)脈沖編碼調(diào)制(APCM) Adaptive Pulse Code Modulation 根據(jù)輸入信號(hào)幅度大小來改變量化階大小 瞬時(shí)自適應(yīng)：量化階每隔幾個(gè)樣本就改變 音節(jié)自適應(yīng)：量化階在較長周期內(nèi)發(fā)生變化 前向自適應(yīng)(forward adaptation) 后向自適應(yīng)(backward adaptation)2010-SPRING34LIST自適應(yīng)脈沖編碼調(diào)制(APCM)前向自適應(yīng)后向自適應(yīng)2010-SPRING35LIST差分脈沖調(diào)制編碼（DPCM）量化器編碼器預(yù)測(cè)器+-s(n) : 輸入信號(hào)sr(n): 重建信號(hào)sp(n) : 預(yù)測(cè)信號(hào)d(

11、n): 預(yù)測(cè)誤差信號(hào)解碼器預(yù)測(cè)器+發(fā)送端接收端2010-SPRING36LISTADPCM編碼 APCM的自適應(yīng)特性 提高量化效率 DPCM的差分特性 減小樣本數(shù)據(jù)表達(dá)間相關(guān)性2010-SPRING37LISTCCITT G.721 32kb/s ADPCM 實(shí)現(xiàn)64kb/s A律或律PCM速率和32kb/s速率的ADPCM之間的相互轉(zhuǎn)換。話音質(zhì)量接近于A律或律64kb/s PCM的話音質(zhì)量，MOS分為4.1，達(dá)到網(wǎng)絡(luò)等級(jí)。采樣頻率為8KHz，每個(gè)樣點(diǎn)采用4比特編碼。CCITT G.721 32kb/s ADPCM 主要用來實(shí)現(xiàn)對(duì)現(xiàn)有的PCM信道擴(kuò)容，2010-SPRING38LISTG.72

12、1 32kb/s ADPCM-編碼器輸入格式轉(zhuǎn)換差值信號(hào)計(jì)算自適應(yīng)量化自適應(yīng)逆量化自適應(yīng)預(yù)測(cè)器量化器自適應(yīng)定標(biāo)因子自適應(yīng)速度控制單頻與瞬變檢測(cè)重建信號(hào)計(jì)算器PCM碼輸入ADPCM輸出2010-SPRING39LISTG.721 32kb/s ADPCM-解碼器輸出格式轉(zhuǎn)換自適應(yīng)逆量化自適應(yīng)預(yù)測(cè)器量化器自適應(yīng)定標(biāo)因子自適應(yīng)速度控制單頻與瞬變檢測(cè)重建信號(hào)計(jì)算器ADPCM碼輸入同步編碼調(diào)整2010-SPRING40LISTMP3 Mpeg 1 Audio Layer 3 有損數(shù)據(jù)壓縮2010-SPRINGLIST41音頻有損壓縮原理 有損壓縮等價(jià)于添加噪聲 添加的噪聲不能被聽到（丟失不能被聽到的聲音

13、信息） 充分利用人聽覺的遮掩效應(yīng)(Masking)2010-SPRINGLIST422010-SPRINGLIST43Filter BankQQQMultiplexerPsychoacoustic ModelMPEG音頻壓縮編碼器2010-SPRINGLIST44MultiplexerQ-1Q-1Q-1DemultiplexerMPEG音頻譯碼器2010-SPRINGLIST45子帶編碼(Sub-band Coding, SBC)Filter BankQuantization&EncodingPsychoacoustic ModelFrame不同頻率的噪聲掩蔽閾值Signal-to-mask Ratio, SMR2010-SPRINGLIST46Filter BankModified DCTQuantizationHuffman EncodingMultiplexerFFTMask ThresholdMP3編碼流程音頻數(shù)據(jù)格式WAV and MP3wav-mp3-wavwav 550Kmp3