信息傳輸基礎(chǔ)10課件

1、5 預(yù)測(cè)編碼預(yù)測(cè)編碼利用條件概率編碼利用條件概率編碼主要內(nèi)容1DPCM基本原理2語(yǔ)言信號(hào)預(yù)測(cè)編碼3活動(dòng)圖像預(yù)測(cè)編碼已有樣本值現(xiàn)時(shí)的系統(tǒng)輸出現(xiàn)時(shí)的系統(tǒng)輸出采用線性或非線性預(yù)測(cè)函數(shù)，最小均方誤差為準(zhǔn)則預(yù)測(cè)編碼的基本概念5.1 DPCM的基本原理對(duì)于具有對(duì)于具有M 種取值的符號(hào)序列種取值的符號(hào)序列xk, ,其第其第L個(gè)符號(hào)的熵滿足個(gè)符號(hào)的熵滿足: :log 2 M H(xL) H(xL|xL-1) H(xL|xL-1, xL-2) H(xL|xL-1, xL-2, , x1) H知道前面的符號(hào)知道前面的符號(hào) xL(kL) , 再猜后續(xù)符號(hào)再猜后續(xù)符號(hào) xL , 則則知道得越多知道得越多, ,熵越小。

2、熵越小。意味著該信源的不確定度減小意味著該信源的不確定度減小, ,數(shù)碼率自然降低。數(shù)碼率自然降低?；A(chǔ)理論：數(shù)據(jù)源不可能用一個(gè)數(shù)學(xué)模型完全表示，并使得源的數(shù)據(jù)源不可能用一個(gè)數(shù)學(xué)模型完全表示，并使得源的輸出始終和該模型的輸出完全一致，精確預(yù)測(cè)輸出始終和該模型的輸出完全一致，精確預(yù)測(cè)(或產(chǎn)或產(chǎn)生生)這些數(shù)據(jù)。這些數(shù)據(jù)。實(shí)際上實(shí)際上實(shí)際情況中只能爭(zhēng)取設(shè)計(jì)最好的預(yù)測(cè)器，以某種最小化的誤差實(shí)際情況中只能爭(zhēng)取設(shè)計(jì)最好的預(yù)測(cè)器，以某種最小化的誤差對(duì)下一個(gè)取樣值進(jìn)行預(yù)測(cè)。對(duì)下一個(gè)取樣值進(jìn)行預(yù)測(cè)。發(fā)展歷史發(fā)展歷史1952年，Bell實(shí)驗(yàn)室的B.M.Oliver 等人開(kāi)始線性預(yù)測(cè)編碼理論研究。同年同年，該實(shí)驗(yàn)室的

3、，該實(shí)驗(yàn)室的C.C.Culter取得了取得了DPCM (Differential Pulse Code Modulation, 差分脈沖編碼調(diào)制差分脈沖編碼調(diào)制)系統(tǒng)的專(zhuān)利，系統(tǒng)的專(zhuān)利，奠定了真正實(shí)用的預(yù)測(cè)編碼系統(tǒng)的基礎(chǔ)奠定了真正實(shí)用的預(yù)測(cè)編碼系統(tǒng)的基礎(chǔ)。預(yù)測(cè)編碼技術(shù)： 從過(guò)去的符號(hào)樣本來(lái)預(yù)測(cè)下一個(gè)符號(hào)樣本的值。根據(jù)：認(rèn)為在信源符號(hào)之間存在相關(guān)性。如果符號(hào)的預(yù)測(cè)值與符號(hào)的實(shí)際值比較接近，它們之間的差值幅度的變化就比原始信源符號(hào)幅度值的變化小，因此量化這種差值信號(hào)時(shí)就可以用比較少的位數(shù)來(lái)表示差值。DPCM的基礎(chǔ) 對(duì)預(yù)測(cè)的樣本值與原始的樣本值之差差進(jìn)行編碼。DPCM系統(tǒng)圖5.1 DPCM系統(tǒng)原理框

4、圖量化器預(yù)測(cè)器編碼器xk-ekkxkekxSk信 道解碼器預(yù)測(cè)器kekx接收端發(fā)送端5.2 最佳線性預(yù)測(cè)含有量化器的DPCM系統(tǒng)：帶反饋的非線性系統(tǒng)，難以對(duì)預(yù)測(cè)器和量化器進(jìn)行嚴(yán)格的全局優(yōu)化設(shè)計(jì)。常用的簡(jiǎn)化方法：分別討論，得到局部最優(yōu)解。DPCM系統(tǒng)的核心問(wèn)題：預(yù)測(cè)器的設(shè)計(jì)線性預(yù)測(cè)：1( ) , Nkiiixa k xkN時(shí)不變線性預(yù)測(cè)：1 Nkik iixa x簡(jiǎn)化，令ai(k) = ai 與 k無(wú)關(guān),用原始取樣值代xi替量化恢復(fù)值xi(5.2-1)1 Nkkkkik iiexxxax差值信號(hào):(5.2-2)為了使預(yù)測(cè)誤差在某種測(cè)度下最小,就要按照一定的準(zhǔn)則,對(duì)線性預(yù)測(cè)系數(shù)進(jìn)行優(yōu)化。 MMSE

5、線性預(yù)測(cè)最小均方誤差準(zhǔn)則(MMSE)22() ekkExx使得預(yù)測(cè)誤差的均方值 最小。將式(5.2-1)之 帶入, 得到:kx(5.2-3)最小誤差 必須與預(yù)測(cè)采用的所有數(shù)據(jù)正交。min()kkxx當(dāng)N 給定后，e2是依賴(lài)預(yù)測(cè)系數(shù)ai的函數(shù)，使MSE最小，e2對(duì)ai求導(dǎo)等于0，有 ：22()0, 1,2,ekkkiixExxiNaa因此：()0, 1,2,kkk iExxxiN得到：( , )ijR i jE x x(5.2-4)定義數(shù)據(jù)的自相關(guān)函數(shù)：1( ,)(,), 1,2,NjjR k k ia R kj k iiN (5.2-5)自相關(guān)函數(shù)滿足：(,)(,)R ki kjR kj ki

6、(5.2-6)當(dāng)xi廣義平穩(wěn)時(shí)，有：(,)()()(|)R k i kjR j iR ijR ij(5.2-7)自相關(guān)矩陣為實(shí)對(duì)稱(chēng)的Toeplitz矩陣, 因?yàn)槭钦ň仃? 故可逆，可解得N個(gè)預(yù)測(cè)系數(shù)使均方誤差最小。12(0)(1)(1)(1)(1)(0)(2)(2)(1)(2)(0)( )NaRRR NRaRRR NRaR NR NRR N將式(5.2-6)和式(5.2-7)代入式(5.2-5), 并用矩陣表示有:(5.2-8)() 2() 1 () 0() 2() 1() 2() 0() 1() 1 () 0(1121NRRRRNRNRNRRRNRRRaaaN最小均方誤差為 :2min1(

7、0)( )NeiiRa R i(5.2-10)最佳預(yù)測(cè)條件下必然有ek的方差e2小于xi的方差R(0), 甚至可能e2 R(0) 意味著誤差序列ek的相關(guān)性弱于原始信號(hào)序列xi的相關(guān)性,甚至可能弱很多。 如果xi是各態(tài)歷經(jīng)的且N足夠大，則R(k)可用下式估計(jì):11( )Nii kiR kx xN(5.2-9) R(i)越大(即xi的相關(guān)性越大),方差e2越小, 所能達(dá)到的壓縮比就越大; R(i)=0(即xi的互不相關(guān)),方差e2min=R(0)大, 此時(shí)利用預(yù)測(cè)起不到數(shù)據(jù)壓縮的目的。利用條件概率進(jìn)行預(yù)測(cè)，傳送去除了大部分相關(guān)性的誤差序列ek，有利于壓縮數(shù)據(jù)。例5-1令N=1，a1=1，即有：

8、，則11kkxa x(1)= 2 1(0)2(1) (0)(0)RRRR其中 =R(1)/R(0) 為信號(hào)的自相關(guān)系數(shù)。 顯然只要0.51, 就可使e2 12后, R()就 很小了,意味著清音的關(guān)聯(lián)長(zhǎng)度主要在12個(gè) 樣值以?xún)?nèi)。LPC聲碼器的主要實(shí)現(xiàn)步驟如下: 把語(yǔ)音每80或160個(gè)樣值(1020ms)分成一段(LPC中稱(chēng)為一 幀), 每幀計(jì)算一次參數(shù); 在 =2080的范圍內(nèi)計(jì)算R( ), 利用R( )兩個(gè)峰值的間隔找 出基音周期 , 清音固定使用N個(gè)預(yù)測(cè)系數(shù)a1, a2 , , aN , N=810; 按5.2節(jié)的MMSE準(zhǔn)則計(jì)算最佳線性預(yù)測(cè)系數(shù)a1, a2 , , aN ; 將全部預(yù)測(cè)參數(shù)

9、a1, a2 , , aN , 連同預(yù)測(cè)誤差ek進(jìn)行量化,編碼?？捎脠D5.1的基本DPCM系統(tǒng)實(shí)現(xiàn), 差別僅在于預(yù)測(cè)器參數(shù)每幀更新一次并傳至收端。由于即要傳送N+1個(gè)參數(shù),又要傳送預(yù)測(cè)誤差, 一般用于9.619.2 kb/Sde 中速語(yǔ)音編碼。脈沖序列發(fā)生器隨機(jī)噪聲發(fā)生器聲道模擬濾波器增益G有聲無(wú)聲合成語(yǔ)音ykuka1 a2 , aN基音周期 圖5.6 LPC聲碼器語(yǔ)音合成框圖(二元激勵(lì)模型)為進(jìn)一步降低碼率，我們不傳誤差只傳參數(shù)，由收端利用這些參數(shù)自己合成話音，如圖5.6所示。對(duì)計(jì)算出來(lái)各種參數(shù)G , , a1, a2 , , aN(模擬量), 進(jìn)行二次量化, 再編碼。實(shí)用中還希望總碼率盡量

10、靠近1502n (n=0,1,2, )b/s的典型碼率。NikikikuGyay1LPC聲碼器輸出的合成語(yǔ)音可表示為：(5.3-2) 技術(shù)與標(biāo)準(zhǔn)化進(jìn)展保留了參數(shù)法的聲道模型，但同時(shí)也傳送預(yù)測(cè)誤差，供收端去優(yōu)化聲道模型的激勵(lì)源，以提高合成語(yǔ)音的自然度。關(guān)鍵是：如何高效地傳送誤差信息?；旌暇幋a器：1980年提出，提出的算法： 殘差(余數(shù))激勵(lì)線性預(yù)測(cè)編碼(RELP); 多脈沖激勵(lì)線性預(yù)測(cè)編碼(MP-LPC，1982年提出); 碼激勵(lì)線性預(yù)測(cè)編碼(CELP,1984年提出); 多帶激勵(lì)(MBE)聲碼器(頻域進(jìn)行);ITU的有關(guān)語(yǔ)音信號(hào)壓縮編碼標(biāo)準(zhǔn),見(jiàn)表5.1ITU建議制定時(shí)間碼率(kp/s)編碼算法說(shuō) 明G.711197264(56)PCM(/A)3kHz語(yǔ)音帶寬, 8kHz取樣G.7211984/198632ADPCM3kHz語(yǔ)音帶寬, 8kHz取樣G.722198664/56/48SBC-ADPCM7kHz語(yǔ)音帶寬, 16kHz取樣G.723198640/32/24ADPCM(CDME建議)G.723.16.3/5.27MP-MLQ/ACELP算法復(fù)雜度:14.6/16 MIPSG.726199