第四章-信息率失真函數(shù)

第四章_信息率失真函數(shù)第一頁，共二十二頁，編輯于2023年，星期五4.1基本概念4.1.1失真函數(shù)與平均失真度4.1.2信息率失真函數(shù)的定義4.1.3信息率失真函數(shù)的性質(zhì)率失真函數(shù)的定義域率失真函數(shù)對允許平均失真度的下凸性率失真函數(shù)的單調(diào)遞減和連續(xù)性2第二頁，共二十二頁，編輯于2023年，星期五引入限失真的必要性失真在傳輸中是不可避免的連續(xù)信源的絕對熵為無限大，若要無失真地進行傳輸，則要求信息傳輸率也為無限大，然而現(xiàn)實世界中信道帶寬總是有限的，信道容量總有一定限度，因此不可能實現(xiàn)完全無失真的信源信息的傳輸另一方面，從無失真信源編碼考慮，由于要求碼字包含的信息量不小于信源的熵，所以對于連續(xù)信源，要用無限多個比特才能完全無失真地來描述，這是不現(xiàn)實的即使是離散信源，若要處理的信息量很大，采用無失真編碼將使得信息的存儲和傳輸成本非常高，而且在很多場合，過高的信息傳輸率是不必要的3第三頁，共二十二頁，編輯于2023年，星期五引入限失真的必要性(續(xù))信宿只具有有限的的分辨能力與靈敏度，超過分辨能力與靈敏度的信息傳送過程是毫無意義的例1：由于人耳能夠接收的帶寬和分辨率是有限的，因此對數(shù)字音頻傳輸?shù)臅r候，就允許有一定的失真，并且對欣賞音樂沒有太大的影響例2：對于數(shù)字電視，由于人的視覺系統(tǒng)的分辨率有限，并且對低頻比較敏感，對高頻不太敏感，因此也可以損失部分高頻分量例3：放映電影，理論上要完全無失真地表現(xiàn)出一個連續(xù)動作，需要用無窮多個靜態(tài)畫面連續(xù)放映，但利用人眼的“視覺暫留性”，只要每秒鐘連續(xù)放映24幅靜態(tài)畫面，就幾乎讓觀眾感覺不到失真的存在4第四頁，共二十二頁，編輯于2023年，星期五引入限失真的必要性(續(xù))如果允許信息有某些失真，就可以大大降低信息傳輸速率，從而降低通信成本應(yīng)用種類象素數(shù)/行行數(shù)/幀信息傳輸率(碼率)bps壓縮前壓縮后HDTV192010801.18G20～25M普通電視720480167M4～8M會議電視35228836.5M1.5～2M電視電話1281125.2M56K在允許一定程度失真的條件下，怎樣用盡可能少的碼符號來表達信源的信息，也就是信源熵所能壓縮的極限或者說編碼后信息傳輸率壓縮的極限值是多少？保真度準則下的離散信源編碼定理：在允許一定失真度

D

的情況下，信源輸出的信息傳輸率可壓縮到極限值——信息率失真函數(shù)R

(

D

)5第五頁，共二十二頁，編輯于2023年，星期五失真函數(shù)由于本章學習內(nèi)容只涉及信源編碼問題，因此可以把從信源編碼器到信源譯碼器之間的所有部件合在一起等效為一個有噪聲的試驗信道試驗信道信源信源譯碼器信源編碼器無損無噪信道信宿6第六頁，共二十二頁，編輯于2023年，星期五對每一對(

xi,yj

)，指定一個非負的函數(shù)失真函數(shù)(續(xù)) 稱為單個符號的失真度或失真函數(shù)，表示離散信源發(fā)出一個符號xi

而在接收端再現(xiàn)成yj

所引起的誤差和失真。上述非負的失真函數(shù)共有n

m個，可以整體表示成失真矩陣由于信源發(fā)出的符號

X

和信宿收到(再現(xiàn))的符號

Y

均是隨機變量，因此單個符號的失真函數(shù)

d

(

xi,

yj

)

也是隨機變量(的一次實現(xiàn))7第七頁，共二十二頁，編輯于2023年，星期五常用的失真函數(shù)失真函數(shù)是根據(jù)人們的實際需要和失真引起的損失、風險、主觀感覺上的差別等因素人為規(guī)定的，可以有多種形式平方誤差失真函數(shù)絕對誤差失真函數(shù)相對誤差失真函數(shù)誤碼失真函數(shù)平方失真和絕對失真只與

(

yj

-

xi

)

有關(guān)，而不是分別與xi,yj

有關(guān)，在數(shù)學處理上比較方便；相對失真與主觀特性比較匹配，因為主觀感覺往往與客觀量的相對數(shù)成正比，但其數(shù)學處理比較困難誤碼失真函數(shù)表明，只要發(fā)送符號與接收符號不同，由此引起的失真都相同(為常數(shù)

a

)。若常數(shù)值為

1，則稱為漢明失真適用于連續(xù)信源適用于離散信源8第八頁，共二十二頁，編輯于2023年，星期五平均失真度由于單個符號的失真函數(shù)

d

(

xi

,

yj

)

是隨機變量(的一次實現(xiàn))，它只能表示兩個特定的具體符號

xi

,

yj

之間的失真，無法從整體上描述信道平均每傳遞一個符號所引起失真大小定義平均失真度為失真函數(shù)的數(shù)學期望，即

d

(

xi

,

yj

)

在

X

和

Y的聯(lián)合概率空間P(

XY

)

中的統(tǒng)計平均值平均失真度與信源統(tǒng)計特性、信道統(tǒng)計特性 和規(guī)定的失真度有關(guān)；如果信源和失真度給定以后， 就只是信道統(tǒng)計特性的函數(shù)如果規(guī)定平均失真度不超過某一允許失真的上界

D(最大允許平均失真度，簡稱允許平均失真度)，則稱： 為保真度準則滿足保真度準則的限定條件下，求信息傳輸率的最小值9第九頁，共二十二頁，編輯于2023年，星期五符號序列的失真度若信源是單符號離散無記憶信源的

N

次擴展，其限失真編碼可視為

N

長隨機序列

經(jīng)由單符號離散無記憶信道的N次擴散信道，再現(xiàn)為N

長的隨機序列N

長輸入符號序列與N

長輸出符號序列間的失真函數(shù)：由于N次擴展信源和N次擴展信道都是無記憶的，因此：10第十頁，共二十二頁，編輯于2023年，星期五符號序列的

平均失真度符號序列的平均失真度：符號序列的保真度準則： 為同一單符號離散無記憶信源

X

在

N

個不同時刻通過同一單符號離散無記憶信道所造成的平均失真度，因此都等于單符號離散無記憶信源

X

通過單符號離散無記憶信道所造成的平均失真度，即：11第十一頁，共二十二頁，編輯于2023年，星期五4.1.2信息率失真函數(shù)的定義在單符號信源已知并規(guī)定了單符號失真度后，并非所有的信道都能滿足保真度準則

；凡滿足保真度準則的信道稱為

D

失真許可試驗信道，所有的

D

失真許可試驗信道構(gòu)成集合： 對于離散無記憶N次擴展信源和N次擴展信道，相應(yīng)的D

失真許可試驗信道為：對于固定的信源分布，平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù)，也就是說，存在一個信道使給定的信源經(jīng)過此信道傳輸時，信道的平均互信息達到最小信源限失真編碼后的信息傳輸率

R

就是通過試驗信道的平均互信息

I

(

X;

Y

)，

為了便于傳送和處理，

人們總是希望將信息傳輸率R

壓縮到最小12第十二頁，共二十二頁，編輯于2023年，星期五信息率失真函數(shù)

的定義(續(xù))給定信源和失真度后，在所有的

D

失真許可試驗信道中，尋找一個信道使得從輸入端傳送過來的信息量最小。這個最小的平均互信息稱為信息率失真函數(shù)

R

(

D

)，簡稱率失真函數(shù)：在研究

R

(

D

)

時，計算

I

(

X;

Y

)

所用的條件概率并沒有實際信道的含義，只是為了求平均互信息的最小值而引用的、假想的可變試驗信道的信道特性。實際上這些信道反映的僅是不同的限失真信源編碼，或稱信源壓縮R

(

D

)

是在限定允許平均失真為

D

時信源最小信息傳輸率；可以通過改變試驗信道特性來達到，實質(zhì)上是選擇一種限失真信源編碼方式使試驗信道的信息傳輸率為最小，即在滿足保真度準則下，使信源的壓縮率達到最高13第十三頁，共二十二頁，編輯于2023年，星期五率失真函數(shù)的定義域

(D的下界)

允許失真度

D

是平均失真度的上限，而是非負函數(shù)

的數(shù)學期望，因此

D

的下界至多為

0，對應(yīng)于無失真的情況，此時信息傳輸率應(yīng)等于信源輸出的信息熵，即D

能否達到下界

0，與單個符號的失真函數(shù)有關(guān)；在給定的失真矩陣中，對每一個

xi，找一個

yj

與之對應(yīng)，使

d

(

xi

,

yj

)

最小， 不同的

xi

對應(yīng)的最小

d

(

xi

,

yj

)

也不相同。相當于在失真矩陣的每一行找一個最小的

d

(

xi

,

yj

)，然后對各行不同的

d

(

xi

,

yj

)

求統(tǒng)計平均值，就是信源平均失真度上限的下界顯然，如果失真矩陣的每一行至少有一個

0

元素，信源平均失真度上限D(zhuǎn)的下界才能取到014第十四頁，共二十二頁，編輯于2023年，星期五率失真函數(shù)的定義域

(D的上界)R

(

D

)

是在一定約束條件下平均互信息

I

(

X;

Y

)

的最小值，由于I

(

X;

Y

)是非負的，其下界為至多為

0如果不允許失真，平均傳送一個信源符號所需的信息傳輸率最大，R

(

D

)

可以達到信源熵；反之如果允許一定的失真，則信息傳輸率可以小一些；或者說信息傳輸率越小，容忍的平均失真度越大顯然，當

R

(

D

)

達到下界

0

時，允許的平均失真度最大，由于滿足R

(

D

)=0的D

可以有無窮多個，定義使R

(

D

)=0成立的最小的

D

值為率失真函數(shù)的定義域的上界

Dmax

當R

(

D

)=0時，最小的I

(

X;

Y

)=0，這相當于X

和Y

相互統(tǒng)計獨立的情況；這意味著接收端收不到信源發(fā)送的任何信息，與信源不發(fā)送任何信息是等效的，所以在理論上，傳送信源符號的信息傳輸率可以壓縮至015第十五頁，共二十二頁，編輯于2023年，星期五率失真函數(shù)的定義域

(Dmax

的計算)如果試驗信道的轉(zhuǎn)移概率滿足 即

X

和

Y

相互統(tǒng)計獨立，等效于信道關(guān)閉或者信源不發(fā)任何消息，此時必有：，從而

用不同的輸出概率分布對

求數(shù)學期望，取最小的那一個作為如果在中找到最小的，當該j對應(yīng)的 而其余的輸出概率為0時，上式計算出的值最小，即：16第十六頁，共二十二頁，編輯于2023年，星期五率失真函數(shù)R

(

D

)的定義域為(

Dmin,Dmax)

一般情況下： Dmin

=0，R

(

Dmin)=

H

(

X

)

當DDmax

時： R

(

D

)=0

當D

(

Dmin,Dmax)

時： 0<

R

(

D

)<

H

(

X

)17第十七頁，共二十二頁，編輯于2023年，星期五率失真函數(shù)對允許平均失真度的下凸性率失真函數(shù)的連續(xù)性由數(shù)學分析理論：“定義在開區(qū)間上的凸函數(shù)必是連續(xù)函數(shù)”知：定義域為(

Dmin,Dmax)且具有下凸性的R

(

D

)是連續(xù)函數(shù)率失真函數(shù)的單調(diào)遞減性18第十八頁，共二十二頁，編輯于2023年，星期五根據(jù)率失真函數(shù)所具有的下凸性、連續(xù)性、嚴格單調(diào)下降性可繪出率失真函數(shù)的典型曲線圖率失真函數(shù)曲線的一般形式連續(xù)信源離散信源連續(xù)信源離散信源對于連續(xù)信源，R

(

0

)

，曲線不與R

(

D

)相交R

(

Dmin

)

H

(

X

)

及

R

(Dmax

)

=

0

決定了率失真函數(shù)曲線邊緣的 兩個交點19第十九頁，共二十二頁，編輯于2023年，星期五4.2離散信源的信息率失真函數(shù)由率失真函數(shù)的定義可知，求解

R

(

D

)

實質(zhì)上是求解平均互信息的條件極值，與求信道容量

C

類似，可以采用拉格朗日乘子法求解R

(

D

)

是求解

I

(

X;

Y

)

的條件極小值，具體而言，給定信源概率分布p(

x

)和失真函數(shù)