信息率失真函數(shù)

信息率失真函數(shù)第一頁，共八十二頁，編輯于2023年，星期五5.1引言5.3信息率失真函數(shù)的性質(zhì)5.4信息率失真函數(shù)的計算5.2平均失真和信息率失真函數(shù)第二頁，共八十二頁，編輯于2023年，星期五5.1引言冗余度壓縮編碼對信源輸出的信息進行有效的表示。信道編碼增加信息的冗余度，以對抗信道中的傳輸錯誤。以上兩個方向的努力都是為了保證信息的可靠、無誤傳輸，是保熵的。問題是：

是否所有的信源都要進行保熵的編碼呢？第三頁，共八十二頁，編輯于2023年，星期五音頻壓縮森林的鳥鳴：原始音頻：352Kps=44KHz×8Bit128kbpsMP3格式壓縮一段著名的話：原始音頻：352Kps=44KHz×8Bit128kbpsMP3格式壓縮第四頁，共八十二頁，編輯于2023年，星期五圖像壓縮文件大?。?32K第五頁，共八十二頁，編輯于2023年，星期五圖像壓縮文件大?。?38K第六頁，共八十二頁，編輯于2023年，星期五圖像壓縮文件大小：138K第七頁，共八十二頁，編輯于2023年，星期五圖像壓縮文件大?。?4K第八頁，共八十二頁，編輯于2023年，星期五問題的提出是否需要完全表示信源的信息？自然界中很多信源是不需要進行保熵的壓縮和傳輸?shù)膶τ谶B續(xù)信源，需要使用無限大的碼率才能夠進行可靠的傳輸因此，不可能也不必要完全表示信源信息

在給定的信息速率條件下，如何可以獲得信息的最優(yōu)表示？什么是最好？失真最小就是最好嗎？定義失真的度量第九頁，共八十二頁，編輯于2023年，星期五本章討論主要問題：

在允許一定失真存在的條件下，能夠?qū)⑿旁葱畔嚎s到什么程度，即最少需要多少比特信息才能夠描述信源，如何能夠快速的傳輸信息。

信息率失真理論的基本概念：

在允許傳輸消息出現(xiàn)一定的失真條件下，傳輸該消息所需的信息率(最小值)將會比不允許失真時小，并且允許的失真度越大，則信息率(最小值)允許減小的程度就越大。第十頁，共八十二頁，編輯于2023年，星期五5.2平均失真和信息率失真函數(shù)

實際問題中，信號有一定的失真可以容忍。當失真大于某一限度后，信息質(zhì)量將被嚴重損傷，喪失其實用價值。因此要規(guī)定失真限度，有一個定量的失真測度－失真函數(shù)。第十一頁，共八十二頁，編輯于2023年，星期五設信源輸出樣值：xi,xi∈{a1,…,an},經(jīng)過信源編碼器，輸出樣值yj,yj∈{b1,…,bm}.如果xi=yj，沒有失真；如果xi≠yj，產(chǎn)生失真。失真函數(shù)（失真測度）第十二頁，共八十二頁，編輯于2023年，星期五失真大小用失真函數(shù)d(xi,yj)表示失真函數(shù)又稱為失真度。為簡化起見，d(xi,yj)簡寫成dij，d(xi,yj)=0αxi=yjxi≠yji＝j時，x和y的消息符號都是ai，收發(fā)之間沒有失真，dij

＝0i≠j時，發(fā)出符號ai，收到bj，傳輸時出現(xiàn)失真，dij>0

一般dij值的大小表示失真的程度，表征了接收消息yj與發(fā)送消息xi之間的定量失真度。失真函數(shù)（失真測度）第十三頁，共八十二頁，編輯于2023年，星期五失真函數(shù)類型均方失真d(xi,yj)=(xi-yj)2絕對失真d(xi,yj)=|xi-yj|相對失真d(xi,yj)=|xi-yj|/|xi|誤碼失真d(xi,yj)=δ(xi-yj)=01xi=yj其他用于連續(xù)信源失真函數(shù)（失真測度）第十四頁，共八十二頁，編輯于2023年，星期五失真函數(shù)性質(zhì)：第十五頁，共八十二頁，編輯于2023年，星期五

若X和Y集合都由N個不同符號構(gòu)成的，那么可組成N2個不同的(i,j)對，相對應的失真函數(shù)也有N2個若X和Y集合分別由N個和M個不同符號構(gòu)成的，那么可組成N*M個不同的(i,j)對，相對應的失真函數(shù)也有N*M個

dij表示方法有兩種，一是失真矩陣D，二是消息傳輸圖失真函數(shù)（失真測度）第十六頁，共八十二頁，編輯于2023年，星期五將所有失真函數(shù)排列起來，得到失真矩陣DD＝d(a1,b1)d(a1,b2)…d(a1,bm)d(a2,b1)d(an,b1)………d(an,b2)d(a2,b2)d(a2,bm)d(an,bm)失真矩陣第十七頁，共八十二頁，編輯于2023年，星期五消息傳輸圖XYx1x2xixN…………y1y2yjyMd11d12d1jd1MdN1dNMdNjdN2第十八頁，共八十二頁，編輯于2023年，星期五例：已知X＝Y(jié)＝{a1，a2}，且有d11＝d22＝0，d12＝d21＝1，用兩種方法表示失真函數(shù)解：失真矩陣D為：消息傳輸圖為：第十九頁，共八十二頁，編輯于2023年，星期五例：已知X={0,1,2,3,4,5}，Y={0,1,2}，X和Y集合符號之間的失真函數(shù)值分別為d00=d11=d22=0，d30=d31=d41=d42=d50=d52=1，d01=d02=d10=d12=d20=d21=2，d32=d40=d51=3。這些失真函數(shù)值的由來可形象化地用正六角形表示，其中每條條邊相當于失真函數(shù)值為1。013425第二十頁，共八十二頁，編輯于2023年，星期五XY020123450001322222211111133第二十一頁，共八十二頁，編輯于2023年，星期五漢明失真第二十二頁，共八十二頁，編輯于2023年，星期五平方誤差失真函數(shù)第二十三頁，共八十二頁，編輯于2023年，星期五

為了估計全體信源發(fā)出的消息符號與接收符號之間的失真程度,需要計算各個失真函數(shù)的統(tǒng)計平均值(數(shù)學期望)。平均失真函數(shù)定義為：平均失真函數(shù)第二十四頁，共八十二頁，編輯于2023年，星期五若X和Y都是n維矢量消息的集合，也可以定義兩個矢量消息之間的失真函數(shù)為：

其平均失真函數(shù)為：該式中是n維矢量的第r個分量上的平均失真函數(shù)平均失真函數(shù)第二十五頁，共八十二頁，編輯于2023年，星期五

當給定信源的各符號概率分布時，若要求平均失真函數(shù)不超過某個給定的值D(即D為允許失真度)，這就需要對假想的試驗信道的傳輸概率P(yj|xi)施加一定的限制先把{P(yj|xi)}集合的各種可能值代入式

信源概率轉(zhuǎn)移概率失真函數(shù)第二十六頁，共八十二頁，編輯于2023年，星期五

求出各個，再根據(jù)，把{P(yj|xi)}分成兩類:

的一類用PD表示，PD是能使實際失真在允許失真度范圍內(nèi)的那些假想試驗信道的{P(yj|xi)}

的一類稱為禁用集合第二十七頁，共八十二頁，編輯于2023年，星期五保真度（失真度）準則：若平均失真函數(shù)不大于所允許的失真度D，即稱為保真度準則。第二十八頁，共八十二頁，編輯于2023年，星期五第二十九頁，共八十二頁，編輯于2023年，星期五信息率失真函數(shù)R(D)把有失真的信源編碼器看作有干擾的假想信道，用分析信道傳輸?shù)姆椒ㄑ芯肯奘д嫘旁淳幋a問題第三十頁，共八十二頁，編輯于2023年，星期五平均失真由信源分布，轉(zhuǎn)移概率，失真函數(shù)決定，如果信源分布和失真函數(shù)一定，則滿足失真條件的所有轉(zhuǎn)移概率分布構(gòu)成一個信道集合：PD為假想信道，允許試驗信道第三十一頁，共八十二頁，編輯于2023年，星期五

信息率失真函數(shù)R(D)定義：在給定信源消息的概率分布{P(xi)}及平均失真函數(shù)允許值D的條件下，傳輸這些信源消息，并使失真程度在允許范圍內(nèi)時，所需要的信息率的最小值，其定義式為：

R(D)又稱作率失真函數(shù)PD——滿足保真度準則的試驗信道的集合。第三十二頁，共八十二頁，編輯于2023年，星期五平均互信息量的凸函數(shù)性

(1)I(X;Y)是信源概率分布P(X)的上凸函數(shù)

（最大值）——信道容量

(2)I(X;Y)是信道轉(zhuǎn)移概率P(Y/X)的下凸函數(shù)

（最小值）——率失真函數(shù)回顧：第三十三頁，共八十二頁，編輯于2023年，星期五二進制對稱信道q不變時,I(X;Y)為上凸曲線。p=0.5時有最大值p不變時,I(X;Y)為下凸曲線。q=0.5時有最小值00.51qH(p)I(X;Y)1-H(q)00.51pI(X;Y)qq10YX回顧：第三十四頁，共八十二頁，編輯于2023年，星期五由于平均互信息量I(X;Y)是p(yj|xi)的下凸函數(shù)，所以在PD集合內(nèi)，極小值存在。該極小值就是在保真度準則的條件下，信源必須傳輸?shù)淖钚∑骄バ畔⒘?第三十五頁，共八十二頁，編輯于2023年，星期五離散無記憶信源N維信源矢量的信息率失真函數(shù)RN(D)為X——信源的一個輸出序列；Y——信宿的一個接收序列；

——N維信源矢量的平均失真度。第三十六頁，共八十二頁，編輯于2023年，星期五信息率失真函數(shù)R(D)的等效定義稱D(R)為失真信息率函數(shù)，是R(D)的逆函數(shù)，它是求在允許最大速率情況下的最小失真D給定速率第三十七頁，共八十二頁，編輯于2023年，星期五連續(xù)DR(D)H(X)=R(0)0離散下凸函數(shù)由定義，R(D)函數(shù)是在限定失真為最大允許失真D時信源最小信息傳輸速率，它是通過改變試驗信道特性來達到的。所以R(D)是表示不同D值時對應的理論上最小信息速率值。第三十八頁，共八十二頁，編輯于2023年，星期五說明：（1）在研究信息率失真函數(shù)R(D)時，引用的信道傳輸概率p(yj|xi)并沒有實際信道的含義，是為了求平均互信息量極小值而引用的假想可變試驗信道。即不同的試驗信道特性，并求解出不同的信息率失真R’(D)函數(shù)，它與理論上最佳的R(D)之間存在著差異，它反映了不同方式信源編碼性能的優(yōu)劣，這也正是R(D)函數(shù)的理論價值所在。第三十九頁，共八十二頁，編輯于2023年，星期五（2）連續(xù)信源，無失真是毫無意義的，這時R(D)函數(shù)具有更大的價值。實際上，這些信道僅僅反映不同的有失真信源編碼或信源壓縮編碼。因此，改變試驗信道求平均互信息量的極小值，實質(zhì)上是選擇一種信源編碼方法使信息傳輸速率最小。第四十頁，共八十二頁，編輯于2023年，星期五（3）研究信息率失真函數(shù)是為了解決在已知信源和允許失真度的條件下，如何使信源傳送給信宿的信息量最小的問題，也就是說在一定失真度D條件下，盡可能用最少的碼符號來傳送信源消息，使信源消息盡快地傳送出去，以提高通信的有效性。（4）信息率失真函數(shù)的物理意義：對于給定信源，在平均失真不超過失真限度D的條件下，信息率容許壓縮的最小值為R(D)。第四十一頁，共八十二頁，編輯于2023年，星期五限失真信源編碼定理(香農(nóng)第三定理)

限失真信源的信息率用R(D)描述，所采用的信道的信道容量為C時，若C>R(D)時，則限失真信源的有效性編碼存在；反之，若C<R(D)時，則限失真信源的有效性編碼就不存在信源編碼器的目的：使編碼后所需的信息傳輸率R盡量小,給出一個失真的限制值D，在滿足保真度準則條件下，選擇一種編碼方法，使信息率R盡可能小第四十二頁，共八十二頁，編輯于2023年，星期五例：若有一個離散、等概率單消息（或無記憶）二元信源：,且采用漢明距離作為失真度量標準：即有一具體信源編碼方案為：N個碼元中允許錯一個碼元，實現(xiàn)時N個碼元僅送N-1個，剩下一個不送，在接收端用隨機方式?jīng)Q定（為擲硬幣方式）。第四十三頁，共八十二頁，編輯于2023年，星期五陰影范圍表示實際信源編碼方案與理論值間的差距，我們完全可以找到更好，即更靠近理論值，縮小陰影范圍的信源編碼，這就是工程界尋找好的信源編碼的方向和任務。二元信源的理論信息率失真函數(shù)二元信源的實際信息率失真函數(shù)第四十四頁，共八十二頁，編輯于2023年，星期五例：設信源具有一百個以等概率出現(xiàn)的符號a1，a2，…，a99，a100，并以每秒發(fā)出一個符號的速率從信源輸出。試求在允許失真度D＝0.1條件下，傳輸這些消息所需要的最小信息率。

信源a1,a2,...,a99,a100試驗信道{p(yj|xi)}無擾離散信道失真信源a1～a100a1～a90(a)第四十五頁，共八十二頁，編輯于2023年，星期五解：在不失真?zhèn)鬏敆l件下的信息率R為：因為允許失真度D＝0.1，可設想信源100個符號經(jīng)過假想的試驗信道只輸出a1，a2，…，a89，a90，即輸出90個符號，而余下的a91，…，a100都用a90代替

bit/sXYa1a2a90a91a100a90a2a1第四十六頁，共八十二頁，編輯于2023年，星期五

除a1，a2，…，a89，a90對應位置上的元素為0外，其余元素為1或∞（假想試驗信道傳輸概率P(yj|xi)為零時，所對應的dij為無限大）

第四十七頁，共八十二頁，編輯于2023年，星期五該失真信源的組合方案的平均失真函數(shù)為：上式中：

X1＝Y(jié)1＝{a1，a2，…，a89，a90}，屬于不失真的符號集合，對應dij＝0，其中i,j＝1，2，…，90X2＝{a91，…，a100}，Y2＝{a90}，屬于失真集合，對應dij＝1，其中i＝91，91，…，100，j＝90第四十八頁，共八十二頁，編輯于2023年，星期五

據(jù)題意，P(xi)＝1/100（i＝1，2，…，100）所以得平均失真函數(shù)：

可見，這樣設想的失真信源的組合方案能滿足對失真度的要求。

第四十九頁，共八十二頁，編輯于2023年，星期五

該試驗信道為無噪有損信道，即H(Y|X)=0,所以

R=I(X;Y)=H(Y)-H(Y|X)=H(Y)

在試驗信道的輸出端Y，a1，a2，…，a89的出現(xiàn)概率仍為1/100,而a90的出現(xiàn)概率P(a90)＝11/100，可知相應的信息傳輸速率為：

第五十頁，共八十二頁，編輯于2023年，星期五

比較R’與無失真?zhèn)鬏敆l件下的信息率R,可知在D＝0.1的條件下，所需信息率減小了6.644－6.264＝0.38bit/s。同理，在D＝0.5的條件下(假定后50個符號均產(chǎn)生失真，這后50個符號均用a50來代替)信息率R”為：

與無失真?zhèn)鬏敆l件下的信息率R想比較減小6.644－3.751＝2.893bit/s。第五十一頁，共八十二頁，編輯于2023年，星期五信道容量與信息率失真函數(shù)的比較第五十二頁，共八十二頁，編輯于2023年，星期五(1)求極值問題平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n)或概率密度函數(shù)p(x)的上凸函數(shù)。根據(jù)上凸函數(shù)定義，如果I(X;Y)在定義域內(nèi)對p(xi)或p(x)的極值存在，則該極值一定是極大值。信道容量就是在固定信道情況下，求平均互信息極大值的問題，即

I(X;Y)又是信道轉(zhuǎn)移概率分布p(yj/xi)(i=1,2,…,n;j=1,2,…,m)或條件概率密度函數(shù)p(y/x)的下凸函數(shù)，因此在滿足保真度準則條件下，I(X;Y)對p(yj/xi)或p(y/x)的條件極值若存在，則一定是極小值。信息率失真函數(shù)就是在試驗信道（滿足保真度準則的信道）中尋找平均互信息極小值的問題，即信道容量與信息率失真函數(shù)的比較第五十三頁，共八十二頁，編輯于2023年，星期五信道容量與信息率失真函數(shù)的比較(2)特性信道容量C一旦求出后，就只與信道轉(zhuǎn)移概率p(yj/xi)或條件概率密度p(y/x)有關(guān)，反映信道特性，與信源特性無關(guān)；由于平均互信息與信源的特性有關(guān)，為了排除信源特性對信道容量的影響，采用的做法是在所有的信源中以那個能夠使平均互信息達到最大的信源為參考，從而使信道容量僅與信道特性有關(guān)，信道不同，C亦不同。信息率失真函數(shù)R(D)一旦求出后，就只與信源概率分布p(xi)或概率密度函數(shù)p(x)有關(guān)，反映信源特性，與信道特性無關(guān)。由于平均互信息與信道的特性有關(guān)，為了排除信道特性對信息率失真函數(shù)的影響，采用的做法是在所有的信道中以那個能使平均互信息達到最小的信道為參考，從而使信息率失真函數(shù)僅僅與信源特性有關(guān)，信源不同，R(D)亦不同。第五十四頁，共八十二頁，編輯于2023年，星期五(3)解決的問題信道容量是為了解決通信的可靠性問題，是信息傳輸?shù)睦碚摶A，通過信道編碼增加信息的冗余度來實現(xiàn)；信息率失真函數(shù)是為了解決通信的有效性問題，是信源壓縮的理論基礎，通過信源編碼減少信息的冗余度來實現(xiàn)。第五十五頁，共八十二頁，編輯于2023年，星期五5.3信息率失真函數(shù)的性質(zhì)1.R(D)函數(shù)的定義域(1)Dmin和R(Dmin)R(Dmin)＝R(0)=H(X)通常最小允許失真度Dmin為零，在D＝0條件下，因為不允許失真，所以X和Y集合的各個消息符號都一一對應，這相當于假想的試驗信道是無擾離散信道的情況。在這種信道上，有：

I(X;Y)＝H(X)＝H(Y)

所以，R(0)=H(X)，且R(0)是R(D)的上限值第五十六頁，共八十二頁，編輯于2023年，星期五當給定信源，以及失真矩陣D，信源的最小平均失真度由上式可以知道，若選擇試驗信道，使對每一個的求和式為最小，則總和值達到最小。當固定某個，那么對于不同的其不同（即在失真矩陣D中第i行的元素不同），其中必有最小值也可能有若干個相同的最小值。于是，可以選擇這樣的試驗信道，它滿足所有最小值的yj所有最小值的yj第五十七頁，共八十二頁，編輯于2023年，星期五可見，允許失真度D是否能為零，這與單個符號的失真函數(shù)有關(guān)，只有當失真矩陣中每行至少有一個零元素時，信源的平均失真度才能達到零值，否則，最小平均失真度不等于零。如果Dmin≠0，可以適當改變單個符號的失真度，令使Dmin=0。而對信息率失真函數(shù)來說，它只是起了坐標平移作用。所以可以假設Dmin=0而不失其普遍性?？梢?，只有當失真矩陣中每行至少有一個零，并且每一列最多只有一個零時，才等于；否則小于。這時表示信源符號集中有些符號可以壓縮、合并，但是沒有任何失真。則可以得信源的最小平均失真度為第五十八頁，共八十二頁，編輯于2023年，星期五例：刪除信源X取值【0，1】，Y取值【0，1，2】。而失真矩陣為求Dmin。滿足最小失真度的試驗信道是個無噪無損信道，轉(zhuǎn)移矩陣為在這個無噪無損信道中，可得第五十九頁，共八十二頁，編輯于2023年，星期五例：第六十頁，共八十二頁，編輯于2023年，星期五(2)Dmax和R(Dmax)最大允許失真度Dmax的含義是使平均互信息量等于零時所允許的失真度，即R(Dmax)＝0

在Dmax條件下，R(Dmax)＝I(X;Y)＝0，這意味著X和Y集合之間沒有任何信息量的關(guān)連，X和Y相互獨立當D>Dmax

也有R(D)＝0第六十一頁，共八十二頁，編輯于2023年，星期五

X和Y相互獨立的條件下，對各個xi，有P(yj|xi)＝P(yj)，這時平均失真函數(shù)可寫成：因為當D≥Dmax時，有R(D)＝0

所以，Dmax應在滿足I(X；Y)＝0的條件下，取Y集合中所有值中的最小值，故定義Dmax為：第六十二頁，共八十二頁，編輯于2023年，星期五例：已知信源的消息集合X中包含x0和x1兩個消息，并設它們的概率為P(X1)＝p<1/2，P(X2)＝1－p，而信宿符號集合Y也包含兩個符號y0和y1

，失真矩陣為，試求Dmax第六十三頁，共八十二頁，編輯于2023年，星期五

解：接收符號y0的平均失真函數(shù)為：接收符號y1的平均失真函數(shù)為：因為p<1/2

所以滿足這個失真度的試驗信道為：第六十四頁，共八十二頁，編輯于2023年，星期五2.R(D)函數(shù)的下凸性和連續(xù)性3.R(D)函數(shù)的單調(diào)遞減性物理意義：容許的失真度越大，所要求的信息率越小。第六十五頁，共八十二頁，編輯于2023年，星期五第六十六頁，共八十二頁，編輯于2023年，星期五5.4信息率失真函數(shù)的計算

可見，求解R(D)實質(zhì)上是求解互信息的條件極值，可采用拉氏乘子法求解。但是，在一般情況下只能求得用參量（R(D)的斜率S）來描述的參量表達式，并借助計算機進行迭代運算。由信道容量C與R(D)數(shù)學上對偶關(guān)系：其迭代運算與求信道容量迭代運算相仿的。我們這里只介紹特殊情況下的