信息率失真函數(shù)的基本概念

第4章

信息率失真函數(shù)我們總喜歡去驗(yàn)證別人對(duì)我們?cè)S下的諾言，卻很少去驗(yàn)證自己給自己許下的諾言。2024/5/201信息率失真函數(shù)主要內(nèi)容：限失真信源編碼定理信息率失真函數(shù)保真度準(zhǔn)則下的信源編碼定理教學(xué)基本要求：掌握率失真函數(shù)的定義、性質(zhì)、計(jì)算掌握保真度準(zhǔn)則下的信源編碼定理重點(diǎn)和難點(diǎn)：率失真函數(shù)(離散信源，連續(xù)信源)的計(jì)算保真度準(zhǔn)則下的信源編碼定理2024/5/202本章主要內(nèi)容4.1基本概念

4.2

離散無(wú)記憶信源R(D)的計(jì)算4.3連續(xù)無(wú)記憶信源的R(D)的計(jì)算4.4信道容量和信息率失真函數(shù)的比較4.5保真度準(zhǔn)則下的信源編碼定理2024/5/203理論上“消息完全無(wú)失真?zhèn)魉汀钡目蓪?shí)現(xiàn)性信道編碼定理：無(wú)論何種信道，只要

H(X)=<信息速率R=<信道容量C總能找到一種編碼，使在信道上能以任意小的錯(cuò)誤概率和無(wú)限接近于C的傳輸速率來(lái)傳送信息。反之，若R>C則傳輸必失真。實(shí)際上“消息完全無(wú)失真?zhèn)魉汀钡牟豢蓪?shí)現(xiàn)性要做到無(wú)失真信源編碼，要求H(X)<R<C；實(shí)際的信源常常是連續(xù)信源，連續(xù)信源的絕對(duì)熵?zé)o窮大,要無(wú)失真?zhèn)魉?，則信息率R也需無(wú)限大，信道容量C也必須為無(wú)窮大。而實(shí)際信道帶寬是有限的，所以信道容量受限制。因此無(wú)法滿足無(wú)失真?zhèn)鬏數(shù)臈l件，因此傳輸質(zhì)量必然受影響。2024/5/204有些失真沒有必要完全消除（限失真信源編碼）實(shí)際生活中，人們一般并不要求獲得完全無(wú)失真的消息，通常只要求近似地再現(xiàn)原始消息，即允許一定的失真存在。打電話，即使語(yǔ)音信號(hào)有一些失真，接電話的人也能聽懂。放電影：理論上需要無(wú)窮多幅靜態(tài)畫面，由于人眼的視覺暫留性，實(shí)際上只需要每秒放映24幅靜態(tài)畫面，視覺上就會(huì)感覺是連續(xù)的。信息率失真理論——信息率失真函數(shù)香農(nóng)定義了信息率失真函數(shù)R(D)定理指出：在允許一定失真度D的情況下，信源輸出的信息率可以壓縮到R(D).2024/5/205信息率失真函數(shù)極小值問(wèn)題I(X;Y)是P(X)和P(Y/X)二元函數(shù)。在討論信道容量時(shí)：固定P(Y/X),I(X;Y)是P(X)的函數(shù)。離散情況下，I(X;Y)是的上凸函數(shù)，因此必有I(X;Y)的極大值。在討論信息速率時(shí)：固定,I(X;Y)是的下凸函數(shù)，因此必有I(X;Y)的極小值。但是若X和Y統(tǒng)計(jì)獨(dú)立，即這樣極小值就變成0，此時(shí)極小值就沒有意義了。引入一個(gè)失真函數(shù)R(D)，計(jì)算在失真度D一定的情況下，可求得信息率R的極小值。2024/5/206信息率與失真的關(guān)系信源壓縮后相比原始信源，誤差或失真越大，說(shuō)明壓縮掉的信息量就越多。描述失真度大小和信息速率關(guān)系的定理稱為：保真度準(zhǔn)則下的信源編碼定理，也叫信息率失真理論。信息率失真理論的應(yīng)用：信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。2024/5/2074.1主要內(nèi)容失真函數(shù)

平均失真信息率失真函數(shù)信息率失真函數(shù)的基本性質(zhì)2024/5/208失真函數(shù)由于信息率的大小與失真的程度有關(guān)，為了定量地描述信息率和失真的關(guān)系，必須先規(guī)定失真的測(cè)度標(biāo)準(zhǔn)，即失真函數(shù)：它用來(lái)表示信源壓縮后的消息和原始發(fā)送的消息之間的誤差。具體地：每一對(duì)，指定一個(gè)非負(fù)函數(shù)稱為單個(gè)符號(hào)的失真度（失真函數(shù)），它表示信源發(fā)出一個(gè)符號(hào)，壓縮后在接收端收到，二者之間的誤差或失真。distortion2024/5/209失真函數(shù)失真函數(shù)其它表示收發(fā)之間誤差的失真函數(shù)：平方誤差失真函數(shù)或均方失真函數(shù)絕對(duì)失真函數(shù)相對(duì)失真函數(shù)2024/5/2010單符號(hào)離散信源的失真函數(shù)設(shè)離散無(wú)記憶信源為信源通過(guò)矩陣P(Y/X)壓縮壓縮后，接收端Y2024/5/2011失真矩陣要描述離散信源的所有失真情況，必須用矩陣來(lái)表示：即失真矩陣，記作D若一個(gè)信源的所有符號(hào)壓縮前后的失真大小都為α，則可寫作對(duì)角線上為0，其余為α。則該單符號(hào)離散信源進(jìn)行壓縮傳輸?shù)氖д婢仃嚳梢詫懽鳌?024/5/2012失真矩陣若α=1，則失真函數(shù)稱為漢明失真函數(shù)，失真矩陣稱為漢明失真矩陣，變?yōu)?024/5/2013例：已知單符號(hào)離散無(wú)記憶信源X={0,1}，Y={0,1，2}，將其進(jìn)行壓縮的失真函數(shù)為

d(0,0)=d(1,1)=0；d(0,1)=d(1,0)=1；d(0,2)=d(1,2)=0.5，求失真矩陣：解：2024/5/2014以上離散無(wú)記憶信源的N次擴(kuò)展信源的失真函數(shù)：若發(fā)送和壓縮傳輸后接收的消息分別為：則N次擴(kuò)展信源的失真函數(shù)可定義為2024/5/2015連續(xù)信源的失真函數(shù)

記作：d(x,y)例：某一連續(xù)信源進(jìn)行壓縮傳輸時(shí)，采用的失真壓縮的函數(shù)為均方式真，則其失真函數(shù)可寫作：d(x,y)=(y-x)22024/5/2016平均失真只能表示兩個(gè)特定的具體符號(hào)之間的失真，而對(duì)于信源整體壓縮時(shí)，引起的失真測(cè)度需要求平均失真。平均失真：平均失真為失真函數(shù)的數(shù)學(xué)期望?？梢员硎拘旁磯嚎s傳輸時(shí)平均每個(gè)符號(hào)所引起的失真的大小，是從總體上對(duì)整個(gè)信源壓縮失真情況的描述。平均失真的特性：它是信源統(tǒng)計(jì)特性，信道統(tǒng)計(jì)特性和失真度的函數(shù)，當(dāng)以上三個(gè)量給定后，平均失真度就不再是一個(gè)隨機(jī)量了，而變成一個(gè)確定的量。人們所允許的壓縮失真都是平均意義上的失真。2024/5/2017平均失真單符號(hào)離散無(wú)記憶信源進(jìn)行壓縮傳輸時(shí)的平均失真N次擴(kuò)展信源（無(wú)記憶）的平均失真

2024/5/2018所以，N次擴(kuò)展信源的平均失真為（注意前提為：無(wú)記憶信源）當(dāng)對(duì)于定義域內(nèi)的i,j,k,則2024/5/2019連續(xù)信源的平均失真連續(xù)信源的平均失真因?yàn)殡x散信源的平均失真為：2024/5/2020信息率失真函數(shù)定義：給定信源和失真函數(shù)，要使信源壓縮后的平均失真(D為給定的失真上限)，則需找到某種壓縮方法，使其經(jīng)過(guò)壓縮后可以達(dá)到一個(gè)允許的最小信息速率，即R(D)。不妨將該壓縮過(guò)程假設(shè)成讓信源通過(guò)一個(gè)有失真的傳輸信道（滿足一定的信道轉(zhuǎn)移概率分布或轉(zhuǎn)移概率密度函數(shù)），使在該信道（稱為試驗(yàn)信道）上傳輸?shù)男畔⑺俾蔬_(dá)到最小，這個(gè)最小的信息速率稱為信息率失真函數(shù)，記作R(D)。信息率失真函數(shù)示意圖2024/5/2021信息率失真函數(shù)單符號(hào)離散無(wú)記憶信源的信息率失真函數(shù)

其中2024/5/2022信息率失真函數(shù)單符號(hào)離散無(wú)記憶信源的N次擴(kuò)展信源的信息率失真函數(shù)2024/5/2023信息率失真函數(shù)的基本性質(zhì)率失真函數(shù)的定義域(0,Dmax)1、當(dāng)平均失真D=0時(shí)，率失真函數(shù)R(D)=R(0)=H(X)證明：(1)對(duì)于離散信源當(dāng)D=0時(shí)，說(shuō)明信源壓縮后無(wú)失真，即沒有進(jìn)行任何壓縮，因此壓縮后的信息速率R(D)等于壓縮前的（即信源熵）：

R(D)=R(0)=I(X;Y)=H(X)-H(X/Y)=H(X)2024/5/2024信息率失真函數(shù)的基本性質(zhì)率失真函數(shù)的定義域(0,Dmax)(2)對(duì)于連續(xù)信源，所以當(dāng)D=0時(shí)，R(0)=H(X)=∞因?yàn)榻^對(duì)熵為無(wú)窮大因此，連續(xù)信源要進(jìn)行無(wú)失真地壓縮傳輸，需要傳遞的信息量是無(wú)窮大，這就需要一個(gè)具有無(wú)窮大信道容量的信道才能完成，而實(shí)際信道傳輸容量有限，所以要實(shí)現(xiàn)連續(xù)信源的無(wú)失真?zhèn)魉褪遣豢赡艿?，必須允許一定的失真，使R(D)變?yōu)橛邢拗?，傳送才有可能?024/5/2025

2、當(dāng)D=Dmax時(shí)，R(Dmax)=0。

分析：失真值D越大，R(D)越小，D大到一定程度，R(D)=0，即壓縮后的信源沒有任何信息量?，F(xiàn)在將所有滿足R(D)=0的D的最小值，定義為R(D)定義域的上限D(zhuǎn)max。

Dmax的計(jì)算式：

信息率失真函數(shù)的基本性質(zhì)2024/5/2026信息率失真函數(shù)的基本性質(zhì)二、R(D)是定義域(0,Dmax)上的嚴(yán)格單調(diào)遞減連續(xù)下凸函數(shù)允許的最大失真D允許的最小信息率R(D)0Dmax2024/5/2027該式相當(dāng)于求Dj的最小數(shù)學(xué)期望若Ds是所有Dj中最小的一個(gè)，則取p(ys)=1，其它p(yj)=0,此時(shí)Dj的數(shù)學(xué)期望必然最小Dmax的簡(jiǎn)化計(jì)算式的推導(dǎo)：2024/5/2028例4.1.1：P110已知二元信源解：（1）求Dmax

2024/5/2029D1D22024/5/2030（1）.2024/5/2031例4.1.1：P110已知二元信源解：（2）求Dmin

202