信息論與編碼第4章-信息率失真函數(shù)

第4章信息率失真函數(shù)在實(shí)際生活中，人們不一定要求完全無失真的恢復(fù)消息，也就是允許有一定的失真。因此，可以對(duì)信源輸出的信息進(jìn)行失真處理，通過降低信息率，提高傳輸效率。本章主要討論在一定程度的失真情況下所需的最少信息率，從分析失真函數(shù)、平均失真出發(fā)，求出信息率的失真函數(shù)。率失真函數(shù)8/14/20241第4章信息率失真函數(shù)4.1 平均失真和信息率失真函數(shù)4.2 離散信源和連續(xù)信源的R(D)計(jì)算8/14/20242失真函數(shù)既然允許一定的失真存在，對(duì)信息率的要求便可降低?？梢砸胍粋€(gè)失真函數(shù)，計(jì)算在失真度一定的情況下傳輸信息率的極小值。誤差或失真越大，接收者收到消息后對(duì)信源存在的不確定性就越大，獲得的信息量就越小，傳輸消息所需的信息率也越小。所以信息率與失真有關(guān)。為了定量地描述信息率和失真的關(guān)系，必須先規(guī)定失真的測度。8/14/20243失真函數(shù)信源信源編碼信道編碼信道信道譯碼信源譯碼信宿干擾廣義無干擾信道把信道編碼、信道和信道譯碼等價(jià)成是一個(gè)沒有任何干擾的廣義信道，這樣收信者收到消息后，所產(chǎn)生的失真只是由信源編碼帶來的。同樣，也可以把信源編碼和信源譯碼等價(jià)成一個(gè)信道，稱為試驗(yàn)信道。信源信宿試驗(yàn)信道8/14/20244失真函數(shù)假設(shè)某一信源X輸出一個(gè)隨機(jī)變量xi∈{a1,a2,…,an}，經(jīng)信源編碼后輸出Y，yj∈{b1,b2,…,bm}。

xi

＝y(tǒng)j

沒有失真

xi≠yj

產(chǎn)生失真失真的大小可以用一個(gè)量來表示，即失真函數(shù)d(xi,yj)，用來衡量信源每發(fā)出一個(gè)符號(hào)xi

，而在接收端再現(xiàn)成符號(hào)yj所引起的失真程度。8/14/20245失真函數(shù)單符號(hào)失真函數(shù)定義為：將所有的d(xi,yj)排列起來，用矩陣表示為d稱為失真矩陣8/14/20246失真函數(shù)例：假設(shè)信源變量X＝{a1,a2,…,an}，接收變量Y＝{b1,b2,…,bn}。定義單符號(hào)失真度為漢明失真漢明失真矩陣二元對(duì)稱信源d(0,0)=d(1,1)=0d(0,1)=d(1,0)=18/14/20247失真函數(shù)例：刪除信源。假設(shè)信源變量X＝{a1,a2,…,an}，接收變量Y＝{b1,b2,…,bm}，m=n+1。定義單符號(hào)失真度

無失真：d(0,0)=d(1,1)=0全失真：d(0,1)=d(1,0)=1半失真：d(0,2)=d(1,2)=1/2式中接收符號(hào)bm稱為刪除符號(hào)。如果信源符號(hào)再現(xiàn)為刪除符號(hào)bm，其失真程度比再現(xiàn)為其他接收符號(hào)少一半。二元?jiǎng)h除信源n=2，m=38/14/20248失真函數(shù)失真函數(shù)形式可以根據(jù)需要任意選取，最常用的有均方失真：絕對(duì)失真：相對(duì)失真：誤碼失真：連續(xù)信源離散信源8/14/20249失真函數(shù)如果假定離散信源輸出符號(hào)序列X=(X1X2…Xl…XL),

Xl∈A={a1,…an}，其中L長符號(hào)序列xi=(xi1xi2…xiL)，經(jīng)信源編碼后輸出符號(hào)序列Y=(Y1Y2…Yl…YL)，Yl∈B={b1,…bm}，其中L長符號(hào)序列

yj=(yj1yj2…yjL)， 序列失真函數(shù)定義為式中，d(xil

,yjl)表示信源輸出符號(hào)序列xi的第l個(gè)符號(hào)和編碼輸出符號(hào)序列yj的第l個(gè)符號(hào)之間的失真函數(shù)信源序列的失真度等于序列中對(duì)應(yīng)單個(gè)符號(hào)的失真度之和8/14/202410平均失真由于xi和yj都是隨機(jī)變量，所以失真函數(shù)d(xi,yj)也是隨機(jī)變量。將失真函數(shù)的數(shù)學(xué)期望或統(tǒng)計(jì)平均值稱為平均失真。式中，p(aibj)表示聯(lián)合概率分布p(ai)表示信源符號(hào)概率分布，p(bj

/ai)表示轉(zhuǎn)移概率分布8/14/202411平均失真失真函數(shù)d(xi,yj)描述了某個(gè)信源符號(hào)通過傳輸后失真的大小。對(duì)于不同的信源符號(hào)和不同的接收符號(hào)，其值是不同的。平均失真：對(duì)信源和信道進(jìn)行的統(tǒng)計(jì)平均。描述某一信源在某一試驗(yàn)信道傳輸下的失真大小，是從總體上描述整個(gè)系統(tǒng)的失真情況。連續(xù)隨機(jī)變量的平均失真pxy(x,y)是連續(xù)隨機(jī)變量的聯(lián)合概率密度d(x,y)是連續(xù)隨機(jī)變量的失真函數(shù)8/14/202412平均失真L維信源符號(hào)序列的平均失真度當(dāng)信源與信道無記憶時(shí)，信源符號(hào)平均失真度（平均每個(gè)符號(hào)的平均失真度）表示信源符號(hào)序列的第l個(gè)符號(hào)的平均失真8/14/202413信息率失真函數(shù)無論是無噪信道還是有噪信道：如果R(輸出信息率)＜C(信道容量)，總能找到一種編碼使在信道上能以任意小的錯(cuò)誤概率、任意接近C的傳輸率來傳送信息。如果R＞C，就必須對(duì)信源壓縮，使其壓縮后的信息傳輸率R小于信道容量C，但同時(shí)要保證壓縮所引入的失真不超過預(yù)先規(guī)定的限度。因此，信息壓縮問題就是對(duì)于給定的信源，在滿足平均失真的前提下，使信息率盡可能小。8/14/202414信息率失真函數(shù)保真度準(zhǔn)則平均失真度不大于允許的失真當(dāng)信源p(xi)給定，單個(gè)符號(hào)失真度d(xi,yj)給定時(shí)，選擇不同的試驗(yàn)信道（相當(dāng)于不同的編碼方法），所得的平均失真度也不同。滿足保真度準(zhǔn)則的所有試驗(yàn)信道，即轉(zhuǎn)移概率分布p(yj

/xi)，構(gòu)成了一個(gè)信道集合D允許信道（D允許的試驗(yàn)信道），即滿足保真度準(zhǔn)則的試驗(yàn)信道8/14/202415信息率失真函數(shù)信息率失真函數(shù)R(D)限定失真為D的條件下，信源輸出的最小信息率。在信源給定后，希望在滿足一定失真的情況下，使信源傳輸給信宿的信息傳輸率R盡可能地小。從信宿來看，就是在滿足保真度準(zhǔn)則下，尋找再現(xiàn)信源消息所必須獲得的最小平均信息量。即在滿足保真度準(zhǔn)則條件下尋找平均互信息I(X;Y)的最小值。8/14/202416信息率失真函數(shù)例：已知信源的概率分布為p(x)={0.5,0.5}，信道轉(zhuǎn)移矩陣如右，求互信息。8/14/202417信息率失真函數(shù)討論可見當(dāng)

p(x)一定時(shí)，I(X;Y)隨p(yj

/xi)而變。因?yàn)閜(x)分布一定時(shí)，不同的試驗(yàn)信道所能傳遞的信息量是不同的。當(dāng)p(x)一定時(shí)，I(X;Y)是關(guān)于p(yj

/xi)的下凸函數(shù)。因此當(dāng)改變p(yj

/xi)時(shí)，I(X;Y)有一極小值。8/14/202418信息率失真函數(shù)平均互信息I(X;Y)信源的概率分布p(xi)的上凸函數(shù)。信道傳遞概率p(yj/xi)的下凸函數(shù)。信道容量信息率失真函數(shù)信道固定輸入概率分布固定8/14/202419信息率失真函數(shù)信道容量假定信道固定的前提下，選擇一種試驗(yàn)信源使信息傳輸率最大。它所反映的是信道傳輸信息的能力，是信道可靠傳送的最大信息傳輸率。一旦找到了信道容量，它就與信源不再有關(guān)，而是信道特性的參量，隨信道特性的變化而變化。不同的信道其信道容量不同。8/14/202420信息率失真函數(shù)信息率失真函數(shù)假定信源給定的情況下，用戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量。它反映的是信源可以壓縮的程度，是在滿足一定失真度要求下信源可壓縮的最低值。率失真函數(shù)一旦找到，與求極值過程中選擇的試驗(yàn)信道不再有關(guān)，而只是信源特性的參量。不同的信源其R(D)不同。8/14/202421信息率失真函數(shù)研究信道容量充分利用已給信道，使傳輸?shù)男畔⒘孔畲螅l(fā)生錯(cuò)誤的概率任意小。研究信息率失真函數(shù)解決在已知信源和允許失真度D的條件下，使信源必須傳送給信宿的信息率最小。即用盡可能少的碼符號(hào)盡快地傳送盡可能多的信源消息，以提高通信的有效性。8/14/202422信息率失真函數(shù)例：設(shè)信源的符號(hào)集為A={al,a2,…,a2n}，概率分布為p(ai)=1/2n，i=1,2…2n，失真函數(shù)為信源熵 如果對(duì)信源進(jìn)行無失真編碼，平均每個(gè)符號(hào)至少需要log2n個(gè)二進(jìn)制碼元。 即不發(fā)生差錯(cuò)時(shí)失真為0，出錯(cuò)失真為1，試研究在一定編碼條件下信息壓縮的程度。8/14/202423信息率失真函數(shù)假定允許有一定失真，失真限度為D=1/2。設(shè)想采用右面的編碼方案:計(jì)算平均失真：由于該試驗(yàn)信道是一個(gè)確定信道，得H(Y/X)=0計(jì)算平均互信息：壓縮的信息率8/14/202424信息率失真函數(shù)的性質(zhì)

R(D)的定義域率失真函數(shù)的定義域問題就是在信源和失真函數(shù)已知的情況下，討論允許平均失真度D的最小和最大取值問題，即[Dmin,Dmax]。D的下界Dmin由于平均失真度是非負(fù)實(shí)數(shù)d(xi,yj)的數(shù)學(xué)期望，因此也是非負(fù)實(shí)數(shù)，即D的下界為0。Dmin＝0，對(duì)應(yīng)于無失真情況，相當(dāng)于無噪信道，信道傳輸?shù)男畔⒘康扔谛旁挫?，即R(D)=R(0)=H(X)允許平均失真度能否達(dá)到其下限值0，與單個(gè)符號(hào)的失真函數(shù)有關(guān)。8/14/202425信息率失真函數(shù)的性質(zhì)Dmin的計(jì)算只有當(dāng)失真矩陣的每一行至少有一個(gè)0元素時(shí)，信源的平均失真度才能達(dá)到下限值0。連續(xù)信源的Dmin因?yàn)閷?shí)際信道總是有干擾的，其容量有限，要無失真地傳送連續(xù)信息是不可能的。當(dāng)允許有一定失真時(shí)，R(D)將為有限值，傳送才是可能的。8/14/202426信息率失真函數(shù)的性質(zhì)R(D)的定義域?yàn)閇Dmin,Dmax]當(dāng)Dmin=0時(shí)，R(Dmin)=H(X)當(dāng)D≥Dmax時(shí)，R(D)=0當(dāng)0≤D≤Dmax時(shí)，0＜R(D)＜H(X)D的上界Dmax由于I(X;Y)是非負(fù)函數(shù)，而R(D)是在約束條件下的I(X;Y)的最小值，所以R(D)也是一個(gè)非負(fù)函數(shù)，即R(D)≥0，它的下限值為零。Dmax是滿足R(D)=0時(shí)所有平均失真度中的最小值。8/14/202427信息率失真函數(shù)的性質(zhì)Dmax的計(jì)算R(D)=0

→I(X;Y)=0，即試驗(yàn)信道輸入與輸出相互獨(dú)立，條件概率p(bj

/ai)與ai無關(guān)。8/14/202428信息率失真函數(shù)的性質(zhì)例：設(shè)輸入輸出符號(hào)表為X=Y={0,1}，輸入概率分布p(x)={1/3,2/3}，失真矩陣如下。求Dmin和Dmax。解：失真矩陣的每一行至少有一個(gè)0元素時(shí),Dmin=08/14/202429信息率失真函數(shù)的性質(zhì)例：設(shè)輸入輸出符號(hào)表為X=Y={0,1}，輸入概率分布p(x)={1/3,2/3}，失真矩陣如下。求Dmin和Dmax。解：8/14/202430信息率失真函數(shù)