第7章 保真度準(zhǔn)則下的信源編碼(ok)

1、第第7 7章章 保真度準(zhǔn)則下的信源編碼保真度準(zhǔn)則下的信源編碼7.1 7.1 失真度和平均失真度失真度和平均失真度7.2 7.2 信息率失真函數(shù)及其性質(zhì)信息率失真函數(shù)及其性質(zhì)7.3 7.3 二元信源和離散對(duì)稱信源的二元信源和離散對(duì)稱信源的R(D)R(D)函數(shù)函數(shù) 7.4 7.4 保真度準(zhǔn)則下的信源編碼定理保真度準(zhǔn)則下的信源編碼定理 7.5 7.5 聯(lián)合有失真信源信道編碼定理聯(lián)合有失真信源信道編碼定理7.6 7.6 有失真信源編碼定理的實(shí)用意義有失真信源編碼定理的實(shí)用意義思考思考1 1、什么是信息傳輸率及信息傳輸速率？、什么是信息傳輸率及信息傳輸速率？2 2、信道容量的概念及幾種表述？（幾個(gè)單位？

2、）、信道容量的概念及幾種表述？（幾個(gè)單位？）3 3、平均互信息量的物理意義？、平均互信息量的物理意義？4 4、平均互信息量與信息傳輸率的關(guān)系？畫(huà)圖說(shuō)明。、平均互信息量與信息傳輸率的關(guān)系？畫(huà)圖說(shuō)明。5 5、平均互信息量是否有最大值和最小值，這兩個(gè)值如何找、平均互信息量是否有最大值和最小值，這兩個(gè)值如何找 到？與什么有關(guān)。到？與什么有關(guān)。6 6、平均互信息量是否有最大值和最小值分別表示什么？、平均互信息量是否有最大值和最小值分別表示什么？7 7、說(shuō)明信道容量與信息率失真函數(shù)的對(duì)偶性？、說(shuō)明信道容量與信息率失真函數(shù)的對(duì)偶性？ 那么在允許一定程度失真的條件下，能夠把信源信息那么在允許一定程度失真的條件

3、下，能夠把信源信息壓縮到什么程度，也就是，允許一定程度失真的條件下，壓縮到什么程度，也就是，允許一定程度失真的條件下，如何能快速的傳輸信息，這就是本章所要討論的問(wèn)題。本如何能快速的傳輸信息，這就是本章所要討論的問(wèn)題。本章所討論的內(nèi)容是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮章所討論的內(nèi)容是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。的理論基礎(chǔ)。第第7 7章章 保真度準(zhǔn)則下的信源編碼保真度準(zhǔn)則下的信源編碼 前面介紹的是無(wú)失真信源編碼前面介紹的是無(wú)失真信源編碼, ,適用于離散信源適用于離散信源, ,只要只要滿足滿足RC,RC,總能做到尋找一種編碼方法做到無(wú)失真編碼總能做到尋找一種編碼方法做到無(wú)失真編碼

4、, ,但實(shí)但實(shí)際信源有些是模擬信源際信源有些是模擬信源, ,其熵為無(wú)窮大其熵為無(wú)窮大,此時(shí)無(wú)論如何也找此時(shí)無(wú)論如何也找不到一種編碼方法做到無(wú)失真不到一種編碼方法做到無(wú)失真. .在實(shí)際生活中，人們不一定在實(shí)際生活中，人們不一定要求完全無(wú)失真的恢復(fù)消息，也就是允許有一定的失真。要求完全無(wú)失真的恢復(fù)消息，也就是允許有一定的失真。1、失真度、失真度 根據(jù)信道編碼定理，我們可以把信道編碼、信道和信道譯根據(jù)信道編碼定理，我們可以把信道編碼、信道和信道譯碼等價(jià)成是一個(gè)沒(méi)有任何干擾的廣義信道，這樣收信者收到碼等價(jià)成是一個(gè)沒(méi)有任何干擾的廣義信道，這樣收信者收到消息后，所產(chǎn)生的失真只是由信源編碼帶來(lái)的。我們也可以

5、消息后，所產(chǎn)生的失真只是由信源編碼帶來(lái)的。我們也可以把信源編碼和信源譯碼等價(jià)成一個(gè)信道把信源編碼和信源譯碼等價(jià)成一個(gè)信道, 稱此信道為稱此信道為試驗(yàn)信試驗(yàn)信道。道。7.1 7.1 失真度和平均失真度失真度和平均失真度信信源源信信源源編編碼碼信信道道編編碼碼信道信道信信道道譯譯碼碼信信源源譯譯碼碼信信宿宿干擾干擾調(diào)調(diào)制制解解調(diào)調(diào)信源信源信宿信宿試驗(yàn)信道試驗(yàn)信道 試驗(yàn)信道試驗(yàn)信道模型模型: 現(xiàn)在我們要研究在給定允許失真的條件下，是否可以設(shè)現(xiàn)在我們要研究在給定允許失真的條件下，是否可以設(shè)計(jì)一種信源編碼使信息傳輸率為最低。即計(jì)一種信源編碼使信息傳輸率為最低。即I(X,Y)最小最小.即即:在保證一定失真

6、度情況下在保證一定失真度情況下,尋找信息傳輸率的最小值尋找信息傳輸率的最小值,(信信道中平均每個(gè)符號(hào)攜帶的最少的信息量道中平均每個(gè)符號(hào)攜帶的最少的信息量),為此為此,首先討論失首先討論失真的測(cè)度真的測(cè)度.7.1 7.1 失真度和平均失真度失真度和平均失真度 失真度定義失真度定義: 設(shè)離散無(wú)記憶信源變量為設(shè)離散無(wú)記憶信源變量為 ， 其概率分布為其概率分布為 12,.rUu uu1( ) (). ()rP uP uP u對(duì)于每一對(duì)對(duì)于每一對(duì)(u,v)，我們指定一個(gè)非負(fù)的函數(shù)，我們指定一個(gè)非負(fù)的函數(shù)( ,)0ijd u v稱為稱為單個(gè)符號(hào)的失真度（或稱失真函數(shù)）單個(gè)符號(hào)的失真度（或稱失真函數(shù)）接收端

7、變量為接收端變量為 ，12,.sVv vv7.1 7.1 失真度和平均失真度失真度和平均失真度2、物理意義：、物理意義：失真函數(shù)用來(lái)表征信源發(fā)出一個(gè)符號(hào)失真函數(shù)用來(lái)表征信源發(fā)出一個(gè)符號(hào) ，而在接收端再現(xiàn)成符號(hào)而在接收端再現(xiàn)成符號(hào) 所引起的誤差或失真。所引起的誤差或失真。d越小表越小表示失真越小，等于示失真越小，等于0表示沒(méi)有失真。表示沒(méi)有失真。 可以將所有的失真函數(shù)排列成矩陣的形式：可以將所有的失真函數(shù)排列成矩陣的形式：iujv111212122212( ,)( ,).( ,)(,)(,).(,).(,)(,).(,)ssrrrsd u vd u vd u vd u vd u vd u vDd

8、 u vd u vd u v我們稱它為我們稱它為失真矩陣失真矩陣。7.1 7.1 失真度和平均失真度失真度和平均失真度例例1：0( ,)1ijd u vijij當(dāng)uv當(dāng)uv失真矩陣為：失真矩陣為：01.110.1.11.0D這種失真成為這種失真成為漢明失真漢明失真7.1 7.1 失真度和平均失真度失真度和平均失真度例例2：刪除信源：刪除信源1sr0( ,)1(1/2()ijijd u vijjsi除j=s以外的所有i和所有j）所有對(duì)于二元?jiǎng)h除信源對(duì)于二元?jiǎng)h除信源r=2,s=301/2111/20D7.1 失真度和平均失真度失真度和平均失真度例例3：對(duì)稱信源：對(duì)稱信源r=s，定義失真度為：，定義

9、失真度為：2( ,)()ijjid u vvu當(dāng)當(dāng)r=s=3時(shí)，時(shí)，012U 012V 失真矩陣為：失真矩陣為：014101410D7.1 7.1 失真度和平均失真度失真度和平均失真度4、平均失真度、平均失真度 (,)ijDE d u v若已知試驗(yàn)信道的傳遞概率，則平均失真度為：若已知試驗(yàn)信道的傳遞概率，則平均失真度為：,11( , ) ( , )() (/) ( ,)rsijiijU VijDP u v d u vP u P vu d u v 若平均失真度若平均失真度 不大于我們所允許的失真不大于我們所允許的失真D，我們稱此為，我們稱此為保真度準(zhǔn)則保真度準(zhǔn)則。D凡滿足保真度準(zhǔn)則的這些試驗(yàn)信道

10、稱為凡滿足保真度準(zhǔn)則的這些試驗(yàn)信道稱為D失真許可的試驗(yàn)信道失真許可的試驗(yàn)信道。把所有把所有D失真許可的試驗(yàn)信道組成一個(gè)集合，用符號(hào)失真許可的試驗(yàn)信道組成一個(gè)集合，用符號(hào) 表示。表示。DB7.1 7.1 失真度和平均失真度失真度和平均失真度7.2 7.2 信息率失真函數(shù)及其性質(zhì)信息率失真函數(shù)及其性質(zhì)1、信息率失真函數(shù)、信息率失真函數(shù) 當(dāng)信源和失真函數(shù)給定后，我們總希望在滿足保真度準(zhǔn)則當(dāng)信源和失真函數(shù)給定后，我們總希望在滿足保真度準(zhǔn)則下尋找平均互信息的最小值。也就是在下尋找平均互信息的最小值。也就是在 中找一個(gè)信道，使中找一個(gè)信道，使平均互信息取極小值。這個(gè)最小值就是在平均互信息取極小值。這個(gè)最小

11、值就是在 的條件下，的條件下，信源必須傳輸?shù)淖钚∑骄畔⒘?。信源必須傳輸?shù)淖钚∑骄畔⒘俊?DB()min ( ; )DBR DI U VDD 改變?cè)囼?yàn)信道求平均互信息的最小值，實(shí)質(zhì)上是選擇一種改變?cè)囼?yàn)信道求平均互信息的最小值，實(shí)質(zhì)上是選擇一種編碼方式使信息傳輸率為最小。編碼方式使信息傳輸率為最小。2、信息率失真函數(shù)的性質(zhì)、信息率失真函數(shù)的性質(zhì) 1)、R(D)的定義域是的定義域是max(0,)D (1)、 和和m inDmin()R D 允許失真度D的最小值為0，即不允許有失真，這要求失真矩陣中每行至少有一個(gè)為0。 R(0)的最小值為H(U)，即信息傳輸率至少為信源的信息熵例：例：011/21

12、01/2Dmin1( ) 00riiDP u7.2 7.2 信息率失真函數(shù)及其性質(zhì)信息率失真函數(shù)及其性質(zhì) 滿足最小失真度的試驗(yàn)信道是一個(gè)無(wú)噪無(wú)損信道：滿足最小失真度的試驗(yàn)信道是一個(gè)無(wú)噪無(wú)損信道：100010P(2)maxmax()DR D和因?yàn)镈越大，R(D)越小，最小為0，當(dāng)D再大時(shí)，R(D) 也只能為0，此時(shí)，發(fā)送與接收統(tǒng)計(jì)獨(dú)立，即：( / )( )P v uQ v失真度函數(shù)變?yōu)椋菏д娑群瘮?shù)變?yōu)椋?( ) ( ) ( , )U VDP u Q v d u v7.2 7.2 信息率失真函數(shù)及其性質(zhì)信息率失真函數(shù)及其性質(zhì) 所以，所以， 就是在就是在R(D)=0的情況下，求的情況下，求 的最小值

13、的最小值max( ),min( ) ( ) ( , )Q vU VDP u Q v d u v當(dāng)當(dāng) 時(shí)，時(shí)， 而當(dāng)而當(dāng) 時(shí)時(shí)maxDD()0,R D minmaxDDD( )()0H UR DmaxDD上式可改寫(xiě)為上式可改寫(xiě)為max( )( )min( )( ) ( , )min( )( )Q vQ vVUVDQ vP u d u vQ v d v 可以這樣選可以這樣選 ，當(dāng)，當(dāng) 最小時(shí)，取最小時(shí)，取 等于等于1，則：，則：()Qv()Qv( )d vmaxmin( )min( ) ( , )VVUDd vP u d u v7.2 7.2 信息率失真函數(shù)及其性質(zhì)信息率失真函數(shù)及其性質(zhì)2)、 R

14、(D)函數(shù)的單調(diào)遞減性和連續(xù)性0DR(D)minDmaxD7.2 7.2 信息率失真函數(shù)及其性質(zhì)信息率失真函數(shù)及其性質(zhì)7.3 7.3 二元信源和離散對(duì)稱信源的二元信源和離散對(duì)稱信源的R(D)R(D)函數(shù)函數(shù)1、二元對(duì)稱信源的R(D)函數(shù) 設(shè)二元信源U=0,1，其分布概率 ，( ) ,1P u12而接收變量v=0,1，設(shè)漢明失真矩陣為：0110D 因而最小失真度 。并能找到滿足該最小失真的試驗(yàn)信道，且是一個(gè)無(wú)噪無(wú)損信道，其信道矩陣為：min0D1001P(0)( ; )( )RI U VHmaxmin( ) ( , )VUDP u d u vmin (0) (0,0)(1) (1,0); (0)

15、 (0,1)(1) (1,1)VPdPdPdPdmin(1), 要達(dá)到最大允許失真，唯一確定 0101P此時(shí)，可計(jì)算得信息傳輸率( ; )0I U V 一般情況下，當(dāng) 時(shí)，max0DD, ( , ) ( , )U VDE dp u v d u v(0,1)(1,0)EP uvP uvP7.3 二元信源和離散對(duì)稱信源的二元信源和離散對(duì)稱信源的R(D)函數(shù)函數(shù)可以計(jì)算得：二元信源得信息率失真函數(shù)為()( )()R DHH D例：0.40.2D 在漢明失真條件下，( )()0()0HH DDR DD()(0.4)(0.2)0.249R DHH7.3 二元信源和離散對(duì)稱信源的二元信源和離散對(duì)稱信源的R

16、(D)函數(shù)函數(shù) 對(duì)于離散對(duì)稱信源，在漢明失真條件下：1loglog(1)()01()101rDrH DDrR DDr 7.3 二元信源和離散對(duì)稱信源的二元信源和離散對(duì)稱信源的R(D)函數(shù)函數(shù)7.4 7.4 保真度準(zhǔn)則下的信源編碼定理保真度準(zhǔn)則下的信源編碼定理 定理定理7.1 保真度準(zhǔn)則下的信源編碼定理保真度準(zhǔn)則下的信源編碼定理 設(shè)設(shè)R(D)為一離散無(wú)記憶信源的信息率失真函數(shù)，并且有有為一離散無(wú)記憶信源的信息率失真函數(shù)，并且有有限的失真測(cè)度。對(duì)于任意的限的失真測(cè)度。對(duì)于任意的 ，以及任意足夠長(zhǎng)，以及任意足夠長(zhǎng)的碼長(zhǎng)的碼長(zhǎng)n，則一定存在一種信源編碼，則一定存在一種信源編碼C，其碼字個(gè)數(shù)為，其碼字個(gè)

17、數(shù)為0 ,0 ,0D ()n R DMe而編碼后的平均失真度而編碼后的平均失真度( )d CD如果用二元編碼，則：如果用二元編碼，則： ()2n R DM 該定理稱為該定理稱為香農(nóng)第三定理香農(nóng)第三定理。 定理定理7.2（信源編碼逆定理）不存在平均失真度（信源編碼逆定理）不存在平均失真度D，而平均，而平均信息傳輸率信息傳輸率 的任何信源編碼。即對(duì)任意碼長(zhǎng)的任何信源編碼。即對(duì)任意碼長(zhǎng)n的信源的信源碼碼C，若碼字個(gè)數(shù)，若碼字個(gè)數(shù) ，一定有，一定有()RR D ( )2n R DM( )d CD 該定理告訴我們：該定理告訴我們：如果編碼后平均每個(gè)信源符號(hào)的信息如果編碼后平均每個(gè)信源符號(hào)的信息傳輸率傳輸

18、率 小于信息率失真函數(shù)小于信息率失真函數(shù) ，就不能在保真度準(zhǔn)，就不能在保真度準(zhǔn)則下再現(xiàn)信源的消息。則下再現(xiàn)信源的消息。R()R D 該定理稱為該定理稱為香農(nóng)第三定理香農(nóng)第三定理。它告訴我們，對(duì)于任何失真度。它告訴我們，對(duì)于任何失真度D，只要碼長(zhǎng)足夠長(zhǎng)，總可以找到一種編碼，只要碼長(zhǎng)足夠長(zhǎng)，總可以找到一種編碼C，使編碼后的，使編碼后的每個(gè)信源符號(hào)的信息傳輸率每個(gè)信源符號(hào)的信息傳輸率log()MRR Dn7.4 保真度準(zhǔn)則下的信源編碼定理保真度準(zhǔn)則下的信源編碼定理 定理定理7.3 （信息傳輸定理）（信息傳輸定理）離散無(wú)記憶信源的離散無(wú)記憶信源的S的信息的信息率失真函數(shù)為率失真函數(shù)為R(D)，離散無(wú)記

19、憶信道的信道容量，離散無(wú)記憶信道的信道容量C，若滿，若滿足足()CR D 則信源輸出的信源序列能在此信道輸出端重現(xiàn)，其失真則信源輸出的信源序列能在此信道輸出端重現(xiàn)，其失真小于等于小于等于D。 定理定理7.4 離散無(wú)記憶信源離散無(wú)記憶信源S的信息率失真函數(shù)為的信息率失真函數(shù)為R(D)，每秒鐘輸出每秒鐘輸出 個(gè)信源符號(hào)，離散無(wú)記憶信道的信道容量個(gè)信源符號(hào)，離散無(wú)記憶信道的信道容量C，每秒輸出每秒輸出 個(gè)信源符號(hào)，若滿足個(gè)信源符號(hào)，若滿足 1/sT1/CT()CSCR DTT 則信源輸出的信源序列能在此信道輸出端重現(xiàn)，其失真則信源輸出的信源序列能在此信道輸出端重現(xiàn)，其失真小于等于小于等于D。7.5

20、聯(lián)合有失真信源信道編碼定理聯(lián)合有失真信源信道編碼定理例：例：01( )1/21/2UP u 要對(duì)此信源進(jìn)行無(wú)失真編碼，每個(gè)信源符號(hào)必須用一個(gè)二要對(duì)此信源進(jìn)行無(wú)失真編碼，每個(gè)信源符號(hào)必須用一個(gè)二元符號(hào)來(lái)表示，信源的信息輸出率為元符號(hào)來(lái)表示，信源的信息輸出率為R=H=1。若允許失真。若允許失真存在，并定義失真函數(shù)為漢明失真，即存在，并定義失真函數(shù)為漢明失真，即0( , )1ijijuvd u vuv可以設(shè)想這樣一種信源編碼：可以設(shè)想這樣一種信源編碼：7.6 有失真信源編碼定理的實(shí)用意義有失真信源編碼定理的實(shí)用意義121340000010000010100uuvuu562781111101111101011uuvuu無(wú)噪無(wú)損信道