信息論與編碼原理第4章信息率失真函數(shù)

信息論與編碼原理〔第四章〕

──────────────

信息率失真函數(shù)6/21/20231第四章信息率失真函數(shù)4.1根本概念4.2離散信源的信息率失真函數(shù)4.3連續(xù)信源的信息率失真函數(shù)4.4信息率失真函數(shù)與信息價值4.5信道容量與信息率失真函數(shù)的比較4.6保真度準那么下的信源編碼定理4.7信息論“三大定理〞總結(jié)6/21/202324.1根本概念4.1.1引言4.1.2失真度與平均失真度4.1.3信息率失真函數(shù)的定義4.1.4信息率失真函數(shù)的性質(zhì)6/21/202334.1.1引言(1)“消息完全無失真?zhèn)魉通暤目蓪崿F(xiàn)性(2)實際中允許一定程度的失真(3)信息率失真理論4.1基本概念6/21/202344.1.1引言(1)“消息完全無失真?zhèn)魉通暤目蓪崿F(xiàn)性信道編碼定理：無論何種信道，只要信息率R小于信道容量C，總能找到一種編碼，使在信道上能以任意小的錯誤概率和任意接近于C的傳輸率來傳送信息。反之，假設R>C，那么傳輸總要失真。完全無失真?zhèn)魉筒豢蓪崿F(xiàn)實際的信源常常是連續(xù)的，信息率無限大，要無失真?zhèn)魉鸵笮畔⒙蔙為無窮大；實際信道帶寬是有限的，所以信道容量受限制。要想無失真?zhèn)鬏?，所需的信息率大大超過信道容量R>>C。返回目錄4.1基本概念6/21/202354.1.1引言(2)實際中允許一定程度的失真技術(shù)開展的需要隨著科技的開展，數(shù)字系統(tǒng)應用得越來越廣泛，需要傳送、存儲和處理大量的數(shù)據(jù)。為了提高傳輸和處理效率，需要對數(shù)據(jù)壓縮，這樣會帶來一定的信息損失。信息時代，信息爆炸，要求解決對海量數(shù)據(jù)有效的壓縮，減少數(shù)據(jù)的存儲容量(如各種數(shù)據(jù)庫、電子出版物、多媒體娛樂)、傳輸時間(如數(shù)據(jù)通信和遙測)、或占有帶寬(如多媒體通信、數(shù)字音頻播送、高清晰度電視)，想方設法壓縮給定消息集合占用的空間域、時間域和頻率域資源.如海洋地球物理勘探遙測數(shù)據(jù)，用60路傳感器，每路信號1kHz，16位A/D量化，每航測1km就需記錄1盤0.5英寸的磁帶，一條測量船每年就可勘測15000km。4.1基本概念6/21/202364.1.1引言(2)實際中允許一定程度的失真實際生活中的需要實際生活中，人們一般并不要求獲得完全無失真的消息，通常只要求近似地再現(xiàn)原始消息，即允許一定的失真存在。打：即使語音信號有一些失真，接的人也能聽懂。人耳接收信號的帶寬和分辨率是有限的。放電影：理論上需要無窮多幅靜態(tài)畫面，由于人眼的“視覺暫留性〞，實際上只要每秒放映24幅靜態(tài)畫面。有些失真沒有必要完全消除。既然允許一定的失真存在，對信息率的要求便可降低。返回目錄4.1基本概念6/21/202374.1.1引言(3)信息率失真理論信息率失真理論研究的內(nèi)容:信息率與允許失真之間的關(guān)系.信息率失真函數(shù)香農(nóng)定義了信息率失真函數(shù)R(D)?！氨Ｕ娑葴誓敲聪碌男旁淳幋a定理〞指出：在允許一定失真度D的情況下，信源輸出的信息率可壓縮到R(D)。信息率失真理論是量化〔模數(shù)轉(zhuǎn)換〕、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論根底。4.1基本概念6/21/202384.1.1引言(3)信息率失真理論

信息率失真函數(shù)極小值問題I(X;Y)是P(X)和P(Y/X)的二元函數(shù)；

在討論信道容量時：規(guī)定了P(Y/X)，I(X;Y)變成了P(X)的函數(shù)。在離散情況下，因為I(X;Y)對p(xi)是上凸函數(shù)，所以變更p(xi)所求極值一定是I(X;Y)的極大值；在連續(xù)情況下，變更信源P(X)求出的也是極大值，但求極值時還要一些其它的限制條件。4.1基本概念6/21/202394.1.1引言(3)信息率失真理論信息率失真函數(shù)極小值問題在討論信息率時：可規(guī)定p(xi)，變更p(yj/xi)來求平均互信息的極值，稱為信道容量對偶問題。由于I(X;Y)是p(yj/xi)的下凸函數(shù)，所求的極值一定是極小值。但假設X和Y相互統(tǒng)計獨立〔p(yj/xi)=p(yj)〕，這個極小值就是0，因為I(X;Y)是非負的，0必為極小值，這樣求極小值就沒意義了。引入一個失真函數(shù)，計算在失真度一定的情況下信息率的極小值就變的有意義了。返回目錄4.1基本概念6/21/2023104.1.2失真度與平均失真度(1)信息率與失真的關(guān)系(2)失真度(3)常用的失真函數(shù)(4)平均失真度(5)N次擴展信道的平均失真度4.1基本概念6/21/2023114.1.2失真度與平均失真度(1)信息率與失真的關(guān)系信道中固有的噪聲和不可防止的干擾，使信源的消息通過信道傳輸后造成誤差和失真。誤差或失真越大，接收者收到消息后對信源存在的不確定性就越大，獲得的信息量就越小，信道傳輸消息的信息率也越小。返回目錄4.1基本概念6/21/2023124.1.2失真度與平均失真度(2)失真度失真度設離散無記憶信源為：4.1基本概念6/21/2023134.1.2失真度與平均失真度(2)失真度失真度對每一對(xi,yj)，指定一個非負函數(shù)d(xi,yj)≥0i=1,2,…,nj=1,2,…,m稱d(xi,yj)為單個符號的失真度〔失真函數(shù)〕。表示信源發(fā)出一個符號xi，在接收端再現(xiàn)yj所引起的誤差或失真。4.1基本概念6/21/2023144.1.2失真度與平均失真度(2)失真度失真矩陣

失真度還可表示成矩陣的形式稱[D]為失真矩陣。它是

n×m

階矩陣。連續(xù)信源和連續(xù)信道的失真函數(shù)在連續(xù)信源和連續(xù)信道情況下，失真度定義為：d(x,y)≥0返回目錄4.1基本概念6/21/2023154.1.2失真度與平均失真度(3)常用的失真函數(shù)第一種：當i=j時，X與Y的取值一樣，用Y來代表X就沒有誤差，所以定義失真度為0；當i≠j時，用Y代表X就有誤差。這種定義認為對所有不同的i和j引起的誤差都一樣，所以定義失真度常數(shù)a。4.1基本概念6/21/2023164.1.2失真度與平均失真度(3)常用的失真函數(shù)第一種：

特點：對角線上的元素均為0，對角線以外的其它元素都為常數(shù)a。

漢明失真函數(shù)：

a=1。4.1基本概念6/21/2023174.1.2失真度與平均失真度(3)常用的失真函數(shù)第二種〔平方誤差失真函數(shù)〕：d(xi,yj)=(yj－xi)2失真矩陣：平方誤差失真矩陣。假設信源符號代表輸出信號的幅度值，那么較大的幅度失真比較小的幅度失真引起的錯誤更為嚴重,嚴重程度用平方表示.失真函數(shù)是根據(jù)人們的實際需要和失真引起的損失、風險、主觀感覺上的差異大小等因素人為規(guī)定的。返回目錄4.1基本概念6/21/2023184.1.2失真度與平均失真度(4)平均失真度平均失真度d(xi,yj)只能表示兩個特定的具體符號xi和yj之間的失真。

平均失真度：失真度的數(shù)學期望，即：4.1基本概念6/21/2023194.1.2失真度與平均失真度(4)平均失真度平均失真度的意義是在平均意義上，從總體上對整個系統(tǒng)失真情況的描述。它是信源統(tǒng)計特性p(xi)、信道統(tǒng)計特性p(yj/xi)

和失真度d(xi,yj)的函數(shù)。當p(xi)，p(yj/xi)和d(xi,yj)給定后，平均失真度就不是一個隨機變量了，而是一個確定的量。如果信源和失真度一定，就只是信道統(tǒng)計特性的函數(shù)。信道傳遞概率不同，平均失真度隨之改變。4.1基本概念6/21/2023204.1.2失真度與平均失真度(4)平均失真度保真度準那么人們所允許的失真指的都是平均意義上的失真。保真度準那么：規(guī)定平均失真度不能超過某一限定的值D，即，那么D就是允許失真的上界。該式稱為保真度準那么。返回目錄4.1基本概念6/21/2023214.1.2失真度與平均失真度(5)N次擴展信道的平均失真度N次擴展單符號離散無記憶信源X{x1,x2,…,xn}的N次擴展信源XN

=X1X2…XN，在信道中的傳遞作用相當于單符號離散無記憶信道的N次擴展信道，輸出也是一個隨機變量序列YN=Y1Y2…YN。此時輸入共有nN個不同的符號：4.1基本概念6/21/2023224.1.2失真度與平均失真度(5)N次擴展信道的平均失真度N次擴展信道的輸出共有mN個不同的符號：4.1基本概念6/21/2023234.1.2失真度與平均失真度(5)N次擴展信道的平均失真度N次擴展

定義離散無記憶信道{X

P(Y/X)Y}的N次擴展信道的輸入序列ai和輸出序列bj之間的失真函數(shù)：4.1基本概念6/21/2023244.1.2失真度與平均失真度(5)N次擴展信道的平均失真度N次擴展定義的說明：離散無記憶信道的N次擴展信道輸入輸出之間的失真，等于輸入序列ai中N個信源符號xi1,xi2,…,xiN各自通過信道{XP(Y/X)Y}，分別輸出對應的N個信宿符號yj1,yj2,…,yjN后所引起的N個單符號失真d(xik,yjk)(k=1,2,…,N)之和。N次離散無記憶擴展信源和信道的平均失真度為，那么：4.1基本概念6/21/2023254.1.2失真度與平均失真度(5)N次擴展信道的平均失真度“N次擴展〞與“單符號〞平均失真度的關(guān)系由擴展信源和擴展信道的無記憶性有：4.1基本概念6/21/2023264.1.2失真度與平均失真度(5)N次擴展信道的平均失真度“N次擴展〞與“單符號〞平均失真度的關(guān)系〔k=1,2,…,N〕是同一信源X在N個不同時刻通過同一信道{XP(Y/X)Y}所造成的平均失真度，因此都等于單符號信源X通過信道{XP(Y/X)Y}所造成的平均失真度，即：結(jié)論說明：離散無記憶N次擴展信源通過離散無記憶N次擴展信道的平均失真度是單符號信源通過單符號信道的平均失真度的N倍。4.1基本概念6/21/2023274.1.2失真度與平均失真度(5)N次擴展信道的平均失真度N次擴展的保真度準那么：離散無記憶N次擴展信源通過離散無記憶N次擴展信道的保真度準那么為：返回目錄4.1基本概念6/21/2023284.1.3信息率失真函數(shù)的定義(1)試驗信道(2)信息率失真函數(shù)(3)求信息率失真函數(shù)的方法(4)研究信道編碼和率失真函數(shù)的意義4.1基本概念6/21/2023294.1.3信息率失真函數(shù)的定義(1)試驗信道單符號信源和單符號信道的試驗信道當固定信源〔P(X)〕，單個符號失真度也給定時，選擇信道使。凡滿足要求的信道稱為D失真許可的試驗信道，簡稱試驗信道。所有試驗信道構(gòu)成的集合用PD來表示，即：4.1基本概念6/21/2023304.1.3信息率失真函數(shù)的定義(1)試驗信道N次擴展的試驗信道：對于離散無記憶信源的N次擴展信源和離散無記憶信道的N次擴展信道，其試驗信道集合PD(N)

為：返回目錄4.1基本概念6/21/2023314.1.3信息率失真函數(shù)的定義(2)信息率失真函數(shù)單符號信源和單符號信道的信息率失真函數(shù)信息率失真函數(shù)〔率失真函數(shù)〕R(D)：在信源和失真度給定以后，PD是滿足保真度準那么的試驗信道集合，平均互信息I(X;Y)是信道傳遞概率p(yj/xi)的下凸函數(shù)，所以在PD中一定可以找到某個試驗信道，使I(X;Y)到達最小，即：在信源給定以后，總希望在允許一定失真的情況下，傳送信源所必須的信息率越小越好。從接收端來看，就是在滿足保真度準那么的條件下，尋找再現(xiàn)信源消息必須的最低平均信息量，即平均互信息的最小值。4.1基本概念6/21/2023324.1.3信息率失真函數(shù)的定義(2)信息率失真函數(shù)“N次擴展〞的信息率失真函數(shù)“N次擴展〞的信息率失真函數(shù)RN(D)：對于離散無記憶信源的N次擴展信源和離散無記憶信道的N次擴展信道，在所有滿足保真度準那么的N維試驗信道集合中，一定可以尋找到某個信道使平均互信息取最小值：由信源和信道的無記憶性，可以證明：RN(D)=NR(D)返回目錄4.1基本概念6/21/2023334.1.3信息率失真函數(shù)的定義(3)求信息率失真函數(shù)的方法對偶問題：平均互信息I(X;Y)既是信源概率分布p(xi)的上凸函數(shù)，又是信道傳遞概率p(yj/xi)的下凸函數(shù)。率失真函數(shù)R(D)是在允許平均失真度D和信源概率分布p(xi)已給的條件下，求平均互信息的極小值〔最小〕問題。而信道容量C是在信道特性p(yj/xi)的條件下求平均互信息的極大值〔最大〕問題。這兩個問題是對偶問題。4.1基本概念6/21/2023344.1.3信息率失真函數(shù)的定義(3)求信息率失真函數(shù)的方法求信道容量的方法：信道容量是假定信道固定的前提下，選擇一種試驗信源，使信息率最大。一旦找到了這個信道容量，它就與信源不再有關(guān)，而是信道特性的參量，隨信道特性的變化而變化。4.1基本概念6/21/2023354.1.3信息率失真函數(shù)的定義(3)求信息率失真函數(shù)的方法求信息率失真函數(shù)的方法：信息率失真函數(shù)R(D)是假定信源給定的情況下，在用戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量。它反映的是信源可壓縮程度。率失真函數(shù)一旦找到，就與求極值過程中選擇的試驗信道不再有關(guān)，而只是信源特性的參量。不同的信源，其R(D)是不同的。返回目錄4.1基本概念6/21/2023364.1.3信息率失真函數(shù)的定義(4)研究信道編碼和率失真函數(shù)的意義研究信道容量的意義：在實際應用中，研究信道容量是為了解決在信道中傳送最大信息率問題。目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)生錯誤的概率任意小，以提高通信的可靠性。這就是信道編碼問題。4.1基本概念6/21/2023374.1.3信息率失真函數(shù)的定義(4)研究信道編碼和率失真函數(shù)的意義研究信息率失真函數(shù)的意義：研究信息率失真函數(shù)是為了解決在信源和允許失真度D的條件下，使信源必須傳送給信宿的信息率最小。即用盡可能少的碼符號盡快地傳送盡可能多的信源消息，以提高通信的有效性。這是信源編碼問題。返回目錄4.1基本概念6/21/2023384.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域(2)率失真函數(shù)對允許平均失真度的下凸性(3)率失真函數(shù)的單調(diào)遞減和連續(xù)性4.1基本概念6/21/2023394.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域什么是率失真函數(shù)的定義域允許平均失真度：率失真函數(shù)中的自變量D，也就是人們規(guī)定的平均失真度的上限值。率失真函數(shù)的定義域問題就是在信源和失真函數(shù)的情況下，討論允許平均失真度D的最小和最大值問題。D的選取必須根據(jù)固定信源X的統(tǒng)計特性P(X)和選定的失真函數(shù)d(xi,yj)，在平均失真度的可能取值范圍內(nèi)。4.1基本概念6/21/2023404.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域信源最小平均失真度Dmin是非負函數(shù)d(xi,yj)的數(shù)學期望，也是一個非負函數(shù)，顯然其下限為0。因此允許平均失真度D的下限也必然是0，這就是不允許有任何失真的情況。允許平均失真度D能否到達其下限值0，與單個符號的失真函數(shù)有關(guān)。4.1基本概念6/21/2023414.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域信源最小平均失真度Dmin

信源最小平均失真度Dmin：對于每一個xi，找出一個yj與之對應，使d(xi,yj)最小，不同的xi對應的最小d(xi,yj)也不同。這相當于在失真矩陣的每一行找出一個最小的d(xi,yj)，各行的最小d(xi,yj)值都不同。對所有這些不同的最小值求數(shù)學期望，就是信源的最小平均失真度。4.1基本概念6/21/2023424.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域信源最小平均失真度Dmin只有當失真矩陣的每一行至少有一個0元素時，信源的平均失真度才能到達下限值0。當Dmin=0時〔信源不允許任何失真存在〕，信息率至少應等于信源輸出的平均信息量〔信源熵〕，即R(0)=H(X)。連續(xù)信源有。這時雖然信源熵是有限的，但信息量是無窮大。實際信道容量總是有限的，無失真?zhèn)魉瓦@種連續(xù)信息是不可能的。只有當允許失真〔R(D)為有限值〕，傳送才是可能的。4.1基本概念6/21/2023434.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域信源最小平均失真度Dmin[舉例]：除刪信源X取值于{0,1}，Y取值于

{0,1,2}，失真矩陣為：滿足最小允許失真度的試驗信道是一個無噪無損的試驗信道：4.1基本概念6/21/2023444.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域信源最大平均失真度Dmax

信源最大平均失真度Dmax：必須的信息率越小，容忍的失真就越大。當R(D)等于0時，對應的平均失真最大，也就是函數(shù)R(D)定義域的上界值Dmax。信息率失真函數(shù)是平均互信息的極小值：當R(D)=0時，平均互信息的極小值等于0；當D>Dmax時，從數(shù)學意義上講，因為R(D)是非負函數(shù)，所以它仍只能等于0。這相當于輸入X和輸出Y統(tǒng)計獨立。意味著在接收端收不到信源發(fā)送的任何信息，與信源不發(fā)送任何信息等效。或者說傳送信源符號的信息率可以壓縮至0。4.1基本概念6/21/2023454.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域信源最大平均失真度Dmax

計算Dmax的值令試驗信道特性p(yj/xi)=p(yj)(i=1,2,…,n)這時X和Y相互獨立，等效于通信中斷，因此I(X;Y)=0，即R(D)=0。滿足上式的試驗信道有許多，相應地可求出許多平均失真度值，從中選取最小的一個，就是這類平均失真值的下界Dmax。4.1基本概念6/21/2023464.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域信源最大平均失真度Dmax計算Dmax的值上式是用不同的概率分布{p(yj)}對Dj求數(shù)學期望，取數(shù)學期望當中最小的一個作為Dmax。實際是用p(yj)對Dj進行線性分配，使線性分配的結(jié)果最小。當p(xi)和d(xi,yj)給定時，必可計算出Dj，Dj隨j的變化而變化，p(yj)是任選的，只需滿足非負性和歸一性。假設Ds是所有Dj當中最小的一個，可取p(ys)=1，其它p(yj)為0，這時Dj的線性分配〔數(shù)學期望〕必然最小，即：4.1基本概念6/21/2023474.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域4.1基本概念6/21/2023484.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域[例4.1.1]二元信源，相應的失真矩陣，計算Dmax。先計算Dj：

根據(jù)概率的完備性：p(y1)+p(y2)=14.1基本概念6/21/2023494.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域[例4.1.1]二元信源，相應的失真矩陣，計算Dmax。當p(y1)=0，p(y2)=1時，得到最小值：4.1基本概念6/21/2023504.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域

結(jié)論R(D)的定義域為：(Dmin,Dmax)一般情況下：Dmin=0，R(Dmin)=H(X)當D≥Dmax時：R(D)=0當Dmin<D<Dmax時：0<R(D)<H(X)返回目錄4.1基本概念6/21/2023514.1.4信息率失真函數(shù)的性質(zhì)(2)率失真函數(shù)對允許平均失真度的下凸性對任一0≤θ≤1

和任意平均失真度D’，D’’≤Dmax，

R[θD’+(1－θ)D’’]≤θR(D’)+(1－θ)R(D’’)。返回目錄4.1基本概念6/21/2023524.1.4信息率失真函數(shù)的性質(zhì)(3)率失真函數(shù)的單調(diào)遞減和連續(xù)性R(D)的連續(xù)性：可由平均互信息I(X;Y)是信道傳遞概率p(yj/xi)的連續(xù)性來證明。R(D)單調(diào)遞減性：可以證明，在Dmin<D<Dmax范圍內(nèi)R(D)

單調(diào)遞減。4.1基本概念6/21/2023534.1.4信息率失真函數(shù)的性質(zhì)(3)率失真函數(shù)的單調(diào)遞減和連續(xù)性率失真函數(shù)曲線圖說明R(0)=H(X)，R(Dmax)=0，決定了曲線邊緣上的兩個點；在0和

Dmax之間，R(D)

是單調(diào)遞減的下凸函數(shù)；在連續(xù)信源時，當D→0

時，

R(D)→∞，曲線將不與R(D)

軸相交。4.1基本概念6/21/2023544.2離散信源的信息率失真函數(shù)對離散信源，求R(D)與求C類似，是一個在有約束條件下求平均互信息極值問題，只是約束條件不同；C是求平均互信息的條件極大值，R(D)是求平均互信息的條件極小值。4.2.1離散信源信息率失真函數(shù)的參量表達式4.2.2二元及等概率離散信源的信息率失真函數(shù)6/21/2023554.2.1離散信源率失真函數(shù)的參量表達式(1)求極小值方法(2)離散信源的信息率失真函數(shù)(3)

參量S的說明4.2離散信源的信息率失真函數(shù)6/21/2023564.2.1離散信源率失真函數(shù)的參量表達式(1)求極小值方法用拉各朗日乘子法原那么上可以求出最小值，但是要得到它的顯式一般是很困難的，通常只能求出信息率失真函數(shù)的參量表達式。4.2離散信源的信息率失真函數(shù)6/21/2023574.2.1離散信源率失真函數(shù)的參量表達式(1)求極小值方法信源概率分布函數(shù)p(xi)和失真度d(xi,yj)，在滿足保真度準那么的條件下，在試驗信道集合PD當中選擇p(yj/xi)，使平均互信息：返回目錄4.2離散信源的信息率失真函數(shù)最小6/21/2023584.2.1離散信源率失真函數(shù)的參量表達式(2)離散信源的信息率失真函數(shù)平均互信息在(4.2.5)的(n+1)個條件限制下求I(X;Y)的極值，引入拉各朗日乘子S和μi(i=1,2,…,n)，構(gòu)造一個新函數(shù)：4.2離散信源的信息率失真函數(shù)6/21/2023594.2.1離散信源率失真函數(shù)的參量表達式(2)離散信源的信息率失真函數(shù)4.2離散信源的信息率失真函數(shù)6/21/2023604.2.1離散信源率失真函數(shù)的參量表達式(2)離散信源的信息率失真函數(shù)其中：4.2離散信源的信息率失真函數(shù)6/21/2023614.2.1離散信源率失真函數(shù)的參量表達式(2)離散信源的信息率失真函數(shù)4.2離散信源的信息率失真函數(shù)6/21/2023624.2.1離散信源率失真函數(shù)的參量表達式(2)離散信源的信息率失真函數(shù)4.2離散信源的信息率失真函數(shù)6/21/2023634.2.1離散信源率失真函數(shù)的參量表達式(2)離散信源的信息率失真函數(shù)第一步：求λi4.2離散信源的信息率失真函數(shù)6/21/2023644.2.1離散信源率失真函數(shù)的參量表達式(2)離散信源的信息率失真函數(shù)第二步：求p(yj)4.2離散信源的信息率失真函數(shù)6/21/2023654.2.1離散信源率失真函數(shù)的參量表達式(2)離散信源的信息率失真函數(shù)第三步：求p(yj/xi)將解出的λi和求p(yj)代入式(4.2.10)，可求得m·n個以S為參量的p(yj/xi)。4.2離散信源的信息率失真函數(shù)6/21/2023664.2.1離散信源率失真函數(shù)的參量表達式(2)離散信源的信息率失真函數(shù)第四步：求D(S)將這

m·n

個

p(yj/xi)

代入(4.2.5)得到以S為參量的允許平均失真函數(shù)

D(S)。4.2離散信源的信息率失真函數(shù)6/21/2023674.2.1離散信源率失真函數(shù)的參量表達式(2)離散信源的信息率失真函數(shù)第五步：求R(S)將這

m·n

個

p(yj/xi)

代入(4.2.4)得到以

S為參量的率失真函數(shù)

R(S)。4.2離散信源的信息率失真函數(shù)6/21/2023684.2.1離散信源率失真函數(shù)的參量表達式(2)離散信源的信息率失真函數(shù)第六步：由于

p(yj)不能是負值，參量S的取值有一定的限制。選擇使p(yj)非負的所有

S，得到

D

和

R

值，可以畫R(D)曲線，如圖。返回目錄4.2離散信源的信息率失真函數(shù)6/21/2023694.2.1離散信源率失真函數(shù)的參量表達式(3)

參量S的說明可以證明：參量S就是R(D)函數(shù)的斜率。參量S的特性：由于R(D)是D的單調(diào)遞減函數(shù)，并且是U型凸函數(shù)，故斜率S必為負，且是D的遞增函數(shù)，D從0變到Dmax，S將逐漸增加；當D=0時：S的最小值趨于負無窮〔R(D)的斜率〕。4.2離散信源的信息率失真函數(shù)6/21/2023704.2.1離散信源率失真函數(shù)的參量表達式(3)

參量S的說明當D=Dmax時：S到達最大；這個最大值也是某一個負值，極限是0。當D>Dmax時：在D=Dmax處，除某些特例外，S將從某一個負值跳到0，S在此點不連續(xù)。在D的定義域[0,Dmax]內(nèi)，除某些特例外，S將是D的連續(xù)函數(shù)。返回目錄4.2離散信源的信息率失真函數(shù)6/21/2023714.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)(2)信息率失真函數(shù)曲線圖說明(3)二元等概率離散信源的率失真函數(shù)4.2離散信源的信息率失真函數(shù)6/21/2023724.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)設二元信源

計算率失真函數(shù)R(D)4.2離散信源的信息率失真函數(shù)6/21/2023734.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)先求出Dmax4.2離散信源的信息率失真函數(shù)6/21/2023744.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第一步：求λi，由式(4.2.11)有：4.2離散信源的信息率失真函數(shù)6/21/2023754.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第二步：求p(yj)，由式(4.2.12)有：4.2離散信源的信息率失真函數(shù)6/21/2023764.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第三步：求p(yj/xi)，由式(4.2.10)有：4.2離散信源的信息率失真函數(shù)6/21/2023774.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第四步：求D(S)，將上述結(jié)果代入式(4.2.14)有：4.2離散信源的信息率失真函數(shù)6/21/2023784.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第五步：求R(S)將上述結(jié)果代入式(4.2.15)有：4.2離散信源的信息率失真函數(shù)6/21/2023794.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第五步：求R(S)對于這種簡單信源，可從

D(S)

解出

S

與

D

的顯式表達式：4.2離散信源的信息率失真函數(shù)6/21/2023804.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第五步：求R(S)4.2離散信源的信息率失真函數(shù)6/21/2023814.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第六步：通過以上步驟計算出來的

R(D)

和S(D)如圖。返回目錄4.2離散信源的信息率失真函數(shù)6/21/2023824.2.2二元及等概率離散信源的信息率失真函數(shù)(2)信息率失真函數(shù)曲線圖說明假設α=1，把d(xi,yj)當成了誤碼個數(shù)，即X和Y不一致時，認為誤了一個碼元，所以：d(xi,yj)的數(shù)學期望就是平均誤碼率。能容忍的失真等效于能容忍的誤碼率。4.2離散信源的信息率失真函數(shù)6/21/2023834.2.2二元及等概率離散信源的信息率失真函數(shù)(2)信息率失真函數(shù)曲線圖說明假設R(D)不僅與D有關(guān)，還與p有關(guān)。概率分布不同，R(D)曲線就不一樣。當p=0.25時，如果能容忍的誤碼率也是0.25，不用傳送信息便可到達，即R=0，這就是R(Dmax)=0的含義.例如：不管信源發(fā)出的是x1還是x2，都把它編成x2，那么誤碼率就是信源發(fā)出x1的概率0.25，只送一種符號當然就不用傳送信息，即R=0，這就是R(Dmax)=0的含義。4.2離散信源的信息率失真函數(shù)6/21/2023844.2.2二元及等概率離散信源的信息率失真函數(shù)(2)信息率失真函數(shù)曲線圖說明當

D相同時，信源越趨于等概率分布，

R(D)

就越大。由最大離散熵定理，信源越趨于等概率分布，其熵越大，即不確定性越大，要去除這不確定性所需的信息傳輸率就越大，而

R(D)

正是去除信源不確定性所必須的信息傳輸率。4.2離散信源的信息率失真函數(shù)6/21/2023854.2.2二元及等概率離散信源的信息率失真函數(shù)(2)信息率失真函數(shù)曲線圖說明關(guān)于S(D)

它與

p無直接關(guān)系，S(D)

曲線只有一條，p=0.5

和

p=0.25

都可以用，但它們的定義域不同；4.2離散信源的信息率失真函數(shù)6/21/2023864.2.2二元及等概率離散信源的信息率失真函數(shù)(2)信息率失真函數(shù)曲線圖說明關(guān)于S(D)p=0.25

時定義域是

D=0~0.25，即到

A

點為止，此時Smax=－1.59。D>0.25

時，S(D)

就恒為

0了。所以在

A點

S(D)

是不連續(xù)的；4.2離散信源的信息率失真函數(shù)6/21/2023874.2.2二元及等概率離散信源的信息率失真函數(shù)(2)信息率失真函數(shù)曲線圖說明關(guān)于S(D)

當

p=0.5時，曲線延伸至

D=0.5處，此時

Smax=0，故

S(D)

是連續(xù)曲線，定義域為

D=0~0.5。返回目錄4.2離散信源的信息率失真函數(shù)6/21/2023884.2.2二元及等概率離散信源的信息率失真函數(shù)(3)二元等概率離散信源的率失真函數(shù)當上述二元信源呈等概率分布時，上面式子分別退化為：4.2離散信源的信息率失真函數(shù)6/21/2023894.2.2二元及等概率離散信源的信息率失真函數(shù)(3)二元等概率離散信源的率失真函數(shù)這個結(jié)論很容易推廣到

n元等概率信源的情況。返回目錄4.2離散信源的信息率失真函數(shù)6/21/2023904.3連續(xù)信源的信息率失真函數(shù)4.3.1連續(xù)信源的信息率失真函數(shù)的參量表達式4.3.2高斯信源的信息率失真函數(shù)6/21/2023914.3.1連續(xù)信源的信息率失真函數(shù)的參量表達式條件信源：X∈R=(－∞,∞)信源X的概率密度函數(shù)為：p(x)信道的傳遞概率密度函數(shù)為：p(y/x)信宿：Y∈R=(－∞,∞)信宿Y

的概率密度函數(shù)為：p(y)X

和

Y

之間的失真度：d(x,y)≥04.3連續(xù)信源的信息率失真函數(shù)6/21/2023924.3.1連續(xù)信源的信息率失真函數(shù)的參量表達式平均失真度為：平均互信息為：4.3連續(xù)信源的信息率失真函數(shù)6/21/2023934.3.1連續(xù)信源的信息率失真函數(shù)的參量表達式PD為滿足保真度準那么的所有試驗信道集合。信息率失真函數(shù)為：相當于離散信源中求極小值，嚴格地說，連續(xù)集合未必存在極小值，但是一定存在下確界。4.3連續(xù)信源的信息率失真函數(shù)6/21/2023944.3.1連續(xù)信源的信息率失真函數(shù)的參量表達式R(D)函數(shù)的參量表達式：一般情況，在平均失真度積分存在情況下，R(D)的解存在，直接求解困難，用迭代算法計算機求解，只在特殊情況下求解比較簡單。返回目錄4.3連續(xù)信源的信息率失真函數(shù)6/21/2023954.3.2高斯信源的信息率失真函數(shù)(1)高斯信源特性及失真度設連續(xù)信源的概率密度為正態(tài)分布函數(shù)：數(shù)學期望為：方差為：失真度為d(x,y)=(x－y)2，即把均方誤差作為失真，說明通信系統(tǒng)中輸入輸出之間誤差越大，失真越嚴重，嚴重程度隨誤差增大呈平方增長。4.3連續(xù)信源的信息率失真函數(shù)6/21/2023964.3.2高斯信源的信息率失真函數(shù)(2)高斯信源R(D)的特性當信源均值不為0時，仍有這個結(jié)果，因為高斯信源的熵只與隨機變量的方差有關(guān)，與均值無關(guān)。4.3連續(xù)信源的信息率失真函數(shù)6/21/2023974.3.2高斯信源的信息率失真函數(shù)(2)高斯信源R(D)的特性當D=σ2時，R(D)=0：這就是說，如果允許失真〔均方誤差〕等于信源的方差，只需用確知的均值m來表示信源的輸出，不需要傳送信源的任何實際輸出。4.3連續(xù)信源的信息率失真函數(shù)6/21/2023984.3.2高斯信源的信息率失真函數(shù)(2)高斯信源R(D)的特性當D=0時，R(D)→∞：這點說明在連續(xù)信源情況下，要毫無失真地傳送信源的輸出是不可能的。即要毫無失真地傳送信源的輸出必須要求信道具有無限大的容量。4.3連續(xù)信源的信息率失真函數(shù)6/21/2023994.3.2高斯信源的信息率失真函數(shù)(2)高斯信源R(D)的特性當0<D<σ2時：即允許一定的失真，傳送信源的信息率可以降低，意味著信源的信息率可以壓縮，連續(xù)信源的率失真理論正是連續(xù)信源量化、壓縮的理論根底。4.3連續(xù)信源的信息率失真函數(shù)6/21/20231004.3.2高斯信源的信息率失真函數(shù)(2)高斯信源R(D)的特性當D=0.25σ2時，R(D)=1比特/符號：這就是說在允許均方誤差小于或等于0.25σ2時，連續(xù)信號的每個樣本值最少需用一個二進制符號來傳輸。由香農(nóng)第三定理證明了這種壓縮編碼是存在的，然而實際上要找到這種可實現(xiàn)的最正確編碼方法很困難的。返回目錄4.3連續(xù)信源的信息率失真函數(shù)6/21/20231014.4信息率失真函數(shù)與信息價值信息價值