近代信息論第五章

近代信息論第五章第1頁，共21頁，2023年，2月20日，星期四引言信源編碼定理有效性無失真下信道壓縮的界信道編碼定理可靠性無失真?zhèn)鬏擱的界出發(fā)點:無失真實際中有失真：連續(xù)信源的熵無窮大，要求信道容量也無窮大，而實際系統(tǒng)F有限，不可能無失真實際應用中允許失真，如電話，圖像壓縮問題如何描述信息的失真，及在限失真的條件下，編碼定理如何？第2頁，共21頁，2023年，2月20日，星期四主要內(nèi)容第一節(jié)：率失真函數(shù)的定義第二節(jié)：率失真函數(shù)的性質(zhì)第3頁，共21頁，2023年，2月20日，星期四第一節(jié)率失真函數(shù)的定義失真函數(shù)的定義兩個符號集構(gòu)成積第4頁，共21頁，2023年，2月20日，星期四漢明失真函數(shù)歐幾里德距離測度絕對值失真測度例：失真函數(shù)第5頁，共21頁，2023年，2月20日，星期四平均失真定義平均失真：失真——是主觀確定，根據(jù)失真所引起的損失、風險等因素人為規(guī)定。實際中，常常要求平均失真<某一范圍率失真的問題第6頁，共21頁，2023年，2月20日，星期四率失真函數(shù)I(X,Y)表征信息的傳輸率：I(X,Y)=0從Y中得不到X的信息全失真X與Y一一對應無失真I(X,Y)的大小反映了失真的大小recall：工程上允許失真：圖像壓縮（SNR表失真壓縮倍數(shù)）語音傳輸（SNR，MOS（主觀評分）失真不能太大，需要保證可懂度和自然度3.5——GSM(RPE-LTP)4.0——CCITT(LD-CELP)第7頁，共21頁，2023年，2月20日，星期四問題：當要求失真<某個值，那么——信道最小的傳輸率？壓縮倍數(shù)最大？即：率失真函數(shù)第8頁，共21頁，2023年，2月20日，星期四率失真函數(shù)定義第9頁，共21頁，2023年，2月20日，星期四率失真函數(shù)定義注意：D為自變量

——試驗信道第10頁，共21頁，2023年，2月20日，星期四討論：（1）在信源和允許失真D給定時，R(D)反映的是最小傳輸率，最大壓縮倍數(shù)的界。（2）R(D)與信道容量C是對偶的。率失真描述信源信道容量描述信道失真小失真大極小值存在極大值存在back第11頁，共21頁，2023年，2月20日，星期四第二節(jié)：率失真函數(shù)的性質(zhì)定義域DminR(Dmin)DmaxR(Dmax)R(D)的數(shù)學特征第12頁，共21頁，2023年，2月20日，星期四的定義域，即考慮D的取值范圍。DminR(Dmin)考慮如何每一項取最小。第13頁，共21頁，2023年，2月20日，星期四給定信源的條件下：失真矩陣信道矩陣第14頁，共21頁，2023年，2月20日，星期四信道的信息傳輸率至少等于信源的熵：R(0)=H(X)一般地：Dmin=0第15頁，共21頁，2023年，2月20日，星期四討論：只有當失真矩陣每行至少一個極小值每列最多一個極小值才能使得H(X|Y)=0才能保證I(X,Y)=H(X)1.2.只有當失真矩陣至少有一列有多個極小值，則后驗概率未必是0或1，這時H(X|Y)>0I(X,Y)=H(X)-H(X|Y)<H(X)——————相當于可以壓縮第16頁，共21頁，2023年，2月20日，星期四例：選擇信道1：選擇信道2：則R(0)=H(X)可壓縮第17頁，共21頁，2023年，2月20日，星期四DmaxR(Dmax)定義第18頁，共21頁，2023年，2月20日，星期四兩個向量的內(nèi)積DmaxR(Dmax)I(X;Y)=0,X,Y獨立，第19頁，共21頁，2023年，2月20日，星期四討論：1.2.某列全為1每行三者和為1R(Dmax)=minI(X,Y)=0第20頁，共21頁，2023年，2月20日，星期四R(D)的數(shù)學特征R(D)是D的下凸函數(shù)；R(D)是關(guān)于D的連續(xù)函數(shù)；R(D)是關(guān)于D的單調(diào)遞