信息率失真函數(shù)的基本概念

1、2022-7-51第第4 4章章 信息率失真函數(shù)信息率失真函數(shù) 我們總喜歡去驗(yàn)證別人對我們許下的我們總喜歡去驗(yàn)證別人對我們許下的諾言，卻很少去驗(yàn)證自己給自己許下的諾諾言，卻很少去驗(yàn)證自己給自己許下的諾言。言。2022-7-52信息率失真函數(shù)n主要內(nèi)容：主要內(nèi)容：n限失真信源編碼定理n信息率失真函數(shù)n保真度準(zhǔn)則下的信源編碼定理n教學(xué)基本要求：教學(xué)基本要求：n掌握率失真函數(shù)的定義、性質(zhì)、計(jì)算n掌握保真度準(zhǔn)則下的信源編碼定理n重點(diǎn)和難點(diǎn)：重點(diǎn)和難點(diǎn)：n率失真函數(shù)(離散信源，連續(xù)信源)的計(jì)算n保真度準(zhǔn)則下的信源編碼定理2022-7-53本章主要內(nèi)容n4.1 基本概念基本概念 n4.2 離散無記憶信源離

2、散無記憶信源R(D)的計(jì)算的計(jì)算 n4.3 連續(xù)無記憶信源的連續(xù)無記憶信源的R(D)的計(jì)算的計(jì)算n4.4 信道容量和信息率失真函數(shù)的比信道容量和信息率失真函數(shù)的比較較n4.5 保真度準(zhǔn)則下的信源編碼定理保真度準(zhǔn)則下的信源編碼定理 2022-7-54n理論上理論上“消息完全無失真?zhèn)魉拖⑼耆珶o失真?zhèn)魉汀钡目蓪?shí)現(xiàn)性的可實(shí)現(xiàn)性n信道編碼定理：無論何種信道，只要 H(X)=信息速率R=C 則傳輸必失真。n實(shí)際上實(shí)際上“消息完全無失真?zhèn)魉拖⑼耆珶o失真?zhèn)魉汀钡牟豢蓪?shí)現(xiàn)性的不可實(shí)現(xiàn)性n要做到無失真信源編碼，要求H(X)RC；實(shí)際的信源常常是連續(xù)信源，連續(xù)信源的絕對熵?zé)o窮大,要無失真?zhèn)魉?，則信息率R也需無限

3、大，信道容量C也必須為無窮大。n而實(shí)際信道帶寬是有限的，所以信道容量受限制。因此無法滿足無失真?zhèn)鬏數(shù)臈l件，因此傳輸質(zhì)量必然受影響。2022-7-55n有些失真沒有必要完全消除（限失真信源編碼）有些失真沒有必要完全消除（限失真信源編碼）n實(shí)際生活中，人們一般并不要求獲得完全無失真的消息，通常只要求近似地再現(xiàn)原始消息，即允許一定的失真存在。n打電話，即使語音信號有一些失真，接電話的人打電話，即使語音信號有一些失真，接電話的人也能聽懂。也能聽懂。n放電影：理論上需要無窮多幅靜態(tài)畫面，由于人放電影：理論上需要無窮多幅靜態(tài)畫面，由于人眼的視覺暫留性，實(shí)際上只需要每秒放映眼的視覺暫留性，實(shí)際上只需要每秒放

4、映24幅幅靜態(tài)畫面，視覺上就會感覺是連續(xù)的。靜態(tài)畫面，視覺上就會感覺是連續(xù)的。n信息率失真理論信息率失真理論信息率失真函數(shù)信息率失真函數(shù)n香農(nóng)定義了信息率失真函數(shù)R(D)n定理指出： 在允許一定失真度D的情況下，信源輸出的信息率可以壓縮到R(D).2022-7-56信息率失真函數(shù)極小值問題nI(X;Y)是是P(X)和和P(Y/X)二元函數(shù)。二元函數(shù)。n在討論信道容量時：n固定固定P(Y/X), I(X;Y)是是P(X)的函數(shù)。離散的函數(shù)。離散情況下，情況下， I(X;Y)是是 的的上凸函數(shù)上凸函數(shù)，因此，因此必有必有I(X;Y)的極大值。的極大值。n在討論信息速率時：n固定固定 ,I(X;Y)

5、是是 的的下凸函數(shù)下凸函數(shù)，因此必有因此必有I(X;Y)的極小值。的極小值。n但是若但是若X和和Y統(tǒng)計(jì)獨(dú)立，即這樣極小值就變統(tǒng)計(jì)獨(dú)立，即這樣極小值就變成成0，此時極小值就沒有意義了。，此時極小值就沒有意義了。n引入一個失真函數(shù)引入一個失真函數(shù)R(D)，計(jì)算在失真度，計(jì)算在失真度D一一定的情況下，可求得信息率定的情況下，可求得信息率R的極小值。的極小值。)(ixp)/(ijxyp)(ixp2022-7-57信息率與失真的關(guān)系n信源壓縮后相比原始信源，誤差或失真越大信源壓縮后相比原始信源，誤差或失真越大，說，說明壓縮掉的信息量就越多。明壓縮掉的信息量就越多。n描述描述失真度大小和信息速率關(guān)系失真度

6、大小和信息速率關(guān)系的定理稱為：保的定理稱為：保真度準(zhǔn)則下的信源編碼定理，也叫信息率失真理真度準(zhǔn)則下的信源編碼定理，也叫信息率失真理論。論。n信息率失真理論的應(yīng)用：信息率失真理論的應(yīng)用：n信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。2022-7-584.1 主要內(nèi)容n失真函數(shù)失真函數(shù) n平均失真平均失真 n信息率失真函數(shù)信息率失真函數(shù) n信息率失真函數(shù)的基本性質(zhì)信息率失真函數(shù)的基本性質(zhì) 2022-7-59失真函數(shù)n由于信息率的大小與失真的程度有關(guān)，為了定量地由于信息率的大小與失真的程度有關(guān)，為了定量地描述信息率和失真的關(guān)系，必須先規(guī)定失真的測度描述信息率和失真的關(guān)系，必須先規(guī)定

7、失真的測度標(biāo)準(zhǔn)，即失真函數(shù)：標(biāo)準(zhǔn)，即失真函數(shù)：n它用來表示信源壓縮后的消息和原始發(fā)送的消息之間的誤差。n具體地：每一對具體地：每一對 ，指定一個非負(fù)函數(shù)，指定一個非負(fù)函數(shù) 稱為稱為單個符號的失真度單個符號的失真度（失真函數(shù)），它表示信源（失真函數(shù)），它表示信源發(fā)出一個符號發(fā)出一個符號 ，壓縮后在接收端收到，壓縮后在接收端收到 ，二者之，二者之間的誤差或失真。間的誤差或失真。),(jiyxdjiyx ,distortionixjy2022-7-510失真函數(shù)n失真函數(shù)失真函數(shù)n其它表示收發(fā)之間誤差的失真函數(shù)：其它表示收發(fā)之間誤差的失真函數(shù)：n平方誤差失真函數(shù)或均方失真函數(shù)n絕對失真函數(shù)n相對失真

8、函數(shù),)(),(2ijjixyyxdjijiijjiyxyxdyxd, 0, 0),(時當(dāng)|,|),(ijjixyyxd,|),(iijjixxyyxd2022-7-511單符號離散信源的失真函數(shù)n設(shè)離散無記憶信源為設(shè)離散無記憶信源為n信源通過矩陣信源通過矩陣P(Y/X)壓縮壓縮n壓縮后，接收端壓縮后，接收端Y)()()()()(2121ninixp，xp，xp，xpx，x，x，xXPXmnnmnmmxypxypxypxypxypxypxypxypxypP)/()/()/()/()/()/()/()/()/(1212222111211)()()()()(2121mjmjyp，yp，xp，ypy

9、，y，y，yYPY2022-7-512失真矩陣n要描述離散信源的所有失真情況，必須用矩陣來表要描述離散信源的所有失真情況，必須用矩陣來表示：即失真矩陣，記作示：即失真矩陣，記作D Dn若一個信源的所有符號壓縮前后的失真大小都為，則可寫作對角線上為0，其余為。則該單符號離散信源進(jìn)行壓縮傳輸?shù)氖д婢仃嚳梢詫懽?。mnmnnnmmnnnmddddddyxdyxdyxdyxdyxdyxdD21121112112111),(),(),(),(),(),(mnD002022-7-513失真矩陣n若=1，則失真函數(shù)稱為漢明失真函數(shù)，失真矩陣稱為漢明失真矩陣，變?yōu)?mnD0111102022-7-514n例：已

10、知單符號離散無記憶信源例：已知單符號離散無記憶信源X=0,1X=0,1，Y=0,1Y=0,1，22，將其進(jìn)行壓縮的失真函數(shù)為，將其進(jìn)行壓縮的失真函數(shù)為 d(0,0)= d(1,1)=0d(0,0)= d(1,1)=0；d(0,1)= d(1,0)=1d(0,1)= d(1,0)=1； d(0,2)= d(1,2)=0.5 d(0,2)= d(1,2)=0.5， 求失真矩陣：求失真矩陣：n解：解： 5 . 0015 . 010)2 , 1 () 1 , 1 ()0 , 1 ()2 , 0() 1 , 0()0 , 0(DddddddD2022-7-515n以上離散以上離散無記憶無記憶信源的信源的

11、N N次擴(kuò)展信源的失真函數(shù)：次擴(kuò)展信源的失真函數(shù)：若發(fā)送和壓縮傳輸后接收的消息分別為：若發(fā)送和壓縮傳輸后接收的消息分別為：n則則N N次擴(kuò)展信源的失真函數(shù)次擴(kuò)展信源的失真函數(shù)可定義為可定義為),(),(),(),(121121mjkjNjkjjjnikiNikiiiyyyyyyybxxxxxxxa接收：發(fā)送：NkjkikjNiNjijijNjjiNiiNjiNyxdyxdyxdyxdyyyxxxdbad122112121)()()()()(),(),(，無記憶2022-7-516連續(xù)信源的失真函數(shù) 記作：記作：d(x,y)d(x,y)n例：某一連續(xù)信源進(jìn)行壓縮傳輸時，采用的失真壓縮的函數(shù)例：某

12、一連續(xù)信源進(jìn)行壓縮傳輸時，采用的失真壓縮的函數(shù)為均方式真，則其失真函數(shù)可寫作：為均方式真，則其失真函數(shù)可寫作：nd(x,y)=(y-x)d(x,y)=(y-x)2 22022-7-517平均失真平均失真n 只能表示兩個特定的具體符號只能表示兩個特定的具體符號 之間之間的失真，而對于信源整體壓縮時，引起的失真測的失真，而對于信源整體壓縮時，引起的失真測度需要求度需要求平均失真平均失真。n平均失真平均失真：平均失真為：平均失真為失真函數(shù)的數(shù)學(xué)期望失真函數(shù)的數(shù)學(xué)期望。可可以表示信源壓縮傳輸時以表示信源壓縮傳輸時平均每個符號平均每個符號所引起的失所引起的失真的大小，是從總體上對整個信源壓縮失真情況真的

13、大小，是從總體上對整個信源壓縮失真情況的描述。的描述。n平均失真的特性：平均失真的特性：n它是信源統(tǒng)計(jì)特性，信道統(tǒng)計(jì)特性和失真度它是信源統(tǒng)計(jì)特性，信道統(tǒng)計(jì)特性和失真度的函數(shù)，當(dāng)以上三個量的函數(shù)，當(dāng)以上三個量 給定后，平均失真度就不再是一個隨機(jī)量了，給定后，平均失真度就不再是一個隨機(jī)量了，而變成一個確定的量。而變成一個確定的量。n人們所允許的壓縮失真都是人們所允許的壓縮失真都是平均意義上的失平均意義上的失真真。),(jiyxdjiyx和),()/(),(jiijiyxdxypxp和2022-7-518平均失真平均失真n單符號離散無記憶信源單符號離散無記憶信源進(jìn)行壓縮傳輸時的平均失進(jìn)行壓縮傳輸時的

14、平均失真真nN N次擴(kuò)展信源（無記憶）次擴(kuò)展信源（無記憶）的平均失真的平均失真 nimjijijinimjijjiijdxypxpdyxpdED1111)/()()(個符號的平均失真：每條消息的第，kDDyxdyxdEyxdEbadENDKNkKNkjkikNkjkikNkjkikjiN1111)( ),( ),(),()(2022-7-519n所以，所以，N N次擴(kuò)展信源的平均失真為（注意前提為：次擴(kuò)展信源的平均失真為（注意前提為：無記憶信源）無記憶信源）n當(dāng)當(dāng) 對于定義域內(nèi)的對于定義域內(nèi)的i,j,k,則則NDDNDNk1)(無記憶信源時：，DDk個符號的平均失真：每條消息的第kDDNDKN

15、kK1)(2022-7-520連續(xù)信源的平均失真n連續(xù)信源連續(xù)信源的平均失真的平均失真度函數(shù)為連續(xù)信道轉(zhuǎn)移概率密其中：)/(),()/()(),()(),(xypdxdyyxdxypxpdxdyyxdxypyxdEDnimjijijinimjijjiijdxypxpdyxpdED1111)/()()(因?yàn)殡x散信源的平均失真為：因?yàn)殡x散信源的平均失真為：2022-7-521信息率失真函數(shù)信息率失真函數(shù)n定義：給定信源和失真函數(shù)，要使信源壓縮后的平均定義：給定信源和失真函數(shù)，要使信源壓縮后的平均失真失真 (D (D為給定的失真上限為給定的失真上限) )，n則需找到某種壓縮方法，使其經(jīng)過壓縮后可以達(dá)

16、到一則需找到某種壓縮方法，使其經(jīng)過壓縮后可以達(dá)到一個允許的最小信息速率，即個允許的最小信息速率，即R(D)R(D)。n不妨將該不妨將該壓縮過程壓縮過程假設(shè)成讓信源通過一個有失真的傳假設(shè)成讓信源通過一個有失真的傳輸信道（滿足一定的信道轉(zhuǎn)移概率分布或轉(zhuǎn)移概率密輸信道（滿足一定的信道轉(zhuǎn)移概率分布或轉(zhuǎn)移概率密度函數(shù)），使在該信道（稱為試驗(yàn)信道）上傳輸?shù)亩群瘮?shù)），使在該信道（稱為試驗(yàn)信道）上傳輸?shù)男判畔⑺俾蔬_(dá)到最小息速率達(dá)到最小，這個最小的信息速率稱為信息率失，這個最小的信息速率稱為信息率失真函數(shù)，記作真函數(shù)，記作R(D)R(D)。n信息率失真函數(shù)示意圖信息率失真函數(shù)示意圖DD 2022-7-522信息

17、率失真函數(shù)n單符號離散無記憶信源的信息率失真函數(shù)單符號離散無記憶信源的信息率失真函數(shù) );();()(minmin)/(YXIYXIDRDijpxypDD信息速率值信源容許壓縮到的最低的條件下，給定失真：信息率失真函數(shù)：在信道的轉(zhuǎn)移概率的用于壓縮傳輸?shù)脑囼?yàn)為滿足DDRDDpD)(其中其中2022-7-523信息率失真函數(shù)n單符號離散無記憶信源的單符號離散無記憶信源的N N次擴(kuò)展信源次擴(kuò)展信源的信息率的信息率失真函數(shù)失真函數(shù))();()(min)(DNRYXIDRNNDNDN無記憶2022-7-524信息率失真函數(shù)的基本性質(zhì)n率失真函數(shù)的定義域率失真函數(shù)的定義域(0,D(0,Dmaxmax) )

18、1、當(dāng)平均失真當(dāng)平均失真D=0D=0時，率失真函數(shù)時，率失真函數(shù)R(D)=R(0)=H(X)R(D)=R(0)=H(X)證明：證明：(1)對于離散信源 當(dāng)D=0時，說明信源壓縮后無失真，即沒有進(jìn)行任何壓縮，因此壓縮后的信息速率R(D)等于壓縮前的（即信源熵）： R(D)=R(0)=I(X;Y)R(D)=R(0)=I(X;Y) =H(X)-H(X/Y) =H(X)-H(X/Y) =H(X) =H(X)2022-7-525信息率失真函數(shù)的基本性質(zhì)n率失真函數(shù)的定義域率失真函數(shù)的定義域(0,D(0,Dmaxmax) )(2)對于連續(xù)信源，所以當(dāng)D=0時， R(0)=H(X)= 因?yàn)榻^對熵為無窮大 因

19、此，連續(xù)信源要進(jìn)行無失真地壓縮傳輸，需要傳遞的信息量是無窮大，這就需要一個具有無窮大信道容量的信道才能完成，而實(shí)際信道傳輸容量有限，所以要實(shí)現(xiàn)連續(xù)信源的無失真?zhèn)魉褪遣豢赡艿模仨氃试S一定的失真，使R(D)變?yōu)橛邢拗担瑐魉筒庞锌赡堋?022-7-526 n2 2、當(dāng)當(dāng)D=DD=Dmaxmax時，時，R(DR(Dmaxmax)=0)=0。 分析：失真值分析：失真值D D越大，越大，R(D)R(D)越小越小 ，D D大到一定程度，大到一定程度，R(D)=0R(D)=0，即壓縮后的信源沒有任何信息量。，即壓縮后的信源沒有任何信息量。 現(xiàn)在將所有現(xiàn)在將所有滿足滿足R(D)=0R(D)=0的的D D的最小

20、值的最小值，定義為，定義為R(D)R(D)定義域的上限定義域的上限D(zhuǎn) Dmaxmax。 D Dmaxmax的計(jì)算式的計(jì)算式： nijiijjjyxdxpDD1max),()(minmin信息率失真函數(shù)的基本性質(zhì)2022-7-527信息率失真函數(shù)的基本性質(zhì)n二、二、R(D)是定義域是定義域(0,Dmax)上的嚴(yán)格單調(diào)遞減連上的嚴(yán)格單調(diào)遞減連續(xù)下凸函數(shù)續(xù)下凸函數(shù)允許的最大失真D允許的最小信息率R(D)0Dmax2022-7-528)(min),()()(min),()()(min)()/(0)(),()/()(minmin11111max110)(0)(maxjnijjjiniimjjjijnii

21、mjjijjiijniimjDRDRDypyxdxpypyxdypxpDypxypDRyxdxypxpDD信源和信宿是獨(dú)立的的信息量沒有傳遞任何有關(guān)信源說明設(shè)計(jì)的壓縮信道上該式相當(dāng)于求該式相當(dāng)于求D Dj j的最小數(shù)學(xué)期望的最小數(shù)學(xué)期望若若D Ds s是所有是所有D Dj j中最小的一個，則取中最小的一個，則取p(yp(ys s)=1)=1，其它，其它p(yp(yj j)=0,)=0,此時此時D Dj j的數(shù)學(xué)期望必然最小的數(shù)學(xué)期望必然最小nijiijjjyxdxpDD1max),()(minmin的簡化計(jì)算式：D Dmaxmax的簡化計(jì)算式的推導(dǎo)：的簡化計(jì)算式的推導(dǎo)：2022-7-529n例

22、例4.1.14.1.1：P P110110已知二元信源已知二元信源n解：（解：（1 1）求求D Dmaxmax )/()()2()/()() 1 (,006 . 04 . 0)(minminmaxmax21XYPDRDXYPDRDdxxXPX及對應(yīng)的和及對應(yīng)的和計(jì)算，失真矩陣為2022-7-5304 . 06 . 0 ,4 . 0min6 . 004 . 0 ,06 . 04 . 0min006 . 0 , 4 . 0min)(,)(min)(minmin12111maxjjjniiiniiijniijijjdxpdxpdxpDD0)(0)(1)()(DD2111maxypypypypDjjj對此題其余的所以對應(yīng)的加權(quán)系數(shù)最大，）（此題是最小的時，即達(dá)到D1D22022-7-531n（1 1） 0101)/()/(6 . 04 . 01)/()()(01)()()(?)/(22212121maxXY