限失真信源編碼

限失真信源編碼第六章限失真信源編碼限失真信源編碼的概念失真測(cè)度信息率失真函數(shù)及其性質(zhì)信息率失真函數(shù)的意義第2頁(yè),共35頁(yè)，2024年2月25日，星期天限失真信源編碼第3頁(yè),共35頁(yè)，2024年2月25日，星期天限失真信源編碼的概念問題的引入：根據(jù)信道編碼定理，信道不可能實(shí)現(xiàn)對(duì)消息的完全無(wú)失真?zhèn)鬏敗?/p>

例：連續(xù)信源

信息絕對(duì)熵?zé)o窮大第4頁(yè),共35頁(yè)，2024年2月25日，星期天限失真信源編碼的概念問題的引入：在實(shí)際生活中，人們并不要求獲得完全無(wú)失真的消息，通常只要求近似地再現(xiàn)原消息，也就是允許一定的失真存在。例：語(yǔ)音信息：實(shí)際20kHz----8kHz，去掉低端和高端的頻率，變?yōu)槿硕邮盏?00－3400Hz

例：圖像信息：每個(gè)像素的黑白灰度只需要256級(jí)，畫面就足夠清晰了。第5頁(yè),共35頁(yè)，2024年2月25日，星期天限失真信源編碼的概念既然允許一定的失真存在，那么對(duì)信息率的要求便可降低。換句話說，就是允許壓縮信源輸出的信息率。信息率與允許失真之間的關(guān)系，就是信息率失真理論所要研究的內(nèi)容。第6頁(yè),共35頁(yè)，2024年2月25日，星期天限失真信源編碼的概念

例：電報(bào)：

1：母親患癌癥，情況危急，請(qǐng)速歸。

3：病危歸

2：母病危速歸無(wú)失真有失真第7頁(yè),共35頁(yè)，2024年2月25日，星期天限失真信源編碼的概念

例：圖像無(wú)失真有失真原始圖像壓縮后圖像第8頁(yè),共35頁(yè)，2024年2月25日，星期天限失真信源編碼的概念

香農(nóng)定義了信息率失真函數(shù)R(D)，還論述了關(guān)于這個(gè)函數(shù)的基本定理，定理指出：在允許一定失真度D的情況下，信源輸出的信息率可壓縮到R(D)值。第9頁(yè),共35頁(yè)，2024年2月25日，星期天信源符號(hào)經(jīng)過信道傳輸?shù)浇邮斩薡失真測(cè)度設(shè)離散無(wú)記憶信源為信道的傳遞概率矩陣第10頁(yè),共35頁(yè)，2024年2月25日，星期天對(duì)每一對(duì)，指定一個(gè)非負(fù)函數(shù)失真測(cè)度

稱為單個(gè)符號(hào)的失真度/失真函數(shù)。表示信源發(fā)出一個(gè)符號(hào)，在接收端再現(xiàn)所引起的誤差或失真。第11頁(yè),共35頁(yè)，2024年2月25日，星期天失真度還可表示成矩陣的形式:失真測(cè)度這個(gè)矩陣[D]完整地表示了信道的各種可能的失真函數(shù)，故稱矩陣[D]為信道的失真矩陣

第12頁(yè),共35頁(yè)，2024年2月25日，星期天例：設(shè)信源符號(hào)集信道輸出符號(hào)集失真測(cè)度在這樣的規(guī)定下，定義的失真函數(shù)為相應(yīng)的失真矩陣為第13頁(yè),共35頁(yè)，2024年2月25日，星期天失真測(cè)度在這樣的規(guī)定下，定義的失真函數(shù)為相應(yīng)的失真矩陣為這種失真函數(shù)稱為漢明失真函數(shù)第14頁(yè),共35頁(yè)，2024年2月25日，星期天失真測(cè)度相應(yīng)的失真矩陣為對(duì)于二進(jìn)制對(duì)稱信道來說第15頁(yè),共35頁(yè)，2024年2月25日，星期天例2：設(shè)信源符號(hào)集信道輸出符號(hào)集失真測(cè)度在這樣的規(guī)定下，定義的失真函數(shù)為相應(yīng)的失真矩陣為第16頁(yè),共35頁(yè)，2024年2月25日，星期天失真測(cè)度如:信源X的符號(hào)集{0，1}，信道輸出符號(hào)集{0，？，1}相應(yīng)的失真矩陣為第17頁(yè),共35頁(yè)，2024年2月25日，星期天例3：設(shè)信源符號(hào)集信道輸出符號(hào)集失真測(cè)度相應(yīng)的失真矩陣為在這樣的規(guī)定下，定義的失真函數(shù)為第18頁(yè),共35頁(yè)，2024年2月25日，星期天失真測(cè)度如信源X的符號(hào)集{0，1，2}，信道輸出符號(hào)集{0，1，2}相應(yīng)的失真矩陣為在這樣的規(guī)定下，定義的失真函數(shù)為第19頁(yè),共35頁(yè)，2024年2月25日，星期天失真測(cè)度由此得出：失真函數(shù)是根據(jù)實(shí)際需要，以及失真所引起的損失、風(fēng)險(xiǎn)、主觀感覺上的差別大小等因素人為地來規(guī)定的。第20頁(yè),共35頁(yè)，2024年2月25日，星期天只能表示兩個(gè)特定的具體符號(hào)和之間的失真。平均失真度平均失真度：平均失真度為失真度的數(shù)學(xué)期望。第21頁(yè),共35頁(yè)，2024年2月25日，星期天

是在平均意義上，從總體上對(duì)整個(gè)系統(tǒng)失真情況的描述。它是信源統(tǒng)計(jì)特性、信道統(tǒng)計(jì)特性和失真度的函數(shù)。當(dāng)，

和

給定后，平均失真度就不是一個(gè)隨機(jī)變量了，而是一個(gè)確定的量。平均失真度

如果信源和失真度一定，就只是信道統(tǒng)計(jì)特性的函數(shù)。信道傳遞概率不同，平均失真度隨之改變。第22頁(yè),共35頁(yè)，2024年2月25日，星期天

保真度準(zhǔn)則:平均失真不能超過人們?cè)试S的某一限定值對(duì)于給定信源和失真函數(shù)信息率失真函數(shù)第23頁(yè),共35頁(yè)，2024年2月25日，星期天凡是滿足保真度準(zhǔn)則的信道，稱為失真許可的實(shí)驗(yàn)信道。所有失真許可實(shí)驗(yàn)信道組成的一個(gè)集合用表示，即有在滿足保真度準(zhǔn)則的所有試驗(yàn)信道組成的集合中，總可以找到某一試驗(yàn)信道，使平均互信息量達(dá)到極小值（最小值），這個(gè)最小值就是信息率失真函數(shù)，或簡(jiǎn)稱率失真函數(shù)。信息率失真函數(shù)第24頁(yè),共35頁(yè)，2024年2月25日，星期天信息率失真函數(shù)在信源給定以后，總希望在允許一定失真的情況下，傳送信源所必須的信息率越小越好。從接收端來看，就是在滿足保真度準(zhǔn)則的條件下，尋找再現(xiàn)信源消息必須的最低平均信息量，即平均互信息的最小值。第25頁(yè),共35頁(yè)，2024年2月25日，星期天

信息率失真函數(shù)R(D)是假定信源給定的情況下，在用戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量。它反映的是信源可壓縮程度。率失真函數(shù)一旦找到，就與求極值過程中選擇的試驗(yàn)信道不再有關(guān)，而只是信源特性的參量。不同的信源，其R(D)是不同的。信息率失真函數(shù)第26頁(yè),共35頁(yè)，2024年2月25日，星期天平均互信息I(X;Y)是信源概率分布p(xi)的上凸函數(shù)，信道容量就是在固定信道情況下，求平均互信息極大值的問題，即信道容量和信息率失真函數(shù)I(X;Y)又是信道轉(zhuǎn)移概率分布p(yj/xi)

的下凸函數(shù)，信息率失真函數(shù)就是在試驗(yàn)信道（滿足保真度準(zhǔn)則的信道）中尋找平均互信息極小值的問題，即第27頁(yè),共35頁(yè)，2024年2月25日，星期天信道容量C一旦求出后，就只與信道轉(zhuǎn)移概率p(yj/xi)有關(guān)，反映信道特性，與信源特性無(wú)關(guān)；信息率失真函數(shù)R(D)一旦求出后，就只與信源概率分布p(xi)有關(guān)，反映信源特性，與信道特性無(wú)關(guān)。信道容量和信息率失真函數(shù)第28頁(yè),共35頁(yè)，2024年2月25日，星期天解決的問題信道容量是為了解決通信的可靠性問題，是信息傳輸?shù)睦碚摶A(chǔ)，通過信道編碼增加信息的冗余度來實(shí)現(xiàn)；信息率失真函數(shù)是為了解決通信的有效性問題，是信源壓縮的理論基礎(chǔ)，通過信源編碼減少信息的冗余度來實(shí)現(xiàn)。信道容量和信息率失真函數(shù)第29頁(yè),共35頁(yè)，2024年2月25日，星期天R（D）的定義域Dmin和R(Dmin）信息率失真函數(shù)的性質(zhì)當(dāng)失真矩陣的每一行至少有一個(gè)零元素時(shí)，信源的平均失真度達(dá)到下限值零。當(dāng)Dmin=0，也就是說信源不允許任何失真存在時(shí)，信息率至少應(yīng)等于信源輸出的平均信息量——信源熵。即第30頁(yè),共35頁(yè)，2024年2月25日，星期天Dmax和R(Dmax）不允許任何失真時(shí)，平均傳送一個(gè)信源符號(hào)所需的信息率最大，即必須等于信源熵，這也是平均互信息的上限值。當(dāng)允許一定失真存在時(shí)，傳送信源符號(hào)所需的信息率就可小些。反過來說，必須的信息率越小，容忍的失真就越大。當(dāng)R(D)等于零時(shí)，對(duì)應(yīng)的平均失真最大，也就是R(D)函數(shù)定義域的上界值Dmax

信息率失真函數(shù)的性質(zhì)第31頁(yè),共35頁(yè)，2024年2月25日，星期天Dmax和R(Dmax）定義：對(duì)于給定信源X，其信源的概率分布：p(xi)

，在選定的失真函數(shù)d(xi,yj)下，能使平均互信息量I(X;Y)=0的最小平均失真度為允許平均失真度的上界值。信息率失真函數(shù)的性質(zhì)第32頁(yè),共35頁(yè)，2024年2月25日，星期天信息率失真函數(shù)是D的下凹型函數(shù)信息率失真函數(shù)是定義域的單調(diào)遞減函數(shù)信息率失真函數(shù)是D的連續(xù)函數(shù)信息率失真函數(shù)的性質(zhì)第33頁(yè),共35頁(yè)，2024年2月25日，星期天

設(shè)一離散平穩(wěn)無(wú)記憶信源的輸出隨機(jī)變量序列為X=(X1,X2,…,XL)，若該信源的信息率失真函數(shù)是R(D)，并選定有限的失真函數(shù)。對(duì)于任意允許平均失真度D≥0，和任意小的ε>0，當(dāng)信息率R>R(D)，只要信源序列長(zhǎng)度L足夠長(zhǎng)，一定存在一種編碼方式C，使譯碼后的平均失真度；反之，若