信息論+第七章課件

第七章限失真信源編碼7.1失真測(cè)度7.2信息率失真函數(shù)7.3限失真信源編碼定理只要R<C，總可以找到一種信道編碼方法，使在信道上能夠以盡可能小的PE傳輸信息。有噪信道編碼定理回顧信源編碼消息信道R<C;PE=ε信道編碼增加冗余度，最好地匹配信道特性吉林大學(xué)通信學(xué)院電子系楊曉萍信宿對(duì)真實(shí)度的要求：

實(shí)際語音信號(hào)：20Hz~8KHz

人耳能夠分辨：300Hz~3400Hz

圖象色差：可達(dá)足夠多

視覺分辨：256級(jí)（黑白）已足夠?qū)嶋H需求特點(diǎn)可以允許一定的失真度

完全保真沒必要吉林大學(xué)通信學(xué)院電子系楊曉萍7.1失真測(cè)度7.1.1失真函數(shù)7.1.2平均失真吉林大學(xué)通信學(xué)院電子系楊曉萍7.1.1失真函數(shù)信源變量信源分布一個(gè)非負(fù)函數(shù)d(xi,yj)表示信源發(fā)出符號(hào)xi,接收符號(hào)yj的失真度的定量描述.經(jīng)信道傳輸后,輸出序列失真度定義吉林大學(xué)通信學(xué)院電子系楊曉萍7.1.1失真函數(shù)失真度定義失真函數(shù)d(xi,yj)有r×s個(gè),可排成矩陣形式失真度性質(zhì)失真函數(shù)d(xi,yj)有距離的概念性質(zhì)1：時(shí),d=0

性質(zhì)2：最小距離d=0

性質(zhì)3：

吉林大學(xué)通信學(xué)院電子系楊曉萍7.1.1失真函數(shù)失真函數(shù)的取值原則失真函數(shù)d(xi,yj)可以各式各樣,應(yīng)盡可能符合信宿的主觀特性,即主觀上的失真感覺應(yīng)與d(xi,yj)的值相對(duì)應(yīng).d越大所感覺的失真也越大,而且最好成正比.常用的失真函數(shù)平均誤差失真度：

適用于連續(xù)信源及離散信源,特別是表示信源輸出符號(hào)的幅度值.吉林大學(xué)通信學(xué)院電子系楊曉萍7.1.1失真函數(shù)絕對(duì)失真：

適用信源同前相對(duì)失真：

相對(duì)失真與主觀特性比較匹配,但數(shù)學(xué)處理較繁瑣.漢明失真：

認(rèn)為引起的失真都相同,取常數(shù)為1.這種失真稱為漢明失真.漢明失真矩陣D為方陣,且對(duì)角線上的元素為0.適用于離散信源.吉林大學(xué)通信學(xué)院電子系楊曉萍7.1.1失真函數(shù)例7.1設(shè)信道輸入X={0,1},輸出Y={0,1,2},規(guī)定失真函數(shù)d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1,d(0,2)=d(1,2)=0.5,求D.解：失真函數(shù)矩陣這是二元?jiǎng)h除信道.例設(shè)信道輸入X={0,1,2},輸出Y={0,1,2},求平方誤差失真矩陣D.解：失真函數(shù)矩陣吉林大學(xué)通信學(xué)院電子系楊曉萍7.1.1失真函數(shù)信源序列失真度定義設(shè)輸入輸出信源序列的失真度等于序列中對(duì)應(yīng)單個(gè)信源符號(hào)失真度之和.吉林大學(xué)通信學(xué)院電子系楊曉萍7.1.1失真函數(shù)信源序列失真度定義設(shè)輸入輸出吉林大學(xué)通信學(xué)院電子系楊曉萍7.1.1失真函數(shù)例7.2設(shè)信源輸出序列,其中每個(gè)X={0,1},輸出序列,每個(gè)Y={0,1}.定義失真函數(shù)d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1,求D(N).解：由序列失真度定義吉林大學(xué)通信學(xué)院電子系楊曉萍7.1.2平均失真平均失真度定義失真函數(shù)的數(shù)學(xué)期望為平均失真度.吉林大學(xué)通信學(xué)院電子系楊曉萍7.1.2平均失真

N維信源序列平均失真度吉林大學(xué)通信學(xué)院電子系楊曉萍7.2信息率失真函數(shù)7.2.1保真度準(zhǔn)則7.2.2信息率失真函數(shù)的定義7.2.3信息率失真函數(shù)R(D)的性質(zhì)吉林大學(xué)通信學(xué)院電子系楊曉萍7.2.1保真度準(zhǔn)則（1）若平均失真度不大于所允許的失真D,即

,稱此為保真度準(zhǔn)則.（2）對(duì)于N維信源序列，保真度準(zhǔn)則為（3）當(dāng)信源固定（p(x)給定），單個(gè)符號(hào)失真度固定（給定）時(shí)，選擇不同的信道，相當(dāng)于不同的編碼方法，所得到的平均失真度不同。有些信道滿足，另一些.把滿足D失真許可信道組成一個(gè)集合BD，吉林大學(xué)通信學(xué)院電子系楊曉萍7.2.2信息率失真函數(shù)的定義離散無記憶平穩(wěn)信源情況下物理意義

并不是實(shí)際的信道,而是有失真信源編碼或信源壓縮的處理.進(jìn)而可求出平均互信息的最小值.即改變編碼方法使平均互信息最小,實(shí)質(zhì)上是選擇一種編碼方法使信息傳輸率最小.是信源特性參數(shù),與試驗(yàn)信道的選擇無關(guān).反映了信源可以壓縮的程度,是在滿足一定失真度()要求下,信源可壓縮的最低值.吉林大學(xué)通信學(xué)院電子系楊曉萍7.2.3信息率失真函數(shù)R(D)的性質(zhì)是D的函數(shù),當(dāng)D很小時(shí),應(yīng)很大。1.的定義域(0,Dmax)吉林大學(xué)通信學(xué)院電子系楊曉萍7.2.3信息率失真函數(shù)R(D)的性質(zhì)解：例7.3刪除信道X={0,1},Y={0,1,2}.求吉林大學(xué)通信學(xué)院電子系楊曉萍7.2.3信息率失真函數(shù)R(D)的性質(zhì)解：例7.4設(shè)信源,信宿Y={0,1}.求吉林大學(xué)通信學(xué)院電子系楊曉萍7.2.3信息率失真函數(shù)R(D)的性質(zhì)解：例7.5設(shè)信源,信宿Y={0,1}.求小結(jié)吉林大學(xué)通信學(xué)院電子系楊曉萍7.2.3信息率失真函數(shù)R(D)的性質(zhì)2.是關(guān)于D的U型凸函數(shù)是滿足保真度準(zhǔn)則的試驗(yàn)信道.且平均互信息是信道傳遞概率的下凸函數(shù),即吉林大學(xué)通信學(xué)院電子系楊曉萍7.2.3信息率失真函數(shù)R(D)的性質(zhì)2.是關(guān)于D的U型凸函數(shù)是滿足保真度準(zhǔn)則的試驗(yàn)信道.且平均互信息是信道傳遞概率的下凸函數(shù),即證畢吉林大學(xué)通信學(xué)院電子系楊曉萍7.2.3信息率失真函數(shù)R(D)的性質(zhì)3.函數(shù)的單調(diào)遞減性和連續(xù)性計(jì)算的條件是,顯然當(dāng)時(shí),將最小.4.的典型圖形證略吉林大學(xué)通信學(xué)院電子系楊曉萍7.3限失真信源編碼定理保真度準(zhǔn)則下的離散信源編碼定理設(shè)R(D)是離散無記憶信源的信息率失真函數(shù),并且為有限值.對(duì)于任意D≥0,當(dāng)信源序列長(zhǎng)度N足夠長(zhǎng)時(shí),一定存在一種信源編碼,其編碼后的實(shí)際傳輸信息率R>R(D),而平均失真度;不存在信息率R<R(D),而的任何編碼.也稱香農(nóng)第三定理.吉林大學(xué)通信學(xué)院電子系楊曉萍7.3限失真信源編碼定理無失真信源編碼定理限失真信源編碼定理信源冗余度壓縮編碼信源的熵壓縮編碼無失真、保熵有失真、熵壓縮信源壓縮的極限值：信源熵H(S)信源壓縮的極限值：率失真函數(shù)R(D)存在性、構(gòu)造性存在性定理香農(nóng)三大定理的關(guān)系和比較吉林大學(xué)通信學(xué)院電子系楊曉萍7.3限失真信源編碼定理香農(nóng)三大定理的關(guān)系和比較信道編碼定理限失真信源編碼定理給定信道特性p=p(y|x)給定信源p=p(u)及失真測(cè)度d(u,v)對(duì)于假設(shè)的信源p=p(x)對(duì)于假設(shè)的試驗(yàn)信道p=p(v|u)尋求最優(yōu)的信道編碼C2尋求最優(yōu)的限失真編碼C3產(chǎn)生的誤碼率pe產(chǎn)生的最大失真