第七章限失真信源編碼

第七章限失真信源編碼7.1失真測度7.2信息率失真函數(shù)

7.3信息率失真函數(shù)的計算

7.4限失真信源編碼定理*7.5常用的限失真信源編碼方法概述第七章：限失真編碼失真測度信宿信源編碼器/信道YXR=I(X;Y)>R(D)概述第七章：限失真編碼失真測度7.1.1失真函數(shù)第七章：限失真編碼失真測度失真矩陣7.1.1失真函數(shù)第七章：限失真編碼失真測度常用的失真函數(shù)有：（1）

漢明失真（2）平方誤差失真函數(shù)失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起的損失、風(fēng)險大小等人為規(guī)定的。7.1.1失真函數(shù)第七章：限失真編碼失真測度例7.1.1設(shè)信道輸入，輸出，規(guī)定失真函數(shù)

d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5，求D

。解：

7.1.1失真函數(shù)第七章：限失真編碼失真測度d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，求D

。符號序列的失真函數(shù)7.1.1失真函數(shù)第七章：限失真編碼失真測度例7.1.2假設(shè)信源輸出序列，其中每個隨機(jī)變量均取值于。經(jīng)信道傳輸(編碼）后的輸出為，其中每個隨機(jī)變量均取值于。定義失真函數(shù)d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，求失真矩陣D(N）。

7.1.1失真函數(shù)第七章：限失真編碼失真測度7.1.1失真函數(shù)第七章：限失真編碼失真測度7.1.2平均失真

第七章：限失真編碼失真測度7.1.2平均失真

第七章：限失真編碼失真測度例：7.1.2平均失真

第七章：限失真編碼失真測度例：第七章：限失真編碼失真測度7.1.2平均失真

第七章：限失真編碼失真測度7.1.2平均失真

7.2.1D允許信道

保真度準(zhǔn)則

D失真允許信道

7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)7.2.2信息率失真函數(shù)的定義當(dāng)信源為離散無記憶平穩(wěn)信源、信道為離散無記憶平穩(wěn)信道時7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)是在信道固定前提下，選擇一種信源概率分布使信息傳輸率最大（求極大值）。它反映了信道傳輸信息的能力，是信道可靠傳輸?shù)淖畲笮畔鬏斅省Ｐ诺廊萘颗c信源無關(guān)，是反映信道特性的參量，不同的信道其信道容量不同。

7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)是在信源固定，滿足保真度準(zhǔn)則的條件下的信息傳輸率的最小值。反映了滿足一定失真度的條件下信源可以壓縮的程度，也就是滿足失真要求而再現(xiàn)信源消息所必須獲得的最少平均信息量。是信源特性的參量，一旦求到就與求極值過程中選擇的試驗(yàn)信道無關(guān)，不同的信源率失真函數(shù)不同。

7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)這兩個概念適用范圍是不一樣。研究信道容量C是為了解決在已知信道中盡可能多地傳送信息的問題，是為了充分利用已給定的信道，使傳輸?shù)男畔⒘孔畲蠖e誤概率任意小，以提高通信的可靠性，這是信道編碼的問題。研究信息率失真函數(shù)是為了解決在已知信源和允許失真度條件下，使信源輸出的信息率盡可能小，也就是在允許一定失真度D的條件下，使信源必須傳送給信宿的信息量最少，盡可能用最少的碼符號來傳送信源信息，使信源的信息可以盡快地傳送出去，以提高通信的有效性，這是信源編碼問題。7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)例7.3：刪除信道，求1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)解：例：求1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)解：1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)例7.4設(shè)信源,，求1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)解：

1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)例：二元信源,計算。1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)解：

對于任意和有2.是關(guān)于D的下凸函數(shù)

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)3.在定義域內(nèi)是嚴(yán)格遞減函數(shù)第七章：限失真編碼信息率失真函數(shù)的性質(zhì)二元信源的信息率失真函數(shù)例7.6信源輸出符號集為（0，1），失真函數(shù)定義為，求。7.3.1應(yīng)用參量表示式計算第七章：限失真編碼信息率失真函數(shù)的計算解：（1）由計算和。

（2）由計算和。（3）將求得的，和，代入得到平均失真度D(S)，并將S表示為D的函數(shù)。

7.3.1應(yīng)用參量表示式計算第七章：限失真編碼信息率失真函數(shù)的計算（4）將參量S代入得到率失真函數(shù)。

7.3.1應(yīng)用參量表示式計算第七章：限失真編碼信息率失真函數(shù)的計算7.3.1應(yīng)用參量表示式計算第七章：限失真編碼信息率失真函數(shù)的計算等概信源的信息率失真函數(shù)例7.7信源輸出符號集，等概分布，輸出符號集，失真函數(shù)定義為

求。7.3.1應(yīng)用參量表示式計算第七章：限失真編碼信息率失真函數(shù)的計算7.3.1應(yīng)用參量表示式計算第七章：限失真編碼信息率失真函數(shù)的計算例7.8設(shè)信源符號集。概率分布為，失真函數(shù)選為求當(dāng)允許的失真度為1/2時信源的率失真函數(shù)。7.3.1應(yīng)用參量表示式計算第七章：限失真編碼信息率失真函數(shù)的計算例7.9二元信源的信息率失真函數(shù)信源輸出符號集為（0，1），失真函數(shù)定義為漢明失真

，求。7.3.2二元信源和離散等概信源的

第七章：限失真編碼信息率失真函數(shù)的計算解：且滿足該最小失真的試驗(yàn)信道是一個無噪無損信道。

第七章：限失真編碼信息率失真函數(shù)的計算7.3.2二元信源和離散等概信源的

當(dāng)時，第七章：限失真編碼信息率失真函數(shù)的計算7.3.2二元信源和離散等概信源的

第七章：限失真編碼信息率失真函數(shù)的計算7.3.2二元信源和離散等概信源的

定理7.1設(shè)是離散無記憶信源的信息率失真函數(shù)。對于任意的允許失真度和任意小的正數(shù)，當(dāng)碼長N足夠長時，一定存在一種編碼其碼字個數(shù)

而編碼后的平均失真度。

7.4限失真信源編碼定理第七章：限失真編碼限失真信源編碼定理定理7.2否則，如果則編碼后的平均失