第七章限失真信源編碼

第七章限失真信源編碼7.1失真測(cè)度7.2信息率失真函數(shù)

7.3信息率失真函數(shù)的計(jì)算

7.4限失真信源編碼定理*7.5常用的限失真信源編碼方法概述第七章：限失真編碼失真測(cè)度信宿信源編碼器/信道YXR=I(X;Y)>R(D)概述第七章：限失真編碼失真測(cè)度7.1.1失真函數(shù)第七章：限失真編碼失真測(cè)度失真矩陣7.1.1失真函數(shù)第七章：限失真編碼失真測(cè)度常用的失真函數(shù)有：（1）

漢明失真（2）平方誤差失真函數(shù)失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起的損失、風(fēng)險(xiǎn)大小等人為規(guī)定的。7.1.1失真函數(shù)第七章：限失真編碼失真測(cè)度例7.1.1設(shè)信道輸入，輸出，規(guī)定失真函數(shù)

d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5，求D

。解：

7.1.1失真函數(shù)第七章：限失真編碼失真測(cè)度d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，求D

。符號(hào)序列的失真函數(shù)7.1.1失真函數(shù)第七章：限失真編碼失真測(cè)度例7.1.2假設(shè)信源輸出序列，其中每個(gè)隨機(jī)變量均取值于。經(jīng)信道傳輸(編碼）后的輸出為，其中每個(gè)隨機(jī)變量均取值于。定義失真函數(shù)d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，求失真矩陣D(N）。

7.1.1失真函數(shù)第七章：限失真編碼失真測(cè)度7.1.1失真函數(shù)第七章：限失真編碼失真測(cè)度7.1.2平均失真

第七章：限失真編碼失真測(cè)度7.1.2平均失真

第七章：限失真編碼失真測(cè)度例：7.1.2平均失真

第七章：限失真編碼失真測(cè)度例：第七章：限失真編碼失真測(cè)度7.1.2平均失真

第七章：限失真編碼失真測(cè)度7.1.2平均失真

7.2.1D允許信道

保真度準(zhǔn)則

D失真允許信道

7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)7.2.2信息率失真函數(shù)的定義當(dāng)信源為離散無記憶平穩(wěn)信源、信道為離散無記憶平穩(wěn)信道時(shí)7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)是在信道固定前提下，選擇一種信源概率分布使信息傳輸率最大（求極大值）。它反映了信道傳輸信息的能力，是信道可靠傳輸?shù)淖畲笮畔鬏斅?。信道容量與信源無關(guān)，是反映信道特性的參量，不同的信道其信道容量不同。

7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)是在信源固定，滿足保真度準(zhǔn)則的條件下的信息傳輸率的最小值。反映了滿足一定失真度的條件下信源可以壓縮的程度，也就是滿足失真要求而再現(xiàn)信源消息所必須獲得的最少平均信息量。是信源特性的參量，一旦求到就與求極值過程中選擇的試驗(yàn)信道無關(guān)，不同的信源率失真函數(shù)不同。

7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)這兩個(gè)概念適用范圍是不一樣。研究信道容量C是為了解決在已知信道中盡可能多地傳送信息的問題，是為了充分利用已給定的信道，使傳輸?shù)男畔⒘孔畲蠖e(cuò)誤概率任意小，以提高通信的可靠性，這是信道編碼的問題。研究信息率失真函數(shù)是為了解決在已知信源和允許失真度條件下，使信源輸出的信息率盡可能小，也就是在允許一定失真度D的條件下，使信源必須傳送給信宿的信息量最少，盡可能用最少的碼符號(hào)來傳送信源信息，使信源的信息可以盡快地傳送出去，以提高通信的有效性，這是信源編碼問題。7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)例7.3：刪除信道，求1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)解：例：求1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)解：1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)例7.4設(shè)信源,，求1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)解：

1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)例：二元信源,計(jì)算。1.的定義域

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)解：

對(duì)于任意和有2.是關(guān)于D的下凸函數(shù)

第七章：限失真編碼信息率失真函數(shù)的性質(zhì)3.在定義域內(nèi)是嚴(yán)格遞減函數(shù)第七章：限失真編碼信息率失真函數(shù)的性質(zhì)二元信源的信息率失真函數(shù)例7.6信源輸出符號(hào)集為（0，1），失真函數(shù)定義為，求。7.3.1應(yīng)用參量表示式計(jì)算第七章：限失真編碼信息率失真函數(shù)的計(jì)算解：（1）由計(jì)算和。

（2）由計(jì)算和。（3）將求得的，和，代入得到平均失真度D(S)，并將S表示為D的函數(shù)。

7.3.1應(yīng)用參量表示式計(jì)算第七章：限失真編碼信息率失真函數(shù)的計(jì)算（4）將參量S代入得到率失真函數(shù)。

7.3.1應(yīng)用參量表示式計(jì)算第七章：限失真編碼信息率失真函數(shù)的計(jì)算7.3.1應(yīng)用參量表示式計(jì)算第七章：限失真編碼信息率失真函數(shù)的計(jì)算等概信源的信息率失真函數(shù)例7.7信源輸出符號(hào)集，等概分布，輸出符號(hào)集，失真函數(shù)定義為

求。7.3.1應(yīng)用參量表示式計(jì)算第七章：限失真編碼信息率失真函數(shù)的計(jì)算7.3.1應(yīng)用參量表示式計(jì)算第七章：限失真編碼信息率失真函數(shù)的計(jì)算例7.8設(shè)信源符號(hào)集。概率分布為，失真函數(shù)選為求當(dāng)允許的失真度為1/2時(shí)信源的率失真函數(shù)。7.3.1應(yīng)用參量表示式計(jì)算第七章：限失真編碼信息率失真函數(shù)的計(jì)算例7.9二元信源的信息率失真函數(shù)信源輸出符號(hào)集為（0，1），失真函數(shù)定義為漢明失真

，求。7.3.2二元信源和離散等概信源的

第七章：限失真編碼信息率失真函數(shù)的計(jì)算解：且滿足該最小失真的試驗(yàn)信道是一個(gè)無噪無損信道。

第七章：限失真編碼信息率失真函數(shù)的計(jì)算7.3.2二元信源和離散等概信源的

當(dāng)時(shí)，第七章：限失真編碼信息率失真函數(shù)的計(jì)算7.3.2二元信源和離散等概信源的

第七章：限失真編碼信息率失真函數(shù)的計(jì)算7.3.2二元信源和離散等概信源的

定理7.1設(shè)是離散無記憶信源的信息率失真函數(shù)。對(duì)于任意的允許失真度和任意小的正數(shù)，當(dāng)碼長(zhǎng)N足夠長(zhǎng)時(shí)，一定存在一種編碼其碼字個(gè)數(shù)

而編碼后的平均失真度。

7.4限失真信源編碼定理第七章：限失真編碼限失真信源編碼定理定理7.2否則，如果則編碼后的平均失