信息論與編碼基礎(chǔ)第2章離散信源及其信息測(cè)度

信息論與編碼基礎(chǔ)第二章離散信源及其信息測(cè)度第二章離散信源及其信息測(cè)度消息是信息的載荷者。對(duì)信息的研究，要從消息開(kāi)始。信源是產(chǎn)生消息或消息序列的源頭。我們并不關(guān)心信源的內(nèi)部結(jié)構(gòu)，不關(guān)心消息的產(chǎn)生原因和過(guò)程，而研究信源各種可能的輸出，以及輸出各種可能消息的不確定性。對(duì)收信者而言，在收到消息之前，對(duì)于信源發(fā)送什么消息是不可預(yù)知的、隨機(jī)的。因此可以用隨機(jī)變量和隨機(jī)過(guò)程來(lái)描述信源輸出的消息，或者說(shuō)用一個(gè)概率空間來(lái)描述信源。不同的信源輸出不同類型的消息。可以根據(jù)消息不同的隨機(jī)性質(zhì)來(lái)對(duì)信源進(jìn)行分類。第二章離散信源及其信息測(cè)度本章主要內(nèi)容信源的數(shù)學(xué)模型及分類離散信源的信息測(cè)度-信息熵信息熵的基本性質(zhì)離散無(wú)記憶的擴(kuò)展信源離散平穩(wěn)信源離散平穩(wěn)信源的極限熵信源的冗余度2.1信源的數(shù)學(xué)模型及分類單符號(hào)信源：只輸出單個(gè)符號(hào)（代碼）的消息的信源。離散單符號(hào)信源連續(xù)單符號(hào)信源平穩(wěn)隨機(jī)序列信源：信源輸出的消息由一系列符號(hào)序列所組成，可用N維隨機(jī)矢量

X＝(X1,X2,…,XN)描述，且隨機(jī)矢量X的各維概率分布都與時(shí)間起點(diǎn)無(wú)關(guān)，稱為平穩(wěn)隨機(jī)序列。離散平穩(wěn)信源連續(xù)平穩(wěn)信源無(wú)記憶（獨(dú)立）離散平穩(wěn)信源有記憶信源m階馬爾可夫信源隨機(jī)波形信源2.1信源的數(shù)學(xué)模型及分類1.離散單符號(hào)信源特點(diǎn)：輸出是單個(gè)符號(hào)（代碼）的消息，符號(hào)集的取值A(chǔ)={a1,a2,…,aq}是有限的或可數(shù)的，可用一維離散型隨機(jī)變量X來(lái)描述。例：“投硬幣”輸出正、反面的消息；“寫(xiě)信”輸出語(yǔ)言文字的字、詞、句；“打電報(bào)”輸出編碼符號(hào)等等。2.1信源的數(shù)學(xué)模型及分類數(shù)學(xué)模型：設(shè)每個(gè)信源符號(hào)ai

出現(xiàn)的（先驗(yàn)）概率p(ai)(i=1,2,…,q)滿足：則其概率空間為：概率空間能表征離散信源的統(tǒng)計(jì)特性，因此也稱概率空間為信源空間。2.1信源的數(shù)學(xué)模型及分類例：以搖骰子的骰筒為信源，骰子的點(diǎn)數(shù)只能是1~6的六個(gè)不同消息，他們構(gòu)成兩兩不相容的基本事件集合

A={a1,a2,a3,a4,a5,a6}

。每次試驗(yàn)輸出的消息只能是其中之一。假設(shè)骰子是均勻的，則 用一個(gè)離散型隨機(jī)變量X描述這個(gè)信源輸出的消息，則該信源的概率空間為：2.1信源的數(shù)學(xué)模型及分類2.連續(xù)單符號(hào)信源特點(diǎn)：輸出是單個(gè)符號(hào)（代碼）的消息，但其可能出現(xiàn)的消息數(shù)是不可數(shù)的無(wú)限多個(gè)。即輸出消息的符號(hào)集A的取值是連續(xù)的。同時(shí)這些數(shù)據(jù)的取值又是隨機(jī)的。此時(shí)可用一維的連續(xù)型隨機(jī)變量X來(lái)描述。例：語(yǔ)音信號(hào)；熱噪聲信號(hào)；遙控系統(tǒng)中有關(guān)電壓、溫度、壓力等測(cè)得的連續(xù)數(shù)據(jù)等等。2.1信源的數(shù)學(xué)模型及分類數(shù)學(xué)模型：連續(xù)信源的數(shù)學(xué)模型是連續(xù)的概率空間。即：或：或：并滿足： 其中R表示實(shí)數(shù)集，(a,b)是R的區(qū)間，p(x)是隨機(jī)變量X的概率密度函數(shù)。**復(fù)習(xí)隨機(jī)變量X的累積分布函數(shù)

(CumulativeDistributionFunction,CDF)

定義為： 描述了隨機(jī)變量的值

實(shí)數(shù)x的概率。注意到連續(xù)隨機(jī)變量的CDF是連續(xù)函數(shù)，離散隨機(jī)變量的CDF是階梯函數(shù)。 簡(jiǎn)寫(xiě)為：連續(xù)隨機(jī)變量X的概率密度函數(shù)(ProbabilityDensityFunction,PDF)

定義為PDF的性質(zhì)

(1) (2) (3) (4)數(shù)學(xué)期望：平穩(wěn)隨機(jī)過(guò)程：若對(duì)任意的

，X(t)的N維概率密度 則稱X(t)為N階平穩(wěn)隨機(jī)過(guò)程。**復(fù)習(xí)2.1信源的數(shù)學(xué)模型及分類3.平穩(wěn)隨機(jī)序列信源實(shí)際中很多信源輸出的消息由一系列符號(hào)序列構(gòu)成。例：對(duì)產(chǎn)生自然語(yǔ)言文字的信源，其樣本空間是語(yǔ)言的基本符號(hào)集合（字母+標(biāo)點(diǎn)），由若干基本符號(hào)構(gòu)成的序列才是有意義的消息。這些符號(hào)序列在時(shí)間上是離散的，其中每個(gè)符號(hào)的出現(xiàn)是不確定的、隨機(jī)的。例：對(duì)產(chǎn)生平面灰度圖象的信源，其樣本空間是灰度值集合，由一系列XY空間上的點(diǎn)的灰度構(gòu)成圖像消息。這些圖像消息在時(shí)間上是離散的，其中每個(gè)點(diǎn)的灰度值的確定是隨機(jī)的。2.1信源的數(shù)學(xué)模型及分類隨機(jī)序列：信源輸出的消息由一系列符號(hào)序列所組成時(shí)，可用N維隨機(jī)矢量

X＝(X1,X2,…,XN)來(lái)描述消息，其中Xi

(i＝1,2,…,N)是隨機(jī)變量，N可以是有限正整數(shù)或無(wú)窮大。N維隨機(jī)矢量

X也稱為隨機(jī)序列。信源輸出的隨機(jī)序列的統(tǒng)計(jì)特性比較復(fù)雜，分析困難，一般總是假設(shè)信源輸出的是平穩(wěn)的隨機(jī)序列，即序列的統(tǒng)計(jì)特性與時(shí)間的推移無(wú)關(guān)。大多數(shù)的實(shí)際信源符合平穩(wěn)性假設(shè)。離散平穩(wěn)信源：每個(gè)隨機(jī)變量Xi

(i＝1,2,…,N)都是離散型隨機(jī)變量，且隨機(jī)矢量X的各維概率分布都與時(shí)間起點(diǎn)無(wú)關(guān)。連續(xù)平穩(wěn)信源：每個(gè)隨機(jī)變量Xi

(i＝1,2,…,N)

都是取值連續(xù)的隨機(jī)變量。且隨機(jī)矢量X的各維概率密度函數(shù)都與時(shí)間起點(diǎn)無(wú)關(guān)。2.1信源的數(shù)學(xué)模型及分類4.離散無(wú)記憶平穩(wěn)信源考察離散平穩(wěn)信源的一種特例：信源發(fā)出的符號(hào)都相互統(tǒng)計(jì)獨(dú)立，即隨機(jī)矢量X的各隨機(jī)變量分量Xi

(i＝1,2,…,N)之間是無(wú)依賴的，統(tǒng)計(jì)獨(dú)立的。 由獨(dú)立性，聯(lián)合概率分布：

P(X)=P(X1,X2,…,XN)=P1(X1)·

P2(X2)··

·

PN(XN)

又由平穩(wěn)性：

P1(Xi)=P2

(Xi)=··

·=

PN

(Xi)

故：2.1信源的數(shù)學(xué)模型及分類設(shè)各隨機(jī)變量Xi

取自同樣符號(hào)集A={a1,a2,…,

aq}，則：這里是一個(gè)N

維隨機(jī)矢量取值，是符號(hào)集

A的一維概率分布。離散無(wú)記憶信源：若信源空間[X,P(x)] 描述的信源X的在不同時(shí)刻輸出的符號(hào)之間是無(wú)依賴的，彼此統(tǒng)計(jì)獨(dú)立，則稱X為離散無(wú)記憶信源。2.1信源的數(shù)學(xué)模型及分類離散無(wú)記憶信源X的N次擴(kuò)展信源：將上述離散無(wú)記憶信源所輸出的隨機(jī)矢量X所描述的信源稱為離散無(wú)記憶信源X的N次擴(kuò)展信源?？梢?jiàn)，離散無(wú)記憶信源的N次擴(kuò)展信源是由離散無(wú)記憶信源輸出N長(zhǎng)度的隨機(jī)序列構(gòu)成的信源。其數(shù)學(xué)模型是離散無(wú)記憶信源空間的N重空間： 式中， 且2.1信源的數(shù)學(xué)模型及分類5.有記憶信源很多時(shí)候信源輸出的消息序列中，在不同時(shí)刻發(fā)出的符號(hào)之間是相互依賴的，即信源輸出的隨機(jī)序列X中，各隨機(jī)變量Xi之間相互依賴。例：漢字組成的中文序列中，只有根據(jù)中文的語(yǔ)法、習(xí)慣用語(yǔ)、修辭制約和表達(dá)實(shí)際意義的制約所構(gòu)成的中文序列才是有意義的中文句子或文章。所以，在漢字序列中前后文字的出現(xiàn)是有依賴的，不能認(rèn)為是彼此不相關(guān)的。其他如英文，德文等自然語(yǔ)言都是如此。需在N維隨機(jī)矢量的聯(lián)合概率分布中，引入條件概率分布來(lái)說(shuō)明它們之間的關(guān)聯(lián)。2.1信源的數(shù)學(xué)模型及分類有記憶信源發(fā)出的符號(hào)往往只與之前的若干個(gè)符號(hào)存在強(qiáng)依賴關(guān)系，因此可以對(duì)隨機(jī)序列的記憶長(zhǎng)度加以限制。m階馬爾可夫信源：記憶長(zhǎng)度為m+1的有記憶信源稱為m階馬爾可夫信源。m階馬爾可夫信源每次發(fā)出的符號(hào)只與前m個(gè)符號(hào)有關(guān)。假設(shè)信源輸出的隨機(jī)序列為X=X1X2…Xi-1XiXi+1…XN，其中i時(shí)刻Xi取的符號(hào)xi只與之前的Xi-1Xi-2…Xi-m所取符號(hào)xi-1xi-2…xi-m有關(guān)。具有上述特性的輸出序列稱為馬爾可夫鏈。m階馬爾可夫鏈中各隨機(jī)變量之間的依賴關(guān)系的條件概率為：2.1信源的數(shù)學(xué)模型及分類若上述條件概率與時(shí)間起點(diǎn)

i無(wú)關(guān)，信源輸出的符號(hào)序列稱為時(shí)不變馬爾可夫鏈，此信源稱為時(shí)不變馬爾可夫信源。2.1信源的數(shù)學(xué)模型及分類7.隨機(jī)波形信源實(shí)際信源輸出的消息常常是時(shí)間和取值都是連續(xù)的。這類信源稱為隨機(jī)波形信源（或模擬信源）。例：語(yǔ)音信號(hào)X(t)、熱噪聲信號(hào)n(t)、電視圖像信號(hào)X(r(t),g(t),b(t))等時(shí)間連續(xù)的信號(hào)。常見(jiàn)的隨機(jī)波形信源輸出的消息是時(shí)間上或頻率上有限的隨機(jī)過(guò)程。根據(jù)抽樣定理，可以將隨機(jī)過(guò)程用一系列在時(shí)間（或頻率）域上離散的抽樣值來(lái)表示，而每個(gè)抽樣值都是連續(xù)型隨機(jī)變量。2.2離散信源的信息熵考察一種基本的離散信源：輸出為單個(gè)符號(hào)的消息，且這些消息間兩兩互不相容?；镜碾x散信源可用一維隨機(jī)變量X來(lái)描述信源的輸出，信源的數(shù)學(xué)模型可抽象為:問(wèn)題：如何量度這樣的信源輸出的每個(gè)消息所攜帶的信息量。2.2離散信源的信息熵信息的度量：信息的度量（信息量）和不確定性消除的程度有關(guān)，消除的不確定性相當(dāng)于獲得的信息量；不確定性就是隨機(jī)性，可以用概率論和隨機(jī)過(guò)程來(lái)測(cè)度，發(fā)生概率小則不確定性大。一些結(jié)論：發(fā)生概率小則信息量大，信息量是概率的單調(diào)遞減函數(shù)；信息量應(yīng)該具有可加性；關(guān)于事件ai

發(fā)生的信息量的計(jì)算公式為（香農(nóng)自信息量的度量）：2.2離散信源的信息熵1.自信息設(shè)離散信源X的概率空間為： 稱事件ai發(fā)生所含有的信息量為ai

的自信息量。定義為：2.2離散信源的信息熵I(ai)代表兩種含義：(1)當(dāng)事件ai

發(fā)生以前，表示事件ai

發(fā)生的不確定性；(2)當(dāng)事件ai

發(fā)生以后，表示事件ai

所提供的信息量。2.2離散信源的信息熵收信者獲得的信息量：

收信者收到某消息所獲得的信息量（即收到某消息后獲得的關(guān)于某基本事件發(fā)生的信息量）

=該事件不確定性減少的量

=收到此消息前關(guān)于該事件發(fā)生的不確定性

收到此消息后關(guān)于該事件發(fā)生的不確定性2.2離散信源的信息熵傳輸信道無(wú)噪聲時(shí)，收到消息后關(guān)于該事件發(fā)生的不確定性完全消除（收信者對(duì)“所收即所發(fā)”確信無(wú)疑）。此時(shí)， 收信者獲得的信息量

=收到此消息前關(guān)于該事件發(fā)生的不確定性

收到此消息后關(guān)于該事件發(fā)生的不確定性

=收到此消息前關(guān)于該事件發(fā)生的不確定性

0 =收到此消息前關(guān)于該事件發(fā)生的不確定性2.2離散信源的信息熵例：8個(gè)串聯(lián)的燈泡x1，x2，…，x8，其損壞（斷路）的可能性是等概率的，現(xiàn)假設(shè)其中有且只有一個(gè)燈泡已斷路。如圖所示進(jìn)行三次測(cè)量。2.2離散信源的信息熵 已知8個(gè)燈泡等概率損壞，所以第1次測(cè)量前，先驗(yàn)概率P1(x)=1/8

，此時(shí)存在的不確定性為I[P1(x)] 第1次測(cè)量后，需要判定的只剩下4個(gè)燈泡，由于等概率損壞，后驗(yàn)概率P2(x)=1/4，此時(shí)存在的不確定性為I[P2(x)] 因此第1次測(cè)量獲得的信息量（或不確定性減少的量）為：2.2離散信源的信息熵 同理，第2次測(cè)量前，先驗(yàn)概率

P2(x)=1/4

，此時(shí)存在的不確定性為I[P2(x)]=2bit。第2次測(cè)量后，需要判定的只剩下2個(gè)燈泡，由于等概率損壞，后驗(yàn)概率P3(x)=1/2，此時(shí)存在的不確定性為I[P3(x)] 因此第2次測(cè)量獲得的信息量為： 第3次測(cè)量后已經(jīng)確認(rèn)了損害的燈泡，不確定性=0，故第3次測(cè)量獲得的信息量為： 整個(gè)測(cè)量過(guò)程獲得的總信息量為3bit。2.2離散信源的信息熵自信息的推導(dǎo)：某事件發(fā)生所含有的信息量應(yīng)該是該事件發(fā)生的先驗(yàn)概率的函數(shù)。即：I(ai)=f[p(ai)]根據(jù)客觀事實(shí)和人們的習(xí)慣概念，函數(shù)f[p(ai)]應(yīng)滿足：它應(yīng)是先驗(yàn)概率p(ai)的單調(diào)遞減函數(shù)，即當(dāng)

p(a1)>p

(a2)

時(shí)，有f

[

p(a1)]

<f

[

p(a2)

]

；當(dāng)p

(ai)=1時(shí)，f

[

p

(ai)]=0

當(dāng)p

(ai)=0時(shí)，f

[

p

(ai)]=

兩個(gè)獨(dú)立事件的聯(lián)合信息量（或更一般的統(tǒng)計(jì)獨(dú)立信源的信息量）應(yīng)等于它們分別的信息量之和。 容易證明對(duì)數(shù)函數(shù)滿足上述要求。2.2離散信源的信息熵紅色函數(shù)底數(shù)是e,綠色函數(shù)底數(shù)是10，而紫色函數(shù)底數(shù)是1.7。所有底的對(duì)數(shù)函數(shù)都通過(guò)點(diǎn)(1,0)，底為b

的對(duì)數(shù)函數(shù)通過(guò)點(diǎn)(b,1)。曲線逼近y軸。對(duì)數(shù)函數(shù)曲線2.2離散信源的信息熵說(shuō)明：計(jì)算自信息量時(shí)要注意有關(guān)事件發(fā)生概率的計(jì)算；自信息量的單位取決于對(duì)數(shù)的底：底為2，單位為“比特（bit,binaryunit）”底為e，單位為“奈特（nat,natureunit）”底為10，單位為“哈特（hat,Hartley）”根據(jù)換底公式得：

logaX=(logbX)/(logba)

故1nat=1.44bit,1hat=3.32bit；一般計(jì)算都采用以“2”為底的對(duì)數(shù)，為了書(shū)寫(xiě)簡(jiǎn)潔，常把底數(shù)“2”略去不寫(xiě)2.2離散信源的信息熵2.信息熵同一個(gè)信源發(fā)出不同的消息所含有的信息量也不同。所以自信息I(ai)是一個(gè)隨機(jī)變量，不能用它來(lái)作為整個(gè)信源的信息測(cè)度。定義自信息的數(shù)學(xué)期望為平均自信息量Hr(X)，稱為信息熵：當(dāng)r=2時(shí)：2.2離散信源的信息熵由于這個(gè)表達(dá)式和統(tǒng)計(jì)物理學(xué)中熱熵的表達(dá)式相似，且在概念上也有相似之處，因此借用“熵”這個(gè)詞，把H(X)稱為信息“熵”；信息熵的單位由自信息量的單位決定，即取決于對(duì)數(shù)的底。H(X)的單位：r

進(jìn)制單位/每符號(hào)（r>1） 例如：bit/symbol（比特/每符號(hào)）2.2離散信源的信息熵例：有一布袋內(nèi)放l00個(gè)球，其中80個(gè)球是紅色的，20個(gè)球是白色的。游戲者蒙著眼睛隨便摸出一個(gè)球，由裁判員告知是什么顏色。假設(shè)裁判員是誠(chéng)實(shí)的。問(wèn)題的概率空間為： 如果游戲者被告知摸出的是紅球，那么他獲得的信息量是：

I(a1)=

logp(a1)=

log0.8=0.32

（比特） 如果游戲者被告知摸出的是白球，他所獲得的信息量應(yīng)為：

I(a2)=

logp(a2)=

log0.2

=2.32

（比特） 平均摸取一次所能獲得的信息量（信息熵）為：

H(X)=

p(a1)

I(a1)+p(a2)I(a2)

=0.72（比特/符號(hào)）a1摸出紅球事件a２摸出白球事件2.2離散信源的信息熵3.信息熵的含義熵是從整個(gè)集合的統(tǒng)計(jì)特性來(lái)考慮的，它從平均意義上來(lái)描述信源的總體特征。信源輸出前，信息熵H(X)表示信源的平均不確定性；信源輸出后，信息熵H(X)表示每個(gè)消息提供的平均信息量。信息熵H(X)表征了變量X的隨機(jī)性。例：有兩信源X、Y，其概率空間分別為 計(jì)算其熵，得：H(X)=0.08(bit/符號(hào))，H(Y)=1(bit/符號(hào))

因此信源Y比信源X的平均不確定性要大。2.2離散信源的信息熵例：設(shè)甲地的天氣預(yù)報(bào)為：晴(占4/8)、陰(占2/8)、大雨(占1/8)、小雨(占1/8)。又設(shè)乙地的天氣預(yù)報(bào)為：晴(占7/8)，小雨(占1/8)。試求兩地天氣預(yù)報(bào)各自提供的平均信息量。若甲地天氣預(yù)報(bào)為兩極端情況，一種是晴出現(xiàn)概率為1而其余為0，另一種是晴、陰、小雨、大雨出現(xiàn)的概率都相等為1/4。試求這兩極端情況所提供的平均信息量。又試求乙地出現(xiàn)這兩極端情況所提供的平均信息量。2.2離散信源的信息熵(1)解：甲、乙兩地的信源空間如上，它們提供的平均信息量即信源的信息熵分別為：(1)結(jié)論：甲地天氣預(yù)報(bào)提供的平均信息量大于乙地，因此甲地天氣消息的不確定性比乙地要大。2.2離散信源的信息熵(2)解：甲地極端情況A、極端情況B的信源空間如上，它們提供的平均信息量即信源的信息熵分別為：(2)結(jié)論：等概率分布時(shí)信源的不確定性最大，所以信息熵（平均信息量）最大。2.2離散信源的信息熵(3)解：乙地極端情況A、極端情況B的信源空間如上，它們提供的平均信息量即信源的信息熵分別為：(3)結(jié)論：在各自的極端情況B下，甲地比乙地提供更多的天氣預(yù)報(bào)信息量。2.3信息熵的基本性質(zhì)信息熵是信源概率空間的一種特殊矩函數(shù)。這個(gè)矩函數(shù)的大小，與信源的符號(hào)數(shù)及其概率分布有關(guān)。我們用概率矢量P來(lái)表示概率分布

P(x)：這樣，信息熵H(X)是概率矢量P或它的分量p1,p2,…,pq的(q-1)元函數(shù)（因各分量滿足上述條件限制，獨(dú)立變量只有q-1元）。一般H(X)可寫(xiě)成：2.3信息熵的基本性質(zhì)熵函數(shù)：H(P)是概率矢量P的函數(shù)，稱為熵函數(shù)。我們用下述表示方法：用H(X)表示以離散隨機(jī)變量X描述的信源的信息熵；用H(P)或H(p1,p2

,…,

pq

)表示概率矢量為

P=(p1,p2

,…,

pq

)的q個(gè)符號(hào)信源的信息熵。當(dāng)q=2時(shí)，因?yàn)閜1+p2

=1，兩個(gè)符號(hào)的熵函數(shù)H(P)是一元函數(shù)，可以寫(xiě)成H(p1)或H(p2)。熵函數(shù)H(P)是一種特殊函數(shù)，具有以下基本性質(zhì)。2.3信息熵的基本性質(zhì)1.對(duì)稱性：H(P)的取值與分量p1,

p2,

···

,

pq的順序無(wú)關(guān)。從數(shù)學(xué)角度：H(P)=(pi·logpi)

中的和式滿足交換率；從隨機(jī)變量的角度：熵只與隨機(jī)變量的總體統(tǒng)計(jì)特性有關(guān)。2.確定性：H(1,0)=H(1,0,0)=H(1,0,0,…,0)=0從總體來(lái)看，信源雖然有不同的輸出符號(hào)，但它只有一個(gè)符號(hào)幾乎必然出現(xiàn)，而其它符號(hào)則是幾乎不可能出現(xiàn)，那么，這個(gè)信源是一個(gè)確知信源，其熵等于零。

2.3信息熵的基本性質(zhì)3.非負(fù)性：H(P)0隨機(jī)變量X的概率分布滿足0<pi<1，當(dāng)取對(duì)數(shù)的底大于1時(shí)，log(pi)<0，-pilog(pi

)>0，即得到的熵為正值。只有當(dāng)隨機(jī)變量是一確知量時(shí)熵才等于零。這種非負(fù)性合適于離散信源的熵，對(duì)連續(xù)信源來(lái)說(shuō)需要另外討論。以后可看到在相對(duì)熵的概念下，可能出現(xiàn)負(fù)值。2.3信息熵的基本性質(zhì)4.擴(kuò)展性：信源的取值數(shù)增多時(shí)，若這些取值對(duì)應(yīng)的概率很小(接近于零)，則信源的熵不變。因?yàn)椋?.3信息熵的基本性質(zhì)5.可加性：統(tǒng)計(jì)獨(dú)立的兩個(gè)信源X和Y的聯(lián)合信源的熵等于信源X和Y各自的熵之和。即：H(XY)=H(X)+H(Y)

或者：可加性是熵函數(shù)的一個(gè)重要特性，正因具有可加性，才使熵函數(shù)的形式是唯一的。 其中：2.3信息熵的基本性質(zhì)證明：2.3信息熵的基本性質(zhì)6.強(qiáng)可加性：兩個(gè)互相關(guān)聯(lián)的信源X和Y的聯(lián)合信源的熵等于信源X的熵加上在X已知條件下信源Y的條件熵。即：

H(XY)=H(X)+H(Y|X)H(Y|X)表示在信源

X輸出一符號(hào)的條件下，信源Y再輸出一符號(hào)所能提供的平均信息量，稱為條件熵。定義為：2.3信息熵的基本性質(zhì)證明：2.3信息熵的基本性質(zhì)7.遞增性：若原信源

X

中有一個(gè)符號(hào)分割成了m個(gè)元素(符號(hào))，這m個(gè)元素的概率之和等于原元素的概率，而其他符號(hào)的概率不變，則新信源的熵增加。熵的增加量等于由分割而產(chǎn)生的不確定性的量。它表示n個(gè)元素的信源熵可以遞推成(n-1)個(gè)二元信源的熵函數(shù)的加權(quán)和。這樣，可使多元信源的熵函數(shù)的計(jì)算簡(jiǎn)化成計(jì)算若干個(gè)二元信源的熵函數(shù)。因此，熵函數(shù)的遞增性又可稱為遞推性。2.3信息熵的基本性質(zhì)例：運(yùn)用熵函數(shù)的遞增性，計(jì)算熵函數(shù)H(1/3,1/3,1/6,1/6)的值。

解：2.3信息熵的基本性質(zhì)8.極值性：在離散信源情況下，信源各符號(hào)等概率分布時(shí)，熵值達(dá)到最大。即：極值性表明，等概率分布信源的平均不確定性為最大。這是一個(gè)很重要的結(jié)論，稱為最大離散熵定理。證明：對(duì)數(shù)函數(shù)是∩型凸函數(shù)，滿足詹森不等式

E[log

Y]

logE[Y]，即有： 顯然在等概率分布時(shí)，pi=1/q，上述H值將達(dá)到最大logq。2.3信息熵的基本性質(zhì)9.上凸性：熵函數(shù)H(P)是概率矢量P=(p1,p2,…,pq)的嚴(yán)格∩型凸函數(shù)(或稱上凸函數(shù))。它表示：對(duì)任意概率矢量P1=(p1,p2,…,pq)和P2=(p’1,p’2,…,p’q)，和任意的0<

<1，有：

H[

P1+(1

)P2]>

H(P1)+(1

)H(P2)因?yàn)殪睾瘮?shù)具有上凸性，所以熵函數(shù)存在最大值。2.4離散無(wú)記憶的擴(kuò)展信源的信息熵離散信源的分類：?jiǎn)畏?hào)離散信源離散序列信源離散無(wú)記憶信源一般無(wú)記憶信源平穩(wěn)無(wú)記憶信源離散有記憶信源平穩(wěn)序列信源馬爾可夫信源2.4離散無(wú)記憶的擴(kuò)展信源的信息熵當(dāng)離散平穩(wěn)無(wú)記憶信源發(fā)出固定長(zhǎng)度的消息序列時(shí)，則得到原信源的擴(kuò)展信源。例如在電報(bào)系統(tǒng)中，若信源輸出的是2個(gè)二元數(shù)字組成的符號(hào)序列，此時(shí)可認(rèn)為它等效于一個(gè)新的信源，新信源由4個(gè)基本符號(hào)（00，01，10，11）組成，我們把該信源稱為二元無(wú)記憶信源的二次擴(kuò)展信源。同理，若信源輸出的是3個(gè)二元數(shù)字組成的符號(hào)序列，它的等效信源由23=8個(gè)基本符號(hào)組成，稱為二元無(wú)記憶信源的三次擴(kuò)展信源。如果把N個(gè)二元數(shù)字組成一組，則信源等效成一個(gè)具有2N個(gè)符號(hào)的新信源，把它稱為二元無(wú)記憶信源的N次擴(kuò)展信源。2.4離散無(wú)記憶的擴(kuò)展信源的信息熵一般情況下，一個(gè)樣本空間為{a1,a2,…,aq}的離散無(wú)記憶信源X，對(duì)它的輸出消息序列，可用一組長(zhǎng)度為N的序列來(lái)表示它。這時(shí)，它等效成一個(gè)新信源。新信源輸出的符號(hào)是N

長(zhǎng)度的消息序列，用N

維離散隨機(jī)矢量X=(X1,X2,……,XN)描述，其中每個(gè)分量Xi(i＝1,2,…,N)都是隨機(jī)變量，它們都取值于同一信源符號(hào)集，并且分量之間統(tǒng)計(jì)獨(dú)立，則由隨機(jī)矢量X組成的新信源稱為離散無(wú)記憶信源X的N

次擴(kuò)展信源。一般標(biāo)記為XN。2.4離散無(wú)記憶的擴(kuò)展信源的信息熵N

次擴(kuò)展信源與單符號(hào)離散信源比較：數(shù)學(xué)模型相同但輸出不是單個(gè)符號(hào)，而是一串N

個(gè)相互獨(dú)立的符號(hào)序列：

X＝(X1,X2,…,XN)，聯(lián)合分布密度P(X)=P(X1X2…XN)信源X的N

次擴(kuò)展信源XN是具有qN個(gè)符號(hào)的離散信源，其概率空間為設(shè)單符號(hào)離散信源X的概率空間為2.4離散無(wú)記憶的擴(kuò)展信源的信息熵因?yàn)槭菬o(wú)記憶的（彼此統(tǒng)計(jì)獨(dú)立），則：由上述討論可見(jiàn)，離散無(wú)記憶信源X的N次擴(kuò)展信源XN

的概率空間[XN,P(

i)]也是完備的。2.4離散無(wú)記憶的擴(kuò)展信源的信息熵離散無(wú)記憶信源X的N次擴(kuò)展信源X=XN

的熵：證明： 其中 故2.4離散無(wú)記憶的擴(kuò)展信源的信息熵例：求如下離散無(wú)記憶信源X的二次擴(kuò)展信源及其熵。解：二次擴(kuò)展信源的概率空間為X2的信源符號(hào)

1

2

3

4

5

6

7

8

9對(duì)應(yīng)的符號(hào)序列a1a1a1

a2a1a3a2a1a2a2a2a3a3a1a3a2a3a3概率P(

i)1/41/81/81/81/161/161/81/161/162.5離散平穩(wěn)信源1.離散平穩(wěn)信源的數(shù)學(xué)定義在一般情況下，離散信源的輸出是時(shí)間或空間的離散符號(hào)序列，而且在序列中符號(hào)之間有依賴關(guān)系。用隨機(jī)矢量X

描述信源發(fā)出的消息：X=(…,X1,X2,….,Xi,…)。隨機(jī)變量Xi表示信源在t=i

時(shí)刻所發(fā)出的符號(hào)。該符號(hào)取決于兩方面：信源在t=i

時(shí)刻隨機(jī)變量Xi

取值的概率分布P(xi)。一般地P(xi)

P(xj)；與t=i時(shí)刻以前信源發(fā)出的符號(hào)有關(guān)，即與條件概率

P(xi

/xi-1xi-2…)有關(guān)。一般地P(xi

/xi-1xi-2…)

P(xj

/xj-1xj-2…)對(duì)平穩(wěn)隨機(jī)序列，序列的統(tǒng)計(jì)性質(zhì)與時(shí)間的推移無(wú)關(guān)，即信源發(fā)出符號(hào)序列的概率分布與時(shí)間起點(diǎn)無(wú)關(guān)。2.5離散平穩(wěn)信源若當(dāng)t=i,t=j時(shí)(i,j

是大于1的任意整數(shù))P(xi)=P(xj)=P(x)，則序列是一維平穩(wěn)的。等號(hào)表示在兩個(gè)不同時(shí)刻，信源發(fā)出符號(hào)的概率分布完全相同： 具有上述性質(zhì)的信源稱為一維離散平穩(wěn)信源。一維離散平穩(wěn)信源無(wú)論在什么時(shí)刻P(x)均按照相同的概率分布發(fā)出符號(hào)。2.5離散平穩(wěn)信源除上述條件外，如果聯(lián)合概率分布P(xi

xi+1)也與時(shí)間起點(diǎn)無(wú)關(guān)，即P(xi

xi+1)=P(xj

xj+1)(i,j為任意整數(shù)且i

j)，則信源稱為二維平穩(wěn)信源。它表示任何時(shí)刻信源連續(xù)發(fā)出兩個(gè)符號(hào)的聯(lián)合概率分布也完全相等。如果各維聯(lián)合概率分布均與時(shí)間起點(diǎn)無(wú)關(guān)，即對(duì)i

j，有 則信源是完全平穩(wěn)的。這種各維聯(lián)合概率分布均與時(shí)間起點(diǎn)無(wú)關(guān)的完全平穩(wěn)信源稱為離散平穩(wěn)信源。2.5離散平穩(wěn)信源由于聯(lián)合概率與條件概率有以下關(guān)系： 結(jié)合平穩(wěn)性得：2.5離散平穩(wěn)信源結(jié)論：對(duì)于平穩(wěn)信源來(lái)說(shuō)，其條件概率均與時(shí)間起點(diǎn)無(wú)關(guān)，只與關(guān)聯(lián)長(zhǎng)度N有關(guān)。即平穩(wěn)信源發(fā)出的平穩(wěn)隨機(jī)序列前后的依賴關(guān)系與時(shí)間起點(diǎn)無(wú)關(guān)。對(duì)平穩(wěn)信源，如果某時(shí)刻發(fā)出什么符號(hào)只與前面發(fā)出的N

個(gè)符號(hào)有關(guān)，那么任何時(shí)刻它們的依賴關(guān)系都是一樣的。即：2.5離散平穩(wěn)信源2.離散二維平穩(wěn)信源及其信息熵最簡(jiǎn)單的離散平穩(wěn)信源就是離散二維平穩(wěn)信源。由上述定義，它輸出的隨機(jī)序列…,X1,X2,…,Xi,…其一維和二維概率分布與時(shí)間起點(diǎn)無(wú)關(guān)，而且只有兩相鄰符號(hào)之間存在著依賴關(guān)系。因此，只需要給出隨機(jī)序列的其一維和二維概率分布，就能很好地從數(shù)學(xué)上描述離散二維平穩(wěn)信源。設(shè)有一個(gè)離散二維平穩(wěn)信源，其概率空間為： 同時(shí)已知：連續(xù)兩個(gè)信源符號(hào)出現(xiàn)的聯(lián)合概率分布為P(ai

aj)(i,j=1,…,q)，且：2.5離散平穩(wěn)信源根據(jù)概率關(guān)系可求得已知符號(hào)

ai

出現(xiàn)后，緊跟著符號(hào)aj

出現(xiàn)的條件概率：2.5離散平穩(wěn)信源(1)聯(lián)合熵

由于只有兩個(gè)符號(hào)有關(guān)聯(lián)，且其關(guān)聯(lián)與時(shí)間無(wú)關(guān)，則我們可把這個(gè)信源輸出的隨機(jī)序列分成每二個(gè)符號(hào)一組(因?yàn)橄噜彽膬蓚€(gè)符號(hào)才有關(guān)聯(lián))，每組構(gòu)成新信源X=X1X2的一個(gè)符號(hào)，并假設(shè)組與組之間統(tǒng)計(jì)無(wú)關(guān)（實(shí)際上，組尾的符號(hào)與下一組組頭的符號(hào)是有關(guān)的）。這樣獲得了一個(gè)等效的新的離散無(wú)記憶信源X1X2，它們的聯(lián)合概率空間為：2.5離散平穩(wěn)信源根據(jù)信息熵的定義，得： 稱H(X1X2)為X1X2

的聯(lián)合熵。H(X1X2)表示原來(lái)信源X輸出任意一對(duì)消息的共熵，即描述信源X輸出長(zhǎng)度為2的序列的平均不確定性（或所含有的信息量）。因此可考慮用H(X1X2)/2作為二維平穩(wěn)信源X的信息熵的近似值。2.5離散平穩(wěn)信源(2)條件熵由于信源X發(fā)出的符號(hào)序列中前后兩個(gè)符號(hào)之間有依賴性，可以先求出在已知前面一個(gè)符號(hào)Xl=ai

時(shí)，信源輸出下一個(gè)符號(hào)的平均不確定性：而前面一個(gè)符號(hào)Xl又可取ai{a1,a2,…,aq}中的任一個(gè)，對(duì)某一個(gè)ai

存在一個(gè)平均不確定性H(X2|Xl=ai)，那么對(duì)所有ai

的可能值進(jìn)行統(tǒng)計(jì)平均就得當(dāng)前面一個(gè)符號(hào)巳知時(shí)，再輸出下一個(gè)符號(hào)的總的平均不確定性

H(X2|Xl)。2.5離散平穩(wěn)信源因此當(dāng)前面一個(gè)符號(hào)巳知時(shí)，再輸出下一個(gè)符號(hào)的總的平均不確定性H(X2|Xl)可寫(xiě)為： 稱此值為條件熵。2.5離散平穩(wěn)信源(3)聯(lián)合熵與條件熵的關(guān)系式 即：H(X1X2)=H(X1)+H(X2|X1)（實(shí)際上就是強(qiáng)可加性）2.5離散平穩(wěn)信源討論： 利用詹森不等式可以證明條件熵與無(wú)條件熵的關(guān)系（證略）

H(X2|X1)

H(X2)

因此 H(X1X2)=H(X1)+H(X2|X1)

H(X1)+H(X2) =2H(X)式中只有當(dāng)前后兩個(gè)符號(hào)統(tǒng)計(jì)獨(dú)立時(shí)等式成立。此時(shí)新信源X1X2就是無(wú)記憶的二次擴(kuò)展信源，所以新信源的熵等于原信源的熵的2倍。一般情況下，輸出符號(hào)之間是有依賴的，輸出兩個(gè)符號(hào)的聯(lián)合熵總是小于二倍信源的熵。2.5離散平穩(wěn)信源例：某一離散二維平穩(wěn)信源 其發(fā)出的符號(hào)只與前一個(gè)符號(hào)有關(guān)，用聯(lián)合概率P(ai

aj)給出它們的關(guān)聯(lián)程度，如下表所示：ajai01201/41/18011/181/31/18201/187/36聯(lián)合概率

P(ai

aj)2.5離散平穩(wěn)信源 將標(biāo)中各列相加，得ajai01209/111/8012/113/42/9201/87/9 計(jì)算條件概率得下表：條件概率P(ai|aj)2.5離散平穩(wěn)信源

(1)當(dāng)認(rèn)為信源符號(hào)之間無(wú)依賴性時(shí)，信源X

的信息熵為：

(2) 考慮信源符號(hào)之間的依賴性時(shí)，信源X

的條件熵為：

(3) 聯(lián)合熵為：2.5離散平穩(wěn)信源 驗(yàn)證1： 驗(yàn)證2： 條件熵比信源無(wú)依賴時(shí)的熵減少了0.672。聯(lián)合熵H(X1X2)表示了平均每?jī)蓚€(gè)信源符號(hào)所攜帶的信息量。在組與組之間統(tǒng)計(jì)獨(dú)立的假設(shè)下，用H(X1X2)/2作為二維平穩(wěn)信源X的信息熵的近似值時(shí)，平均每一個(gè)信源符號(hào)攜帶的信息量近似為：或者考慮采用條件熵H(X2/X1)=0.870作為二維平穩(wěn)信源X的信息熵的近似值，因?yàn)闂l件熵正好描述了前后兩個(gè)符號(hào)有依賴關(guān)系時(shí)的不確定性的大小。2.6離散平穩(wěn)信源的極限熵對(duì)于一般平穩(wěn)有記憶信源，設(shè)其概率空間為： 發(fā)出的符號(hào)序列為(X1,X2,…,XN,…)，假設(shè)信源符號(hào)之間的依賴長(zhǎng)度為N，且各維概率分布為：記為2.6離散平穩(wěn)信源的極限熵滿足： 已知聯(lián)合概率分布可求得離散平穩(wěn)信源的一系列聯(lián)合熵：2.6離散平穩(wěn)信源的極限熵定義N長(zhǎng)的信源符號(hào)序列中平均每個(gè)信源符號(hào)所攜帶的信息量，或平均符號(hào)熵，為： 另一方面，信源符號(hào)之間的依賴關(guān)系長(zhǎng)度為N，已知前面N-1個(gè)符號(hào)，后面出現(xiàn)一個(gè)符號(hào)的平均不確定性，或平均信息量，可從一系列條件熵得出：2.6離散平穩(wěn)信源的極限熵對(duì)離散平穩(wěn)信源X，當(dāng)H1(X)<

時(shí)，有以下性質(zhì)（證略）：(1)條件熵H(XN/X1X2…XN-1)隨N的增加是遞減的；(2)HN(X)

H(XN/X1X2…XN-1)；(3)HN(X)也是隨N增加而遞減的；(4)H

存在，并且：性質(zhì)(1)表明，信源輸出序列中符號(hào)的依賴關(guān)系越長(zhǎng)，則在前面發(fā)生若干符號(hào)后，其后發(fā)生的符號(hào)的平均不確定性就越弱。即條件較多的熵必不大于條件較少的熵。性質(zhì)(4)表明，當(dāng)依賴關(guān)系趨于無(wú)窮時(shí)，平均符號(hào)熵和條件熵都非遞增地一致趨于平穩(wěn)信源的信息熵（極限熵）。2.6離散平穩(wěn)信源的極限熵平均符號(hào)熵和條件熵都可以用來(lái)描述平穩(wěn)信源。對(duì)于一般的離散平穩(wěn)信源，求H

相當(dāng)困難。但當(dāng)N不很大時(shí)能得出非常接近

H

的

HN(X)或者

H(XN/X1X2…XN-1)。因此，可用平均符號(hào)熵或條件熵來(lái)近似描述平穩(wěn)信源。當(dāng)平穩(wěn)信源的記憶長(zhǎng)度有限(設(shè)為m)時(shí)，得離散平穩(wěn)信源的極限熵： 等于有限記憶長(zhǎng)度為m的條件熵。即可以用有限記憶長(zhǎng)度的條件熵對(duì)有限記憶長(zhǎng)度的離散平穩(wěn)信源進(jìn)行信息測(cè)度。2.6離散平穩(wěn)信源的極限熵通信系統(tǒng)中熵的意義H(X)：表示信源中每個(gè)符號(hào)的平均信息量（信源熵）。H(Y)：表示信宿中每個(gè)符號(hào)的平均信息量（信宿熵）。H(X/Y)：表示在輸出端接收到Y(jié)的全部符號(hào)后，發(fā)送端X尚存的平均不確定性。這個(gè)對(duì)X尚存的不確定性是由于干擾引起的。信道疑義度(損失熵，含糊度)H(Y/X)：表示在已知X的全部符號(hào)后，對(duì)于輸出Y尚存的平均不確定性。信道散布度(噪聲熵)H(XY)：表示整個(gè)信息傳輸系統(tǒng)的平均不確定性（聯(lián)合熵）。2.6離散平穩(wěn)信源的極限熵例：有兩個(gè)同時(shí)輸出的信源X和Y，其中X的信源符號(hào)為{A,B,C}，Y的信源符號(hào)為{D,E,F,G}，已知P(X)和P(Y/X)如下表所述，求聯(lián)合信源的聯(lián)合熵和條件熵。XABCP(x)1/21/31/6P(y/x)XABCYD1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/62.6離散平穩(wěn)信源的極限熵解：信源X的熵為： 信源XY輸出每一對(duì)消息的聯(lián)合概率P(XY)=P(Y/X)P(X)，結(jié)果如下表：P(xy)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/362.6離散平穩(wěn)信源的極限熵 聯(lián)合信源的聯(lián)合熵： 信源Y的條件熵：(信道散布度/噪聲熵) 或：

H(Y/X)=H(XY)

H(X)=3.417

1.461=1.956(bit/每對(duì)符號(hào))2.6離散平穩(wěn)信源的極限熵 信源Y的熵：由全概率公式有 因此：2.6離散平穩(wěn)信源的極限熵 當(dāng)信源X和Y統(tǒng)計(jì)獨(dú)立時(shí)，聯(lián)合熵獲得最大值： 由于信源相關(guān)而減少的聯(lián)合熵的量為：2.7信源的冗余度1.信源的冗余度對(duì)具有q個(gè)符號(hào)的離散信源，信源符號(hào)等概率分布時(shí)熵最大，此時(shí)將其平均自信息量記為：H0=logq由于信源符號(hào)間的依賴關(guān)系使信源的熵減小，使下式成立：可見(jiàn)，信源符號(hào)之間依賴關(guān)系越強(qiáng)，或相關(guān)程度越高，則每個(gè)符號(hào)所提供的平均信息量就越小。因此需要引入信源的冗余度

(或稱為多余度/剩余度)來(lái)衡量信源的相關(guān)程度。2.7信源的冗余度熵的相對(duì)率：一個(gè)信源實(shí)際的信息熵與具