《信息論與編碼》課件1第2章

第2章離散無(wú)記憶信源與信息熵

2.1離散無(wú)記憶信源2.2自信息和熵2.3熵函數(shù)的性質(zhì)2.4聯(lián)合事件的熵及其關(guān)系2.5連續(xù)信源的信息測(cè)度習(xí)題2

信息理論的研究對(duì)象是以各類信息的獲取、表示、傳輸和處理為目的的信息系統(tǒng)。圖2-1給出了一個(gè)典型的通信系統(tǒng)物理模型。在這樣的通信系統(tǒng)中，一個(gè)貫穿始終的、最基本的問(wèn)題便是信息，即信源輸出的是信息，在系統(tǒng)中傳輸?shù)氖切畔?，接收者獲得的也是信息。可見(jiàn)，在信息理論的學(xué)習(xí)和研究中，首先需要對(duì)信息給出一個(gè)明確的、可以度量的工程概念。本章我們從離散無(wú)記憶信源的統(tǒng)計(jì)特性入手，給出信息理論中的基本概念——信息熵，討論信源信息熵的基本性質(zhì)。圖2-1通信系統(tǒng)物理模型2.1離散無(wú)記憶信源

1.信源的概念信源是信息的來(lái)源，以輸出符號(hào)（消息）的形式輸出信息（見(jiàn)圖2-2）。由于我們關(guān)心的是信源輸出的信息，因此信源研究的主要對(duì)象是載荷信息的消息，而對(duì)信源內(nèi)部的結(jié)構(gòu)和輸出消息的機(jī)理一般不需要作深入了解。此處我們從最簡(jiǎn)單的信源入手，討論信源的描述和主要類型，建立離散無(wú)記憶信源的數(shù)學(xué)模型。圖2-2信源模型由于信源輸出的消息載荷著信息，因此這種消息所具有的一個(gè)基本的屬性便是隨機(jī)性。正如緒論中所述，通信過(guò)程中收信者在收到消息之前，對(duì)信源發(fā)出的消息是不確定的。例如，擲一個(gè)均勻的骰子。雖然我們知道骰子上的數(shù)字只能有1、2、3、4、5、6，即投擲骰子所得到的消息的集合中只有這六種消息，但是骰子穩(wěn)定之前我們并不知道骰子將呈現(xiàn)出哪一種消息。因此，對(duì)于信源輸出的這種隨機(jī)出現(xiàn)的消息，需要用隨機(jī)變量加以表示。如果我們已知信源的消息集合（即樣本空間或值域）和消息發(fā)生的概率分布，那么便可以使用由樣本空間和它的概率分布所構(gòu)成的概率空間來(lái)描述信源。設(shè)信源輸出的消息X為隨機(jī)變量，其樣本空間（值域）為R。若在此值域上隨機(jī)變量X的概率分布為P，則此信源可以表示為［R,P］或［X,P］，并將這種表示稱為信源的概率空間。因此，信源可以用概率空間作為其數(shù)學(xué)模型。

2.離散無(wú)記憶信源的概念在本課程的教學(xué)中我們主要涉及數(shù)字信息系統(tǒng)中的信息傳遞。在這種數(shù)字信息系統(tǒng)中，信源輸出消息是一個(gè)離散隨機(jī)變量或由離散隨機(jī)變量構(gòu)成的隨機(jī)變量序列。本教材中我們主要以離散信源作為研究對(duì)象，討論離散信源的信息概念與度量，以及離散信息系統(tǒng)中信息傳遞的特點(diǎn)與定量關(guān)系。這種考慮與目前以計(jì)算機(jī)和信息處理技術(shù)為手段的電子信息系統(tǒng)和通信系統(tǒng)的應(yīng)用是相一致的。為了便于學(xué)習(xí)和理解信息理論中的基本概念和基本關(guān)系，我們首先從最簡(jiǎn)單的離散信源，即離散無(wú)記憶信源入手展開(kāi)討論。離散無(wú)記憶信源是最簡(jiǎn)單的離散信源，其主要特點(diǎn)是離散和無(wú)記憶。離散：信源可能輸出的消息的種類是有限的或者是可數(shù)的。消息的樣本空間R是一個(gè)離散集合。由于信源的每一次輸出都是按照消息發(fā)生的概率輸出R中的一種消息，因此信源輸出的消息可以用離散隨機(jī)變量X表示。無(wú)記憶：不同的信源輸出消息之間相互獨(dú)立。對(duì)于離散無(wú)記憶信源，如果已知信源輸出消息的取值集合：

R=［a1,a2,…,an］

和每一消息發(fā)生的概率：

P(a1)=p1,P(a2)=p2,…,P(an)=pn則該離散無(wú)記憶信源的概率空間為

其中,每一消息發(fā)生的概率滿足：(2.1)(2.2)在上面給出的投擲骰子輸出消息的隨機(jī)試驗(yàn)中，每次試驗(yàn)的結(jié)果必然是1、2、3、4、5、6六種不同消息中的一個(gè)，并且每一次試驗(yàn)中出現(xiàn)哪一種消息是隨機(jī)的，但是必定出現(xiàn)其中某一種消息，并且兩次不同投擲所出現(xiàn)的消息之間沒(méi)有關(guān)聯(lián)。如果這顆骰子是均勻的，則由大量的試驗(yàn)可以知道，這個(gè)信源的六種消息發(fā)生的概率均等，即分別為1/6。因此，這樣的信源是一個(gè)離散無(wú)記憶信源，其概率空間為2.2自信息和熵在狹義的通信系統(tǒng)的討論中，我們把信源看做一個(gè)輸出消息和消息序列的設(shè)備。2.1節(jié)我們根據(jù)信源輸出消息所具有的隨機(jī)性關(guān)系，從信源的外部特性給出了信源的描述方法，即信源的概率空間。然而，信源的基本功能和作用是輸出信息，從本質(zhì)上講，信源是一個(gè)產(chǎn)生并輸出信息的設(shè)備，消息僅僅是信源所輸出的信息的載體。因此，對(duì)于信源我們更感興趣的是它輸出的消息中含有多少信息，它輸出信息的能力有多大。因此，只有透過(guò)信源的外部表現(xiàn)——消息及消息的概率空間，研究信源的信息特性，我們才能掌握信源的本質(zhì)，并在信息的輸出、傳輸和接收過(guò)程中對(duì)信息給出定量的理論分析。下面我們將從信息的基本屬性出發(fā)，分析和度量信源的信息特性。首先，我們以離散無(wú)記憶信源為對(duì)象，引出自信息和熵的定義與度量，并對(duì)信息理論中最重要的基本概念——熵的物理含義和數(shù)學(xué)性質(zhì)進(jìn)行深入分析。2.2.1自信息觀察一個(gè)由n種符號(hào)構(gòu)成的離散無(wú)記憶信源：由于信源按照符號(hào)發(fā)生的概率隨機(jī)地輸出消息，因此在信源輸出消息之前，我們不能夠確定信源將要輸出的是哪一個(gè)消息，即收信者對(duì)信源的輸出具有不確定性。只有當(dāng)信源輸出某一消息且這個(gè)消息在無(wú)干擾通信系統(tǒng)中傳輸并被收信者收到后，收信者才能消除這種不確定性。由香農(nóng)關(guān)于信息的定義可知，這種能夠消除不確定性的東西就是信息。由此還可進(jìn)一步看出，如果某一消息發(fā)生的不確定性大，則一旦它發(fā)生并被接收到，收信者消除的不確定性就大，從該消息獲得的信息量也就多。因此，信源輸出消息所載荷的信息量的大小與該消息發(fā)生的不確定性的大小相聯(lián)系。由于信源輸出的消息ai依據(jù)概率P（ai）發(fā)生，因此ai是否發(fā)生的不確定性便與其發(fā)生的概率P(ai)有關(guān)。可以看出，消息ai發(fā)生所含有的信息量I(ai)應(yīng)當(dāng)是ai發(fā)生的先驗(yàn)概率P(ai)=pi的函數(shù),即

I(ai)=f［P(ai)］=f［pi］(2.3)由于這種函數(shù)關(guān)系反映的是信源輸出某種消息時(shí)該消息所載荷的信息量，因此稱I(ai)為信源輸出消息ai，消息ai所載荷的自信息。顯然，函數(shù)f［P(ai)］應(yīng)當(dāng)滿足下面四個(gè)條件。（1）f［P(ai)］是P(ai)的單調(diào)函數(shù)。消息發(fā)生的信息量是消息發(fā)生不確定性的度量。如果消息發(fā)生的概率小，則我們對(duì)該消息是否會(huì)發(fā)生的不確定性就大（難以猜測(cè)），該消息一旦發(fā)生，它所含有的信息量也就大;反之，若消息發(fā)生的概率大，則猜測(cè)它發(fā)生的可能性就大而不確定性小。因此，作為度量消息不確定性的函數(shù)，I(ai)應(yīng)當(dāng)是P(ai)的單調(diào)減函數(shù)。這一要求與日常生活中的情況也是相符合的。例如新聞發(fā)布兩種消息，A：某地區(qū)下了暴雨;B：某地區(qū)下了百年不遇的特大暴雨。顯然，人們對(duì)A、B兩種消息的關(guān)注或震驚程度有很大差異。由于消息B發(fā)生的可能性很小，因此它的發(fā)生使人們得到的信息量要比消息A的信息量大得多。

(2)當(dāng)P(ai)=1時(shí)，f［P(ai)］=0。對(duì)于發(fā)生概率為1的必然事件，在其發(fā)生前已可確知，不存在不確定性。因此,發(fā)生概率為1的必然事件所含有的信息量也就為0。

(3)當(dāng)P(ai)→0時(shí)，

f［P(ai)］→∞。對(duì)于幾乎不可能發(fā)生的事件，一旦它意外地發(fā)生了，就會(huì)帶來(lái)極大的信息量。

(4)信息的度量應(yīng)當(dāng)具有可加性。在收到信源發(fā)出的數(shù)個(gè)相互獨(dú)立的消息時(shí)，收信者所獲得的信息量應(yīng)為各消息所含有的信息量之和。依據(jù)信息度量的函數(shù)關(guān)系和應(yīng)當(dāng)滿足的四個(gè)條件，我們可以很容易地確定這一函數(shù)關(guān)系能夠取對(duì)數(shù)形式。下面我們給出信源消息所含自信息的定義。設(shè)離散信源X為

如果消息ai已發(fā)生，則該消息發(fā)生所含有的自信息定義為(2.4)可以很容易地證明,自信息的定義滿足上面提出的四個(gè)要求。說(shuō)明：

(1)此自信息的定義是根據(jù)消息發(fā)生的概率建立的一個(gè)工程定義，而不是根據(jù)這個(gè)消息對(duì)人的實(shí)際意義而建立的定義。這一純粹技術(shù)性的定義僅僅抓住了“信息”一詞在通常概念中所包含的豐富內(nèi)容的一小部分。

(2)自信息I(ai)有兩種含義：在消息ai發(fā)生之前，自信息I(ai)表示ai發(fā)生的不確定性;在消息ai發(fā)生以后，自信息I(ai)表示ai所含有的（或提供的）信息量。

(3)在式(2.4)中關(guān)于對(duì)數(shù)的底未作明確規(guī)定。這是因?yàn)閷?duì)數(shù)的底僅僅影響到度量的單位，實(shí)際中可根據(jù)具體情況和習(xí)慣來(lái)確定。如果取對(duì)數(shù)的底為2，則所得信息量的單位為比特（bit，binaryunit），此時(shí)logx用lbx表示。如果取對(duì)數(shù)的底為e，則所得信息量的單位為奈特（nat，natureunit），此時(shí)logex用lnx表示。如果取對(duì)數(shù)的底為10，則所得信息量的單位為哈特（Hart，Hartley），此時(shí)log10x用lgx表示。(2.5)本書(shū)一般采用底為2的對(duì)數(shù)表示，并簡(jiǎn)寫為log，此類情況全書(shū)不再說(shuō)明（僅在強(qiáng)調(diào)或部分定理證明和公式推理中有特別注明時(shí)采用其他對(duì)數(shù)底）。根據(jù)對(duì)數(shù)的換底公式：

可以得到不同底數(shù)時(shí)信息量的換算關(guān)系：

(4)在上面的討論中，消息ai是隨機(jī)變量X的一個(gè)樣值，因而消息ai的自信息I(ai)=I(X=ai)是隨機(jī)變量X的函數(shù)，因此I(ai)也是一個(gè)隨機(jī)變量。

I(ai)是一個(gè)隨機(jī)變量并不難理解。因?yàn)閍i發(fā)生可以使收信者獲得大小為I(ai)的自信息，然而在信源未發(fā)出消息之前，收信者不僅對(duì)ai是否發(fā)生具有不確定性，而且對(duì)于能夠獲得多少自信息也是不確定的。因此，伴隨著X=ai的隨機(jī)發(fā)生而發(fā)生的自信息I(ai)是一個(gè)隨機(jī)變量，并且與隨機(jī)變量X具有相同的概率分布,即自信息I(ai)是一個(gè)發(fā)生概率為P(X=ai)的隨機(jī)變量。

【例2.1】有一個(gè)輸出兩種消息的離散無(wú)記憶信源，其概率空間為

如果在信源輸出消息之前我們猜測(cè)a1或a2發(fā)生，顯然這兩種猜測(cè)的困難程度不同。由于a1發(fā)生的概率接近于1，即a1發(fā)生的可能性很大，因此我們對(duì)a1是否發(fā)生的不確定性將比較小。同理，因?yàn)閍2發(fā)生的可能性小，所以對(duì)a2是否會(huì)發(fā)生的不確定性就比較大。由定義式(2.4)計(jì)算消息a1、a2的自信息，可以得到：

可見(jiàn)，自信息I（a1）、I(a2)確實(shí)是關(guān)于a1、a2發(fā)生的不確定性的度量。如果已知信源輸出消息a1，則由“a1已發(fā)生”可使我們消除大小為I(a1)的不確定性，故a1發(fā)生了載荷大小為0.014比特的信息量。同理，如果a2發(fā)生，則它所包含的信息量為6.644比特。通過(guò)這個(gè)例子我們可進(jìn)一步明確自信息的兩種含義，即在信源輸出消息ai之前，自信息I(ai)是關(guān)于ai發(fā)生的不確定性的度量，而在信源輸出消息ai之后，自信息I(ai)表示ai所含有的信息量。例2.1中的信源只有兩種不同的消息，我們稱這類信源為二進(jìn)制離散信源。二進(jìn)制離散信源所具有的兩種消息可以分別使用二進(jìn)制數(shù)0和1表示。

【例2.2】在一個(gè)拋硬幣的隨機(jī)試驗(yàn)中，正反兩面出現(xiàn)的概率相等。如果將正、反兩面分別看做0和1兩種不同的消息，則這一隨機(jī)試驗(yàn)可表示為一個(gè)等概率輸出0或1的二進(jìn)制離散無(wú)記憶信源。此二進(jìn)制離散無(wú)記憶信源的概率空間為

在這一隨機(jī)實(shí)驗(yàn)中，可以求出消息0、1發(fā)生所包含的自信息為

由于消息0和1發(fā)生的概率相同，因此在信源輸出消息之前，我們關(guān)于信源輸出0或1的不確定性是相同的，而在信源輸出0或1之后，它們所攜帶的信息量也相同。因此，消息0和消息1的自信息相同（均為1比特）。應(yīng)當(dāng)注意：信息單位的“比特”與計(jì)算機(jī)術(shù)語(yǔ)中的“比特”的意義是不同的。在計(jì)算機(jī)技術(shù)中，比特表示二進(jìn)制數(shù)碼中的“位”，為binarydigit的縮寫，而信息理論中的比特是使用以2為底的對(duì)數(shù)關(guān)系進(jìn)行信息度量時(shí)的信息單位。在例2.2中，由于信源是等概率的二進(jìn)制信源，因此在用以2為底的對(duì)數(shù)關(guān)系對(duì)其輸出信息量進(jìn)行度量時(shí)，它所輸出的每一位二進(jìn)制碼所含有的自信息量恰為一個(gè)比特。2.2.2信源的信息熵式(2.4)定義的自信息給出了信源輸出的某一個(gè)消息所含有的信息量。自信息從信源輸出的每一個(gè)消息所含有的信息量描述了信源的信息特性。然而，自信息是一個(gè)伴隨著信源隨機(jī)地輸出某一消息而產(chǎn)生的隨機(jī)變量。由于不同消息的自信息不同，因此自信息只是從局部依消息發(fā)生的概率對(duì)個(gè)別信源消息的信息特性給出的一種描述。在實(shí)際信息系統(tǒng)分析中，人們往往關(guān)心的并不是信源輸出的個(gè)別消息，而是由整個(gè)消息集合所構(gòu)成的信源的信息特性。因此我們需要給出一個(gè)確定的量，能夠從信源總體上來(lái)度量信源輸出信息的大小，描述信源總體輸出信息的能力。為此，我們定義信源X中每一消息所包含自信息的數(shù)學(xué)期望為信源X的平均信息量，也稱為信源的信息熵（簡(jiǎn)稱熵），記做H（X），即對(duì)于概率空間為

的離散無(wú)記憶信源X，其平均信息量(即信源的信息熵)為(2.6)在下面的討論中，有時(shí)將熵的定義式寫做：

這時(shí)，X也表示信源X的消息所構(gòu)成的集合;x為集合中的某一消息，即X的某一取值;表示對(duì)X的全空間進(jìn)行求和運(yùn)算。(2.7)說(shuō)明：

(1)在定義式(2.6)中，關(guān)于對(duì)數(shù)的底我們并未作明確規(guī)定。應(yīng)用中可根據(jù)實(shí)際情況和習(xí)慣確定對(duì)數(shù)的底，如以2、e、10等為底數(shù)。由于熵是信源的平均信息量，因此相應(yīng)于底2、e或10，熵的單位分別為比特/符號(hào)、奈特/符號(hào)或哈特/符號(hào)。

(2)對(duì)于一般的信源X，其消息集合中可能包含不可能發(fā)生的消息（即該消息發(fā)生的概率為0）。根據(jù)若消息ak發(fā)生的概率為0，在定義式(2.7)表示的熵的計(jì)算中，規(guī)定

【例2.3】某班下午的工作安排有三種情況：a自習(xí),b上課,c文體活動(dòng)。假設(shè)每天下午獨(dú)立地、隨機(jī)地發(fā)出一個(gè)工作安排的通知，且這三種安排發(fā)生的概率分別是1/2、3/8和1/8。若某同學(xué)得到了工作安排為a、b或c的一個(gè)通知，則此通知中含有多少信息量？如果每天發(fā)出一個(gè)通知，則一個(gè)通知中含有的平均信息量為多少？解：此信源的概率空間為

可以求出這三種安排的通知含有的自信息分別為一個(gè)通知中含有的平均信息量即為此信源的熵：

根據(jù)自信息的定義，自信息量的大小與消息發(fā)生的概率成反比，此處便有：

I(a)<I(b)<I(c)然而，考察每一通知的自信息對(duì)信源信息熵的貢獻(xiàn)：

可以看出，雖然某消息ai的自信息隨著該消息出現(xiàn)概率的減小而增大，但是由于消息ai出現(xiàn)的概率（頻次）較小，因此對(duì)信源總體輸出的平均信息量H（X）的貢獻(xiàn)并不是很大。由信息熵的定義可以看出，消息ai對(duì)信源X輸出平均信息量的貢獻(xiàn)為－P(ai)logP(ai)在這一函數(shù)關(guān)系中，由于P(ai)減小的速度比－logP(ai)增加的速度更快，因此平均來(lái)講它對(duì)信源總體的貢獻(xiàn)還是減小了，其極限情況為由此可以使我們進(jìn)一步明確：自信息I(ai)是對(duì)消息ai是否發(fā)生的不確定性和消息ai所含有信息量的度量，而熵H(X)是自信息的統(tǒng)計(jì)平均值，是對(duì)信源總體信息特性的度量。作為從統(tǒng)計(jì)平均意義上表征信源總體特性的物理量，信源的信息熵具有下面兩種物理含義：

(1)信息熵H(X)表示了信源輸出后每個(gè)消息所提供的平均信息量。

(2)信息熵H(X)表示了信源輸出前關(guān)于信源的平均不確定性。例如有兩個(gè)信源：

在信源X、Y未輸出消息之前，直觀分析可看出，信源X輸出消息a1的可能性是99%，因此我們對(duì)X的平均不確定性較小;對(duì)信源Y，它輸出b1、b2的可能性均為0.5，因此我們對(duì)于信源Y輸出哪一個(gè)消息的平均不確定性較大。利用信源信息熵的定義式(2.6)可以對(duì)信源X、Y輸出消息前的這種不確定性加以度量，則有：H(X)=0.08比特/符號(hào)，H(Y)=1比特/符號(hào)可見(jiàn)，信源的信息熵確實(shí)反映出了信源輸出消息的平均不確定程度的大小。說(shuō)明：信源的信息熵H(X)并不表示接收者所獲得的平均信息量，接收者所獲得的平均信息量一般也不一定等于信源的信息熵H(X)。只有在傳輸信源輸出消息的信道無(wú)噪,接收者正確無(wú)誤地接收到信源發(fā)出的消息，消除了大小為H(X)的平均不確定性時(shí)，接收者才由通信系統(tǒng)獲得大小為H(X)的平均信息量。2.3熵函數(shù)的性質(zhì)由上面的討論我們知道，式(2.6)定義的熵從總體上描述了信源的平均不確定性和平均信息量。作為統(tǒng)計(jì)平均意義上表征信源總體特性的物理量，熵是表征信源輸出隨機(jī)變量X的一個(gè)數(shù)字特征，只與信源消息的概率分布有關(guān)。無(wú)論信源是否輸出了消息，只要這些消息的發(fā)生具有一定的概率分布，則該信源的信息熵就存在，根據(jù)信源的這組概率分布便可求出信源的信息熵。

【例2.4】設(shè)有一個(gè)離散無(wú)記憶的二進(jìn)制信源，其概率空間為

可以知道,此信源的信息熵為

由此可以看出，H(X)是概率分布p、1－p的函數(shù)，常記做H2（p)或H2(p,1－p)，下標(biāo)2表示信源是二進(jìn)制的或稱二元信源。由式(2.8)可知,H2(p)是p的函數(shù)，可以做出H2(p)的函數(shù)曲線，如圖2-3所示。(2.8)圖2-3H2(p)的函數(shù)曲線例2.2為二進(jìn)制信源在0、1等概率分布時(shí)的一個(gè)特例，即當(dāng)信源符號(hào)0、1等概率分布時(shí)，消息的自信息為I（X=0）=I(X=1)=1比特由熵函數(shù)式可知，對(duì)于此等概率分布的二進(jìn)制信源，信息熵：雖然信源消息的自信息與信源的信息熵在數(shù)值上相等，但是它們的含義是不同的。自信息I(X)=0、I(X)=1反映的是信源符號(hào)0、1含有的信息量為1比特，發(fā)生概率分別為的隨機(jī)變量;H(X)則表明信源每輸出一個(gè)符號(hào)平均含有1比特的信息量，信息熵H(X)是取決于信源概率分布的一個(gè)確定量。作為概率分布P的函數(shù)，由圖2-3可以看出熵函數(shù)所具有的一些基本性質(zhì)。如果二元信源的輸出是確定的（p=0或p=1），則該信源不能提供任何信息。當(dāng)信源符號(hào)0、1等概率發(fā)生時(shí)，二元信源的熵達(dá)到其最大值，且為1比特/符號(hào)。下面我們從信源的信息熵與概率分布的函數(shù)關(guān)系，討論熵函數(shù)的性質(zhì)。若信源X的概率空間為它的熵與信源符號(hào)的個(gè)數(shù)n及其概率分布P有關(guān)。信息熵H(X)是p1、p2、…、pn的n元函數(shù)（，其中有n－1個(gè)獨(dú)立變量），因此也稱為熵函數(shù),記做：(2.9)其中,P為概率矢量，它的n個(gè)分量為p1、p2、…、pn，并且依概率分布的條件有：

信源的熵函數(shù)H(P)具有下面一些基本性質(zhì)。

1.對(duì)稱性當(dāng)變量p1、p2、…、pn的位置任意互換時(shí)，熵函數(shù)的值不變，即H(p1,p2,…,pn)=H(p2,p1,…,pn)=H(pn,p1,…,pn－1)

(2.10)對(duì)稱性進(jìn)一步表明，熵是信源總體特性的描述，它只與隨機(jī)變量的總體統(tǒng)計(jì)結(jié)構(gòu)有關(guān)。由概率分布律可知，n個(gè)符號(hào)的概率矢量由數(shù)1分割成n個(gè)正實(shí)數(shù)取值的組合所構(gòu)成，而熵函數(shù)只與這n個(gè)實(shí)數(shù)的組合有關(guān)，與這n個(gè)實(shí)數(shù)和信源的n個(gè)符號(hào)采取何種對(duì)應(yīng)關(guān)系無(wú)關(guān)。例如，下面三個(gè)信源：我們可以用a1、a2、a3分別表示自習(xí)、上課和文體活動(dòng)三個(gè)具體消息，而b1、b2、b3分別表示晴、霧、雨三個(gè)消息。在這三個(gè)信源中，X與Z所包含的具體消息（符號(hào)）的含義不同，而X與Y兩信源中某一消息的概率不同。但是由于它們的符號(hào)個(gè)數(shù)及其概率組合相同，因此它們的信息熵是相同的，即從信源的總體統(tǒng)計(jì)特性看它們是相同的。由此可以看出，這種熵的定義有其局限性，未能反映出信源輸出的消息本身所含有的主觀意義。

2.非負(fù)性H（X）≥0

(2.11)根據(jù)概率分布律，隨機(jī)變量X的所有取值的概率pi均在0和1之間，當(dāng)取對(duì)數(shù)的底大于1時(shí)，有故有

這種非負(fù)性對(duì)于離散信源的熵是合適的。對(duì)于連續(xù)信源，這種非負(fù)性并不存在。

3.確定性H（1,0）=H(1,0,0)=…=H(1,0,0,…,0)=0

(2.12)對(duì)于信源的一組概率分布P=(p1,p2,…,pn)，若某信源符號(hào)發(fā)生的概率pk=1，則依概率分布滿足的條件可知，其他信源符號(hào)發(fā)生的概率必定全部為0。因此信源輸出的隨機(jī)變量成為一個(gè)確定量，即幾乎處處輸出發(fā)生概率為1的那個(gè)符號(hào)，對(duì)于這種信源的不確定性為0。由于熵是不確定性的度量，因此確知的信源的熵為0。

4.擴(kuò)展性

此性質(zhì)的證明也較簡(jiǎn)明。根據(jù)熵的定義式(2.6)，寫出式(2.13)左端的熵函數(shù)，應(yīng)用極限關(guān)系

即可得出此性質(zhì)成立的結(jié)論。(2.13)此性質(zhì)說(shuō)明，當(dāng)信源的消息個(gè)數(shù)增多時(shí)，若增加的消息發(fā)生的概率極小（接近于0），而原有消息的概率在信源總體上幾乎沒(méi)有改變，則信源的熵不變。從某一消息的自信息考慮，雖然這些概率很小的新事件發(fā)生后會(huì)給予接收者較多的信息，但對(duì)于信源總體而言，這種概率很小的消息幾乎不會(huì)出現(xiàn)，它在熵的計(jì)算中占的比重很小。可見(jiàn)，熵的擴(kuò)展性也是其總體統(tǒng)計(jì)平均性的一種體現(xiàn)。

5.可加性統(tǒng)計(jì)獨(dú)立的信源X和Y的聯(lián)合信源的熵等于分別熵之和，即：H(XY)=H(X)+H(Y)在對(duì)信息概念的討論中，為了使先后收到的信息可簡(jiǎn)單地相加，規(guī)定信息的度量方式必須滿足可加性。下面我們以相互統(tǒng)計(jì)獨(dú)立的情況為例，證明熵函數(shù)具有這種性質(zhì)。證明：設(shè)有兩個(gè)隨機(jī)變量X和Y，其中X有n種取值，概率分布為q1，q2，…,qn,Y有m種取值，概率分布為r1，r2，…,rm。由熵函數(shù)的定義式可知X和Y的熵分別為現(xiàn)在考察由相互獨(dú)立的X、Y構(gòu)成的聯(lián)合信源XY。聯(lián)合信源XY有nm種取值可能，它的概率分布為X、Y的聯(lián)合概率分布，即P(X=xi,Y=yj)=P(xi,yj)=pij

i=1,2,…,n;j=1,2,…,m聯(lián)合信源的熵為由于X與Y相互獨(dú)立，有pij=qi·rj，因此：對(duì)于X和Y非相互獨(dú)立的一般情況也有類似的結(jié)論，只是性質(zhì)的表達(dá)和證明過(guò)程要復(fù)雜一些。

6.極值性（最大熵定理）

即當(dāng)信源符號(hào)等概率分布時(shí)，熵達(dá)到其最大值。為了證明式(2.14)，首先證明下面兩個(gè)引理。(2.14)

引理2.1lnx≤x－1x>0

(2.15)證明：構(gòu)造輔助函數(shù)f(x)=lnx－(x－1)，計(jì)算其極大值。

令上式為0，可以求出f(x)在x=1處取得極值。由可知，當(dāng)x>0時(shí)，f(x)是上凸函數(shù)。因此，在x=1處函數(shù)f(x)有極大值，f(x)的極大值為

f(x=1)=0

因此

f(x)=lnx－(x－1)≤0x>0即lnx<x－1證畢。

引理2.2

式中,，。(2.16)證明：考察易知ri/pi>0，由式(2.15)可知

因此

證畢。在式(2.16)中，若令，則式(2.16)成為：

此即式(2.14)表示的最大熵定理。(2.17)最大熵定理表明，對(duì)于一個(gè)輸出n種消息的信源，在其可能的概率分布中，當(dāng)信源輸出的消息為等概率分布時(shí)，信源的信息熵最大，且該最大的信息熵為logn。對(duì)于二進(jìn)制信源，例2.4已經(jīng)表明，當(dāng)p(0)=p(1)=1/2時(shí)信源的信息熵最大,即二進(jìn)制信源的最大熵為

比特/符號(hào)

7.上凸性熵函數(shù)H（p1,p2,…,pn）是概率矢量P=(p1,p2,…,pn)的上凸函數(shù),即對(duì)于概率矢量P、Q和α(0<α<1)，有：

(2.18)證明：設(shè)K為n維隨機(jī)變量的概率分布構(gòu)成的集合。在K中任意找出兩組不同的概率分布：P=(p1,p2,…,pn)Q=(q1,q2,…,qn)顯然，這兩組概率分布滿足概率分布律,即在這兩組概率分布下，分別有熵函數(shù)H(P)和H(Q)。取0<α<1，由概率矢量P、Q的線性組合可構(gòu)成一組新的概率分布R：因?yàn)?/p>

且

這組新的概率分布R滿足概率分布律，故有：

R=αP+(1－α)Q∈K在由P、Q的線性組合得到的新的概率分布R下，熵函數(shù)為由于對(duì)數(shù)函數(shù)是上凸函數(shù)，因此式(2.19)的第三項(xiàng)中：同理，式(2.19)的第四項(xiàng)中因此式(2.19)中的后兩項(xiàng):

故有：

即式(2.18)表示的上凸函數(shù)關(guān)系成立，熵函數(shù)是上凸函數(shù)。證畢。利用熵函數(shù)的上凸性，我們也可以找出信源的最大熵和達(dá)到最大熵時(shí)信源消息的概率分布。

【例2.5】已知信源X輸出n種符號(hào)，試用求導(dǎo)法計(jì)算此信源的最大熵，以及達(dá)到最大熵時(shí)n個(gè)信源符號(hào)的概率分布。解：因?yàn)殪睾瘮?shù)是上凸函數(shù)，所以若它的極值存在，則必為極大值，且該極大值即為給定信源的最大熵。設(shè)P=（p1,p2,…,pn）為信源X的一組概率矢量，其熵函數(shù):

滿足條件:

題中所求為熵函數(shù)H(P)在此條件下的條件極值。首先以λ為待定常數(shù)作輔助函數(shù)：

對(duì)于i=1,2,…,n，計(jì)算輔助函數(shù)Φ(P)關(guān)于pi的偏導(dǎo):令

得到：

注意，此為一個(gè)由n個(gè)方程構(gòu)成的方程組。解此方程組得到熵函數(shù)H（P）取得極值的概率分布，即得到：由于pi是與i無(wú)關(guān)的常數(shù)，且必須滿足概率分布的條件，可知熵函數(shù)H(P)的極值點(diǎn)概率分布必為

因此熵函數(shù)H（P）的最大值為因此對(duì)于具有n種輸出符號(hào)的信源X，當(dāng)信源符號(hào)等概率分布時(shí)，信源的信息熵H（X）達(dá)到其最大值logn。此結(jié)論與關(guān)于熵的極值性的討論結(jié)果是相同的。2.4聯(lián)合事件的熵及其關(guān)系

2.3節(jié)我們從信源輸出隨機(jī)變量X的概率空間出發(fā)，對(duì)信源符號(hào)的不確定性進(jìn)行了分析并引出了信源符號(hào)的自信息和信源的熵。然而，在對(duì)一個(gè)通信系統(tǒng)進(jìn)行分析時(shí)，我們遇到的往往并不是單個(gè)的隨機(jī)變量，而是由若干隨機(jī)變量構(gòu)成的聯(lián)合事件。因此需要對(duì)由若干隨機(jī)變量組成的聯(lián)合事件所具有的不確定性加以討論。此處，我們以兩個(gè)隨機(jī)變量為例，在2.3節(jié)討論的熵的概念與定義的基礎(chǔ)上，討論聯(lián)合事件的熵及其關(guān)系。2.4.1聯(lián)合事件的概率空間與概率關(guān)系設(shè)有兩個(gè)離散隨機(jī)變量X、Y，其中：

X∈{x1,x2,…,x

r}

Y∈{y1,y2,…,ys}

(2.20)X和Y構(gòu)成的聯(lián)合事件用二維隨機(jī)變量(X,Y)表示。二維隨機(jī)變量(X,Y)的性質(zhì)不僅與X和Y有關(guān)，而且依賴于兩者之間的關(guān)系。因此對(duì)于由X和Y組成的聯(lián)合事件，僅僅單獨(dú)研究X或Y是不夠的，還需要將(X,Y)作為一個(gè)整體來(lái)研究。

1.聯(lián)合概率分布已知二維隨機(jī)變量(X,Y)的取值為(xi,yj),其發(fā)生的概率為聯(lián)合概率P(xi,yj),它們滿足：

因此，聯(lián)合事件(X,Y)的概率空間為

［XY,P(xi,yj)］

(2.22)(2.21)

2.邊緣概率分布對(duì)于二維隨機(jī)變量(X,Y)，X和Y也是隨機(jī)變量，將隨機(jī)變量X和Y各自的概率分布分別稱為二維隨機(jī)變量(X,Y)關(guān)于X和Y的邊緣概率分布，并且邊緣概率分布由聯(lián)合概率分布決定。依據(jù)二維隨機(jī)變量(X,Y)的聯(lián)合概率分布P(xi,yj)，可以求出某一隨機(jī)變量的邊緣概率分布，即(2.23)(2.24)它們滿足：

3.條件概率分布對(duì)于二維隨機(jī)變量(X,Y)，如果已知其聯(lián)合概率分布P(xi,yj)和某一事件X或Y的邊緣概率分布P(xi)和P(yj)，則可以求出在某事件已發(fā)生的條件下另一事件發(fā)生的概率，并將此概率稱為條件概率。已知X=xi已發(fā)生的條件下Y=yj發(fā)生的條件概率分布為

同理，已知Y=yj已發(fā)生的條件下X=xi發(fā)生的條件概率分布為(2.25)(2.26)其中，設(shè)P(xi)>0,P(yj)>0i=1,2,…,r;j=1,2,…,s條件概率分布滿足:2.4.2聯(lián)合熵、無(wú)條件熵和條件熵對(duì)于由X、Y組成的聯(lián)合事件，由于(X,Y)是一個(gè)隨機(jī)矢量，因此我們對(duì)聯(lián)合事件(X,Y)的某一樣值是否發(fā)生具有不確定性。聯(lián)合事件(X,Y)的平均不確定性大小可以用聯(lián)合事件(X,Y)的聯(lián)合熵進(jìn)行度量。若已知聯(lián)合事件(X,Y)的概率空間為［XY,P(xi,yj)］，則聯(lián)合事件(X,Y)的聯(lián)合熵為(2.28)若已知某一隨機(jī)變量的邊緣概率分布，則根據(jù)熵的定義式(2.6)可以寫出聯(lián)合事件（X，Y）中關(guān)于某一隨機(jī)變量的熵，即(2.29)(2.30)

H［X］和H［Y］分別表示聯(lián)合事件(X,Y)中關(guān)于隨機(jī)變量X和Y的平均不確定性，它們被稱為無(wú)條件熵或邊緣熵。對(duì)于由多個(gè)隨機(jī)變量組成的聯(lián)合事件，我們不僅要了解它們的聯(lián)合不確定性和某一分量的不確定性，還需要了解在某些隨機(jī)變量已出現(xiàn)的條件下，關(guān)于另一隨機(jī)變量的不確定性。這種平均不確定性即為條件熵。設(shè)已知聯(lián)合事件(X,Y)中xi已發(fā)生時(shí)yj發(fā)生的概率為條件概率P(yj|xi)，則定義已知X時(shí)關(guān)于Y的條件熵為

它表示在隨機(jī)變量X已知時(shí)，我們對(duì)于隨機(jī)變量Y仍存在的平均不確定性。同理，已知Y時(shí)關(guān)于X的條件熵為(2.31)(2.32)2.4.3各種熵之間的關(guān)系

1.條件熵條件熵滿足如下性質(zhì):H（Y|X）≤H(Y)

(2.33)當(dāng)且僅當(dāng)X與Y統(tǒng)計(jì)獨(dú)立時(shí)等式成立。證明：由于對(duì)數(shù)函數(shù)是上凸函數(shù)，因此應(yīng)用顏森不等式：

當(dāng)X、Y統(tǒng)計(jì)獨(dú)立時(shí)：P(xi,yj)=P(xi)·P(yj)由式(2.34)第三步可看出等式成立。同理，存在:H(X|Y)≤H(X)此性質(zhì)表明，在聯(lián)合事件中某一隨機(jī)變量的條件熵是有界的，它小于等于該隨機(jī)變量的無(wú)條件熵。

2.聯(lián)合熵、無(wú)條件熵和條件熵的關(guān)系(2.35)所以H(XY)=H(Y|X)+H(X)

(2.36)可見(jiàn)，關(guān)于聯(lián)合事件(X,Y)的不確定性等于關(guān)于X的不確定性與一旦觀測(cè)到X之后仍然保留的關(guān)于Y的不確定性之和。同理,可得到：H(XY)=H(X|Y)+H(Y)

(2.37)若聯(lián)合事件(X,Y)中各分量相互獨(dú)立，又由于P(yj|xi)=P(yj)，則(2.38)

同理，依據(jù)P(xi|yj)=P(xi)有：H(X|Y)=H(X)

(2.39)因此，若聯(lián)合事件(X,Y)中各分量相互獨(dú)立，則它們的聯(lián)合熵為H（XY）=H(X)+H(Y)

(2.40)

【例2.6】已知隨機(jī)變量X和Y組成聯(lián)合事件(X,Y)。二維隨機(jī)變量(X,Y)的聯(lián)合概率分布如表2-1所示。(1)計(jì)算聯(lián)合事件(X,Y)的聯(lián)合熵H(XY);(2)計(jì)算隨機(jī)變量X和Y的邊緣熵H(X)和H(Y);(3)計(jì)算條件熵H(Y|X)和H(X|Y);(4)驗(yàn)證聯(lián)合熵與邊緣熵、條件熵之間的關(guān)系。表2-1P(xi,yj)解：

(1)依據(jù)聯(lián)合事件(X,Y)的聯(lián)合概率分布計(jì)算(X,Y)的聯(lián)合熵H(XY)為

(2)依據(jù)邊緣概率的計(jì)算關(guān)系，首先求出隨機(jī)變量X的邊緣概率為因此隨機(jī)變量X的邊緣熵H(X)為

同理，可以求出隨機(jī)變量Y的邊緣概率和邊緣熵H（Y）：計(jì)算得到隨機(jī)變量Y的邊緣熵為

(3)已知聯(lián)合事件(X,Y)的聯(lián)合概率P(xi,yj)和隨機(jī)變量X的邊緣概率P(xi)。依據(jù)條件概率的計(jì)算關(guān)系，可以求出在已知X=xi發(fā)生的條件下關(guān)于Y=yj發(fā)生的條件概率分布P(yj|xi),其中i=1,2,3,4,j=1,2,3,如表2-2所示。表2-2P(yj|xi)可以求出已知X時(shí)關(guān)于Y的條件熵為同理，依據(jù)可以得到已知Y=yj發(fā)生的條件下，關(guān)于X=xi發(fā)生的條件概率分布P(xi|yj)（如表2-3所示）。表2-3P(xi|yj)可以求出已知X時(shí)關(guān)于Y的條件熵為

(4)由上述計(jì)算結(jié)果可以驗(yàn)證聯(lián)合熵、邊緣熵和條件熵之間滿足的關(guān)系。下面驗(yàn)證某一隨機(jī)變量的無(wú)條件熵與條件熵的關(guān)系。由計(jì)算結(jié)果可以看出，在聯(lián)合事件(X,Y)中，關(guān)于隨機(jī)變量X的邊緣熵為當(dāng)已知隨機(jī)變量Y時(shí)，關(guān)于隨機(jī)變量X的條件熵為

顯然，隨機(jī)變量X的條件熵與其無(wú)條件熵的關(guān)系滿足：H(X|Y)<H(X)同理，隨機(jī)變量Y的條件熵與其無(wú)條件熵的關(guān)系也滿足：H(Y|X)<H(Y)由此可以看出，對(duì)于聯(lián)合事件(X,Y)，某一隨機(jī)變量的條件熵小于等于該隨機(jī)變量的無(wú)條件熵。下面由計(jì)算結(jié)果驗(yàn)證邊緣熵、條件熵和聯(lián)合熵之間的關(guān)系。由此例計(jì)算得到的聯(lián)合事件（X，Y）的邊緣熵：H(X)=1.906比特/符號(hào)，H（Y）=1.5比特/符號(hào)條件熵：H（Y|X）=1.172比特/符號(hào)，H(X|Y)=1.578比特/符號(hào)聯(lián)合熵：H(XY)=3.078比特/符號(hào)可以看出，它們之間滿足：H(X)+H(Y|X)=1.906+1.172=3.078=H(XY)和H(Y)+H(X|Y)=1.5+1.578=3.078=H(XY)即聯(lián)合事件(X,Y)的不確定性（聯(lián)合事件的聯(lián)合熵H(XY)）等于關(guān)于某一隨機(jī)變量的不確定性與一旦觀測(cè)到該隨機(jī)變量后仍然保留的關(guān)于另一隨機(jī)變量的不確定性之和。2.5連續(xù)信源的信息測(cè)度至此，我們所研究的都是取值為有限或可數(shù)的離散信源，它們輸出的消息屬于時(shí)間離散、取值有限或可數(shù)的隨機(jī)序列，其統(tǒng)計(jì)特性可以用聯(lián)合概率分布來(lái)描述，而某些實(shí)際信源的輸出是時(shí)間和取值都是連續(xù)的消息。例如語(yǔ)音信號(hào)X(t)、電視信號(hào)X(x0,y0,t)等都是時(shí)間的連續(xù)波形。當(dāng)固定某一時(shí)刻t=t0時(shí)，它們的可能取值也是連續(xù)的。這樣的信源稱為隨機(jī)波形信源。隨機(jī)波形信源輸出的消息是隨機(jī)的，因此，可以用隨機(jī)過(guò)程{x(t)}來(lái)描述。2.5.1連續(xù)信源的差熵基本連續(xù)信源的輸出是取值連續(xù)的單個(gè)隨機(jī)變量，可用變量的概率密度、變量間的條件概率密度和聯(lián)合概率密度來(lái)描述。變量的一維概率密度函數(shù)為

一維概率分布函數(shù)為

條件概率密度函數(shù)為pY|X(y|x),pX|Y(x|y)聯(lián)合概率密度函數(shù)為它們之間的關(guān)系為(2.42)(2.41)

這些邊緣概率密度函數(shù)滿足:

其中,X和Y的取值域?yàn)槿珜?shí)數(shù)集R。(2.44)(2.43)若概率密度在有限區(qū)域內(nèi)分布，則可認(rèn)為在該區(qū)間之外所有概率密度函數(shù)為零。上述密度函數(shù)中的腳標(biāo)表示所牽涉的變量的總體，而自變量(如x,y,…)則是具體取值。因?yàn)楦怕拭芏群瘮?shù)是不同的函數(shù)，所以用腳標(biāo)來(lái)加以區(qū)分，以免混淆。為了簡(jiǎn)化書(shū)寫，往往省去腳標(biāo)，但在使用時(shí)要注意上述問(wèn)題?；具B續(xù)信源的數(shù)學(xué)模型為并滿足:

其中,R是全實(shí)數(shù)集，是連續(xù)變量X的取值范圍。根據(jù)前述的離散化原則，連續(xù)變量X可量化分層后用離散變量描述。量化單位越小，則所得的離散變量和連續(xù)變量越接近。因此，連續(xù)變量的信息測(cè)度可以用離散變量的信息測(cè)度來(lái)逼近。假定連續(xù)信源X的概率密度函數(shù)p(x)如圖2-4所示。圖2-4概率密度分布我們把取值區(qū)間［a,b］分割成n個(gè)小區(qū)間，各小區(qū)間設(shè)有等寬。那么，X處于第i區(qū)間的概率Pi是(2.45)其中,xi是a+(i－1)Δ到a+iΔ之間的某一值。當(dāng)p(x)是x的連續(xù)函數(shù)時(shí)，由積分中值定理可知，必存在一個(gè)xi值使式(2.45)成立。這樣，連續(xù)變量X就可用取值為xi(i=1,2,…,n)的離散變量Xn來(lái)近似,連續(xù)信源X就被量化成離散信源:且

這時(shí)離散信源Xn的熵是當(dāng)n→∞,Δ→0時(shí)，離散隨機(jī)變量Xn趨于連續(xù)隨機(jī)變量X，而離散信源Xn的熵H(Xn)的極限值就是連續(xù)信源的信息熵，即(2.46)一般情況下，式（2.46）的第一項(xiàng)是定值。當(dāng)Δ→0時(shí)，第二項(xiàng)是趨于無(wú)限大的常數(shù)。所以避開(kāi)第二項(xiàng)，定義連續(xù)信源的熵為(2.47)由式(2.47)可知，所定義的連續(xù)信源的熵并不是實(shí)際信源輸出的絕對(duì)熵，而連續(xù)信源的絕對(duì)熵應(yīng)該還要加上一項(xiàng)無(wú)限大的常數(shù)項(xiàng)。這一點(diǎn)是可以理解的，因?yàn)檫B續(xù)信源的可能取值數(shù)是無(wú)限多個(gè)，若設(shè)取值是等概率分布，那么信源的不確定性為無(wú)限大。當(dāng)確知輸出為某值后，所獲得的信息量也將為無(wú)限大?？梢?jiàn)，h(X)已不能代表信源的平均不確定性大小，也不能代表連續(xù)信源輸出的信息量。既然如此，為什么要定義連續(xù)信源的熵為式(2.47)呢?一方面，因?yàn)檫@樣定義可與離散信源的熵在形式上統(tǒng)一起來(lái)，另一方面，因?yàn)樵趯?shí)際問(wèn)題中常常討論的是熵之間的差值問(wèn)題，如平均互信息。在討論熵差時(shí)，無(wú)限大常數(shù)項(xiàng)將有兩項(xiàng)，一項(xiàng)為正，一項(xiàng)為負(fù)，只要兩者離散逼近時(shí)所取的間隔Δ一致，這兩個(gè)無(wú)限大項(xiàng)就將互相抵消掉。因此在任何包含有熵差的問(wèn)題中，式(2.47)定義的連續(xù)信源的熵具有信息的特性。由此可見(jiàn)，連續(xù)信源的熵稱為差熵，以區(qū)別于原來(lái)的絕對(duì)熵。同理，我們可以定義兩個(gè)連續(xù)變量X、Y的聯(lián)合熵和條件熵，即(2.48)(2.49)(2.50)2.5.2差熵的基本性質(zhì)差熵仍然具有可加性、凸?fàn)钚院蜆O值性，但卻不存在非負(fù)性和變換不變性等。因此，連續(xù)信源的差熵具有如下性質(zhì)。

(1)可加性。h(XY)=h(X)+h(Y|X)

(2.51)h(XY)=h(Y)+h(X|Y)

(2.52)并且類似于離散情況，可以證得：h(X|Y)≤h(X)或h(Y|X)≤h(Y)

(2.53)當(dāng)且僅當(dāng)X與Y統(tǒng)計(jì)獨(dú)立時(shí)，式(2.52)和式(2.53)成立。進(jìn)而可得:h(XY)≤h(