第6講-聯(lián)合熵與條件熵

1、第6講 聯(lián)合熵與條件熵信息熵H(X)反映了隨機(jī)變量X的取值不確定性。當(dāng)X是常量時(shí)，其信息熵最小，等于0；當(dāng)X有n個(gè)取值時(shí)，當(dāng)且僅當(dāng)這些取值的機(jī)會(huì)均等時(shí)，信息熵H(X)最大，等于logn比特。我們拓展信息熵H(X)的概念，考慮兩個(gè)隨機(jī)變量X和Y的聯(lián)合熵H(XY)和條件熵H(Y|X)。1. 聯(lián)合熵設(shè)X，Y是兩個(gè)隨機(jī)變量， 則(X,Y)是二維隨機(jī)變量，簡(jiǎn)寫為XY。二維隨機(jī)變量XY的聯(lián)合概率分布記為p(xy)，即 根據(jù)信息熵的定義可知，XY的信息熵為 定義1.1 二維隨機(jī)變量XY的信息熵H(XY)稱為X與Y的聯(lián)合熵（joint entropy）。它反映了二維隨機(jī)變量XY的取值不確定性。我們把它理解為X

2、和Y取值的總的不確定性。練習(xí)： 假設(shè)有甲乙兩只箱子，每個(gè)箱子里都存放著100個(gè)球。甲里面有紅藍(lán)色球各50個(gè)，乙里面紅、藍(lán)色的球分別為99個(gè)和1個(gè)。試計(jì)算H(XY)我們將聯(lián)合熵概念推廣到任意多離散型隨機(jī)變量上。定義1.2 一組隨機(jī)變量的聯(lián)合熵定義為注：為了簡(jiǎn)化記號(hào)，我們有時(shí)把記為XN，把記為xN。推薦精選物理意義：（1）是這一組隨機(jī)變量平均每一批取值所傳遞的信息量。（2）若N-維隨機(jī)變量表示某信源產(chǎn)生的任意一條長(zhǎng)度為N的消息，則是平均每條長(zhǎng)度為N的消息的信息量。因此，若該信源產(chǎn)生一個(gè)長(zhǎng)度為N的消息，則在不知道其它條件的情況下，對(duì)該消息所含信息量的最優(yōu)估計(jì)為N-維信息熵。聯(lián)合熵的性質(zhì)：聯(lián)合熵熵函數(shù)

3、的一種特殊形式，所以熵函數(shù)的任何數(shù)學(xué)性質(zhì)都適用于聯(lián)合熵，包括：非負(fù)性、可加性、嚴(yán)格上凸性和最大離散熵原理，等等。當(dāng)然，聯(lián)合熵還有自己的特殊性質(zhì)。定理1.4（聯(lián)合熵的獨(dú)立界）其中等號(hào)成立的充要條件是所有隨機(jī)變量相互獨(dú)立。證明：這里僅證明，一般情形可類似證明。設(shè)對(duì)于XY的聯(lián)合分布為p(xy)，X和Y的概率分布簡(jiǎn)記為p(x)，p(y)。由于我們有 注意，構(gòu)成一個(gè)概率分布。應(yīng)用信息不等式可得 其中等號(hào)成立的充要條件是，即X與Y相互獨(dú)立。 證畢2. 條件熵推薦精選條件自信息：對(duì)于任何取值x，是一個(gè)帶條件的隨機(jī)變量，其信息熵為 再對(duì)所有x求熵的平均值可得如下條件熵：定義2.1 設(shè)X,Y是兩個(gè)離散型隨機(jī)變量

4、，聯(lián)合分布為p(xy)。X相對(duì)于Y的條件熵H(X|Y)定義為條件自信息I(X|Y)的期望，即 物理意義：H(X|Y)表示在已知Y取值的前提下，X取值的不確定性，亦即X的每個(gè)取值平均所提供的與Y無關(guān)的信息量。定理2.2（條件熵非負(fù)性）對(duì)于任何離散型隨機(jī)變量X與Y，都有H(Y|X) 0，其中等號(hào)成立當(dāng)且僅當(dāng)Y是X的函數(shù)，即X的取值可確定Y的取值。證明 根據(jù)定義由于上述加式中各加項(xiàng)都0，所以該加式=0的充要條件是各加項(xiàng)=0，即對(duì)于任何x和y，p(y|x)=1或者p(y|x)=0，亦即對(duì)于任何x，P(Y|x)是退化分布。這表明當(dāng)X的取值確定時(shí)，Y的取值隨即確定，即Y是X的函數(shù)。 證畢 定理2.3（熵的

5、鏈法則）對(duì)于隨機(jī)變量序列X1,X2,和任何N1 簡(jiǎn)記為 其中H1=H(X1)，H2=H( X2|X1)，HN=H(XN|X1X2 XN-1)。證明：首先根據(jù)定義直接可得 H(XY)= H(X)+H(Y|X) 推薦精選應(yīng)用上述等式，對(duì)N用歸納法可證明熵的鏈法則。細(xì)節(jié)略。 證畢意義：將多個(gè)隨機(jī)變量的聯(lián)合熵轉(zhuǎn)化為這些隨機(jī)變量的條件熵之和，可簡(jiǎn)化計(jì)算。注：鏈法則與熵的可加性是等價(jià)的。思考：下列不等式是否成立，其中各等號(hào)成立的充要條件是什么？這個(gè)性質(zhì)說明什么？請(qǐng)讀者嘗試命名該性質(zhì)。 定理2.4（條件熵遞減性）對(duì)于任何隨機(jī)變量X和Y，有H(Y|X) H(Y)其中等號(hào)成立的充要條件是Y與X相互獨(dú)立。證明一：

6、根據(jù)鏈法則， H(XY)=H(X)+H(Y|X)再根據(jù)聯(lián)合熵的獨(dú)立界定理，立刻可得H(Y|X) H(Y)其中等號(hào)成立的充要條件是X與Y統(tǒng)計(jì)獨(dú)立。 證畢在條件熵中，條件越少，熵值越大。相反，條件越多，熵值越小。這可理解為，我們知道的越多，則事物的不確定性越小。證明二：應(yīng)用Jessen不等式證明。 證畢3. 計(jì)算公式令X，Y為離散的隨機(jī)變量。推薦精選公式1. 公式2. 其中P(X)是X的概率分布，為行向量，P(Y|X)是X到Y(jié)的條件概率矩陣，是條件概率矩陣中各個(gè)行分布的熵所組成的列向量。證明： 證畢例3.1 設(shè)且則記號(hào)：以后對(duì)于任何N，我們將N維隨機(jī)向量X1,X2,XN簡(jiǎn)記為XN。注：上述條件熵概

7、念可以推廣到多個(gè)隨機(jī)變量熵，例如H(Y|X1X2 XN)推薦精選是在已知隨機(jī)向量X1,X2,XN取值的前提下，隨機(jī)變量Y的不確定性，亦即Y的每個(gè)取值可以提供的與X1,X2,XN取值無關(guān)的新信息量。練習(xí)3.2設(shè)p(xy)如下表所示。Y0 1011/3 01/3 1/3XX X試計(jì)算(1) H(XY)(2) H(X), H(Y) (3) H(X|Y), H(Y|X) 練習(xí)3.3 已知平均100人中有2人患有某種疾病，為了查明病情，必須進(jìn)行某項(xiàng)指標(biāo)的化驗(yàn)。這種化驗(yàn)的結(jié)果對(duì)于有病的人總是陽性的，對(duì)于健康的人來說有一半可能為陽性、一半可能為陰性。若X表示一個(gè)人是否罹患這種疾病，Y表示其化驗(yàn)結(jié)果是否為陽性

8、，試計(jì)算H(XY)。作業(yè)51. 范九倫等所著教材第38頁習(xí)題（三）推薦精選Y X0101/21/811/81/4設(shè)X和Y的聯(lián)合分布由下表給出：.試計(jì)算2. 設(shè)一個(gè)信源有6種信號(hào)，先后輸出的信號(hào)是獨(dú)立同分布的，其概率分布為 (1/2, 1/4, 1/8, 1/16, 1/32, 1/32)（1）該信源輸出1個(gè)符號(hào)所提供的平均信息量。（2）該信源輸出100個(gè)符號(hào)所提供的平均信息量。3. 在一段時(shí)間內(nèi)，某城市交通的忙閑天數(shù)按天氣陰晴和氣溫冷暖進(jìn)行分類統(tǒng)計(jì)如下：晴忙陰暖 8天忙冷 27天暖 16天晴忙陰暖 15天閑冷 4天暖 12天冷 12天冷 8天（1） 計(jì)算交通忙閑狀態(tài)的無條件熵。（2） 計(jì)算天氣和氣溫狀態(tài)下的條件熵。（3） 計(jì)算從天氣和氣溫狀態(tài)所獲得的關(guān)于交通狀態(tài)的信息。4. 世界職業(yè)棒球錦標(biāo)賽為7場(chǎng)賽制，只要其中一隊(duì)贏得4場(chǎng)，比賽就結(jié)束。設(shè)隨機(jī)變量X代表在比賽中A隊(duì)和B隊(duì)較量的可能結(jié)果。X的可能取值為AAAA，BABABAB和BBBAAAA，其中A,B分別表示A隊(duì)和