第二章信息熵

上次課的回顧什么是信息？信號，消息，信息的區(qū)別？通信系統(tǒng)模型Shannon信息論重點研究內(nèi)容？1通信系統(tǒng)模型對信息論的學(xué)習(xí)從信源開始由于信源發(fā)送什么消息預(yù)先是不可知的，只能用概率空間來描述信源。2單符號離散信源信源發(fā)出的消息是離散的，有限的或可數(shù)的，且一個符號代表一條完整的消息。例如：投骰子每次只能是{1，2，…6}中的某一個。其中的數(shù)叫做事件/元素，以一定的概率出現(xiàn)；

信源可看作是具有一定概率分布的某些符號的集合。3對于離散隨機變量，取值于集合單符號離散信源的數(shù)學(xué)模型為(2.1.2)對任一記單符號離散信源的數(shù)學(xué)模型4

需要注意的是：大寫字母X代表隨機變量，指的是信源整體。帶下標(biāo)的小寫字母:代表隨機事件的某一結(jié)果或信源的某個元素。兩者不可混淆。單符號離散信源的數(shù)學(xué)模型52.1.2自信息和信息熵自信息量

聯(lián)合自信息量條件自信息量信息量61是非負值23的單調(diào)遞減函數(shù)。4自信息量引入必然事件不可能的事件一個隨機事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，簡稱自信息。7單位：比特(2為底)、奈特、笛特（哈特）自信息量1定義：一個隨機事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，簡稱自信息。以何為底其對應(yīng)單位轉(zhuǎn)換關(guān)系應(yīng)用場合以2為底比特(bit，binaryunit的縮寫)1bit=0.693Net1bit=0.301Hart信息論中常用，常將底數(shù)2略去不寫。以e為底奈特1Net=㏒2e≈1.433bit為信息論公式推導(dǎo)方便使用。以10為底笛特(Det，DecimalUnit的縮寫)哈特1Hart=㏒210≈3.322bit當(dāng)隨機事件的概率很小時，運算方便。8自信息量的含義1當(dāng)隨機事件ai發(fā)生以前，I(ai)表示事件ai的不確定性；當(dāng)隨機事件ai發(fā)生以后，I(ai)表示事件ai所含有(或所提供)的信息量。

注意:信息量是數(shù)值，信息量單位只是為了表示不同底數(shù)的對數(shù)值，并沒有量綱的含義。9聯(lián)合自信息量

2針對兩個符號離散信源10代入式(2.1.3)就有定義：聯(lián)合自信息

11

條件自信息量

3定義：12練習(xí)題中國福利彩票雙色球規(guī)則：中獎號碼為7位，從紅球選六個，從藍色球中選一個，紅球為32選1，藍色球為16選1。某期中獎號碼為：71621171192（1）猜中第一個球為“7”的難度？（2）第一個球出現(xiàn)后，猜中第二個球號碼為“16”的難度？（3）已知前五個球號碼，猜中第六個號碼為“19”的難度？（4）猜中全部紅籃球的難度？13信源熵熵條件熵聯(lián)合熵信源熵14已知單符號離散無記憶信源的數(shù)學(xué)模型信源熵115信源熵1

自信息量指的是某一信源發(fā)出某一消息所含的信息，不能作為整個信源的信息測度。信源整體的信息量如何測定呢？

我們可以定義信源各個離散消息的自信量的數(shù)學(xué)期望為信源的平均信息量，以此來測定信源整體的信息量。16信源熵

各離散消息自信息量的數(shù)學(xué)期望，即信源的平均信息量。（2.1.16）信源的信息熵；香農(nóng)熵；無條件熵；熵函數(shù)；熵。

單位：比特/符號。（底數(shù)不同，單位不同）17例[2.1.3]由式(2.1.16)的定義，該信源的熵為

繼續(xù)討論上一節(jié)的例題，即某地二月份天氣構(gòu)成的信源為18信源熵H(X)表示信源輸出后，離散消息所提供的平均信息量。信源熵H(X)表示信源輸出前，信源的平均不確定度。信源熵H(X)反映了變量X的隨機性。123信源熵的意義H(X)=0.08bit/sign,H(Y)=1bit/sign,說明X的不確定小。19補充例題：一個布袋內(nèi)放有100個球，其中80個球是紅色的，20個球是白色的，問：（1）若隨機摸取一個球，猜測其顏色，求平均摸取一次所能獲得的自信息量。（2）若每次摸出一個球后又放回袋中，再進行下一次的摸取，那么如此摸取n次后，求平均摸取一次所能獲得的自信息量。解：（1）概率空間為：x1表示摸出的球為紅球，x2表示摸出的球為白球當(dāng)被告知摸出的是紅球，則獲得的信息量是：I(x1)=－㏒p(x1)=－㏒0.8(比特)當(dāng)被告知摸出的是白球，則獲得的信息量是：I(x2)=－㏒p(x2)=－㏒0.2(比特)20（2）每次摸出一個球后又放回袋中，再進行下一次的摸取，如此摸取n次后，紅球出現(xiàn)的次數(shù)為np(x1)次，白球出現(xiàn)的次數(shù)為np(x2)次。隨機摸取n次后共獲得信息量為：∴平均摸取一次所能獲得的自信息量為：

=0.72（比特/次）

np(x1)I(x1)+np(x2)I(x2)補充例題21此例說明:①自信息量I(x1)和I(x2)只是表征信源中各個符號的不確定度，一個信源總是包含著多個符號消息，各個符號消息又按概率空間的先驗概率分布，因此各個符號的自信息量就不同。所以自信息量不能作為信源總體的信息量；②可以用平均自信息量H(x)，即信息熵H(x)從平均意義上來表征信源的總體特征，也可以表征信源的平均不確定性。補充例題22信源熵與信息量的比較信源的平均不確定度消除不定度得到信息與信源是否輸出無關(guān)接收后才得到信息確定值一般為隨機量有限值可為無窮大

熵信息量23條件熵

2

定義在聯(lián)合集(XY)上，定義條件自信息量的數(shù)學(xué)期望為集合Y相對于集合X的條件熵。

特別地，當(dāng)X，Y相互獨立時，有

H(X|Y)=H(X)下面根據(jù)定義，討論條件熵的具體計算方法。

(1)根據(jù)前文的定義可知，觀察到消息bj后，ai保留的不確定性為

I(ai|bj)=－logp(ai|bj)24條件熵

2

(2)根據(jù)信息熵的定義，觀測到消息bj后，整個信源X保留的平均不確定性為

(3)最后分析觀測到整個信源集合Y后，整個信源X所保留的平均不確定性，就是條件熵H(X|Y)的物理意義在于，觀測到集合Y后，集合X保留或者剩余的不確定性。

25條件熵

2【例2.2-3】已知X，Y∈｛0，1｝，X，Y構(gòu)成的聯(lián)合概率為p(00)=p(11)=1/8，p(01)=p(10)=3/8，計算條件熵H(X/Y)。解：∵題中已知p(xiyj)，需求p(xi/yj)∵p(xi/yj)=p(xiyj)/p(yj)，已知p(xiyj)，求p(yj)26條件熵

2當(dāng)j=0時，p(y1=0)=p(x1y1=00)+p(x2y1=10)=1/8+3/8=4/8=1/2當(dāng)j=1時，p(y2=1)=p(x1y2=01)+p(x2y2=11)=1/8+3/8=4/8=1/2P(0/0)=p(x=0/y=0)=p(x1y1)/p(y1)=p(00)/p(0)=(1/8)∕(1/2)=1/4=p(1/1)同理有p(1/0)=p(0/1)=3/4∴H(X/Y)=-1/8㏒(1/4)-3/8㏒(3/4)-3/8㏒(3/4)-1/8㏒(1/4)=0.406（比特/符號）27聯(lián)合熵

328信源熵、條件熵、聯(lián)合熵之間的關(guān)系4H(XY)=H(X)＋H(Y/X)

H(XY)=H(Y)＋H(X/Y)

條件熵小于無條件熵，H(Y/X)≤H(Y)。當(dāng)且僅當(dāng)y和x相互獨立p(y/x)=p(y)，H(Y/X)=H(Y)。兩個條件下的條件熵小于一個條件下的條件熵H(Z/X,Y)≤H(Z/Y)當(dāng)且僅當(dāng)p(z/x,y)=p(z/y)時取等號。29信源熵、條件熵、聯(lián)合熵之間的關(guān)系4

聯(lián)合熵小于信源熵之和，H(YX)≤H(Y)+H(X)當(dāng)兩個集合相互獨立時得聯(lián)合熵的最大值H(XY)max=H(X)+H(Y)信源熵、條件熵、聯(lián)合熵之間的關(guān)系30總結(jié)531(1)非負性

H(X)00＜p(ai)＜1，當(dāng)取對數(shù)的底大于1時，logp(ai)＜0，-p(ai)

logp(ai)

＞0，即得到的熵為正值。只有當(dāng)隨機變量是一確知量時熵才等于零。2.信息熵的基本性質(zhì)

32(2)確定性H(1,0)=H(1,0,0)=H(1,0,0…,0)=0性質(zhì)說明：從總體來看，信源雖然有不同的輸出符號，但它只有一個符號幾乎必然出現(xiàn)，而其它符號則是幾乎不可能出現(xiàn)，那么，這個信源是一個確知信源，其熵等于零。

信息熵的基本性質(zhì)

33信息熵的基本性質(zhì)

(3)對稱性X中的n個消息概率改變順序，不影響熵的值。34X與Z信源的差別：它們所選擇的具體消息/符號含義不同X與Y信源的差別：選擇的同一消息,概率不同三者的信源熵是相同的，總體統(tǒng)計特性相同信息熵的基本性質(zhì)

(3)對稱性35熵函數(shù)的對稱性表明:

信源熵只與信源概率空間的總體結(jié)構(gòu)有關(guān)，與概率分量和各信源符號的對應(yīng)關(guān)系，乃至各信源符號本身無關(guān)。信息熵的基本性質(zhì)

(3)對稱性36(4)擴展性性質(zhì)說明：由n個消息增加到n+1個，若它的概率很小，可忽略對熵的貢獻，雖然概率很小的事件出現(xiàn)后，給予接收者的信息量很大，但對熵的貢獻很小，可以忽略不計信息熵的基本性質(zhì)

37(5)可加性

H(XY)=H(X)+H(Y)

X和Y獨立H（XY）=H（X）+H（Y/X）H（XY）=H（Y）+H（X/Y）信息熵的基本性質(zhì)

證明:38

信源中包含n個不同離散消息時，信源熵H(X)有

當(dāng)且僅當(dāng)X中各個消息出現(xiàn)的概率全相等時，上式取等號。信息熵的基本性質(zhì)

（6）極值性——最大離散熵定理39證明：40對于單符號離散信源，當(dāng)信源呈等概率分布時具有最大熵。信息熵的基本性質(zhì)

41二進制信源是離散信源的一個特例。H(X)=-log–(1-)log(1-)=H()

即信息熵H(x)是的函數(shù)。取值于[0，1]區(qū)間，可畫出熵函數(shù)H()的曲線來，如右圖所示。舉例

42

已知Y后，從中得到了一些關(guān)于X的信息，從而使X的不確定度下降。極值性信息熵的基本性質(zhì)

可以證明43信息熵的基本性質(zhì)

（7）條件熵不大于無條件熵

H(X)≥H(X|Y)

當(dāng)且僅當(dāng)X與Y相互獨立時等號成立。

證明根據(jù)條件熵的定義為了利用香農(nóng)輔助定理，將上述公式中的p(ai|bj)看做香農(nóng)輔助定理中的pi，為了證明上述定理成立，需要構(gòu)造合適的qi。由于證明目標(biāo)是為了找出條件熵H(X|Y)與熵H(X)之間的關(guān)系，所以令qi=p(ai)，于是得到44信息熵的基本性質(zhì)

（7）條件熵不大于無條件熵代入上述表達式，可以得到即H(X)≥H(X|Y)證畢。45信源分類連續(xù)信源隨機變量信源離散信源單符號多符號隨機矢量隨機過程離散無記憶信源離散有記憶信源平穩(wěn)序列信源馬爾可夫信源46

輸出的消息序列中各符號之間無相互依賴關(guān)系的信源。亦稱為單符號離散平穩(wěn)無記憶信源的擴展信源。序列長度就是擴展次數(shù)。例:單符號信源{0，1},經(jīng)過二次擴展變成了：{00，01，10，11}經(jīng)過三次擴展，形成的信源？經(jīng)過N次擴展，形成的信源？2.3多符號離散平穩(wěn)無記憶信源無記憶信源的擴展信源472.3.1數(shù)學(xué)模型482.3.1數(shù)學(xué)模型49可證明序列信息的熵為2.3.2信源熵50單符號信源如下,求二次擴展信源熵擴展信源：例2.2.2例題51例題52反映信源記憶特性的兩方法：

用聯(lián)合概率反映信源記憶特性－平穩(wěn)序列信源用條件概率反映信源記憶特性－馬爾可夫信源122.3.3有記憶信源53各維聯(lián)合概率均與時間起點無關(guān)離散平穩(wěn)信源54二維信源155二維信源的信源熵56一般地信源熵的說明結(jié)論：離散無記憶信源的二次擴展信源可以看作二維離散平穩(wěn)信源的特例57例2.2.3原始信源：條件概率：X1X2例題58平均符號熵：信源熵：例題59N維信源260?N維信源的信源熵61平均符號熵：極限熵：平均符號熵與極限熵62對離散平穩(wěn)信源若H1(X)＜，則有以下性質(zhì)：(1)

多維離散有記憶信源的熵是起始時刻隨機變量X1的熵與各階條件熵之和；(2)條件熵H(XN/X1X2…XN-1)隨N的增加是遞減的；一些性質(zhì)63(3)平均符號熵HN(X)也是隨N增加而遞減的；(4)H

存在，并且:一些性質(zhì)64小結(jié)離散無記憶信源的N次擴展離散平穩(wěn)有記憶信源平均符號熵極限熵652.3.4有記憶的特點：有限的相關(guān)符號組構(gòu)成的序列有限記憶長度；

發(fā)出一個個符號，每發(fā)一個符號狀態(tài)要發(fā)生轉(zhuǎn)移。信源輸出不僅與符號集有關(guān)，而且與狀態(tài)有關(guān)；狀態(tài)12366

以信源輸出符號序列內(nèi)各符號間條件概率來反映記憶特性的一類信源。某時刻輸出符號僅與此刻信源所處的狀態(tài)有關(guān)；某時刻所處狀態(tài)由當(dāng)前輸出符號和前一時刻信源狀態(tài)唯一確定。馬爾可夫信源126768

信源輸出當(dāng)前符號僅與前面m個符號有關(guān)的馬爾可夫信源。m階馬爾可夫信源697071二階馬爾可夫信源{00011011}香農(nóng)線圖：例2.3.472例2.3.4

平穩(wěn)信源（如果不平穩(wěn)則先把其變成分段平穩(wěn)的）。12173

馬爾可夫信源發(fā)出一個個符號，有限長度有記憶信源發(fā)出一組組符號；

一般有記憶信源用聯(lián)合概率描述符號間的關(guān)聯(lián)關(guān)系，馬爾可夫信源用條件概率（狀態(tài)轉(zhuǎn)移概率）來描述符號間的關(guān)聯(lián)關(guān)系；m階馬爾可夫與一般記憶長度為m的有記憶信源的區(qū)別：12274

馬爾可夫信源記憶長度雖然有限，但依賴關(guān)系延伸到無窮遠。長為m的有限記憶信源符號間的依賴關(guān)系僅限于每組內(nèi)，組與組之間沒有依賴關(guān)系；375476§2.2.5信源冗余度77

空格：0.2E：0.105T：0.072

O：0.0654A：0.063N：0.059I：0.055R：0.054S：0.052

H：0.047D：0.035L：0.029C：0.023F、U：0.025M：0.021P：0.175Y、W：0.012G：0.011B：0.0105

V：0.008K：0.003X：0.002J