信息論中的重要不等式

信息論中的重要不等式第一頁，共四十六頁，2022年，8月28日主要內容信息論中的重要不等式相對熵互信息

對數(shù)函數(shù)基本不等式詹森不等式費諾不等式第二頁，共四十六頁，2022年，8月28日21.4

重要不等式對任意實數(shù)對任何兩組滿足條件的實數(shù)，等號成立的充要條件是

對數(shù)函數(shù)的基本不等式第三頁，共四十六頁，2022年，8月28日3重要不等式對任何兩組實數(shù)

,對數(shù)和不等式.第四頁，共四十六頁，2022年，8月28日4重要不等式詹森不等式

是一個隨機變量，表示的數(shù)學期望，是上凸函數(shù)，則費諾不等式是在中取值的隨機變量，記則第五頁，共四十六頁，2022年，8月28日5相對熵（互熵）兩個概率分布“差異性”的度量值，也是一種重要的信息度量.同一字母集上兩個概率分布的相對熵：對任意概率分布pi，它對其他概率分布qi的自信息量-logqi取數(shù)學期望時的差異.第六頁，共四十六頁，2022年，8月28日6相對熵的性質，等號成立是概率分布對的凸函數(shù)第七頁，共四十六頁，2022年，8月28日7互信息第八頁，共四十六頁，2022年，8月28日8互信息I(信息量)=不確定程度的減小量如果信道是無噪的，當信源發(fā)出消息x后，信宿必能準確無誤地收到該消息，徹底消除對x的不確定度，所獲得的信息量就是x的不確定度，即x本身含有的全部信息.信宿在收信前后，其消息的概率分布發(fā)生了變化，即其概率空間變了.第九頁，共四十六頁，2022年，8月28日9

1.互信息

(1)yj對xi的互信息I(xi;yj)

即：I(xi;yj)=I(xi)-I(xi/yj)p(xi)——先驗概率：信源發(fā)xi的概率

p(xi/yj)——后驗概率：信宿收到y(tǒng)j后，推測信源發(fā)xi的概率[含義]互信息I(xi;yj)=自信息I(xi)-條件自信息I(xi/yj)

＊I(xi)__信宿收到y(tǒng)j之前，對信源發(fā)xi的不確定度＊

I(xi/yj)__信宿收到y(tǒng)j之后，對信源發(fā)xi的不確定度＊

I(xi;yj)__收到y(tǒng)j而得到(關于xi

)的互信息

=不確定度的減少量互信息第十頁，共四十六頁，2022年，8月28日10(2)xi對yj的互信息I(yj;xi)[含義]信源發(fā)xi前、后，信宿收到y(tǒng)j的不確定度的減少互信息第十一頁，共四十六頁，2022年，8月28日112.互信息的性質

(1)對稱性——I(xi;yj)=I(yj;xi)(2)X與Y獨立時——I(xi;yj)=0(3)I(xi;yj)可為正、負、03.條件互信息給定zk條件下，xi與yj間互信息互信息第十二頁，共四十六頁，2022年，8月28日12I(xi;yj)可為正、負、0的舉例設yj代表“閃電”，則當xi代表“打雷”時，I(xi/yj)=0，I(xi;yj)=I(xi)＞0當xi代表“下雨”時，I(xi/yj)＜I(xi)，I(xi;yj)＞0當xi代表“霧天”時，I(xi/yj)=I(xi)，I(xi;yj)=0當xi代表“飛機正點起飛”時，I(xi/yj)＞I(xi)，I(xi;yj)＜0互信息第十三頁，共四十六頁，2022年，8月28日13平均互信息為了客觀地測度信道中流通的信息，定義互信息量I(xi;yj)在聯(lián)合概率空間p(x,y)中的統(tǒng)計平均值為Y對X的平均互信息量：X對Y的平均互信息量：第十四頁，共四十六頁，2022年，8月28日14平均互信息由關系式，可以推導出

表示通過信源和信道來觀測到達信宿信息量，而沒有觀察信宿．

第十五頁，共四十六頁，2022年，8月28日15平均互信息表示通過信道和信宿來觀察到達信宿信息量，而沒有觀察信源．第十六頁，共四十六頁，2022年，8月28日16平均互信息第十七頁，共四十六頁，2022年，8月28日171.Y對X：2.X對Y：3.合寫：平均互信息（表達式）H(X)–H(X/Y)H(Y)–H(Y/X)H(X)+H(Y)–H(XY)第十八頁，共四十六頁，2022年，8月28日181.I(X;Y)=H(X)–H(X/Y)(1)H(X)——信源熵：X的不確定度

H(X/Y)——已知Y時，對X仍剩的不確定度

[結論]“Y已知”使得對X的不確定度減小了,

即獲得了I(X;Y)

的信息量

(2)H(X)——信源含有的平均信息量(有用總體)

I(X/Y)——信宿收到的平均信息量(有用部分)

[結論]H(X/Y)—因信道有擾而丟失的平均信息量，故稱損失熵平均互信息（物理意義）第十九頁，共四十六頁，2022年，8月28日192.I(Y;X)=H(Y)–H(Y/X)=I(X;Y)(1)H(Y)——信宿收到的平均信息量

I(X;Y)——信道傳輸?shù)钠骄畔⒘縖結論]H(Y/X)——因信道有擾而產生的稱噪聲熵、散布度

(2)H(Y)——Y的先驗不定度

H(Y/X)——發(fā)出X后，關于Y的后驗不定度[結論]I(Y;X)——發(fā)X前后，Y不定度的減少量平均互信息（物理意義）第二十頁，共四十六頁，2022年，8月28日203.I(X;Y)=H(X)+H(Y)–H(XY)H(X)+H(Y)——通信前，整個系統(tǒng)的先驗不確定度H(XY)——通信后，整個系統(tǒng)仍剩的不確定度I(X;Y)——通信前后，整個系統(tǒng)不確定度的減少量，即傳輸?shù)幕バ畔結論]I(X;Y)——平均每傳送一個信源符號時，流經信道的平均(有用)信息量H(X)

I(X;Y)H(Y)

H(X|Y)

H(Y|X)

平均互信息（物理意義）第二十一頁，共四十六頁，2022年，8月28日21文氏圖

I(X;Y)=H(X)–H(X/Y)=H(Y)–H(Y/X)H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(XY)+I(X;Y)=H(X)+H(Y)H(X/Y)H(Y/X)H(Y)H(X)I(X;Y)H(XY)H(X)

I(X;Y)H(Y)

H(X/Y)

H(Y/X)

第二十二頁，共四十六頁，2022年，8月28日22文氏圖

I(X;Y)=H(X)–H(X/Y)=H(Y)–H(Y/X)H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(XY)+I(X;Y)=H(X)+H(Y)H(X/Y)H(Y/X)H(Y)H(X)I(X;Y)H(XY)H(X)

I(X;Y)H(Y)

H(X/Y)

H(Y/X)

第二十三頁，共四十六頁，2022年，8月28日23

1.非負性——I(X;Y)≥0，盡管I(xi;yj)的某些元素可為負

2.對稱性——I(X;Y)=I(Y;X)3.極值性——I(X;Y)≤H(X)I(X;Y)≤H(Y)[特例]I(X;Y)=H(X)–H(X/Y)

＊當H(X/Y)=0時，I(X;Y)=H(X)——信道無噪（X、Y一一對應）＊當I(X;Y)=0時，H(X/Y)=H(X)——信道中斷（X、Y獨立）平均互信息（性質）第二十四頁，共四十六頁，2022年，8月28日24

4.凸函數(shù)性

(1)I(X;Y)是信源概率分布P(X)的上凸函數(shù)（最大值）—信道容量的基礎；

(2)I(X;Y)是信道轉移概率P(Y/X)的下凸函數(shù)（最小值）—率失真函數(shù)的基礎.平均互信息（性質）第二十五頁，共四十六頁，2022年，8月28日25讓一百萬只猴子花一百萬年的時間來打字，我們就能最終得到一本圣經；如今，我們搞定了?。≈换私涍^相當程度縮減的時間。借助我們特別訓練的馬爾可夫猴，我們可以實時的重寫整部圣經了。

第二十六頁，共四十六頁，2022年，8月28日26馬爾可夫鏈（離散時間）馬爾可夫鏈，因安德烈?馬爾可夫（，1856－1922）得名，是數(shù)學中具有馬爾可夫性質的離散時間隨機過程。該過程中，在給定當前知識或信息的情況下，過去（即當期以前的歷史狀態(tài)）對于預測將來（即當期以后的未來狀態(tài)）是無關的。

第二十七頁，共四十六頁，2022年，8月28日27馬爾可夫鏈馬爾可夫性質是概率論中的一個概念。隨機過程被稱為是具有馬爾可夫性質，當給定現(xiàn)在狀態(tài)時該過程的未來狀態(tài)的條件概率分布，僅依賴于當前狀態(tài)。換句話說，在給定現(xiàn)在狀態(tài)時，它與過去狀態(tài)（即該過程的歷史路徑）是條件獨立的。具有馬爾可夫性質的過程通常稱之為馬爾可夫過程。

第二十八頁，共四十六頁，2022年，8月28日28馬爾可夫鏈馬爾可夫過程

Markovprocess

一類隨機過程。它的原始模型馬爾可夫鏈，由俄國數(shù)學家A.A.馬爾可夫于1907年提出。該過程具有如下特性：在已知目前狀態(tài)(現(xiàn)在)的條件下，它未來的演變(將來)不依賴于它以往的演變(過去)。例如森林中動物頭數(shù)的變化構成——馬爾可夫過程。在現(xiàn)實世界中，有很多過程都是馬爾可夫過程，如液體中微粒所作的布朗運動、傳染病受感染的人數(shù)、車站的候車人數(shù)等，都可視為馬爾可夫過程。第二十九頁，共四十六頁，2022年，8月28日29馬爾可夫鏈關于該過程的研究，1931年A.H.柯爾莫哥洛夫在《概率論的解析方法》一文中首先將微分方程等分析的方法用于這類過程，奠定了馬爾可夫過程的理論基礎。1951年前后，伊藤清建立的隨機微分方程的理論，為馬爾可夫過程的研究開辟了新的道路。1954年前后，W.費勒將半群方法引入馬爾可夫過程的研究。流形上的馬爾可夫過程、馬爾可夫向量場等都是正待深入研究的領域。

第三十頁，共四十六頁，2022年，8月28日30馬爾可夫鏈馬氏鏈模型描述一類重要的隨機動態(tài)過程的模型：

?系統(tǒng)在每個時期所處的狀態(tài)是隨機的；

?從一時期到下時期的狀態(tài)按一定概率轉移；

?下時期狀態(tài)只取決于本時期狀態(tài)和轉移概率已知現(xiàn)在，將來與過去無關（無后效性）；

馬氏鏈的兩個重要類型

1.正則鏈~從任一狀態(tài)出發(fā)經有限次轉移能以正概率到達另外任一狀態(tài)；

2.吸收鏈~存在吸收狀態(tài)（一旦到達就不會離開的狀態(tài)）,且從任一非吸收狀態(tài)出發(fā)經有限次轉移能以正概率到達吸收狀態(tài)．第三十一頁，共四十六頁，2022年，8月28日31如果隨機變量與關于條件獨立，即稱為馬爾可夫鏈；齊次馬爾可夫鏈:

如果轉移概率與所處的狀態(tài)無關,即馬爾可夫鏈第三十二頁，共四十六頁，2022年，8月28日32定理若是一個馬爾可夫鏈，則

若是齊次馬爾可夫鏈，則馬爾可夫鏈第三十三頁，共四十六頁，2022年，8月28日33

數(shù)據處理定理:

當消息通過多級處理器時，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。（X-Y-Z構成馬氏鏈）

第一級處理器第二級處理器XYZ輸入圖示級聯(lián)處理器平均互信息（應用）第三十四頁，共四十六頁，2022年，8月28日34

數(shù)據處理定理

I(X;Z)≤I(X;Y)

I(X;Z)≤I(Y;Z)[意義]信息不增原理——

每經一次處理，可能丟失一部分信息P(Y/X)P(Z/Y)XYZ平均互信息（應用）第三十五頁，共四十六頁，2022年，8月28日35

符號xi與符號對yjzk之間的互信息量定義為：

I(xi;yjzk)=log

定義

條件互信息量是在給定zk條件下，xi與yj之間的互信息量，定義為：

I（xi;yj|zk）=log

（三維）平均互信息量第三十六頁，共四十六頁，2022年，8月28日36I（xi;yjzk）＝I（xi;zk）＋I（xi;yj|zk）

說明:

一個聯(lián)合事件yjzk出現(xiàn)后所提供的有關xi的信息量I(xi;yjzk)等于zk事件出現(xiàn)后提供的有關xi的信息量I（xi;zk）,加上在給定zk條件下再出現(xiàn)yj事件后所提供的有關xi的信息量I（xi;yj/zk）．（三維）平均互信息量I（xi;yjzk）＝I（xi;yj）＋I（xi;zk/yj）第三十七頁，共四十六頁，2022年，8月28日37I（xi;yjzk）=I（xi;zkyj）證明:因為所以I（xi;yjzk）=I（xi;zkyj）（三維）平均互信息量第三十八頁，共四十六頁，2022年，8月28日38I（X;YZ）＝I（X;Y）＋I（X;Z|Y）

I(X;YZ)＝I(X;Z)＋I(X;Y/Z)

I(YZ;X)＝I(Y;X)＋I(Z;X/Y)

三維聯(lián)合集XYZ上的

平均互信息量

第三十九頁，共四十六頁，2022年，8月28日39

數(shù)據處理定理

I(X;Z)≤I(X;Y)

I(X;Z)≤I(Y;Z)[意義]信息不增原理——

每經一次處理，可能丟失一部分信息P(Y/X)P(Z/Y)XYZ平均互信息（應用）第四十頁，共四十六頁，2022年，8月28日40證明:

圖中

X是輸入消息集合

Y是第一級處理器的輸出消息集合

Z為第二級處理器的輸出消息集合

假設：在Y條件下X與Z相互獨立可得：即得(1)第四十一頁，共四十六頁，2022年，8月28日41而且(2){又由

I(X;YZ)＝I(X;Y)＋I(X;Z/Y)

和

I(