信息論中的重要不等式

1、信息論中的重要不等式第1頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一主要內(nèi)容信息論中的重要不等式相對熵互信息 對數(shù)函數(shù)基本不等式詹森不等式費(fèi)諾不等式第2頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一21.4 重要不等式對任意實(shí)數(shù)對任何兩組滿足條件 的實(shí)數(shù)，等號(hào)成立的充要條件是 對數(shù)函數(shù)的基本不等式第3頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一3重要不等式對任何兩組實(shí)數(shù) ,對數(shù)和不等式.第4頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一4重要不等式詹森不等式 是一個(gè)隨機(jī)變量， 表示 的數(shù)學(xué)期望， 是上凸函數(shù)，則費(fèi)諾不等式 是在 中取值的隨機(jī)變量，記

2、則 第5頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一5相對熵（互熵）兩個(gè)概率分布“差異性”的度量值，也是一種重要的信息度量 .同一字母集上兩個(gè)概率分布的相對熵： 對任意概率分布pi，它對其他概率分布qi的自信息量-logqi取數(shù)學(xué)期望時(shí)的差異.第6頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一6相對熵的性質(zhì) ，等號(hào)成立 是概率分布對 的凸函數(shù)第7頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一7互信息第8頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一8互信息I(信息量)=不確定程度的減小量 如果信道是無噪的，當(dāng)信源發(fā)出消息x后，信宿必能準(zhǔn)確無誤地收到該消

3、息，徹底消除對x的不確定度，所獲得的信息量就是x的不確定度，即x本身含有的全部信息. 信宿在收信前后，其消息的概率分布發(fā)生了變化，即其概率空間變了 .第9頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一9 1. 互信息 (1) yj對xi的互信息 I(xi;yj) 即： I(xi;yj)= I(xi)- I(xi/yj) p(xi) 先驗(yàn)概率：信源發(fā)xi的概率 p(xi/yj)后驗(yàn)概率：信宿收到y(tǒng)j后， 推測信源發(fā)xi的概率 含義 互信息I(xi;yj) =自信息I(xi) - 條件自信息I(xi/yj) I(xi) _信宿收到y(tǒng)j之前，對信源發(fā)xi的不確定度 I(xi/yj) _信宿

4、收到y(tǒng)j之后，對信源發(fā)xi的不確定度 I(xi;yj) _收到y(tǒng)j而得到(關(guān)于xi )的互信息 =不確定度的減少量互信息第10頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一10(2) xi對yj的互信息 I(yj;xi)含義 信源發(fā)xi前、后， 信宿收到y(tǒng)j的不確定度的減少互信息第11頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一112. 互信息的性質(zhì) (1) 對稱性I(xi ;yj) = I(yj ;xi) (2) X與Y獨(dú)立時(shí)I(xi ;yj) = 0 (3) I(xi;yj) 可為正、負(fù)、03. 條件互信息 給定zk條件下，xi 與yj間互信息互信息第12頁，共46頁

5、，2022年，5月20日，1點(diǎn)18分，星期一12I(xi;yj) 可為正、負(fù)、0的舉例設(shè)yj代表“閃電”，則當(dāng)xi代表“打雷”時(shí)，I(xi/yj) = 0，I(xi;yj) = I(xi) 0 當(dāng)xi代表“下雨”時(shí)，I(xi/yj) I(xi)，I(xi;yj) 0當(dāng)xi代表“霧天”時(shí)，I(xi/yj) = I(xi)，I(xi;yj) = 0當(dāng)xi代表“飛機(jī)正點(diǎn)起飛”時(shí)，I(xi/yj)I(xi)，I(xi;yj) 0 互信息第13頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一13平均互信息為了客觀地測度信道中流通的信息，定義互信息量I(xi;yj)在聯(lián)合概率空間p(x,y)中的統(tǒng)

6、計(jì)平均值為Y對X的平均互信息量：X對Y的平均互信息量：第14頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一14平均互信息由關(guān)系式 ，可以推導(dǎo)出 表示通過信源和信道來觀測到達(dá)信宿信息量，而沒有觀察信宿 第15頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一15平均互信息表示通過信道和信宿來觀察到達(dá)信宿信息量，而沒有觀察信源 第16頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一16平均互信息第17頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一171.Y對X：2.X對Y：3.合寫：平均互信息（表達(dá)式）H(X) H(X/Y)H(Y) H(Y/X)H(X) + H(

7、Y) H(XY)第18頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一181. I(X;Y)= H(X) H(X/Y) (1) H(X)信源熵：X的不確定度 H(X/Y)已知Y時(shí)，對X仍剩的不確定度 結(jié)論“Y已知”使得對X的不確定度減小了, 即獲得了I(X;Y) 的信息量 (2) H(X)信源含有的平均信息量(有用總體) I(X/Y)信宿收到的平均信息量(有用部分)結(jié)論 H(X/Y)因信道有擾而丟失的平均信息量，故稱損失熵平均互信息（物理意義）第19頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一192. I(Y;X)= H(Y) H(Y/X) = I(X;Y) (1) H(Y

8、)信宿收到的平均信息量 I(X;Y)信道傳輸?shù)钠骄畔⒘?結(jié)論 H(Y/X)因信道有擾而產(chǎn)生的稱噪聲熵、散布度 (2) H(Y)Y的先驗(yàn)不定度 H(Y/X)發(fā)出X后，關(guān)于Y的后驗(yàn)不定度結(jié)論 I(Y;X)發(fā)X前后，Y不定度的減少量平均互信息（物理意義）第20頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一203. I(X;Y) = H(X) + H(Y) H(XY)H(X) +H(Y)通信前，整個(gè)系統(tǒng)的先驗(yàn)不確定度H(XY) 通信后，整個(gè)系統(tǒng)仍剩的不確定度I(X;Y) 通信前后，整個(gè)系統(tǒng)不確定度的減少量，即傳輸?shù)幕バ畔⒔Y(jié)論 I(X;Y)平均每傳送一個(gè)信源符號(hào)時(shí)， 流經(jīng)信道的平均(有用)信

9、息量H(X) I(X;Y)H(Y) H(X|Y) H(Y|X) 平均互信息（物理意義）第21頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一21文氏圖 I(X;Y) = H(X) H(X/Y) = H(Y) H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) H(XY) + I(X;Y) = H(X) + H(Y)H(X/Y)H(Y/X)H(Y)H(X)I(X;Y)H(XY)H(X) I(X;Y)H(Y) H(X/Y) H(Y/X) 第22頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一22文氏圖 I(X;Y) = H(X) H(X/Y)

10、= H(Y) H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) H(XY) + I(X;Y) = H(X) + H(Y)H(X/Y)H(Y/X)H(Y)H(X)I(X;Y)H(XY)H(X) I(X;Y)H(Y) H(X/Y) H(Y/X) 第23頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一23 1.非負(fù)性I(X;Y) 0， 盡管I(xi;yj) 的某些元素可為負(fù) 2.對稱性I(X;Y) = I(Y;X) 3.極值性 I(X;Y) H(X) I(X;Y) H(Y) 特例 I(X;Y)= H(X) H(X/Y) 當(dāng) H(X/Y) = 0 時(shí)，

11、I(X;Y)= H(X) 信道無噪（X、Y一一對應(yīng)） 當(dāng) I(X;Y) = 0 時(shí)， H(X/Y) = H(X) 信道中斷（X、Y獨(dú)立）平均互信息（性質(zhì)）第24頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一24 4. 凸函數(shù)性 (1) I(X;Y) 是信源概率分布P(X) 的上凸函數(shù) （最大值）信道容量的基礎(chǔ)； (2) I(X;Y) 是信道轉(zhuǎn)移概率P(Y/X) 的下凸函數(shù) （最小值）率失真函數(shù)的基礎(chǔ).平均互信息（性質(zhì)）第25頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一25讓一百萬只猴子花一百萬年的時(shí)間來打字，我們就能最終得到一本圣經(jīng)；如今，我們搞定了！只花了經(jīng)過相當(dāng)程度縮

12、減的時(shí)間。借助我們特別訓(xùn)練的馬爾可夫猴，我們可以實(shí)時(shí)的重寫整部圣經(jīng)了。第26頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一26馬爾可夫鏈（離散時(shí)間）馬爾可夫鏈，因安德烈馬爾可夫（，18561922）得名，是數(shù)學(xué)中具有馬爾可夫性質(zhì)的離散時(shí)間隨機(jī)過程。該過程中，在給定當(dāng)前知識(shí)或信息的情況下，過去（即當(dāng)期以前的歷史狀態(tài)）對于預(yù)測將來（即當(dāng)期以后的未來狀態(tài)）是無關(guān)的。 第27頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一27馬爾可夫鏈馬爾可夫性質(zhì)是概率論中的一個(gè)概念。隨機(jī)過程被稱為是具有馬爾可夫性質(zhì)，當(dāng)給定現(xiàn)在狀態(tài)時(shí)該過程的未來狀態(tài)的條件概率分布，僅依賴于當(dāng)前狀態(tài)。換句話說，在給定

13、現(xiàn)在狀態(tài)時(shí)，它與過去狀態(tài)（即該過程的歷史路徑）是條件獨(dú)立的。具有馬爾可夫性質(zhì)的過程通常稱之為馬爾可夫過程。 第28頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一28馬爾可夫鏈馬爾可夫過程 Markov process 一類隨機(jī)過程。它的原始模型馬爾可夫鏈，由俄國數(shù)學(xué)家A.A.馬爾可夫于1907年提出。該過程具有如下特性：在已知目前狀態(tài) (現(xiàn)在)的條件下，它未來的演變 (將來)不依賴于它以往的演變 ( 過去 ) 。 例如森林中動(dòng)物頭數(shù)的變化構(gòu)成馬爾可夫過程 。在現(xiàn)實(shí)世界中，有很多過程都是馬爾可夫過程，如液體中微粒所作的布朗運(yùn)動(dòng)、傳染病受感染的人數(shù)、車站的候車人數(shù)等，都可視為馬爾可夫過程

14、。第29頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一29馬爾可夫鏈關(guān)于該過程的研究，1931年A.H.柯爾莫哥洛夫在概率論的解析方法一文中首先將微分方程等分析的方法用于這類過程，奠定了馬爾可夫過程的理論基礎(chǔ)。1951年前后，伊藤清建立的隨機(jī)微分方程的理論，為馬爾可夫過程的研究開辟了新的道路。1954年前后，W.費(fèi)勒將半群方法引入馬爾可夫過程的研究。流形上的馬爾可夫過程、馬爾可夫向量場等都是正待深入研究的領(lǐng)域。第30頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一30馬爾可夫鏈馬氏鏈模型描述一類重要的隨機(jī)動(dòng)態(tài)過程的模型：系統(tǒng)在每個(gè)時(shí)期所處的狀態(tài)是隨機(jī)的；從一時(shí)期到下時(shí)期的狀態(tài)

15、按一定概率轉(zhuǎn)移；下時(shí)期狀態(tài)只取決于本時(shí)期狀態(tài)和轉(zhuǎn)移概率已知現(xiàn)在，將來與過去無關(guān)（無后效性）；馬氏鏈的兩個(gè)重要類型 1. 正則鏈 從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)另外任一狀態(tài)； 2. 吸收鏈 存在吸收狀態(tài)（一旦到達(dá)就不會(huì)離開的狀態(tài)）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)吸收狀態(tài)第31頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一31如果隨機(jī)變量 與 關(guān)于 條件獨(dú)立，即 稱 為馬爾可夫鏈；齊次馬爾可夫鏈: 如果轉(zhuǎn)移概率與所處的狀態(tài) 無關(guān),即馬爾可夫鏈第32頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一32定理 若 是一個(gè)馬爾可夫鏈，則 若是齊次馬爾可夫鏈，則

16、馬爾可夫鏈第33頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一33 數(shù)據(jù)處理定理 : 當(dāng)消息通過多級處理器時(shí)，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。 （X-Y-Z構(gòu)成馬氏鏈） 第一級處理器第二級處理器XYZ輸入圖示 級聯(lián)處理器平均互信息（應(yīng)用）第34頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一34 數(shù)據(jù)處理定理 I(X;Z) I(X;Y) I(X;Z) I(Y;Z)意義 信息不增原理 每經(jīng)一次 處理，可能丟失一部分信息P(Y/X)P(Z/Y)XYZ平均互信息（應(yīng)用）第35頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一35 符號(hào)xi與

17、符號(hào)對yj zk之間的互信息量定義為： I(xi;yjzk)=log 定義 條件互信息量是在給定zk條件下，xi與yj之間的互信息量，定義為： I（xi;yj|zk）=log （三維）平均互信息量第36頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一36I（xi;yjzk）I（xi; zk）I（xi;yj |zk） 說明: 一個(gè)聯(lián)合事件yjzk出現(xiàn)后所提供的有關(guān)xi的信息量I(xi;yjzk)等于zk事件出現(xiàn)后提供的有關(guān)xi的信息量I（xi;zk）,加上在給定zk條件下再出現(xiàn)yj事件后所提供的有關(guān)xi的信息量 I（xi;yj/zk）（三維）平均互信息量I（xi;yjzk）I（xi; y

18、j）I（xi;zk /yj）第37頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一37I（xi;yjzk）= I（xi;zkyj）證明:因?yàn)?所以 I（xi;yjzk）= I（xi;zkyj）（三維）平均互信息量第38頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一38I（X;YZ）I（X;Y）I（X;Z|Y） I(X;YZ)I(X;Z)I(X;Y/Z) I(YZ;X)I(Y;X)I(Z;X/Y) 三維聯(lián)合集XYZ上的 平均互信息量 第39頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一39 數(shù)據(jù)處理定理 I(X;Z) I(X;Y) I(X;Z) I(Y;Z)意義 信息不增原理 每經(jīng)一次 處理，可能丟失一部分信息P(Y/X)P(Z/Y)XYZ平均互信息（應(yīng)用）第40頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一40證明: 圖中 X是輸入消息集合 Y是第一級處理器的輸出消息集合 Z為第二級處理器的輸出消息集合 假設(shè)：在Y條件下X與Z相互獨(dú)立可得：即得 (1)第41頁，共46頁，2022年，5月20日，1點(diǎn)18分，星期一41而且 (2)又由 I(X;YZ)I(X;Y)I(X;Z/Y) 和 I(X;YZ)I(X;ZY)I(X;Z)I(X;Y/Z) 得: I(X;Z)= I(X;Y)I(X;Z/Y) -