信息論信息的統(tǒng)計度量

信息論信息的統(tǒng)計度量第一頁，共三十七頁，2022年，8月28日主要內容

從概率的角度研究問題自信息量互信息量平均自信息量平均互信息量信息的大小多個信息之間關聯(lián)的密切程度第二頁，共三十七頁，2022年，8月28日離散信號和連續(xù)信號連續(xù)信號：時間和幅度都是連續(xù)的離散信號：時間和幅度都是離散的，是我們的研究重點第三頁，共三十七頁，2022年，8月28日離散信號和連續(xù)信號之間的轉換連續(xù)信號離散時間信號離散信號抽樣離散化插值第四頁，共三十七頁，2022年，8月28日2.1自信息量和條件自信息量定義

任意隨機事件的自信息量定義為該事件發(fā)生概率的對數(shù)的負值。假設事件xi發(fā)生的概率為p(xi)，則其自信息定義式為自信息量一般以2為底，單位為比特。概率自信息量第五頁，共三十七頁，2022年，8月28日自信息量的含義自信息量衡量的是隨機事件的不確定性。事件的不確定性越大，其自信息量也越大；反之亦然，兩者成正比。第六頁，共三十七頁，2022年，8月28日自信息量的例子假設“人每天都要吃飯”這個事件發(fā)生的概率是99.99%，則該事件的自信息量為：這表明該事件的不確定性很小。假設“美國總統(tǒng)的專機發(fā)生空難”這個事件發(fā)生的概率是0.01%，則該事件的自信息量為：這表明該事件的不確定性很大。第七頁，共三十七頁，2022年，8月28日自信息量的例子例

設在甲袋中放入n個不同阻值的電阻，，每個電阻被取出的概率是相等的，，則事件“取出的電阻的阻值為i”的信息量為：第八頁，共三十七頁，2022年，8月28日自信息量的例子例（續(xù)）設在甲袋中放入個不同阻值的電阻，其中1?的1個，2?的2個，…，n?的n個，則那么，事件“取出的電阻的阻值為i”的信息量為：第九頁，共三十七頁，2022年，8月28日條件自信息量定義

事件x在事件y給定的條件下的條件自信息量定義為：含義：知道y之后仍然保留的關于x的不確定性。第十頁，共三十七頁，2022年，8月28日自信息量事件本身的不確定性。條件自信息量知道了另一件事情之后，仍然保留的不確定性。衡量的都是不確定性第十一頁，共三十七頁，2022年，8月28日條件自信息量的例子事件：x=“美國總統(tǒng)的專機發(fā)生空難”y=“今天是9.11”概率：p(x)=0.01%p(x|y)=1%事件x的自信息量為：事件x在事件y發(fā)生的情況下的條件自信息量為：第十二頁，共三十七頁，2022年，8月28日條件自信息量的例子例

設xi表示棋子落入第i行；yj表示棋子落入第j列，i,j=1,2,…,8，則（1）（2）第十三頁，共三十七頁，2022年，8月28日2.2互信息量定義

隨機事件y的出現(xiàn)給出關于事件x的信息量，定義為互信息量。定義式：第十四頁，共三十七頁，2022年，8月28日互信息量的含義還可表示為：含義：本身的不確定性，減去知道了事件y之后仍然保留的不確定性，即由y所提供的關于x的信息量互信息量=自信息量-尚存在的不確定性第十五頁，共三十七頁，2022年，8月28日互信息量的例子事件：x=“美國總統(tǒng)的專機發(fā)生空難”y=“今天是9.11”概率：p(x)=0.01%p(x|y)=1%前面已求出自信息量和條件自信息量為：而x和y的互信息量為：第十六頁，共三十七頁，2022年，8月28日互信息量的性質概率乘法公式全概率公式第十七頁，共三十七頁，2022年，8月28日互信息量的性質1.互信息量的互易性含義：由y所提供的關于x的信息量等于由x

所提供的關于y的信息量第十八頁，共三十七頁，2022年，8月28日互信息量的性質2.互信息量可為0何時為0：這表明當x和y統(tǒng)計獨立時，也就是x和y沒有什么關系的時候，互信息量為0。含義：一個事件不能提供另一個事件的任何信息。即一個事件發(fā)生之后，對于確定另一個事件是否發(fā)生沒有任何幫助。第十九頁，共三十七頁，2022年，8月28日互信息量的性質3.互信息量可正可負正：y的出現(xiàn)有助于肯定x的出現(xiàn)

x：張三病了。

y：張三沒來上課。負：y的出現(xiàn)有助于否定x的出現(xiàn)

x：李四考了全班第一名。

y：李四沒有復習功課。無論正負，互信息量的絕對值越大，x和y的關系越密切。第二十頁，共三十七頁，2022年，8月28日互信息量的性質4.互信息量不可能大于其中任一事件的自信息量互信息量=自信息量-尚存在的不確定性第二十一頁，共三十七頁，2022年，8月28日互信息量的例子例2.2.1已知條件p(B)=p(C)=p(D)=1/3,p(D|E)=0,p(B|E)=p(C|E)=1/2p(C|EF)=p(D|EF)=0,p(B|EF)=1互信息量第二十二頁，共三十七頁，2022年，8月28日2.3平均自信息量自信息量的均值定義

集X上，隨機變量I(xi)的數(shù)學期望定義為平均自信息量。又稱作集X的信息熵，簡稱熵。第二十三頁，共三十七頁，2022年，8月28日平均自信息量含義0*log0=0自信息量：集合X中某一個元素xi的信息量平均自信息量：集合X中所有元素信息量的平均值集合X的平均不確定性第二十四頁，共三十七頁，2022年，8月28日平均自信息量的例子例平均每個畫面可提供的信息量：平均每篇千字文可提供的信息量：第二十五頁，共三十七頁，2022年，8月28日平均自信息量的例子例第二十六頁，共三十七頁，2022年，8月28日凸函數(shù)一維和二維凸集合的例子凸集合非凸集合第二十七頁，共三十七頁，2022年，8月28日熵函數(shù)的數(shù)學特性1.對稱性：集合中各分量的次序任意變更時，熵值（平均自信息量）不變從熵（平均自信息量）的公式上來看，該結論是明顯的深層含義：熵是有局限性的。它是平均不確定性的度量，抹煞了個體的特性。第二十八頁，共三十七頁，2022年，8月28日熵函數(shù)的數(shù)學特性2.非負性：H(X)≥0源于自信息量的非負性。什么時候為0：有且僅有一個pi=1，其余的pi=0，即確定信源。第二十九頁，共三十七頁，2022年，8月28日熵函數(shù)的數(shù)學特性3.擴展性含義：集合X中，一個事件發(fā)生的概率比其它事件發(fā)生的概率小得多時，這個事件對于集合的熵值的貢獻可以忽略。集合X有q個事件，集合Y比X僅僅是多了一個概率接近0的事件，則兩個集合的熵值一樣。第三十頁，共三十七頁，2022年，8月28日熵函數(shù)的數(shù)學特性4.極值性：各事件等概率發(fā)生時，熵最大。5.確定性：集合中只要有一個事件為必然事件，則其余事件為不可能事件，熵為0。H(1,0)=H(1,0,0)=…=H(1,0,…,0)=0第三十一頁，共三十七頁，2022年，8月28日條件熵定義

條件自信息量I(yj|xi)的概率均值定義為條件熵。含義：仍然保留的平均不確定性。第三十二頁，共三十七頁，2022年，8月28日為什么要用聯(lián)合概率進行平均第三十三頁，共三十七頁，2022年，8月28日2.4平均互信息量定義2.4.2平均互信息量互信息量的均值第三十四頁，共三十七頁，2022年，8月28日平均互信息量的性質1.非負性I(X;Y)≥02.互易性（對稱性）I(X;Y)=I(Y;X)對稱性表明：從集合Y中獲得的關于X的信息量（I