信息論信息的統(tǒng)計(jì)度量

信息論信息的統(tǒng)計(jì)度量第一頁，共三十七頁，2022年，8月28日主要內(nèi)容

從概率的角度研究問題自信息量互信息量平均自信息量平均互信息量信息的大小多個(gè)信息之間關(guān)聯(lián)的密切程度第二頁，共三十七頁，2022年，8月28日離散信號(hào)和連續(xù)信號(hào)連續(xù)信號(hào)：時(shí)間和幅度都是連續(xù)的離散信號(hào)：時(shí)間和幅度都是離散的，是我們的研究重點(diǎn)第三頁，共三十七頁，2022年，8月28日離散信號(hào)和連續(xù)信號(hào)之間的轉(zhuǎn)換連續(xù)信號(hào)離散時(shí)間信號(hào)離散信號(hào)抽樣離散化插值第四頁，共三十七頁，2022年，8月28日2.1自信息量和條件自信息量定義

任意隨機(jī)事件的自信息量定義為該事件發(fā)生概率的對(duì)數(shù)的負(fù)值。假設(shè)事件xi發(fā)生的概率為p(xi)，則其自信息定義式為自信息量一般以2為底，單位為比特。概率自信息量第五頁，共三十七頁，2022年，8月28日自信息量的含義自信息量衡量的是隨機(jī)事件的不確定性。事件的不確定性越大，其自信息量也越大；反之亦然，兩者成正比。第六頁，共三十七頁，2022年，8月28日自信息量的例子假設(shè)“人每天都要吃飯”這個(gè)事件發(fā)生的概率是99.99%，則該事件的自信息量為：這表明該事件的不確定性很小。假設(shè)“美國總統(tǒng)的專機(jī)發(fā)生空難”這個(gè)事件發(fā)生的概率是0.01%，則該事件的自信息量為：這表明該事件的不確定性很大。第七頁，共三十七頁，2022年，8月28日自信息量的例子例

設(shè)在甲袋中放入n個(gè)不同阻值的電阻，，每個(gè)電阻被取出的概率是相等的，，則事件“取出的電阻的阻值為i”的信息量為：第八頁，共三十七頁，2022年，8月28日自信息量的例子例（續(xù)）設(shè)在甲袋中放入個(gè)不同阻值的電阻，其中1?的1個(gè)，2?的2個(gè)，…，n?的n個(gè)，則那么，事件“取出的電阻的阻值為i”的信息量為：第九頁，共三十七頁，2022年，8月28日條件自信息量定義

事件x在事件y給定的條件下的條件自信息量定義為：含義：知道y之后仍然保留的關(guān)于x的不確定性。第十頁，共三十七頁，2022年，8月28日自信息量事件本身的不確定性。條件自信息量知道了另一件事情之后，仍然保留的不確定性。衡量的都是不確定性第十一頁，共三十七頁，2022年，8月28日條件自信息量的例子事件：x=“美國總統(tǒng)的專機(jī)發(fā)生空難”y=“今天是9.11”概率：p(x)=0.01%p(x|y)=1%事件x的自信息量為：事件x在事件y發(fā)生的情況下的條件自信息量為：第十二頁，共三十七頁，2022年，8月28日條件自信息量的例子例

設(shè)xi表示棋子落入第i行；yj表示棋子落入第j列，i,j=1,2,…,8，則（1）（2）第十三頁，共三十七頁，2022年，8月28日2.2互信息量定義

隨機(jī)事件y的出現(xiàn)給出關(guān)于事件x的信息量，定義為互信息量。定義式：第十四頁，共三十七頁，2022年，8月28日互信息量的含義還可表示為：含義：本身的不確定性，減去知道了事件y之后仍然保留的不確定性，即由y所提供的關(guān)于x的信息量互信息量=自信息量-尚存在的不確定性第十五頁，共三十七頁，2022年，8月28日互信息量的例子事件：x=“美國總統(tǒng)的專機(jī)發(fā)生空難”y=“今天是9.11”概率：p(x)=0.01%p(x|y)=1%前面已求出自信息量和條件自信息量為：而x和y的互信息量為：第十六頁，共三十七頁，2022年，8月28日互信息量的性質(zhì)概率乘法公式全概率公式第十七頁，共三十七頁，2022年，8月28日互信息量的性質(zhì)1.互信息量的互易性含義：由y所提供的關(guān)于x的信息量等于由x

所提供的關(guān)于y的信息量第十八頁，共三十七頁，2022年，8月28日互信息量的性質(zhì)2.互信息量可為0何時(shí)為0：這表明當(dāng)x和y統(tǒng)計(jì)獨(dú)立時(shí)，也就是x和y沒有什么關(guān)系的時(shí)候，互信息量為0。含義：一個(gè)事件不能提供另一個(gè)事件的任何信息。即一個(gè)事件發(fā)生之后，對(duì)于確定另一個(gè)事件是否發(fā)生沒有任何幫助。第十九頁，共三十七頁，2022年，8月28日互信息量的性質(zhì)3.互信息量可正可負(fù)正：y的出現(xiàn)有助于肯定x的出現(xiàn)

x：張三病了。

y：張三沒來上課。負(fù)：y的出現(xiàn)有助于否定x的出現(xiàn)

x：李四考了全班第一名。

y：李四沒有復(fù)習(xí)功課。無論正負(fù)，互信息量的絕對(duì)值越大，x和y的關(guān)系越密切。第二十頁，共三十七頁，2022年，8月28日互信息量的性質(zhì)4.互信息量不可能大于其中任一事件的自信息量互信息量=自信息量-尚存在的不確定性第二十一頁，共三十七頁，2022年，8月28日互信息量的例子例2.2.1已知條件p(B)=p(C)=p(D)=1/3,p(D|E)=0,p(B|E)=p(C|E)=1/2p(C|EF)=p(D|EF)=0,p(B|EF)=1互信息量第二十二頁，共三十七頁，2022年，8月28日2.3平均自信息量自信息量的均值定義

集X上，隨機(jī)變量I(xi)的數(shù)學(xué)期望定義為平均自信息量。又稱作集X的信息熵，簡稱熵。第二十三頁，共三十七頁，2022年，8月28日平均自信息量含義0*log0=0自信息量：集合X中某一個(gè)元素xi的信息量平均自信息量：集合X中所有元素信息量的平均值集合X的平均不確定性第二十四頁，共三十七頁，2022年，8月28日平均自信息量的例子例平均每個(gè)畫面可提供的信息量：平均每篇千字文可提供的信息量：第二十五頁，共三十七頁，2022年，8月28日平均自信息量的例子例第二十六頁，共三十七頁，2022年，8月28日凸函數(shù)一維和二維凸集合的例子凸集合非凸集合第二十七頁，共三十七頁，2022年，8月28日熵函數(shù)的數(shù)學(xué)特性1.對(duì)稱性：集合中各分量的次序任意變更時(shí)，熵值（平均自信息量）不變從熵（平均自信息量）的公式上來看，該結(jié)論是明顯的深層含義：熵是有局限性的。它是平均不確定性的度量，抹煞了個(gè)體的特性。第二十八頁，共三十七頁，2022年，8月28日熵函數(shù)的數(shù)學(xué)特性2.非負(fù)性：H(X)≥0源于自信息量的非負(fù)性。什么時(shí)候?yàn)?：有且僅有一個(gè)pi=1，其余的pi=0，即確定信源。第二十九頁，共三十七頁，2022年，8月28日熵函數(shù)的數(shù)學(xué)特性3.擴(kuò)展性含義：集合X中，一個(gè)事件發(fā)生的概率比其它事件發(fā)生的概率小得多時(shí)，這個(gè)事件對(duì)于集合的熵值的貢獻(xiàn)可以忽略。集合X有q個(gè)事件，集合Y比X僅僅是多了一個(gè)概率接近0的事件，則兩個(gè)集合的熵值一樣。第三十頁，共三十七頁，2022年，8月28日熵函數(shù)的數(shù)學(xué)特性4.極值性：各事件等概率發(fā)生時(shí)，熵最大。5.確定性：集合中只要有一個(gè)事件為必然事件，則其余事件為不可能事件，熵為0。H(1,0)=H(1,0,0)=…=H(1,0,…,0)=0第三十一頁，共三十七頁，2022年，8月28日條件熵定義

條件自信息量I(yj|xi)的概率均值定義為條件熵。含義：仍然保留的平均不確定性。第三十二頁，共三十七頁，2022年，8月28日為什么要用聯(lián)合概率進(jìn)行平均第三十三頁，共三十七頁，2022年，8月28日2.4平均互信息量定義2.4.2平均互信息量互信息量的均值第三十四頁，共三十七頁，2022年，8月28日平均互信息量的性質(zhì)1.非負(fù)性I(X;Y)≥02.互易性（對(duì)稱性）I(X;Y)=I(Y;X)對(duì)稱性表明：從集合Y中獲得的關(guān)于X的信息量（I