信息理論基礎(chǔ) 第二章 信息的度量

1、信息理論基礎(chǔ) 第二章 信息的度量第1頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一第一節(jié) 離散熵一. 單符號(hào)離散信源 1.定義 如果信源發(fā)出的消息是離散的符號(hào)或數(shù)字，并且一個(gè)符號(hào)代表一條完整的消息，則稱這種信源為單符號(hào)信源。2.數(shù)學(xué)模型第2頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一信源發(fā)送符號(hào)ai的自信息量I(ai) ,(i=1,2,r)I(ai) =收到ai 前,信宿對(duì)信源發(fā)送符號(hào)ai 的不確定性-信源發(fā)送單個(gè)符號(hào)所攜帶的的信息量信息量的度量轉(zhuǎn)化為對(duì)不確定性的度量二.自信息量 第3頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一I(ai) 必須滿足以下四個(gè)公理

2、性條件:1.信源發(fā)送符號(hào)ai和aj的先驗(yàn)概率分別為p(ai)和p(aj),如果0p(ai) p(aj)1,則2.信源發(fā)送符號(hào)ai的先驗(yàn)概率p(ai) = 0,則3.信源發(fā)送符號(hào)ai的先驗(yàn)概率p(ai) = 1,則4.設(shè)有兩個(gè)獨(dú)立信源X和Y,信源X發(fā)送符號(hào)ai的先驗(yàn)概率為p(ai),信源Y發(fā)送符號(hào)aj的先驗(yàn)概率為p(aj),符號(hào)ai 和aj的聯(lián)合消息(aiaj)的先驗(yàn)概率為p (aiaj),則第4頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一I(ai) 的具體表達(dá)式:又名概率信息單位:以2為底,單位為比特以e為底,單位為奈特以10為底,單位為哈特萊自信息量在歷史上第一次使信息的度量成為

3、可能，成為推動(dòng)信息論發(fā)展的基石。第5頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一例2-1：有12個(gè)球，只有一個(gè)是非標(biāo)重球，問是否存在用天平稱3次必然找到該球的方法？(從信息的角度解決)解：天平的狀態(tài)有三種：平衡、左輕、左重 每稱一次消除一種狀態(tài)，則帶來的信息量為log3 則稱3次后，帶來的信息量為3log3 = log27 結(jié)論:而一個(gè)非標(biāo)球的攜帶的信息量為可見：信息的度量是為了找到解決問題的方法，而不是純粹度量信息的大小第6頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一三. 離散熵 請(qǐng)問: 能否用自信息量作為信源的總體信息測(cè)度呢?從定性的角度可知：三個(gè)信源不確定性大小為

4、XYH(Y)H(X) 結(jié)論：X、Y、Z熵的大小關(guān)系與X、Y、Z 不確定性的大小關(guān)系符合，說明熵的確可以作為信源的總體信息側(cè)度第9頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一信息熵的物理意義請(qǐng)問： 由熵的推導(dǎo)過程看，熵具有什么樣的物理意義呢？3.反映隨機(jī)變量X的隨機(jī)性2.表示信源輸出前，信源的平均不確定度1.表示信源輸出后，每個(gè)離散消息所提供的平均信息量熵還可記為H(P)或H(p1,p2,pr)第10頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一設(shè)離散無記憶信源 其發(fā)生的消息為：）求（1）此消息的自信息量。 （2）在此消息中平均每個(gè)符號(hào)攜帶的信息量。例2-2第11頁，共99

5、頁，2022年，5月20日，0點(diǎn)57分，星期一解：（1）消息的自信息量就是等于消息中各個(gè)符號(hào)的自信息量之和。根據(jù)題意可得：此消息中共有14個(gè)“0”符號(hào)，13個(gè)“1”符號(hào)，12個(gè)“2”符號(hào)，6個(gè)“3”符號(hào)，則得到的自信息量是：第12頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一（2）此消息中平均每個(gè)符號(hào)攜帶的信息量為：原因：(2)問的值是該特定消息中平均每個(gè)符號(hào)攜帶的信息量，而信息熵是離散無記憶信源平均每個(gè)符號(hào)攜帶的信息量，是統(tǒng)計(jì)平均值。信源的信息熵:結(jié)論: (2)問的值與信源的信息熵不完全相等第13頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一例 熵在語音端點(diǎn)檢測(cè)中的應(yīng)用(

6、本人的實(shí)際工作）純凈語音波形帶噪語音波形譜熵加能量參數(shù)分帶譜熵加能量參數(shù)第14頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一四. 熵的性質(zhì) 1.對(duì)稱性 ,各pn的順序變化,不影響熵值各自的熵為: H(X) = H(Y) =H(Z)=1.4592 bit/symbol對(duì)稱性說明:-信源的信息熵只與信源的概率空間的總體結(jié)構(gòu)有關(guān),與具體內(nèi)容無關(guān)例：第15頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一2.非負(fù)性證明：提問:何時(shí)等式成立?非負(fù)性表明： 從總體看，信源在發(fā)送符號(hào)以前，總存在一定的不確定性；在發(fā)符號(hào)后，總可提供一定的信息量第16頁，共99頁，2022年，5月20日，0點(diǎn)5

7、7分，星期一則或又只有某一個(gè)，而其他當(dāng)且僅當(dāng)在 中各項(xiàng)為零時(shí)等號(hào)成立，即 第17頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一若信源符號(hào)集中，有一個(gè)符號(hào)幾乎必然出現(xiàn)，其他符號(hào)幾乎不可能出現(xiàn)，則該信源為一個(gè)確知信源，則信息熵等于零,即： 3.確定性熵函數(shù)的確定性表明： 只有信源的任一個(gè)概率分量等于1時(shí)，才能使信源信息熵等于零，除此以外的任何情況的信息熵都大于零。 對(duì)于確知信源，發(fā)符號(hào)前，不存在不確定性；發(fā)符號(hào)后，不提供任何信息量。第18頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一4.上凸性YX X 0 H X+(1-)Y設(shè)有一個(gè)多元函數(shù)或矢量函數(shù) 第19頁，共99頁，202

8、2年，5月20日，0點(diǎn)57分，星期一證明:由于后面兩項(xiàng)的數(shù)值均大于零，故有：上凸性說明： 熵函數(shù)具有極大值取則:第20頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一5.極值性（最大離散熵定理）H(P) logr,當(dāng)且僅當(dāng)?shù)雀欧植紩r(shí)等號(hào)成立, r為X的取值個(gè)數(shù)證明：按條件極大值的數(shù)學(xué)求解方法，作輔助函數(shù)：其中，為待定常數(shù)，對(duì)輔助函數(shù)中的r個(gè)變量pi(i=1,2,r)分別求偏導(dǎo)，并令為零，得r個(gè)穩(wěn)定方程將上式代入約束條件得：熵函數(shù)的最大值為則有： H(P) logr ,當(dāng)且僅當(dāng)?shù)雀欧植紩r(shí)等號(hào)成立第21頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一熵的極值性說明： 在所有符號(hào)個(gè)數(shù)

9、相同，而符號(hào)的概率分布不同的離散信源中，以先驗(yàn)等概的信源的信息熵最大，其最大值等于信源符號(hào)個(gè)數(shù)r的對(duì)數(shù)；同時(shí)說明： 離散信源信息熵的最大值，只取決于信源符號(hào)的個(gè)數(shù)r，r越大，其信息熵也越大第22頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一6.擴(kuò)展性含義：若信源X有q個(gè)符號(hào)，信源Y有q+1個(gè)符號(hào)，兩者的差異只多了一個(gè)概率接近零的符號(hào)，則兩信源的熵值是一樣的；證明：擴(kuò)展性說明：若信源空間中增加某些概率接近于零的信源符號(hào)，對(duì)信源的熵值的貢獻(xiàn)可以忽略不計(jì)第23頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一提問：在通信的接收端，當(dāng)接收到符號(hào)y后，對(duì)信源發(fā)送符號(hào)x到底還存在多大的不確

10、定度呢？或者說在y已知的條件下，x發(fā)生會(huì)帶來多大的信息量呢？ 五.條件自信息量 事件x在事件y給定的條件下的自信息量定義為條件自信息量： 含義：已知y后對(duì)x 則有一定的了解，不了解的那部分?jǐn)y帶的信息量既是條件自信息量，也可表示已知y后對(duì)x還殘留的不確定度。 引入條件自信息量的目的： 衡量符號(hào)之間相關(guān)性導(dǎo)致攜帶信息的變化 在通信系統(tǒng)中可以描述信道的作用第24頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一 設(shè)在一正方形棋盤上共有64個(gè)方格，如果甲將一粒棋子隨意放在棋盤中的某方格且讓乙猜測(cè)棋子所在的位置所攜帶的信息量：（1）將方格按順序編號(hào)，令乙猜測(cè)棋子所在方格的順序號(hào)；（2）將方格分別按

11、行和列編號(hào)，甲將棋子所在方格的行或列編號(hào)告訴乙之后，再令乙猜測(cè)棋子所在列或行的位置。 例2-3：第25頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一解：（1）令把棋子任意放在棋盤的某一格為事件xi，則該事件發(fā)生的概率為：則該事件攜帶的信息量為： （2）設(shè)行為隨機(jī)變量X，列為隨機(jī)變量Y，則在事件yj發(fā)生后事件xi發(fā)生的概率為：則該事件攜帶的信息量為：由結(jié)果可知: 事件yj的出現(xiàn)降低了事件xi發(fā)生所攜帶的信息量原因: 事件yj的出現(xiàn)帶來了事件xi的部分的信息，導(dǎo)致對(duì)事件xi的不確定性減小第26頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一請(qǐng)問:當(dāng)在接收端接收到符號(hào)y后, 信源的

12、整體特性會(huì)發(fā)生變化嗎?如果發(fā)生變化,則在該條件下,信源每發(fā)送一個(gè)符號(hào)平均可提供的信息是多少?當(dāng)接收端收到的所有的符號(hào)后, 發(fā)送端的信源每發(fā)送一個(gè)符號(hào)平均可提供多少信息?第27頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一六.條件熵給定yj條件下集合X的總體信息度量有：再考慮整個(gè)Y集合，有：同理：第28頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一 H(Y|X)表示已知X后Y “殘留”的不確定度條件熵的含義：表示在已知一隨機(jī)變量的情況下，對(duì)另一隨機(jī)變量的不確定性的度量。H(X|Y)表示已知Y后X“殘留”的不確定度信道XY請(qǐng)問：H(X|Y)表示什么意義？ 表示接收端接收到Y(jié)后對(duì)

13、X還殘留的不確定度，即對(duì)X還有未知的部分，這部分通過信道傳輸時(shí)由于信道中的干擾被損失了第29頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一七.聯(lián)合熵聯(lián)合熵H(XY)含義:表示聯(lián)合隨機(jī)變量XY攜帶的信息量，即兩者攜帶的信息之和.第30頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一八. 各種熵之間的關(guān)系聯(lián)合熵與離散熵、條件熵的關(guān)系同理：第31頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一當(dāng)X、Y相互獨(dú)立有： 第32頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一2. 聯(lián)合熵與離散熵的關(guān)系當(dāng)X和Y相互獨(dú)立時(shí),等式成立證明：利用對(duì)于任意實(shí)數(shù)x0,有則：第33頁，共

14、99頁，2022年，5月20日，0點(diǎn)57分，星期一3. 條件熵與離散熵的關(guān)系證明： 當(dāng)X和Y有確定的函數(shù)關(guān)系，且X可完全確定Y，或Y完全確定X，則 則有 第34頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一總結(jié)：各種熵之間的關(guān)系(利用集合概念)X YH(X)X YH(XY)X YH(X|Y)X YH(Y|X)第35頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一設(shè)一系統(tǒng)的輸入符號(hào)集X=(x1,x2,x3,x4,x5)，輸出符號(hào)集Y=(y1,y2,y3,y4) 輸入符號(hào)與輸出符號(hào)間的聯(lián)合分布為試求: H(XY)、H(X)、H(Y)、H(Y|X)和H(X|Y)例2-4第36頁，共

15、99頁，2022年，5月20日，0點(diǎn)57分，星期一解：由全概率公式可知：則從已知可求：第37頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一H(Y|X) = H(XY)-H(X) = 2.665-2.066 = 0.599bit/symbolH(X|Y) = H(XY)-H(Y) = 2.665-1.856 = 0.809bit/symbol第38頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一例2-5：設(shè)A、B兩地的天氣情況分別如表所示：晴多云雨冰雹A1/21/41/81/8B1/21/81/81/4求各地天氣情況攜帶的信息量解： 提問：熵能描述主觀價(jià)值嗎？信息熵?zé)o法描述主觀

16、意義上事件的重要性,為此引入 加權(quán)熵第39頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一則加權(quán)熵定義為： 設(shè)有隨機(jī)變量X，引入事件的重要性，其概率空間為Wi表示事件的重要性實(shí)際工程中常采用加權(quán)熵九. 加權(quán)熵第40頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一第二節(jié) 平均互信息一.單符號(hào)離散信道 1.定義: 輸入和輸出都是離散的單符號(hào)的信道。2.數(shù)學(xué)模型 干擾信道信源X輸出Y第41頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一二.互信息-從一個(gè)符號(hào)獲得關(guān)于另一個(gè)符號(hào)的信息量 信宿接收到符號(hào)yj后,從yj中獲得關(guān)于符號(hào)xi的信息量I(xi ;yj) (i=1,2,r;

17、 j=1,2,s)1. 定義 = 信宿收到y(tǒng)j前，對(duì)信源發(fā)送xi的不確定性- 信宿收到y(tǒng)j后，對(duì)信源發(fā)送xi仍然還存在的不確定性提問：xi通過信道傳輸后，有多少信息傳給了接收端？第42頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一表示：信道在把符號(hào)xi通過信道傳遞給信宿變成yj的過程中信道傳遞的信息量單位與自信息量的一致互信息函數(shù)的導(dǎo)出,為定量描述信息的傳輸問題, 奠定了堅(jiān)實(shí)的基礎(chǔ).提問：互信息與條件自信息有什么關(guān)系？第43頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一2.互信息的性質(zhì)(1)對(duì)稱性I( xi ; yj )=I( yj ; xi )證明: 對(duì)稱性說明：互信息是

18、兩個(gè)事件之間的共性。無論從哪個(gè)事件獲得關(guān)于另一個(gè)事件的信息都是相等的。第44頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一(2)互信息量可為零當(dāng)事件xi，yj統(tǒng)計(jì)獨(dú)立時(shí)，兩者的互信息量I(xi;yj)=0證明： xi，yj統(tǒng)計(jì)獨(dú)立則當(dāng)互信息量為零，意味著不能從觀測(cè)其中一個(gè)事件獲得關(guān)于另一個(gè)事件的任何信息第45頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一(3)互信息量可正可負(fù)互信息量為負(fù)互信息量為正含義: 互信息量為正,意味著事件yj的出現(xiàn)有助于肯定事件xi的出現(xiàn) 互信息量為負(fù),意味著事件yj的出現(xiàn)不利于肯定事件xi的出現(xiàn)請(qǐng)問:在通信中什么原因造成互信息量為負(fù)?信道中存在的

19、干擾,導(dǎo)致發(fā)生傳輸錯(cuò)誤所致第46頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一(4)極值性證明：且 p(xi|yj)1同理極值性說明：自信息量是為了確定事件出現(xiàn)所必需提供的信息量，也是其他事件所能提供的關(guān)于該事件的最大信息量第47頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一例2-6 用傳送帶測(cè)定生產(chǎn)的每袋化肥重量是否符合規(guī)定，而在傳送帶終端裝有測(cè)定顯示裝置，顯示符號(hào)A、B和C分別表示超重H、正常N和過輕L三種情況。一袋化肥放在傳送帶上的位置偏了就會(huì)產(chǎn)生錯(cuò)誤顯示，使得超重的卻顯示B信號(hào)，正常的顯示C信號(hào)。而且總有15%超重和10%正常的的化肥袋子放偏位置。今有一批生產(chǎn)的化肥

20、，超重的占15%，正常的75%，過輕的占10%。請(qǐng)問：當(dāng)顯示裝置顯示符號(hào)為A、B和C時(shí)所獲得的關(guān)于化肥袋超重、正常和過輕的信息量各是多少？ 第48頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一解：由已知可知 并有下列的條件概率： 利用貝葉斯公式，即 可以計(jì)算出后驗(yàn)概率:第49頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一則當(dāng)顯示裝置顯示符號(hào)為A、B和C時(shí)所獲得的關(guān)于化肥袋超重、正常和過輕的信息量各自為： 第50頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一信道XYp(yj|xi)干擾信道Zp(zk|xi yj)提問：當(dāng)隨機(jī)變量Z出現(xiàn)zk，請(qǐng)問在此條件下，隨機(jī)變量Y

21、出現(xiàn)yj后，獲得關(guān)于信源發(fā)送符號(hào)xi多大的信息量？第51頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一定義：聯(lián)合集中，在給定zk的條件下，xi與yj之間的互信息量定義為條件互信息量，即表明：在隨機(jī)變量Z出現(xiàn)符號(hào)zk的前提條件下，從隨機(jī)變量Y的符號(hào)yj中獲取關(guān)于信源X的符號(hào)xi的信息量等于隨機(jī)變量Y出現(xiàn)符號(hào)yj前、后，對(duì)信源發(fā)送符號(hào)xi的條件不確定性的減少。 二.條件互信息第52頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一 利用互信息和條件互信息可解決符號(hào)序列的信息測(cè)量問題第53頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一例2-7 下表中列出了無失真信源編碼消息

22、、消息的先驗(yàn)概率以及每個(gè)消息所對(duì)應(yīng)的碼字。信源消息a1a2a3a4a5a6a7a8碼字000001010011100101110111消息概率1/41/41/81/81/161/161/161/16當(dāng)接收端接收到碼符號(hào)序列011時(shí)，請(qǐng)問從接收到的這些碼符號(hào)序列中獲得了關(guān)于碼字a4所代表的消息的信息量是多少？第54頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一解： 令b,c,d分別表示碼字011中的第一個(gè)碼符號(hào)0，第二個(gè)碼符號(hào)1，第三個(gè)碼符號(hào)1，則有： 第55頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一表明：第一個(gè)碼符號(hào)0提供關(guān)于碼字a4的信息量為 (2-log3)bit第

23、56頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一表明：在接收到第一個(gè)碼符號(hào)0的前提下，第二個(gè)碼符號(hào)1提供關(guān)于碼字a4的信息量為log3bit第57頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一表明：在接收到序列01的前提下，第三個(gè)碼符號(hào)1提供關(guān)于碼字a4的信息量為1bit表明：在接收到序列011后提供關(guān)于碼字a4的信息量為3bit說明：消息a4與相應(yīng)碼字是一一對(duì)應(yīng)的確定關(guān)系第58頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一請(qǐng)問:當(dāng)在接收端接收到符號(hào)y后,從該符號(hào)能否獲得發(fā)送端信源的平均每個(gè)符號(hào)攜帶的信息量?從接收到的信源Y,能否知道發(fā)送端的信源平均每個(gè)符號(hào)攜帶

24、的信息呢?第59頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一三.平均條件互信息 當(dāng)信宿Y收到某一具體的符號(hào)bj后，從bj中獲取的關(guān)于輸入符號(hào)的平均信息量： -從信源的某一個(gè)符號(hào)獲取的關(guān)于另一個(gè)信源的平均信息量 當(dāng)信源X發(fā)送符號(hào)ai后，從ai 中獲取的關(guān)于輸出符號(hào)的平均信息量:第60頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一 (a)在聯(lián)合集上，I(X;bj)=0,當(dāng)且僅當(dāng)集合中的各個(gè)ai都與事件bj相互獨(dú)立時(shí),等號(hào)成立證明：平均條件互信息的性質(zhì)：第61頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一表明：從平均意義上講，從信宿Y中的任一個(gè)具體符號(hào)bj中總可以獲取

25、一點(diǎn)關(guān)于信源X的信息量。只有當(dāng)信宿Y的具體符號(hào)bj與信源X統(tǒng)計(jì)獨(dú)立時(shí)，從bj中才獲取不到關(guān)于信源X的任何信息量證明：第62頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一 (b)在聯(lián)合集上，I(Y; ai)=0,當(dāng)且僅當(dāng)Y集合中的各個(gè)bj 都與事件ai相互獨(dú)立時(shí)，等號(hào)成立證明：表明：從平均意義上講，從信源X中的任一個(gè)具體符號(hào)ai中總可以獲取一點(diǎn)關(guān)于信宿Y的信息量。只有當(dāng)信源X的具體符號(hào)ai與信宿Y統(tǒng)計(jì)獨(dú)立時(shí)，從ai中才獲取不到關(guān)于信宿Y的任何信息量第63頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一 -表示已知一隨機(jī)變量的取值后所提供的有關(guān)另一隨機(jī)變量的信息量四.平均互信息1

26、. 定義從信宿Y獲取的關(guān)于信源X的平均信息量： 第64頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一從信源X獲取的關(guān)于信宿Y的平均信息量： 平均互信息從總體上表示信道每傳遞一個(gè)符號(hào)所傳遞的平均信息量。 第65頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一思考:H(X|Y)與I(X;Y)有什么不同?條件熵:從一個(gè)隨機(jī)變量可得另一個(gè)隨機(jī)變量發(fā)生帶來的信息問: 利用條件熵能否得到兩個(gè)隨機(jī)變量間的共同信息？問:Y提供給X的信息量是多少？已知Y，X的不確定度為H(X|Y)未知Y，X的不確定度為H(X)H(X)-H(X|Y)問：H(X)-H(X|Y)與I(X;Y)是否相等呢？思考: I

27、(X;Y)與I(Y;X)是否相等?第66頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一2. 性質(zhì)(1)對(duì)稱性I(X;Y)=I(Y;X)證明:結(jié)論: I(X;Y)和I(Y;X)是隨機(jī)變量X和Y之間相互提供的平均信息量，把它們稱為平均互信息是完全正確的第67頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一證明：(2)非負(fù)性I(X;Y)0非負(fù)性說明：雖然對(duì)于信源X和信宿Y的兩個(gè)特定具體的符號(hào)之間的互信息來說，有可能出現(xiàn)負(fù)值，但從平均的意義來說，信道每傳遞一個(gè)符號(hào)，總能傳遞一定的信息量，至少為零，決不會(huì)出現(xiàn)負(fù)值。第68頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一(3)平均

28、互信息與各種熵的關(guān)系證明: I(X;Y)=H(X)-H(X|Y)第69頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一證明: I(X;Y)=H(Y)-H(Y|X)證明: I(X;Y)=H(X)+H(Y)-H(XY)第70頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一H（X）H（Y）H（X|Y）H（Y|X）I（X；Y）H（XY）第71頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一(4)極值性I(X;Y) H(X) I(X;Y) H(Y)證明： I(X;Y)=H(X)-H(X|Y) =H(Y)-H(Y|X)且有:H(X|Y) 0 H(Y|X) 0 I(X;Y) H(X)

29、 I(X;Y) H(Y)極值性說明：兩個(gè)信源之間含有的相同信息不可能大于任何一個(gè)信源自己攜帶的信息第72頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一當(dāng)X和Y互相獨(dú)立時(shí):I(X;Y)=0當(dāng)X和Y之間有確定的函數(shù)關(guān)系時(shí)：X唯一確定Y: H(Y|X)=0，I(X;Y)=H(Y)Y唯一確定X: H(X|Y)=0，I(X;Y)=H(X)結(jié)論: 當(dāng)X和Y有確定的函數(shù)關(guān)系時(shí)平均互信息退化成為熵第73頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一發(fā)送的信息:H(X)損失的信息:H(X|Y)通過信道傳遞到接收端的關(guān)于X的信息:I(X;Y) 信源X有擾信道信宿Y例2-8問:通信中發(fā)送的信息是

30、多少? 信道中損失的信息是多少? X通過信道傳遞了多少信息給信宿？如果X=Y，說明信道無干擾,則I(X;Y)=H(X)如果X與Y相互獨(dú)立，說明干擾很大,I(X;Y)=0第74頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一例2-9：把已知信源信道上，求在該信道上傳輸?shù)钠骄バ畔⒘縄(X;Y)、疑義度H(X/Y)、噪聲熵H(Y/X)和聯(lián)合熵H(XY).接到下圖所示的0.980.80.020.2第75頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一解：由題意可知第76頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一第77頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期

31、一第78頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一平均互信息 ：噪聲熵：疑義度 ：第79頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一一、微分熵假設(shè)：一個(gè)連續(xù)隨機(jī)變量X X ( ,) 概率密度函數(shù) p(x) X值域分成間隔為x的小區(qū)間，則在內(nèi)的概率近似為p(xi) x則：熵的近似式第三節(jié) 連續(xù)隨機(jī)變量下的熵與平均互信息第80頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一結(jié)論:連續(xù)隨機(jī)變量的熵為無窮大,失去意義.但是第一項(xiàng)為有限值,可作為相對(duì)熵描述.第81頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一同年，香農(nóng)在他的論文中直接定義連續(xù)分布隨機(jī)變量的信息

32、熵為： 離散熵與微分熵的區(qū)別：在概念上不同，微分熵去掉了無窮大項(xiàng)，保留了有限值那一項(xiàng)，可作為不確定度的相對(duì)量度。著名的微分熵1948年，維納定義連續(xù)變量的信息熵為：為概率密度函數(shù)。第82頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一 假設(shè)：兩個(gè)連續(xù)分布的隨機(jī)變量X和Y，其聯(lián)合概率密度函數(shù)p(xy)，邊緣分布密度函數(shù)分別為p(x)和p(y)，則：可見：與離散狀態(tài)下的平均互信息是一致的。二、連續(xù)隨機(jī)變量下的平均互信息第83頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一例2-10：第84頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一第85頁，共99頁，2022年，5月2

33、0日，0點(diǎn)57分，星期一第四節(jié) 數(shù)據(jù)處理定理定義1：表示隨機(jī)變量Z定后，從隨機(jī)變量Y獲得的關(guān)于X的信息量定義2：表示從隨機(jī)變量YZ獲得的關(guān)于X的信息量有如下關(guān)系:第86頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一數(shù)據(jù)處理定理如果隨機(jī)變量X,Y,Z構(gòu)成一個(gè)馬爾可夫鏈，則有以下關(guān)系成立等式成立的條件是對(duì)于任意的x，y，z都有。第87頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一并且所以有同理可以證明當(dāng)且僅當(dāng)時(shí)等式成立 因此有證明：當(dāng)X，Y，Z構(gòu)成一個(gè)馬爾可夫鏈時(shí)，Y值給定后，X，Z可以認(rèn)為是獨(dú)立的，則有又因?yàn)橛挟?dāng)時(shí)，說明Z值給定后，X和Y相互獨(dú)立，所以有第88頁，共99頁，2

34、022年，5月20日，0點(diǎn)57分，星期一在任何信息傳輸處理系統(tǒng)中，最后獲得的信息至多是信源所提供的信息量，一旦在某一個(gè)過程丟失了一些信息，以后的系統(tǒng)不管如何處理，只要不觸及丟失信息的輸入端，就不能再恢復(fù)已經(jīng)丟失的信息。這就是信息的不增性原理.數(shù)據(jù)處理定理說明：第89頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一第五節(jié) 熵的應(yīng)用及香農(nóng)信息論存在的問題 A B C D E F G H 0.1 0.18 0.4 0.05 0.06 0.1 0.07 0.04等長碼 000 001 011 010 110 111 101 100Huffman 011 000 1 00110 0101 0000 0100 00011 由此可見Huffman碼不是最好的碼一.編碼問題平均碼長分別為:第90頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一二.如何理解信道及信道容量問題 XYP(y|x)信源編碼信道信宿譯碼噪聲信道噪聲信源信宿簡(jiǎn)化為：則可表示為： 不同信道具有不同P(y|x)，可用P(y|x)表示信道第91頁，共99頁，2022年，5月20日，0點(diǎn)57分，星期一 反映信源通過信道以后信宿收到的信息 I(X;Y)=H(X)-H(X|Y)信道的容量：給定信