信息論與編碼理論--第二章

1、2021/8/14第二章第二章 信息量和熵信息量和熵Information and Entropy2021/8/14信息量和熵信息量和熵2.1 離散變量的非平均信息量離散變量的非平均信息量2.2 離散集的平均自信息量熵離散集的平均自信息量熵2.3 離散集的平均互信息量離散集的平均互信息量(mutual information)2.4 連續(xù)隨機(jī)變量的互信息和熵連續(xù)隨機(jī)變量的互信息和熵2.5 凸函數(shù)和互信息的凸性凸函數(shù)和互信息的凸性(convex)2021/8/142.1 離散變量的非平均信息量離散變量的非平均信息量2021/8/14輸入，輸出空間定義輸入，輸出空間定義聯(lián)合聯(lián)合概率概率后驗(yàn)后驗(yàn)概率

2、概率先驗(yàn)先驗(yàn)概率概率YX2021/8/14非平均互信息量非平均互信息量例例2.1.12.1.1P(Xk|0)P(Xk|01)P(Xk|011)X1X2X3X4X5X6X7x80000010100111001011101111/81/81/81/81/81/81/81/81/41/41/41/40000001/21/20000000100002021/8/14每種可能性都是每種可能性都是1/81/82021/8/140X1X1到到x4x4可能性都是可能性都是1/41/4X5X5到到x8x8可能性都是可能性都是0 0看到看到0 02021/8/1401X3X3到到x4x4可能性都是可能性都是1/2

3、1/2其他可能性都是其他可能性都是0 02021/8/14011x4x4可能性是可能性是1 1其他可能性都是其他可能性都是0 02021/8/14非平均互信息量非平均互信息量輸入消息輸入消息碼字碼字P(xk)收到收到0P(Xk|0)收到收到01P(Xk|01)收到收到011P(Xk|011)X1X2X3X4X5X6X7x80000010100111001011101111/81/41/81/41/161/161/161/161/61/31/61/30000001/32/30000000100002021/8/14非平均互信息量非平均互信息量信息量與后驗(yàn)概率有關(guān)，與先驗(yàn)概率有關(guān)信息量與后驗(yàn)概率有

4、關(guān)，與先驗(yàn)概率有關(guān)先驗(yàn)概率越大，得到的信息量越小，反之先驗(yàn)概率越大，得到的信息量越小，反之信息量越大信息量越大中國(guó)足球隊(duì)中國(guó)足球隊(duì)3:0戰(zhàn)勝巴西足球隊(duì)?wèi)?zhàn)勝巴西足球隊(duì)巴西足球隊(duì)巴西足球隊(duì)3:0戰(zhàn)勝中國(guó)足球隊(duì)?wèi)?zhàn)勝中國(guó)足球隊(duì)2021/8/14非平均互信息量非平均互信息量例例2.1.2輸入消輸入消息息碼字碼字p(xk)收到收到0P(Xk|0)收到收到01P(Xk|01)收到收到011P(Xk|011)X1X20001111/21/21-pp1/21/21-pp1-p1-p0011ppBSC2021/8/14非平均互信息量非平均互信息量(;)( (),(|)kjkkjI xyf Q xP xy12131

5、2(;)(;)(;|)(;|)kjkjkjjkjjjI xyI xyI xyyI xyy y(|)(;)log()(|)log(;)()kjkjakjkajkjP xyI xyQ xP yxI yxy2021/8/14條件互信息和聯(lián)合事件互信息條件互信息和聯(lián)合事件互信息三個(gè)事件集的條件互信息定義為三個(gè)事件集的條件互信息定義為可以推廣到任意有限多個(gè)空間情況可以推廣到任意有限多個(gè)空間情況123123123131323(|)(|)(;|)loglog(|)(|) (|)P uu uP u uuI u uuP uuP uu P uu2021/8/14互信息的可加性系統(tǒng)u1u2u3系統(tǒng)u1u2u3123

6、1213213123(;)(;)(;|)(;)(;|)I u u uI u uI u uuI u uI u uu2021/8/14離散變量的非平均自信息量離散變量的非平均自信息量(|)(;)log()1loglog ()()kjkjkkkp xyI xyq xq xq x 1()loglog ()()kkkI xq xq x 2021/8/14非平均自信息的性質(zhì)非平均自信息的性質(zhì)非負(fù)非負(fù)體現(xiàn)先驗(yàn)不確定性大小體現(xiàn)先驗(yàn)不確定性大小(;)()(;)()kjkkjjI xyI xI xyI y2021/8/14條件自信息和聯(lián)合自信息條件自信息和聯(lián)合自信息1212(|)log(|)I uup uu ()

7、log()kjkjI x yp x y (;)()(|)()(|)kjkkjjjkI xyI xI xyI yI yx2021/8/14自信息、條件自信息和互信息自信息、條件自信息和互信息(;)()()()kjkjkjI xyI xI yI x yI(xk)I(yj)I(xk ;yj)2021/8/14參考習(xí)題參考習(xí)題2.1，2.3，2.4，2.5，2.112021/8/142.2 離散集的平均自信息量熵離散集的平均自信息量熵2021/8/14熵熵-Entropy( )( )log ( )H xq xq x 表示集表示集X X中事件出現(xiàn)的平均不確定性，說(shuō)明中事件出現(xiàn)的平均不確定性，說(shuō)明一個(gè)事件

8、集合的平均信息量一個(gè)事件集合的平均信息量例例 二元信源的熵二元信源的熵 例例 例例2.1.12.1.1信源的熵信源的熵例例 一個(gè)英文字母的熵一個(gè)英文字母的熵4.034.03比特比特 一個(gè)漢字的熵為一個(gè)漢字的熵為9.659.65比特比特2021/8/14條件熵和聯(lián)合熵條件熵和聯(lián)合熵(|)()log ( | )xyH X Yp xyp x y XY獨(dú)立時(shí)有獨(dú)立時(shí)有H(X|Y)=H(X)()()log()()()(|)( )(|)xyH XYp xyp xyH XYH XH Y XH YH X Y 12,.,NH U UU121.H UH U U11,.,NNH UUU2021/8/14熵的性質(zhì)熵的

9、性質(zhì)對(duì)稱性對(duì)稱性非負(fù)性非負(fù)性確定性確定性擴(kuò)展性擴(kuò)展性可加性可加性極值性極值性是是P上凸函數(shù)上凸函數(shù)2021/8/14熵的性質(zhì)可加性熵的性質(zhì)可加性121 11121112122222212(,)KMmmKKKKKm KHp qp qp qp qp qp qp qp qp q1212,1(,)(,)kKKKkmkkmk kkHp ppp Hqqq2021/8/14熵的極值性熵的極值性引理引理1: lnxx-112111(,),logKKKHp ppHKKKK2021/8/14熵的極值性熵的極值性引理引理2 2：H(X|Y)H(X)H(U1UN)H(U1)+H(UN)11(,)logKkkkH pp

10、pq 2021/8/14熵的凸性熵的凸性H(P)H(P)是是P P的上凸函數(shù)的上凸函數(shù)1212(1)()(1)()HPPH PH P2021/8/142.3 離散集的平均互信息量離散集的平均互信息量2021/8/14平均互信息量平均互信息量(|)(;)()log( )xyp x yI X Yp xyq x 非負(fù)性非負(fù)性 對(duì)稱性對(duì)稱性 (;)()(|)( )(|)()( )(|)I X YH XH X YH YH Y XH XH YH X Y(|)( ; )log( )p x yI x yq x2021/8/14平均互信息量平均互信息量4. I(X;Y)H(X) ,I(X;Y)H(Y)H(X)H

11、(Y)I(X;Y)H(Y|X)H(X|Y)2021/8/14條件互信息條件互信息(| )(;|)()log(| )xyzp xy zI X Y Zp xyzp x z(;|)(|)(|)I X Y ZH X ZH X YZ(;)(;)(;|)(;)(;|)I X YZI X YI X Z YI X ZI X Y Z2021/8/14信息處理定理信息處理定理Z Z出現(xiàn)情況下，出現(xiàn)情況下，X X和和Y Y獨(dú)立獨(dú)立, ,構(gòu)成一個(gè)馬氏鏈構(gòu)成一個(gè)馬氏鏈(| )( | ) ( | )(;|)0(|)(|)p xy zp x z p y zI X Y ZH X YZH X Z 系統(tǒng)系統(tǒng)1 1系統(tǒng)系統(tǒng)2 2X

12、YZ(|)(|)(;)(;)H X ZH X YI X ZI X Y2021/8/14信息處理定理信息處理定理(|)(|)(;)(;)H X ZH X YI X ZI X Y2021/8/14參考習(xí)題參考習(xí)題2.7，2.8，2.9，2.14，2.17，2.182021/8/142.4 連續(xù)隨機(jī)變量的互信息和連續(xù)隨機(jī)變量的互信息和 微分熵微分熵2021/8/14連續(xù)隨機(jī)變量的互信息連續(xù)隨機(jī)變量的互信息()(; )()log( )( )XYXYXYpxyI X Ypxydxdypx py (; )0(; )( ;)(;|)( ;|)(;)(; )(;)(;)( ;|)I X YI X YI Y X

13、I X Y ZI Y X ZI X ZI X YI XY ZI X ZI Y Z X 信息處理定理信息處理定理2021/8/14例例:求高斯隨機(jī)變量的互信息求高斯隨機(jī)變量的互信息2222()11()exp2(1)21 xXYxxyxmpxy 222()()() xyyxyuxmymym 1( )()2XXYxpxpxy dy 221exp()2xxxm1( )()2YXYypypxy dx 221exp()2yyym2021/8/14()()()log( )( )；XYXYXYpxyI XYpxydxdypx py 222222 ()()()1112(1)(1)1 xyxxxyxmymxmn

14、2222222()()()()(1)yyxXYyxyymymxmpxy dxdy 22222111211 (1)1 122 111n 211 (1)2n 2021/8/14隨機(jī)變量的微分熵隨機(jī)變量的微分熵( )( )log( )cXXHxpxpx dx 2021/8/14均勻分布的微分熵均勻分布的微分熵1( ,)( )0( ,)xabp xbaxab 1()1 ()1 ()bCaHXn ba dxn baba 2021/8/14高斯分布的微分熵高斯分布的微分熵21)(xp221exp()2xmdxmxnxpXHC22)(21211)()()(222212ln21)(XHcceeexH熵功率熵功

15、率2()212cHXee 2021/8/14微分熵的極大化微分熵的極大化1.1.峰值功率受限峰值功率受限n均勻分布微分熵最大均勻分布微分熵最大2.2.平均功率受限平均功率受限n高斯分布微分熵最大高斯分布微分熵最大3.3.平均功率大于等于熵功率平均功率大于等于熵功率2()212cHXee 22()( )xmp x dx 2021/8/14微分熵的極大化微分熵的極大化峰值功率受限峰值功率受限(,),( )1MxMxM Mpx dx ()log2CHXM 2021/8/14微分熵的極大化微分熵的極大化平均功率受限平均功率受限22( )1 ()( )xxpx dxxmpx dx ()log2 CHXe

16、 2021/8/142.5 凸函數(shù)與互信息的凸性凸函數(shù)與互信息的凸性2021/8/14凸函數(shù)凸函數(shù)凸集凸集 R：a a，b b屬于屬于R，aa11 b b也屬于也屬于R，其中，其中0 1 1概率矢量概率矢量矢量矢量a a的所有分量和為的所有分量和為1 1上凸函數(shù)上凸函數(shù)( )(1) ( )(1) )aba bfff 2021/8/14凸函數(shù)的性質(zhì)凸函數(shù)的性質(zhì)f(a)是上凸的，是上凸的，f(a)是下凸的是下凸的f1(a),fL(a)是是R上的上凸函數(shù)，上的上凸函數(shù)，c1,cL是正數(shù)，是正數(shù)，c1f1(a)+cLfL(a)也是上凸函數(shù)也是上凸函數(shù)f(a)是上凸函數(shù)，是上凸函數(shù)，Ef(a)fE(a)

17、, E為求數(shù)學(xué)期為求數(shù)學(xué)期望望11()LLllllllfPaP f a 2021/8/14K-T條件條件f(a)是定義域是定義域R上的上凸函數(shù)，上的上凸函數(shù)，a是概率矢量。是概率矢量。偏導(dǎo)數(shù)偏導(dǎo)數(shù) 存在且連續(xù)，存在且連續(xù)， f(a)在在R上為極大上為極大的的 充分必要條件充分必要條件( )kf aa ( )0( )0kkkkf aaaf aaa 2021/8/14互信息的凸性互信息的凸性( | )(; )( ) ( | )log( ) ( |)xyiip y xI X Yq x p y xQ i p y x p(y|x)給定，給定，I(X;Y)是是q(x)的上凸函數(shù)的上凸函數(shù)Q(x)給定，給定，I(X;Y)是是p(y|x)的下凸函數(shù)的下凸函數(shù)2021/8/14互信息的凸性互信息的凸性q1和和q2是是X上的任意上的任意兩個(gè)