無失真信源與信息熵PPT學(xué)習(xí)教案

1、會計(jì)學(xué)1無失真信源與信息熵?zé)o失真信源與信息熵2普通高等教育“十五”國家級規(guī)劃教材信息論與編碼第1頁/共74頁3普通高等教育“十五”國家級規(guī)劃教材信息論與編碼第2頁/共74頁4普通高等教育“十五”國家級規(guī)劃教材信息論與編碼1212,( )nnUuUuUuUpppp u010,10,111,22Uppp第3頁/共74頁5普通高等教育“十五”國家級規(guī)劃教材信息論與編碼(,),( , )( )( )( )uUUa bp up up u 為概率密度函數(shù)第4頁/共74頁6普通高等教育“十五”國家級規(guī)劃教材信息論與編碼1212,(),(),()( )LLLnnUuUuUuUp up up up u 3230

2、011000,001,111,( )LUUUUpp ppp u第5頁/共74頁7普通高等教育“十五”國家級規(guī)劃教材信息論與編碼000,001,111111,( )888LUUUUp u 第6頁/共74頁8普通高等教育“十五”國家級規(guī)劃教材信息論與編碼第7頁/共74頁9普通高等教育“十五”國家級規(guī)劃教材信息論與編碼第8頁/共74頁10普通高等教育“十五”國家級規(guī)劃教材信息論與編碼, (),0, (), (),1, ()0iiiiiiiipI ppI ppI ppI p 且當(dāng)時且當(dāng)時第9頁/共74頁11普通高等教育“十五”國家級規(guī)劃教材信息論與編碼1()log ()log()iiiiI xap x

3、p x 第10頁/共74頁12普通高等教育“十五”國家級規(guī)劃教材信息論與編碼1( ,)log ( ,)log( ,)ijijijI x yp x yp x y 1(/)log (/)log(/)ijijijI xyp xyp xy 第11頁/共74頁13普通高等教育“十五”國家級規(guī)劃教材信息論與編碼12121121( ,)( ) (/ )( ) ( /)( ,)log( ,)log( ) (/ )log( )log(/ )( )(/ )()( )( )()()(/)(/)NNNp x yp x p y xp y p xyI x yp x yp x p y xp xp y xI xI y xxy

4、I xyI xI yI x xxI xI xxI xx xx 當(dāng) 和 相互獨(dú)立: 推廣第12頁/共74頁14普通高等教育“十五”國家級規(guī)劃教材信息論與編碼第13頁/共74頁15普通高等教育“十五”國家級規(guī)劃教材信息論與編碼1(,)64ijp x y221( ,)log( ,)log664ijijI x yp x ybit 222( ,)1(/)log(/)loglog3()8ijijijjp x yI xyp xybitp y 第14頁/共74頁16普通高等教育“十五”國家級規(guī)劃教材信息論與編碼120.80.2XxxP第15頁/共74頁17普通高等教育“十五”國家級規(guī)劃教材信息論與編碼1212

5、22221122221122()log()log 0.8()log()log 0.2() ()() ()( 0.8log 0.80.2log 0.2)() ()() ()()log ()iiiI xp xbitI xp xbitNINp x I xNp xI xNIp x I xp xI xp xp x 次后所獲得的信息量為平均每次所獲得的信息量為第16頁/共74頁18普通高等教育“十五”國家級規(guī)劃教材信息論與編碼() ( )()log ()iiiH XE I xp xp x 第17頁/共74頁19普通高等教育“十五”國家級規(guī)劃教材信息論與編碼(/ ) (/ )(/ )log (/ )iiiH

6、 XyE I Xyp xyp xy ,(/)(/ )() (/)log (/)jijiji jH X YE H Xyp yp xyp xy 第18頁/共74頁20普通高等教育“十五”國家級規(guī)劃教材信息論與編碼,() ()( ,)log ( ,)ijiji jH XYE I xyp x yp x y 第19頁/共74頁21普通高等教育“十五”國家級規(guī)劃教材信息論與編碼)/()/()()()()()()/()()()/()()()/()()/()(),(12112121NNNXXXXHXXHXHXXXHYHXHXYHYXYXHYHXYHXYHXHXYHyxpypxypxpyxp推廣相互獨(dú)立和當(dāng)集合

7、第20頁/共74頁22普通高等教育“十五”國家級規(guī)劃教材信息論與編碼YyXxxpyxpyxIa,)()/(log);(第21頁/共74頁23普通高等教育“十五”國家級規(guī)劃教材信息論與編碼);()()/(log)()()/()(log)()(),(log)()()()/(log)()/(log);(xyIypxypypxpxypxpypxpyxpypxpypyxpxpyxpyxI第22頁/共74頁24普通高等教育“十五”國家級規(guī)劃教材信息論與編碼ZzYyXxzxpyzxpzyxIa,)/()/(log)/;(第23頁/共74頁25普通高等教育“十五”國家級規(guī)劃教材信息論與編碼ZzYyXxxpyz

8、xpyzxIa,)()/(log);(第24頁/共74頁26普通高等教育“十五”國家級規(guī)劃教材信息論與編碼ZzYyXxxpyzxpyzxIa,)()/(log);(第25頁/共74頁27普通高等教育“十五”國家級規(guī)劃教材信息論與編碼符號符號符號/3811log)011;(/28121log)01;(/18141log)0 ;(444bitxIbitxIbitxIaaa第26頁/共74頁28普通高等教育“十五”國家級規(guī)劃教材信息論與編碼yxypxypyxypxpyxpyxxpyxpyxpyxpyxpYXI,)()/(,)()(),(,)()/(log),(log),(log),();(),()(

9、)()/()()/()();();(YXHYHXHXYHYHYXHXHXYIYXIyxyxpyxpYXH,),(1log),(),(第27頁/共74頁29普通高等教育“十五”國家級規(guī)劃教材信息論與編碼第28頁/共74頁30普通高等教育“十五”國家級規(guī)劃教材信息論與編碼0)(0)log(lim0log0log, 100),()(021XHpppppppppHXHiipiiiini第29頁/共74頁31普通高等教育“十五”國家級規(guī)劃教材信息論與編碼信息熵相同613121216131612131),(),()(3213213211121cccpZbbbpYaaapXpppHpppHXHnnn第30頁

10、/共74頁32普通高等教育“十五”國家級規(guī)劃教材信息論與編碼0)0, 0 , 1 ()0 , 0 , 1 ()0 , 1 (HHHiiiiiiqppppppHloglog),(321第31頁/共74頁33普通高等教育“十五”國家級規(guī)劃教材信息論與編碼MMMMHXHlog)1,1,1()()()/(YHXYH第32頁/共74頁34普通高等教育“十五”國家級規(guī)劃教材信息論與編碼第33頁/共74頁35普通高等教育“十五”國家級規(guī)劃教材信息論與編碼0);();(0);(, 0);(0 1)/()()/(log)/()(log)/();(0);(yXIEYXIYxIyXIyxpxpyxpeyxpxpyx

11、pyXIYXIyxx同理第34頁/共74頁36普通高等教育“十五”國家級規(guī)劃教材信息論與編碼);()()/(log)()()/(log)();();();(,XYIypxypxypxpyxpxypYXIXYIYXIyxyx第35頁/共74頁37普通高等教育“十五”國家級規(guī)劃教材信息論與編碼)/()()/()(log)()/(log)()(log)()()/(log)();()()()()/()()/()();(,YXHXHYXHxpxpyxpxypxpxypxpyxpxypYXIXYHYHXHXYHYHYXHXHYXIxyxyxyx第36頁/共74頁38普通高等教育“十五”國家級規(guī)劃教材信息論

12、與編碼第37頁/共74頁39普通高等教育“十五”國家級規(guī)劃教材信息論與編碼0);(,)();()();(YXIYXYHXYIXHYXI獨(dú)立當(dāng)?shù)?8頁/共74頁40普通高等教育“十五”國家級規(guī)劃教材信息論與編碼第39頁/共74頁41普通高等教育“十五”國家級規(guī)劃教材信息論與編碼);();()/;();();(0)/;()/;()/;();();()/;();();()/;();();(YXIZXIZYXIYXIZXIYZXIZXYXYXIYZXIYXIZXIZYXIZXIYZXIYZXIYXIYZXIZXY相互獨(dú)立與條件下在相互獨(dú)立與條件下假設(shè)在第40頁/共74頁42普通高等教育“十五”國家級規(guī)

13、劃教材信息論與編碼第41頁/共74頁43普通高等教育“十五”國家級規(guī)劃教材信息論與編碼)()()(),(2121LLlXpXpXpXXXXp第42頁/共74頁44普通高等教育“十五”國家級規(guī)劃教材信息論與編碼)/()/()(),(1112121LLLXXXpXXpXpXXXp第43頁/共74頁45普通高等教育“十五”國家級規(guī)劃教材信息論與編碼)/()/()(),(112121mLLLXXXpXXpXpXXXp第44頁/共74頁46普通高等教育“十五”國家級規(guī)劃教材信息論與編碼ji狀態(tài)轉(zhuǎn)移概率表示為p(sj/si)nijimiiiaaAxxxxs,),(121第45頁/共74頁47普通高等教育“

14、十五”國家級規(guī)劃教材信息論與編碼jijijijimjnijnmpnmpssPsSsSPnmp1),(0),(/),(第46頁/共74頁48普通高等教育“十五”國家級規(guī)劃教材信息論與編碼)()(1/)(:10/)(kijmkmkijjijijijimjmijpiSjSPmpkpppsSsSPmp步轉(zhuǎn)移概率為第47頁/共74頁49普通高等教育“十五”國家級規(guī)劃教材信息論與編碼QQQQQQijppppppppSjip2122111211,Pp第48頁/共74頁50普通高等教育“十五”國家級規(guī)劃教材信息論與編碼轉(zhuǎn)移概率完全決定了k步轉(zhuǎn)移概率。第49頁/共74頁51普通高等教育“十五”國家級規(guī)劃教材信息

15、論與編碼0)(10limijjijijjjkijkppppppp第50頁/共74頁52普通高等教育“十五”國家級規(guī)劃教材信息論與編碼WWP jjw1第51頁/共74頁53普通高等教育“十五”國家級規(guī)劃教材信息論與編碼第52頁/共74頁54普通高等教育“十五”國家級規(guī)劃教材信息論與編碼+TXY第53頁/共74頁55普通高等教育“十五”國家級規(guī)劃教材信息論與編碼起始狀態(tài)000110111/201/401/203/4001/301/502/304/5S1(00)S2(01)S3(10)S4(11)第54頁/共74頁56普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 LllnininiiLiLiLin

16、ininiiiiLininiiLiiLiiniiLiiiniiiXHxpxpxpxpxpxpxpxpxpxpxpxpxpHxpxpxppppHLLLL11111112111211211)()(log)()()()(log)()()()(log)()log()()()()()()()()(log)()(111112XxxxX第55頁/共74頁57普通高等教育“十五”國家級規(guī)劃教材信息論與編碼)(1)(XXHLHL第56頁/共74頁58普通高等教育“十五”國家級規(guī)劃教材信息論與編碼LlllLLLlllLLXXHLHLHXXHXXXHXXHXHH111111121)/(1)(1)()/()/()/(

17、)()(XXX第57頁/共74頁59普通高等教育“十五”國家級規(guī)劃教材信息論與編碼41943611321aaaPX第58頁/共74頁60普通高等教育“十五”國家級規(guī)劃教材信息論與編碼)/(1LLXXH)/()(1LLLXXHHX)(XLH),/(lim)(lim)(121LLLLLXXXXHHHLXX當(dāng)?shù)?9頁/共74頁61普通高等教育“十五”國家級規(guī)劃教材信息論與編碼)(),/(),/(log),(),/(log),()/(),/(11,;,111111111111111XHXXXHxxxpxxpxxxpsxxpsxpxxxp、mmiiiiiiiiiiiiiiiiiiiiimmmmmmmmm

18、mm左邊遍歷馬氏鏈對于齊次第60頁/共74頁62普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 iiiiiiiiiiiiiiiiiiiiiiiiiiisXHspHsXHspsxpsxpspsxpsxpsxpsxxpmmmmmmmmm)/()()X()/()()/(log)/()()/(log),()/(log),(11111111111,;,右邊右邊第61頁/共74頁63普通高等教育“十五”國家級規(guī)劃教材信息論與編碼8 . 02 . 005 . 005 . 09 . 001 . 0P第62頁/共74頁64普通高等教育“十五”國家級規(guī)劃教材信息論與編碼xdxxpxdxxpxpXHXHxxpxxp

19、xpxpXHxxpdxxpxpxiaxiaxnabxbaxnbaiXnbaiXiXnnniiXiXniiinxiaxiaiXXiiloglim)(loglim)(log)()(lim)()(log)()(log)()()()()(,) 1(,/ )(,11) 1(b ba ai iX Xi iX X) )d dx x( (x x) )l lo og gp p( (x xp p利用中值定理可得令第63頁/共74頁65普通高等教育“十五”國家級規(guī)劃教材信息論與編碼)/()(),()()()/()();();()/()(),()/(log),()/(),(log),(),()(log)()(,XYHYHYXHYHXHYXHXHXYIYXIXYHXHYXHdxdyxypyxpXYHdxdyyxpyxpYXHdxxpxpXHccccccccccYYXcYXYXcXXc互信息條件熵聯(lián)合熵相對熵第64頁/共74頁66普通高等教育“十五”國家級規(guī)劃教材信息論與編碼)/(lim)(/ )()(lim)()(log)()()(log)(),()(,21XYXyxy/xyx,Y/XxxxXYXcLccLcYYXcXXLccHtxtyHHtxHLddppHdppXXXHH隨機(jī)波形信源取條件熵相對熵和平穩(wěn)隨機(jī)矢量第65頁/共74頁6