武漢理工 信息理論與編碼 計(jì)算題復(fù)習(xí)材料

1、,12P(a )1 ii1i得每個(gè)像素亮度含有的信息量為：H(X)log1287 比特 像素NH(X ) NH(X)2.110 比特 每幀N6 Y b b b q1,2,q Pb )jjHY)logq log 1000013.29 比特 字2HY ) Y) 1.329 比特 千字N442Y中獨(dú)立地選取漢字來描述電視圖像，每次口述一個(gè)漢字含有信息量是N65P 52 8.066105267設(shè)事件A為任一特定排列，則其發(fā)生概率為1122CC5213C52則事件 B發(fā)生所得到的信息量為 I B logP B log2C哈特2.6 平均互信息及其性質(zhì)X x ,x Y y ,y 設(shè)隨機(jī)變量1212(x ,

2、y ) (x ,y ) (x ,y ) (x ,y )111221221 83 83 81 8P定義一個(gè)新隨機(jī)變量H(X) HY) H(Z) H() HYZ)（1）計(jì)算熵H(X |) HY | )、I(X;Y) I(X;Z) IY;Z) I(X;Y |Z) IY;Z | X)以及p x0 p xy 0 p xy 1 p x1 p xy 0 p xy 1 H X P xiii1 3 1p y 0 p xy 0 p xy 0 8 8 2 jjj7188 77 112z88 8kK2p(xz p(xp(z 0 x1p(x1,z 1) p(x1)p(z 1 x1) p(x1)p(y 1 x1) p(x

3、1,y 1)81(bt symb2i38p(x0,y 1,z 1) p(x0,y 1)p(z 1 x0,y 1)038p(x1,y 0,z 1) p(x1,y 1)p(z 1 x1,y 0)0p(x1,y 1,z 0) p(x1,y 1)p(z 0 x1,y 1)018p(x y z ) p(x y z )i2iijk11 31 /88 8XY2ji jijXYY 1.81110.811bit/symol-HX 1.8111 0.811bit/symol-HZ 1.4060.544 bit/symol-HX 1.4061 bit/symol-HZ 1.4060.544 bit/symol-HY

4、 1.4061 bit/symol-HXYXZXZYZYZX /YZXYZYZ 1.8111.406 bit/symol-HXZ 1.8111.406bit/symol-HXY 1.8111.811 bit/symol-H=HXYZXYZ I X :Y H X H X /Y 10.811 bit/symol3I X :Z H X H X /Z 10.862bit/symolI Y :Z H Y H Y /Z 10.862bit/symolH() H()HY | X)I(Z;Y | X)=ijiijiXYZ p x y z log p y | xijiiiijiji XYZXYZ iijiji

5、XYZii iiijiiiiiXYZii| =ijiiiiiXYZiiij p x y z p x z p y | x iiijiiiiiXYZiiiji p x y z p x z p y | x iiijiiiiiXYZiiiji iiijiiiii XYZiijiijiijiXYZ I Z；Y | X H Y | X H Y | XZ4H X,Y,Z H X,Z H Y | XZ H X,Z H Y | X H Y | X H Y | XZ H X,Z H Y | X H Y | X H Y | XZ H X,Z H Y | X I Z；Y | XH X,Y,Z H X,Y H Z,X

6、H X(2)要證明不等式 ijrijrijrij XYZXYZijririjri XYZXp x y z p xip x y p x zYZ jriijr XYZijir p x y p x zi jirz p xijr XYZijri e irijrXYZiXYZ p x y z e jririjrXYZXYZ所以H X,Y,Z H X,Y H X,Z H X ijiriijr0 x a20的熵。5_h(x) =-af x f x dx( )log ( )_x0=-a220f (x)dx- baa2_00 xx2Inxdxa0a3a3Ina- )93=loge-loga- logb93 a

7、( ) =1f x dx03b =a22_h(x) = e- 2 - 3+3a a32= e- 3+a3_12_31_2_h(y ) = h(x)223= loge- log +loga326X傳送信息，設(shè)信源的概率分布和信道b212 P0.6 0.4 X的符號(hào)12jiX1I(a ) 11 2 PZYY Z 0.52 0.48111210.94340.3219 0.6215 /符號(hào)122211.0589 2.3220 1.2631 /符號(hào)I(a ;b) I(b)Ib a )21112=0.94343.3222.3786 222221.05890.1520 0.9609H(Z) 1HY a )H

8、 2HY z)0.60.72190.40.4690.6207 I(z;Y) HY)HY z)0.99880.62070.3781 I Z;Y H(Z)H(Z Y)又根據(jù)7= Z0.7 0.3 Z101P Y0.8ab11b0.9218W0.565KHY a ) H(0.8,0.2) 0.7219 1424/符號(hào)HY Z)0.70.72190.30.83670.7563 HY)0.640.64390.361.4740.9427 0.98aba0.981 3222解：圖 3.8中兩信道的信道矩陣為3 6 3 6181111,13636P p p 0(1)(2)212在輸入等概率分布下，計(jì)算得11b

9、 ) )PP b22123P33P b a1j11Pjjpp(p)log2=p p p(p ) ( )132jb )22Pjjpp(p)log12122= ) ( )p p p1 P a 0 i 1,2時(shí)。12i所以，根據(jù)信道容量解的充要性（參考書1定理3.3）得I(X;Y)C92C ( ) ( )1此信道是準(zhǔn)對(duì)稱信道。信道矩陣中Y可劃分成二個(gè)互不相交的子集，由于集列所組成的矩陣p而這兩個(gè)子矩陣滿足對(duì)稱性，因此，可直接利用準(zhǔn)對(duì)稱信道的信道容量公式進(jìn)行計(jì)算。2ClogrH(p )N1123kkr 2 NN M 1122, ,2) ) 41=2(p p)(p p)2 )4=22(1)(p p)(p

10、 p)2=(p p)(p p)10 p M 12 N M 11222ClogrH(p, ,2,0) pkk2(p p)(p p)2 )22=2 ( ) ( )1log21112C C log2213.8 信源與信道的匹配P 3 4 1 4X23 13（1）求信道輸入熵、輸出熵、損失熵、噪聲熵以及平均互信息量；（2）求信道容量和最佳輸入分布；P(y P(X)P(0 X) 4 3 437/12P(y P(X)P(1X) 43 42/33 2121 117352534H(Z Y) P(X)PY X)ZYbit/符號(hào)HY Z) P(X)PY X)ZY4 3 3 4 3 3 4 3 3 4 3 30.9

11、18 bit/符號(hào)I(Z;Y) H(Z) H(Z Y)5=0.4536+0.5363=0.9899C 1H(P)1H( , )0.0823 3CI(Z;Y)0.0820.0620.02000pp（1）求信道容量和最佳輸入分布的一般表達(dá)式；p 0 p 1 2和33jijjijij11(1P) P (1P)log(1P)PlogP23 (1 )P P P P P231 ) 23 2jP)log(1P)PlogPP)log(1P)PpH(p)Pp111PPP2PP3323jiji11b ) P(a )(1P)P(a )P223323112(1P) P11PPP12(1P) P2323PP13P(a

12、) P(a ) P(a )1231P a4123WWWWWWUi1234562011111 111110 1101（1）這六種碼分別是什么碼？哪些碼是 UDC？定碼長(zhǎng)，非奇異碼，是 UDC12345060 111尾隨后綴集合，可見 0 是碼字，所以它不是UDC123 ( )ii碼元信源符號(hào)w1l 1.969w2l 1.96913P U1u u u 00123lu21222332332 p2ul=0.252+0.22+0.153+0.153+0.094+0.13+0.130.044+0.064+0.064lN0112 1103 05111040090 :10, :110, : :010, : :0000, :0110, :101234567892.97199%35.2 兩種典型的譯碼規(guī)則145.1 設(shè)有DMC其轉(zhuǎn)移矩陣如下P 1 6 1 2 1 3Y XP 若信道輸入概率為，試確定最佳