信息論與編碼原理-第4、5章課后習(xí)題-20140604-23點-自己整理

1、信息論與編碼原理信息論與編碼原理四、五章習(xí)題四、五章習(xí)題12021/8/2信息符號信息符號對應(yīng)碼字對應(yīng)碼字000001011100101111011111s 4.1 對信源概率空間為進行二元編碼，編碼方案如表4.19所示（1）計算平均碼長 。（2）編碼后信息傳輸率 。（3）編碼后信源信息率 。（4）編碼效率 。1234567(s)0.20.190.180.170.150.100.01SsssssssPLRR2s3s4s5s6s7s 表表4.19 編碼方案編碼方案（1）平均碼長）平均碼長1( )3*(0.20.190.180.170.15)4*(0.100.01)3.11qiiiLP s L(

2、)H SRL( )(0.2,0.19,0.18,0.17,0.15,0.10,0.01)2.609H SH碼元碼元/信源符號信源符號（2）編碼后信息傳輸率）編碼后信息傳輸率 bit/符號符號0.839R bit/碼元碼元（3）編碼后信源信息率）編碼后信源信息率 logRLr2log1rrlog3.11RLrbit/信源符號信源符號（4）編碼效率）編碼效率max( )0.839logH SRLRr進行二元編碼，5種不同的編碼方案如表4.20所示。表4.20 5種不同的編碼方案信源符號信源符號00000010010110100000100111101100010110111111010010101

3、000111111110110011010101111111111010110011s2s3s4s5s6s1C2C3C4C5C（1）這些碼中哪些是唯一可譯碼？（2）這些碼中哪些是即時碼(異前綴碼)？（3）計算即時碼的平均碼長和編碼效率。4.3 某信源概率空間為123456( )0.30.250.20.150.060.04SssssssP s（1）這些碼中）這些碼中 是唯一可譯碼。是唯一可譯碼。123CCC（2）這些碼中）這些碼中 是即時碼。是即時碼。13CC161( )3*(0.30.250.20.150.060.04)3ciiiLP s L碼元碼元/信源符號信源符號（3）( )(0.3,0.

4、25,0.2,0.15,0.06,0.04)2.325H SHbit/符號符號11max( )0.775logccH SLRRr361( )1*0.32*0.253*0.24*0.155*0.066*0.042.54ciiiLP s L碼元碼元/信源符號信源符號33max( )0.915logccH SLRRr進行 次擴展，采用二元霍夫曼編碼。當(dāng) 時的平均碼長和編碼效率為多少？1,2,3,N N4.7 設(shè)離散無記憶信源的概率空間為 ，對信源12( )0.70.3SssP s（1） 時，將時，將 編成編成0， 編成編成1，則，則1N 1s2s11L 又因為信源熵又因為信源熵( )(0.7, 0.

5、3)0.881H SHbit/符號符號所以編碼效率所以編碼效率11( )0.881H SL（2）如果對）如果對 長度的信源序列進行霍夫曼編碼，編碼結(jié)果如長度的信源序列進行霍夫曼編碼，編碼結(jié)果如表表4.8所示所示2N 信源序列信源序列霍夫曼碼霍夫曼碼0.4910.21010.210000.09001表4.8 時的編碼結(jié)果2N 11 1s s1 2s s2 1s s2 2s s()iP此時，信源序列的平均碼長此時，信源序列的平均碼長21 0.492 0.21 3 (0.210.09)1.81L 二元碼符號二元碼符號/信源符號序列信源符號序列則單個符號的平均碼長則單個符號的平均碼長20.9052LL

6、 二元碼符號二元碼符號/信源符號信源符號所以對長度為所以對長度為2的信源序列進行變長編碼，編碼后的編碼效率的信源序列進行變長編碼，編碼后的編碼效率2( )0.8810.9730.905H SL用同樣的方法進一步將信源序列的長度增加，對用同樣的方法進一步將信源序列的長度增加，對 的的序列進行最佳編碼，可得平均碼長和編碼效率為序列進行最佳編碼，可得平均碼長和編碼效率為3N 30.9690.909L 二元碼符號二元碼符號/信源符號信源符號（4） 時，由香農(nóng)第一定理可知，必然存在唯一可譯碼，使時，由香農(nóng)第一定理可知，必然存在唯一可譯碼，使N lim( )NrNLHSN而霍夫曼編碼為最佳碼，即平均碼長最

7、短的碼，故而霍夫曼編碼為最佳碼，即平均碼長最短的碼，故lim1NN4.9 已知離散無記憶信源的概率空間為用香農(nóng)編碼和霍夫曼編碼法編成二進制變長碼，計算平均碼長和編碼效率。12345( )0.250.20.20.20.15SsssssP s解：香農(nóng)編碼解：香農(nóng)編碼信息符號信息符號符號概率符號概率累積分布累積分布碼字長度碼字長度碼字碼字0.25022000.20.252.3230100.20.452.3230110.20.652.3231010.150.852.743110isP( )isiFlogP( )is1s2s3s4s5s2 0.253 (0.20.20.20.15)2.75L 碼源碼源/

8、信源符號信源符號(S)(S)logHHLrL( )(0.25,0.2,0.2,0.2,0.15)2.305H SHbit/符號符號0.838霍夫曼編碼霍夫曼編碼信源符號信源符號碼字碼字碼長碼長01210211200030013is1s2s3s4s5s2 0.250.2 20.2 20.2 30.15 32.35L 碼元碼元/符號符號(S)2.3050.982.35logHLr（1）若信道輸入符號 ，求 、 、 和 。（2）求該信道的信道容量及達到信道容量的最佳輸入概率分布。（3）如果信道輸入符號 時，計算信道剩余度。03/4, (1) 1/4PP（ ）()H X(|)H X Y(|)H Y X

9、(; )I X Y03/4, (1) 1/4PP（ ）0.80.20.20.85.1 設(shè)二進制對稱信道的傳遞矩陣為（1）31( )(,)0.811 bit/44H xH符號的聯(lián)合分布概率為：的聯(lián)合分布概率為： X Y0101XY35320120153311 ()(,)1.533 bit/520205H XYH符號137 ( )(,)0.934 bit/2020H YH符號(|)()( )0.599 bit/H X YH XYH Y符號( |)()()0.722 bit/H Y XH XYH X符號(; )()( )(, ) ( )(|)()(|)0.212 bit/I X YH XH YH X

10、 YH YH Y XH XH X Y符號（2）由對稱信道的信道容量公式得：）由對稱信道的信道容量公式得：log() log2(0.8,0.2)0.278 bit/CSH pH的行矢量符號 且當(dāng)信道輸入是等概率分布時才能達到這個最大值且當(dāng)信道輸入是等概率分布時才能達到這個最大值,即即:1(0)(1)2PP（3）信道剩余度為：）信道剩余度為：(; )(; )10.237CI X YI X YCC 信道剩余度5.3 設(shè)某對稱離散信道的信道矩陣為（1）求其信道容量。（2）寫出該信道的二次擴展信道的信道矩陣，并計算信道容量。00.50.50000.50.50.5000.50.50.500P（1）log(

11、) log4(0.5,0.5)1 bit/CSH pH的行矢量符號2 00 01 02 03 10 11 12 13 20 21 22 23 30 31 32 3300000000.25 0.25000.25 0.2500000010020310111213 2021222330313233P000000.25 0.25000.25 0.25000000000.25000.25 0.25000.25000000000.25 0.25000.25 0.250000000000000000.25 0.25000.25 0.25000000000000.25 0.25000.25 0.2500000

12、0000.25000.25 0.25000.25000000000.25 0.25000.25 0.250000.25 0.2500000000000.25 0.250000.25 0.2500000000000.25 0.250.25000.25000000000.25000.250.25 0.2500000000000.25 0.250000.25 0.25000.25 0.25000000000000.25 0.25000.25 0.25000000000.25000.25 0.25000.25000000000.25 0.25000.25 0.250000000000（2）二次擴展信道

13、的信道矩陣為：）二次擴展信道的信道矩陣為： 則信道容量為：則信道容量為：log() log16(0.25,0.25,0.25,0.25) 2 bit/CSH pH的行矢量符號 5.4 設(shè)某信道的轉(zhuǎn)移矩陣為求其信道容量。11pqqppqpqP 將將 劃分為兩個對稱的矩陣：劃分為兩個對稱的矩陣：11p qqpPpqp q121 1p qpPpp qqPq 11222,1,1,2 ,2rNq Mq Nq Mq n 1231loglog(,) log2(1)log(1)log(2 ) (1, , ) log2 (1)log(1)(log2log ) (1, , ) (1)log2(1, )(1, , )nkkkCrNMH P P PqqqqHpq p qqqqqHpq p qqHq qHpq p q 圖5.14 題5.10中的串聯(lián)信道5.10 有二個信道的信道