信息論與編碼理論-信道容量-習(xí)題解答-071102

1、v1.0可編輯可修改第3章信道容量習(xí)題解答3-1設(shè)二進(jìn)制對稱信道的轉(zhuǎn)移概率矩陣為2/3 1/31/3 2/31017解：(1) 若 P(aJ 3/4,P(a2)1/4，求 H(X), H (Y), H (X |Y), H(Y|X)和 l(X;Y)。H(X)=P(ai )log p(aji=13 311log( ) log()0.8113(bit /符號(hào))4 4443 2117p(b1)=p(a1)p(b1|aj+p(a2)p(b1|&)=4 3 4 3123 1125p(b2)=p(a1)p(b2|aj+p(a2)p(b2|a2)=4 3 4 312H(Y)=p(bj)log(bj)=

2、j=10.9799(bit/ 符號(hào))22H(Y|X)=p(q ,bj)logp(bj|ajp(bj|aj)logp(bj|aji,jjI log(|) 1 log(1) 0.9183(bit/符號(hào))I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(bit/ 符號(hào))H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(bit/ 符號(hào))(2)求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布二進(jìn)制對稱信息的信道容量H(P)= -plog(p)-(1-p)log(1-p)11 22C=1-H(P)=1+-log( -) + log( )=0.0817(bi

3、t/ 符)3333BSC言道達(dá)到信道容量時(shí)，輸入為等概率分布，即：注意單位3-4設(shè)BSC信道的轉(zhuǎn)移概率矩陣為1) 寫出信息熵H(Y)和條件熵H(Y|X)的關(guān)于H( 1)和H( 2)表達(dá)式，其中H( ) log (1 )iog(1 )。2) 根據(jù)H()的變化曲線，定性分析信道的容道容量，并說明當(dāng)12的信道容量。解：(1)設(shè)輸入信號(hào)的概率頒布是p,1-pp(GP(aJ p(b1 |ajp®) p(b I a?)P (11) (1 p) 2p(bs)p(Q)pblajp(a2)p(b2 |a2)p 1 (1 p) (12)H (Y)p(bi)log p(bj p(b2)log p(b2)p

4、 (11)(1p) 2log p (11)(1 p) 2p 1(1p)(12)log p 1(1p)(12)Hp (11)(1p) 2H(Y |X)2i,jp(a1i)p(bj |a)log p(bj|ajp (1Jlog(11) 1log( 1)(1p)(12)log(12)2 log( 2)p H( 1)(1p)H( 2)(2)H()的變化曲線，是一個(gè)上凸函數(shù)，當(dāng)輸入等概率分布時(shí)達(dá)到信道 容量。C mpaxI(X;Y) 窓繪仆(丫)H (丫 |X)maXMP (11) (1 p) 2 p H( 1) (1 p) H( 2)由于函數(shù)H (&)是一個(gè)凸函數(shù)，有一個(gè)性質(zhì)：f( 1 (1)

5、 2) f( 1)(1) f( 2)可知：C假設(shè)12 時(shí)此信道是一個(gè)二元對稱信道，轉(zhuǎn)移概率分布為：1Q1信道容量：1 2C 1- log -(1- )log(1-)1-H()3-10電視圖像由30萬個(gè)像素組成，對于適當(dāng)?shù)膶Ρ榷?，一個(gè)像素可取 10 個(gè)可辨別的亮度電平，假設(shè)各個(gè)像素的10個(gè)亮度電平都以等概率出現(xiàn)，實(shí) 時(shí)傳送電視圖像每秒發(fā)送30幀圖像。為了獲得滿意的圖像質(zhì)量，要求信號(hào) 與噪聲的平均功率比值為30dB,試計(jì)算在這些條件下傳送電視的視頻信號(hào) 所需的帶寬。解：I (X) log103.32bit/ 像素1秒內(nèi)可以傳送的信息量為：3.3219bit/ 像素 30 10000像 素 30=2

6、.9897 107bitS 斤口SBlog(1 &),已知:10log 10(-) 30dB2.9897 107103Blog(1 103)可得：B 2.9995 106HZ3-11 一通信系統(tǒng)通過波形信道傳送信息，信道受雙邊功率譜密度No/20.5 10 8 WZ Hz的加性高斯白噪聲的干擾，信息傳輸速率R 24 kbit/s，信號(hào)功率 P 1W1）若信道帶寬無約束，求信道容量；解：帶限的加性高斯白噪聲波形信道的信道容量為無帶寬約束時(shí):Ps N0Wlog(1C lim CtlimwwN0 FSPsN0W空 loge 1.4427 108bit/sN0 y2）若信道的頻率范圍為0到3K

7、Hz求信道容量和系統(tǒng)的頻帶利用率 R/W（bps/Hz）（注：W為系統(tǒng)帶寬）；對同樣的頻帶利用率，保證系統(tǒng)可靠傳輸所需的最小Eb/No是多少dBW=3KHZ在最大信息速率條件下，每傳輸1比特信息所需的信號(hào)能量記為丘Wlog(1N0WWlog(1SNR)3000 log(11 10 83000)4.5074 104bpsR 24kbit/ s8bps/HzW 3KHz33.47dBEbPs1N0 N0C 1 10 8 4.5074 1043）若信道帶寬變?yōu)?00KHz欲保持與2）相同的信道容量，則此時(shí)的信噪 比為多少dB信號(hào)功率要變化多數(shù)dBW 100KHZ4Ps5Ps4.5074 104bps

8、 Wlog（1 ） 105log（1）NoWN°WpSNR 0.3667即:4.3654dBN0WPs' 0.3667 105 10 80.3667 10 3w信號(hào)功率的變化為:P '0 366710 310log !0 皂 10log 0.36671034.3569dBPs1第4章無失真信源編碼習(xí)題參考答案4-1 :A、C E碼是及時(shí)碼。唯一可譯碼的平均碼長如下：-6111 11IaP（Si）li3（-i 12416 161661111lBP（Si）li1_ 2 3i 1241616符號(hào)61111IcP（Si）li1-23i 1241616符號(hào)61111IeP（Si

9、）li1-2（i 12416164-3(1) A、B、C E編碼是唯一可譯碼。1 一)3碼兀/信源符號(hào)1611一、4562.125碼兀/信源161611一4562.125碼元/信源16161 1 一)4 2碼兀/信源符號(hào)16 168H(X)=- p(x i)logp(x i)i=i1, 1 1 1 1 1 1 1 1, 1=-_log - log - _log - log - log22 44 88 1616 32321 , 11 11 ,1-log -log-log6464128 12812812863“=1 bit/ 符64平均碼長：61 1 11 11 11lp(s)li3()3碼兀/信

10、源符-i 1248163264128128所以編碼效率：H(X)l0.6615仙農(nóng)編碼：信源符號(hào)Si符號(hào)概率p(Si)加概率碼長碼字S110102S1121042S313311084S41741110168S5丄155111103216S613161111106432S1637111111012864S8112771111111128128費(fèi)諾碼:信源符號(hào)Si符號(hào)概率p(Si)編碼碼字碼長S112001S2140102S31801103S4116011104S5132110111105S61641101111106S112811011111107S811281111111174-5 :(1)霍

11、夫曼編碼:對X的霍夫曼編碼如下:信源符號(hào)S符號(hào)概率p(Si)編碼過程碼長碼字S/0102s!0?1112S1010003S4010013S5010103S0丿r101104101114l 0.2 2 0.19 2 0.18 3 0.17 3 0.15 3 0.1 4 0.01 42.72 碼元 /信源符號(hào)7H (X) 口 log pi 2.61 碼元/符號(hào)i 1H(X)l2.610.95962.72Y的二元霍夫曼編碼:信源符 號(hào)Si符號(hào)概率P(Si)編碼過程碼字碼長S1/1/Ir011S2010003S3010013S4/z0101004S5fr0101014S60101114S7010110

12、15S8010110006S910110016平均碼長：l 0.49 10.14 3 2 0.07 4 2 0.04 4 0.02 5 0.02 6 0.01 62.23碼元/信源符9H(Y)Pi log Pi 2.31 碼元 / 符號(hào)i 1編碼效率：H(Y) 空 0.9914I 2.33仙農(nóng)編碼：對X的仙農(nóng)編碼:信源符號(hào)S符號(hào)概率p(Si)和概率碼長碼字S103000S3001S30183011S43100S53101S64111071111110平均碼長:I 0.2 3 0.19 3 0.18 3 0.17 3 0.15 3 0.1 4 0.01 73.14碼元/信源符H(X)I2.613

13、.140.8312對Y的仙農(nóng)編碼:信源符號(hào)S符號(hào)概率p(Si)和概率碼長碼字S10200S23011S33101S441100S541101S6511101S6111100S86111110S971111110平均編碼長度:l 0.49 2 0.14 2 0.07 4 2 0.04 5 0.02 6 2 0.02 6 0.01 72.89碼元/信源符H(Y) 2.31編碼效率：一0 7993l 2.89費(fèi)諾編碼：0.2 2 0.19 3 0.18 3 0.17 20.15 3 0.1 4 0.01 42.74對X的費(fèi)諾編碼:信源符號(hào)Si符號(hào)概率p(Si)編碼碼字碼長S100002S100103

14、S310113S40102S5101103S611011104S7111114平均編碼長度:碼元/信源符號(hào)編碼效率：旦X0 261 0.9526I 2.74對Y進(jìn)行費(fèi)諾編碼:信源符號(hào)Si符號(hào)概率p(Si)編碼碼字碼長S1001S2001003S311013S40011004S51111014S61011104S710111105S81101111106S911111116平均碼長:l 0.49 10.14 2 3 0.07 4 2 0.04 4 0.02 5 0.02 6 0.01 62.33碼元/信源符號(hào)編碼效率： H(Y) 2310.9914I 2.33(4)由三種編碼的編碼效率可知：仙農(nóng)

15、編碼的編碼效率為最低，平均碼長最長；霍夫曼編碼的編碼長度最短，編碼效率最高，費(fèi)諾碼居中。4-7 : 由三元編碼方式可知：R=t> B=R-1(K 2)+2由本題可知D=3, K=8, R=2,所以，首先合并最后兩個(gè)信源概率，其中一種編碼方式如下:信源符號(hào)Si符號(hào)概率p(Si)編碼碼字碼長S1001v1.0可編輯可修改S2121S302112S41122S5021013S611023S0210004S81100144-21 :符號(hào)概率分布區(qū)間00,0.2510.25,1由題目可知信源符號(hào)為:1011 0111 1011 0111p(s 1011 0111 1011 0111)3 1p(1)

16、12 p(0)4( )12( )40.00012374 4算術(shù)碼的碼長丨 log p(s) 13由序列S的分布函數(shù)F( S)由二元整樹圖來計(jì)算:F(S) 1p(11)p(10111)p(1011011111)p(1011011110111)p(1011011110110111)3 2(4)(3)10(1)3443 12 1 4(3)G0.35114030.0101100110011所以算術(shù)編碼為：0100 0011 0011平均碼長及編碼效率如下：i邏0.8125碼元/符號(hào)H(S) p(1)log p(1) p(0)log p(0)0.8113 bit/ 符號(hào)里包 0.9985l(2) 由于信

17、源符號(hào)集中共有2個(gè)元素，因此只需要log 21位二進(jìn)制數(shù)就可以表示其編碼，該符號(hào)集的編碼表如下:符號(hào)01編碼01按照分段規(guī)則，分段為：1 0 11 01 111 011 0111短語數(shù)為7,可用n log 73位來表示段號(hào)；每個(gè)信源符號(hào)編碼長度為1，所以短語長度為：3+1=4,具體編碼過程如下:盹 1=1. 段號(hào)短語編碼110001200000311001140101015111011160111001701111101平均編碼長度：i 7 (3 1 1.75碼元/符號(hào)16H (S)0.8113 /編碼效率為：0.4636l 1.751031失真矩陣：d 02Dmin 0, R(Dmin )1

18、0轉(zhuǎn)移矩陣:pH(X) H(1/2,1/2) Iog2 1bit/符號(hào)012Dmaxmjnj 1,2 i 1111mi n02,1j 忖 222此時(shí)，轉(zhuǎn)移矩陣:p0Pidjm1np1d11P2d21, pa?-0 min1,12 j 1,2211 , R(Dmax)0p2d22)1R(D)定義域:0,-第6章信道編碼概述習(xí)題答案6-2極大似然譯碼規(guī)則譯碼時(shí)，由轉(zhuǎn)移概率矩陣可知：第一列中11丄，第二列中丄，第三221列中1為轉(zhuǎn)移概率的最大值，所以平均錯(cuò)誤概率為：211111111111 （丄丄）丄（丄丄）11丄）丄2 3 643 643 62Pe最小錯(cuò)誤概率譯碼，輸入 x與輸出y的聯(lián)合概率分布為

19、:1 1丄4,6,12丄1丄24® 12 丄丄1 12,24,81Pe (24由工11 由于241111111)( )( )1282412122412可以看出最佳譯碼為最小錯(cuò)誤概率譯碼，平均錯(cuò)誤概率為11246-4(1) 求信息傳輸率；log 41 “口Rbit/符號(hào)n 2(2) 求平均錯(cuò)誤譯碼概率。根據(jù)信道的傳輸特性，可知可以輸出24=16種序列，可以分成 4個(gè)子集，分別為:a1=(0 0-2a2=(0 1-21a3=(1 0%4=(1 114 2傳輸信道如下所示：-)f (0 0 y212)f (0 1 y12)f (1 0 y12)f (1 1 y4)4)4)4)y3,y 4

20、(0 1)(0 0(0 1(1 0(1 11 12 21 12 21 12 21 12 20000 00010010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 11111111000 0 0 000 000 0444411 11000000 000 0 00444400000000111-00 0 04444000000000 0 0 011114444譯碼規(guī)則為：1 1f(y 1,y 2,y 3,y4)=(y 1,y 2,每個(gè)碼字引起錯(cuò)誤的概率:PeP( 1 i ) P(f(ri)0 i=1、2、3、4所以 Pe

21、P( i)Pe0C第7章線性分組碼習(xí)題答案1.已知一個(gè)（5, 3）線性碼C的生成矩陣為：110 0 1G 011010 0 111（1）求系統(tǒng)生成矩陣；（2）列出C的信息位與系統(tǒng)碼字的映射關(guān)系；（3）求其最小Hamming距離，并說明其檢錯(cuò)、糾錯(cuò)能力;（4）求校驗(yàn)矩陣H;（5）列出譯碼表，求收到 r=11101時(shí)的譯碼步驟與譯碼結(jié)果。解：（1）線性碼C的生成矩陣經(jīng)如下行變換：110011001101101將第2、3加到第1行011010011100111100111001101101將第勸卩到第2行010100011100111得到線性碼C的系統(tǒng)生成矩陣為10011Gs0101000111(2

22、) 碼字c (C0,C!， ,Cn 1)的編碼函數(shù)為c f (m) m0 1 0 0 1 1 m1 0 1 0 1 0 m2 0 0 1 1 1 生成了的8個(gè)碼字如下信息元系統(tǒng)碼字00000000由 G Ink,Ak(n k), H Ak(nk)T,ln k，得校驗(yàn)矩陣11110H10 10 1(5)消息序列 mF000,001,010,011,100,101,110,111，由 c=mGs得碼字序列Co=OOOOO, C1=00111, C2=01010, C3=01101,C4=10011, C5=10100, C6=11001, C7=11110則譯碼表如下：00000001110101

23、00110110011101001100111110100001011111010111010001100100010010111001000011110001000101110111110010001101100000100110010110110010010101011100011111當(dāng)接收到r =(11101)時(shí)，查找碼表發(fā)現(xiàn)它所在的列的子集頭為(01101)，所以將它譯為c=01101。2 設(shè)(7, 3 )線性碼的生成矩陣如下10 100 111110 1(1) 求系統(tǒng)生成矩陣;(2) 求校驗(yàn)矩陣；(3) 求最小漢明距離;(4) 列出伴隨式表。解：(1)生成矩陣G經(jīng)如下行變換0101

24、01010011010010111交換第1、行001011110011010101010100110110011010010111交換第2、行°10101001010100010111得到系統(tǒng)生成矩陣:1001101Gs01010100010111(2)由 G I n k，Ak (n k) ，H Ak (n k) ，I n k ，得校驗(yàn)矩陣為110 10 0 010 10 10 0 H0 110 0 101 0 1 0 0 0 1(3) 由于校驗(yàn)矩陣 H的任意兩列線性無關(guān),3列則線性相關(guān)，所以最小漢明距離 d=3。(4) ( 7, 3)線性碼的消息序列 mF000,001,010,0

25、11,100,101,110,111，由 c=mGs得碼字序列：6=0000000, C1=0010111，C2=0101010，C3=0111101, C4=1001101, C5=1011010，C6=1100111, C7=1110000。又因伴隨式有24=16種組合，差錯(cuò)圖樣為1的有77種，1差錯(cuò)圖樣為2的有721種，而由HrT HeT，則計(jì)算陪集首的伴隨式，構(gòu)造伴2隨表如下:伴隨式陪集首伴隨式陪集首000000000000101100100011011000000100110001001010010000011110011000011100100001100000110010000001000111001001000100000010010110100001001000000100011001010000010000001011000001103 .已知一個(gè)(6, 3)線性碼C的生成矩陣為:100101G010011 .001110(1)寫出它所對應(yīng)的監(jiān)督矩陣H；(2)求消息M=(101)的碼字；(3)若收到碼字為101010,計(jì)算伴隨式,并求最有