信息論習(xí)題.doc

1、信息理論習(xí)題集信息理論基礎(chǔ)習(xí)題集【考前必看】一、 判斷：1、 必然事件和不可能事件的自信息量都是0 。2、 自信息量是的單調(diào)遞減函數(shù)。3、 單符號(hào)離散信源的自信息和信源熵都具有非負(fù)性。4、 單符號(hào)離散信源的自信息和信源熵都是一個(gè)確定值。5、單符號(hào)離散信源的聯(lián)合自信息量和條件自信息量都是非負(fù)的和單調(diào)遞減的6、自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系： 7、自信息量、條件自信息量和互信息量之間有如下關(guān)系： 8、當(dāng)隨機(jī)變量X和Y相互獨(dú)立時(shí)，條件熵等于信源熵。9、當(dāng)隨機(jī)變量X和Y相互獨(dú)立時(shí)，I（X；Y）=H（X） 。10、信源熵具有嚴(yán)格的下凸性。11、平均互信息量I（X；Y）對(duì)于信源概率分布

2、p（xi）和條件概率分布p（yj/xi）都具有凸函數(shù)性。 12、m階馬爾可夫信源和消息長(zhǎng)度為m的有記憶信源，其所含符號(hào)的依賴關(guān)系相同。 13、利用狀態(tài)極限概率和狀態(tài)一步轉(zhuǎn)移概率來(lái)求m階馬爾可夫信源的極限熵。 14、定長(zhǎng)編碼的效率一般小于不定長(zhǎng)編碼的效率。 15、信道容量C是I（X；Y）關(guān)于p（xi）的條件極大值。 16、離散無(wú)噪信道的信道容量等于log2n，其中n是信源X的消息個(gè)數(shù)。 17、信道無(wú)失真?zhèn)鬟f信息的條件是信息率小于信道容量。18、最大信息傳輸速率，即：選擇某一信源的概率分布（p（xi），使信道所能傳送的信息率的最大值。 19、信源的消息通過(guò)信道傳輸后的誤差或失真越大，信宿收到消息后

3、對(duì)信源存在的不確定性就越小，獲得的信息量就越小。 20、率失真函數(shù)對(duì)允許的平均失真度具有上凸性。21、信源編碼是提高通信有效性為目的的編碼。 22、信源編碼通常是通過(guò)壓縮信源的冗余度來(lái)實(shí)現(xiàn)的。 23、離散信源或數(shù)字信號(hào)的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。 24、一般情況下，哈夫曼編碼的效率大于香農(nóng)編碼和費(fèi)諾編碼。 25、在編m（m>2）進(jìn)制的哈夫曼碼時(shí)，要考慮是否需要增加概率為0的碼字，以使平均碼長(zhǎng)最短。 26、對(duì)于BSC信道，信道編碼應(yīng)當(dāng)是一對(duì)一的編碼，因此，消息m的長(zhǎng)度等于碼字c的長(zhǎng)度。 27、漢明碼是一種線性分組碼。28、 循環(huán)碼也是一種線性分組碼。 29、 卷積碼是一種特殊

4、的線性分組碼。 30、 可以用克勞夫特不等式作為唯一可譯碼存在的判據(jù)。 （ ）31、線性碼一定包含全零碼。 （ ）32、確定性信源的熵H(0,0,0,1)=1。 （ ） 33、信源X的概率分布為P(X)=1/2, 1/3, 1/6，對(duì)其進(jìn)行哈夫曼編碼得到的碼是唯一的。 （ ）34、離散無(wú)記憶序列信源中平均每個(gè)符號(hào)的符號(hào)熵等于單個(gè)符號(hào)信源的符號(hào)熵。 （ ）35、非奇異的定長(zhǎng)碼一定是唯一可譯碼。 （ ）36、信息率失真函數(shù)R(D)是在平均失真不超過(guò)給定失真限度D的條件下，信息率容許壓縮的最小值。 （ ）37、信源X的概率分布為P(X)=1/2, 1/3, 1/6，信源Y的概率分布為P(Y)=1/3

5、,1/2,1/6，則信源X和Y的熵相等。 （ ） 38、互信息量I(X;Y)表示收到Y(jié)后仍對(duì)信源X的不確定度。 （ ）39、對(duì)信源符號(hào)X=a1,a2,a3,a4進(jìn)行二元信源編碼，4個(gè)信源符號(hào)對(duì)應(yīng)碼字的碼長(zhǎng)分別為K1=1，K2=2，K3=3，K3=3，滿足這種碼長(zhǎng)組合的碼一定是唯一可譯碼。 （ ） 40、設(shè)C = 000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010是一個(gè)二元線性分組碼，則該碼最多能檢測(cè)出3個(gè)隨機(jī)錯(cuò)誤。 （ ）二、選擇題（共10 分，每題2分）1.下面表達(dá)式中正確的是（ ）。A. B.C. D.4.線性分組碼

6、不具有的性質(zhì)是（ ）。A.任意多個(gè)碼字的線性組合仍是碼字B.最小漢明距離等于最小非0重量C.最小漢明距離為3D.任一碼字和其校驗(yàn)矩陣的乘積cmHT=05.率失真函數(shù)的下限為（ ）。A .H(U) B.0 C.I(U; V) D.沒(méi)有下限6.糾錯(cuò)編碼中，下列哪種措施不能減小差錯(cuò)概率（ ）。A. 增大信道容量 B. 增大碼長(zhǎng) C. 減小碼率 D. 減小帶寬7.一珍珠養(yǎng)殖場(chǎng)收獲240顆外觀及重量完全相同的特大珍珠，但不幸被人用外觀相同但重量?jī)H有微小差異的假珠換掉1顆。一人隨手取出3顆，經(jīng)測(cè)量恰好找出了假珠，不巧假珠又滑落進(jìn)去，那人找了許久卻未找到，但另一人說(shuō)他用天平最多6次能找出，結(jié)果確是如此，這一

7、事件給出的信息量（ ）。A. 0bit B. log6bit C. 6bit D. log240bit8.下列陳述中，不正確的是（ ）。A.離散無(wú)記憶信道中，H（Y）是輸入概率向量的凸函數(shù)B.滿足格拉夫特不等式的碼字為惟一可譯碼C.一般地說(shuō)，線性碼的最小距離越大，意味著任意碼字間的差別越大，則碼的檢錯(cuò)、糾錯(cuò)能力越強(qiáng)D.滿足格拉夫特不等式的信源是惟一可譯碼10.下列離散信源，熵最大的是（ ）。A. H（1/3,1/3,1/3）； B. H（1/2,1/2）； C. H（0.9,0.1）； D. H（1/2,1/4,1/8,1/8)11.下列不屬于消息的是（ ）。A.文字 B.信號(hào) C.圖像 D.

8、語(yǔ)言12.為提高通信系統(tǒng)傳輸消息有效性，信源編碼采用的方法是（ ）。A.壓縮信源的冗余度 B.在信息比特中適當(dāng)加入冗余比特C.研究碼的生成矩陣 D.對(duì)多組信息進(jìn)行交織處理13.最大似然譯碼等價(jià)于最大后驗(yàn)概率譯碼的條件是（ ）。A.離散無(wú)記憶信道 B.無(wú)錯(cuò)編碼 C.無(wú)擾信道 D.消息先驗(yàn)等概14.下列說(shuō)法正確的是（ ）。A.等重碼是線性碼 B.碼的生成矩陣唯一C.碼的最小漢明距離等于碼的最小非0重量 D.線性分組碼中包含一個(gè)全0碼字15.二進(jìn)制通信系統(tǒng)使用符號(hào)0和1，由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼，用符號(hào)表示下列事件，u0:一個(gè)0發(fā)出 u1:一個(gè)1發(fā)出 v0 :一個(gè)0收到 v1:一個(gè)1收到 則已

9、知收到的符號(hào)，被告知發(fā)出的符號(hào)能得到的信息量是（ ）。A. H(U/V) B. H(V/U) C. H(U,V) D. H(UV)16. 同時(shí)扔兩個(gè)正常的骰子，即各面呈現(xiàn)的概率都是1/6，若點(diǎn)數(shù)之和為12，則得到的自信息為（ ）。A. log36bit B. log36bit C. log (11/36)bit D. log (11/36)bit17.下列組合中不屬于即時(shí)碼的是（ ）。A. 0，01，011 B. 0，10，110 C. 00，10，11 D. 1，01，0018.已知某（6，3）線性分組碼的生成矩陣，則不用計(jì)算就可判斷出下列碼中不是該碼集里的碼是（ ）。A. 000000 B

10、. 110001 C. 011101 D. 11111120.設(shè)有一個(gè)無(wú)記憶信源發(fā)出符號(hào)A和B，已知，發(fā)出二重符號(hào)序列消息的信源，無(wú)記憶信源熵 為（ ）。A.0.81bit/二重符號(hào) B.1.62bit/二重符號(hào) C.0.93 bit/二重符號(hào) D .1.86 bit/二重符號(hào)21.給定xi條件下隨機(jī)事件yj所包含的不確定度和條件自信息量p(yj /xi)，（ ）A數(shù)量上不等，單位不同B數(shù)量上不等，單位相同C數(shù)量上相等，單位不同D數(shù)量上相等，單位相同22.條件熵和無(wú)條件熵的關(guān)系是：（ ）AH(Y/X)H(Y)BH(Y/X)H(Y)C H(Y/X)H(Y)DH(Y/X)H(Y)23.根據(jù)樹(shù)圖法構(gòu)

11、成規(guī)則，（ ）A在樹(shù)根上安排碼字B在樹(shù)枝上安排碼字C 在中間節(jié)點(diǎn)上安排碼字D在終端節(jié)點(diǎn)上安排碼字24.下列說(shuō)法正確的是：（ ）A奇異碼是唯一可譯碼B非奇異碼是唯一可譯碼C 非奇異碼不一定是唯一可譯碼D非奇異碼不是唯一可譯碼25.下面哪一項(xiàng)不屬于熵的性質(zhì)：（ ）A非負(fù)性B完備性C對(duì)稱性D確定性三、二元對(duì)稱信道如圖。1）若，求、和； 2）求該信道的信道容量。 解：1）共6分 2） ，此時(shí)輸入概率分布為等概率分布。四、已知信源（1）用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；（6分）（2）計(jì)算平均碼長(zhǎng);（4分）（3）計(jì)算編碼信息率;（2分）（4）計(jì)算編碼后信息傳輸率;（2分）（5）計(jì)算編碼效率。（2分）（1） 編碼結(jié)果為：（2）（3）（4）其中，（5）五、一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為【說(shuō)明：以書(shū)上的解法為準(zhǔn)】。(1) 畫(huà)出狀態(tài)轉(zhuǎn)移圖。(2) 計(jì)算穩(wěn)態(tài)概率。(3) 計(jì)算馬爾可夫信源的極限熵。(4) 計(jì)算穩(wěn)態(tài)下,及其對(duì)應(yīng)的剩余度。解：(1)(2)由公式有得(3)該馬爾可夫信源的極限熵為：(4)在穩(wěn)態(tài)下：對(duì)應(yīng)的剩余度為六、設(shè)X、Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。定義另一個(gè)二元隨機(jī)變量Z=XY(一般乘積)。試計(jì)算(1) (2) (3) (4) ;解：(1)Z01P(Z)3/41/4(2) (3) (4) 七、，通過(guò)一個(gè)干擾信道，接受符號(hào)集為，信道轉(zhuǎn)移矩陣為試求：（