《信息論編碼》模擬試題二及參考答案 doc

本文格式為Word版，下載可任意編輯——《信息論編碼》模擬試題二及參考答案doc模擬試題一

一、概念簡答題（共10題，每題5分）1.簡述離散信源和連續(xù)信源的最大熵定理。答：離散無記憶信源，等概率分布時熵最大。

連續(xù)信源，峰值功率受限時，均勻分布的熵最大。平均功率受限時，高斯分布的熵最大。均值受限時，指數(shù)分布的熵最大。

2.什么是平均自信息（信息熵）？什么是平均互信息？比較一下兩個概念的異同之處。

3.解釋等長信源編碼定理和無失真變長信源編碼定理，說明對于等長碼和變長碼，最正確碼的每符號平均碼長最小為多少？編碼效率最高可達多少？

.答：等長信源編碼定理：對于任意使譯碼過錯

。

，只要，則當L足夠長時必可

變長信源編碼定理：只要，一定存在一種無失真編碼。

等長碼和變長碼的最小平均碼長均為，編碼效率最高可達100%。

4.解釋最小錯誤概率譯碼準則，最大似然譯碼準則和最小距離譯碼準則，說明三者的關(guān)系。答：最小錯誤概率譯碼準則下，將接收序列譯為后驗概率最大時所對應(yīng)的碼字。最大似然譯碼準則下，將接收序列譯為信道傳遞概率最大時所對應(yīng)的碼字。最小距離譯碼準則下，將接收序列譯為與其距離最小的碼字。

三者關(guān)系為：輸入為等概率分布時，最大似然譯碼準則等效于最小錯誤概率譯碼準則。在二元對稱無記憶信道中，最小距離譯碼準則等效于最大似然譯碼準則。5.設(shè)某二元碼字C={111000，001011，010110，101110}，①假設(shè)碼字等概率分布，計算此碼的編碼效率？

②采用最小距離譯碼準則，當接收序列為110110時，應(yīng)譯成什么碼字？

.答：1）2）令接收序列為

，則有

，

，

，

，故接收序列應(yīng)譯為010110。

1

6.一平穩(wěn)二元信源，它在任意時間，不管以前發(fā)出過什么符號，都按發(fā)出符

號，求和平均符號熵

答：

7.分別說明信源的概率分布和信道轉(zhuǎn)移概率對平均互信息的影響，說明平均互信息與信道容量的關(guān)系。答：平均互信息相對于信源概率分布為上凸函數(shù)，相對于信道傳遞概率分布為下凹函數(shù)。平均互信息的最大值為信道容量。

8.二元無記憶信源，有求：

（1）某一信源序列由100個二元符號組成，其中有m個“1〞，求其自信息量？（2）求100個符號構(gòu)成的信源序列的熵。

答：1）

2）

9.求以下三個信道的信道容量：

，，

2

答：P1為一一對應(yīng)確定信道，因此有。

P2為具有歸并性能的信道，因此有。P3為具有發(fā)散性能的信道，因此有

。

10.已知一（3，1，3）卷積碼編碼器，輸入輸出關(guān)系為：

試給出其編碼原理框圖。答：

二、綜合題（共5題，每題10分）

1.二元平穩(wěn)馬氏鏈，已知P（0/0）=0.9，P（1/1）=0.8，求：（1）求該馬氏信源的符號熵。

（2）每三個符號合成一個來編二進制Huffman碼,試建立新信源的模型，給出編碼結(jié)果。（3）求每符號對應(yīng)的平均碼長和編碼效率。

答：1）由得極限概率：

則符號熵為

2）新信源共8個序列，各序列的概率為

信源模型為

3

一種編碼結(jié)果（依信源模型中的序列次序）為0，11，1001，1010，1011，10000，100010，100011

3）

2.設(shè)有一離散信道，其信道矩陣為，求：

（1）最正確概率分布？（2）當

，

時，求平均互信息

信道疑義度

（3）輸入為等概率分布時，試寫出一譯碼規(guī)則，使平均譯碼錯誤率最小，并求此

.答：1）是準對稱信道，因此其最正確輸入概率分布為。

2）當，

時，有

則

3）此時可用最大似然譯碼準則，譯碼規(guī)則為

且有

3.設(shè)線性分組碼的生成矩陣為，求：

（1）此（n，k）碼的n=？k=？，寫出此（n，k）碼的所有碼字。（2）求其對應(yīng)的一致校驗矩陣H。

（3）確定最小碼距，問此碼能糾幾位錯？列出其能糾錯的所有錯誤圖樣和對應(yīng)的伴隨式。（4）若接收碼字為000110，用伴隨式法求譯碼結(jié)果。

4

答：1）n=6，k=3，由C=mG可得所有碼字為：

000000，001011，010110，011101，100101，101110，110011，111000

2）此碼是系統(tǒng)碼，由G知，，則

，能糾一位錯。

3）由H可知，其任意2列線性無關(guān)，而有3列線性相關(guān)，故有錯誤圖樣E伴隨式100000101010000110001000011000100100000010010000001001

4）由知E＝010000，則

4.二元對稱信道的信道矩陣為，信道傳輸速度為1500二元符號/秒，設(shè)信源為等概率分布，

信源消息序列共有13000個二元符號，問：

（1）試計算能否在10秒內(nèi)將信源消息序列無失真?zhèn)魉屯?？?）若信源概率分布為間？

，求無失真?zhèn)魉鸵陨闲旁聪⑿蛄兄辽傩枰嚅L時

.答：1）信道容量為信源序列信息量為

而10秒內(nèi)信道能傳遞的信息量為故不能無失真地傳送完。2）此時信源序列信息量為

信息傳輸率為

則

5

5.已知（7，4）循環(huán)碼的生成多項式，求：