信息論-習(xí)題答案.doc

1設(shè)信源通過一干擾信道，接收符號(hào)為Y = y1, y2 ，信道轉(zhuǎn)移矩陣為，求：(1) 信源X中事件x1和事件x2分別包含的自信息量；(2) 收到消息yj (j=1,2)后，獲得的關(guān)于xi (i=1,2)的信息量；(3) 信源X和信宿Y的信息熵；(4) 信道疑義度H(X/Y)和噪聲熵H(Y/X)；(5) 接收到信息Y后獲得的平均互信息量。解：1)2)3)4)5)2設(shè)二元對(duì)稱信道的傳遞矩陣為(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；(2) 求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布；解：1)2)3黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X=黑，白。設(shè)黑色出現(xiàn)的概率為P(黑) = 0.3，白色出現(xiàn)的概率為P(白) = 0.7。(1) 假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵H(X)；(2) 假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一階馬爾可夫信源的熵H2(X);解：(1)(2) 4某一無記憶信源的符號(hào)集為0, 1，已知P(0) = 1/4，P(1) = 3/4。(1) 求符號(hào)的平均熵；(2) 有100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0”和（100 - m）個(gè)“1”）的自信息量的表達(dá)式；(3) 計(jì)算(2)中序列的熵。解：(1)(2) (3) 5已知一個(gè)高斯信道，輸入信噪比（比率）為3。頻帶為3kHz，求最大可能傳輸?shù)南⒙?。若信噪比提高?5，理論上傳送同樣的信息率所需的頻帶為多少？解：6試求以下各信道矩陣代表的信道的容量：(1) P = (2) P = (3) P = 解：1)這個(gè)信道是一一對(duì)應(yīng)的無干擾信道2)這個(gè)信道是歸并的無干擾信道3)這個(gè)信道是擴(kuò)展的無干擾信道7設(shè)信源(1) 求信源熵H(X)；(2) 編二進(jìn)制香農(nóng)碼；(3) 計(jì)算平均碼長和編碼效率。解：(1)(2)xip(xi)pa(xi)ki碼字x10.203000x20.190.23001x30.180.393011x40.170.573100x50.150.743101x60.10.8941110x70.010.9971111110(3)8對(duì)信源編二進(jìn)制費(fèi)諾碼，計(jì)算編碼效率。解：xip(xi)編碼碼字kix10.200002x20.19100103x30.1810113x40.1710102x50.15101103x60.11011104x70.011111149對(duì)信源編二進(jìn)制和三進(jìn)制哈夫曼碼，計(jì)算各自的平均碼長和編碼效率。解：二進(jìn)制哈夫曼碼：xip(xi)編碼碼字kis61s50.610s40.391s30.350s20.261x10.20102x20.191112x30.1800003x40.1710013x50.1500103s10.111x60.1001104x70.0110111410設(shè)線性分組碼的生成矩陣為，求：（1）此（n，k）碼的n=？ k=？，寫出此（n，k）碼的所有碼字。（2）求其對(duì)應(yīng)的一致校驗(yàn)矩陣H。（3）確定最小碼距，問此碼能糾幾位錯(cuò)？列出其能糾錯(cuò)的所有錯(cuò)誤圖樣和對(duì)應(yīng)的伴隨式。（4）若接收碼字為000110，用伴隨式法求譯碼結(jié)果。解：1）n=6，k=3，由C=mG可得所有碼字為：000000，001011，010110，011101，100101，101110，110011，1110002）此碼是系統(tǒng)碼，由G知，則3）由H可知，其任意2列線性無關(guān)，而有3列線性相關(guān)，故有，能糾一位錯(cuò)。錯(cuò)誤圖樣E伴隨式1000001010100001100010000110001001000000100100000010014）由知E010000，則11已知（7，4）循環(huán)碼的生成多項(xiàng)式，求：（1）求該碼的編碼效率？（2）求其對(duì)應(yīng)的一致校驗(yàn)多項(xiàng)式（3）寫出該碼的生成矩陣，校驗(yàn)矩陣。（4）若消息碼式為，求