信息論與編碼試卷及答案

1、信息論與編碼試卷及答案一、（ir）填空（1） 1948年，美國數(shù)學(xué)家發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信息論。（2）必然事件的自信息是0（3）離散平穩(wěn)無記憶信源X的N次擴展信源的牖等于離散信源X的牖的N倍（4）對于離散無記憶信源，當(dāng)信源焙有最大值時,滿足條件為一信源符號等概分布（5）若離散無記憶信源的信源墻H(X)等于25對信源進行等長的無失真進制編長度至少為(6)對于香農(nóng)編碼、費諾編碼和霍夫曼編碼，編碼方法惟一的是(7)已知某線性分組碼的最小漢明距離為3,那么這組碼最多能檢測出工=個碼元錯誤，最多能糾正，一個碼元錯誤。(8)設(shè)有一離散無記憶平穩(wěn)信道，其信道容量為C,只要待傳送

2、的信息傳輸率R_小于=C(大于、小于或者等于)，則存在一種編碼,當(dāng)輸入序列長度n足夠大,使譯碼錯誤概率任意小。(9)平均錯誤概率不僅與信道本身的統(tǒng)計特性有關(guān)，還與一譯碼規(guī)則編碼方法有關(guān)二、(99判斷J信息就是一種消息。（2）信息論研究的主要問題是在通信系統(tǒng)設(shè)計中如何實現(xiàn)信息傳輸、存儲和處理的有效性和可靠性。（Y）（3）概率大的事件自信息量大。（x）(4)互信息量可正、可負亦可為零。（5）信源剩余度用來衡量信源的相關(guān)性程度，信源剩余度大說明信源符號間的依賴關(guān)系較小。（6）對于固定的信源分布，平均互信息量是信道傳遞概率的下凸函數(shù)。（Y）（7）非奇異碼一定是唯一可譯碼，唯一可譯碼不一定是非奇異碼。（

3、8）信源變長編碼的核心問題是尋找緊致碼（或最佳碼），霍夫曼編碼方法構(gòu)造的是最佳碼。（）（9）信息率失真函數(shù)R（D）是關(guān)于平均失真度D的上凸函數(shù).三、(5，)居住在某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上的，而女孩中身高16米以上的占總數(shù)的一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？解：設(shè)A表示“大學(xué)生”這一事件，B表示“身高1.60以上”這一事件，則P(A)=0.25p(B)=0.5p(B|A)=0.75(2分)故I(A|B)=-logO.375=1.42bit(1分)四、(59證明：平均互信息量同信息燧之間滿足I(X;Y)=H

4、(X)+H(Y)-H(XY)證明:/（x；y）=zXpK為）iogP（；，?XYP（xJ=-XEp&x）sgp&）-ZZp（wNgp（M匕）（2分）XYXY_=H（X）-H（XY）同理/（x；r）=w（y）-w（r|x）（1分）則/（r|x）=w（y）-/（x；r）因為H（XY）=H（X）+H（YX）（1分）故H（XY）=H（X）+H（Y）-I（X;Y）即/（x；y）="（x）+H（y）-”（xM（1分）五、（）.黑白氣象傳真圖的消息只有黑色和白色兩種,求:1）黑色出現(xiàn)的概率為0.3,白色出現(xiàn)的概率為07。給出這個只有兩個符號的信源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前

5、后沒有關(guān)聯(lián)，求蠟“（X）；2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：/黑伯）3,曲黑）叫.黑）吁求其嫡.。3）分別求上述兩種信源的冗余度，比較它們的大小并說明其物理意義。解：1）信源模;卜=黑。產(chǎn)白分）二司2"（幻=啰尸陶尸&）=0.881加/符號（2分）2）由題意可知該信源為一階馬爾科夫信源2°由摩）”1,2尸©）”（%）=14分）得極限狀態(tài)概率2分)22晶(X)=-£2/4)?(4./%)腕2F(w)=0-5533戰(zhàn)”符號2-1J£3分)3)%=i-Z£!£i=o.ii9log，2%=1-也.)=0.447（

6、1分）（1分）%>%。說明：當(dāng)信源的符號之間有依賴時，信源輸出消息的不確定性減弱。而信源冗余度正是反映信源符號依賴關(guān)系的強弱，冗余度越大，依賴關(guān)系就越大。（2分）六、（18，）.信源空間為X=玉七七毛七4毛P(X)o.20.190.180.170.150.10.01,試分別構(gòu)造二元香農(nóng)碼和二元霍夫曼碼，計算其平均碼長和編碼效率（要求有編碼過程）。信源消息符號勺符號概率累加概率P,-logMq)碼字長度L碼字%0.2002323000電0.190.22393001%0.180.392.473011心0.170.572.563100。50.150.742.743101Q0.100.893.3

7、241110(L0.010.996.6471111110=3.i4心等=黑=。初0七（6，）.設(shè)有一離散信道，其信道傳遞矩陣為1/2 1/3 1/61/6 1/2 1/31/3 1/6 1/2并設(shè)二，試分別按最大后驗概率準/、1p（x3）=則與最大似然譯碼準則確定譯碼規(guī)則,并計算相應(yīng)的平均錯誤概率。1）（3分）最小似然譯碼準則下，有,驗概率準則下，有,尸®）=網(wǎng)斤。2）=產(chǎn)=均2）（3分）最大后八（109.二元對稱信道如圖。1）若p（o）=3P（1）=I，求”（X）、H（XIy）nz（x；r）；4A=02/371=0善道的信道容量。叼=12/3次=1解：1)共6分/W=0.8113版

8、/符號(Xiy)=0.74%/符號7(7)=0.0616詼"符號2）,。=。吃行符號。分）此時輸入概率分布為等概率分布。（1分）九、（18，）設(shè)一線性分組碼具有一致監(jiān)督矩陣0001110110011010111)2)3)4)求此分組碼n=?,k=?共有多少碼字?求此分組碼的生成矩陣G。寫出此分組碼的所有碼字。若接收到碼字（101001）,求出伴隨式并給出翻譯結(jié)果。解：1）11=6,k=3,共有8個碼字。（3分）2）設(shè)碼字e =（GGGGGG）由HC1（3分）令監(jiān)督位為&GC。），則有10 生成矩陣為。C2 = C5 Cy G = c$ C4 、c（）= c4 C30 0 1 1 010 0 110 110 1（3分）（2分）3）所有碼字為0