信息論習提答案

電信吳蘭華電信吳蘭華#1、癇—是香農(nóng)信息論最基本最重要的概念。2、單符號離散信源一般用隨機變量描述，而多符號離散信源一般用隨機矢量描述。3、兩個相互獨立的隨機變量的聯(lián)合自信息量等于兩個自信息量之和。4、離散平穩(wěn)無記憶信源X的N次擴展信源的熵等于離散信源X的熵的N倍5、對于n元m階馬爾可夫信源，其狀態(tài)空間共有』^個不同的狀態(tài)。6、若一離散無記憶信源的信源熵H(X)等于4.2,對信源進行等長的無失真二進制編碼，則編碼長度至少為_5。7、同時擲兩個正常的骰子，各面呈現(xiàn)的概率都為1/6，貝和6同時出現(xiàn)”這件事的自信息量是log218或(1+2log23)o8、一副充分洗亂的撲克牌(52張)，從中任意抽取1張，然后放回，若把這一過程看作離散無記憶信源，則其信源熵為log252。9、具有一一對應關系的無噪信道的信道容量C二」gL。10、信道編碼定理是一個理想編碼的存在性定理,即:信道無失真?zhèn)鬟f信息的條件是信息率小于信道容量。11、信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就越大，獲得的信息量就越小12、平均失真度的下限取0的條件是失真矩陣的每一行至少有一個零元素13、率失真函數(shù)對允許的平均失真度是單調遞減和連續(xù)的14、對于離散無記憶信源的率失真函數(shù)的最大值是Jog嚴。15、信源編碼的目的是：提高通信的有效性16、對具有8個消息的單符號離散無記憶信源進行4進制哈夫曼編碼時,為使平均碼長最短，應增加_2個概率為0的消息。17、對于香農(nóng)編碼、費諾編碼和哈夫曼編碼，編碼方法惟一的是香農(nóng)編碼18、游程序列的熵等于-原二元序列的熵。19、n位重復碼的編碼效率是1/nod.-1—min20、若糾錯碼的最小距離為d.，則可以糾正任意小于等于t=L2」個差錯。min1、單符號離散信源的自信息和信源熵都具有非負性。對2、自信息量、條件自信息量和聯(lián)合自信息量之間有如下關系：I(xy)=I(x)+I(y/x)=I(y)+I(x/y)對ijijijij3、自信息量、條件自信息量和互信息量之間有如下關系：I(x;y)=I(x)-I(x/y)=I(y)-I(y/x)對ijiijjji4、當隨即變量X和Y相互獨立時，條件熵等于信源熵對5、若對一離散信源(熵為H(X))進行二進制無失真編碼，設定長碼子長度為K,變長碼子平均長度為K，一般K>Ko錯6、信道容量C是I(X；Y)關于p(x.)的條件極大值。國7、離散無噪信道的信道容量等于log2n:其中n是信源X的消息個數(shù)。鈕8、率失真函數(shù)沒有最大值。錯9、率失真函數(shù)的最小值是0o對10、信源編碼通常是通過壓縮信源的冗余度來實現(xiàn)的。對在編m(m>2)進制的哈夫曼碼時，要考慮是否需要增加概率為0的碼字，以使平均碼長最短。對

11、在游程編碼過程中，“0”游程和“1”游程應分別編碼，因此，它們的碼字不能重復。_錯12、漢明碼是一種線性分組碼。對13、循環(huán)碼也是一種線性分組碼。對14、卷積碼是一種特殊的線性分組碼。錯1、a/Bj是兩個碼符號{0,1}組成的符號序列^=00011001011^^1110001求ab,之間的漢明距離N解：D（a/B.）=二扯弧"2、ij2、已知隨即變量X和Y的聯(lián)合分布如下所示：0101/83/813/81/8試計算：H（X）、H（Y）、H（XY）、H（X/Y）、H（Y/X）、I（X；Y）1bit1bit0.54bit081bit0.81bit0.19bit3、一個消息由符號0,1,2,3組成，已知P(0)=3/8,P(1)=1/4,,P(2)=1/4,,P(3)=1/8,試求由60個符號構成的消息所含有的信息量和平均信息量。無答案4、在一個袋子里放有5個黑球、10個白球,以摸一個球為一次實驗,摸出的球不再放回去。求：一次實驗包含的不確定度。3)第一次實驗X摸出的是黑球，第二次實驗Y3)務墾青冒摸0.86詵，第二%^94bt出的不確定度5、兩個實驗X和Y,X={x1,x2,x3},Y={y1,y2,y3},聯(lián)合概率p(xiyj)=pij已經(jīng)給出。p11=7/24,p12=1/24,p13=0,p21=1/24,p22=1/4,p23=1/24,p31=0,p32=1/24,p33=7/24)如果有人告訴你X和Y的實驗結果，你得到的平均信息量是多少？如果有人告訴你Y的實驗結果，你得到的平均信息量是多少？在已知Y實驗結果的情況下，告訴你X的實驗結果，你得到的平均信息量是多少？2.3bit/符號1.58bit/符號0.72bit/符號6、黑白傳真機的消息源只有黑色和白色兩種，即Xu{黑，白}，一般氣象圖上，黑色的出現(xiàn)概率p(黑)=0.3，白色出現(xiàn)的概率p(白)=0.7.假設黑白消息前后無關，求信源熵H(X)。實際上各個元素之間關聯(lián)，其轉移概率為：P(白/白)=0.9143,p(黑/白)=0.0857,P(白/黑)=0.2,p(黑/黑)=0.8,求這個一階馬爾可夫信源的信源熵。并畫出轉移圖。比較兩種信源熵的大小，并說明理由。0.8813bit/符號0.513bit/符號6、設有一個二進制馬爾可夫信源，其信源符號為Xe(0,1),條件概率為：P(1/1)=0.5,P(0/0)=0.25,P(0/1)=0.50,P(1/0)=0.75,.畫出狀態(tài)圖并求出各穩(wěn)態(tài)概率。無答案

7、一階馬氏鏈信源有三個符號{ul,u2,u3},轉移概率為：P(ul/ul)=l/2,P(u2/ul)=l/2,P(u3/u1)=0,P(u1/u2)=1/3,P(u2/u2)=0,P(u3/u2)=2/3,P(u1/u3)=1/3,P(u2/u3)=2/3,P（u3/u3）=0.畫出狀態(tài)圖并求出狀態(tài)的穩(wěn)態(tài)概率。l0/259/256/258、某信源有8個符號，概率分布分別是1/2,1/4,1/8,1/16,1/32,1/64,1/128,1/128編成這樣的碼:000,001，010，011，100，101，110，111。求（1）信源的符號熵H（U）;（2）出項一個“1”或一個“0”的概率。（3）這種碼的編碼效率。（4）相應的香農(nóng)碼和費諾碼；（5）該碼的編碼效率。(1)丄丄丄丄丄1L_(1)248163264128128H(U)=丄Log(4)-Log(8)-Log(16)+Log(32)+Log(64)+Log(128)+Log(128)=1.984（2）每個信源使用3個二進制符號,出現(xiàn)0的次數(shù)為248163264128128出現(xiàn)1的次數(shù)為1丄+1.1+2■—+1—+1—+2■—+3■—=0.58648163264128128P(0)=2.3982.398+0.586=P(0)=2.3982.398+0.586=0.804P(1)=0.5862.398+0.5S6=0.196(3)K=3芯響二竺K3（4）相應的香農(nóng)編碼信源符號xi符號概率pi累加概率Pi-Logp(xi)碼長Ki碼字x11/20110x21/40.52210x31/80.7533110x41/160.875441110x51/320.9385511110x61/640.96966111110x71/1280.984771111110x81/1280.9927711111110相應的費諾碼

信源符號xi符號概率pi第一次分組第二次分組第三次分組第四次分組第五次分組第六次分組第七次分組二元碼x11/200x21/41010x31/810110x41/16101110x51/321011110x61/6410111110x71/128101111110x81/128111111110(5)香農(nóng)碼和費諾碼相同■平均碼長為8163264128—■7=1.984128編碼效率為：R:=(5)香農(nóng)碼和費諾碼相同■平均碼長為8163264128—■7=1.984128編碼效率為：R:=竺=11.9849、設輸入符號為XU{O,1,2,P(X=i)=l/4,i=0,l,2,3,設失真矩陣為:3},輸出符號為Ye{0,1,2,3},且輸入信號的分布為：1求Dmax和Dmin及R(Dmax)和R1IDmin).12、設某信道,其信道矩陣為alblb2b30.50.30.2P(j/1)=a20.20.30.5a3<0.30.30.4；無答案若信道的輸入符號a1,a2,a3先驗等概,(1)若使平均錯誤譯碼概率最小,請選擇譯碼函數(shù)。(2)求出此錯誤譯碼概率Pemin。解：(1)因為先驗等概,所以選擇最大似然譯碼準則F(b1)=a1F(b2)=a3F(b3)=a2(2)Pemin=(0.2+0.3+0.3+0.3+0.2+0.%=0..567(2)13、設分組碼(n,k)中，n