信息論基礎(chǔ)試卷及詳細(xì)答案

1、信息論基礎(chǔ)模擬試題命題者：08級命題委員會小組 離級顧問:韓海清一 填空題1. 某隨機(jī)變量集合有n個符號其最大矯為logn （26面）2. 個線性分組碼C= 000000,11111】,該分組碼的糾錯個數(shù)為_ （136面）（提示:觀察兩個字符串不同數(shù)字的個數(shù)，設(shè)為m則糾錯個數(shù)為.在本題中w6所 2以答案為2）3.I（X；Y）,H（Y）,H（Y【X）之間的關(guān)系為 l（X；Y）=H（Y）H（YDC）, H（X）,H（XIY）之間的關(guān)系為 H（XIY） <H（X） （26, 27 面）4. 若信源符號數(shù)為q,碼符號數(shù)為r,對信源符號進(jìn)行編碼.相應(yīng)碼長度為lq、則異前置碼存在的充要條件是：土 f

2、rI' <1 （課本88面，Kraft定理）Z=15. 加性高斯白噪聲（AUUGN ）信道實(shí)現(xiàn)可靠通信的信噪比的下界為1.59 db （課本173面）6. 維高斯隨機(jī)變量集的爛為llog（2a2）（注意b是平均方差，而/是方差，69面）27. 個加性高斯白噪聲（RUJGN ）信道的噪聲的功率譜童度為巴，輸入信號平均功率限制爐 log（l（169 面）2為P.信道的帶寬為UJ.那么信道每單位時間的容量為C二8在BSC （二元對稱信道）中.錯誤率為p,則其信道容量（:二lH（p） （121面）9差爛為h （X）的連續(xù)隨機(jī)變量集合X的爛功率為（72面）2他10. 個最小距離為d的二元分

3、組碼能糾錯能力為仝（參考第二題）2（）（123 倉）二判斷題1 對稱信道達(dá)到容量時.輸入槪率和輸出概率唯一。fl 2 3、2.設(shè)試驗(yàn)信道輸入符號%色4，概率分別為1/3, 1/3, 1/3,失真矩陣為2 13,? 2 1, 則盂"，久/5/3。（V）（186 面）3若（X,Y,Z）為馬氏鏈,則（ZYX）也是馬氏鏈。（V）（60面）4. 分組碼的最小距離就是其最小重量的非零碼字的重量。（x ）（135面，應(yīng)該是線性分組碼）5. 為有效抵抗加性蒿斯噪聲干擾，信道輸入應(yīng)該是高斯分布。（/）（164面）6信道疑義度始終為正。（x ）（138面，應(yīng)該是非負(fù)，可以為0）7. 信道輸入和輸出之間的

4、平均互信息是下凸函數(shù)。（X ）（29面，應(yīng)該是上凸函數(shù)）8. 信息處理過程中爛是不會增加的。（V ） （ 26面）9. 典型序列信源符號出現(xiàn)的概率近似等于其頻率。（/ ） （ 86面）10若信道的輸入與輸出分別為X,Y,輸入符號的數(shù)目為r,那么信道疑義度滿足H（XIV）/f） + logro （ x ）（138 面，應(yīng)該是卜 1 ）11. 一個離散平穩(wěn)無記憶信道的極限爛等于最小平均爛。（V）（119面）12. 對于離散無記憶信道，達(dá)到容量時輸入概率分布是唯一的。（x ）（123面.不唯一）13. 噪聲功率相同的加性信道中以高斯噪聲信道容量最大。（x ）（應(yīng)該是最?。?4. A（D）函數(shù)是平均失

5、真函數(shù)的下凸函數(shù)。（V）（187面）15. MRP準(zhǔn)則是使譯碼平均錯誤率最小的準(zhǔn)則。（V）（132面）16. 任意兩個典型序列的聯(lián)合序列是典型序列。（x ）17. 與離散信源一樣，連續(xù)信源的平均互信息也具有對稱性和非負(fù)性。（V）（73面）18通過一一變換后，連續(xù)信源的差爛一定會變化。（X ）（67面，應(yīng)該是可能會變化）19轉(zhuǎn)移概率矩陣不隨時間變化的馬氏鏈?zhǔn)瞧椒€(wěn)馬氏鏈。（x ）（47面.那是齊次馬氏鏈）2O.RH O存在無失真信源編碼o（V）（7面，還有幾個類似的，如RSCO存在譯碼差錯任意小的信道編碼;A 斤（ O存在平均失夏）三.計(jì)算題1.給定離散無記憶信源的數(shù)學(xué)模型為/ 、4Q3£

6、;1/2 1/4 1/4,.求其二次擴(kuò)展源的爛（護(hù)）。（40 面） 解蟲（/） =2H（X）=2- |log|-（ilogi-） x2 ）=3 比特/擴(kuò)展符號2設(shè)直流平衡序列的滑動數(shù)字為n,當(dāng)時寫出其連接矩陣并計(jì)算其容量。（219面）0 1 0、解:當(dāng)23時，連接矩陣為厶二1 0 1 、0 1 0?設(shè)2的最大特征值為心，則其容量為C(3)=log 心=locos=log, VI =0.5 比特/符號(3 +1)3個二維獨(dú)立高斯信源(占丕)，其中石，走均值都為零.方差分別為2和4.采用均 方失真測度.求該信源的R(D)函數(shù)。(201面)解:如果尤，疋都使用，有B=2D/2和BS2,得D<2

7、R(D)=llogl+llog± = llog4 P 4 P 2 n Q如果僅使用才；.有B=2D-2和2vB54,得2vDS3R(D)= ilog - = log./ 241D-1 2V2?-l由2入=2+4得入心所求R(D)函數(shù)：(l/2)log2>/2A0<29<2Rd = Ul/2)log72/(Z>-1),2 <Z><30,Z?>3All 1/31/6、1/3 ,現(xiàn)有兩種判決規(guī)則:(1/3 1/61/2丿f(=4) = i 規(guī)則弘0, = A) = 2(J9=3)=a3A) = i,規(guī)則 B：« g(j = A) =

8、 a3務(wù))=。24 已知信道的轉(zhuǎn)移概率矩陣為1/6 1/2設(shè)輸入等概率.求信道的疑義度和兩種譯碼規(guī)則下信道疑義度的上界。(139面)解:由于信道為強(qiáng)對稱信道，所以當(dāng)信道輸入等概率時，輸出也等概率 H(X)=H(Y)。又因?yàn)?H(X)-H(XI?)=H(V)-H(VIX).所以信道疑義度：H(XIV)=H(VIX)=H(l/2,l/3,l/6)=-log-ilogi-logi = -+-log23(bit)1 311-EAI) = 7x3x7=1/2-所以3 / si323(1) 對于規(guī)則乩 由于i- = XA)A4l) = el&=1 /2 信道疑義度上界為：H( 1 /2)+( 1

9、/2) x Iog2=l .5bit3 31111(2 )對于規(guī)則 8,由于 1- = 2 鞏必7 I E) = -E A4l)=rx (-+-+-) =1/3.33263所以7 =2/3,信道疑義度上界為:H(2/3)+2/3xlog2=log23 (bit) 5設(shè)X和Y時分別具有均值叫方差a/.a/的兩個獨(dú)立的高斯隨機(jī)變量集合，且U=(zT+y)/V2 , V=(才-打/血，試求 h(UV)°(70 面)rviTTT)所以 h(UV)=h(XV)+log解:依據(jù)題意有(近 41Z 、 /T TU< 2 2 )=log( Ineo xor )+logl =log( Ineo(

10、5v)6設(shè)有一個二維獨(dú)立并聯(lián)高斯信道，兩個子信道的噪聲的方差分別為2=122=10,輸入信號的總能量為=6.求信道容量C和達(dá)到容量時的能量分配E“Ey若其他條件不變.將輸入信號的總能量改為=15,結(jié)果又是多少呢?(165面)解:依題意得：召+1 =方+10 = 2?,該方程組無非負(fù)數(shù)解，為此，應(yīng)有方差大的子信道分配的能量為0召 + % = 6所以!'= B a E=JET鄉(xiāng)=0C=ylog(l + Y)= -log7 乙丄厶E、_ E= = 9總能量改為=15時有:1-有正數(shù)解召T 2, £-3£ + %=15嚴(yán)1,3、 lf 169C=-10g(l +12)+ 1

11、02(1+ ) = 1022 2 10 2 107.寫出錯誤率為p的二元對稱信道的轉(zhuǎn)移概率矩陣并計(jì)算其二次擴(kuò)展信道的轉(zhuǎn)移概率矩陣 和容量。(121面)解該信道的轉(zhuǎn)移槪率矩陣為卩一 卩'I PJ丿二次擴(kuò)展信道的轉(zhuǎn)移概率矩陣為n=p P、'-p p、p 1-Q< p P)(-PY p-p) 7(1 -7)、pp-p) (x-py bpQ - P)p-pp(IMpQ_Rk ”p-p) p-p)由于錯誤率為p的二元對稱信道的容量C=bH(p),所以信道的二次擴(kuò)展信道容量為比特/符號p 18.信道的轉(zhuǎn)移概率矩陣為? JJ 31. 1I J，求信道容量和達(dá)到容量時的輸出概率(112面

12、)6 *解:設(shè)輸出概率分別為o該信道為準(zhǔn)對稱信道.當(dāng)輸入等概率時達(dá)到信道容量可計(jì)算輸出概率為°石匸亍)一7。一冷+亍)一亍rr r 所以信道容量為= l_liog,3 (比特/符號)6 2四.解答題1 一個二階馬氏鏈.符號集 A=O,1,轉(zhuǎn)移概率為 p(OIOO)=p(lll 1 )=0.8,p(HOO)=p(Oll 1 )=0.2, p(OI01 )=p(0ll 0)=p(ll01 )=p(l 110)=0.5(1) 確定所對應(yīng)的馬氏源的狀態(tài)，寫出狀態(tài)轉(zhuǎn)移矩陣；(2) 若信源初始狀態(tài)分布為平穩(wěn)分布，求8次擴(kuò)展源的矯；(3) 求信源的符號爛；(4) 求信源效率；(5) 求信源剩余度o

13、 (49, 52. 54面)解:馬氏源狀態(tài)為才= % = 00, Mj = 01, w2 =10, w = ll狀態(tài)轉(zhuǎn)移矩陣為S.8 0.2 00000.50.5p=0.50.50000.20.8,(2) 根據(jù)P可計(jì)算h二厶厶蟲厶】，得:瓜=)% = -0.81og0.8-0.21og0.2 = 0.722/i2 = / = -0.5 logO.5 一 0.5 log0.5 = 10.800.50.200.5000.500.200.500.8丿=(兀1才2兀3兀4 )及穴1 +兀2 +兀3 +開4 =1得狀態(tài)平穩(wěn)分布為:兀嚴(yán)03心=5/14 1/7 1/7 5/14對應(yīng)狀態(tài)平穩(wěn)分布的矯為H(t

14、t )=-2x(5/14)xlog(5/14)-2x(l/7)xlog(l/7)=1.863bit所以8次擴(kuò)展源的爛為H(鳥禺.為)胡(龍)+(82)兀廣勿51=1.863+ 6(一0.81og08 - 0.21og0.2) x 2 + (-0.5 log0.5 一 0.5 log0.5) x 2 14=6.669比特/符號(3) 根據(jù)前面，得馬氏信源爛為憶=疔力= 2_(_o.81og0.8-0.21os0.21)x2 + -(-0.51og0.5-0.51og0.54)x2 147=0.801比特/符號LT(4) 信源效率 r = =0.801/log2 2 =0.801(5) 信源剩余度

15、/=br7=0992設(shè)一個等時長有約束系統(tǒng)的標(biāo)號如圖所示，其中0, 1符號等時長,(1) 求該約束信道的容量；(2) 是否存在編碼率為0.75的二元有限編碼器。(212面) 解:(1)該信道的連接矩陣為令 Q-二彳=0、得 F -二-1 = 0解得心=q+Q所以信道容量為Qlo&(l+亦)/2卜0.694比特/符號(2)由于0.694<0.75,故不存在這樣的編碼器3.某地區(qū)的女孩中25%是大學(xué)生，在大學(xué)生中有75%是身高1.6m以上的，而女孩中身高 1.6m以上的占總數(shù)的一半。假如已得知“身離1.6m以上的某女孩是大學(xué)生”的消息，問獲 得了多少信息量P (34面)解:設(shè)R為“女

16、孩是大學(xué)生“的事件;B為“女孩身高1.6m以上”的事件，貝IP=0.25, p(B)=0.5, p(BIA)=0.75“身高1.6m以上的某女孩是大學(xué)生肆的概率為p(AIB),由已知條件可得=0375pAB)A) 0.25 x 0.75p 0.5因此所獲得信息量 ：l(AIB)=.|ogp(filB)=-log2 0.375 =1.42bit4一信源 S 的符號集衛(wèi)2444,概率分別為 0.5, 0.25, 0.125, 0.0625, 0.0625(1) 對該信源進(jìn)行二元哈夫曼編碼；(2) 計(jì)算平均碼長，編碼碼率，編碼效率，信息傳輸速率，編碼剩余度。(95面)解:(1)哈夫曼編碼過程如下：0

17、.50.250.125 0.0625-0.062510.1250.5辭符號ala2aB1010000.250010a40011(2)信源的爛 H(S)=-llogl-llog 1-llogl- J_log-log224 4816 T6 16 16=15/8=1.875比特/符號平均碼長/=1 +0.5+0.25+025=1.875碼元/信源符號編碼碼率/ = / logr=l .875 x Iog2=l .875編碼效率 = 2=100%R信息傳輸速率人=空里 T比特/信源符號 編碼剩余度7=1-77=05個二元信源.符號集fl=OJ,概率為p(O)=p, p(l)=3=l-p,其中p< 2；試驗(yàn)信道輸出符號集B=OJ,失真測度函數(shù)為漢明失真，求班D)函數(shù)。(194®)解：(