信息論與編碼期末考試題----學(xué)生復(fù)習(xí)用

1、信息論基礎(chǔ)參考答案一、填空題1、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。2、信源的剩余度主要來(lái)自兩個(gè)方面，一是信源符號(hào)間的相關(guān)性，二是信源符號(hào)的統(tǒng)計(jì)不均勻性。3、三進(jìn)制信源的最小熵為0，最大熵為bit/符號(hào)。4、無(wú)失真信源編碼的平均碼長(zhǎng)最小理論極限制為信源熵（或H(S)/logr= Hr(S)）。5、當(dāng)R=C或（信道剩余度為0）時(shí)，信源與信道達(dá)到匹配。6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為恒參信道和隨參信道。7、根據(jù)是否允許失真，信源編碼可分為無(wú)失真信源編碼和限失真信源編碼。8、若連續(xù)信源輸出信號(hào)的平均功率為，則輸出信號(hào)幅度的概率密度是高斯分布或正態(tài)分布或時(shí)，信源

2、具有最大熵，其值為值。9、在下面空格中選擇填入數(shù)學(xué)符號(hào)“”或“”（1）當(dāng)X和Y相互獨(dú)立時(shí)，H（XY）=H(X)+H(X/Y)=H(Y)+H(X)。（2）（3）假設(shè)信道輸入用X表示，信道輸出用Y表示。在無(wú)噪有損信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。三、已知信源（1）用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；（6分）（2）計(jì)算平均碼長(zhǎng);（4分）（3）計(jì)算編碼信息率;（2分）（4）計(jì)算編碼后信息傳輸率;（2分）（5）計(jì)算編碼效率。（2分）（1） 編碼結(jié)果為：（2）（3）（4）其中，（5）四、某信源輸出A、B、C、D、E五種符號(hào)，每一個(gè)符號(hào)獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1

3、/8、1/8、1/8、1/2、1/8。如果符號(hào)的碼元寬度為0.5。計(jì)算：（1）信息傳輸速率。（2）將這些數(shù)據(jù)通過(guò)一個(gè)帶寬為B=2000kHz的加性白高斯噪聲信道傳輸，噪聲的單邊功率譜密度為。試計(jì)算正確傳輸這些數(shù)據(jù)最少需要的發(fā)送功率P。解：（1） （2）五、一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為。(1) 畫(huà)出狀態(tài)轉(zhuǎn)移圖。(2) 計(jì)算穩(wěn)態(tài)概率。(3) 計(jì)算馬爾可夫信源的極限熵。(4) 計(jì)算穩(wěn)態(tài)下,及其對(duì)應(yīng)的剩余度。解：(1)(2)由公式有得(3)該馬爾可夫信源的極限熵為：(4)在穩(wěn)態(tài)下：對(duì)應(yīng)的剩余度為六、設(shè)有擾信道的傳輸情況分別如圖所示。試求這種信道的信道容量。解：信道傳輸矩陣如下可以看出這是一個(gè)對(duì)稱信

4、道，L=4,那么信道容量為七、設(shè)X、Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。定義另一個(gè)二元隨機(jī)變量Z=XY(一般乘積)。試計(jì)算(1) (2) (3) (4) ;解：(1)Z01P(Z)3/41/4(2) (3) (4) 八、設(shè)離散無(wú)記憶信源的概率空間為，通過(guò)干擾信道，信道輸出端的接收符號(hào)集為，信道傳輸概率如下圖所示。(1) 計(jì)算信源中事件包含的自信息量；(2) 計(jì)算信源的信息熵；(3) 計(jì)算信道疑義度；(4) 計(jì)算噪聲熵；(5) 計(jì)算收到消息后獲得的平均互信息量。解：(1) (2) (3)轉(zhuǎn)移概率：x yy1y2x15/61/6x23/41/4聯(lián)合分布：x yy1y2x12/31

5、2/154/5x13/201/201/549/6011/601/5(4)(5) ( )1、 人們研究信息論的目的是為了 高效、可靠、安全 地交換和利用各種各樣的信息。2、 信息的 可度量性 是建立信息論的基礎(chǔ)。3、 統(tǒng)計(jì)度量 是信息度量最常用的方法。4、 熵 是香農(nóng)信息論最基本最重要的概念。12、自信息量的單位一般有 比特、奈特和哈特 。13、必然事件的自信息是 0 。14、不可能事件的自信息量是 。 15、兩個(gè)相互獨(dú)立的隨機(jī)變量的聯(lián)合自信息量等于 兩個(gè)自信息量之和 。16、數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過(guò)多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量 趨于變小 。17、離散平

6、穩(wěn)無(wú)記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的 N倍 。 18、離散平穩(wěn)有記憶信源的極限熵，。19、對(duì)于n元m階馬爾可夫信源，其狀態(tài)空間共有 nm 個(gè)不同的狀態(tài)。25、若一離散無(wú)記憶信源的信源熵H（X）等于2.5，對(duì)信源進(jìn)行等長(zhǎng)的無(wú)失真二進(jìn)制編碼，則編碼長(zhǎng)度至少為 3 。26、m元長(zhǎng)度為ki，i=1，2，···n的異前置碼存在的充要條件是：。27、若把擲骰子的結(jié)果作為一離散信源，則其信源熵為 log26 。28、同時(shí)擲兩個(gè)正常的骰子，各面呈現(xiàn)的概率都為1/6，則“3和5同時(shí)出現(xiàn)”這件事的自信息量是 log218（1+2 log23）。30、一副充分洗亂的撲克

7、牌（52張），從中任意抽取1張，然后放回，若把這一過(guò)程看作離散無(wú)記憶信源，則其信源熵為 。31、根據(jù)輸入輸出信號(hào)的特點(diǎn)，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù) 信道。32、信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過(guò)去輸入無(wú)關(guān)的信道稱為 無(wú)記憶 信道。33、具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道的信道容量C= log2n 。34、強(qiáng)對(duì)稱信道的信道容量C= log2n-Hni 。35、對(duì)稱信道的信道容量C= log2m-Hmi 。36、對(duì)于離散無(wú)記憶信道和信源的N次擴(kuò)展，其信道容量CN= NC 。43、信道編碼定理是一個(gè)理想編碼的存在性定理，即：信道無(wú)失真?zhèn)鬟f信息的條件是 信息率小于信道容量 。44、信道

8、矩陣代表的信道的信道容量C= 1 。45、信道矩陣代表的信道的信道容量C= 1 。53、單符號(hào)的失真度或失真函數(shù)d（xi，yj）表示信源發(fā)出一個(gè)符號(hào)xi，信宿再現(xiàn)yj所引起的 誤差或失真 。54、漢明失真函數(shù) d（xi，yj）= 。55、平方誤差失真函數(shù)d（xi，yj）=（yj- xi）2。56、平均失真度定義為失真函數(shù)的數(shù)學(xué)期望，即d（xi，yj）在X和Y的 聯(lián)合概率空間P（XY）中 的統(tǒng)計(jì)平均值。57、如果信源和失真度一定，則平均失真度是 信道統(tǒng)計(jì)特性 的函數(shù)。58、如果規(guī)定平均失真度不能超過(guò)某一限定的值D，即：。我們把稱為 保真度準(zhǔn)則 。59、離散無(wú)記憶N次擴(kuò)展信源通過(guò)離散無(wú)記憶N次擴(kuò)展

9、信道的平均失真度是單符號(hào)信源通過(guò)單符號(hào)信道的平均失真度的 N 倍。60、試驗(yàn)信道的集合用PD來(lái)表示，則PD= 。61、信息率失真函數(shù)，簡(jiǎn)稱為率失真函數(shù)，即：試驗(yàn)信道中的平均互信息量的 最小值 。62、平均失真度的下限取0的條件是失真矩陣的 每一行至少有一個(gè)零元素 。63、平均失真度的上限D(zhuǎn)max取Dj：j=1，2，···，m中的 最小值 。64、率失真函數(shù)對(duì)允許的平均失真度是 單調(diào)遞減和連續(xù)的 。65、對(duì)于離散無(wú)記憶信源的率失真函數(shù)的最大值是 log2n 。66、當(dāng)失真度大于平均失真度的上限時(shí)Dmax時(shí)，率失真函數(shù)R（D）= 0 。67、連續(xù)信源X的率失真函數(shù)R（

10、D）= 。68、當(dāng)時(shí)，高斯信源在均方差失真度下的信息率失真函數(shù)為 。69、保真度準(zhǔn)則下的信源編碼定理的條件是 信源的信息率R大于率失真函數(shù)R（D） 。70、某二元信源其失真矩陣D=，則該信源的Dmax= a/2 。71、某二元信源其失真矩陣D=，則該信源的Dmin= 0 。72、某二元信源其失真矩陣D=，則該信源的R（D）= 1-H（D/a） 。73、按照不同的編碼目的，編碼可以分為三類：分別是 信源編碼、信道編碼和安全編碼 。74、信源編碼的目的是： 提高通信的有效性 。75、一般情況下，信源編碼可以分為 離散信源編碼、連續(xù)信源編碼和相關(guān)信源編碼 。 76、連續(xù)信源或模擬信號(hào)的信源編碼的理論

11、基礎(chǔ)是 限失真信源編碼定理 。77、在香農(nóng)編碼中，第i個(gè)碼字的長(zhǎng)度ki和p（xi）之間有 關(guān)系。78、對(duì)信源進(jìn)行二進(jìn)制費(fèi)諾編碼，其編碼效率為 1 。79、對(duì)具有8個(gè)消息的單符號(hào)離散無(wú)記憶信源進(jìn)行4進(jìn)制哈夫曼編碼時(shí)，為使平均碼長(zhǎng)最短，應(yīng)增加 2 個(gè)概率為0的消息。80、對(duì)于香農(nóng)編碼、費(fèi)諾編碼和哈夫曼編碼，編碼方法惟一的是 香農(nóng)編碼 。81、對(duì)于二元序列0011100000011111001111000001111111，其相應(yīng)的游程序列是 23652457 。82、設(shè)無(wú)記憶二元序列中，“0”和“1”的概率分別是p0和p1，則“0”游程長(zhǎng)度L（0）的概率為 。83、游程序列的熵 等于 原二元序列的

12、熵。84、若“0”游程的哈夫嗎編碼效率為0，“1”游程的哈夫嗎編碼效率為1，且0>1對(duì)應(yīng)的二元序列的編碼效率為，則三者的關(guān)系是 0>>1 。85、在實(shí)際的游程編碼過(guò)程中，對(duì)長(zhǎng)碼一般采取 截?cái)?處理的方法。86、“0”游程和“1”游程可以分別進(jìn)行哈夫曼編碼，兩個(gè)碼表中的碼字可以重復(fù)，但 C碼 必須不同。87、在多符號(hào)的消息序列中，大量的重復(fù)出現(xiàn)的，只起占時(shí)作用的符號(hào)稱為 冗余位 。88、“冗余變換”即：將一個(gè)冗余序列轉(zhuǎn)換成一個(gè)二元序列和一個(gè) 縮短了的多元序列 。89、L-D編碼是一種 分幀傳送冗余位序列 的方法。90、L-D編碼適合于冗余位 較多或較少 的情況。91、信道編碼的最終目的是 提高信號(hào)傳輸?shù)目煽啃?。92、狹義的信道編碼即：檢、糾錯(cuò)編碼 。93、BSC信道即：無(wú)記憶二進(jìn)制對(duì)稱信道 。94、n位重復(fù)碼的編碼效率是 1/n 。95、等重碼可以檢驗(yàn)