信息論考試簡答題

1、簡答題:1根據(jù)信息論的各種編碼定理和通信系統(tǒng)指標，編碼問題可分解為幾類，分別是什么？答：3類，分別是：信源編碼，信道編碼，和加密編碼。2對于一個一般的通信系統(tǒng)，試給出其系統(tǒng)模型框圖，并結(jié)合此圖，解釋數(shù)據(jù)處理定理。答：通信系統(tǒng)模型如下：數(shù)據(jù)處理定理為：串聯(lián)信道的輸入輸出X、Y、Z組成一個馬爾可夫鏈，且有，。說明經(jīng)數(shù)據(jù)處理后，一般只會增加信息的損失。3什么是平均自信息量與平均互信息，比較一下這兩個概念的異同？答：平均自信息為：表示信源的平均不確定度，也表示平均每個信源消息所提供的信息量。平均互信息：表示從Y獲得的關(guān)于每個X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個系統(tǒng)

2、不確定性減少的量。4簡述最大離散熵定理。對于一個有m個符號的離散信源，其最大熵是多少？答：最大離散熵定理為：離散無記憶信源，等概率分布時熵最大。最大熵值為。5.熵的性質(zhì)什么？答：非負性，對稱性，確定性，香農(nóng)輔助定理，最大熵定理。6解釋信息傳輸率、信道容量、最佳輸入分布的概念，說明平均互信息與信源的概率分布、信道的傳遞概率間分別是什么關(guān)系？答：信息傳輸率R指信道中平均每個符號所能傳送的信息量。信道容量是一個信道所能達到的最大信息傳輸率。信息傳輸率達到信道容量時所對應(yīng)的輸入概率分布稱為最佳輸入概率分布。平均互信息是信源概率分布的。型凸函數(shù)，是信道傳遞概率的U型凸函數(shù)。7信道疑義度的概念和物理含義？

3、答：概念：H(XIY)，-p(ab)logp(alb)ijijij物理含義：輸出端收到全部輸出符號Y以后，對輸入X尚存在的平均不確定程度。8寫出香農(nóng)公式，并說明其物理意義。當信道帶寬為5000Hz,信噪比為30dB時求信道容量。答：香農(nóng)公式為，它是高斯加性白噪聲信道在單位時間內(nèi)的信道容量，其值取決于信噪比和帶寬。101g=30dB由得，貝y9.解釋無失真變長信源編碼定理？答：只要，當n足夠長時，一定存在一種無失真編碼。io解釋有噪信道編碼定理？答：當RVC時，只要碼長足夠長，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯誤概率無窮小。11最佳變長編碼有哪些？答：香農(nóng)編碼方法，費諾編碼方法和哈夫曼編

4、碼方法。解釋等長信源編碼定理和無失真變長信源編碼定理，說明對于等長碼和變長碼，最佳碼的每符號平均碼長最小為多少？編碼效率最高可達多少？答：等長信源編碼定理：對于任意，只要，則當L足夠長時必可使譯碼差錯變長信源編碼定理：只要，一定存在一種無失真編碼。等長碼和變長碼的最小平均碼長均為，編碼效率最高可達100%。解釋最小錯誤概率譯碼準則，最大似然譯碼準則和最小距離譯碼準則，說明三者的關(guān)系。答：最小錯誤概率譯碼準則下，將接收序列譯為后驗概率最大時所對應(yīng)的碼字。最大似然譯碼準則下，將接收序列譯為信道傳遞概率最大時所對應(yīng)的碼字。最小距離譯碼準則下，將接收序列譯為與其距離最小的碼字。三者關(guān)系為：輸入為等概率

5、分布時，最大似然譯碼準則等效于最小錯誤概率譯碼準則。在元對稱無記憶信道中，最小距離譯碼準則等效于最大似然譯碼準則。肚_01什么是保真度準則？對二元信源卜仙）宙1.列，其失真矩陣求a0時率失真函數(shù)的和？答：1）保真度準則為：平均失真度不大于允許的失真度。2）因為失真矩陣中每行都有一個0,所以有，而。15差錯控制系統(tǒng)分類有哪些？答：前向糾錯，反饋重發(fā)，混合糾錯。16.分別說明信源的概率分布和信道轉(zhuǎn)移概率對平均互信息的影響，說明平均互信息與信道容量的關(guān)系。答：平均互信息相對于信源概率分布為上凸函數(shù)，相對于信道傳遞概率分布為下凹函數(shù)。平均互信息的最大值為信道容量。17.香農(nóng)第二定理的內(nèi)容和含義？答：內(nèi)容：設(shè)有一離散無記憶平穩(wěn)信道，其信道容量為C，只要待傳送的信息傳輸率RVC,則存在一種編碼，當輸入序列長度n足夠大，使