北京郵電大學(xué)2016-2017學(xué)年第一學(xué)期《信息論》期末考試試題及答案

北京郵電大學(xué)2016—2017學(xué)年第一學(xué)期《信息論》期末考試試題及答案一、判斷題（10分）1、事件的自信息是其概率的單調(diào)遞減函數(shù)。 （√）2、連續(xù)信源和離散信源的平均互信息都具有非負性。 （√）3、對于遍歷的有限狀態(tài)馬氏鏈，如果初始狀態(tài)概率分布不是平穩(wěn)分布，當(dāng)轉(zhuǎn)移步數(shù)足夠大時，狀態(tài)概率分布一定趨于平穩(wěn)分布。 （√）4、離散信道的容量是關(guān)于輸入符號概率分布的上凸函數(shù)。 （×）5、碼長滿足Kraft不等式的碼一定是異前置碼。 （×）6、平均功率受限的隨機變量，當(dāng)均勻分布時有最大的熵。 （×）7、隨著信源序列長度的增加，非典型序列出現(xiàn)的概率趨近于零。 （√）8、對于任意的二元對稱信道，最小漢明距離準則等價于最大似然準則。（×）9、對任意的加性噪聲信道，當(dāng)信源是高斯分布時達到信道容量。 （×）10、如果信息傳輸速率小于信道容量，信息傳輸差錯任意小。 （×）二、填空題（20分）1.已知某離散無記憶信源的數(shù)學(xué)模型為，則其三次擴展源的熵。（5.877比特/擴展符號）2.已知X是均值為0、方差為1的高斯信源，Z是均值為0、方差為2的高斯信源，X,Z獨立且Y=3X+2Z，則h(Y)=,h(YZ)=。（，）3.某信源共有32個信源符號，其實際的熵值為比特/信源符號，則該信源的剩余度為________。（）4.在一個離散時間平穩(wěn)無記憶加性高斯噪聲信道中進行信息傳輸，信道輸入X的方差為，零均值噪聲方差為，進行可靠傳輸?shù)乃俾噬舷奘莀_______。（）5.AWGN信道下實現(xiàn)可靠通信的信噪比下界為-1.59dB，此時對應(yīng)的系統(tǒng)帶寬為。（無窮大）6.設(shè)信源符號集為，分別進行了4種分組編碼，，其中屬于非奇異碼，屬于唯一可譯碼，滿足Kraft不等式。（，，）三、簡答題（12分）1.“重要的事情說三遍”是一句網(wǎng)絡(luò)流行語，這句話中體現(xiàn)了通信系統(tǒng)中哪兩個模塊的功能？這兩個模塊分別與通信傳輸?shù)挠行院涂煽啃杂惺裁搓P(guān)系？（4分）答：“重要的事情”，體現(xiàn)了信源壓縮編碼，信源編碼可提高通信傳輸?shù)挠行浴！罢f三遍”，體現(xiàn)了信道編碼，信道編碼可提高通信傳輸?shù)目煽啃浴?.設(shè)離散無記憶信源其失真度為漢明失真度，失真矩陣為d=01試計算：（1）Dmin及R（Dmin）（2）Dmax及R（Dmax） （8分）答案：（1）d=D相應(yīng)的試驗信道轉(zhuǎn)移概率矩陣為1R（2）DR四、計算題（16分）信源X隨機產(chǎn)生二元信源符號，經(jīng)過轉(zhuǎn)移概率如圖1所示的信道CH1傳輸?shù)玫結(jié)。圖1寫出CH1的信道轉(zhuǎn)移矩陣。（3分）求CH1的信道容量及達到信道容量時X和Y的分布。（3+2+2分）若在CH1后級聯(lián)一個信道CH2，信道容量會發(fā)生怎樣的變化？舉例說明CH2的一種情況，使級聯(lián)后的信道容量與CH1相同。再舉例說明CH2的一種情況，使級聯(lián)后的信道容量為0（2+2+2分）答案：(1)轉(zhuǎn)移概率矩陣：(2)CH1是準對稱信道，輸入等概時達到信道容量，即。輸入等概時，輸出的概率為{5/16,1/4,1/8,5/16}信道容量：比特/符號(3)根據(jù)數(shù)據(jù)處理定理，級聯(lián)一個信道CH2后，級聯(lián)信道容量會小于等于CH1的信道容量。如果級聯(lián)后信道轉(zhuǎn)移矩陣不發(fā)生變化，信道容量也不會發(fā)生變化。例如，如果CH2是無損確定信道，轉(zhuǎn)移矩陣為 如果級聯(lián)后信道為確定信道，且輸出符號個數(shù)為1，則信道容量為0。例如，如果CH2是確定信道，轉(zhuǎn)移矩陣為還可以有其他答案，如轉(zhuǎn)移概率矩陣為或，或，或等 五、計算題（15分）離散無記憶信道輸入符號等概，且轉(zhuǎn)移概率矩陣如下：求ML準則的判決結(jié)果；（3分）求信道疑義度的上界；（4分）設(shè)該信道以1500符號/秒的速率傳送信息，現(xiàn)在有一個三元獨立等概離散信源，試問該信源長度為4000的消息序列能否在10秒內(nèi)無差錯地通過此信道傳輸？（8分）解：1）最大似然判決結(jié)果：2）比特/符號3）強對稱信道，容量為：。六、計算題（10分）設(shè)電話信號的信息率為5.6×104(bit/s)，在一個噪聲單邊功率譜密度為N0=5×10-6(mW/Hz)，信道帶寬為W(Hz)，限輸入功率P的加性高斯白噪聲信道中傳送。（1）若W=4(kHz),求無差錯傳輸所需的最小功率？（5分）（2）若信道帶寬W不受限，求無差錯傳輸所需的最小功率？（5分）解：F=4kHz時，實現(xiàn)無差錯傳輸則，取等號，即=0.32766W∞時，由實現(xiàn)無差錯傳輸則，取等號，則5.6×104×5×10-6×10-3×ln2=1.941×10-4=0.1941mW七、計算題（17分）設(shè)有一個四個子信道構(gòu)成的獨立并聯(lián)加性高斯噪聲信道，各子信道噪聲的方差分別為σ1求信道的容量?假設(shè)第一個子信道和第四個子信道鄰近其他通信系統(tǒng)，為了防止對其他系統(tǒng)造成過多帶外干擾，限制第一個子信道和第四個子信道的能量