信息論基礎(chǔ)與編碼課后題答案(第三章)

信息論基礎(chǔ)與編碼課后題答案(第三章)3-1設(shè)有一離散無記憶信源，其概率空間為，信源發(fā)出符號通過一干擾信道，接收符號為，信道傳遞矩陣為，求：（1）信源中事件和分別含有的自信息量；（2）收到消息（j＝1，2）后，獲得的關(guān)于（i＝1，2）的信息量；（3）信源和信宿的信息熵；（4）信道疑義度和噪聲熵；（5）接收到消息后獲得的平均互信息量。解：（1）（2），，，（3）（4）（5）3-2設(shè)有擾離散信道的輸入端是以等概率出現(xiàn)的A、B、C、D四個字母。該信道的正確傳輸概率為0.5，錯誤傳輸概率平均分布在其他三個字母上。驗證在該信道上每個字母傳輸?shù)钠骄畔⒘繛?.21比特。證明：信道傳輸矩陣為：，信源信宿概率分布為：，H(Y/X)=1.79（bit/符號），I(X;Y)=H(Y)-H(Y/X)=2-1.79=0.21（bit/符號）3-3已知信源包含兩種消息：，且，信道是有擾的，信宿收到的消息集合包含。給定信道矩陣為：，求平均互信息。解：I(X;Y)=H(X)+H(Y)-H(XY)H(X)=1bit/符號,H(Y)=0.93bit/符號,H(XY)=1.34bit/符號,I(X;Y)=0.59bit/符號。列無失真地傳送完。3-8有一離散信道，其信道轉(zhuǎn)移概率如題圖3-8所示，試求：（1）信道容量C；（2）若＝0，求信道容量。題圖3-8解：（1）（2）若，則3-9設(shè)離散信道矩陣為：，求信道容量C。解：C＝0.041（bit/符號）。3-10若有一離散非對稱信道，其信道轉(zhuǎn)移概率如題圖3-10所示。試求：題圖3-10（1）信道容量；（2）若將兩個同樣信道串接，求串接后的轉(zhuǎn)移概率；（3）求串接后信道的信道容量。答案：（1）此信道轉(zhuǎn)移概率矩陣，信道容量＝0.0487bit/符號；（2）串接后的轉(zhuǎn)移概率矩陣；（3）串接后信道的信道容量＝0.0033bit/符號。3-11設(shè)有一離散級聯(lián)信道如題圖3-11所示。試求：題圖3-11（1）與間的信道容量；（2）與間的信道容量；（3）與間的信道容量及其輸入分布。答案：（1）（2）＝0.75（bit/符號）（3）X、Z間信道轉(zhuǎn)移概率矩陣為它是準對稱信道，當輸入等概率分布時達到信道容量。＝{0.5,0.5}3-12若有兩個串接的離散信道，它們的信道矩陣都是：，并設(shè)第一個信道的輸入符號是等概率分布，求和并加以比較。解：串接后信道矩陣為，比特/符號，比特/符號可見，3-13若，，是三個隨機變量，試證明：；；,當且僅當（）是馬氏鏈時等式成立。3-14若三個離散隨機變量有如下關(guān)系：，其中和相互獨立，試證明：；；；；。3-15把個二元對稱信道串接起來，每個二元對稱信道的錯誤傳遞概率為。證明這個串接信道可以等效于一個二元對稱信道，其錯誤傳遞概率為。并證明：，設(shè)，信道的串接如題圖3-15所示。題圖3-15證明：當＝1時，，當＝2時，，錯誤傳遞概率為：。當考慮三個二元對稱信道串接，得用數(shù)學歸納法可證明：3-16有一信源發(fā)出恒定寬度，但不同幅度的脈沖，幅度值處在和之間。此信源連至某信道，信道接收端接收脈沖的幅度處在和之間。已知隨機變量和的聯(lián)合概率密度函數(shù)試計算，，和。答案：，，，。X與Y統(tǒng)計獨立。3-17設(shè)某連續(xù)信道，其特性如下：而信道輸入變量的概率密度函數(shù)為：試計算：（1）信源的熵；（2）平均互信息。答案：（1）X是正態(tài)分布的，均值為零，方差為。（2）=0.208比特3-18設(shè)加性高斯白噪聲信道中，信道帶寬為3kHz，又設(shè){（信號功率＋噪聲功率）/噪聲功率}＝10dB。試計算該信道傳送的最大信息率（單位時間）；若功率信噪比降為5dB，要達到相同的最大信息傳輸率，信道帶寬應(yīng)是多少？解：（1），即：，又已知信道帶寬為3KHz，由香農(nóng)公式得：，此即為信道傳送的最大信息率。（2）若，即，此時要達到相同的最大信息傳輸率，設(shè)帶寬為，由香農(nóng)公式得：，計算得：。3-19設(shè)電話信號的信息率為56kbit/s，在一個噪聲功率譜為、限頻F、限輸入功率P的高斯信道中傳送，若F＝4kHz，問無差錯傳輸所需的最小功率P是多少W？若，則P是多少W？解：（1）（2）3-20