第3章信道容量3(58p)

第3章信道容量第3章信道容量3.0引言3.1信道的數(shù)學(xué)模型和分類3.2單符號離散信道的信道容量3.2.1單符號信道的定義和數(shù)學(xué)模型3.2.2信道容量的定義及一般求取原則3.2.3幾種特殊信道的信道容量3.2.4通過解方程組求信道容量3.3多符號離散信道3.4離散組合信道3.5連續(xù)信道3.6信道編碼定理2第3章信道容量3.0引言3.1信道的數(shù)學(xué)模型和分類3.2單符號離散信道的信道容量3.3多符號離散信道3.3.1

多符號離散信道定義及數(shù)學(xué)模型3.3.2離散無記憶信道N次擴展信道的信道容量3.4離散組合信道3.5連續(xù)信道3.6信道編碼定理3定義單符號離散信道：信道的輸入和輸出均可用單個的隨

機變量描述。信道的轉(zhuǎn)移特性由信道轉(zhuǎn)移概率矩陣描述。單符號信源+信道多符號離散信道：傳輸信道還是離散信道本身，只是

每次輸入輸出有多個符號在不同時刻進行數(shù)據(jù)傳遞。多符號信源+信道信道的轉(zhuǎn)移特性由信道轉(zhuǎn)移概率矩陣描述。3.3.1

多符號離散信道定義及數(shù)學(xué)模型4根據(jù)信道是否具有記憶特性，可將信道劃分為：無記憶信道：有記憶信道：信道在任意時刻的輸出只取決于當(dāng)前時刻的輸入，而與之前和之后時刻的輸入和輸出都無關(guān)。信道在某一時刻的輸出不僅取決于當(dāng)前時刻的輸入，還與之前或之后時刻的輸入或輸出有關(guān)。平穩(wěn)信道：非平穩(wěn)信道：根據(jù)信道統(tǒng)計特性是否隨時間變化，可將信道劃分為：信道的統(tǒng)計特性不隨時間變化。(恒參)信道的統(tǒng)計特性隨時間而變化。(變參)5為簡化起見，本課程只研究平穩(wěn)無記憶信道。平穩(wěn)信道的數(shù)學(xué)模型：物理意義：輸入隨機序列與輸出隨機序列之間的轉(zhuǎn)移概率等于各離散時刻隨機變量間轉(zhuǎn)移概率的連乘。*無記憶信道的數(shù)學(xué)模型：解釋：6單符號信道即為平穩(wěn)無記憶信道。解釋：非平穩(wěn)信道有記憶信道單符號信道可由描述平穩(wěn)無記憶信道單符號信源+無記憶信道多符號信源+無記憶信道平穩(wěn)無記憶信道的N次擴展信道：單符號信道：7多符號信道的數(shù)學(xué)模型單符號離散信道：行行同一符號集列同一符號集列多符號離散信道：共個元素8不一定等于1單符號信道多符號信道9單符號信道二次擴展信道信道矩陣?yán)?.3.1

求二元對稱信道二次擴展信道的信道矩陣10練習(xí)：求二元對稱信道三次擴展信道的信道矩陣11若離散無記憶信道的輸入和輸出分別是N長序列，則平均互信息量滿足：定理：證明：問題：上式何時取等號？回答：N個時刻的輸出符號統(tǒng)計獨立時。其中第一項：3.3.2離散無記憶信道N次擴展信道的信道容量12再看第二項：【無記憶性】13類似地，可證明：…代入前面得到的第一項，有：14物理意義：對于離散無記憶信道的N次擴展信道，其總體的平均互信息量不大于各時刻單符號對應(yīng)的平均互信息量之和。問題：上式何時取等號？分析：N個時刻的輸出符號統(tǒng)計獨立時。問題：輸入符號之間是何關(guān)系時，輸出符號統(tǒng)計獨立？結(jié)論：當(dāng)信源是無記憶信源的N次擴展信源時，輸出符

號之間統(tǒng)計獨立。即：當(dāng)滿足15證明：當(dāng)證：【全概率公式】【全概率公式】有【無記憶信道】【無記憶信源】16綜合前面的分析，可得如下重要結(jié)論：*離散無記憶信道的次擴展信道，其平均互信息，不大于個隨機變量分別單獨通過信道的平均互信息量之和。2.僅當(dāng)輸入端的個輸入隨機變量統(tǒng)計獨立時(即無記憶信源的次擴展信源)，信道的總平均互信息等于這個變量單獨通過信道的平均互信息之和。3.由于研究的是平穩(wěn)信源和平穩(wěn)信道，最終有：*單位：比特/符號17第3章信道容量3.0引言3.1信道的數(shù)學(xué)模型和分類3.2單符號離散信道的信道容量3.3多符號離散信道3.4離散組合信道3.4.1獨立并聯(lián)信道3.4.2級聯(lián)(串聯(lián))信道3.5連續(xù)信道3.6信道編碼定理183.4.1獨立并聯(lián)信道典型應(yīng)用：通過多個信道并行傳輸，加快傳輸速度。獨立：并聯(lián)信道之間相互獨立。每個信道的輸出僅取決于該信道的輸入，而與其它信道的輸入和輸出無關(guān)。每個時刻的輸出僅取決于該時刻的輸入，而與其它時刻的輸入和輸出無關(guān)。對比19離散無記憶信道N次擴展信道的結(jié)論可推廣到獨立并聯(lián)信道。一般情況下，N個獨立信道總的平均互信息量小于各信道的平均互信息量之和。1.*2.獨立并聯(lián)信道的信道容量等于各自信道容量的和，但必須滿足如下條件：*(1)各信源之間是相互獨立的。(2)各信源同時達到最佳輸入分布。203.4.2級聯(lián)(串聯(lián))信道典型實例：衛(wèi)星電視，微波接力通信等?！鞠热サ?，再加上

】21對于級聯(lián)信道，總的信道矩陣等于各級信道矩陣的連乘積。(注意乘積順序)結(jié)論：*例3.4.1

設(shè)有兩個離散二元對稱信道，求二者級聯(lián)信道的信道容量。22級聯(lián)后的等效信道也是二元對稱信道。解：根據(jù)強對稱信道的計算公式：23例3.4.2

把

個離散二元對稱信道級聯(lián)起來，要求證明該信道可以等效于一個二元對稱信道，其錯誤傳遞概率為。并證明當(dāng)時，且時有：解：使用數(shù)學(xué)歸納法。先證明時，等式成立。假設(shè)：等式對成立。證明：等式對成立。24證：當(dāng)時，時成立。假設(shè)：等式對成立則再級聯(lián)一級后，有：錯誤傳遞概率為。證明：總轉(zhuǎn)移概率矩陣級的25得證【化簡步驟略】當(dāng)時且，上述信道矩陣趨近于：

強噪聲信道無用信道代入,得：26第3章信道容量3.0引言3.1信道的數(shù)學(xué)模型和分類3.2單符號離散信道的信道容量3.3多符號離散信道3.4離散組合信道3.5連續(xù)信道3.6信道編碼定理273.5.1連續(xù)信道信道容量的定義多符號(變量)信道連續(xù)信道單符號(變量)信道連續(xù)信道：信道的輸入和輸出隨機變量都取值于連續(xù)集合。多符號信道離散信道單符號信道為簡化起見，本課程只研究單變量連續(xù)信道。

單符號離散信道數(shù)學(xué)模型：

單變量連續(xù)信道數(shù)學(xué)模型：28離散信道信道容量：固定連續(xù)信道信道容量：固定

極值點位于邊界極值點位于定義域內(nèi)

離散信道一般求取原則：是關(guān)于的上凸函數(shù)。計算機迭代拉格朗日乘數(shù)法求條件極值29問題：離散信道一般求取原則是否適用于連續(xù)信道？回答：不適用。

計算機迭代方法肯定不適用于連續(xù)系統(tǒng)。拉格朗日乘數(shù)法只能求解多維空間中的條件極值點，而無法求取最佳分布概率密度函數(shù)。一般性連續(xù)信道的信道容量并不容易求取，只有在一些特殊情況下才相對容易計算。結(jié)論：303.5.2加性連續(xù)信道信道容量的求取31加性連續(xù)信道噪聲(N)與信號(X)統(tǒng)計獨立。噪聲對信號的干擾表現(xiàn)為和輸入線性疊加。信道模型證明：對于加性連續(xù)信道，其信道轉(zhuǎn)移特性為噪聲的概率密度，即：。證明：對于加性連續(xù)信道，其信道轉(zhuǎn)移特性為噪聲的概率密度，即：。證：概率論：根據(jù)根據(jù)其中：雅克比行列式32回憶：第二章中為什么把叫做噪聲熵？信宿熵從信源處獲得的關(guān)于信宿的信息量由噪聲帶來的“偽信息量”更直觀的解釋：33根據(jù)所證明的

求取加性信道的信道容量：【信源X與噪聲N統(tǒng)計獨立】加性信道的信道容量取決于兩方面：通過改變，使最大，加性信道的平均互信息量達到信道容量。噪聲的統(tǒng)計特性，當(dāng)信道選定后，該項為常數(shù)。34常見限定條件：1.峰值功率受限:

2.平均功率受限:3.均值受限:均勻分布高斯(正態(tài))分布指數(shù)分布最常見最大離散熵：信源等概率分布時熵最大。最大連續(xù)熵：不同限定條件下，結(jié)果也不相同。353.5.3平均功率受限條件下高斯信道的信道容量36某次實驗的結(jié)果是功率為平均功率為

隨機信號方差與平均功率的關(guān)系:高斯加性信道:是指噪聲(N)的概率密度符合高斯分布，并滿足：零均值根據(jù)高斯分布的概率密度可計算出噪聲熵的計算37其中：噪聲熵的計算(續(xù))38問題：在信源平均功率受限的條件下,何時最大？分析：有限，有限。問題：在什么條件下，服從高斯分布？分析：目前的已知條件有：噪聲服從零均值的高斯分布，X與N獨立?；卮穑河筛怕收?當(dāng)也服從零均值的高斯分布時,有：也服從高斯分布，且滿足：滿足高斯分布的條件下，最大。回答：有限。【】獨立輸出信號的平均功率受限高斯信道選定，即確定下來39根據(jù)第二章中連續(xù)信源的相關(guān)結(jié)論,有:信噪比單位：比特/符號香農(nóng)公式的第一種形式：*很多時候，我們更需要的是單位時間內(nèi)的信息傳輸率。假設(shè)：連續(xù)信號已按采樣定理進行采樣,成為離散信號。再代入之前所得公式，最后得：40設(shè)信道的頻帶為，則每秒需進行次采樣，在接收端才可無失真地恢復(fù)出原始信號。采樣定理：秒符號秒比特符號比特單位轉(zhuǎn)換：單位：比特/秒香農(nóng)公式的第二種形式：*香農(nóng)公式的形式還可以進一步地推廣。在通信原理課程中將學(xué)習(xí)隨機信號功率譜密度的概念，其與隨機信號平均功率的關(guān)系為：41通信原理中還將學(xué)習(xí)高斯白噪聲的概念。所謂高斯白噪聲是指功率譜密度為常數(shù)()，而在一個頻帶為的信道中，噪聲的平均功率為:【乘以是因為功率譜均為對稱譜】將的表示式代入第二種形式，可得：單位：比特/秒香農(nóng)公式的第三種形式：*當(dāng)信道的頻帶很寬時，，此時有:【】42例3.5.1

在圖片傳輸中，每幀約為個像素，為了能很好地重現(xiàn)圖像，需分16個亮度電平，并假設(shè)亮度電平等概分布。試計算每秒鐘傳送30幀圖片所需信道的帶寬（功率信噪比為）。解：單位：比特/秒幀/秒像素/幀比特/像素比特/秒43

必須指出的是，盡管香農(nóng)公式在推導(dǎo)過程中附加了很多限制條件，如：高斯加性信道，信號與噪聲獨立，信號的平均功率受限等等。但是，實踐表明，多數(shù)情況下，實際信道可認為是符合或者近似符合這些特點的。因此，香農(nóng)公式具有非常普遍的意義。

另一方面，即便是對于非高斯信道，香農(nóng)公式仍具有重要意義。原因是：根據(jù)第二章中最大連續(xù)熵定理，在平均功率受限情況下，高斯分布的噪聲熵具有最大值，根據(jù)

，在香農(nóng)公式的推導(dǎo)過程中所扣除的值比實際噪聲熵值要多，因此算出的信道容量比實際值偏小。對于非高斯信道，用香農(nóng)公式算出的信道容量是其理論上的下限值。3.5.4關(guān)于香農(nóng)公式使用范圍的討論及相關(guān)重要結(jié)論44香農(nóng)公式：重要結(jié)論：1.帶寬一定時，提高信噪比能提高信道容量。例3.5.2

普通電話線路的帶寬可近似為,當(dāng)信噪比為時，計算其信道容量。當(dāng)信噪比提升為為，重新計算信道容量。比特/秒信噪比為時比特/秒分析：信噪比增加10倍，但信道容量僅增加約1.5倍。解：信噪比為時，，代入得：45比較：假設(shè)線路帶寬從提高到，而信號功率保持不變，計算信道容量。解：由于帶寬提高10倍，信噪比下降10倍。代入公式可得：比特/秒香農(nóng)公式：信道容量提高：倍。相比于初始條件，即：帶寬，信噪比為2.當(dāng)倍數(shù)相同時,增加帶寬通常比提高信噪比更有效。463.

無噪連續(xù)信道的信道容量為無窮大。香農(nóng)公式：原因：4.當(dāng)增加信道帶寬時，并不能使信道容量無限增加。證：令根據(jù)高數(shù)中的知識，47信道容量隨信道帶寬的變化48設(shè)傳輸時間為,則總信息量

。當(dāng)所需要傳輸?shù)目傂畔⒘恳欢〞r，則帶寬、傳輸時間、信噪比

三者可進行相互轉(zhuǎn)換。若傳輸時間固定，則可通過擴展信道的帶寬來降低對信噪比的要求；或者，通過提高信噪比實現(xiàn)在窄帶信道上進行傳輸（即：可降低對的要求）。香農(nóng)公式：49例3.5.3

若要保持信道的信息傳輸率比特/秒,當(dāng)信道的帶寬從降低到，求信號功率所需提高的倍數(shù)。解：帶寬降低前：帶寬降低后：分析：帶寬較小地降低(25%)要求信噪比必須有較大的提高(60%)；帶寬較小地增加信噪比較大改善50設(shè)傳輸時間為,則總信息量

。(2)若信號功率不變,則增加信道的帶寬可以縮短傳輸時間，從而換取傳輸時間的節(jié)?。换蛘呋ㄙM較長的時間來換取頻帶的節(jié)省。例如：為了能在窄帶電纜信道中傳送電視信號，往往可用增加傳送時間的辦法來壓縮所需要的帶寬。首先把電視信號以高速記錄在錄像帶上，然后慢放這個磁帶，慢到使輸出頻率降低到足以在窄帶電纜中傳送的程度。在接收端，將接收到的慢錄像帶進行快放，于是恢復(fù)了原來的電視信號。（但損失了實時性）51(3)若保持信道的帶寬不變，可通過花費較長的時間降低所需要的信噪比(①可以變大，系統(tǒng)可以工作在噪聲更惡劣的環(huán)境下或者遠距離通信中;②可降低對通信發(fā)射設(shè)備功率的要求)；或者通過提高發(fā)射功率加快傳輸時間。設(shè)傳輸時間為,則總信息量

。一般而言，究竟以誰換取誰，要根