信道與信道容量z

信道與信道容量z第一頁，共一百二十四頁，2022年，8月28日本章節(jié)達到的目的了解信息論研究信道的目的、內(nèi)容了解信道的基本分類并掌握信道的基本描述方法掌握信道容量/信道容量代價函數(shù)的概念，以及與互信息、信道輸入概率分布、信道轉(zhuǎn)移函數(shù)的關(guān)系能夠計算簡單信道的信道容量/信道容量代價函數(shù)（對稱離散信道、無記憶加性高斯噪聲信道）了解信道容量/容量代價函數(shù)在研究通信系統(tǒng)中的作用理解香農(nóng)第一定理又稱無噪信道編碼的物理意義進一步從信息論的角度理解香農(nóng)公式及其用途第二頁，共一百二十四頁，2022年，8月28日概念問題熵熵率無失真信源編碼定理中的作用互信息信道容量信道編碼定理中的作用第三頁，共一百二十四頁，2022年，8月28日回顧－互信息函數(shù)的性質(zhì)1互信息與信道輸入概率分布的關(guān)系性質(zhì)1：I(X;Y)是信道輸入概率分布p(x)的上凸函數(shù).信道第四頁，共一百二十四頁，2022年，8月28日回顧－互信息函數(shù)的性質(zhì)2互信息與信道轉(zhuǎn)移概率分布的關(guān)系性質(zhì)2：I(X;Y)是信道轉(zhuǎn)移概率分布p(y/x)的下凹函數(shù).信道1信道2信道第五頁，共一百二十四頁，2022年，8月28日回顧－互信息函數(shù)的性質(zhì)3互信息與信道輸入符號相關(guān)性的關(guān)系

性質(zhì)3:信道的輸入是離散無記憶的,即：則：第六頁，共一百二十四頁，2022年，8月28日回顧－互信息函數(shù)的性質(zhì)4

互信息與信道輸入符號相關(guān)性的關(guān)系

性質(zhì)4:信道是離散無記憶的,即：則：第七頁，共一百二十四頁，2022年，8月28日回顧－互信息函數(shù)的性質(zhì)5性質(zhì)3、性質(zhì)4的推論：信道的輸入和信道本身都是離散無記憶的第八頁，共一百二十四頁，2022年，8月28日信息論對信道研究的內(nèi)容信道的建模：用恰當(dāng)?shù)妮斎?輸出兩個隨機過程來描述信道容量不同條件下充分利用信道容量的各種辦法什么是信道？信道的作用研究信道的目的§5.1:概述－1第九頁，共一百二十四頁，2022年，8月28日§5.1:概述－2什么是信道？ 信道是傳送信息的載體——信號所通過的通道。 信息是抽象的，信道則是具體的。比如：二人對話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽收音機，收、發(fā)間的空間就是信道。第十頁，共一百二十四頁，2022年，8月28日§5.1:概述－3信道的作用 在信息系統(tǒng)中信道主要用于傳輸與存儲信息，而在通信系統(tǒng)中則主要用于傳輸。信道傳輸信息的速率：與物理信道本身的特性、載荷信息的信號形式和信源輸出信號的統(tǒng)計特性有關(guān)。信道容量研究內(nèi)容：在什么條件下，通過信道的信息量最大。第十一頁，共一百二十四頁，2022年，8月28日§5.1:概述－4研究信道的目的實現(xiàn)信息傳輸?shù)挠行院涂煽啃杂行裕撼浞掷眯诺廊萘浚箓鬏數(shù)男畔⒘勘M可能大可靠性：通過信道編碼降低誤碼率 結(jié)合通信系統(tǒng)研究信道，主要是為了描述、度量、分析不同類型信道，計算其容量，即極限傳輸能力，并分析其特性。通信技術(shù)研究－－信號在信道中傳輸?shù)倪^程所遵循的物理規(guī)律，即傳輸特性信息論研究－－信息的傳輸問題（假定傳輸特性已知）第十二頁，共一百二十四頁，2022年，8月28日§5.2:信道的分類與描述信道分類信道描述第十三頁，共一百二十四頁，2022年，8月28日§5.2:信道分類與描述－1信道分類 從工程物理背景——傳輸媒介類型； 從數(shù)學(xué)描述方式——信號與干擾描述方式； 從信道本身的參數(shù)類型——恒參與變參； 從用戶類型——單用戶與多用戶；第十四頁，共一百二十四頁，2022年，8月28日§5.2:信道分類與描述－2第十五頁，共一百二十四頁，2022年，8月28日§5.2:信道分類與描述－3第十六頁，共一百二十四頁，2022年，8月28日§5.2:信道分類與描述－4

信道劃分是人為的，比如信源干擾編碼譯碼信宿傳輸媒介其中：為狹義的傳輸型信道，研究調(diào)制解調(diào)理論或模擬通信時常引用它，為連續(xù)信道；為廣義的傳輸型信道，研究數(shù)字通信、編碼解碼時常引用它，為離散信道；為半離散半連續(xù)的傳輸型信道第十七頁，共一百二十四頁，2022年，8月28日§5.2:信道分類與描述－5第十八頁，共一百二十四頁，2022年，8月28日§5.2:信道分類與描述－6信道描述信道可以引用三組變量來描述：信道輸入概率空間：信道輸出概率空間：信道概率轉(zhuǎn)移矩陣：即：它可簡化為：第十九頁，共一百二十四頁，2022年，8月28日§5.2:信道分類與描述－7其中：

而第二十頁，共一百二十四頁，2022年，8月28日§5.2:信道分類與描述－8當(dāng)K=1時，退化為單個消息（符號）信道；進一步當(dāng)n=m=2時，退化為二進制單個消息信道。若它滿足對稱性，即構(gòu)成最常用的二進制單消息對稱信道BSC：且：輸入輸出第二十一頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量離散無記憶信道及其信道容量一般離散無記憶信道容量的計算離散無記憶信道的信道容量定理對稱的離散無記憶信道容量的計算香農(nóng)第一定理的物理意義第二十二頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-1離散消息序列信道

信道中的記憶現(xiàn)象來源于物理信道中的慣性，如電纜信道中的電感電容、無線信道中電波傳布的衰落現(xiàn)象等。第二十三頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-2信道的任務(wù)

盡可能有效且可靠地傳輸信源的信息離散通信信道X={x1,x2,…,xr}信息流信息流通過特定信道（信道容量和噪聲特性已定）傳輸可靠性信道噪聲信道容量

傳輸有效性第二十四頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-3H(X)H(Y)H(Y|X)H(X|Y)I(X;Y)SourceentropyReceivedinformation噪聲熵信道疑義度（損失熵）Transmittedpartofinformation第二十五頁，共一百二十四頁，2022年，8月28日H(X/Y)—信道疑義度/損失熵。

Y關(guān)于X的后驗不確定度。表示收到變量Y后，對隨機變量X仍然存在的不確定度。代表了在信道中損失的信息。H(X)—X的先驗不確定度/無條件熵。I(X;Y)—收到Y(jié)前、后關(guān)于X的不確定度減少的量。從Y獲得的關(guān)于X的平均信息量。H(Y/X)—噪聲熵。表示發(fā)出隨機變量X后，對隨機變量Y仍然存在的平均不確定度。如果信道中不存在任何噪聲，發(fā)送端和接收端必存在確定的對應(yīng)關(guān)系，發(fā)出X后必能確定對應(yīng)的Y，而現(xiàn)在不能完全確定對應(yīng)的Y，這顯然是由信道噪聲所引起的?！?.3:離散無記憶信道及其信道容量-4第二十六頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-5如果信源熵為H(X)，希望在信道輸出端接收的信息量就是H(X)，由于干擾的存在，一般只能接收到I(X;Y)。信道的信息傳輸率：就是平均互信息R=I(X;Y)。輸出端Y往往只能獲得關(guān)于輸入X的部分信息，這是由于平均互信息性質(zhì)決定的：I(X;Y)≤H(X)。引出數(shù)據(jù)處理定理

信道容量第二十七頁，共一百二十四頁，2022年，8月28日數(shù)據(jù)處理定理串聯(lián)信道數(shù)據(jù)處理定理第二十八頁，共一百二十四頁，2022年，8月28日

串聯(lián)信道在一些實際通信系統(tǒng)中，常常出現(xiàn)串聯(lián)信道。例如微波中繼接力通信就是一種串聯(lián)信道。信宿收到數(shù)據(jù)后再進行數(shù)據(jù)處理，數(shù)據(jù)處理系統(tǒng)可看成一種信道，它與前面?zhèn)鬏敂?shù)據(jù)的信道構(gòu)成串聯(lián)信道。下圖表示兩個單符號離散信道串聯(lián)的情況。信道1P(Y/X)信道2P(Z/Y)第二十九頁，共一百二十四頁，2022年，8月28日

串聯(lián)信道信道1的輸出Y與其輸入X統(tǒng)計相關(guān)，信道2的輸出Z與其輸入Y統(tǒng)計相關(guān)，一般來講，Z與X統(tǒng)計相關(guān)。級聯(lián)的結(jié)構(gòu)決定了Z的取值在給定Y以后與X將不再有關(guān)在概率論中稱XYZ的這種關(guān)系為XYZ組成馬爾科夫鏈。信道1P(Y/X)信道2P(Z/Y)第三十頁，共一百二十四頁，2022年，8月28日

串聯(lián)信道信道1P(Y/X)信道2P(Z/Y)第三十一頁，共一百二十四頁，2022年，8月28日

數(shù)據(jù)處理定理

數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。即I(X;Z)≤I(X;Y)I(X;Z)≤I(Y;Z)第三十二頁，共一百二十四頁，2022年，8月28日結(jié)論：兩級串聯(lián)信道輸入與輸出消息之間的平均互信息量既不會超過第Ⅰ級信道輸入與輸出消息之間的平均互信息量，也不會超過第Ⅱ級信道輸入與輸出消息之間的平均互信息量。當(dāng)對信號/數(shù)據(jù)/消息進行多級處理時，每處理一次，就有可能損失一部分信息，也就是說數(shù)據(jù)處理會把信號/數(shù)據(jù)/消息變成更有用的形式，但是絕不會創(chuàng)造出新的信息。這就是所謂的信息不增原理。

當(dāng)已用某種方式取得Y后，不管怎樣對Y進行處理，所獲得的信息不會超過I(X;Y)。每處理一次，只會使信息量減少，至多不變。也就是說在任何信息流通系統(tǒng)中，最后獲得的信息量，至多是信源提供的信息。一旦在某一過程中丟失了一些信息，以后的系統(tǒng)不管怎樣處理，如果不能接觸到丟失信息的輸入端，就不能再恢復(fù)已丟失的信息。第三十三頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-5I(X;Y)是信源無條件概率p(xi)和信道轉(zhuǎn)移概率p(yj/xi)的二元函數(shù)：

當(dāng)信道特性p(yj/xi)固定后，I(X;Y)隨信源概率分布p(xi)的變化而變化。調(diào)整p(xi)，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，I(X;Y)是p(xi)的上凸函數(shù)，因此總能找到一種概率分布p(xi)（即某一種信源），使信道所能傳送的信息率為最大。

第三十四頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-6

信道容量C：在信道中最大的信息傳輸速率，單位：

比特/信道符號。單位時間的信道容量Ct：若信道平均傳輸一個符號需要t秒鐘，則單位時間的信道容量為Ct實際是信道的最大信息傳輸速率。第三十五頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-7C和Ct都是求平均互信息I(X;Y)的條件極大值問題，當(dāng)輸入信源概率分布p(xi)調(diào)整好以后，C和Ct已與p(xi)無關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計特性有關(guān)；信道容量是完全描述信道特性的參量；信道容量是信道能夠傳送的最大信息量。第三十六頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-8離散無記憶信道及其信道容量由消息序列互信息性質(zhì)對離散無記憶信道，有：（性質(zhì)4）則當(dāng)且僅當(dāng)信源(信道入)無記憶時，“等號”成立（性質(zhì)3、4推論）

第三十七頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-9離散無記憶信道及其信道容量的進一步理解Cmax存在互信息性質(zhì)1，上凸函數(shù)極值存在達到Cmax時的兩個條件：信道輸入（信源）是離散無記憶的信道輸入的概率分布是使I(X,Y)達到最大的分布C的值不是由信源的p(x)決定的，而是由決定的C是信道作為信息傳輸通道的性能度量只有信道輸入（信源）X（x1x2…xn)滿足一定條件時，才能充分利用信道傳輸信息的能力第三十八頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-10一般離散無記憶信道容量的計算思路：將問題轉(zhuǎn)化為：有界閉區(qū)域上求約束極值方法：1、求區(qū)域內(nèi)極值2、求邊界極值3、求前兩者的最大值具體實現(xiàn)：1、簡單情況下直接求解（如單符號信道、對稱信道）2、解方程3、迭代法（見朱雪龍2001版p124頁）第三十九頁，共一百二十四頁，2022年，8月28日信道容量約束條件：求信道容量轉(zhuǎn)化為求對信源概率分布的條件極值。§5.3:離散無記憶信道及其信道容量-11第四十頁，共一百二十四頁，2022年，8月28日解：引入輔助函數(shù)

用拉格朗日乘子法求解§5.3:離散無記憶信道及其信道容量-12第四十一頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-13第四十二頁，共一百二十四頁，2022年，8月28日令則§5.3:離散無記憶信道及其信道容量-14第四十三頁，共一百二十四頁，2022年，8月28日在某些條件下利用這個方法可以計算C：令§5.3:離散無記憶信道及其信道容量-15第四十四頁，共一百二十四頁，2022年，8月28日這是一個含有s個未知數(shù)、由r個方程組成的方程組。當(dāng)r=s，且信道矩陣是可逆矩陣時，該方程組有唯一解。

§5.3:離散無記憶信道及其信道容量-16第四十五頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-17一般離散信道容量的計算步驟（傅祖蕓第二版p107）第四十六頁，共一百二十四頁，2022年，8月28日注意：在第②步信道容量C被求出后，計算并沒有結(jié)束，必須解出相應(yīng)的p(xi)，并確認(rèn)所有的p(xi)≥0時，所求的C才存在。在對I(X;Y)求偏導(dǎo)時，僅限制，并沒有限制p(xi)≥0，所以求出的p(xi)有可能為負(fù)值，此時C就不存在，必須對p(xi)進行調(diào)整，再重新求解C。近年來人們一般采用計算機，運用迭代算法求解?！?.3:離散無記憶信道及其信道容量-18第四十七頁，共一百二十四頁，2022年，8月28日定理：(Kuhn-Tucker條件)設(shè)是定義在N維無窮凸集S則在達到S上極大值的充要條件是：上的可微上凸函數(shù)，設(shè)§5.3:離散無記憶信道及其信道容量-19第四十八頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-20離散無記憶信道的信道容量定理

定理5.1：對前向轉(zhuǎn)移概率矩陣為Q的離散無記憶信道，其輸入字母的概率分布p*能使互信息I(p,Q)取最大值的充要條件是其中：是信源字母ak傳送的平均互信息，C就是這一信道的信道容量。第四十九頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-21是

的平均值。即：但提高

，又使

降低反復(fù)調(diào)整

，使

相等且都等于C定理只給出了可使

的p(x)的充要條件，并無具體分布及C的值，但可以幫助求解簡單情況部分信道的C求解信道容量過程實際信源的概率分布進行調(diào)節(jié)的過程。通過不斷調(diào)節(jié)信源的概率分布，找到信道對應(yīng)的最大信息傳輸速率找到最大的，提高第五十頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-22對稱的離散無記憶信道信道容量對稱的離散無記憶信道矩陣中的每一行都是第一行的重排列；矩陣中的每一列都是第一列的重排列。定理5.2：對于對稱的離散無記憶信道，當(dāng)信道輸入字母為等概率分布時達到信道容量。第五十一頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-23對稱信道第五十二頁，共一百二十四頁，2022年，8月28日對稱信道性質(zhì)

對于對稱信道，當(dāng)信道輸入概率分布為等概分布時，輸出概率分布必為等概分布?！?.3:離散無記憶信道及其信道容量-24第五十三頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-25行對稱信道a1a2b1b2b30.70.10.10.20.70.2a1a2b1b2b30.70.10.10.20.70.2第五十四頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-26BSC信道信道容量的計算a1a2b1b2第五十五頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-27由定理5.2，當(dāng)輸入等概分布時，互信息達到信道容量即：p(a1)=p(a2)=1/2；有：

于是：這里：第五十六頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-28r個輸入s個輸出的對稱離散信道的信道容量：其中是信道矩陣中的任意一行中的元素。第五十七頁，共一百二十四頁，2022年，8月28日若r=s，且對于每一個輸入符號，正確傳輸概率都相等，且錯誤傳輸概率

p

均勻地分配到r-1

個符號，則稱此信道為強對稱信道或均勻信道。§5.3:離散無記憶信道及其信道容量-29強對稱離散信道的信道容量：第五十八頁，共一百二十四頁，2022年，8月28日強對稱信道具備四個特征：

1.矩陣中的每一行都是第一行的排列；(行對稱)

矩陣中的每一列都是第一列的排列。(列對稱)2.信道輸入與輸出消息（符號）數(shù)相等，即r=s。

3.錯誤分布是均勻的：信道矩陣中正確傳輸概率都相等，且錯誤傳輸概率均勻地分配到r-1個符號上。

4.不僅每一行元素之和為1，每一列元素之和也為1。顯然，對稱性的基本條件是1，而2、3、4是加強條件。§5.3:離散無記憶信道及其信道容量-30第五十九頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-31二元刪除信道信道容量的計算a1a2b1b3b2第六十頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-32由定理5.2，當(dāng)輸入等概分布時，互信息達到信道容量即：p(a1)=p(a2)=1/2；有：于是：第六十一頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-33準(zhǔn)對稱離散信道的信道容量：設(shè)信道矩陣可劃分為n個子矩陣，其中Nk是第k個子矩陣中某行元素之和，Mk是第k個子矩陣中某列元素之和。第六十二頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-34第六十三頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-350.51.000.51.0cεbaCa=Cb=a:BSC信道的信道容量曲線

b:二進制刪除信道的信道容量曲線1-ε1-εεε1-ε1-εεε第六十四頁，共一百二十四頁，2022年，8月28日例1、已知信道轉(zhuǎn)移概率矩陣如下，求此信道的信道容量。

Y\X012301/31/31/61/611/61/31/61/3

解：由定理5.2，當(dāng)輸入等概分布時，互信息達到信道容量即：p(a1)=p(a2)=1/2；有：

第六十五頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-36香農(nóng)第一定理（變長無失真信源編碼定理）的物理意義

從信道編碼的角度看，用個碼元表示一個原始信源符號，信道的信息傳輸率為：第六十六頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-37香農(nóng)第一定理（無失真信源編碼定理）的物理意義無噪無損信道的信道容量：C=H(X)=H(Y)=logs再看當(dāng)平均碼長達到極限值時R=logs此時信道的信息傳輸率R＝無噪信道的信道容量C無失真信源編碼的實質(zhì)：對離散信源進行適當(dāng)變換，使變換后新的碼符號信源（信道的輸入信源）盡可能為等概分布，以使新信源的每個碼符號平均所含的信息量達到最大，從而使信道的信息傳輸率R達到信道容量C，實現(xiàn)信源與信道理想的統(tǒng)計匹配。又稱：無噪信道編碼定理若信道的信息傳輸率R不大于信道容量C，總能對信源的輸出進行適當(dāng)?shù)木幋a，使得在無噪無損信道上能無差錯地以最大信息傳輸率C傳輸信息；但要使信道的信息傳輸率R大于C而無差錯地傳輸信息則是不可能的。第六十七頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-38達到信道容量C的時候，輸入字母分布唯一嗎？反例：a1a2b1b2令則輸入任何分布，輸出都達到C又一例：令輸入分布(0.5,0,0.5,0）令輸入分布(0.25,0.25,0.25,0.25）第六十八頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-39輸出字母的唯一性定理：達到信道容量時的輸出分布是唯一的。任何導(dǎo)致這一輸出分布的輸入分布都是最佳分布，可以使互信息達到信道容量。證明見朱雪龍2001版信息論p132頁。例如：對稱信道，達到信道容量時輸出唯一（等概）第六十九頁，共一百二十四頁，2022年，8月28日§5.3:離散無記憶信道及其信道容量-40輸入字母在什么條件下唯一？定理：在達到信道容量時，如果輸入概率分布中具有零概率的字母總數(shù)達到最大，則此時非零概率可被唯一地確定，且非零概率分量的數(shù)目不超過輸出字母的總數(shù)。定理不是說具有最大數(shù)目零概率的最佳分布是唯一的。定理只說明概率分布由同一組包含零的數(shù)字的不同排列構(gòu)成。證明見朱雪龍2001版信息論p134頁。第七十頁，共一百二十四頁，2022年，8月28日§5.4:并聯(lián)信道及其信道容量信道1信道2信道N…..輸入并接信道信道1信道2信道N…..和信道

信道1信道2信道N…..并用信道第七十一頁，共一百二十四頁，2022年，8月28日§5.4:并聯(lián)信道及其信道容量輸入并接信道可以看成一個單輸入多輸出的輸出為信道,其輸入為性質(zhì)：輸入并聯(lián)信道的容量大于任何一個單獨的信道，小于maxH(X)。第七十二頁，共一百二十四頁，2022年，8月28日§5.4:并聯(lián)信道及其信道容量思考：N個二元對稱信道輸入并聯(lián)之后的信道容量，N越大，CN越大，越接近H(X)

通信中的分集，就是典型的輸入并聯(lián)信道第七十三頁，共一百二十四頁，2022年，8月28日§5.4:并聯(lián)信道及其信道容量并用信道是多輸入，多輸出。X和Y由彼此獨立的N個信道傳輸。性質(zhì)并用信道的容量通信中的復(fù)用，就是典型的并用信道第七十四頁，共一百二十四頁，2022年，8月28日§5.4:并聯(lián)信道及其信道容量現(xiàn)代通信技術(shù)：MIMO和CMIMO(CooperativeMIMO

)SISO

單入單出“真正的自利行為就是協(xié)作”——《無線網(wǎng)絡(luò)的協(xié)作》,FrankTxRxSISOTxRxMIMOTx1TxNRx1RxNCMIMOMIMO多入多出CMIMO

節(jié)點通過協(xié)同形成MIMO第七十五頁，共一百二十四頁，2022年，8月28日§5.4:并聯(lián)信道及其信道容量和信道隨機應(yīng)用N個信道中的一個，構(gòu)成一輸入/一輸出信道。性質(zhì)：和信道的容量是，

Vision一種新型的通信技術(shù)——機會通信（OpportunisticComm.）信道的使用概率第七十六頁，共一百二十四頁，2022年，8月28日§5.4:并聯(lián)信道及其信道容量機會通信（DavidTse,2001）衰落是無線信道的固有特征，需要克服但是在無線網(wǎng)絡(luò)中，衰落可能帶來增益BaseStationFadingChannelMobileUser1User2UserN多用戶廣播信道廣播信道容量第七十七頁，共一百二十四頁，2022年，8月28日§5.4:并聯(lián)信道及其信道容量衰落信道為什么會提高容量？在一個多用戶獨立衰落信道里，每一時刻總可能找到一個擁有較好信道的用戶如果總是服務(wù)較好的用戶，總體容量會增加傳統(tǒng)分集技術(shù)的主要目的是改善慢衰落信道中通信的可靠性多用戶分集的作用是增加快衰落信道中總的吞吐量事實上，當(dāng)衰落不足的時候，還可以人為引入衰落制造出隨機波動范圍大的信道，來提高系統(tǒng)總的吞吐量第七十八頁，共一百二十四頁，2022年，8月28日§5.5：連續(xù)信道

連續(xù)信道時間依舊離散但是取值：離散－>連續(xù)引發(fā)的問題離散隨機變量的互信息非負(fù)、有限取I(p,Q)最大值得到離散信道的容量連續(xù)隨機變量互信息非負(fù)，但不一定有限這樣互信息最大值為信道容量的定義就失去了意義第七十九頁，共一百二十四頁，2022年，8月28日§5.5：連續(xù)信道問題出在什么地方？連續(xù)隨機變量的信息量無窮大（無理數(shù)具有無窮多的細(xì)節(jié)）但是實際上我們無法生成信息量為無窮大的變量總存在物理的約束：能量受限b(x)=x2因此，連續(xù)信道輸入輸出互信息的優(yōu)化是在這些約束前提下進行的。定義：設(shè)對于連續(xù)無記憶信道

，有一個函數(shù)

，對每一個輸入序列

。稱

為

的費用。設(shè)隨機矢量

的聯(lián)合分布為

，則平均費用為：第八十頁，共一百二十四頁，2022年，8月28日§5.5:連續(xù)信道及其容量－1

回顧連續(xù)隨機變量的熵－微分熵連續(xù)隨機變量最大熵分布－－依賴于約束條件峰值功率受限條件下－－均勻分布的隨機變量具有最大微分熵平均功率受限條件下－－高斯分布的隨機變量具有最大微分熵連續(xù)信道的輸入所取的值域不足以完全表示對信道輸入的限制還有約束條件C＝max[h(Y)-h(n)]C取決于信道的統(tǒng)計特性（加性信道即噪聲的統(tǒng)計特性）輸入隨機矢量X所受的限制條件（一般考慮平均功率受限時）C的單位為：比特/N個自由度連續(xù)信道信道容量－－容量費用函數(shù)描述第八十一頁，共一百二十四頁，2022年，8月28日§5.5:連續(xù)信道及其容量－2研究連續(xù)信道容量的方法基本、簡單的信道：無記憶加性噪聲信道信道噪聲為高斯時何種分布輸入能達到對信道的充分利用信道輸入為高斯時何種分布噪聲對信道傳輸信息影響最大第八十二頁，共一百二十四頁，2022年，8月28日§5.5:連續(xù)信道及其容量－3一些基礎(chǔ)知識：對于加性信道Y=X+NX：信道輸入N：信道噪聲Y：信道輸出信道的轉(zhuǎn)移概率分布函數(shù)就是N的分布函數(shù)b(x)是信道輸入為x時對應(yīng)的費用如果X、Y、N中有兩個是高斯分布，另一個也是高斯分布的高斯分布的隨機變量的微分熵h(XG)＝高斯分布的連續(xù)隨機變量的微分熵h(XG)的值只與方差有關(guān)，與均值無關(guān)第八十三頁，共一百二十四頁，2022年，8月28日§5.5:連續(xù)信道及其容量－4在費用約束的前提下，求輸入輸出互信息的最大值，得到容量-費用函數(shù)。連續(xù)信道的“容量-費用函數(shù)”定義：設(shè)連續(xù)信道的N維聯(lián)合輸入輸出分別為X和Y，則其容量-費用函數(shù)定義為：若存在最大值時第八十四頁，共一百二十四頁，2022年，8月28日§5.5:連續(xù)信道及其容量－5當(dāng)輸入和信道無記憶穩(wěn)恒時，因為第八十五頁，共一百二十四頁，2022年，8月28日§5.5:連續(xù)信道及其容量－6無記憶加性噪聲信道的信道容量費用函數(shù)無記憶加性噪聲信道的前向轉(zhuǎn)移概率密度函數(shù)就是噪聲N的概率密度函數(shù)，即：其中

第八十六頁，共一百二十四頁，2022年，8月28日§5.5:連續(xù)信道及其容量－7于是有：取信道輸入信號的平均功率E(X2)作為信息傳輸?shù)馁M用則有：無記憶加性噪聲信道的信道容量費用函數(shù)為：因h(N)與px(x)無關(guān)，求解C(PS)問題轉(zhuǎn)化為只需對h(Y)進行第八十七頁，共一百二十四頁，2022年，8月28日§5.5:連續(xù)信道及其容量－8無記憶加性高斯噪聲信道的信道容量費用函數(shù)（朱雪龍p139）條件：NZG問題：求使C(PS)最大時的X的概密分布函數(shù)求解步驟：因為：要使C(PS)最大使h(Y)最大在PS約束條件下，當(dāng)YYG時h(Y)達到最大XXG，則：第八十八頁，共一百二十四頁，2022年，8月28日§5.5:連續(xù)信道及其容量－9結(jié)論：當(dāng)信道輸入信號為高斯分布信號時，無記憶加性高斯噪聲信道的信道容量可以得到充分利用。換句話說：在無記憶加性高斯噪聲信道中傳輸信息時，高斯分布的信號是最有效的-即在同樣信號功率下，信道可以傳輸最多的信息第八十九頁，共一百二十四頁，2022年，8月28日§5.5:連續(xù)信道及其容量－10無記憶加性噪聲信道對高斯分布的輸入信號的影響條件：XXG，，約束條件PS問題：考察何種概密分布的N使I(X;Y)最小求解步驟：因為而當(dāng)NNG時，YYG此時：可以證明：朱雪龍p140頁結(jié)論：無記憶加性高斯噪聲信道對高斯分布的輸入信號具有最大的破壞力。第九十頁，共一百二十四頁，2022年，8月28日高斯分布特性：-作為信道輸入信號的概密分布時，有利于信息傳輸-作為加性信道噪聲概密分布時，不利于信息傳輸-共同說明高斯分布的隨機變量具有最大微分熵第九十一頁，共一百二十四頁，2022年，8月28日§5.5:連續(xù)信道及其容量－11一般無記憶加性噪聲信道的信道容量費用函數(shù)-無法給出解析形式的解，但可以給出其上下界表達式-下界：根據(jù)前面的討論很容易得-上界：當(dāng)輸入信號功率限制在PS以下，噪聲功率限制在PN以下則輸出信號功率將<=PS＋PN。此時所以有：第九十二頁，共一百二十四頁，2022年，8月28日§5.5連續(xù)信道及其容量－12

輸入輸出均正態(tài)輸入為正態(tài)分布最佳輸入分布第九十三頁，共一百二十四頁，2022年，8月28日§5.5連續(xù)信道及其容量－13無記憶加性高斯噪聲信道的并聯(lián)

信道1信道2信道N…..并用信道等號是在各分量統(tǒng)計獨立時才成立第九十四頁，共一百二十四頁，2022年，8月28日§5.5連續(xù)信道及其容量－14這又是凸函數(shù)在約束下求極值的問題若極值不發(fā)生在邊緣上，第九十五頁，共一百二十四頁，2022年，8月28日§5.5連續(xù)信道及其容量－15若極值發(fā)生在邊緣上，注水功率PN1PS1PN2PS2PS3PS4PS5PN3PN4PN5PN6PN7PN8PN9PS7PS9功率第九十六頁，共一百二十四頁，2022年，8月28日§5.6:模擬信道及其容量模擬信道：在時間和取值上都連續(xù)的信道光纖，電纜，電磁波空間傳播我們僅研究非常特殊的一類模擬信道：AWGN帶寬有限：W加性噪聲：y(t)=x(t)+z(t)白色噪聲：平穩(wěn)遍歷隨機過程，功率譜密度均勻分布于整個頻域，即功率譜密度（單位帶寬噪聲功率）為一常數(shù)高斯噪聲：平穩(wěn)遍歷隨機過程，瞬時值的概率密度函數(shù)服從高斯分布第九十七頁，共一百二十四頁，2022年，8月28日§5.6:模擬信道及其容量－4廣義平穩(wěn)的限頻(F)、限時(T)、限功率(P)白色高斯信道及其容量C

對限頻(F)、限時(T)的連續(xù)過程信源可展成下列取樣函數(shù)序列：參見傅祖蕓第二版p140頁現(xiàn)將2FT個樣值序列通過一個功率受限(P)的白色高斯信道并求其容量值C。第九十八頁，共一百二十四頁，2022年，8月28日§5.6:模擬信道及其容量Shannon公式定理5.3：滿足限頻(F)、限時(T)的廣義平穩(wěn)隨機過程信源X(t,f)，當(dāng)它通過一個功率受限(P)的白色高斯信道，其容量為：這就是著名的Shannon公式。則單位時間T=1時的容量為：第九十九頁，共一百二十四頁，2022年，8月28日§5.6:模擬信道及其容量證明：前面已求得單個連續(xù)消息（第k個）通過高斯信道以后的容量值為：

同時，在消息序列的互信息中已證明當(dāng)信源、信道滿足無記憶時，下列結(jié)論成立：由信道容量定義，有第一百頁，共一百二十四頁，2022年，8月28日例2、在圖片傳輸中，每幀約為2.25×106個像素，為了能很好地重現(xiàn)圖像，需分16個亮度電平，并假設(shè)亮度電平等概率分布。試計算每秒鐘傳送30幀圖片所需信道的帶寬(信噪功率比為30dB)。高斯白噪聲加性信道單位時間的信道容量：Ct=2.25×106×log16×30=2.7×108（bit/s)Ct=Flog(1+S/N)

而：10lg(S/N)=30dBS/N=103F=(2.7×108)/log(1+103)≈2.7×107

(HZ)第一百零一頁，共一百二十四頁，2022年，8月28日§5.6:模擬信道及其容量它給出了在信道中傳輸信號的三個物理參量：F、T、之間的辯證關(guān)系。Shannon公式的物理意義TtFf三者的乘積是一個“可塑”性體積（三維）。三者間可以互換。第一百零二頁，共一百二十四頁，2022年，8月28日§5.6:模擬信道及其容量－

信道與信息傳輸要求的匹配1預(yù)處理器（Ⅰ）限帶加性白色高斯噪聲信道（Ⅱ）后處理器（Ⅲ）第一百零三頁，共一百二十四頁，2022年，8月28日§5.6:模擬信道及其容量－

信道與信息傳輸要求的匹配2在相同頻帶下用時間換取信噪比若則重傳、弱信號累積接收基于這一原理。第一百零四頁，共一百二十四頁，2022年，8月28日§5.6:模擬信道及其容量－

信道與信息傳輸要求的匹配3用時間換取頻帶或用頻帶換取時間擴頻－－縮短時間：通信電子對抗、潛艇通信窄帶－－增加時間：電話線路傳準(zhǔn)活動圖象第一百零五頁，共一百二十四頁，2022年，8月28日§5.6:模擬信道及其容量－

信道與信息傳輸要求的匹配4用頻帶換取信噪比：擴頻通信原理。當(dāng)稱為擴頻因子或或擴頻系數(shù)其中

－雷達信號設(shè)計中的線性調(diào)頻脈沖，模擬通信中，調(diào)頻優(yōu)于調(diào)幅，且頻帶越寬，抗干擾性就越強。數(shù)字通信中，偽碼(PN)直擴與時頻編碼等，帶寬越寬，擴頻增益越大，抗干擾性就越強。深空通信中（功率受能源限制，頻譜資源相對豐富），采用兩電平數(shù)字通信方式有效利用信道容量。第一百零六頁，共一百二十四頁，2022年，8月28日

用信噪比換取頻帶多進制多電平多維星座調(diào)制方式的基本原理衛(wèi)星、數(shù)字微波中常采用的有：多電平調(diào)制、多相調(diào)制、高維星座調(diào)制(M-QAM)等等，它利用高質(zhì)量信道中富裕的信噪比換取頻帶，以提高傳輸有效性。§5.6:模擬信道及其容量－

信道與信息傳輸要求的匹配5第一百零七頁，共一百二十四頁，2022年，8月28日在增加信道通帶的寬度而不改變信號的平均功率的情況下增大信道容量的極限可實現(xiàn)區(qū)第一百零八頁，共一百二十四頁，2022年，8月28日在增加信號的平均功率而不改變信道通帶的寬度的情況下增大信道容量的極限因為所以，隨著Ps的增長，Ct的增長速度不斷減少，直至趨于零。可實現(xiàn)區(qū)第一百零九頁，共一百二十四頁，2022年，8月28日

－Shannon公式另一種理解：設(shè)為噪聲密度，即單位帶寬的噪聲強度；結(jié)論：Eb/N0的最小值是在帶寬趨于無限時達到的，這一最小值稱為香濃限，它表明傳輸1bit信息所需要的能量至少為0.693N0則：設(shè)Eb

表示同樣噪聲強度下傳輸1bit信息所需的最小能量，要使信道的傳輸速率達到信道容量Ct,則至少需要的平均功率PS=CtEb，第一百一十頁，共一百二十四頁，2022年，8月28日§5.6:模擬信道及其容量－Shannon公式5討論信道容量及容量費用函數(shù)的目的：不是為了實現(xiàn)可靠傳輸（這是信道編碼的目的）只是為了實現(xiàn)最大限度達到信道的信息傳輸能力關(guān)于Shannon公式條件是加性高斯白噪聲（AWGN)信道下給出的是S、N、F與信道容量（最大信息傳輸速率）的關(guān)系沒有給出S、N、F與差錯概率的關(guān)系第一百一十一頁，共一百二十四頁，2022年，8月28日信道最大數(shù)據(jù)傳輸率：Nyquist&ShannonM

最大數(shù)據(jù)率(Ct)26000bps412000bps818000bps1624000bps3230000bps6436000bpsCt=2Flog2MF=帶寬M=信號電平級數(shù)話音級線路的信道容量計算(3000Hz)Nyquist公式為估算已知帶寬信道的最高速率提供了依據(jù)。Nyquist公式：用于理想低通信道第一百一十二頁，共一百二十四頁，2022年，8月28日非理想信道實際的信道上存在三類損耗：衰減、延遲、噪聲。衰減信道的損耗引起信號強度減弱，導(dǎo)致信噪比S/N降低。延遲信號中的各種頻率成分在信道上的延遲時間各不相同，在接收端會產(chǎn)生信號畸變。噪聲

熱噪聲：由導(dǎo)體內(nèi)的熱擾動引起，又稱為白噪聲。串?dāng)_：信道間產(chǎn)生的不必要的耦合。例：多對雙絞線脈沖噪聲：非連續(xù)、隨機、振幅較大。多由外部電磁干擾造成（閃電、大功率電機啟動等）。噪聲將破壞信號，產(chǎn)生誤碼。持續(xù)時間0.01s的干擾可以破壞約560個比特（56Kbps）。第一百一十三頁，共一百二十四頁，2022年，8月28日Shannel公式：高斯噪聲干擾信道