第3章信道與信道容量

第3章信道與信道容量吳曉青目錄3.1信道分類(lèi)3.2單符號(hào)離散信道及其容量

3.2.1數(shù)學(xué)模型

3.2.2信道容量

3.2.3離散信道容量的迭代算法3.3離散序列信道及其容量

3.4信源與信道的匹配3.5連續(xù)信道及其容量

3.5.1連續(xù)單符號(hào)加性信道

3.5.2多維無(wú)記憶加性連續(xù)信道

3.5.3加性高斯白噪聲波形信道信道：信息傳輸?shù)耐ǖ?，是傳輸信息的載體，其主要任務(wù)是傳輸或者存儲(chǔ)信息。通信的本質(zhì)：就是通過(guò)信道傳輸信息，實(shí)現(xiàn)不同地點(diǎn)之間或者不同時(shí)間的信息交流。主要研究?jī)?nèi)容：在理論上能夠傳輸或者存儲(chǔ)的最大信息量，即信道容量。3.1信道分類(lèi)

信息論研究信道，一般認(rèn)為已經(jīng)知道信道的傳輸特性，即輸入、輸出之間的統(tǒng)計(jì)依賴關(guān)系已知。離散無(wú)記憶信道模型根據(jù)統(tǒng)計(jì)特性分類(lèi)：恒參信道：信道的統(tǒng)計(jì)特性不隨時(shí)間而變化。比如，幅度衰減倍數(shù)等參數(shù)恒定。如電話線、光纖、高斯白噪聲信道、衛(wèi)星信道一般視為恒參信道。隨參信道：信道的統(tǒng)計(jì)特性隨時(shí)間而變化。統(tǒng)計(jì)特性隨著環(huán)境、溫度、濕度等參數(shù)而變化。如短波信道隨電離層變化而變化；微波信道，移動(dòng)電話在高速列車(chē)上可能因多普勒效應(yīng)發(fā)生頻移等。根據(jù)信道用戶量多少分類(lèi)：?jiǎn)斡脩粜诺溃阂卜Q兩端信道，該信道只有一個(gè)輸入端和一個(gè)輸出端，而且只能進(jìn)行單方向的通信。點(diǎn)對(duì)點(diǎn)應(yīng)用。

多用戶信道：也稱多端信道，輸入端或者輸出端至少有一端具有兩個(gè)或者兩個(gè)以上用戶，并且可以實(shí)現(xiàn)雙向通信。目前大多數(shù)信道都是多端信道。廣播信道、通信網(wǎng)絡(luò)等。根據(jù)輸入、輸出的取值特性分類(lèi)：離散信道：也稱為數(shù)字信道，該類(lèi)信道中輸入空間、輸出空間均為離散事件集合，集合中事件數(shù)量是有限的，或者有限可數(shù)的，隨機(jī)變量取值都是離散的。連續(xù)信道：也稱為模擬信道，輸入空間、輸出空間均為連續(xù)事件集合，集合中事件的數(shù)量是無(wú)限的、不可數(shù)的，即隨機(jī)變量的取值數(shù)量是無(wú)限的、或者不可數(shù)的。半離散半連續(xù)信道：輸入空間、輸出空間一個(gè)為離散事件集合，而另一個(gè)則為連續(xù)事件集合，即輸入、輸出隨機(jī)變量一個(gè)是離散的，另一個(gè)是連續(xù)的。波形信道：也稱為時(shí)間連續(xù)信道，信道輸入、輸出都是時(shí)間的函數(shù)，而且隨機(jī)變量的取值都取自連續(xù)集合，且在時(shí)間上的取值是連續(xù)的。根據(jù)信道中信號(hào)所受噪聲的統(tǒng)計(jì)特性分類(lèi)：

隨機(jī)差錯(cuò)信道：信道中傳輸碼元所遭受的噪聲是隨機(jī)的、獨(dú)立的，這種噪聲相互之間不具有關(guān)聯(lián)性，碼元錯(cuò)誤不會(huì)成串出現(xiàn)，最具有代表性的是高斯白噪聲信道。（無(wú)記憶信道）

突發(fā)差錯(cuò)信道：信道中噪聲或者干擾對(duì)傳輸碼元的影響具有關(guān)聯(lián)性，相互之間并不獨(dú)立，從而使得碼元錯(cuò)誤往往成串出現(xiàn)，常有的如衰落信道、碼間干擾信道。在實(shí)際中這種信道經(jīng)常出現(xiàn)，如移動(dòng)通信的信道、光盤(pán)存儲(chǔ)等都屬于該類(lèi)信道。（有記憶信道）3.2單符號(hào)離散信道及其容量

3.2.1數(shù)學(xué)模型單符號(hào)無(wú)記憶信道：信道的輸入符號(hào)之間、輸出符號(hào)之間都不存在關(guān)聯(lián)性，即無(wú)記憶的，此時(shí)輸入、輸出可以看作是單符號(hào)的，稱這類(lèi)信道為單維信道或者單符號(hào)信道。單符號(hào)離散無(wú)記憶信道進(jìn)一步，如果信道的輸入、輸出隨機(jī)變量都是離散的，則該信道為單符號(hào)離散無(wú)記憶信道。輸入符號(hào)集合X、輸出符號(hào)集合Y內(nèi)部不存在關(guān)聯(lián)性，集合X和集合Y之間有關(guān)聯(lián)。

離散無(wú)記憶信道模型條件轉(zhuǎn)移概率用來(lái)描述信道特性。輸入x=ai，輸出y=bj對(duì)應(yīng)的條件轉(zhuǎn)移概率為信道轉(zhuǎn)移矩陣用矩陣來(lái)表示信道輸入、輸出符號(hào)之間的條件轉(zhuǎn)移關(guān)系：又稱為條件轉(zhuǎn)移矩陣或者信道轉(zhuǎn)移矩陣。條件轉(zhuǎn)移矩陣是一個(gè)r×s的矩陣，當(dāng)輸入、輸出集合的元素?cái)?shù)量相等(r=s)時(shí)，是一個(gè)方陣。

信道的條件轉(zhuǎn)移概率p(bj|ai)通常稱為前向概率，表示在輸入為ai時(shí)，通過(guò)信道后接收為bj的概率，描述了信道噪聲的特性。p(ai|bj)稱為后向概率，表示當(dāng)接收符號(hào)為bj時(shí)，信道輸入為ai的概率，所以也稱為后驗(yàn)概率。

后驗(yàn)概率求法前向概率、后驗(yàn)概率由公式由公式3.2.2信道容量

信道的信息傳輸率R含義：1、表示在單符號(hào)離散信道中，平均每個(gè)符號(hào)傳送的信息量。2、由于信道中存在干擾，信道輸出端接收的符號(hào)與輸入符號(hào)之間并不是一一對(duì)應(yīng)的;從信息傳輸?shù)慕嵌榷?，信道輸入符?hào)X所攜帶的平均信息量H(X)并不等于信道輸出端接收到的信息量H(Y)；3、信道的干擾或者噪聲總是有限的，從統(tǒng)計(jì)角度而言，總有部分信息能夠準(zhǔn)確傳輸。信息傳輸速率t:傳輸一個(gè)符號(hào)所需時(shí)間

的單位：bit/符號(hào)÷s/符號(hào)=bit/s定義3.1設(shè)某信道的平均互信息量為I(X;Y)，信道輸入符號(hào)的先驗(yàn)概率為p(x)，該信道的信道容量C定義為上述的極值問(wèn)題實(shí)際是有約束條件的，先驗(yàn)概率分布應(yīng)當(dāng)滿足下列條件

對(duì)于給定信道，前向概率p(x)是一定的，所以信道容量就是在信道前向概率一定的情況下，尋找某種先驗(yàn)概率分布，從而使得平均互信息量最大，這種先驗(yàn)分布概率稱為最佳分布。幾點(diǎn)討論：1、對(duì)于給定信道最佳分布總是存在的。如果信道輸入滿足最佳分布，信息傳輸率最大，即達(dá)到信息容量C；如果信道輸入的先驗(yàn)分布不是最佳分布，那么信息傳輸率不能夠達(dá)到信息容量。2、信道傳輸?shù)男畔⒘縍必須小于信道容量C，否則傳輸過(guò)程中會(huì)造成信息損失，出現(xiàn)錯(cuò)誤；如果R<C成立，可以通過(guò)信道編碼方法保證信息能夠幾乎無(wú)失真地傳送到接收端。幾種特殊信道的信道容量1．無(wú)干擾離散信道理想信道。根據(jù)信道輸入符號(hào)X與信道輸出符號(hào)Y之間的關(guān)系，可以分為下列幾種：（1）無(wú)噪無(wú)損信道的信道容量該信道的輸入、輸出集合符號(hào)數(shù)量相等，即r=s，此時(shí)輸入X與輸出Y之間是一一對(duì)應(yīng)的。對(duì)于給定ai，由于只有一個(gè)為1，其余都為0，所以可得信道容量（2）無(wú)噪有損信道的信道容量信道輸出符號(hào)Y集合的數(shù)量小于信道輸入符號(hào)X集合的數(shù)量，即r>s，形成多對(duì)一的映射關(guān)系，可得：信道容量此時(shí)使得最佳分布不唯一，滿足上述條件即可。無(wú)噪有損信道矩陣特點(diǎn)每行只有一個(gè)元素為1，其余元素都為0。

（3）有噪無(wú)損信道信道輸出符號(hào)Y集合的數(shù)量大于信道輸入符號(hào)X集合的數(shù)量，即r<s，形成一對(duì)多的映射關(guān)系，可得：信道容量輸入符號(hào)分布等概時(shí)，即I(X;Y)最大，達(dá)到信道容量信道概率轉(zhuǎn)移矩陣中每列只有一個(gè)非零元素有噪無(wú)損信道矩陣特點(diǎn)2．對(duì)稱離散信道的信道容量定義3.2

如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，則稱信道關(guān)于輸入是對(duì)稱的，這種信道稱為輸入對(duì)稱離散信道。矩陣中第二行的元素與第一行的元素完全相同，所以該信道為輸入對(duì)稱的。由定義：假設(shè)轉(zhuǎn)移矩陣首行元素為(p1,p2,…pr)，則有輸入對(duì)稱信道的容量為所以輸入對(duì)稱信道的容量就是找到一種分布，使得信道輸出的熵最大。求該信道的容量C解：設(shè)信道輸入的概率空間為信道輸出的概率分布為例3.1信道的轉(zhuǎn)移矩陣為取得極值的條件為解上述方程，可以得到取得極值的條件為p=0.5，即當(dāng)信道輸入為等概率分布時(shí)，取得最大值，所以比特/符號(hào)比特/符號(hào)比特/符號(hào)顯然,，所以，當(dāng)信道只是輸入對(duì)稱時(shí),應(yīng)當(dāng)首先假設(shè)信道輸入分布，然后解決極值問(wèn)題。信道容量不能夠簡(jiǎn)單認(rèn)為是定義3.3如果信道轉(zhuǎn)移概率矩陣中所有列矢量都是第一列的某種置換，則稱信道關(guān)于輸出是對(duì)稱的，這種信道稱為輸出對(duì)稱離散信道。如果信道是輸出對(duì)稱的，那么當(dāng)信道輸入符號(hào)為等概率分布時(shí)，信道輸出也是等概率分布的。

當(dāng)信道輸出對(duì)稱時(shí)為常數(shù)輸入等概率分布時(shí)

，輸出由于信道轉(zhuǎn)移矩陣是已知的，可以使用下列公式

只要能夠求出使得上式取得最小值的信道輸入概率分布，即可求出信道容量。定義3.4如果信道轉(zhuǎn)移矩陣按列可以劃分為幾個(gè)互不相交的子集，每個(gè)子矩陣滿足下列性質(zhì)：(1)每行都是第一行的某種置換；(2)每列都是第一列的某種置換；則稱該信道為準(zhǔn)對(duì)稱信道。顯然，準(zhǔn)對(duì)稱信道是輸入對(duì)稱的。特別地，當(dāng)這種劃分只包含一個(gè)矩陣，該信道稱為對(duì)稱信道，此時(shí)信道既是輸入對(duì)稱的，也是輸出對(duì)稱的。因?yàn)檩斎雽?duì)稱，有

且滿足H(Y|X)與信道輸入的分布無(wú)關(guān)，只與條件概率分布有關(guān)，所以對(duì)稱信道容量計(jì)算對(duì)稱信道的信道容量為：對(duì)稱信道最佳分布，信道輸入應(yīng)當(dāng)滿足等概率分布。求信道容量C。解：觀察信道轉(zhuǎn)移矩陣可知，矩陣的第二行是第一行的置換，每一列都是第一列的置換，所以信道是對(duì)稱的，所以信道容量為例3.2設(shè)某信道轉(zhuǎn)移矩陣為比特/符號(hào)定理3.1準(zhǔn)對(duì)稱離散信道容量在信道輸入為等概率分布時(shí)達(dá)到。例3.4設(shè)某信道的轉(zhuǎn)移矩陣為求其信道容量。解：從該信道轉(zhuǎn)移矩陣可以看出，該信道是一個(gè)準(zhǔn)對(duì)稱信道，可以將之分解為兩個(gè)互不相交的子集，而每個(gè)子集都是對(duì)稱信道形式，對(duì)應(yīng)參數(shù)分別為

行元素之和列元素之和根據(jù)準(zhǔn)對(duì)稱離散信道的信道容量計(jì)算公式求解

特別地，如果p＝0，則信道轉(zhuǎn)移矩陣為該信道即二元純對(duì)稱刪除信道，其信道容量為比特/符號(hào)對(duì)應(yīng)的參數(shù)分別為例3.5信道轉(zhuǎn)移矩陣為求信道容量C。解：通過(guò)觀測(cè)可知，該信道是準(zhǔn)對(duì)稱信道，可以分解為三個(gè)互不相交的子集，分別為，，，，，，，所以信道容量為

比特/符號(hào)模K加性噪聲信道的信道容量DMC的輸入為X，X的所有事件為｛0,1,2…K-1}DMC的輸出為Y，Y的所有事件為｛0,1,2…K-1}DMC的輸入為Z，Z的所有事件為｛0,1,2…K-1}X與Z相互獨(dú)立，求信道容量C。輸入輸出干擾k-=0列坐標(biāo)行坐標(biāo)3．一般離散信道的容量符號(hào)數(shù)量較少信道容量的計(jì)算：首先假設(shè)信道的輸入概率分布，根據(jù)信道容量的定義和輸入概率分布的約束條件，直接求解極值問(wèn)題即可得到最佳分布；然后根據(jù)最佳分布計(jì)算信道輸入、輸出之間的平均互信息量，從而得到信道容量如果信道輸入、輸出。例3.6信道轉(zhuǎn)移矩陣為

求信道輸入最佳分布和信道容量。解：觀察信道轉(zhuǎn)移矩陣可知，該信道不是對(duì)稱，信道的輸入輸出符號(hào)數(shù)量都為2，假設(shè)信道輸入符號(hào)的概率分別為p,1-p求得：平均互信息量C=0.415比特/符號(hào)從該例可以看出，1、即使是簡(jiǎn)單的非對(duì)稱二元信道，其最佳分布的求解也十分復(fù)雜。2、所以一般離散信道的信道容量的求解通過(guò)計(jì)算機(jī)求解。一般離散信道達(dá)到信道容量時(shí)，輸入概率分布應(yīng)滿足的定理定理3.2設(shè)有一般離散信道，它有r個(gè)輸入符號(hào)，s個(gè)輸出符號(hào)，其平均互信息I(X;Y)達(dá)到極大值（即等于信道容量）的充要條件是輸入概率分布p(x)滿足：常數(shù)C就是所求的信道容量對(duì)所有的的ai對(duì)所有的的ai上述定理的幾點(diǎn)討論1、上述定理只是給出了達(dá)到信道容量時(shí)，信道輸入符號(hào)分布的充要條件；2、不能夠給出信道輸入的最佳概率分布，也沒(méi)有給出信道容量的計(jì)算公式；3、達(dá)到信道容量的最佳分布一般不是唯一的，只要輸入分布滿足概率的約束條件，并且使得達(dá)到最大值即可。4、一般情況下，根據(jù)上述定理求解信道容量和信道輸入的最佳概率分布還是十分復(fù)雜的。但是對(duì)于某些特殊信道，可以使用上述定理求解信道容量。

可逆矩陣信道容量假定所有輸入字母的概率為Qk,則輸出概率分布由可得即：令：得：可看成是有J個(gè)未知數(shù)的線性方程組。由假設(shè)P是非奇異矩陣，故線性方程組有唯一解。令｛｝為其解，由又可得特別注意Qk>0,對(duì)上面的解進(jìn)行驗(yàn)證。計(jì)算，計(jì)算Qk,解方程組驗(yàn)證。若Qk>0,則所得到的解釋正確的。否則滿足條件的解在邊界上，令某個(gè)Qk=0,再進(jìn)行試解。特別，J>K多解，有時(shí)要令多個(gè)Qk為0進(jìn)行試解。例題：DMC信道轉(zhuǎn)移矩陣為試求信道容量C。根據(jù)，列方程組得從而根據(jù)求得再根據(jù)得到方程組可得，輸入分布經(jīng)驗(yàn)證，Qk>0,因此結(jié)果正確。C=log5-1最佳分布為例3.7設(shè)某信道轉(zhuǎn)移矩陣為求該信道的容量和信道輸入的最佳概率分布。解：該信道不是對(duì)稱信道，所以不能直接使用對(duì)稱信道計(jì)算其信道容量。但是通過(guò)觀察發(fā)現(xiàn)，如果信道輸入符號(hào)的概率p(a2)=0，該信道就是一個(gè)二元純對(duì)稱刪除信道。這樣就可以假設(shè)然后檢查是否滿足上述定理的條件，如果滿足就可以計(jì)算出信道容量。首先根據(jù)假設(shè)求出相應(yīng)的p(bj)，

然后計(jì)算互信息量顯然滿足定理3.2的條件，所以信道容量為對(duì)應(yīng)的信道輸入最佳概率分布為。3.2.3離散信道容量的迭代算法

基本思想：設(shè)后驗(yàn)概率p(ai|bj)為自變量，并且假設(shè)存在一個(gè)反向試驗(yàn)信道，反向信道的轉(zhuǎn)移矩陣就是由p(ai|bj)構(gòu)成的；這樣平均互信息量就可以表示為信道轉(zhuǎn)移矩陣和反向轉(zhuǎn)移矩陣的函數(shù)，通過(guò)反向矩陣修正信道輸入概率的分布，迭代計(jì)算I(X;Y)直到其趨向平穩(wěn)為止。正向信道

引入反向試驗(yàn)信道后1.以反向轉(zhuǎn)移概率分布為自變量首先假設(shè)信道輸入概率分布保持不變,而是固定的，可以求出時(shí)對(duì)應(yīng)的反向試驗(yàn)信道概率分布構(gòu)造函數(shù)求偏導(dǎo)由即信道容量C可由函數(shù)的雙重最大化得到2.以輸入概率分布p(ai)為自變量構(gòu)造函數(shù)求偏導(dǎo)簡(jiǎn)化得到其中由等式右邊p(ai)是假設(shè)的初始信道輸入概率，等式左邊的p*(ai)是雙重極大化求得的輸入概率。經(jīng)過(guò)整理后得到3.離散無(wú)記憶信道容量的逐步迭代算法任意選擇初始輸入概率分布。一般情況下，往往選擇初始分布為等概率分布繼續(xù)進(jìn)行下一步計(jì)算，令迭代序號(hào)為在第n步迭代中，可得到其中這三個(gè)表達(dá)式就是迭代算法的基本公式?，F(xiàn)在令

和

3.3離散序列信道及其容量信道離散序列信道模型對(duì)于離散無(wú)記憶信道（DMC):離散無(wú)記憶平穩(wěn)信道單符號(hào)離散無(wú)記憶信道轉(zhuǎn)移矩陣輸入取自，輸出取自信道轉(zhuǎn)移矩陣N次擴(kuò)展序列信道轉(zhuǎn)移矩陣輸入序列：輸出序列：轉(zhuǎn)移矩陣無(wú)記憶信道，有下式：一般離散信道的結(jié)論定理3.3離散信道輸入序列，輸出序列，信道轉(zhuǎn)移概率，有（1）如果信道無(wú)記憶（2）如果信道輸入序列無(wú)記憶，（3）上述兩者均無(wú)記憶Xi與Yi表示隨即序列X，Y中第i個(gè)分量無(wú)記憶信道當(dāng)輸入字母統(tǒng)計(jì)獨(dú)立時(shí)，輸出字母y也統(tǒng)計(jì)獨(dú)立，此時(shí)取等號(hào)序列單個(gè)分量傳遞的信道容量?jī)蓚€(gè)序列的互信息量一般離散無(wú)記憶N次擴(kuò)展信道容量平穩(wěn)離散無(wú)記憶N次擴(kuò)展信道容量如果輸入序列符號(hào)都來(lái)自集合X輸出序列符號(hào)都來(lái)自集合Y都服從獨(dú)立同一分布信道平穩(wěn)則：于是信道輸入隨機(jī)序列的變量在同一信道傳輸，則則單符號(hào)平均互信息量序列信道容量等于單符號(hào)信道容量之和例3.7某二元離散無(wú)記憶信道轉(zhuǎn)移矩陣為對(duì)信道進(jìn)行2次擴(kuò)展，擴(kuò)展后的信道轉(zhuǎn)移矩陣為信道轉(zhuǎn)移矩陣元素計(jì)算：信道容量串聯(lián)信道容量信道1轉(zhuǎn)移矩陣P1,信道2轉(zhuǎn)移矩陣P2,串聯(lián)信道轉(zhuǎn)移矩陣P=P1P2平均互信息量信道容量信道1p(y|x)信道2p(z|xy)XZY并聯(lián)信道容量…信道2p(Y2|X2)X2Y2信道1p(Y1|X1)X1Y1信道m(xù)p(Ym|Xm)XmYm1、序列轉(zhuǎn)移概率：2、每個(gè)信道無(wú)記憶，總的信道無(wú)記憶，則3、并聯(lián)信道容量當(dāng)輸入分布最佳時(shí),達(dá)信道容量，類(lèi)似離散無(wú)記憶序列信道3.4信源與信道的匹配信息傳輸速率R等于信源與信宿之間的平均互信息量當(dāng)輸入達(dá)最佳分布時(shí)，稱為信源與信道達(dá)到匹配，否則信道有冗余。

定義3.5設(shè)信道的信息傳輸速率為R，信道容量為I(X,Y)，信道的剩余度定義為信道剩余度＝C-I(X,Y)而相對(duì)剩余度定義為討論：1、離散信道是對(duì)稱的或者接近對(duì)稱時(shí)，信源輸出符號(hào)分布盡可能接近信道要求的等概率分布，實(shí)現(xiàn)信源、信道的匹配。采用信源編碼技術(shù)去除信源符號(hào)之間相關(guān)性，并且經(jīng)過(guò)適當(dāng)?shù)淖儞Q后達(dá)到此要求。2、如果R<C，可以對(duì)信源輸出進(jìn)行適當(dāng)?shù)男诺谰幋a，實(shí)現(xiàn)無(wú)誤差的信息傳輸；如果R>C，實(shí)現(xiàn)無(wú)差錯(cuò)信息傳輸是不可能的。

3.5連續(xù)信道及其容量對(duì)于連續(xù)信源：1、互信息量為信源的熵與條件熵之差2、信道容量定義為互信息量的最大值在形式上，連續(xù)信道的信道容量與離散信道的信道容量是相同的。

3.5.1連續(xù)單符號(hào)加性信道信道輸入x(x∈R)輸出y(y∈R)n連續(xù)單符號(hào)加性信道單符號(hào)連續(xù)信道平均互信息量信道容量根據(jù)限平均功率最大熵定理，輸入X與噪聲n相互獨(dú)立，有x=y-n假設(shè)由高斯分布性質(zhì)，當(dāng)時(shí)，信道容量噪聲的加性噪聲信道容量的上、下界

信噪功率比3.5.2多維無(wú)記憶加性連續(xù)信道加性信道n1y1=x1+n1x1n2y2=x2+n2x2nNyN=xN+nNxN…輸入序列x輸入序列y噪聲n，均值0的高斯序列多維無(wú)記憶加性噪聲信道等價(jià)于N個(gè)獨(dú)立并聯(lián)加性信道輸入、輸出信號(hào)是幅度連續(xù)、時(shí)間離散信道無(wú)記憶，有因?yàn)槭羌有孕诺涝肼暦至枯斎敕至恳蚨嗑S無(wú)記憶加性信道容量1、當(dāng)各時(shí)刻噪聲相同分布2、當(dāng)各時(shí)刻噪聲、輸入不同分布輸入同分布信道容量約束條件求作輔助函數(shù)對(duì)Psi(i=0,1,…N)求偏導(dǎo)，令其為0，得由約束條件，得求出信道容量為，當(dāng)，該信道不分配能量當(dāng)，該信道分配能量，分配到某時(shí)刻噪聲、信號(hào)功率和例3.8各時(shí)刻，對(duì)應(yīng)噪聲為均值為0，方差為輸入X滿足，各分量統(tǒng)計(jì)獨(dú)立，并滿足求信道容量。先由約束條件，求得此時(shí)關(guān)閉信道7~10，N=6，求得此時(shí)關(guān)閉信道6，N=5，得關(guān)閉信道5，N=4,各信道分得功率大于0。

信道容量

=2.35比特/自由度功率注水法功率分配3.5.3加性高斯白噪聲信道(AWGN)對(duì)波形信道作以下限制：輸入、輸出是平穩(wěn)隨機(jī)過(guò)程限頻F、限時(shí)T在時(shí)間上離散為：輸入輸出波形信道平均互信息量3.5.3波形信道容量單位時(shí)間信息傳輸率信道容量噪聲，方差即噪聲功率，雙邊功率譜密度取序列長(zhǎng)度（T時(shí)間內(nèi)取N個(gè)樣本，單位時(shí)間有2W個(gè)樣本）波形信道轉(zhuǎn)換為多維無(wú)記憶高斯加性信道，有下式：：每個(gè)信號(hào)樣本平均功率：每個(gè)噪聲分量的功率波形信道容量W：信號(hào)帶寬(Hz)，Ps：輸入信號(hào)平均功率(w)，N0:噪聲功率譜密度(w/Hz)香農(nóng)公式