信道及信道容量

信道及信道容量第1頁，課件共152頁，創(chuàng)作于2023年2月

本章主要內(nèi)容3.1信道分類3.2離散單符號信道及容量3.2.1數(shù)學模型3.2.2信道容量3.3離散序列符號信道及容量3.4信源與信道的匹配3.5*連續(xù)信道及其容量3.3.1連續(xù)單符號加性信道3.3.2多維無記憶加性連續(xù)信道3.3.3加性高斯白噪聲波形信道第2頁，課件共152頁，創(chuàng)作于2023年2月

本次課內(nèi)容3.1信道分類3.2離散單符號信道及容量3.2.1數(shù)學模型3.2.2信道容量第3頁，課件共152頁，創(chuàng)作于2023年2月信道(informationchannels)：是信號的傳輸媒質(zhì)。信道的作用：把攜有信息的信號從它的輸入端傳遞到輸出端。它的最重要特征參數(shù)是信息傳遞能力，即信道容量問題。相關(guān)知識復習第4頁，課件共152頁，創(chuàng)作于2023年2月

在高斯信道下，信道的信息通過能力與信道的頻帶寬度、信道的工作時間、信道的噪聲功率密度有關(guān)。

頻帶越寬，工作時間越長，信號、噪聲功率比越大，信道的通過能力就越強，信道容量越大。相關(guān)知識復習第5頁，課件共152頁，創(chuàng)作于2023年2月

本章主要討論離散信道的統(tǒng)計特性和數(shù)學模型，定量的研究信道傳輸?shù)钠骄バ畔⒓捌渲匾再|(zhì)，導出信道容量的概念和幾種比較典型的信道的信道容量計算方法。本章重點在于研究一個輸入端和一個輸出端的信道，即單用戶信道。以無記憶、無反饋、固定參數(shù)的離散信道為重點內(nèi)容討論。

相關(guān)知識復習第6頁，課件共152頁，創(chuàng)作于2023年2月X={X0,X1,X2…Xr-1}含r個元素的輸入符號集Y={y0,y1,y2…ys-1}含S個元素的輸出符號r與s得值不同信道模型不同

3.1信道分類第7頁，課件共152頁，創(chuàng)作于2023年2月3.1信道分類第8頁，課件共152頁，創(chuàng)作于2023年2月信道分類：1.有線信道和無線信道

有線信道：明線、對稱電纜、同軸電纜及光纜等。

無線信道：地波傳播、短波電離層反射、超短波或微波視距中繼、人造衛(wèi)星中繼以及各種散射信道等。3.1信道分類第9頁，課件共152頁，創(chuàng)作于2023年2月2．恒參信道和隨參信道恒參信道：信道的統(tǒng)計特性不隨時間而變化。如明線、對稱電纜、同軸電纜、光纜、衛(wèi)星中繼信道一般被視為恒參信道。隨參信道：信道的統(tǒng)計特性隨時間而變化。大多數(shù)的信道都是隨參信道，統(tǒng)計特性隨著環(huán)境、溫度、濕度而變化。如短波電離層反射信道、對流層散射信道等。3.1信道分類第10頁，課件共152頁，創(chuàng)作于2023年2月

3．單用戶信道和多用戶信道單用戶信道：信道只有一個輸入端和一個輸出端，且只能進行單方向的通信。多用戶信道：又稱多端信道，輸入端或者輸出端至少有一端具有兩個或者兩個以上用戶，并且可以實現(xiàn)雙向通信，目前大多數(shù)信道都是多端信道。

3.1信道分類第11頁，課件共152頁，創(chuàng)作于2023年2月4．離散信道、連續(xù)信道、半離散半連續(xù)信道和波形信道離散信道：又稱數(shù)字信道，該類信道中輸入空間、輸出空間均為離散時間集合，集合中事件的數(shù)量是有限的，或者無限的，隨機變量取值都是離散的。波形信道：也稱為時間連續(xù)信道，信道輸入、輸出都是時間的函數(shù)，而且隨機變量的取值都取自連續(xù)集合，且在時間上的取值是連續(xù)的。3.1信道分類第12頁，課件共152頁，創(chuàng)作于2023年2月連續(xù)信道：又稱為模擬信道，輸入空間、輸出空間均為連續(xù)事件集合，集合中事件的數(shù)量是無限的、不可數(shù)的，即隨機變量的取值數(shù)量是無限的，或者不可數(shù)的。半離散半連續(xù)信道：輸入空間、輸出空間一個為離散事件集合，而另一個則為連續(xù)事件集合，即輸入、輸出隨機變量一個是離散的，另一個是連續(xù)的。3.1信道分類第13頁，課件共152頁，創(chuàng)作于2023年2月

5.隨機差錯信道和突發(fā)差錯信道。

隨機差錯信道：信道中傳輸碼元所遭受的噪聲是隨機的、獨立的，這種噪聲相互之間不具有關(guān)聯(lián)性，碼元錯誤不會成串出現(xiàn)。如：高斯白噪聲信道。

突發(fā)差錯信道：信道中噪聲或干擾對傳輸碼元的影響具有關(guān)聯(lián)性，相互之間不獨立，使碼元錯誤成串出現(xiàn)。如：衰落信道、碼間干擾信道。移動通信的信道、光盤存儲屬于該類信道。3.1信道分類第14頁，課件共152頁，創(chuàng)作于2023年2月3.2離散單符號信道及容量

3.2.1數(shù)學模型

若信道的輸入符號之間、輸出符號之間都不存在關(guān)聯(lián)性，信道的分析可簡化為對單個符號的信道分析，此時輸入、輸出可以看做是單符號的，稱這類信道為單符號信道。如果信道的輸入、輸出隨機變量又都是離散的，該信道則為單符號離散無記憶信道。3.2離散單符號信道及容量第15頁，課件共152頁，創(chuàng)作于2023年2月

設(shè)離散信道的輸入變量為X，輸出變量為Y，對應(yīng)的概率空間分別為

輸入符號集合的元素個數(shù)為r，輸出符號集合的元素個數(shù)為s。3.2.1數(shù)學模型第16頁，課件共152頁，創(chuàng)作于2023年2月

i=1，2，…，r，j=1，2，…，s。

表明：在輸入x的情況下，信道輸出y的取值只能是其中的一個，不可能還有其他的取值。。該類信道的特性可用條件轉(zhuǎn)移概率進行描述。輸入

，輸出

時對應(yīng)的條件轉(zhuǎn)移概率為

3.2.1數(shù)學模型第17頁，課件共152頁，創(chuàng)作于2023年2月稱該矩陣為：條件轉(zhuǎn)移矩陣或者信道轉(zhuǎn)移矩陣。

用矩陣表示信道輸入輸出符號之間的條件轉(zhuǎn)移關(guān)系3.2.1數(shù)學模型第18頁，課件共152頁，創(chuàng)作于2023年2月

由于信道中存在干擾或者噪聲，信道輸入符號與輸出符號之間并不是一一對應(yīng)關(guān)系，不能使用確定性函數(shù)描述輸入、輸出之間的關(guān)系。故信道的分析用統(tǒng)計方法。用條件轉(zhuǎn)移概率

可以表示輸出為bj的各種可能性輸入:傳輸?shù)倪^程中出現(xiàn)錯誤3.2.1數(shù)學模型第19頁，課件共152頁，創(chuàng)作于2023年2月信道輸入、輸出符號之間的聯(lián)合分布為前向概率，表示在輸入為x=ai

時，通過信道后接收為bj

的概率，描述了信道噪聲的特性。P(ai)為先驗概率。聯(lián)合分布還可以表示為后驗概率,表示當接收符號為bj時,信道輸入為ai的概率。3.2.1數(shù)學模型第20頁，課件共152頁，創(chuàng)作于2023年2月可以得到后驗概率為=PT(Y︱X)由前向概率和先驗概率可計算出信道輸出符號概率矩陣表示形式3.2.1數(shù)學模型第21頁，課件共152頁，創(chuàng)作于2023年2月二進制離散信道（r=s=2）

由輸入值集合X={0,1},輸出值Y={0,1},一組表示輸入、輸出關(guān)系的條件概率(轉(zhuǎn)移概率)組成。

P（yj/xi）

X{0,1}Y{0,1}3.2.1數(shù)學模型第22頁，課件共152頁，創(chuàng)作于2023年2月

若信道存在干擾，導致二進制序列發(fā)生統(tǒng)計獨立的差錯，且條件概率對稱.

P(Y=1/X=1)=P(Y=0/X=0)=1-P即P(Y=0/X=1)=P(Y=1/X=0)=P輸入是1或0輸出為0或1P=

01

稱這種對稱二進二出的信道叫做二進制對稱信道稱BSC信道.3.2.1數(shù)學模型第23頁，課件共152頁，創(chuàng)作于2023年2月信道模型:011-PPP1-P10

這種信道的輸出符號僅與對應(yīng)時刻輸入符號有關(guān),與以前輸入無關(guān)，故稱此信道是無記憶信道的.3.2.1數(shù)學模型第24頁，課件共152頁，創(chuàng)作于2023年2月2.離散無記憶信道則P(Y=yi/X=xi)=P(yi/xi)稱為離散無記憶信道若輸入值的集合X={X1,X2…Xr-1}輸出Y={y1,y2…ys-1}且信道和調(diào)制過程是無記憶的離散無記憶信道(DMC)3.2.1數(shù)學模型第25頁，課件共152頁，創(chuàng)作于2023年2月決定DMC特點的條件概率P(yj/xi)可寫成矩陣形式＝[Pij]P(Y1=V1Y2=V2…Yn=Vn/X=U1…X=Un)

=若DMC信道的輸入、輸出是由n個符號組成的序列,其中ui∈X,vi∈Y，i=12,3,4…n,則聯(lián)合條件概率為:3.2.1數(shù)學模型第26頁，課件共152頁，創(chuàng)作于2023年2月轉(zhuǎn)移概率矩陣3.2.1數(shù)學模型第27頁，課件共152頁，創(chuàng)作于2023年2月

若信道中有干擾,信道輸出不是一個固定值,是概率各異的一組值,稱有擾離散信道.輸入Xi時,各可能輸出值yj的概率之和必得1,既:＝1

若信道轉(zhuǎn)移概率矩陣的每一行中只包含一個“1”。其余元素均為“0”說明信道無干擾，叫無擾離散信道。3.2.1數(shù)學模型第28頁，課件共152頁，創(chuàng)作于2023年2月3.離散輸入連續(xù)輸出信道

設(shè)信道輸入符號是有限、離散的,其輸入字符集信道輸出

稱離散輸入,連續(xù)輸出信道.即

又稱半離散或半連續(xù)信道。

3.2.1數(shù)學模型第29頁，課件共152頁，創(chuàng)作于2023年2月4.波形信道

若輸入是模擬波形，輸出也是模擬波形則為波形信道.若分析性能的理論極限多選用離散輸入,連續(xù)輸出的信道模型。

選擇何種模型取決于我們目的.從工程上講,最常用的DMC信道或BSC信道.3.2.1數(shù)學模型第30頁，課件共152頁，創(chuàng)作于2023年2月3.2.2信道容量

在單符號離散信道中，平均每個符號傳送的信息量定義為信道的信息傳輸率

。從統(tǒng)計角度而言，信道的噪聲總是有限的，總有部分信息能夠準確傳輸，所以信道的信息傳輸率為3.2.2信道容量第31頁，課件共152頁，創(chuàng)作于2023年2月

互信息量

是輸入符號X

概率分布的凸函數(shù)。對于一個給定的信道，總是存在某種概率分布

，使得傳輸每個符號平均獲得的信息量最大，即對于每個固定的信道總是存在一個最大的信息傳輸速率，這個最大信息傳輸速率定義為信道容量。

什么是信道容量？3.2.2信道容量第32頁，課件共152頁，創(chuàng)作于2023年2月

定義3-1

設(shè)某信道的平均互信息量為

，信道輸入符號的先驗概率為，該信道的信道容量C

定義為

比特∕符號

先驗概率分布

應(yīng)當滿足下列條件3.2.2信道容量第33頁，課件共152頁，創(chuàng)作于2023年2月

對于給定信道，條件轉(zhuǎn)移概率p(bj︱ai)是一定的，所以信道容量就是在信道的前向概率一定的情況下，尋找某種先驗概率分布p(x)，使得平均互信息量最大,這種先驗分布概率為最佳分布。3.2.2信道容量第34頁，課件共152頁，創(chuàng)作于2023年2月

如果信道輸入滿足最佳分布，信息傳輸率最大，即達到信息容量C；如果信道輸入的先驗分布不是最佳分布，那么信息傳輸率不能夠達到信息容量C。信道傳輸?shù)男畔⒘縍必須小于信道容量C,否則傳輸過程中會造成信息損失，出現(xiàn)錯誤；反之，如果R＜C成立，可以通過信道編碼方法保證信息能夠幾乎無失真地傳送到接收端。3.2.2信道容量第35頁，課件共152頁，創(chuàng)作于2023年2月1.無干擾離散信道

這類信道是理想信道。輸入、輸出符號之間是確定性關(guān)系，可以根據(jù)輸入或者輸出劃分為互不相交的集合。這類信道在實際通信系統(tǒng)中較少，在數(shù)據(jù)壓縮系統(tǒng)中，可以使用這類模型進行研究。根據(jù)信道輸入符號X與信道輸出符號Y之間的關(guān)系，可以分為下了幾種信道。3.2.2信道容量第36頁，課件共152頁，創(chuàng)作于2023年2月

無噪無損信道

該信道的輸入、輸出集合符號數(shù)量相等，輸入X與輸出Y之間是一一對應(yīng)。對于給定ai,由于p(bj︱ai)只有一個為1，其余都為0，所以H(X︱Y)=0,則

(a)無噪無損信道模型

XY

1

1

1

1

3.2.2信道容量第37頁，課件共152頁，創(chuàng)作于2023年2月

根據(jù)信道容量的定義，信道容量就是平均互信息量的最大值，根據(jù)極大熵定理可知，當輸入符號的先驗概率為等概率分布時，H(X)取得最大值logr,信道容量為

比特∕符號

所以當輸入信源滿足等概率分布時，信息傳輸率最大，達到信道容量。這類信道的前向概率矩陣和后驗概率矩陣是相等的，都是r×r單位矩陣，3.2.2信道容量第38頁，課件共152頁，創(chuàng)作于2023年2月

無噪有損信道

信道輸出符號Y

集合的數(shù)量小于信道輸入符號X集合的數(shù)量，即r＞s，形成多對一的映射.

XY

1

1

1

1

(b)無噪有損信道

3.2.2信道容量第39頁，課件共152頁，創(chuàng)作于2023年2月

這類信道的特點是，信道概率轉(zhuǎn)移矩陣中每行只有一個非零元素.

接收到符號Y后,不能確定信道輸入X

，即不能夠完全消除X的不確定性，所以H(X︱Y)＞0，且H(X)＞H(Y),I(X;Y)=H(Y).信道容量為3.2.2信道容量第40頁，課件共152頁，創(chuàng)作于2023年2月3.2.2信道容量第41頁，課件共152頁，創(chuàng)作于2023年2月有噪無損信道

信道輸出符號Y集合的數(shù)量大于信道符號X集合的數(shù)量,即r＜s,形成一對多的映射關(guān).由于一對多的映射關(guān)系,不能由輸入完全確定信道的輸出,H(X︱Y)＞0，H(X)＜H(Y),I(X;Y)=H(X).

XY

0.4

0.6

0.7

0.3

(c)有噪無損信道

信道的容量為3.2.2信道容量第42頁，課件共152頁，創(chuàng)作于2023年2月

當信道輸入為等概率輸入時，I(X;Y)=H(X)才能取得最大值，所以先驗概率的最佳分布就是使得p(aj)=1/r的分布。這類信道的特點是，信道概率轉(zhuǎn)移矩陣中每列只有一個非零元素.P(Y∣X)3.2.2信道容量第43頁，課件共152頁，創(chuàng)作于2023年2月2.對稱離散信道的信道容量

對稱離散無記憶信道是最簡單的信道之一，1）輸入對稱信道容量

定義3-2:

如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，則稱信道關(guān)于輸入是對稱的，這種信道稱為輸入對稱離散信道。

例如，信道轉(zhuǎn)移矩陣為3.2離散單符號信道及容量第44頁，課件共152頁，創(chuàng)作于2023年2月根據(jù)定義可以得出信道具有下列性質(zhì)：||||||3.2離散單符號信道及容量又比如信道轉(zhuǎn)移矩陣∣∣即條件熵H(Y|X)與信道輸入的符號無關(guān)。第45頁，課件共152頁，創(chuàng)作于2023年2月因此，輸入對稱信道的容量為3.2離散單符號信道及容量為了表示方便起見，假設(shè)轉(zhuǎn)移矩陣首行元素為則有|由于|所以輸入對稱信道的容量就是找到一種分布，使得信道輸出的熵最大。第46頁，課件共152頁，創(chuàng)作于2023年2月【例3.2-1】信道的轉(zhuǎn)移矩陣為

求該信道的容量

。

解

設(shè)信道輸入的概率空間為

3.2離散單符號信道及容量第47頁，課件共152頁，創(chuàng)作于2023年2月

信道輸出的概率分布為=-{}

取得極值的條件為第48頁，課件共152頁，創(chuàng)作于2023年2月

解上述方程可以得到取極值的條件為P=0.5，即當信道輸入為等概率分布時，H(Y)取得最大值，所以

3.2離散單符號信道及容量|該信道的容量為

︱|︱第49頁，課件共152頁，創(chuàng)作于2023年2月而應(yīng)當首先假設(shè)信道輸入分布，然后解決極值問題3.2離散單符號信道及容量此時信道輸出的概率分布為

所以，當信道只是輸入對稱時，信道容量不能簡單認為是||第50頁，課件共152頁，創(chuàng)作于2023年2月本次課結(jié)束第51頁，課件共152頁，創(chuàng)作于2023年2月上次課內(nèi)容3.1信道分類3.2離散單符號信道及容量3.2.1數(shù)學模型3.2.2信道容量1.無干擾離散信道2.對稱離散信道的信道容量1)輸入對稱信道第52頁，課件共152頁，創(chuàng)作于2023年2月1、信道的作用：把攜有信息的信號從它的輸入端傳遞到輸出端。信道最重要特征參數(shù)是信息傳遞能力，即信道容量.2、什么是信道容量？互信息量I(X,Y)是輸入符號X

概率分布的凸函數(shù)對于一個給定的信道，總是存在某種概率分布p(xi),使得傳輸每個符號平均獲得的信息量最大，即對于每個固定的信道總是存在一個最大的信息傳輸速率，這個最大信息傳輸速率定義為信道容量。

復習第53頁，課件共152頁，創(chuàng)作于2023年2月1.無干擾離散信道無噪無損信道無噪有損信道有噪無損信道

XY

0.4

0.6

0.7

0.3

復習第54頁，課件共152頁，創(chuàng)作于2023年2月2、對稱離散信道的信道容量1）輸入對稱信道容量

如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，這種信道稱為輸入對稱離散信道。復習第55頁，課件共152頁，創(chuàng)作于2023年2月3.2.2信道容量2）輸出對稱信道容量3）準對稱信道容量4）對稱DMC信道容量3.一般離散信道的容量3.3離散序列符號信道及容量3.4信源與信道的匹配3.5*連續(xù)信道及其容量本次課內(nèi)容第56頁，課件共152頁，創(chuàng)作于2023年2月

2）輸出對稱信道容量

定義：如果信道轉(zhuǎn)移概率矩陣中所有列矢量都是第一列的某種置換，則稱信道是關(guān)于輸出對稱離散信道。

3.2離散單符號信道及容量例如：信道轉(zhuǎn)移矩陣

都是輸出對稱信道。和第57頁，課件共152頁，創(chuàng)作于2023年2月輸出對稱信道容量：||

若信道輸出對稱，則當信道輸入符號等概率分布時,信道輸出也是等概率分布的。此時∑p(bj∣ai)為常數(shù)，||(3-12)信道輸出符號的熵為得到3-12式3.2離散單符號信道及容量第58頁，課件共152頁，創(chuàng)作于2023年2月

由于信道轉(zhuǎn)移矩陣是已知的，H(Y∣X)可以使用下列公式3.2離散單符號信道及容量只要能夠求出使得上式取得最小值的信道輸入概率分布，即可求出信道容量

|

|

第59頁，課件共152頁，創(chuàng)作于2023年2月3）準對稱信道容量

定義3-4：

如果信道轉(zhuǎn)移矩陣按列可以劃分為幾個互不相交的子集，每個子矩陣滿足下列性質(zhì)：

(1)每行都是第一行的某種置換；(2)每列都是第一列的某種置換。稱該信道為準對稱信道。3.2離散單符號信道及容量第60頁，課件共152頁，創(chuàng)作于2023年2月或者說：每一行都是第一行元素的不同排列，每一列并不都是第一列元素的不同排列，但可按著信道矩陣的列將信道矩陣劃分成若干個子矩陣。稱這類信道為準對稱信道。例：可劃分成兩個對稱矩陣準對稱矩陣3.2離散單符號信道及容量第61頁，課件共152頁，創(chuàng)作于2023年2月4）對稱信道容量若轉(zhuǎn)移概率矩陣

每一行都是第一行的置轉(zhuǎn),

稱矩陣是輸入對稱.若每一列都是第一列的置轉(zhuǎn),稱矩陣是輸出對稱.若輸入輸出都對稱,稱對稱DMC信道。例

和

對稱信道3.2離散單符號信道及容量第62頁，課件共152頁，創(chuàng)作于2023年2月

和

不對稱

3.2離散單符號信道及容量第63頁，課件共152頁，創(chuàng)作于2023年2月對稱信道的容量:由于對稱信道是關(guān)于輸入對稱，而輸入對稱信道的容量為3.2離散單符號信道及容量H(Y)-H(Y︱X)︱且滿足||

與信道輸入的分布無關(guān)，只與條件概率分布有關(guān).|第64頁，課件共152頁，創(chuàng)作于2023年2月

對稱信道輸出也是對稱的，當信道輸入是等概率分布時，信道輸出也是等概率分布,取得最大值.3.2離散單符號信道及容量為了討論問題方便起見，假設(shè)信道轉(zhuǎn)移矩陣第一行中，各元素對應(yīng)的條件概率分別為(p1,p2…..ps)，有:|則對稱信道容量對稱信道的信道容量只與信道的轉(zhuǎn)移矩陣中的行矢量和輸出符號集合的數(shù)量有關(guān)。如果希望信息傳輸率達到信道容量，信道輸入應(yīng)當滿足等概率分布。第65頁，課件共152頁，創(chuàng)作于2023年2月

【例3.2-2】設(shè)某信道轉(zhuǎn)移矩陣為

求信道容量

解：由信道轉(zhuǎn)移矩陣可知，矩陣的第二行是第一行的置換，每一列都是第一列的置換，所以信道是對稱的，所以信道容量為3.2離散單符號信道及容量第66頁，課件共152頁，創(chuàng)作于2023年2月

【例3-3】假設(shè)信道的輸入、輸出符號數(shù)相等，都等于r,且信道條件轉(zhuǎn)移矩陣為

求:信道容量

。

解:顯然該信道是對稱的，信道容量為3.2離散單符號信道及容量第67頁，課件共152頁，創(chuàng)作于2023年2月

上述信道稱為強對稱信道或者是均勻信道，是對稱信道的一個特例。一般信道轉(zhuǎn)移矩陣中，列元素之和并不等于1，而該信道轉(zhuǎn)移矩陣的各列元素之和都等于1。3.2離散單符號信道及容量當r=2時，信道容量為第68頁，課件共152頁，創(chuàng)作于2023年2月準對稱信道是關(guān)于輸入對稱的，可以使用輸入對稱信道的方法直接求解.輸入對稱信道的容量為：

3.2離散單符號信道及容量準對稱信道的容量:由于信道輸入不一定存在一種分布使得信道輸出滿足,所以準對稱信道的信道容量滿足下列關(guān)系第69頁，課件共152頁，創(chuàng)作于2023年2月

可以證明，準對稱信道信道輸入的最佳分布是等概率分布，信道容量為3.2離散單符號信道及容量其中p1,p2,……ps為準對稱信道轉(zhuǎn)移矩陣中的一行元素,n為劃分的子集數(shù)量,Nk為第k個子矩陣的行元素之和,Mk為第k個子矩陣的列元素之和。第70頁，課件共152頁，創(chuàng)作于2023年2月定理3-1：準對稱離散信道的信道容量是在

信道輸入為等概率分布時達到的。3.2離散單符號信道及容量

上式為準對稱信道容量計算公式，而到達信道容量的信道輸入最佳概率分布有下列定理確定。第71頁，課件共152頁，創(chuàng)作于2023年2月【例3.2-4】設(shè)某信道的轉(zhuǎn)移矩陣為求：信道容量

。解：從該信道轉(zhuǎn)移矩陣可以看出，該信道是一個準對稱信道，可以分解為

3.2離散單符號信道及容量是兩個互不相交的子集，而每個子集都是對稱信道形式，對應(yīng)參數(shù)分別為N1為第1個子矩陣的行元素之和M1為第1個子矩陣的列元素之和第72頁，課件共152頁，創(chuàng)作于2023年2月

由準對稱離散信道的信道容量計算公式3.2離散單符號信道及容量稱該信道為二元純對稱刪除信道，其信道容量為

?=--=nkkksMNpppHrC121log),,,(logL

qqqqpqqpH2log)1log()1(),,1(2log-------=

qqqpqppp--+----+=12log)1()1log()1(log

如果p=0，則第73頁，課件共152頁，創(chuàng)作于2023年2月3.2離散單符號信道及容量

1-q

a1

b1

q

b2

q

a2

b3

1-q

圖3-4二元純對稱刪除信道

第74頁，課件共152頁，創(chuàng)作于2023年2月

【例3.2-5】信道轉(zhuǎn)移矩陣為

求：信道容量

。

解：該信道是準對稱信道，可以分解為三個互不相交的子集，分別為3.2離散單符號信道及容量第75頁，課件共152頁，創(chuàng)作于2023年2月對應(yīng)的參數(shù)分別為3.2離散單符號信道及容量信道容量為61,31,216131321===+=NNN

316161,323131,216131321=+==+==+=MMM

?=--=nkkksMNpppHrC121log),,,(logL

31log6132log3121log21)61,61,31,31(2log----=H

=0.041比特/符號第76頁，課件共152頁，創(chuàng)作于2023年2月3.一般離散信道的容量

從信道容量的定義知，信道容量是在信道給定的情況下，即信道轉(zhuǎn)移矩陣一定條件下，從信道所有可能輸入概率分布中尋找一種最佳分布，使得信道輸入、輸出之間的平均互信息量最大，既，使得信道的輸入概率分布與信道匹配。3.2離散單符號信道及容量第77頁，課件共152頁，創(chuàng)作于2023年2月對于一般離散信道，首先假設(shè)信道的輸入概率分布，根據(jù)信道容量的定義和輸入概率分布的約束條件，直接求解極值,即可得到最佳分布；然后根據(jù)最佳分布計算信道輸入、輸出之間的平均互信息量，既得到信息容量。

如果信道輸入、輸出符號數(shù)量較少，這種方法是可行的。3.2離散單符號信道及容量第78頁，課件共152頁，創(chuàng)作于2023年2月

【例3-6】信道轉(zhuǎn)移矩陣為

3.2離散單符號信道及容量求:信道輸入最佳分布和信道容量

。解:由信道轉(zhuǎn)移矩陣知,信道不對稱的,信道的輸入、輸出符號數(shù)量都為2.設(shè)輸入符號的概率為p,1-p。

先求出信道輸出概率頒布p(bj).由公式第79頁，課件共152頁，創(chuàng)作于2023年2月3.2離散單符號信道及容量|P,1-p第80頁，課件共152頁，創(chuàng)作于2023年2月將相關(guān)參數(shù)帶入上述計算公式，得到；3.2離散單符號信道及容量第81頁，課件共152頁，創(chuàng)作于2023年2月對p求導，得到最佳分布3.2離散單符號信道及容量比特∕符號得到,p=0.532，所以信道容量為

第82頁，課件共152頁，創(chuàng)作于2023年2月

從上例可以看出，即使是簡單的非對稱二元信道，其最佳分布的求解也十分復雜，不借用計算機很難求出最佳分布，所以一般離散信道的信道容量的求解要通過計算機來進行。下面討論一般離散信道的解法。

3.2離散單符號信道及容量第83頁，課件共152頁，創(chuàng)作于2023年2月

我們知道，平均互信息量I(X,Y)是輸入概率分布p(ai)的凸函數(shù)，所以極大值是一定存在的。假設(shè)信道輸入的符號數(shù)量為r,那么I(X,Y)應(yīng)當是r個隨機變量(p1,p2…..pr)的函數(shù)，而且滿足約束條件

，該多元函數(shù)的條件極值可以利用拉格朗日乘法求出。3.2離散單符號信道及容量(1)首先引入函數(shù)其中，為λ拉格朗日乘子。第84頁，課件共152頁，創(chuàng)作于2023年2月（2）對信道輸入概率求導數(shù)，并令其為0。解方程組可以求出概率分布

和

。3.2離散單符號信道及容量（3)將最佳分布代入

，即可求出信道容量C

第85頁，課件共152頁，創(chuàng)作于2023年2月

按著前述步驟推導可得3.2離散單符號信道及容量式中,I(ai,Y)是輸出端收到Y(jié)后獲得關(guān)于ai的信息量，即信源符號ai對輸出端平均提供的互信息。可得對于一般離散信道有下述的定理。第86頁，課件共152頁，創(chuàng)作于2023年2月

定理3-2

設(shè)有一般離散信道,它有r個輸入個符號，s個輸出符號，其平均互信息I(X,Y)達到極大值（即等于信道容量）的充要條件是輸入概率分布p(ai)滿足3.2離散單符號信道及容量

常數(shù)C就是所求的信息容量。

其中CYaIi=);(

對所有0)(1iap的ia

);(YaIi＜C

對所有0)(=iap的ia

第87頁，課件共152頁，創(chuàng)作于2023年2月

上述定理只是給出了達到容量時，信道輸入符號分布的充要條件，并不能給出信道的最佳概率分布，既,沒有給出信道容量的計算公式。另，達到信道容量的最佳分布一般不是唯一的，只要輸入分布滿足概率的約束條件，并且使得I(X,Y)達到最大值即可。所以一般情況下，根據(jù)上述定理求解信道容量和信道輸入的最佳概率分布還是十分復雜的。對于某些特殊信道，可以使用上述定理求解信道容量。3.2離散單符號信道及容量第88頁，課件共152頁，創(chuàng)作于2023年2月

【例3-7】設(shè)某信道的轉(zhuǎn)移矩陣為3.2離散單符號信道及容量求;該信道容量和信道輸入的最佳概率分布。第89頁，課件共152頁，創(chuàng)作于2023年2月解:該信道不能直接使用對稱信道計算其信道容量若信道輸入符號的概率p(a2)=0,該信道就是一個二元純對稱刪除信道。就可以假設(shè)

p(a1)=p(a3)=1/2,然后檢查是否滿足定理3-2的條件,如果滿足就可以計算出信道容量3.2離散單符號信道及容量第90頁，課件共152頁，創(chuàng)作于2023年2月首先求出p(bj)3.2離散單符號信道及容量p(a1)=p(a3)=1/2,p(a2)=0第91頁，課件共152頁，創(chuàng)作于2023年2月計算互信息量3.2離散單符號信道及容量

該輸入概率分布滿足定理3-2的條件,信道容量為C=0.9,對應(yīng)的信道輸入最佳概率分布為(0.5,0,0.5)CYaIi=);(

對所有0)(1iap的ia

);(YaIi＜C

對所有0)(=iap的ia

第92頁，課件共152頁，創(chuàng)作于2023年2月3.3離散序列符號信道及容量

前面討論了輸入和輸出都是單個隨機變量的信道及其容量，分析了對稱信道、準對稱信道、一般離散信道的信道容量和信道最佳概率分布的計算方法。實際中，信道輸入、輸出常常是離散隨機序列。離散序列信道的一般模型見圖3.3離散序列符號信道及容量圖3-5離散序列信道模型第93頁，課件共152頁，創(chuàng)作于2023年2月

對于無記憶離散序列信道，設(shè)序列長度為N，則信道轉(zhuǎn)移概率可以簡化為

如果信道是平穩(wěn)的，則信道轉(zhuǎn)移概率可以進一步簡化為

p(Y︱X)=

3.3離散序列符號信道及容量第94頁，課件共152頁，創(chuàng)作于2023年2月

討論無記憶離散信道：設(shè)信道輸入符號取自于符號集

信道輸出符號取自于符號集

信道轉(zhuǎn)移矩陣為

3.3離散序列符號信道及容量第95頁，課件共152頁，創(chuàng)作于2023年2月設(shè)序列長度為N，信道輸入序列記作

αi=(ai1,ai2,….air)i=1，2，…，rN，信道輸出序列記作βj=(bj1,bj2….bjs)j=1，2，…，sN，由于信道輸入共有rN種可能取值,信道輸出有sN種可能取值,所以N次擴展信道的轉(zhuǎn)移概率矩陣為rN×sN的矩陣，可以表示為3.3離散序列符號信道及容量第96頁，課件共152頁，創(chuàng)作于2023年2月

對于無記憶信道,上述的轉(zhuǎn)移概率可以簡化為

其中，m=1，2，…，rN，n=1，2，…，sN

長度為N的離散序列平均互信息量為

I(X;Y)=H(XN)-H(XN︱YN)=H(YN)-H(YN︱XN)3.3離散序列符號信道及容量第97頁，課件共152頁，創(chuàng)作于2023年2月

定理3-3

設(shè)離散信道的輸入序列為X=(X1,X2,…,XN),信道輸出序列為Y=(Y1,Y2,…,YN),信道的轉(zhuǎn)移概率為

，有

(1)如果信道是無記憶，則(2)如果信道輸入序列是無記憶的，幾個各分量相互獨立，則

3.3離散序列符號信道及容量第98頁，課件共152頁，創(chuàng)作于2023年2月

(3)如果輸入序列和信道都是無記憶的，則其中,Xi和Yi分別表示隨機序列X和Y中第i個隨機變量

該定理描述了離散信道中隨機序列的平均互信息量I(X;Y)與信道輸入和輸出中各個隨機變量的平均互信息量之和之間的關(guān)系。特別是當信道輸入序列和信道都是無記憶時，兩者相等。如果構(gòu)成信道輸入、輸出隨機序列的各個隨機變量來自于同一符號集，都服從同一分布，而且信道也是平穩(wěn)的.

3.3離散序列符號信道及容量第99頁，課件共152頁，創(chuàng)作于2023年2月

各互信息量滿足下列關(guān)系：I(X;Y)=I(Xi,Yi)，i=1，2，…，N

于是可以得出結(jié)論由于信道輸入隨機序列的各個變量都在同一信道中傳輸，所以有Ci=C3.3離散序列符號信道及容量其中，i=1，2，…，N，即具有相同的信道容量。于是，可以得到離散無記憶N次擴展信道的容量為CN=NC此式表明,離散無記憶N次擴展信道的信道容量等于構(gòu)成單個離散信道的信道容量的N倍,而信道輸入序列的最佳分布是構(gòu)成序列的每個隨機變量都達到各自的最佳概率分布。第100頁，課件共152頁，創(chuàng)作于2023年2月

對于一般的離散無記憶信道的N次擴展信道，如果信道輸入隨機變量是無記憶的，且信道是非平穩(wěn)的則有

3.3離散序列符號信道及容量有記憶的離散序列信道的分析比無記憶的離散序列信道的分析要復雜得多，特殊情況下可以通過狀態(tài)變量來分析，這里不進行討論。

第101頁，課件共152頁，創(chuàng)作于2023年2月【例3.3-1】某二元離散無記憶信道的轉(zhuǎn)移矩陣為

3.3離散序列符號信道及容量求信道容量C。對信道進行二次擴展，擴展后的信道轉(zhuǎn)移矩陣為第102頁，課件共152頁，創(chuàng)作于2023年2月

解：由擴展信道的轉(zhuǎn)移矩陣知，二次擴展信道是對稱信道，當輸入序列等概率分布時可以達到信息容量C2，將擴展后的每種序列排列認為是一個符號，二次擴展信道就等價于四元信道，四元對稱信道的信道容量為3.3離散序列符號信道及容量第103頁，課件共152頁，創(chuàng)作于2023年2月3.3離散序列符號信道及容量在實際中經(jīng)常有信道的并聯(lián)和串聯(lián)，下面簡單介紹。1.串聯(lián)信道。假設(shè)信道1的轉(zhuǎn)移矩陣為P1,信道2的轉(zhuǎn)移矩陣為P2，串聯(lián)信道總的概率轉(zhuǎn)移矩陣為P=P1P2兩個信道的串聯(lián)型式第104頁，課件共152頁，創(chuàng)作于2023年2月平均互信息量滿足I(X；Z)≤I(X；Y)I(X；Z)≤I(Y；Z)總的信道容量不會大于各組成信道的信道容量，即C≤min{C1，C2}可以將該結(jié)論擴展到m級串聯(lián)，得到總的轉(zhuǎn)移矩陣為

3.3離散序列符號信道及容量根據(jù)總得轉(zhuǎn)移矩陣即可求出串聯(lián)信道的容量為其中，X和Z分別表示串聯(lián)信道的輸入和輸出符號。而且滿足C≤min{C1，C2，…，Cm}第105頁，課件共152頁，創(chuàng)作于2023年2月

2.并聯(lián)信道

將m個相互獨立的信道并聯(lián)，如圖所示，3.3離散序列符號信道及容量每個信道輸出Yi只與本信道輸入Xi有關(guān)(i=1,2,…,m),

假設(shè)各個信道的轉(zhuǎn)移概率分別為

，那么序列的轉(zhuǎn)移概率為第106頁，課件共152頁，創(chuàng)作于2023年2月如果每個信道都是無記憶的，總的信道也是無記憶的，則滿足

I(X；Y)≤獨立并聯(lián)信道的容量為

C=maxI(X；Y)≤

3.3離散序列符號信道及容量當輸入隨機變量Xi相互獨立，且有p(X1,X2…Xm)

達到最佳分布時容量最大(為各自信道容量之和)。第107頁，課件共152頁，創(chuàng)作于2023年2月

3.4信源與信道的匹配

實際通信中，經(jīng)常使用離散信道分析信息傳輸問題。對于給定離散信道，其容量是存在的，而且是一個確定量，只有信源輸入滿足最佳分布時，信息的傳輸才能夠達到信道容量，即只有特殊分布的信源才能夠使信息傳輸速率最大。

3.4信源與信道的匹配第108頁，課件共152頁，創(chuàng)作于2023年2月

一般信源與信道連接時,信息傳輸速率R等于信源與信宿之間的平均互信息量R=I(X,Y)。信源的分布并不總是滿足信道輸入的最佳概率分布，所以信息傳輸速率總是小于信道的容量的。當信息傳輸速率達到信道容量時，稱為信源與信道達到匹配，否則信道有冗余。3.4信源與信道的匹配第109頁，課件共152頁，創(chuàng)作于2023年2月

定義3-5

設(shè)信道的信息傳輸速率為R=I(X,Y)，信道容量為C，信道的剩余度定義為

信道冗余度=C-I(X,Y)(3.4-1)

相對剩余度定義為

(3.4-2)3.4信源與信道的匹配第110頁，課件共152頁，創(chuàng)作于2023年2月

一般情況下，信源輸出符號之間總是存在較強的相關(guān)性，而且信源的分布與信道難以匹配。當離散信道是對稱的或者接近對稱時，為了實現(xiàn)有效的信息傳輸，要求信源輸出符號分布盡可能接近信道要求的等概率分布，為此可以采用信源編碼技術(shù)去除信源符號之間的相關(guān)性，并且經(jīng)過適當?shù)淖儞Q后，信源編碼輸出符號分布盡可能接近等概率分布，就可使信道傳輸速率R達到或者接近信道容量，實現(xiàn)信源與信道的匹配。

3.4信源與信道的匹配第111頁，課件共152頁，創(chuàng)作于2023年2月如果信道的傳輸速率R小于信道容量C,可以對信源輸出進行適當?shù)男诺谰幋a,實現(xiàn)無誤差的信息傳輸；如果信道的信息傳輸速率R大于信道容量C，實現(xiàn)無差錯信息傳輸是不可能的。3.4信源與信道的匹配第112頁，課件共152頁，創(chuàng)作于2023年2月本次課結(jié)束第113頁，課件共152頁，創(chuàng)作于2023年2月3.5連續(xù)信道及其容量

對于連續(xù)信源，互信息量具有與離散信源相同的形式，即互信息量為信源的熵與條件熵之差，而連續(xù)信道的容量同樣定義為互信息量的最大值，在形式上，連續(xù)信道的信道容量與離散信道的信道容量是相同的。

離散信道的輸入、輸出符號都是離散的，所以用概率轉(zhuǎn)移矩陣加以描述；而連續(xù)信道的輸入、輸出符號都是連續(xù)變量，所以使用條件概率密度函數(shù)描述信道輸入、輸出變量之間的關(guān)系。3.5連續(xù)信道及其容量第114頁，課件共152頁，創(chuàng)作于2023年2月3.3.1連續(xù)單符號加性信道

連續(xù)單符號加性信道是最簡單的單符號信道，信道的輸入和輸出都是連續(xù)隨機變量，如圖3-8所示。

圖3-8連續(xù)單符號信道

3.5連續(xù)信道及其容量第115頁，課件共152頁，創(chuàng)作于2023年2月

首先假設(shè)信道引入的噪聲是均值為0，方差為

的高斯白噪聲，即

～

，該噪聲的連續(xù)熵為(3.3-1)

根據(jù)熵之間的關(guān)系可知，單符號連續(xù)信道的平均互信息量可以表示為3.5連續(xù)信道及其容量第116頁，課件共152頁，創(chuàng)作于2023年2月信道容量定義為(3.3-2)對于加性噪聲信道而言，條件熵

為

證明略。

3.5連續(xù)信道及其容量第117頁，課件共152頁，創(chuàng)作于2023年2月

綜合起來，連續(xù)單符號加性噪聲信道的信道容量為(3.3-3)

如果噪聲為高斯白噪聲，則有(3.3-4)

根據(jù)限平均功率最大熵定理，只有當信道輸出

為高斯分布時，

取得最大值，即

～

，其中，

表示

的平均功率限制值。

信道輸入

與信道的噪聲之間相互獨立，而變量

可以表示為

3.5連續(xù)信道及其容量第118頁，課件共152頁，創(chuàng)作于2023年2月

根據(jù)高斯分布性質(zhì)：兩個高斯分布的加、減仍然服從高斯分布，假設(shè)

～

，則有

所以

又

3.5連續(xù)信道及其容量第119頁，課件共152頁，創(chuàng)作于2023年2月

于是可以得出結(jié)論：當信道輸入服從高斯分布，假設(shè)

～

時，達到信道容量

，信道容量為

(3.3-5)

其中，∕稱為信噪比。3.5連續(xù)信道及其容量第120頁，課件共152頁，創(chuàng)作于2023年2月

要注意的是，這里沒有考慮信道對輸入信號的衰減，即認為

是經(jīng)過信道衰減后的功率。實際中，信道的噪聲不一定服從高斯分布，根據(jù)上文討論可知，只要噪聲是加性的，就可以進行計算，下面不加證明地給出均值為0，方差為

的加性噪聲信道容量的界3.5連續(xù)信道及其容量第121頁，課件共152頁，創(chuàng)作于2023年2月

上述不等式的意義在于：對于給定的加性噪聲信道，如果信道的輸入能夠使得信道輸出為高斯分布，則信道容量到達上限

，而一般情況下，信道容量是小于該上限的。高斯信道是所有加性信道中最差的信道，任何其他類型加性噪聲信道的容量都大于其信道容量。

所以實際中，在平均功率受限的條件下，經(jīng)常假設(shè)噪聲服從高斯分布，除了高斯噪聲的分析比較方便之外，還因為高斯信道的信道容量是最小的，對信道的干擾最大。3.5連續(xù)信道及其容量第122頁，課件共152頁，創(chuàng)作于2023年2月3.3.2多維無記憶加性連續(xù)信道

設(shè)信道輸入隨機序列

，信道輸出的隨機序列為

，由于高斯噪聲具有代表性，這里只討論高斯信道。設(shè)

是均值為零的高斯噪聲序列，由于信道無記憶，則有

又因是加性信道，所以得

3.5連續(xù)信道及其容量第123頁，課件共152頁，創(chuàng)作于2023年2月

即噪聲序列中各分量是統(tǒng)計獨立的。噪聲

是高斯噪聲，又各分量統(tǒng)計獨立，所以各分量

是均值為零、方差為

的高斯變量。這樣，多維無記憶高斯加性信道可等價成

個獨立的并聯(lián)高斯加性信道。

由于

則有(3.3-6)3.5連續(xù)信道及其容量第124頁，課件共152頁，創(chuàng)作于2023年2月

從上式可知，各時刻

上的噪聲是均值為零、方差為不同的

高斯噪聲，于是，當且僅當輸入隨機矢量

中各分量統(tǒng)計獨立，并且也是均值為零、方差為不同的

的高斯變量時，才能達到此信道容量。

可見，上式是多維無記憶高斯加性連續(xù)信道的信道容量，也是

個獨立的、并聯(lián)組合的、高斯加性信道的信道容量。3.5連續(xù)信道及其容量第125頁，課件共152頁，創(chuàng)作于2023年2月

（1）

如果各個時刻

上的噪聲都是均值為零、方差為

的高斯噪聲，則信道容量

為

比特∕個自由度

當且僅當輸入信號

的各分量統(tǒng)計獨立，并且都是均值為零、方差為

的高斯變量時，信息傳輸概率達到最大值。（2）如果各個時刻

上的噪聲都是均值為零、方差為

的高斯噪聲，但輸入信號的總平均功率受限，則該約束條件為

3.5連續(xù)信道及其容量第126頁，課件共152頁，創(chuàng)作于2023年2月

那么，此時各時刻的信號平均功率

應(yīng)如何分配？其信道容量應(yīng)等于多少？

由于

≤

其中，

，所以約束條件為

。只有當

中各分量是均值為零、方差為

的統(tǒng)計獨立的高斯變量時，上式的等式才成立。3.5連續(xù)信道及其容量第127頁，課件共152頁，創(chuàng)作于2023年2月

極限問題

，就是計算在約束條件

的情況下，使

達到最大。這是一個標準的求極大值的問題，可以用拉格朗日乘法來計算。

構(gòu)造輔助函數(shù)為

對變量求偏導數(shù)，并令其為0，即

3.5連續(xù)信道及其容量第128頁，課件共152頁，創(chuàng)作于2023年2月

整理后可以得到下列方程

上式計算得到的

可能會出現(xiàn)負數(shù)，這表明獨立并聯(lián)信道中，某一信道的噪聲平均功率

大于該信道分配得到信號平均功率，所以該信道就無法利用，只有令

，即選取

，其中

符號表示

的正數(shù)，即3.5連續(xù)信道及其容量第129頁，課件共152頁，創(chuàng)作于2023年2月而常數(shù)

的選擇由約束條件求得于是，可得信道容量3.5連續(xù)信道及其容量第130頁，課件共152頁，創(chuàng)作于2023年2月

上述結(jié)論說明，在

個獨立信道并聯(lián)構(gòu)成的高斯加性通道中，當各分信道的噪聲平均功率不相等（或多維無記憶高斯加性信道，各時刻噪聲分量的平均功率不相等）時，為達到最大的信息傳輸率，要對輸入信號的總能量進行適當?shù)姆峙?，其分配按下式進行

3.5連續(xù)信道及其容量第131頁，課件共152頁，創(chuàng)作于2023年2月

即當常數(shù)

＜

時，此信道（或此時刻信號分量）不分配能量，不傳輸任何信息；當

＞

時，在這些信道（或此時刻信號分量）中分配能量，并使?jié)M足

加上

等于常數(shù)

。這樣得到的信道容量最大，即噪聲大的信道少傳甚至不傳送信息，而在噪聲小的信道多傳輸些信息，從而有利于信息傳輸。3.5連續(xù)信道及其容量第132頁，課件共152頁，創(chuàng)作于2023年2月3.3.3加性高斯白噪聲波形信道

上面討論的連續(xù)信道中，信道的輸入、輸出變量的幅度取值是連續(xù)變化的，而在時間上是離散的。而實際中的物理信道都是波形信道，信道的輸入和輸出在幅度上都是連續(xù)變化的。對于這樣的信道應(yīng)當適用隨機過程對其進行研究，首先對加性高斯白噪聲波形信道進行介紹。

假設(shè)信道的輸入、輸出都是平穩(wěn)隨機過程，在限頻

、限時

條件下將波形信道轉(zhuǎn)換為多維連續(xù)信道進行分析。設(shè)在時間

內(nèi)，將信道3.5連續(xù)信道及其容量第133頁，課件共152頁，創(chuàng)作于2023年2月

輸入、輸出隨機過程在時間上離散為維數(shù)為

的隨機序列

和

，從而可以得到波形信道的平均互信息為

對于波形信道而言，一般討論單位時間內(nèi)信息傳輸率

，定義為

比特∕秒

3.5連續(xù)信道及其容量第134頁，課件共152頁，創(chuàng)作于2023年2月

信道容量

定義為

(3.3-7)

通常情況下，假設(shè)波形信道中的噪聲是均值為0、雙邊功率譜密度為∕2的高斯白噪聲隨機過程。同樣可以將波形信道中的噪聲在時間上離散化，在時間

內(nèi)使用

維隨機序列表示，由于信道帶寬總是受限的，設(shè)帶寬為

，在時間

內(nèi)，隨機序列長度取為3.5連續(xù)信道及其容量第135頁，課件共152頁，創(chuàng)作于2023年2月

這樣就將波形信道變換為多維無記憶高斯加性信道，所以得出下列結(jié)論：(3.3-8)

其中，

為每個噪聲分量的功率

，即雙邊功率譜密度，

為每個信號樣本值的平均功率，當信號受限于功率

時，滿足

3.5連續(xù)信道及其容量第136頁，課件共152頁，創(chuàng)作于2023年2月為信號帶寬，于是得到信道容量為

(3.3-9)所以波形信道的信道容量為(3.3-10)3.5連續(xù)信道及其容量第137頁，課件共152頁，創(chuàng)作于2023年2月

其中，

為信號的平均功率，

為高斯白噪聲在帶寬為

內(nèi)的平均功率。信道的容量是帶寬和信噪功率比的函數(shù)。這就是著名的香農(nóng)公式。當信道輸入是平均功率受限的高斯白噪聲信號時，信息傳輸率才能達到該信道容量。

然而實際中信道一般為非高斯噪聲波形信道，由于噪聲熵小于高斯噪聲的噪聲熵，所以信道容量以高斯加性信道的信道容量為下限。3.5連續(xù)信道及其容量第138頁，課件共152頁，創(chuàng)作于2023年2月

根據(jù)香農(nóng)公式，可以得出下列結(jié)論：

（1）當帶寬

一定時，信噪比與

信道容量

成對數(shù)關(guān)系。若

增大，

就增大，但增大到一定程度后就趨于緩慢。這說明增加輸入信號功率有助于容量的增大，但該方法是有限的；另一方面降低噪聲功率也是有用的，當

趨向于0時，

趨向于無窮大，