最新-信息論與編碼第三章-PPT精品課件

1、信息論與編碼基礎(chǔ)教程第3章 信道及信道容量 本章主要內(nèi)容3.1信道的基本概念3.2離散單符號信道及容量3.2.1數(shù)學(xué)模型3.2.2信道容量3.3離散序列符號信道及容量3.4 信源與信道的匹配3.5* 連續(xù)信道及其容量 本次課內(nèi)容3.1 信道的基本概念3.2 離散單符號信道及容量3.2.1 數(shù)學(xué)模型3.2.2 信道容量信道(information channels)： 是信號的傳輸媒質(zhì)。信道的作用： 把攜有信息的信號從它的輸入端傳遞到輸出端。 它的最重要特征參數(shù)是信息傳遞能力，即信道容量問題。相關(guān)知識復(fù)習(xí) 在高斯信道下，信道的信息通過能力與信道的頻帶寬度、信道的工作時間、信道的噪聲功率密度有關(guān)。

2、 頻帶越寬，工作時間越長，信號、噪聲功率比越大，信道的通過能力就越強，信道容量越大。相關(guān)知識復(fù)習(xí) 本章主要討論離散信道的統(tǒng)計特性和數(shù)學(xué)模型，定量的研究信道傳輸?shù)钠骄バ畔⒓捌渲匾再|(zhì)，導(dǎo)出信道容量的概念和幾種比較典型的信道的信道容量計算方法。 本章重點在于研究一個輸入端和一個輸出端的信道，即單用戶信道。以無記憶、無反饋、固定參數(shù)的離散信道為重點內(nèi)容討論。 相關(guān)知識復(fù)習(xí)X=X0,X1,X2 Xr-1含r個元素的輸入符號集Y=y0,y1,y2ys-1含S個元素的輸出符號r與s的值不同信道模型不同 3.1信道分類5.1信道分類信道分類： 1.有線信道和無線信道 有線信道：明線、對稱電纜、同軸電纜及

3、光纜等。 無線信道：地波傳播、短波電離層反射、 超短波或微波視距中繼、人造 衛(wèi)星中繼以及各種散射信道等。3.1信道分類2恒參信道和隨參信道恒參信道：信道的統(tǒng)計特性不隨時間而變化。如明線、對稱電纜、同軸電纜、光纜、衛(wèi)星中繼信道一般被視為恒參信道。隨參信道：信道的統(tǒng)計特性隨時間而變化。大多數(shù)的信道都是隨參信道，統(tǒng)計特性隨著環(huán)境、溫度、濕度而變化。如短波電離層反射信道、對流層散射信道等。3.1信道分類 3單用戶信道和多用戶信道單用戶信道：信道只有一個輸入端和一個輸出端，且只能進行單方向的通信。多用戶信道：又稱多端信道，輸入端或者輸出端至少有一端具有兩個或者兩個以上用戶，并且可以實現(xiàn)雙向通信，目前大多

4、數(shù)信道都是多端信道。 3.1信道分類4離散信道、連續(xù)信道、半離散半連續(xù)信道和波形信道離散信道：又稱數(shù)字信道，該類信道中輸入空間、輸出空間均為離散時間集合，集合中事件的數(shù)量是有限的，或者無限的，隨機變量取值都是離散的。波形信道：也稱為時間連續(xù)信道，信道輸入、輸出都是時間的函數(shù)，而且隨機變量的取值都取自連續(xù)集合，且在時間上的取值是連續(xù)的。3.1信道分類連續(xù)信道：又稱為模擬信道，輸入空間、輸出空間均為連續(xù)事件集合，集合中事件的數(shù)量是無限的、不可數(shù)的，即隨機變量的取值數(shù)量是無限的，或者不可數(shù)的。半離散半連續(xù)信道：輸入空間、輸出空間一個為離散事件集合，而另一個則為連續(xù)事件集合，即輸入、輸出隨機變量一個是

5、離散的，另一個是連續(xù)的。3.1信道分類 5隨機差錯信道和突發(fā)差錯信道。 隨機差錯信道：信道中傳輸碼元所遭受的噪聲是隨機的、獨立的，這種噪聲相互之間不具有關(guān)聯(lián)性，碼元錯誤不會成串出現(xiàn)。如：高斯白噪聲信道。突發(fā)差錯信道：信道中噪聲或干擾對傳輸碼元的影響具有關(guān)聯(lián)性，相互之間不獨立，使碼元錯誤成串出現(xiàn)。如：衰落信道、碼間干擾信道。移動通信的信道、光盤存儲屬于該類信道。3.1信道分類3.2離散單符號信道及容量 3.2.1 數(shù)學(xué)模型 若信道的輸入符號之間、輸出符號之間都不存在關(guān)聯(lián)性，信道的分析可簡化為對單個符號的信道分析，此時輸入、輸出可以看做是單符號的，稱這類信道為單符號信道。如果信道的輸入、輸出隨機變

6、量又都是離散的，該信道則為單符號離散無記憶信道。3.2離散單符號信道及容量 設(shè)離散信道的輸入變量為X，輸出變量為Y，對應(yīng)的概率空間分別為 輸入符號集合的元素個數(shù)為r，輸出符號集合的元素個數(shù)為s3.2.1 數(shù)學(xué)模型 i=1，2，r，j=1，2，s。 表明：在輸入x的情況下，信道輸出y的取值只能是其中的一個，不可能還有其他的取值。 該類信道的特性可用條件轉(zhuǎn)移概率進行描述。輸入 ，輸出 時對應(yīng)的條件轉(zhuǎn)移概率為 3.2.1 數(shù)學(xué)模型稱該矩陣為：條件轉(zhuǎn)移矩陣 或者信道轉(zhuǎn)移矩陣。 用矩陣表示信道輸入輸出符號之間的條件轉(zhuǎn)移關(guān)系3.2.1 數(shù)學(xué)模型 由于信道中存在干擾或者噪聲，信道輸入符號與輸出符號之間并不是

7、一一對應(yīng)關(guān)系，不能使用確定性函數(shù)描述輸入、輸出之間的關(guān)系。故信道的分析用統(tǒng)計方法。用條件轉(zhuǎn)移概率 可以表示輸出為bj 的各種可能性輸入:傳輸?shù)倪^程中出現(xiàn)錯誤3.2.1 數(shù)學(xué)模型信道輸入、輸出符號之間的聯(lián)合分布為前向概率，表示在輸入為x=ai 時，通過信道后接收為bj 的概率，描述了信道噪聲的特性。P(ai) 為先驗概率。聯(lián)合分布還可以表示為后驗概率,表示當(dāng)接收符號為bj時,信道輸入為ai的概率。3.2.1 數(shù)學(xué)模型可以得到后驗概率為= PT(YX)由前向概率和先驗概率可計算出信道輸出符號概率矩陣表示形式3.2.1 數(shù)學(xué)模型二進制離散信道（r=s=2） 由輸入值集合X=0,1,輸出值Y=0,1,

8、一組表示輸入、輸出關(guān)系的條件概率(轉(zhuǎn)移概率)組成。 P(yj /xi) X0,1Y0,13.2.1 數(shù)學(xué)模型 若信道存在干擾，導(dǎo)致二進制序列發(fā)生統(tǒng)計獨立的差錯，且條件概率對稱.P(Y=1/X=1)=P(Y=0/X=0)=1-P即P(Y=0/X=1)=P(Y=1/X=0)=P輸入是1或0輸出為0或1P= 0 1 這種對稱二進二出的信道叫做二進制對稱信道,簡稱BSC信道.3.2.1 數(shù)學(xué)模型信道模型:011-PPP1-P10 這種信道的輸出符號僅與對應(yīng)時刻輸入符號有關(guān),與以前輸入無關(guān)，故稱此信道是無記憶信道的.3.2.1 數(shù)學(xué)模型2.離散無記憶信道則P(Y=yi/X=xi)=P(yi/xi)稱為離

9、散無記憶信道若輸入值的集合 X=X0,X1Xr-1輸出 Y=y0,y1ys-1且信道和調(diào)制過程是無記憶的離散無記憶信道(DMC)3.2.1 數(shù)學(xué)模型決定DMC特點的條件概率P(yj/xi)可寫成矩陣形式 P(Y1=V1，Y2=V2Yn=Vn/X=U1X=Un) =若DMC信道的輸入、輸出是由n個符號組成的序列,其中uiX,viY，i=1 2,3,4n,則聯(lián)合條件概率為:3.2.1 數(shù)學(xué)模型轉(zhuǎn)移概率矩陣3.2.1 數(shù)學(xué)模型 若信道中有干擾,信道輸出不是一個固定值,是概率各異的一組值, 稱有擾離散信道.輸入Xi時,各可能輸出值yj的概率之和必得1,即:3.2.1 數(shù)學(xué)模型3.離散輸入連續(xù)輸出信道

10、設(shè)信道輸入符號是有限、離散的,其輸入字符集 信道輸出 稱離散輸入,連續(xù)輸出信道. 即 又稱半離散或半連續(xù)信道。 3.2.1 數(shù)學(xué)模型4.波形信道 若輸入是模擬波形，輸出也是模擬波形則為波形信道.若分析性能的理論極限多選用離散輸入,連續(xù)輸出的信道模型。 選擇何種模型取決于我們目的.從工程上講,最常用的DMC信道或BSC信道.3.2.1 數(shù)學(xué)模型3.2.2 信道容量 在單符號離散信道中，平均每個符號傳送的信息量定義為信道的信息傳輸率 。從統(tǒng)計角度而言，信道的噪聲總是有限的，總有部分信息能夠準確傳輸，所以信道的信息傳輸率為3.2.2 信道容量 互信息量 是輸入符號X 概率分布的凸函數(shù)。對于一個給定的

11、信道，總是存在某種概率分布 ，使得傳輸每個符號平均獲得的信息量最大，即對于每個固定的信道總是存在一個最大的信息傳輸速率，這個最大信息傳輸速率定義為信道容量。 什么是信道容量？3.2.2 信道容量定義 3-1 設(shè)某信道的平均互信息量為 ，信道輸入符號的先驗概率為 ，該信道的信道容量C 定義為 比特/符號 先驗概率分布 應(yīng)當(dāng)滿足下列條件3.2.2 信道容量 對于給定信道，條件轉(zhuǎn)移概率p(bjai)是一定的，所以信道容量就是在信道的前向概率一定的情況下，尋找某種先驗概率分布p(x)，使得平均互信息量最大,這種先驗分布概率為最佳分布。3.2.2 信道容量 如果信道輸入滿足最佳分布，信息傳輸率最大，即達

12、到信息容量C；如果信道輸入的先驗分布不是最佳分布，那么信息傳輸率不能夠達到信息容量C。信道傳輸?shù)男畔⒘縍必須小于信道容量C,否則傳輸過程中會造成信息損失，出現(xiàn)錯誤；反之，如果RC成立，可以通過信道編碼方法保證信息能夠幾乎無失真地傳送到接收端。3.2.2 信道容量 1. 無干擾離散信道 這類信道是理想信道。輸入、輸出符號之間是確定性關(guān)系，可以根據(jù)輸入或者輸出劃分為互不相交的集合。 這類信道在實際通信系統(tǒng)中較少，在數(shù)據(jù)壓縮系統(tǒng)中，可以使用這類模型進行研究。根據(jù)信道輸入符號X與信道輸出符號Y之間的關(guān)系，可以分為下了幾種信道。3.2.2 信道容量 無噪無損信道 該信道的輸入、輸出集合符號數(shù)量相等，輸入

13、X與輸出Y之間是一一對應(yīng)。對于給定ai,由于p(bjai)只有一個為1，其余都為0，所以H(XY)=0,則 (a)無噪無損信道模型 X Y 1 1 1 1 3.2.2 信道容量 根據(jù)信道容量的定義，信道容量就是平均互信息量的最大值，根據(jù)極大熵定理可知，當(dāng)輸入符號的先驗概率為等概率分布時，H(X) 取得最大值 ,信道容量為 比特符號 所以當(dāng)輸入信源滿足等概率分布時，信息傳輸率最大，達到信道容量。這類信道的前向概率矩陣和后驗概率矩陣是相等的，都是rr單位矩陣，3.2.2 信道容量 無噪有損信道 信道輸出符號Y 集合的數(shù)量小于信道輸入符號 X集合的數(shù)量，即rs，形成多對一的映射. X Y 1 1 1

14、 1 (b)無噪有損信道 3.2.2 信道容量 這類信道的特點是，信道概率轉(zhuǎn)移矩陣中每行只有一個非零元素. 接收到符號Y后,不能確定信道輸入X ，即不能夠完全消除X的不確定性，所以H(XY)0，且H(X)H(Y) ,I(X;Y)=H(Y). 信道容量為3.2.2 信道容量3.2.2 信道容量X Y 1 1 1 1 (b)無噪有損信道 有噪無損信道 信道輸出符號Y集合的數(shù)量大于信道符號X集合的數(shù)量,即rs,形成一對多的映射關(guān).由于一對多的映射關(guān)系,不能由輸入完全確定信道的輸出,H(XY) 0，H(X)H(Y),I(X;Y)=H(X). X Y 0.4 0.6 0.7 0.3 (c)有噪無損信道

15、信道的容量為3.2.2 信道容量 當(dāng)信道輸入為等概率輸入時，I(X;Y)=H(X) 才能取得最大值，所以先驗概率的最佳分布就是使得 p(aj)=1/r 的分布。這類信道的特點是，信道概率轉(zhuǎn)移矩陣中每列只有一個非零元素.P(YX)3.2.2 信道容量 2. 對稱離散信道的信道容量 對稱離散無記憶信道是最簡單的信道之一， 1）輸入對稱信道容量 定義 3-2: 如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，則稱信道關(guān)于輸入是對稱的，這種信道稱為輸入對稱離散信道。 例如，信道轉(zhuǎn)移矩陣為3.2離散單符號信道及容量3.2離散單符號信道及容量又比如信道轉(zhuǎn)移矩陣即條件熵H(Y | X)與信道輸入的符號

16、無關(guān)。因此，輸入對稱信道的容量為3.2離散單符號信道及容量為了表示方便起見，假設(shè)轉(zhuǎn)移矩陣首行元素為則有由于 所以輸入對稱信道的容量就是找到一種分布，使得信道輸出的熵最大?！纠?3.2-1】 信道的轉(zhuǎn)移矩陣為 求該信道的容量 。 解 設(shè)信道輸入的概率空間為 3.2離散單符號信道及容量 信道輸出的概率分布為 取得極值的條件為 解上述方程可以得到取極值的條件為P=0.5 ，即當(dāng)信道輸入為等概率分布時，H(Y)取得最大值，所以 3.2離散單符號信道及容量該信道的容量為 而應(yīng)當(dāng)首先假設(shè)信道輸入分布，然后解決極值問題3.2離散單符號信道及容量此時信道輸出的概率分布為 所以，當(dāng)信道只是輸入對稱時，信道容量不

17、能簡單認為是上次課內(nèi)容 3.1信道分類3.2離散單符號信道及容量3.2.1數(shù)學(xué)模型3.2.2信道容量 1. 無干擾離散信道 2. 對稱離散信道的信道容量 1)輸入對稱信道1、信道的作用： 把攜有信息的信號從它的輸入端傳遞到輸出端。信道最重要特征參數(shù)是信息傳遞能力，即信道容量.2、什么是信道容量？ 互信息量I(X,Y)是輸入符號X 概率分布的凸函數(shù)對于一個給定的信道，總是存在某種概率分布p(xi),使得傳輸每個符號平均獲得的信息量最大，即對于每個固定的信道總是存在一個最大的信息傳輸速率，這個最大信息傳輸速率定義為信道容量。 復(fù)習(xí)1. 無干擾離散信道 無噪無損信道無噪有損信道有噪無損信道 X Y

18、0.4 0.6 0.7 0.3 復(fù)習(xí)2、對稱離散信道的信道容量1）輸入對稱信道容量 如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，這種信道稱為輸入對稱離散信道。復(fù)習(xí)3.2.2 信道容量 2）輸出對稱信道容量 3）準對稱信道容量 4）對稱DMC信道容量 5）一般離散信道的容量3.3 離散序列符號信道及容量3.4 信源與信道的匹配3.5* 連續(xù)信道及其容量本次課內(nèi)容 2）輸出對稱信道容量 定義：如果信道轉(zhuǎn)移概率矩陣中所有列矢量都是 第一列的某種置換，則稱信道是關(guān)于輸出 對稱離散信道。 3.2離散單符號信道及容量例如：信道轉(zhuǎn)移矩陣 都是輸出對稱信道。和輸出對稱信道容量： 若信道輸出對稱，則當(dāng)

19、信道輸入符號等概率分布時,信道輸出也是等概率分布的。信道輸出符號的熵為3.2離散單符號信道及容量 由于信道轉(zhuǎn)移矩陣是已知的，H(YX)可以使用下列公式3.2離散單符號信道及容量 只要能夠求出使得上式取得最小值的信道輸入概率分布，即可求出信道容量4）對稱信道容量若轉(zhuǎn)移概率矩陣 每一行都是第一行的轉(zhuǎn)置, 稱矩陣是輸入對稱.若每一列都是第一列的轉(zhuǎn)置,稱矩陣是輸出對稱.若輸入輸出都對稱,稱對稱DMC信道。例 和 對稱信道3.2離散單符號信道及容量 和 不對稱 3.2離散單符號信道及容量 對稱信道的容量: 由于對稱信道是關(guān)于輸入對稱，而輸入對稱信道的容量為3.2離散單符號信道及容量且滿足 與信道輸入的分

20、布無關(guān)，只與條件概率分布有關(guān).為了討論問題方便起見，假設(shè)信道轉(zhuǎn)移矩陣第一行中，各元素對應(yīng)的條件概率分別為(p1,p2.ps)，有: 對稱信道輸出也是對稱的，當(dāng)信道輸入是等概率分布時，信道輸出也是等概率分布,取得最大值3.2離散單符號信道及容量則對稱信道容量 對稱信道的信道容量只與信道的轉(zhuǎn)移矩陣中的行矢量和輸出符號集合的數(shù)量有關(guān)。如果希望信息傳輸率達到信道容量，信道輸入應(yīng)當(dāng)滿足等概率分布。 【例 3.2-2】 設(shè)某信道轉(zhuǎn)移矩陣為 求信道容量 解：由信道轉(zhuǎn)移矩陣可知，矩陣的第二行是第一行的置換，每一列都是第一列的置換，所以信道是對稱的，所以信道容量為3.2離散單符號信道及容量 【例 3-3】假設(shè)信

21、道的輸入、輸出符號數(shù)相等，都等于r,且信道條件轉(zhuǎn)移矩陣為 求:信道容量 。 解:顯然該信道是對稱的，信道容量為3.2離散單符號信道及容量 上述信道稱為強對稱信道或者是均勻信道，是對稱信道的一個特例。一般信道轉(zhuǎn)移矩陣中，列元素之和并不等于1，而該信道轉(zhuǎn)移矩陣的各列元素之和都等于1。3.2離散單符號信道及容量當(dāng)r=2時，信道容量為3）準對稱信道容量 定義 3-4： 如果信道轉(zhuǎn)移矩陣按列可以劃分為幾 個互不相交的子集，每個子矩陣滿 足下列性質(zhì)： (1)每行都是第一行的某種置換； (2)每列都是第一列的某種置換。 稱該信道為準對稱信道。3.2離散單符號信道及容量或者說：每一行都是第一行元素的不同排列，

22、每一列并不都是第一列元素的不同排列，但可按著信道矩陣的列將信道矩陣劃分成若干個子矩陣。稱這類信道為準對稱信道。例：可劃分成兩個對稱矩陣準對稱矩陣3.2離散單符號信道及容量 準對稱信道是關(guān)于輸入對稱的，可以使用輸入對稱信道的方法直接求解.輸入對稱信道的容量為： 3.2離散單符號信道及容量準對稱信道的容量: 由于信道輸入不一定存在一種分布使得信道輸出滿足等概率分布,所以準對稱信道的信道容量滿足下列關(guān)系 可以證明，準對稱信道信道輸入的最佳分布是等概率分布，信道容量為3.2離散單符號信道及容量 其中p1,p2,ps為準對稱信道轉(zhuǎn)移矩陣中的一行元素,n為劃分的子集數(shù)量,Nk為第k個子矩陣的行元素之和,M

23、k為第k個子矩陣的列元素之和。定理 3-1 ：準對稱離散信道的信道容量是在 信道輸入為等概率分布時達到的。3.2離散單符號信道及容量 上式為準對稱信道容量計算公式，而到達信道容量的信道輸入最佳概率分布由下列定理確定。【例 5.2-4】設(shè)某信道的轉(zhuǎn)移矩陣為求：信道容量 。解：從該信道轉(zhuǎn)移矩陣可以看出，該信道是一個準對稱信道，可以分解為 3.2離散單符號信道及容量是兩個互不相交的子集，而每個子集都是對稱信道形式，對應(yīng)參數(shù)分別為N1為第1個子矩陣的行元素之和M1為第1個子矩陣的列元素之和 由準對稱離散信道的信道容量計算公式3.2離散單符號信道及容量稱該信道為二元純對稱刪除信道，其信道容量為 qqqq

24、pqqpH2log)1log()1(),1(2log-= qqqpqppp-+-+=12log)1()1log()1(log 如果p=0，則3.2離散單符號信道及容量 1-q a1 b1 q b2 q a2 b3 1-q 圖3-4二元純對稱刪除信道 【例 3.2-5】 信道轉(zhuǎn)移矩陣為 求：信道容量 。 解：該信道是準對稱信道，可以分解為三個互不相交的子集，分別為3.2離散單符號信道及容量對應(yīng)的參數(shù)分別為3.2離散單符號信道及容量信道容量為61,31,216131321=+=NNN 316161,323131,216131321=+=+=+=MMM 31log6132log3121log21)6

25、1,61,31,31(2log-=H =0.041比特/符號3. 一般離散信道的容量 從信道容量的定義知，信道容量是在信道給定的情況下，即信道轉(zhuǎn)移矩陣一定條件下，從信道所有可能輸入概率分布中尋找一種最佳分布，使得信道輸入、輸出之間的平均互信息量最大，即，使得信道的輸入概率分布與信道匹配。3.2離散單符號信道及容量 對于一般離散信道，首先假設(shè)信道的輸入概率分布，根據(jù)信道容量的定義和輸入概率分布的約束條件，直接求解極值,即可得到最佳分布； 然后根據(jù)最佳分布計算信道輸入、輸出之間的平均互信息量，既得到信息容量。 如果信道輸入、輸出符號數(shù)量較少，這種方法是可行的。3.2離散單符號信道及容量 【例 3-

26、6】 信道轉(zhuǎn)移矩陣為 3.2離散單符號信道及容量求:信道輸入最佳分布和信道容量 。解:由信道轉(zhuǎn)移矩陣知,信道不對稱的, 信道的輸入、輸出符號數(shù)量都為2. 設(shè)輸入符號的概率為p,1-p。 先求出信道輸出概率頒布p(bj).由公式3.2離散單符號信道及容量將相關(guān)參數(shù)帶入上述計算公式，得到；3.2離散單符號信道及容量對p求導(dǎo)，得到最佳分布3.2離散單符號信道及容量比特符號得到,p=0.532 ，所以信道容量為 從上例可以看出，即使是簡單的非對稱二元信道，其最佳分布的求解也十分復(fù)雜，不借用計算機很難求出最佳分布，所以一般離散信道的信道容量的求解要通過計算機來進行。 下面討論一般離散信道的解法。 3.2

27、離散單符號信道及容量 一般離散信道容量的計算由于 的上凸函數(shù)，故極大值存在。并且 要滿足非負且歸一化的條件，因此，求信道容量歸結(jié)為求有約束極值的問題。為了書寫方便，記 。 現(xiàn)求 在約束 下的極值。 利用拉格朗日乘子法，求函數(shù) 的極值。 計算 并使其為0 并考慮到 ， 得：所以，有記因為 ，所以 定理 3-2 設(shè)有一般離散信道,它有r個輸入個符號， s個輸出符號，其平均互信息I(X,Y)達到 極大值（即等于信道容量）的充要條件是 輸入概率分布p(ai)滿足3.2離散單符號信道及容量 常數(shù)C就是所求的信息容量。 其中CYaIi=);( 對所有0)(iap的ia );(YaIiC 對所有0)(=ia

28、p的ia 上述定理只是給出了達到容量時，信道輸入符號分布的充要條件，并不能給出信道的最佳概率分布，即,沒有給出信道容量的計算公式。 另，達到信道容量的最佳分布一般不是唯一的，只要輸入分布滿足概率的約束條件，并且使得I(X,Y)達到最大值即可。所以一般情況下，根據(jù)上述定理求解信道容量和信道輸入的最佳概率分布還是十分復(fù)雜的。 對于某些特殊信道，可以使用上述定理求解信道容量。3.2離散單符號信道及容量 【例3-7】 設(shè)某信道的轉(zhuǎn)移矩陣為3.2離散單符號信道及容量求;該信道容量和信道輸入的最佳概率分布。解: 該信道不能直接使用對稱信道計算其信道容量 若信道輸入符號的概率p(a2)=0,該信道就是一個二

29、元純對稱刪除信道。 就可以假設(shè) p(a1)=p(a3)=1/2,然后檢查是否滿足定理3-2的條件,如果滿足就可以計算出信道容量3.2離散單符號信道及容量首先求出p(bj)3.2離散單符號信道及容量p(a1)=p(a3)=1/2, p(a2)=0計算互信息量3.2離散單符號信道及容量 該輸入概率分布滿足定理3-2的條件,信道容量為C=0.9,對應(yīng)的信道輸入最佳概率分布為(0.5,0,0.5)CYaIi=);( 對所有0)(iap的ia );(YaIiC 對所有0)(=iap的ia 3.3離散序列符號信道及容量 前面討論了輸入和輸出都是單個隨機變量的信道及其容量，分析了對稱信道、準對稱信道、一般離

30、散信道的信道容量和信道最佳概率分布的計算方法。實際中，信道輸入、輸出常常是離散隨機序列。離散序列信道的一般模型見圖3.3離散序列符號信道及容量圖3-5 離散序列信道模型 對于無記憶離散序列信道，設(shè)序列長度為N，則信道轉(zhuǎn)移概率可以簡化為 如果信道是平穩(wěn)的，則信道轉(zhuǎn)移概率可以進一步簡化為 p(YX) = 3.3離散序列符號信道及容量 討論無記憶離散信道： 設(shè)信道輸入符號取自于符號集 信道輸出符號取自于符號集 信道轉(zhuǎn)移矩陣為 3.3離散序列符號信道及容量設(shè)序列長度為N，信道輸入序列記作 i=(ai1,ai2,.air) i=1，2，rN，信道輸出序列記作j=(bj1,bj2.bjs) j=1，2，s

31、N，由于信道輸入共有rN種可能取值,信道輸出有sN種可能取值,所以N次擴展信道的轉(zhuǎn)移概率矩陣為rNsN的矩陣，可以表示為3.3離散序列符號信道及容量 對于無記憶信道,上述的轉(zhuǎn)移概率可以簡化為 其中，m=1，2，rN，n=1，2，sN 長度為N的離散序列平均互信息量為 I(X;Y)=H(XN)-H(XNYN)=H(YN)-H(YNXN)3.3離散序列符號信道及容量單符號無記憶信源的N次擴展信道：可以看作是一種特殊的多符號信道，而多符號信道是各個輸入信源Xi都取自同一集合X，并聯(lián)的各個輸出信宿Yj都取自同一集合Y, 這樣的N個信道的并聯(lián)。 定理3-3 設(shè)離散信道的輸入序列為X=(X1,X2,XN)

32、,信道輸出序列為Y=(Y1,Y2,YN),信道的轉(zhuǎn)移概率為 ，有 (1)如果信道本身是無記憶的，則 (2)如果信道的輸入序列是無記憶的，幾個分量相互獨立，則 3.3離散序列符號信道及容量 (3)如果輸入序列和信道都是無記憶的，則 其中,Xi和Yi分別表示隨機序列X和Y中第i個隨機變量 該定理描述了離散信道中隨機序列的平均互信息量I(X;Y)與信道輸入和輸出中各個隨機變量的平均互信息量之和之間的關(guān)系。特別是當(dāng)信道輸入序列和信道都是無記憶時，兩者相等。如果構(gòu)成信道輸入、輸出隨機序列的各個隨機變量來自于同一符號集，都服從同一分布，而且信道也是平穩(wěn)的. 3.3離散序列符號信道及容量 各互信息量滿足下列

33、關(guān)系： I(X;Y)=I(Xi,Yi) ，i=1，2，N 于是可以得出結(jié)論由于信道輸入隨機序列的各個變量都在同一信道中傳輸，所以有 Ci = C3.3離散序列符號信道及容量其中，i=1，2，N，即具有相同的信道容量。于是，可以得到離散無記憶N次擴展信道的容量為 CN = NC此式表明,離散無記憶N次擴展信道的信道容量等于構(gòu)成單個離散信道的信道容量的N倍,而信道輸入序列的最佳分布是構(gòu)成序列的每個隨機變量都達到各自的最佳概率分布。 對于一般的離散無記憶信道的N次擴展信道，如果信道輸入隨機變量是無記憶的，且信道是非平穩(wěn)的則有 3.3離散序列符號信道及容量 有記憶的離散序列信道的分析比無記憶的離散序列

34、信道的分析要復(fù)雜得多，特殊情況下可以通過狀態(tài)變量來分析，這里不進行討論。 【例3.3-1】某二元離散無記憶信道的轉(zhuǎn)移矩陣為 3.3離散序列符號信道及容量求信道容量C。對信道進行二次擴展，擴展后的信道轉(zhuǎn)移矩陣為解：由擴展信道的轉(zhuǎn)移矩陣知，二次擴展信道是對稱信道，當(dāng)輸入序列等概率分布時可以達到信息容量C2，將擴展后的每種序列排列認為是一個符號，二次擴展信道就等價于四元信道，四元對稱信道的信道容量為3.3離散序列符號信道及容量3.3離散序列符號信道及容量 在實際中經(jīng)常有信道的并聯(lián)和串聯(lián)，下面簡單介紹。1.串聯(lián)信道。 假設(shè)信道1的轉(zhuǎn)移矩陣為P1,信道2的轉(zhuǎn)移矩陣為P2，串聯(lián)信道總的概率轉(zhuǎn)移矩陣為 P=

35、P1P2兩個信道的串聯(lián)型式平均互信息量滿足 I(X；Z)I(X；Y) I(X；Z)I(Y；Z)總的信道容量不會大于各組成信道的信道容量，即 C minC1，C2可以將該結(jié)論擴展到m級串聯(lián)，得到總的轉(zhuǎn)移矩陣為 3.3離散序列符號信道及容量根據(jù)總得轉(zhuǎn)移矩陣即可求出串聯(lián)信道的容量為其中，X和Z分別表示串聯(lián)信道的輸入和輸出符號。而且滿足 C minC1，C2，Cm 2.并聯(lián)信道 將m個相互獨立的信道并聯(lián)，如圖所示，3.3離散序列符號信道及容量 每個信道輸出Yi只與本信道輸入Xi有關(guān)(i=1,2,m), 假設(shè)各個信道的轉(zhuǎn)移概率分別為 ，那么序 列的轉(zhuǎn)移概率為 如果每個信道都是無記憶的，總的信道也是無記憶

36、的，則滿足 I(X；Y) 獨立并聯(lián)信道的容量為 C=maxI(X；Y) 3.3離散序列符號信道及容量當(dāng)輸入隨機變量Xi相互獨立，且有p(X1,X2Xm) 達到最佳分布時容量最大(為各自信道容量之和)。 3.4 信源與信道的匹配 實際通信中，經(jīng)常使用離散信道分析信息傳輸問題。對于給定離散信道，其容量是存在的，而且是一個確定量，只有信源輸入滿足最佳分布時，信息的傳輸才能夠達到信道容量，即只有特殊分布的信源才能夠使信息傳輸速率最大。 3.4 信源與信道的匹配 一般信源與信道連接時,信息傳輸速率R等于信源與信宿之間的平均互信息量R=I(X,Y)。 信源的分布并不總是滿足信道輸入的最佳概率分布，所以信息

37、傳輸速率總是小于信道的容量的。 當(dāng)信息傳輸速率達到信道容量時，稱為信源與信道達到匹配，否則信道有冗余。3.4 信源與信道的匹配 定義3-5 設(shè)信道的信息傳輸速率為R=I(X,Y)，信道容量為C，信道的剩余度定義為 信道冗余度=C-I(X,Y) 相對剩余度定義為 3.4 信源與信道的匹配 一般情況下，信源輸出符號之間總是存在較強的相關(guān)性，而且信源的分布與信道難以匹配。當(dāng)離散信道是對稱的或者接近對稱時，為了實現(xiàn)有效的信息傳輸，要求信源輸出符號分布盡可能接近信道要求的等概率分布，為此可以采用信源編碼技術(shù)去除信源符號之間的相關(guān)性，并且經(jīng)過適當(dāng)?shù)淖儞Q后，信源編碼輸出符號分布盡可能接近等概率分布，就可使信

38、道傳輸速率R達到或者接近信道容量，實現(xiàn)信源與信道的匹配。 3.4 信源與信道的匹配 如果信道的傳輸速率R小于信道容量C,可以對信源輸出進行適當(dāng)?shù)男诺谰幋a,實現(xiàn)無誤差的信息傳輸； 如果信道的信息傳輸速率R大于信道容量C，實現(xiàn)無差錯信息傳輸是不可能的。3.4 信源與信道的匹配 5.5 連續(xù)信道及其容量 對于連續(xù)信源，互信息量具有與離散信源相同的形式，即互信息量為信源的熵與條件熵之差，而連續(xù)信道的容量同樣定義為互信息量的最大值，在形式上，連續(xù)信道的信道容量與離散信道的信道容量是相同的。 離散信道的輸入、輸出符號都是離散的，所以用概率轉(zhuǎn)移矩陣加以描述；而連續(xù)信道的輸入、輸出符號都是連續(xù)變量，所以使用條

39、件概率密度函數(shù)描述信道輸入、輸出變量之間的關(guān)系。5.5 連續(xù)信道及其容量 5.5.1 連續(xù)單符號加性信道 連續(xù)單符號加性信道是最簡單的單符號信道，信道的輸入和輸出都是連續(xù)隨機變量，如圖5-8所示。 圖5-8 連續(xù)單符號信道 5.5 連續(xù)信道及其容量 首先假設(shè)信道引入的噪聲是均值為0，方差為 的高斯白噪聲，即 ，該噪聲的連續(xù)熵為 (5.5-1) 根據(jù)熵之間的關(guān)系可知，單符號連續(xù)信道的平均互信息量可以表示為5.5 連續(xù)信道及其容量信道容量定義為 (5.5-2)對于加性噪聲信道而言，條件熵 為 證明略。 5.5 連續(xù)信道及其容量 綜合起來，連續(xù)單符號加性噪聲信道的信道容量為 (5.5-3) 如果噪聲

40、為高斯白噪聲，則有 (5.5-4) 根據(jù)限平均功率最大熵定理，只有當(dāng)信道輸出 為高斯分布時， 取得最大值，即 ，其中， 表示 的平均功率限制值。 信道輸入 與信道的噪聲之間相互獨立，而變量 可以表示為 5.5 連續(xù)信道及其容量 根據(jù)高斯分布性質(zhì)：兩個高斯分布的加、減仍然服從高斯分布，假設(shè) ，則有 所以 又 5.5 連續(xù)信道及其容量 于是可以得出結(jié)論：當(dāng)信道輸入服從高斯分布，假設(shè) 時，達到信道容量 ，信道容量為 (5.5-5) 其中， 稱為信噪比。5.5 連續(xù)信道及其容量 要注意的是，這里沒有考慮信道對輸入信號的衰減，即認為 是經(jīng)過信道衰減后的功率。實際中，信道的噪聲不一定服從高斯分布，根據(jù)上文

41、討論可知，只要噪聲是加性的，就可以進行計算，下面不加證明地給出均值為0，方差為 的加性噪聲信道容量的界5.5 連續(xù)信道及其容量 上述不等式的意義在于：對于給定的加性噪聲信道，如果信道的輸入能夠使得信道輸出為高斯分布，則信道容量到達上限 ，而一般情況下，信道容量是小于該上限的。高斯信道是所有加性信道中最差的信道，任何其他類型加性噪聲信道的容量都大于其信道容量。 所以實際中，在平均功率受限的條件下，經(jīng)常假設(shè)噪聲服從高斯分布，除了高斯噪聲的分析比較方便之外，還因為高斯信道的信道容量是最小的，對信道的干擾最大。5.5 連續(xù)信道及其容量5.5.2 多維無記憶加性連續(xù)信道 設(shè)信道輸入隨機序列 ，信道輸出的

42、隨機序列為 ，由于高斯噪聲具有代表性，這里只討論高斯信道。設(shè) 是均值為零的高斯噪聲序列，由于信道無記憶，則有 又因是加性信道，所以得 5.5 連續(xù)信道及其容量 即噪聲序列中各分量是統(tǒng)計獨立的。噪聲 是高斯噪聲，又各分量統(tǒng)計獨立，所以各分量 是均值為零、方差為 的高斯變量。這樣，多維無記憶高斯加性信道可等價成 個獨立的并聯(lián)高斯加性信道。 由于 則有 (5.5-6)5.5 連續(xù)信道及其容量 從上式可知，各時刻 上的噪聲是均值為零、方差為不同的 高斯噪聲，于是，當(dāng)且僅當(dāng)輸入隨機矢量 中各分量統(tǒng)計獨立，并且也是均值為零、方差為不同的 的高斯變量時，才能達到此信道容量。 可見，上式是多維無記憶高斯加性連

43、續(xù)信道的信道容量，也是 個獨立的、并聯(lián)組合的、高斯加性信道的信道容量。5.5 連續(xù)信道及其容量 （1） 如果各個時刻 上的噪聲都是均值為零、方差為 的高斯噪聲，則信道容量 為 比特 個自由度 當(dāng)且僅當(dāng)輸入信號 的各分量統(tǒng)計獨立，并且都是均值為零、方差為 的高斯變量時，信息傳輸概率達到最大值。 （2）如果各個時刻 上的噪聲都是均值為零、方差為 的高斯噪聲，但輸入信號的總平均功率受限，則該約束條件為 5.5 連續(xù)信道及其容量 那么，此時各時刻的信號平均功率 應(yīng)如何分配？其信道容量應(yīng)等于多少？ 由于 其中， ，所以約束條件為 。只有當(dāng) 中各分量是均值為零、方差為 的統(tǒng)計獨立的高斯變量時，上式的等式才

44、成立。5.5 連續(xù)信道及其容量 極限問題 ，就是計算在約束條件 的情況下，使 達到最大。這是一個標(biāo)準的求極大值的問題，可以用拉格朗日乘法來計算。 構(gòu)造輔助函數(shù)為 對變量求偏導(dǎo)數(shù)，并令其為0，即 5.5 連續(xù)信道及其容量 整理后可以得到下列方程 上式計算得到的 可能會出現(xiàn)負數(shù)，這表明獨立并聯(lián)信道中，某一信道的噪聲平均功率 大于該信道分配得到信號平均功率，所以該信道就無法利用，只有令 ，即選取 ，其中 符號表示 的正數(shù)，即5.5 連續(xù)信道及其容量而常數(shù) 的選擇由約束條件求得于是，可得信道容量5.5 連續(xù)信道及其容量 上述結(jié)論說明，在 個獨立信道并聯(lián)構(gòu)成的高斯加性通道中，當(dāng)各分信道的噪聲平均功率不相

45、等（或多維無記憶高斯加性信道，各時刻噪聲分量的平均功率不相等）時，為達到最大的信息傳輸率，要對輸入信號的總能量進行適當(dāng)?shù)姆峙洌浞峙浒聪率竭M行 5.5 連續(xù)信道及其容量 即當(dāng)常數(shù) 時，此信道（或此時刻信號分量）不分配能量，不傳輸任何信息；當(dāng) 時，在這些信道（或此時刻信號分量）中分配能量，并使?jié)M足 加上 等于常數(shù) 。這樣得到的信道容量最大，即噪聲大的信道少傳甚至不傳送信息，而在噪聲小的信道多傳輸些信息，從而有利于信息傳輸。5.5 連續(xù)信道及其容量5.5.3 加性高斯白噪聲波形信道 上面討論的連續(xù)信道中，信道的輸入、輸出變量的幅度取值是連續(xù)變化的，而在時間上是離散的。而實際中的物理信道都是波形信道

46、，信道的輸入和輸出在幅度上都是連續(xù)變化的。對于這樣的信道應(yīng)當(dāng)適用隨機過程對其進行研究，首先對加性高斯白噪聲波形信道進行介紹。 假設(shè)信道的輸入、輸出都是平穩(wěn)隨機過程，在限頻 、限時 條件下將波形信道轉(zhuǎn)換為多維連續(xù)信道進行分析。設(shè)在時間 內(nèi)，將信道5.5 連續(xù)信道及其容量 輸入、輸出隨機過程在時間上離散為維數(shù)為 的隨機序列 和 ，從而可以得到波形信道的平均互信息為 對于波形信道而言，一般討論單位時間內(nèi)信息傳輸率 ， 定義為 比特秒 5.5 連續(xù)信道及其容量 信道容量 定義為 (5.5-7) 通常情況下，假設(shè)波形信道中的噪聲是均值為0、雙邊功率譜密度為 2的高斯白噪聲隨機過程。同樣可以將波形信道中的

47、噪聲在時間上離散化，在時間 內(nèi)使用 維隨機序列表示，由于信道帶寬總是受限的，設(shè)帶寬為 ，在時間 內(nèi)，隨機序列長度取為5.5 連續(xù)信道及其容量 這樣就將波形信道變換為多維無記憶高斯加性信道，所以得出下列結(jié)論： (5.5-8) 其中， 為每個噪聲分量的功率 ，即雙邊功率譜密度， 為每個信號樣本值的平均功率，當(dāng)信號受限于功率 時，滿足 5.5 連續(xù)信道及其容量 為信號帶寬，于是得到信道容量為 (5.5-9)所以波形信道的信道容量為 (5.5-10) 5.5 連續(xù)信道及其容量 其中， 為信號的平均功率， 為高斯白噪聲在帶寬為 內(nèi)的平均功率。信道的容量是帶寬和信噪功率比的函數(shù)。這就是著名的香農(nóng)公式。當(dāng)信

48、道輸入是平均功率受限的高斯白噪聲信號時，信息傳輸率才能達到該信道容量。 然而實際中信道一般為非高斯噪聲波形信道，由于噪聲熵小于高斯噪聲的噪聲熵，所以信道容量以高斯加性信道的信道容量為下限。5.5 連續(xù)信道及其容量 根據(jù)香農(nóng)公式，可以得出下列結(jié)論： （1）當(dāng)帶寬 一定時，信噪比與 信道容量 成對數(shù)關(guān)系。若 增大， 就增大，但增大到一定程度后就趨于緩慢。這說明增加輸入信號功率有助于容量的增大，但該方法是有限的；另一方面降低噪聲功率也是有用的，當(dāng) 趨向于0時， 趨向于無窮大，既無噪聲信道的容量為無窮大。 （2）當(dāng)輸入信號功率 一定，增加信道帶寬，容量可以增加，但到一定階段后增加變得緩慢。因為當(dāng)噪聲為

49、加性高斯白噪聲時，隨著 的增加，噪聲功率 也隨之增加，當(dāng) 趨向于0時， 趨5.5 連續(xù)信道及其容量 趨向于 ，利用關(guān)系式 （ 很小時）可求出 值。即當(dāng)帶寬不受限制時，傳送1比特信息，信噪比最低只需1.6dB，這就是香農(nóng)限，是加性高斯噪聲信道信息傳輸率的極限值，是一切編碼方式所能達到的理論極限。能獲得可靠的通信，實際值往往都比這個值大得多。 （3） 一定時，帶寬 增大，信噪比 可降低，即兩者是可以互換的。若有較大的傳輸寬帶，則在保持信號功率不變的情況下，可允許較大的噪聲，即系統(tǒng)的抗噪聲能力提高。無線通信中可擴頻系統(tǒng)就是利用了這個原理，將所需傳送的信號擴5.5 連續(xù)信道及其容量 頻，使之遠遠大于原

50、始信號寬帶，以增強抗干擾的能力。 最后，給出連續(xù)信道編碼定理。 定理5-4 對于限帶高斯白噪聲加性信道，噪聲功率為 ，帶寬為 ，信號平均功率受限于 ，有 （1）當(dāng)信道傳輸率 時，總是可以找到一種信道編碼在信道中以信息傳輸率 傳輸信息，而傳輸錯誤概率為任意??； 5.5 連續(xù)信道及其容量（2）當(dāng) 時，不存在一種信道編碼使得以 傳輸信息，而錯誤概率為任意小。 信道是通信系統(tǒng)的重要組成部分，本章從不同角度對信道進行分類。在信息論中，信道容量是信道能夠有效信息傳輸?shù)闹匾獏?shù)，而信道輸入分布和信道轉(zhuǎn)移概率已知的條件下，信道輸入與輸出之間平均互信息量定義為信道容量。在討論了幾種簡單離散無記憶信道的信道容量基礎(chǔ)上，重點介紹了離散無記