第三章 信道及其容量[章節(jié)講課]

1、第三章 信道及其容量 1章節(jié)課件 u 信道的任務(wù)是以信號方式傳輸信息和存儲信息。 u 研究信道中能夠傳送或存儲的最大信息量，即 信道容量。 2章節(jié)課件 3.1 信道的數(shù)學模型和分類 等效信道 干擾源 物理信道 解調(diào)器 編碼器 譯碼器 信宿 信源 調(diào)制器 實際信道 編碼信道 圖3.1.1 數(shù)字通信系統(tǒng)的一般模型 3章節(jié)課件 3.1 信道的數(shù)學模型和分類 一、信道的分類一、信道的分類 根據(jù)載荷消息的媒體不同根據(jù)載荷消息的媒體不同 根據(jù)信息傳輸?shù)姆绞礁鶕?jù)信息傳輸?shù)姆绞?4章節(jié)課件 根據(jù)信息傳輸?shù)姆绞椒诸愔懈鶕?jù)信息傳輸?shù)姆绞椒诸愔?根據(jù)信道的用戶多少：兩端根據(jù)信道的用戶多少：兩端(單用戶單用戶)信道信

2、道 多端多端(多用戶多用戶)信道信道 根據(jù)信道輸入端和輸出端的關(guān)聯(lián)：根據(jù)信道輸入端和輸出端的關(guān)聯(lián)： 無反饋信道無反饋信道 反饋信道反饋信道 根據(jù)信道的參數(shù)與時間的關(guān)系：根據(jù)信道的參數(shù)與時間的關(guān)系： 固定參數(shù)信道固定參數(shù)信道 時變參數(shù)信道時變參數(shù)信道 根據(jù)輸入和輸出信號的特點：根據(jù)輸入和輸出信號的特點： 離散信道離散信道 連續(xù)信道連續(xù)信道 半離散或半連續(xù)信道半離散或半連續(xù)信道 波形信道波形信道 5章節(jié)課件 二、離散信道的數(shù)學模型二、離散信道的數(shù)學模型 條件概率條件概率 P(y/x) 描述了輸入信號和輸出信號之間統(tǒng)計描述了輸入信號和輸出信號之間統(tǒng)計 依賴關(guān)系。反映了依賴關(guān)系。反映了信道的統(tǒng)計特性信

3、道的統(tǒng)計特性。 6章節(jié)課件 根據(jù)信道的根據(jù)信道的統(tǒng)計特性即條件概率統(tǒng)計特性即條件概率 P(y/x)P(y/x)的不同，的不同， 離散信道又可分成三種情況：離散信道又可分成三種情況： 無干擾信道無干擾信道 有干擾無記憶信道有干擾無記憶信道 有干擾有記憶信道有干擾有記憶信道 7章節(jié)課件 (1)無干擾無干擾(噪聲噪聲)信道信道 信道中沒有隨機性的干擾或者干擾很小，輸出信號信道中沒有隨機性的干擾或者干擾很小，輸出信號 y與輸入信號與輸入信號 x 之間有確定的、一之間有確定的、一 一對應的關(guān)系。即：一對應的關(guān)系。即： y f (x) )(0 )(1 )|( xfy xfy xyP 8章節(jié)課件 (2)有干

4、擾無記憶信道有干擾無記憶信道 信道輸入和輸出之間的條件概率是一般的概率分布。信道輸入和輸出之間的條件概率是一般的概率分布。 如果任一時刻輸出符號只統(tǒng)計依賴于對應時刻的輸入符號，如果任一時刻輸出符號只統(tǒng)計依賴于對應時刻的輸入符號， 則這種信道稱為無記憶信道。則這種信道稱為無記憶信道。 )|().|.()|( ii N i NN xyPxxxyyyPxyP 1 2121 9章節(jié)課件 (3) 有干擾有干擾(噪聲噪聲)有記憶信道有記憶信道 實際信道往往是既有干擾實際信道往往是既有干擾(噪聲噪聲)又有記憶的這種類型。又有記憶的這種類型。 例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時例如在數(shù)字信道中，

5、由于信道濾波使頻率特性不理想時 造成了碼字之間的干擾。造成了碼字之間的干擾。 在這一類信道中某一瞬間的輸出符號在這一類信道中某一瞬間的輸出符號不但與對應時刻的不但與對應時刻的 輸入符號有關(guān)，而且還與此以前其他時刻信道的輸入符號及輸入符號有關(guān)，而且還與此以前其他時刻信道的輸入符號及 輸出符號有關(guān)輸出符號有關(guān)，這樣的信道稱為有記憶信道。這樣的信道稱為有記憶信道。 10章節(jié)課件 三、單符號離散信道三、單符號離散信道 單符號離散信道：單符號離散信道： 輸入符號為輸入符號為X，取值于，取值于a1,a2, ,ar。 輸出符號為輸出符號為Y，取值于，取值于b1,b2, ,bs。 條件概率：條件概率：P(y/

6、x)P(y=bj/x=ai)P(bj/ai) 這一組條件概率稱為這一組條件概率稱為信道的傳遞概率信道的傳遞概率或或轉(zhuǎn)移概率轉(zhuǎn)移概率，可以用，可以用 來來描述信道干擾描述信道干擾影響的大小。影響的大小。 11章節(jié)課件 信道中有干擾信道中有干擾(噪聲噪聲)存在，可以用傳遞概率存在，可以用傳遞概率 P(bj/ai) 來描述干來描述干 擾影響的大小。擾影響的大小。 一般一般簡單的單符號離散信道簡單的單符號離散信道可以用可以用X, P(y/x) ,Y 三者加以描三者加以描 述。述。 其數(shù)學模型可以用概率空間其數(shù)學模型可以用概率空間X, P(y/x) ,Y描述。當然，也可描述。當然，也可 用下圖來描述：用

7、下圖來描述： a1 b1 a2 b2 X . . Y . . ar bs P(bj/ai) 12章節(jié)課件 例例1 二元對稱信道，二元對稱信道，BSC，Binary Symmetrical Channel 解：解：此時，此時，X:0,1 ; Y:0,1 ; r=s=2，a1=b1=0；a2=b2=1。 傳遞概率傳遞概率: pPabP pPabP ppPabP ppPabP )0|1()|( )1|0()|( 1)1|1()|( 1)0|0()|( 12 21 22 11 p是單個符號是單個符號傳輸發(fā)生錯誤傳輸發(fā)生錯誤的概率。的概率。 （1-p）表示是）表示是無錯誤傳輸無錯誤傳輸?shù)母怕?。的概率?

8、轉(zhuǎn)移矩陣轉(zhuǎn)移矩陣: -1 pp pp 1 0 1 0 1 1p a1=0 0=b1 1p a2=1 1=b2 p p 13章節(jié)課件 符號符號“2”表示接收到了表示接收到了“0”、“1”以外的特殊符以外的特殊符 號號 qq pp 10 01 0 2 1 0 1 p 0 0 1p 1 1 q 1q 2 例例2二元刪除信道。二元刪除信道。BEC，Binary Eliminated Channel 解：解：X:0，1 Y:0，1，2 此時，此時，r 2，s 3， 傳遞矩陣為：傳遞矩陣為： 14章節(jié)課件 一般離散單符號信道的傳遞概率可用矩陣形式表示，即一般離散單符號信道的傳遞概率可用矩陣形式表示，即 s

9、 j ijij pp 1 10 矩陣矩陣P完全描述了信道的特性，可用它作為離散單符號完全描述了信道的特性，可用它作為離散單符號 信道的另一種數(shù)學模型信道的另一種數(shù)學模型的形式。的形式。 P中有些是信道干擾引起的錯誤概率，有些是信道正確中有些是信道干擾引起的錯誤概率，有些是信道正確 傳輸?shù)母怕?。所以該矩陣又稱為傳輸?shù)母怕?。所以該矩陣又稱為信道矩陣信道矩陣（轉(zhuǎn)移矩陣）（轉(zhuǎn)移矩陣） 。 rsrr s s ppp ppp ppp P . : . . 21 22221 11211 b1 b2 bs a1 P(b1|a1) P(b2|a1) P(bs|a1) a2 P(b1|a2) P(b2|a2) P(

10、bs|a2) . ar P(b1|ar) P(b2|ar) P(bs|ar) 15章節(jié)課件 3.2 信道疑義度與平均互信息 本節(jié)進一步研究離散單符號信道的數(shù)學模型下的信本節(jié)進一步研究離散單符號信道的數(shù)學模型下的信 息傳輸問題。息傳輸問題。 16章節(jié)課件 一、信道疑義度一、信道疑義度 信道輸入信源信道輸入信源X的熵的熵 H(X)是在接收到輸出是在接收到輸出Y以前，關(guān)于輸入變量以前，關(guān)于輸入變量X的先驗不的先驗不 確定性，稱為先驗熵。確定性，稱為先驗熵。 )(log)( )( 1 log)()( 1 xPxP aP aPXH X i r i i 17章節(jié)課件 接受到接受到bj后，關(guān)于后，關(guān)于X的不

11、確定性為的不確定性為 后驗熵在輸出符號集后驗熵在輸出符號集Y范圍內(nèi)是個隨機量，對后驗熵在符范圍內(nèi)是個隨機量，對后驗熵在符 號集號集Y中求數(shù)學期望，得條件熵中求數(shù)學期望，得條件熵-信道疑義度信道疑義度： 這是接收到輸出符號這是接收到輸出符號bj后關(guān)于后關(guān)于X的的后驗熵后驗熵。 后驗熵是當信道接收端接收到輸出符號后驗熵是當信道接收端接收到輸出符號bj后，關(guān)于輸入后，關(guān)于輸入 符號的信息測度。符號的信息測度。 )|( 1 log)|()|( jX jj bxP bxPbXH )/()()/()|( 1 j s j jj bXHbPbXHEYXH r i ji ji s j j baP baPbP 1

12、1 )|( 1 log)|()( )|( 1 log)( , yxP xyP YX 18章節(jié)課件 互信息量互信息量 I(xi ; yj)：收到消息：收到消息yj 后獲得關(guān)于后獲得關(guān)于xi的信息量的信息量 )( )|( log )|( 1 log )( 1 log)/()();( i ji jii ji xp yxp yxpxp yxIxIyxI 二、平均互信息二、平均互信息 19章節(jié)課件 )( )|( log)();()();( i ji ji jiji ji ji xp yxp yxpyxIyxpYXI 平均互信息平均互信息I(X; Y)： I(xi ; yj)的的統(tǒng)計平均。統(tǒng)計平均。 l它

13、代表接收到符號集它代表接收到符號集Y后平均每個符號獲得的關(guān)于后平均每個符號獲得的關(guān)于X的信的信 息量，也表示了輸入與輸出兩個隨機變量之間的統(tǒng)計約息量，也表示了輸入與輸出兩個隨機變量之間的統(tǒng)計約 束程度。束程度。 20章節(jié)課件 21章節(jié)課件 平均互信息與各類熵的關(guān)系平均互信息與各類熵的關(guān)系 )( 1 log)()(; )( 1 log)()( yp ypYH xp xpXH YX )|( 1 log)()|(; )|( 1 log)()|( , xyp xypXYH yxp xypYXH YXYX )( 1 log)()( , xyp xypXYH YX 22章節(jié)課件 H(X)H(Y) H(X/

14、Y) H(Y/X) I(X;Y)I(X;Y) H(XY)H(XY) 23章節(jié)課件 兩種特殊信道兩種特殊信道 )(0 )(1 )|( xfyji xfyji xyp ij )(0 )(1 )|( xfyji xfyji yxp ji 24章節(jié)課件 Yy Xx yPxyp)()|( Yy Xx xPyxp)()|( 25章節(jié)課件 26章節(jié)課件 3.2 3.2 平均互信息的性質(zhì)平均互信息的性質(zhì) 平均互信息平均互信息 I(X;Y) 具有以下特性：具有以下特性： （1）非負性）非負性 即即 I(X;Y) = 0 當當X、Y統(tǒng)計獨立時等式成立。統(tǒng)計獨立時等式成立。 （2）極值性）極值性 即即 I(X;Y)

15、 = H(X) 當當 H(X/Y)=0 時，即信道中傳輸信息無損時，等式時，即信道中傳輸信息無損時，等式 成立。成立。 27章節(jié)課件 （3）交互性（對稱性）交互性（對稱性） 即即 I(X;Y) = I(Y;X) 當當 X、Y統(tǒng)計獨立時統(tǒng)計獨立時 I(X;Y) = I(Y;X)=0 當信道無干擾時當信道無干擾時(一一對應一一對應) I(X;Y) = I(Y;X)=H(X)=H(Y) 28章節(jié)課件 , (| )(| ) (;)( ;)()log( ) (| )log ( )( ) ( )( ) (| ) X YX Y X P y xP y x I X YI Y XP xyP x P y x P y

16、P y P yP x P y x 其中： 29章節(jié)課件 l 平均互信息平均互信息I(X;Y)是輸入信源的概率分布是輸入信源的概率分布P(x) 的的型凸函數(shù)。型凸函數(shù)。 30章節(jié)課件 l 平均互信息平均互信息I(X;Y)是信道傳遞的概率是信道傳遞的概率P(y/x)的的 型凸函數(shù)。型凸函數(shù)。 當當信源固定信源固定后，選擇不同的信道來傳輸同一信源符后，選擇不同的信道來傳輸同一信源符 號，在信道輸出端獲得關(guān)于信源的信息量是不同的。號，在信道輸出端獲得關(guān)于信源的信息量是不同的。 對每一種信源都存在一種最差的信道，此時干擾對每一種信源都存在一種最差的信道，此時干擾 (噪聲噪聲) 最大，而輸出端獲得的信息量

17、最小。最大，而輸出端獲得的信息量最小。 31章節(jié)課件 3.3.3 3 離散無記憶信道的擴展離散無記憶信道的擴展信道信道 s j ijij pp 1 10 )|().|.()|( 1 2121ij N i NN xyPxxxyyyPxyP rsrr s s ppp ppp ppp P . :.: . . 21 22221 11211 32章節(jié)課件 1 11111 11 1 12221 12 (. )(. ) (.)(. ) (|): (.)(. ) NN NN kk rrrsss rs a aabbb a aabbb pXY a aab bb NNNN N N srrr s s 21 2 222

18、1 1 1211 (|) khhk p 1212 (|) hhhNkkkN p b bba aa 1 (|)1,2,1,2, N NN hiki i p bakirhis 33章節(jié)課件 22 22 22 22 pppppp pppppp pppppp pppppp 2 11 21 31 2 41 (/)(00/00)(0/0) (0/0) (/)(01/00)(0/0) (1/0) (/)(10/00)(1/0) (0/0) (/)(11/00)(1/0) (1/0) PPPPp PPPPpp PPPPpp PPPPp 34章節(jié)課件 );();( NN YXIYXI )/()( NNN YXH

19、XH )/()( NNN XYHYH 35章節(jié)課件 N i ii xyPP 1 )/()/(xy N i ii YXIYXI 1 );();( 36章節(jié)課件 ),(),( 1 ii N i YXII YX ),(),(),( 1 YXNIYXII ii N i YX 37章節(jié)課件 研究信道的研究信道的目的目的是要討論信道中平均每個符號所是要討論信道中平均每個符號所 能傳送的信息量能傳送的信息量-信息傳輸率信息傳輸率R 平均互信息平均互信息I(X;Y)就是接收到符號就是接收到符號Y后平均每個后平均每個 符號獲得的關(guān)于符號獲得的關(guān)于X的信息量。的信息量。 所以：所以： R = I(X;Y) = H

20、(X) H(X|Y) (比特比特/符號符號) 3.4 3.4 離散信道的信道容量離散信道的信道容量 信道中每秒平均傳輸?shù)男畔⒘啃诺乐忻棵肫骄鶄鬏數(shù)男畔⒘?信息傳輸速率信息傳輸速率Rt Rt R/t = I(X;Y)/t = H(X)/t H(X|Y)/t （比特（比特/秒）秒） 38章節(jié)課件 一、一、 信道容量的定義信道容量的定義 由于平均互信息由于平均互信息I(X;Y)是輸入隨機變量的是輸入隨機變量的型凸函數(shù)型凸函數(shù) ，所，所 以對一固定的信道，總存在一種信源，使傳輸每個符號平均獲以對一固定的信道，總存在一種信源，使傳輸每個符號平均獲 得的信息量最大。得的信息量最大。 即存在一個最大的信息傳

21、輸率即存在一個最大的信息傳輸率 -定義為定義為信道容量信道容量C );(max )( YXIC XP t C C t 39章節(jié)課件 例例4 信道容量的計算信道容量的計算 )(1);( max pHYXI max (; )max()( ) 1( ) CIX YHppH p H p ()( )HppH p 當當 1 2 40章節(jié)課件 二、簡單離散信道的信道容量二、簡單離散信道的信道容量 100 010 001 )3 , 2 , 1,( 1 0 )/()/( ji ji ji baPabP jiij )/(loglog)(max)(max )()( symbolbitsrYHXHC yPxP 41章

22、節(jié)課件 100000 0 10 1 10 3 5 3 00 0000 2 1 2 1 P ”0“1)/( 1)/(1)/(1)/( 1)/(1)/( 63 524232 2111 其他各項后驗概率為 baP baPbaPbaP baPbaP symbolbitrXHC xP /log)(max )( 42章節(jié)課件 無噪有損信道無噪有損信道 () max( )log(/) P y CH Ysbit symbol 43章節(jié)課件 三、對稱離散信道的信道容量三、對稱離散信道的信道容量 2 1 6 1 3 1 3 1 2 1 6 1 6 1 3 1 2 1 3 1 3 1 6 1 6 1 6 1 6 1

23、 3 1 3 1 PP和 44章節(jié)課件 7 . 01 . 02 . 0 1 . 02 . 07 . 0 3 1 6 1 3 1 6 1 6 1 6 1 3 1 3 1 PP和 45章節(jié)課件 . 11 . 11 : . 11 pp p rr pp p Prr pp p rr 1pp 46章節(jié)課件 )/() ,., (log ),., ()(max 21 21 )( symbolbitpppHs pppHYHC s s xP YX xyp xypxpXYH )|( 1 log)|()()|( )/()(xXYHxp X Y xyp xypxXYH )|( 1 log)|()|( ),., ()/(

24、 21s pppHxXYH 47章節(jié)課件 3 1 3 1 6 1 6 1 6 1 6 1 3 1 3 1 P 48章節(jié)課件 四、離散無記憶四、離散無記憶N次擴展信道的信道容量次擴展信道的信道容量 ),(),( 1 ii N i YXII YX 49章節(jié)課件 即：即：CN = NC () () 1 () 1 1 max (; ) max(;) max (;) i N P X N ii P X i N ii P X i N i i CI X Y I X Y I X Y C 50章節(jié)課件 35 連續(xù)信道的信道容量 51章節(jié)課件 一、連續(xù)單符號加性高斯噪聲信道的信道容量一、連續(xù)單符號加性高斯噪聲信道的

25、信道容量 2 2log)(enh 2 0 2 0 log 2 1 2log2log P eePC )1log( 2 1 )1log( 2 1 2 n ss P PP 52章節(jié)課件 二、多維無記憶高斯加性連續(xù)信道二、多維無記憶高斯加性連續(xù)信道 N i i N i ii npxypxypnp 11 )()/()/()( N i ii YXIYXI 1 );();( N i ni si P P 1 1log 2 1 N i ni si P P 1 1log 2 1 );(max )( YXIC xp X1Y1=X1 +n1 n1 XNYN=XN +nN nN 53章節(jié)課件 Pn n s P PN C

26、1log 2 N i ni ni P P C 1 1log 2 1 0 0 0 )( x xx x nisi PP PPXE N i si N i i 11 2 nisi PP 54章節(jié)課件 nisi PP 55章節(jié)課件 )( 1 1 WP N i si 65. 0 0 . 1.2 . 01 . 01 10 1 10 1 1 N i ni PP 56章節(jié)課件 517. 06 . 0.2 . 01 . 01 6 1 6 1 6 1 i ni PP 5 . 05 . 0.2 . 01 . 01 5 1 5 1 5 1 i ni PP 5 . 04 . 0.2 . 01 . 01 4 1 4 1 4

27、 1 i ni PP 57章節(jié)課件 35. 2 4 . 03 . 02 . 01 . 0 5 . 0 log 2 1 log 2 1 log 2 1 1log 2 1 4 4321 4 1 4 1 nnnn i ni i ni si PPPP PP P C 58章節(jié)課件 53. 4 8 . 0.2 . 01 . 0 825. 0 log 2 1 log 2 1 log 2 1 8 87654321 8 1 nnnnnnnn i ni PPPPPPPPP C 85. 00 . 1.2 . 01 . 03 10 1 10 1 1 N i ni PP )(3 1 WP N i si 825. 08

28、. 0.2 . 01 . 03 8 1 59章節(jié)課件 三、限頻限時限功率的加性高斯白噪聲信道的信道容量三、限頻限時限功率的加性高斯白噪聲信道的信道容量 12 (,.,) L xx xx 12 (,.,) L yy yy yxn 2LWT 和 ，而在頻帶內(nèi)的高斯噪聲是彼此獨立的，從而有 按照采樣定理，在0，T范圍內(nèi)要求 。這是多維無記憶高斯加性信道，其信道容量為： 2 1 1 log 1 2 L i i i P C 0 =log(1) s P WT N W -這是重要的這是重要的香農(nóng)公式香農(nóng)公式。當信道輸入信號是平均功率受。當信道輸入信號是平均功率受 限的高斯白噪聲信號時，信息傳輸率才達到此信道容量。限的高斯白噪聲信號時，信息傳輸率才達到此信道容量。 60章節(jié)課件 61章節(jié)課件 WN P W T C C s T t 0 1loglim比特秒比特秒 62章節(jié)課件 3.6 信源與信道的匹配 在一般情況下，當信源與信道相連接時，其信息傳輸率并 未達到最大。我們總希望能使信息傳輸率越大越好，能