信息論與編碼單符號信道容量

1、信息論與編碼Information Theory and Coding通信與信息2014/2/253.2.2幾種特殊離散信道的信道容量最大的信息傳輸率為信道容量C相應(yīng)的信源概率分布最佳輸入分布一一對應(yīng)的無噪信道C max I ( X ;Y ) max H ( X ) log 2 np(ai )p(ai )C max I ( X ;Y ) max H ( X ) log 2 n擴(kuò)展性能的無噪信道p(ai )p(ai )C max I ( X ;Y ) max H (Y ) log 2 m歸并性能的無噪信道p(ai )p(ai )對稱離散信道強(qiáng)對稱離散信道（均勻信道）2C logn p logp

2、p log p222 n1C max I ( X ;Y ) log 2 m H q1 ,q2 , qm p(ai )C max R max I ( X ;Y )p(ai )p(ai )3.2.2幾種特殊離散信道的信道容量三、強(qiáng)對稱離散信道的信道容量（均勻信道）定義：信道的輸入和輸出符號個數(shù)相同，n=mp 1 p每個符號的正確傳遞概率為錯誤概率p均勻地分給(n-1)個輸出符號C logn H p, p, p,2n1n1 p n1 log2 n p log2 p p log2最佳輸入分布：等概分布。例：二元對稱信道（二進(jìn)制均勻信道）3 p p pn 1n 1 pp pPn n n 1n 1 p p

3、p n 1n 13.2.2幾種特殊離散信道的信道容量四、準(zhǔn)對稱離散信道的信道容量如果單符號離散信道矩陣 P 的行是可排列的，列是不可排列的。但矩陣中m列可以分成s個不相交的子集，各子集分別有m1, m2 , , ms 列( m= m1 + m2 + +ms ) ，若由 n 行 mk列(k=1,2, ,s) 組成的子矩陣 Pk為準(zhǔn)對稱信道。具有可排列性，則稱這信道 1 8 11 14 24 P 2 PP128 113 11 1 1 P 3 36 3 1 6 1 PPP1234 11 3 63 3 6 四、準(zhǔn)對稱離散信道的信道容量P 0.70.10.20.10.20.70.1 0.80.1P 0.

4、80.10.10.1 PP 0.10.8120.10.10.8I ( X ;Y ) H (Y ) H (Y / X ) H (Y ) H q1 ,q 2 , , qmC max I ( X ;Y ) maxH (Y ) H q1 ,q2 , qm p(ai )p(ai )將H(Y)中的m項分成s個子集M1, M2 , , Mk , , Ms各子集分別有 m1, m2 , , mk , , ms 項。，5四、準(zhǔn)對稱離散信道的信道容量s m p bjlog p bjH Yp blog p bjj k 1Mkp b jj 1 pb j log pb j pb j log pb j pbj M1pbj

5、 M s由于子矩陣 Pk 具有可排列性，當(dāng)信源X呈等概分布時，可使第k個子集的輸出概率相等，即達(dá)到其均值pbk ，此時第k個子集中的熵最大。H Y mk pbk log pbk sk 16最佳輸入分布：等概分布sC mk pbk log pbk H q1 ,q2 , qm k 1四、準(zhǔn)對稱離散信道的信道容量定理：對于單符號離散準(zhǔn)對稱信道，僅當(dāng)其輸入為等概率分布時，達(dá)到其信道容量。即：C max I ( X ;Y ) I ( X ;Y )p(ai )輸入等概H (Y ) H (Y / X )輸入等概例： 1 8 11 8 14 P1 2 4 P 2P273.2.3 離散信道容量的一般計算方法定理

6、：一般離散信道的平均互信息I(X;Y)達(dá)到極大值(等于C)的充要條件是輸入概率分布p(ai)滿足I (a i ;Y ) CI (a i ;Y ) Cp(ai ) 0p(ai ) 01)2 )i對一切i對一切這時常數(shù)C 就是所求的信道容量。式中mai ai mai j 1C p blog2p bjp blog2p bjjjj 1mai C mai ai j 1j 1p blog2p bjp blog2 p bjjj8 pb jai mI (ai ;Y )I (Y ;ai )p bjailog2pb j 1j3.2.3 離散信道容量的一般計算方法一般離散信道容量的計算步驟：mmpbai j pai log2pb jai ，求 jj 11.由bjjj 1 j l