第四章 離散信道容量

1、第四章 離散信道容量14.1 互信息和平均互信息互信息和平均互信息4.1.1單符號(hào)離散信道的數(shù)學(xué)模型單符號(hào)離散信道的數(shù)學(xué)模型信源信源X信宿信宿Y有擾信道有擾信道C C干擾源干擾源N N離散信源X的數(shù)學(xué)模型為10( )1,( )1niiip ap a )(,),(,),(),( , , , , ,)( 2121niniapapapapaaaaXPX24.1 互信息和平均互信息互信息和平均互信息4.1.1單符號(hào)離散信道的數(shù)學(xué)模型單符號(hào)離散信道的數(shù)學(xué)模型信宿Y的數(shù)學(xué)模型為 mjjjbpbp11)(, 1)(0 )b(,),(,),(),(b , ,b , ,b ,)( 2121mjmjpbpbpbp

2、bYPY34.1 互信息和平均互信息互信息和平均互信息4.1.1單符號(hào)離散信道的數(shù)學(xué)模型單符號(hào)離散信道的數(shù)學(xué)模型信道模型的表示方法信道模型的表示方法公式法公式法圖示法圖示法矩陣法矩陣法44.1 互信息和平均互信息互信息和平均互信息4.1.2 互信息量及其性質(zhì)互信息量及其性質(zhì)根據(jù)前面的信道的數(shù)學(xué)模型：根據(jù)前面的信道的數(shù)學(xué)模型： 如果信道是理想的，發(fā)出如果信道是理想的，發(fā)出ai收到收到ai則所獲得的信息則所獲得的信息量量 ai的不確定度的不確定度I(ai)； 如果信道不理想，發(fā)出如果信道不理想，發(fā)出ai收到收到bj,由由bj推測(cè)推測(cè)ai的概率，的概率，()ijp a b后驗(yàn)概率一一、定義、定義1：

3、我們將從bj中獲取有關(guān)ai的信息量稱為互信息量互信息量()(;)log () ijijip a bI a bp a54.1.2 互信息量及其性質(zhì)互信息量及其性質(zhì)一、互信息量的一、互信息量的定義定義 繼續(xù)討論第二章的例題，即某地二月份天氣構(gòu)成的信源為 81 ,81 ,41 ,21)( ),( ),( ),()(4321雪雨陰晴aaaaXPX“今天不是晴天”作為收到的信息b1，計(jì)算b1與各天氣之間的互信息量。64.1.2 互信息量及其性質(zhì)互信息量及其性質(zhì)一、互信息量的一、互信息量的定義定義2將互信息表達(dá)式展開得：將互信息表達(dá)式展開得： ()() iijI aI a b )(log)(log);(

4、jiijibapapbaI同樣道理，我們可以定義同樣道理，我們可以定義a ai i對(duì)對(duì)b bj j 的互信息量為的互信息量為 (2.1.9) ),2, 1;,2, 1( )( )()()(log);( mjniabIbIbpabpabIijjjijij7通信前ijab“輸入端出現(xiàn) 和輸出端出現(xiàn) ”的概率 )()()(jijibpapbap先驗(yàn)不定度（聯(lián)合自信息量） )()(1log)(jijibpapbaI發(fā)送發(fā)送接收接收4.1.2 互信息量及其性質(zhì)互信息量及其性質(zhì)一、互信息量的一、互信息量的定義定義38輸入輸出端的聯(lián)合概率)()()()()(jijijijibapbpabpapbap后驗(yàn)不定

5、度 )(1log)(jijibapbaI 一、互信息量的定義一、互信息量的定義3發(fā)送發(fā)送接收接收4.1.2 互信息量及其性質(zhì)互信息量及其性質(zhì)通信后9 這樣，通信后流經(jīng)信道的信息量，等于通信前后不定度的差 ), 2 , 1;, 2 , 1( )()()(logmjnibpapbapjiji )(1log)()(1logjijibapbpap( ;)()() ijijijI a bI abIab4.1.2 互信息量及其性質(zhì)互信息量及其性質(zhì)一、互信息量的定義一、互信息量的定義3104.1.2 互信息量及其性質(zhì)互信息量及其性質(zhì)二、互信息量的性質(zhì)二、互信息量的性質(zhì)( ;)(;) ijjiI a bI b

6、 a對(duì)稱性 當(dāng)X和Y相互獨(dú)立時(shí)，互信息為0 12()() () ijijp abp a p b();log =log1=0() ()ijijijp abI a bp a p b（）114.1.2 互信息量及其性質(zhì)互信息量及其性質(zhì)二、互信息量的性質(zhì)二、互信息量的性質(zhì))()/(ijiapbap)()/(ijiapbap互信息量可為正值或負(fù)值互信息量可為正值或負(fù)值 3互信息量為正，互信息量為正， b bj j使使a ai i的不確定度減小，的不確定度減小，上例中，上例中，“今天不是晴天今天不是晴天”為為0，二者相互獨(dú)立，二者相互獨(dú)立，“今天我很高興今天我很高興”為負(fù)，為負(fù)， b bj j沒有使沒有使

7、a ai i的不確定度減小，的不確定度減小，“今天有風(fēng)今天有風(fēng)”。)()/(ijiapbap124.1.3 平均互信息量及其性質(zhì)平均互信息量及其性質(zhì)一、信道疑義度一、信道疑義度( ;)ijI a b研究信源中各個(gè)消息之間的關(guān)系研究信源中各個(gè)消息之間的關(guān)系134.1.2 互信息量及其性質(zhì)互信息量及其性質(zhì)一、信道疑義度一、信道疑義度信道疑義度信道疑義度：11(| ) (|)() (|)nmijijijijH X YE I a bp ab I a b含義含義：收到：收到Y(jié)后關(guān)于后關(guān)于X尚存的平均不確定性。尚存的平均不確定性。性質(zhì)性質(zhì)： 0(| )H X YH Xequivocation144.1.2

8、 互信息量及其性質(zhì)互信息量及其性質(zhì)二、平均互信息量的定義二、平均互信息量的定義平均互信息平均互信息11()()log ( )nmijijijip a bp abp a平均交互信息量；交互熵);();(jibaIEYXInimjjijibaIbap11);()(154.1.2 互信息量及其性質(zhì)互信息量及其性質(zhì)二、平均互信息量的定義二、平均互信息量的定義計(jì)算時(shí)可用公式：計(jì)算時(shí)可用公式： (; )I X Y)()(YXHXH( )()H YH Y X()( )()H XH YH XY164.1.2 互信息量及其性質(zhì)互信息量及其性質(zhì)二、平均互信息量的定義二、平均互信息量的定義平均交互信息量與幾個(gè)測(cè)度函

9、數(shù)辨析 和 和 (; )I X Y( ;)ijI a b (; )I X Y()H X相同點(diǎn)：統(tǒng)計(jì)平均相同點(diǎn)：統(tǒng)計(jì)平均不同點(diǎn)：提供與獲得不同點(diǎn)：提供與獲得174.1.2 互信息量及其性質(zhì)互信息量及其性質(zhì)三、條件互信息和平均條件互信息三、條件互信息和平均條件互信息給定X、Y、Z三個(gè)離散概論空間，其連接關(guān)系為： 系統(tǒng)1系統(tǒng)2系統(tǒng)1XXYYZZ(a)(b)184.1.2 互信息量及其性質(zhì)互信息量及其性質(zhì)練習(xí)：練習(xí)： 有兩個(gè)硬幣，一個(gè)正常硬幣（一面是國徽，一面是面值），另一個(gè)是不正常的硬幣（兩面都是面值）?，F(xiàn)隨機(jī)抽取一次硬幣，拋擲兩次。問出現(xiàn)面值的次數(shù)對(duì)于硬幣的 識(shí)別能提供多少信息量？ 194.1.2

10、 互信息量及其性質(zhì)互信息量及其性質(zhì)四、平均互信息量的性質(zhì)四、平均互信息量的性質(zhì)非負(fù)性非負(fù)性(; )0I X Y 說明：信道每傳遞一條消息，總能提供一定的信息量。 注： 可正可負(fù)1)()/(ijiapbap)()/(ijiapbap)()/(ijiapbap( ;)ijI a b( ;)ijI a b( ;)ijI a b0,正常通信=0,通信中斷( ;)ijI a b=0,=0,如何證明？如何證明？ 2、C=logn n為輸入的符號(hào)數(shù)為輸入的符號(hào)數(shù) 3、C=logm m為輸出的符號(hào)數(shù)為輸出的符號(hào)數(shù) 454.2.3幾種特殊離散信道的容量幾種特殊離散信道的容量一、離散無噪信道一、離散無噪信道1、一

11、一對(duì)應(yīng)的無噪信道、一一對(duì)應(yīng)的無噪信道an bna1 b1a2 b21.000.0.0100.100naaaX,21nbbbY,2146a1 b1a2 b2an-1 bn-1an bn00.10000.010.10.00001.000X、Y一一對(duì)應(yīng)一一對(duì)應(yīng),此時(shí)此時(shí)H(X/Y)=0，H(Y/X)=0， CmaxI(X;Y)log n (p(ai)=1/n即等概即等概)p(ai)一一對(duì)應(yīng)的無噪信道一一對(duì)應(yīng)的無噪信道47a1 b1 b2 b32、具有擴(kuò)展功能的無噪信道具有擴(kuò)展功能的無噪信道a2 b4 b5 b6a3 b7 b8 38372625241312110000000000000000abab

12、ababababababpppppppp48此時(shí)，此時(shí)，H(X/Y)=0，H(Y/X) 0，且且 H(X) H(Y)。所以，所以，C = max H(X) = log n (p(ai)=1/n即等概即等概) p(ai)一個(gè)輸入對(duì)應(yīng)多個(gè)輸出一個(gè)輸入對(duì)應(yīng)多個(gè)輸出2、具有擴(kuò)展功能的無噪信道具有擴(kuò)展功能的無噪信道493、具有歸并性的無噪信道、具有歸并性的無噪信道a1 b1a2 a3 b2a4100010010001001a5 b3C = max H(Y) = log m p(ai) =？p(ai)H(X/Y) 0，H(Y/X) = 0多個(gè)輸入變成一個(gè)輸出多個(gè)輸入變成一個(gè)輸出50結(jié)論l無噪信道的信道容量

13、只取決于信道的輸入無噪信道的信道容量只取決于信道的輸入符號(hào)數(shù)符號(hào)數(shù)n或輸出符號(hào)數(shù)或輸出符號(hào)數(shù)m，與信源無關(guān)。，與信源無關(guān)。514.2.3 幾種特殊離散信道的信道容量幾種特殊離散信道的信道容量二、對(duì)稱信道容量計(jì)算二、對(duì)稱信道容量計(jì)算1、對(duì)稱信道的定義、對(duì)稱信道的定義：如果信道轉(zhuǎn)移矩陣滿足下列性質(zhì)：如果信道轉(zhuǎn)移矩陣滿足下列性質(zhì)： (1) 每行都是第一行的某種置換每行都是第一行的某種置換;(2) 每列都是第一列的某種置換。每列都是第一列的某種置換。 則稱該信道為對(duì)稱信道。則稱該信道為對(duì)稱信道。 顯然，對(duì)稱信道是輸入對(duì)稱顯然，對(duì)稱信道是輸入對(duì)稱的，也是關(guān)于輸出對(duì)稱的。的，也是關(guān)于輸出對(duì)稱的。 52練習(xí)

14、：判斷下列矩陣表示的信道是否是對(duì)稱信道練習(xí)：判斷下列矩陣表示的信道是否是對(duì)稱信道 61316131616131313p 40.7 0.20.10.1 0.2 0.7p 31316161616131311p3121612161316131212p53二、對(duì)稱信道容量的計(jì)算二、對(duì)稱信道容量的計(jì)算 強(qiáng)對(duì)稱信道（均勻）強(qiáng)對(duì)稱信道（均勻）：pnpnpnpnppnpnpnpp1111.1.111.11n X np：總體錯(cuò)誤概率naaaX,21mbbbY,2154二、對(duì)稱信道容量的計(jì)算二、對(duì)稱信道容量的計(jì)算2、對(duì)稱信道的性質(zhì)、對(duì)稱信道的性質(zhì)：對(duì)稱信道滿足下列性質(zhì)：對(duì)稱信道滿足下列性質(zhì)： （1）即噪聲熵即噪聲

15、熵=矩陣第一行元素組成的熵函數(shù)矩陣第一行元素組成的熵函數(shù) （2）當(dāng)）當(dāng)P(X)（輸入）等概分布，輸出也是等概分布（輸入）等概分布，輸出也是等概分布注：這兩個(gè)性質(zhì)對(duì)后面求信道容量非常重要！注：這兩個(gè)性質(zhì)對(duì)后面求信道容量非常重要！12(/)(,)mH YXH q qq55二、對(duì)稱信道容量的計(jì)算二、對(duì)稱信道容量的計(jì)算3、對(duì)稱信道的信道容量：、對(duì)稱信道的信道容量：()()()max (, )max( )(|)max( )(|)iiip ap ap aCI X YH YH Y XH YH Y X由于對(duì)稱信道滿足：由于對(duì)稱信道滿足：12(/)( ,)mH YXH q qq()max( )logip aH

16、Ym綜合起來可以得出對(duì)稱信道的信道容量為綜合起來可以得出對(duì)稱信道的信道容量為12()max (, )log(,.,)imp aCI X YmH q qq對(duì)稱信道關(guān)于輸出也是對(duì)稱的，當(dāng)信道輸入是等概率分布對(duì)稱信道關(guān)于輸出也是對(duì)稱的，當(dāng)信道輸入是等概率分布時(shí)，信道輸出也是等概率分布，時(shí)，信道輸出也是等概率分布，H(Y)取得最大值取得最大值56典型例子典型例子均勻信道信道容量計(jì)算均勻信道信道容量計(jì)算解解 顯然該信道是對(duì)稱的，信顯然該信道是對(duì)稱的，信道容量為道容量為log(1,.,)11ppCnHpnnlog(1)log(1)(1)log(1)(1)ppnppnnnlog( )log(1)nH ppn

17、上述信道稱為強(qiáng)對(duì)稱信道或者均勻信道，是對(duì)稱信道上述信道稱為強(qiáng)對(duì)稱信道或者均勻信道，是對(duì)稱信道的一個(gè)特例的一個(gè)特例。 一般信道轉(zhuǎn)移矩陣中，列元素之和并不等于一般信道轉(zhuǎn)移矩陣中，列元素之和并不等于1，而該信道轉(zhuǎn)移矩陣的各列元素之和都等于而該信道轉(zhuǎn)移矩陣的各列元素之和都等于1。 其中，其中，p為總為總的錯(cuò)誤傳輸概率。的錯(cuò)誤傳輸概率。特別地，當(dāng)特別地，當(dāng)r=2時(shí)，信道容量為時(shí)，信道容量為C=1H(p) 57幾種對(duì)稱信道之間的關(guān)系幾種對(duì)稱信道之間的關(guān)系輸入對(duì)稱輸入對(duì)稱對(duì)稱信道對(duì)稱信道均勻信道均勻信道二元二元均勻均勻58二、對(duì)稱信道容量的計(jì)算二、對(duì)稱信道容量的計(jì)算4、準(zhǔn)對(duì)稱信道的信道容量：、準(zhǔn)對(duì)稱信道的信

18、道容量：二元對(duì)稱純刪除信道二元對(duì)稱純刪除信道該信道轉(zhuǎn)移矩陣該信道轉(zhuǎn)移矩陣為為 ，該信道即二元純對(duì)稱刪該信道即二元純對(duì)稱刪除信道，如圖所示，除信道，如圖所示， 其信道容量為其信道容量為1001qqPqq2(1)log(1)(1)log11Cqqqqq 比特比特/符號(hào)符號(hào)59二、對(duì)稱信道容量的計(jì)算二、對(duì)稱信道容量的計(jì)算如果信道轉(zhuǎn)移矩陣按列可以劃分為幾個(gè)互不相交的對(duì)如果信道轉(zhuǎn)移矩陣按列可以劃分為幾個(gè)互不相交的對(duì)稱信道的子集，則稱該信道為準(zhǔn)對(duì)稱信道。稱信道的子集，則稱該信道為準(zhǔn)對(duì)稱信道。 顯然，準(zhǔn)對(duì)稱顯然，準(zhǔn)對(duì)稱信道是輸入對(duì)稱的。信道是輸入對(duì)稱的。4、準(zhǔn)對(duì)稱信道的信道容量：、準(zhǔn)對(duì)稱信道的信道容量：準(zhǔn)對(duì)

19、稱信道可以分解為若干個(gè)對(duì)稱信道之和，所以對(duì)準(zhǔn)對(duì)稱信道可以分解為若干個(gè)對(duì)稱信道之和，所以對(duì)于準(zhǔn)對(duì)稱信道，信道輸入的最佳分布是等概率分布，而信于準(zhǔn)對(duì)稱信道，信道輸入的最佳分布是等概率分布，而信道容量為道容量為121log(,.,)logsmkkkCnH qqqNM其中，其中，q1，q2，qm為準(zhǔn)對(duì)稱信道轉(zhuǎn)移矩陣中的一行元素，為準(zhǔn)對(duì)稱信道轉(zhuǎn)移矩陣中的一行元素，s為劃分的子集數(shù)量，為劃分的子集數(shù)量，Nk為第為第k個(gè)子矩陣的行元素之和，個(gè)子矩陣的行元素之和，Mk為為第第k個(gè)子矩陣的列元素之和。個(gè)子矩陣的列元素之和。60例題例題信道轉(zhuǎn)移矩陣為信道轉(zhuǎn)移矩陣為1111336611116363P求信道容量求信道

20、容量C。 解解 通過觀測(cè)可知，該信道是準(zhǔn)對(duì)稱信道，可以分解為通過觀測(cè)可知，該信道是準(zhǔn)對(duì)稱信道，可以分解為三個(gè)互不相交的子集，分別為三個(gè)互不相交的子集，分別為11136,1163P213,13P 31616P 61例題例題對(duì)應(yīng)的參數(shù)分別為對(duì)應(yīng)的參數(shù)分別為1111,362N 21,3N 316N 1111,362M 2112,333M 31 116 63M 所以信道容量為所以信道容量為121log(,.,)lognskkkCrH p ppNM1 1 1 1111211log2( , , )lblblb3 3 6 62233630.041H比特/符號(hào) 62練習(xí)題：有噪聲的打字機(jī)信道練習(xí)題：有噪聲的打

21、字機(jī)信道考慮有考慮有26個(gè)鍵的打字機(jī)個(gè)鍵的打字機(jī)1）如果每敲擊一個(gè)鍵，它就準(zhǔn)確輸出成相應(yīng)的字符，）如果每敲擊一個(gè)鍵，它就準(zhǔn)確輸出成相應(yīng)的字符，那么該容量那么該容量C為多少？為多少？2）如果假設(shè)敲擊一個(gè)鍵都會(huì)導(dǎo)致輸出該鍵對(duì)應(yīng)的字母）如果假設(shè)敲擊一個(gè)鍵都會(huì)導(dǎo)致輸出該鍵對(duì)應(yīng)的字母或者下一個(gè)字母等概論出現(xiàn)，即敲或者下一個(gè)字母等概論出現(xiàn)，即敲A可能輸出可能輸出A或者或者B，敲敲Z Z可能輸出可能輸出Z Z或者或者A A，那么此時(shí)的容量如何？，那么此時(shí)的容量如何？63復(fù)習(xí)數(shù)學(xué)知識(shí)復(fù)習(xí)數(shù)學(xué)知識(shí)644.2.3離散信道容量的一般計(jì)算法信道容量的求解為一個(gè)信道容量的求解為一個(gè)多元函數(shù)求約束極值多元函數(shù)求約束極值的

22、問題。的問題。信道轉(zhuǎn)移矩陣為信道轉(zhuǎn)移矩陣為0.90.10.20.8P例：求信道輸入最佳分布和信道容量例：求信道輸入最佳分布和信道容量C。 解解 觀察信道轉(zhuǎn)移矩陣可知，該信道不是對(duì)稱的，信道觀察信道轉(zhuǎn)移矩陣可知，該信道不是對(duì)稱的，信道的輸入、的輸入、 輸出符號(hào)數(shù)量都為輸出符號(hào)數(shù)量都為2，假設(shè)信道輸入符號(hào)的概率分，假設(shè)信道輸入符號(hào)的概率分別為別為p，1p，可以得到平均互信息量。，可以得到平均互信息量。 根據(jù)假設(shè)的信道輸入的概率分布，求出信道輸出概率分根據(jù)假設(shè)的信道輸入的概率分布，求出信道輸出概率分布布p(bj)：p(b1)=0.9p+0.2(1p)=0.2 + 0.7p p(b2)=0.1p+0.

23、8(1p)=0.80.7p654.2.3離散信道容量的一般計(jì)算法輸入、輸入、 輸出之間的平均互信息量為：輸出之間的平均互信息量為：2211(|)(; )( )(|)log()jiijiijjp baI X Yp ap bap b將相關(guān)參數(shù)代入上述計(jì)算公式，得到：將相關(guān)參數(shù)代入上述計(jì)算公式，得到：0.90.1(; )(0.9log0.1log)0.20.70.20.7I X Yppp0.20.8(1)(0.2log0.8log)0.80.70.80.7ppp(0.1)(1)(0.2)log(0.20.7 ) (1)log(0.80.7 )pHp Hpppp 664.2.3離散信道容量的一般計(jì)算法

24、對(duì)對(duì)I(X;Y)求導(dǎo)，得到最佳分布求導(dǎo)，得到最佳分布d ( ; )0.7(0.1)(0.2) log(0.2 0.7 )logd0.2 0.70.7(1)log(0.8 0.7 )log00.8 0.7I X YpHHpeppppep得到，得到，p=0.532，所以信道容量為，所以信道容量為C=maxI(X;Y)=0.415 比特比特/符號(hào)符號(hào)從該例可以看出，即使是簡(jiǎn)單的非對(duì)稱二元信道，其最佳分從該例可以看出，即使是簡(jiǎn)單的非對(duì)稱二元信道，其最佳分布的求解也十分復(fù)雜，所以一般離散信道的信道容量的求解布的求解也十分復(fù)雜，所以一般離散信道的信道容量的求解通過計(jì)算機(jī)進(jìn)行。通過計(jì)算機(jī)進(jìn)行。 下面討論一般

25、離散信道的解法。下面討論一般離散信道的解法。 674.2.3離散信道容量的一般計(jì)算法 平均互信息量平均互信息量I(X;Y)是輸入概率分布是輸入概率分布p(ai)的凸函數(shù)，所的凸函數(shù)，所以極大值是一定存在的。以極大值是一定存在的。 假設(shè)信道輸入的符號(hào)數(shù)量為假設(shè)信道輸入的符號(hào)數(shù)量為n，那，那么么I(X;Y)應(yīng)當(dāng)是應(yīng)當(dāng)是r個(gè)隨機(jī)變量個(gè)隨機(jī)變量(p1，p2，pn) 的函數(shù)，而且的函數(shù)，而且滿足約束條件，該多元函數(shù)的條件極值可以利用拉滿足約束條件，該多元函數(shù)的條件極值可以利用拉格朗日乘法求出。格朗日乘法求出。 (1) 首先引入函數(shù)首先引入函數(shù)11niipn1(; )()1iiI X Yp a其中，其中，

26、為拉格朗日乘子。為拉格朗日乘子。 684.2.3離散信道容量的一般計(jì)算法(2) 對(duì)信道輸入概率對(duì)信道輸入概率p(ai)求導(dǎo)數(shù)，并令其為求導(dǎo)數(shù)，并令其為0。1 (;)()10()()nkkiiI X Yp ap ap a解方程組可以求出最佳概率分布解方程組可以求出最佳概率分布12 , ,.,rppp和和。(3) 將最佳分布代入將最佳分布代入I(X;Y)，即可求出信道容量，即可求出信道容量C。11(|)(; )( ) (|)log()nmjiijiijjp baI X Yp a p bap b而而p(bj)可以表示為可以表示為1()()(|)njkjkkp bp ap ba694.2.3離散信道容

27、量的一般計(jì)算法11 (;)()1()()()(;)(;) =-=-()()()nkkiinkkiiiI X Yp ap ap ap aI X YI X Yp ap ap a故關(guān)鍵是求第一項(xiàng)故關(guān)鍵是求第一項(xiàng) 我們將這項(xiàng)展開看看哪部分和求偏導(dǎo)有關(guān)我們將這項(xiàng)展開看看哪部分和求偏導(dǎo)有關(guān)704.2.3離散信道容量的一般計(jì)算法i 11(|)()(|) log()nmjiijijjp bap ap bap b i 1()()(|)njijip bp ap ba 1111( ) (|)log(|)( ) (|)logp( )p( )nmnmijijiijijijijiip a p bap bap a p ba

28、p baa714.2.3離散信道容量的一般計(jì)算法j 1(|) log(|)mjijip bap ba？第二塊分步求第二塊分步求（1）將）將 看作常數(shù)，對(duì)前面的求偏導(dǎo)看作常數(shù)，對(duì)前面的求偏導(dǎo)（2）將）將 看作常數(shù)，對(duì)看作常數(shù)，對(duì) 求偏導(dǎo)求偏導(dǎo) ()(|)ijip ap ba 1j 11i 11()(|)(|) log(|)logp()log()()()nijimmijijijjinmjijjip ap bap bap bap bap bp a bp a 724.2.3離散信道容量的一般計(jì)算法j 1j 1(|)(|) log(|) log()mmjijijijp bap bap baep b帶入合

29、并得：帶入合并得：給定給定 后驗(yàn)概率為后驗(yàn)概率為1iaj 1(|)(|)log0()()mjijiijp bap baep ap b故故734.2.3離散信道容量的一般計(jì)算法11(|)(|) loglog()()1mjijijjmijp bap baep bp a結(jié)論結(jié)論744.2.3離散信道容量的一般計(jì)算法假設(shè)信道輸入的最佳分布為假設(shè)信道輸入的最佳分布為(p1，p2，pn)，將，將方程組的兩邊同時(shí)乘以各自的概率方程組的兩邊同時(shí)乘以各自的概率p(ai)，并且兩邊，并且兩邊同時(shí)對(duì)同時(shí)對(duì)i求和，從而得到信道容量為求和，從而得到信道容量為C=+loge仍然為待定的系數(shù)，但我們找到一些仍然為待定的系數(shù)

30、，但我們找到一些規(guī)律規(guī)律(|)11log=loglog()()(|)()(|)=;jijjjijjijip bap bp bp baI bI baI b a（）將將 來分析來分析j 1(|)(|)log()mjijijp bap bap b其中其中754.2.3離散信道容量的一般計(jì)算法加上前面一個(gè)加權(quán)加上前面一個(gè)加權(quán)1=(|);logmjijiijp ba I b aae（）=I(Y; )=規(guī)律：規(guī)律：信源處于最佳分布時(shí)，由輸出端觀察，每一信源處于最佳分布時(shí)，由輸出端觀察，每一個(gè)符號(hào)的信息量都是一樣的。個(gè)符號(hào)的信息量都是一樣的。764.2.3離散信道容量的一般計(jì)算法定理定理 設(shè)有一般離散信道，

31、它有設(shè)有一般離散信道，它有n個(gè)輸入符號(hào)，個(gè)輸入符號(hào)，m個(gè)輸出符號(hào)，其平均互信息個(gè)輸出符號(hào)，其平均互信息I(X;Y)達(dá)到極大值達(dá)到極大值(即等即等于信道容量于信道容量)的充要條件是輸入概率分布的充要條件是輸入概率分布p(ai)滿足滿足(其其中中i=1，2，n)( ; )( ; )iiI a YCI a YC對(duì)所有p(ai)0的ai 對(duì)所有p(ai)=0的ai常數(shù)常數(shù)C就是所求的信道容量。就是所求的信道容量。 774.2.3離散信道容量的一般計(jì)算法1121311222321323330.90.10(|)(|)(|)111(|)(|)(|)333(|)(|)(|)00.10.9p bap bap b

32、aPp bap bap bap bap bap ba求該信道的容量求該信道的容量C和信道輸入的最佳概率分布。和信道輸入的最佳概率分布。 解解 該信道不是對(duì)稱信道，所以不能直接使用對(duì)稱信道該信道不是對(duì)稱信道，所以不能直接使用對(duì)稱信道計(jì)算其信道容量。計(jì)算其信道容量。 但是通過觀察發(fā)現(xiàn)，如果信道輸入符號(hào)的但是通過觀察發(fā)現(xiàn)，如果信道輸入符號(hào)的概率概率p(a2)=0，該信道就是一個(gè)二元純對(duì)稱刪除信道。，該信道就是一個(gè)二元純對(duì)稱刪除信道。 這樣就這樣就可以假設(shè)可以假設(shè)p(a2)=0，p(a1)=p(a3)=1/2，然后檢查是否滿足上述定，然后檢查是否滿足上述定理?xiàng)l件，如果滿足就可以計(jì)算出信道容量。理?xiàng)l件，如果滿足就可以計(jì)算出信道容量。 例例784