信息論信道容量

1、現(xiàn)在學(xué)習(xí)的是第一頁，共83頁 對一般離散信道而言，求信道容量，就是在固定信道的對一般離散信道而言，求信道容量，就是在固定信道的條件下，對所有可能的輸入概率分布條件下，對所有可能的輸入概率分布p(xi)，求平均互信息，求平均互信息的極大值。采用拉各朗日乘子法來計(jì)算。的極大值。采用拉各朗日乘子法來計(jì)算。niiaPYXI1)();(設(shè):,0)(則有令iaP現(xiàn)在學(xué)習(xí)的是第二頁，共83頁()() (/)njijiip bp ap ba()(/)()jjiidp bp badp aexxloglnlognimjniiijijimjjjiapabpabpapbpbpap11111)()/(log)/()()

2、(log)()(現(xiàn)在學(xué)習(xí)的是第三頁，共83頁( / )log ( )( / )log( )( / )log ( / )0mjijjijimjijijp b ap bp b aep ap b ap b a11(/)log (/)(/)log ( )log0mmjijijijjjp b ap b ap b ap be現(xiàn)在學(xué)習(xí)的是第四頁，共83頁11(/)log(/)(/)log()logmjijijmjijjp bap bap bap be (1)兩邊乘兩邊乘p(ai)，并求和，則有：，并求和，則有：現(xiàn)在學(xué)習(xí)的是第五頁，共83頁2112112() ()log()() ()log()lognmiji

3、jiijnmijijijp a p bap bap a p bap be2(; )logI X Ye2logCe(2)現(xiàn)在學(xué)習(xí)的是第六頁，共83頁將（將（2 2）代入（）代入（1 1），則有：），則有：（3）(/)log(/)(/)log()(/)log()mjijijmjijjmjijjp bap bap bap bCp bap bC現(xiàn)在學(xué)習(xí)的是第七頁，共83頁log()jjp bC令（4）(/)log (/)(/)mjijijmjjijp bap bap ba則（則（3）變?yōu)椋海┳優(yōu)椋含F(xiàn)在學(xué)習(xí)的是第八頁，共83頁:22(4)log()()2122logjjjmjjjjmmCjjjmCjp

4、bCp bC由求出（5） （6）（7）現(xiàn)在學(xué)習(xí)的是第九頁，共83頁1(5)()2()() (/)()jCjnjijiiip bp bp ap bap a由求出由求出（8）（9）現(xiàn)在學(xué)習(xí)的是第十頁，共83頁并驗(yàn)證。求由求由求由求由)()9(.4);()8(.3;)7(.2;)4(.1ijjaPbPC：信道矩陣如下，求：信道矩陣如下，求C C。10112現(xiàn)在學(xué)習(xí)的是第十一頁，共83頁0log01log121210111221(1)log(1) log(1)loglog(1)1log(1)現(xiàn)在學(xué)習(xí)的是第十二頁，共83頁1121 (1)log2log2mjjC 111()2()2211(1)jCjCC

5、p bp b 23現(xiàn)在學(xué)習(xí)的是第十三頁，共83頁2111()1()(1)1(1)p bp b )()()()()( 2121111abpapabpapbp4現(xiàn)在學(xué)習(xí)的是第十四頁，共83頁2121222( )( ) ( / )( ) ( /)p bp a p b ap a p b a11222()()()()(1) ()p bp ap ap bp a11111121()1(1)()1(1)p ap a 現(xiàn)在學(xué)習(xí)的是第十五頁，共83頁100)(),(21apap現(xiàn)在學(xué)習(xí)的是第十六頁，共83頁第三章信道容量2006-10-2317 注意：在第步信道容量C被求出后，計(jì)算并沒有結(jié)束，必須解出相應(yīng)的p(a

6、i) ，并確認(rèn)所有的p(ai)0時，所求的C才存在。 在對I(X;Y)求偏導(dǎo)時，僅限制 ，并沒有限制p(ai)0 ，所以求出的p(ai)有可能為負(fù)值，此時C就不存在，必須對p(ai)進(jìn)行調(diào)整，再重新求解C。 近年來人們一般采用計(jì)算機(jī)，運(yùn)用迭代算法求解。一般離散信道容量計(jì)算步驟1( ) 1niip a現(xiàn)在學(xué)習(xí)的是第十七頁，共83頁2006-10-1861第三章信道容量典型無擾離散信道的信道容量1. 均勻編碼信道的信道容量定義： 基本符號時間等長的信道稱為均勻編碼信道，這種等長的基本符號稱為碼元。碼元通常是持續(xù)時間為b秒的D進(jìn)制脈沖（Pulse），D進(jìn)制表示該碼元有D種等間隔數(shù)值。現(xiàn)在學(xué)習(xí)的是第十

7、八頁，共83頁2006-10-1862第三章信道容量典型無擾離散信道的信道容量例3.1 用8kHz的取樣速率對模擬信號取樣，若對每一樣值做256 級量化且樣值是各態(tài)歷經(jīng)的，求傳輸此信號的信道容量。解：由題意可知，每秒鐘有8000個樣值，即n=8000（信源消息），信道基本符號數(shù)D=256，故每秒鐘構(gòu)成的不同消息的總數(shù)目為N = 2568000，有8000log2568000log25664tCkbpsT這就是傳送PCM信號需要的信道容量現(xiàn)在學(xué)習(xí)的是第十九頁，共83頁2006-10-1863第三章信道容量典型無擾離散信道的信道容量一般地，若每個信道基本符號的長度為b秒，每秒鐘內(nèi)信道上可傳送的信道

8、基本符號數(shù)為n，則n =1/b；T秒鐘內(nèi)信道上可構(gòu)成的不同消息數(shù)為N(T)=DnT，其中nT為T 秒鐘內(nèi)信道上可傳送的信道基本符號數(shù)。于是Ct = nlog Dbps(5.6)如果不以秒而是以一個碼元的時間作為標(biāo)準(zhǔn)，則C = Ct / n = log Dbit/碼元時間(5.7)現(xiàn)在學(xué)習(xí)的是第二十頁，共83頁2006-10-1864第三章信道容量典型無擾離散信道的信道容量2. 無固定約束的不均勻編碼信道的信道容量無固定約束的不均勻編碼信道的基本符號是等幅的不等長脈沖，用脈沖占有時間的不同來攜帶信息。例3.2 求傳輸脈沖時間調(diào)制信號的信道容量。解 求信道容量，主要是求在T時間內(nèi)能構(gòu)成的不同消息數(shù)

9、N(T)。若以最窄的脈沖作為單位碼元而其它脈沖的寬度都是它的倍數(shù)，則PTM脈沖寬度量化為有限種信道基本符號。設(shè)有D種信道基本符號，分別為：a1, a2, , aD ；對應(yīng)的占用時間分別為：t1, t2, , tD ；則在時間T內(nèi)可能構(gòu)成的符號總數(shù)N (T)有如下表達(dá)式：現(xiàn)在學(xué)習(xí)的是第二十一頁，共83頁2006-10-1865第三章信道容量典型無擾離散信道的信道容量式中第1行的 表示除a1外的D 1個信道基本符號的全排列，其余類推。利用遞推的方法或其它方法可得C = log rmax bit /單位碼元時間(5.9)的最大正實(shí)根。N (T ) a1 a 2 a D a1 a 2 a D N (T

10、 t1 ) N (T t 2 ) N (T t D ) r rr(5.10) 1 0 t D其中rmax是N (T)的特征方程 t1 t2(5.8)(續(xù))現(xiàn)在學(xué)習(xí)的是第二十二頁，共83頁2006-10-1866第三章信道容量典型無擾離散信道的信道容量3. 有固定約束的不均勻編碼信道的信道容量假如編碼不滿足遍歷性，即由轉(zhuǎn)移不受限制變?yōu)檗D(zhuǎn)移受限制，傳輸它的信道就成為有固定約束的不均勻編碼信道。傳輸莫爾斯（Morse）電碼的信道是一種典型的有固定約束的不均勻編碼信道，下面通過對它的分析來看這種信道的信道容量。現(xiàn)在學(xué)習(xí)的是第二十三頁，共83頁基本符號構(gòu)成持續(xù)時間具體實(shí)現(xiàn)點(diǎn)t1 =2清脆響一短聲劃 t2

11、 =4響一長聲，聲長三倍點(diǎn)字母間隔t3 =33個單位碼元時間不發(fā)聲單詞間隔t4 = 66個單位碼元時間不發(fā)聲2006-10-1867第三章信道容量典型無擾離散信道的信道容量例5.3 電報(bào)員發(fā)報(bào)用Morse電碼；Morse電碼由點(diǎn)、劃、字母間隔和單詞間隔四種基本符號構(gòu)成，見表5.1，表中的“”表示按鍵合上，“”表示按鍵斷開，分別相應(yīng)于發(fā)聲與不發(fā)聲狀態(tài)；試求Morse信道的信道容量。表5.1 Morse電碼的構(gòu)成表現(xiàn)在學(xué)習(xí)的是第二十四頁，共83頁2006-10-1868第三章信道容量典型無擾離散信道的信道容量解 通過點(diǎn)、劃可構(gòu)成無窮多種組合，形成明碼或密碼。設(shè)四種基本符號分別為a1, a2, a3

12、, a4，點(diǎn)、劃為狀態(tài)1，字母及單詞間隔作為狀態(tài)2，t 6的間隔均看作單詞間隔。由于發(fā)報(bào)期間，不允許出現(xiàn)2個及2個以上的字母間隔或單詞間隔，即“間隔”不能連用，因此Morse信道存在有固定約束，其狀態(tài)轉(zhuǎn)移圖為圖5.2。a3a4a1狀態(tài)1狀態(tài)2a1a2a2圖5.2 例5.3的狀態(tài)轉(zhuǎn)移圖現(xiàn)在學(xué)習(xí)的是第二十五頁，共83頁表示在T時間內(nèi)發(fā)的最后一個符號2006-10-1869第三章信道容量典型無擾離散信道的信道容量先求在時間T內(nèi)從狀態(tài)1轉(zhuǎn)移到狀態(tài)2或從狀態(tài)1、2轉(zhuǎn)移到狀態(tài)1的各種可能消息的總數(shù)目，分別用N1(T)和N2(T)表示。則式中是a3并使?fàn)?從狀態(tài)1改變到狀態(tài)2的各種可能消息的總數(shù)，而a3用的

13、時間為b12；其余類推。341212()()211( )()()aaNTN TbN Tb121211112121( )()( )()11122( )()()()()aaaaN TN T bN T bN T bN T b312()aTb現(xiàn)在學(xué)習(xí)的是第二十六頁，共83頁推廣之，設(shè)從狀態(tài)i到狀態(tài)j發(fā)的符號為ak，所用的時間為 ，則b11 從狀態(tài)1到狀態(tài)1，有兩種可能：b21 從狀態(tài)2到狀態(tài)1，有兩種可能：2006-10-1870第三章信道容量典型無擾離散信道的信道容量b22 從狀態(tài)2到狀態(tài)2，無此可能。根據(jù)表5.1，有b12從狀態(tài)1到狀態(tài)2，有兩種可能：121 11 1()()，aabb122 12

14、 1()()，aabb341 21 2()()，aabb311224112111211212=3=，6aaaaaabbbbbbkijab現(xiàn)在學(xué)習(xí)的是第二十七頁，共83頁C lim logWmaxT2006-10-1871第三章信道容量典型無擾離散信道的信道容量在T時間里構(gòu)成的消息總數(shù)N(T)為式中Wmax 為差分方程的特征方程的最大正實(shí)根。因此，求出這個最大正實(shí)根，也就求出了C。采用迭代法，略去中間過程，可解得，Wmax=1.453 ，故有C = log1.453 = 0.539 比特/符號時間N (T) = N1 (T) + N2 (T) (5.14)上式又是一個線性差分方程，由這個差分方程

15、，可得logN (T )(5.15)T 現(xiàn)在學(xué)習(xí)的是第二十八頁，共83頁3.1 信道的數(shù)學(xué)模型和分類信道的數(shù)學(xué)模型和分類3.2 單單符號離散信符號離散信道道3.4 多用戶信道多用戶信道3.5 信道編碼定理信道編碼定理現(xiàn)在學(xué)習(xí)的是第二十九頁，共83頁3.3.2 離散無記憶信道的離散無記憶信道的N次擴(kuò)展信次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量道和獨(dú)立并聯(lián)信道的信道容量現(xiàn)在學(xué)習(xí)的是第三十頁，共83頁多符號離散信道多符號離散信道 多符號信源通過離散信道傳輸形成多符號信源通過離散信道傳輸形成多符號離散信道。多符號離散信道。現(xiàn)在學(xué)習(xí)的是第三十一頁，共83頁1212.NNXX XXYYYYYXYPX)(121

16、2KnKnXaaaYbbb12Niiiia aanii iN,.,2 , 1.21Nni,.,2,112Njjjjb bbNmj,.,2,1mjjjN,.,2 , 1.21現(xiàn)在學(xué)習(xí)的是第三十二頁，共83頁YYXPX)(112111222212()().()()().().()() .()NNNNNNmmnmnnppppppppp 現(xiàn)在學(xué)習(xí)的是第三十三頁，共83頁3.3.1 多符號離散信道的數(shù)學(xué)模型多符號離散信道的數(shù)學(xué)模型3.3.2 3.3.2 離散無記憶信道的離散無記憶信道的N N次擴(kuò)展次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量信道和獨(dú)立并聯(lián)信道的信道容量現(xiàn)在學(xué)習(xí)的是第三十四頁，共83頁無記憶：無記憶

17、：YK僅與僅與XK有關(guān)有關(guān)121211221(/)(./.)(/)(/).(/)(/)NNNNNiiiP YXP Y YYX XXP YXP YXP YXP YX現(xiàn)在學(xué)習(xí)的是第三十五頁，共83頁)/()();(XYHYHYXI1X)(11XYP)(NNXYPNXXY1YNY現(xiàn)在學(xué)習(xí)的是第三十六頁，共83頁11121212121211112( /).(.) (.)log(.)NNNNNNNnnmmiiijjjiiiiijjjjjiiiH Y Xp a aap b bba aap b bba aa 1211111111112() ()()log()()NNNNNNNnnmmiiijijiiijjj

18、ijip a aap b ap bap b ap ba 現(xiàn)在學(xué)習(xí)的是第三十七頁，共83頁11111112222222222()()log()()()log().()()log()NNNNNNNnmijijiijnmijijiijnmijijiijp ap bap bap ap bap bap ap bap ba 11221(/)(/).(/)(/)KKNKKKH YXH YXH YXH YX現(xiàn)在學(xué)習(xí)的是第三十八頁，共83頁NKKKYXIYXI1);();(a)NKKKNKKNKKNNKKKNNKKKXYHYHYXIYHYYYHXYHYYYHXYHYHYXI111211211 )/()();()

19、().()/().()/()();(現(xiàn)在學(xué)習(xí)的是第三十九頁，共83頁也是無記憶的要求等號成立相互獨(dú)立，NCCYXNIYXIXaYYYKKN 2 121);();( .XX )( . 現(xiàn)在學(xué)習(xí)的是第四十頁，共83頁I ( X ;Y ) I ( X k k ) NI ( X ; Y )30單符號離散無記憶信道與其N次擴(kuò)展信道信道容量之間的關(guān)系由于離散無記憶信源的N次擴(kuò)展信源中的隨機(jī)變量都取自同一符號集Xka1a2aN(k=1,2, ,N) ，并具有相同的概率分布，而且都通過同一個離散無記憶信道X P(Y/X) Y ，信道輸出端隨機(jī)變量序列中的隨機(jī)變量Yk(k=1,2, ,N)也取自同一符號集并具有

20、相同的概率分布，而且相互統(tǒng)計(jì)獨(dú)立。所以I(Xk; Yk)= I(X; Y) ;YNk 13.3.2 離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量現(xiàn)在學(xué)習(xí)的是第四十一頁，共83頁結(jié)論：結(jié)論： 離離 散散 無無 記記 憶憶 信信 道道 的的N次次 擴(kuò)擴(kuò) 展展 信信 道道 ， 如如 果果 信信 源源 也也 是是 離離 散散 無記無記 憶憶 信信 源源 的的N次次 擴(kuò)擴(kuò) 展展 信信 源源 ， 則則 信信 道道 總總 的的 平平 均均 互互 信信 息息 是是 單單 符符 號號 離離 散無記憶信道平均互信息的散無記憶信道平均互信息的N倍。倍?，F(xiàn)在學(xué)習(xí)的是第四十二頁，共83頁第三章信道容量2006-10-2331

21、結(jié)論的說明：因?yàn)殡x散無記憶信道N次擴(kuò)展信道可以用N個單符號離散信道來等效，這N個信道之間沒有任何關(guān)聯(lián)關(guān)系，若輸入端的N個隨機(jī)變量之間也沒有任何關(guān)聯(lián)關(guān)系的話，就相當(dāng)于N個毫不相干的單符號離散信道在分別傳送各自的信息，所以在擴(kuò)展信道的輸出端得到的平均信息量必然是單個信道的N倍。用C表示離散無記憶信道容量，用CN表示其擴(kuò)展信道容量，CN=NC3.3多符號離散信道3.3.2 離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量現(xiàn)在學(xué)習(xí)的是第四十三頁，共83頁 CN Ck第三章信道容量2006-10-2332獨(dú)立并聯(lián)信道獨(dú)立并聯(lián)信道/獨(dú)立并列/獨(dú)立平行/積信道：輸入和輸出隨機(jī)序列中的各隨機(jī)變量取值于不同的符號集，就構(gòu)

22、成3.3多符號離散信道了獨(dú)立并聯(lián)信道。是離散無記憶信道的N次擴(kuò)展信道的推廣。輸入隨機(jī)序列X=X1X2XN ，Xka1k,a2k,ank輸出隨機(jī)序列Y=Y1Y2YN ，Ykb1k,b2k,bnkN個獨(dú)立并聯(lián)信道的容量CN第k個單符號離散無記憶信道的信道容量CkNCN C1 C2 k 13.3.2 離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量當(dāng)輸入端各隨機(jī)變量統(tǒng)計(jì)獨(dú)立，且每個輸入隨機(jī)變量Xk(k=1,2, ,N) 的概率分布達(dá)到各自信道容量Ck(k=1,2, ,N)的最佳分布時，CN達(dá)到其最大值：max1NNkkCC現(xiàn)在學(xué)習(xí)的是第四十四頁，共83頁第三章信道容量2006-10-2333獨(dú)立并聯(lián)信道推廣到

23、更一般情況：輸入各隨機(jī)變量不但取值于不同的符號集，而且各集合的元素個數(shù)也不相同；輸出隨機(jī)變量也取值于不同的符號集合，各集合的元素個數(shù)也不相同；這種更一般的信道可得到與上述類似的結(jié)論?？梢园袾個 變 量 的 獨(dú) 立 并 聯(lián) 信 道 看 成 是 離 散 無 記 憶信 道 的N次 擴(kuò) 展 信 道 的 推 廣 ， 也 可 以 把 離 散 信 道 的N次擴(kuò)展看成是獨(dú)立并聯(lián)信道的特例。3.3.2 離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量現(xiàn)在學(xué)習(xí)的是第四十五頁，共83頁3.1 信道的數(shù)學(xué)模型和分類信道的數(shù)學(xué)模型和分類3.2 單單符號離散信符號離散信道道3.3 多多符號離散信符號離散信道道3.4 3.4 多用戶

24、信道多用戶信道3.5 信道編碼定理信道編碼定理現(xiàn)在學(xué)習(xí)的是第四十六頁，共83頁第三章信道容量2006-10-2334單路通信系統(tǒng)：不論是單符號的還是多符號的，都只有一個輸入和一個輸出端的信道稱為單用戶信道，相應(yīng)的通信系統(tǒng)稱為單路信系統(tǒng)。多路通信系統(tǒng)：為了提高通信效率，通信網(wǎng)中的信道往往有多個入端和多個輸出端，這種信道稱為多用戶信道，相應(yīng)的通信系統(tǒng)為多路通信系統(tǒng)。網(wǎng)絡(luò)信息論/多用戶信息論：研究多路通信系統(tǒng)信息傳遞的理論。實(shí)際的信道大部分是多用戶信道。例如：計(jì)算機(jī)通信、衛(wèi)星通信、廣播通信、有線電視等。3.4.1 多址接入信道3.4.2 廣播信道3.4.3 相關(guān)信源的多用戶信道問題3.4 多用戶信道

25、現(xiàn)在學(xué)習(xí)的是第四十七頁，共83頁3.4.2 廣播信道廣播信道3.4 .3 相關(guān)信源的多用戶信道相關(guān)信源的多用戶信道現(xiàn)在學(xué)習(xí)的是第四十八頁，共83頁第三章信道容量2006-10-2335定義及信道模型多 址 接 入 信 道/多元接入信道：多個用戶的信息用多個編碼器分別編碼以后，送入同一信道傳輸，在接收端用一個譯碼器譯碼，然后分送給不同的用戶。這是有多個輸入端但只有一個輸出端的多用戶信道。多址接入信道模型如圖3.4.1所示3.4.1 多址接入信道3.4多用戶信道現(xiàn)在學(xué)習(xí)的是第四十九頁，共83頁第三章信道容量2006-10-2336二址接入信道的信道容量最簡單的多址接入信道是只有兩個輸入端和一個輸出

26、端的二址接入信道，如圖3.4.2所示。U1至U1的信息率R1，信道容量C1U2至U2的信息率R2，信道容量C2總信道容量C123.4多用戶信道3.4.1 多址接入信道現(xiàn)在學(xué)習(xí)的是第五十頁，共83頁多入單出信道多入單出信道信源信源1 1信源信源2 21 u2 u編碼器編碼器1 1編碼器編碼器2 21u2u信道信道譯碼譯碼12CY1a2a二址接入信道模型現(xiàn)在學(xué)習(xí)的是第五十一頁，共83頁1 111121.nXaaa1 221222.nXaaa121222 nYb bb11uu11RC112(;/)RI X Y X12112()()max(;/)P XP XCI X Y X現(xiàn)在學(xué)習(xí)的是第五十二頁，共8

27、3頁22RC12221()()max(;/)P XP XCI X Y X121212()()max(; )P XP XCI X X Y1212RRC121212max(,)C CCCC現(xiàn)在學(xué)習(xí)的是第五十三頁，共83頁 C第三章信道容量2006-10-2337這些條件確定了二址接入信道以R1和R2為坐標(biāo)的二維空間中的某個區(qū)域（圖中陰影部分），這個區(qū)域的界線就是二址接入信道的容量。二址接入信道信息率和信道容量之間滿足如下條件 R1 C1 R2 2R1 R2 C123.4多用戶信道3.4.1 多址接入信道當(dāng)X1和X2相互獨(dú)立時有max(C1,C2)C12C1+C2現(xiàn)在學(xué)習(xí)的是第五十四頁，共83頁R第

28、三章信道容量2006-10-2338多址接入信道的信道容量二址接入信道的結(jié)論很容易推廣到多址接入信道；多址接入信道參數(shù)多址接入信道數(shù)N第r個編碼器的信息率為Rr相應(yīng)的信道容量為Cr；信道總?cè)萘繛镃3.4.1 多址接入信道3.4多用戶信道I ( X 1X N ; Y )rX N )I ( X r ; Y / X 1maxP ( X 1 ) P ( X N )maxP ( X 1 ) P ( X N )Nr 1X r 1 X r 1Rr Cr C 現(xiàn)在學(xué)習(xí)的是第五十五頁，共83頁 C第三章信道容量2006-10-2339當(dāng)輸入各信源獨(dú)立時有3.4.1 多址接入信道3.4多用戶信道rN r 1 C

29、max Crr這些限制條件規(guī)定了一個在N維空間的體積，這個體積的外型是一個截去角的多面體，多面體內(nèi)是信道允許的信息率，多面體的上界就是多址接入信道的容量?，F(xiàn)在學(xué)習(xí)的是第五十六頁，共83頁3.4.1 多址接入信道多址接入信道3.4 .3 相關(guān)信源的多用戶信道相關(guān)信源的多用戶信道現(xiàn)在學(xué)習(xí)的是第五十七頁，共83頁第三章信道容量2006-10-2340定義：具有一個輸入和多個輸出的信道稱為廣播信道。最簡單的廣播信道是單輸入雙輸出廣播信道，如圖3.4.4所示：3.4多用戶信道3.4.2 廣播信道1221U1U2XY1U1U23.4.4對于一般的廣播信道，很難用系統(tǒng)的方法求出其信息率可達(dá)區(qū)域，只在某些特殊

30、的情況下，能夠證明信道容量的容量界線是可以達(dá)到的。Y2現(xiàn)在學(xué)習(xí)的是第五十八頁，共83頁退化廣播信道（串聯(lián)）編碼器編碼器信道信道1 11U2UX1Y2Y信道信道2 21()P Y X21()P Y Y圖3.4.5 退化的廣播信道模型)/()()/(12121bbpxbpxbbp現(xiàn)在學(xué)習(xí)的是第五十九頁，共83頁2121(/)(/)p bb xp bb)/()/(1212YYHXYYH21YYX、構(gòu)成馬爾可夫鏈);();(121YXIYYXI現(xiàn)在學(xué)習(xí)的是第六十頁，共83頁)(xp)(xp不變)()(21upup、，保持);(1YXI最大)/;(211uYXIR )/;(122uYXIR );(121

31、YXIRR現(xiàn)在學(xué)習(xí)的是第六十一頁，共83頁3.4 3.4 多用戶信道多用戶信道3.4.1 多址接入信道多址接入信道3.4.2 廣播信道廣播信道現(xiàn)在學(xué)習(xí)的是第六十二頁，共83頁第三章信道容量2006-10-2341定義：由多個單用戶信道組成的并聯(lián)信道，傳送相互有關(guān)的多路息的信道。這種信道有多個輸入和多個輸出，且輸入端各信源之間有關(guān)聯(lián)關(guān)系。兩個相關(guān)信源用兩個獨(dú)立信道傳送的多用戶信道模型。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，多用戶信息論在近代信息論中越來越為大家關(guān)注，不過許多問題還沒有找到系統(tǒng)的解決方法。3.4多用戶信道3.4.3 相關(guān)信源的多用戶信道問題現(xiàn)在學(xué)習(xí)的是第六十三頁，共83頁模型13.4.3 3.4.3

32、 相關(guān)信源的多用戶信道相關(guān)信源的多用戶信道1X信信源源2X編碼器編碼器1 1編碼器編碼器2 2信道信道1 1信道信道2 2譯碼器譯碼器1 1譯碼器譯碼器2 22X1X相關(guān)信源多用戶信道現(xiàn)在學(xué)習(xí)的是第六十四頁，共83頁)/(211XXHC )/(122XXHC )(2121XXHCC現(xiàn)在學(xué)習(xí)的是第六十五頁，共83頁C2)(21XXH)(21XXH)/(21XXH)(1XH)(2XH)/(12XXHC1現(xiàn)在學(xué)習(xí)的是第六十六頁，共83頁E1C1D1x1x21x)/(21XXH邊信息邊信息模型模型2RE1E2C1C2D1D2x1x21x2xE0C0w現(xiàn)在學(xué)習(xí)的是第六十七頁，共83頁012(;)RI X

33、 X WW:公信息公信息11(/)RH XW22(/)RH XW要求要求R0盡可能小，并且在盡可能小，并且在W條件下，條件下，X1X2無關(guān)無關(guān));(min21WXXIW現(xiàn)在學(xué)習(xí)的是第六十八頁，共83頁3.1 3.1 信道的數(shù)學(xué)模型和分類信道的數(shù)學(xué)模型和分類3.2 3.2 單符號離散信道單符號離散信道3.3 3.3 多符號離散信道多符號離散信道3.4 3.4 多用戶信道多用戶信道3.5 3.5 連續(xù)信道連續(xù)信道現(xiàn)在學(xué)習(xí)的是第六十九頁，共83頁l連續(xù)信道連續(xù)信道：輸入和輸出隨機(jī)變量都取值于連續(xù)集合的信道。：輸入和輸出隨機(jī)變量都取值于連續(xù)集合的信道。l信道傳遞特性信道傳遞特性：傳遞特性用條件轉(zhuǎn)移概率

34、密度函數(shù)：傳遞特性用條件轉(zhuǎn)移概率密度函數(shù)p(y/x)表示。表示。l連續(xù)信道數(shù)學(xué)模型連續(xù)信道數(shù)學(xué)模型：X p(y/x) Y，如圖所示：，如圖所示：連續(xù)信道連續(xù)信道現(xiàn)在學(xué)習(xí)的是第七十頁，共83頁l連續(xù)隨機(jī)變量之間的平均互信息滿足非負(fù)性，并可以證明，連續(xù)隨機(jī)變量之間的平均互信息滿足非負(fù)性，并可以證明，它是信源概率密度函數(shù)它是信源概率密度函數(shù)p(x)的上凸函數(shù)。的上凸函數(shù)。l連續(xù)信道的信道容量連續(xù)信道的信道容量C：信源：信源X等于某一概率密度函數(shù)等于某一概率密度函數(shù)p0(x)時，時，信道平均互信息的最大值，即信道平均互信息的最大值，即l一般連續(xù)信道的容量并不容易計(jì)算，當(dāng)信道為加性信道時，情一般連續(xù)信道

35、的容量并不容易計(jì)算，當(dāng)信道為加性信道時，情況要簡單一些。況要簡單一些。連續(xù)信道的信道容量連續(xù)信道的信道容量);(max)(YXICxp現(xiàn)在學(xué)習(xí)的是第七十一頁，共83頁l加性連續(xù)信道：噪聲為連續(xù)隨機(jī)變量加性連續(xù)信道：噪聲為連續(xù)隨機(jī)變量N，且與，且與X相互統(tǒng)計(jì)獨(dú)立相互統(tǒng)計(jì)獨(dú)立的信道。的信道。l這種信道的噪聲對輸入的干擾作用表現(xiàn)為噪聲和輸入線性疊這種信道的噪聲對輸入的干擾作用表現(xiàn)為噪聲和輸入線性疊加，即加，即Y=X+N。如圖所示：。如圖所示：加性連續(xù)信道的信道容量加性連續(xù)信道的信道容量現(xiàn)在學(xué)習(xí)的是第七十二頁，共83頁l加性連續(xù)信道的條件概率密度函數(shù)等于噪聲的概率密度加性連續(xù)信道的條件概率密度函數(shù)等于

36、噪聲的概率密度 p(y/x)=p(n)，這進(jìn)一步，這進(jìn)一步說明信道的傳遞概率是由于噪聲熵所引起的。說明信道的傳遞概率是由于噪聲熵所引起的。l加性連續(xù)信道的條件熵等于噪聲熵加性連續(xù)信道的條件熵等于噪聲熵Hc(Y/X)= Hc(N) 。說明。說明Hc(Y/X)是由噪聲引是由噪聲引起的，故稱起的，故稱Hc(N)為噪聲熵。為噪聲熵。 l該結(jié)論說明了條件熵是由于信道中噪聲引起的，它完全等于噪聲信源的不確該結(jié)論說明了條件熵是由于信道中噪聲引起的，它完全等于噪聲信源的不確定性，即噪聲信源的熵，所以稱它為噪聲熵。定性，即噪聲信源的熵，所以稱它為噪聲熵。加性連續(xù)信道的信道容量加性連續(xù)信道的信道容量1)()()(

37、log)()()(log)()(log)()()/(log)/()()/(2222XcNXNXNXYcdxxpNHdnnpnpdxxpdnnpnpdxdnnpnpxpdxdyxypxypxpXYH其中現(xiàn)在學(xué)習(xí)的是第七十三頁，共83頁l加性連續(xù)信道的信道容量：加性連續(xù)信道的信道容量：l加性噪聲加性噪聲N和信源和信源X相互統(tǒng)計(jì)獨(dú)立，相互統(tǒng)計(jì)獨(dú)立，X的概率密度函數(shù)的概率密度函數(shù)p(x)的變動不會引起噪聲熵的變動不會引起噪聲熵Hc(N)的改變，所以加性信道的改變，所以加性信道的容量的容量C就是選擇就是選擇p(x) ，使輸出熵，使輸出熵Hc(Y)達(dá)到最大值，即達(dá)到最大值，即l上式說明：加性連續(xù)信道容量取

38、決于噪聲上式說明：加性連續(xù)信道容量取決于噪聲N（即信道）（即信道）的統(tǒng)計(jì)特性和輸入隨機(jī)變量的統(tǒng)計(jì)特性和輸入隨機(jī)變量X所受的限制條件。所受的限制條件。（對于不（對于不同的限制條件，連續(xù)隨機(jī)變量具有不同的最大熵值。）同的限制條件，連續(xù)隨機(jī)變量具有不同的最大熵值。）)()(max)/()(max);(max)()()(NHYHXYHYHYXICccxpccxpxp)()(max)(NHYHCccxp現(xiàn)在學(xué)習(xí)的是第七十四頁，共83頁l高斯加性連續(xù)信道：高斯加性連續(xù)信道： 高斯噪聲為高斯噪聲為N，均值為，均值為0，方差為，方差為2 ，噪聲功率為，噪聲功率為PN；l信道的傳遞概率密度函數(shù)：信道的傳遞概率密

39、度函數(shù)：p(y/x)=p(n)l如果把如果把x看成是一個常數(shù)，則上式就變成了隨看成是一個常數(shù)，則上式就變成了隨y變化的高斯函數(shù)，即變化的高斯函數(shù)，即當(dāng)已知當(dāng)已知X=x時，時，Y也是一個高斯變量，均值為也是一個高斯變量，均值為x，方差為，方差為2。高斯加性連續(xù)信道的信道容量高斯加性連續(xù)信道的信道容量)()/(2222222)(22121npeexypnxy現(xiàn)在學(xué)習(xí)的是第七十五頁，共83頁l因此高斯加性信道的容量為因此高斯加性信道的容量為222221221222122log22222122122)(1)(2loglog2log)(2log)(log)(log)(log)()(log)()()/(2

40、22222222NNNeNnNNNNccdnnpndnnpeednnpndnnpednnpdnnpdnenpdnnpnpNHXYHn其中2221)()(2log)(max)()(maxeYHNHYHCcxpccxp現(xiàn)在學(xué)習(xí)的是第七十六頁，共83頁l輸入概率密度函數(shù)輸入概率密度函數(shù)p(x)是什么樣的函數(shù)時，才能使是什么樣的函數(shù)時，才能使Y呈高斯分布？呈高斯分布？l設(shè)限定輸入平均功率設(shè)限定輸入平均功率PX，噪聲平均功率，噪聲平均功率PN=2，則輸出隨機(jī)變量，則輸出隨機(jī)變量Y的平均功率的平均功率PY也是受限的。也是受限的。l根據(jù)最大連續(xù)熵定理，要使根據(jù)最大連續(xù)熵定理，要使Hc(Y)達(dá)到最大，達(dá)到最大

41、，Y必須是一個均值必須是一個均值為為0、方差為、方差為2Y= PY的高斯隨機(jī)變量。的高斯隨機(jī)變量。l高斯加性信道中輸入高斯加性信道中輸入X和噪聲和噪聲N相互統(tǒng)計(jì)獨(dú)立，且相互統(tǒng)計(jì)獨(dú)立，且Y=X+N。由概。由概率論可知：若輸入率論可知：若輸入X是均值為是均值為0、方差為、方差為2X= PX的高斯隨機(jī)變的高斯隨機(jī)變量，即量，即X的概率密度函數(shù)為的概率密度函數(shù)為p(x) ，則可以證明，輸出，則可以證明，輸出Y的概率密的概率密度函數(shù)就等于（接下頁）度函數(shù)就等于（接下頁）平均功率受限的加性信道的信道容量平均功率受限的加性信道的信道容量現(xiàn)在學(xué)習(xí)的是第七十七頁，共83頁續(xù)上頁續(xù)上頁l即當(dāng)輸入隨機(jī)變量即當(dāng)輸入隨機(jī)變量X的概率密度是均值為的概率密度是均值為0、方差、方差2X的高斯隨機(jī)變量；的高斯隨機(jī)變量；加性信道的噪聲加性信道的噪聲N是均值為是均值為0、方差為、方差為2的高斯隨機(jī)變量時；輸出隨機(jī)變的高斯隨機(jī)變量時；輸出隨機(jī)變量量Y也是一個高斯隨機(jī)變量，其均值為也是一個高斯隨機(jī)變量，其均值為0、方差為、方差為2Y = 2X + 2 = PY 。l這時輸出端的連續(xù)熵這時輸出端的連續(xù)熵Hc(Y)達(dá)到最大值，即達(dá)到