第講-時(shí)間離散連續(xù)信道的容量

1、第四章 信道容量 時(shí)間離散的連續(xù)信道第十二講 信道容量DMC信道容量Review信道容量計(jì)算幾種特殊類型的信道 無(wú)噪無(wú)損信道 有噪無(wú)損信道 無(wú)噪有損信道準(zhǔn)對(duì)稱DMC信道可逆矩陣信道N次擴(kuò)展信道組合信道最佳分布為等概解方程、試解NC積信道、和信道、級(jí)聯(lián)信道Review信道1和信道2同時(shí)傳送信息積信道Review最佳利用：使每個(gè)分信道的輸入相互獨(dú)立，且分布為最佳若任一時(shí)間隨機(jī)選用（兩者不能同時(shí)選用）和信道Review最佳利用：并使每個(gè)分信道的輸入分布為最佳若將信道1的輸出作為信道2的輸入，信道1的輸入集就是組合信道的輸入集，信道2的輸出集就是組合信道的輸出集。稱這樣組成的信道為級(jí)聯(lián)信道，又稱串行信

2、道。 級(jí)聯(lián)信道轉(zhuǎn)移概率連續(xù)信道的容量無(wú)記憶信道 恒參（平穩(wěn)）信道 時(shí)間離散的連續(xù)信道信道容量可加噪聲信道若連續(xù)信道的條件概率密度滿足就稱它為可加噪聲信道，其中 稱作加性噪聲。X與Z相互獨(dú)立可加噪聲信道容量 噪聲熵在加性噪聲信道情況下，當(dāng)信道 給定，即干擾噪聲的概率密度 給定。那么求信道容量就在于對(duì)所有的輸入分布求 的最大值?？杉釉肼曅诺廊萘?噪聲熵在加性噪聲信道情況下，當(dāng)信道 給定，即干擾噪聲的概率密度 給定。那么求信道容量就在于對(duì)所有的輸入分布求 的最大值?！纠恳阎獥l件：給定一個(gè)可加噪聲信道（1）干擾z與信道輸入x相互獨(dú)立（2），即（3），即求信道輸入和輸出之間的平均互信息？【解】由已知，

3、信道輸出y是兩個(gè)正態(tài)分布的疊加，因而，于是信道輸入輸出之間的互信息量為【注】：當(dāng)信道干擾給定下，若輸入功率不受限制， I(X;Y)可為任意大。定理1 平均功率受限的時(shí)間離散、恒參、可加高斯噪聲 信道的容量為平均功率受限的可加噪聲信道容量其中，S是輸入平均功率的上限， 是均值為0的高斯噪聲的方差。最佳輸入分布就是均值為0、方差為S的高斯型分布。平均功率受限的可加噪聲信道容量證明 對(duì)可加噪聲信道有 （X與Z獨(dú)立）要使I(X;Y)最大，即要最大，從而此時(shí)有從而可得要使Y正態(tài)分布，平均功率受限的可加噪聲信道容量定理2（平均功率受限的可加非高斯噪聲信道） 平均功率受限、時(shí)間離散、恒參、可加噪聲信道的容量

4、其中，是Z的熵功率。在給定噪聲功率情況下，高斯干擾是最壞的干擾，在它的作用下的信道容量最小。如果信道干擾統(tǒng)計(jì)特性未知，把干擾看作高斯分布比較安全?！咀ⅰ孔C明： 在可加噪聲下，信道輸出功率為輸出熵為 由可知即上限成立。平均功率受限的可加噪聲信道容量平均功率受限的可加噪聲信道容量熵功率不等式對(duì)于集合X,Y,Z,若,且X,Z是相互獨(dú)立、均值為0，則若選擇輸入功率為S的高斯信號(hào)x，由上不等式左邊部分，有從而 即下限成立。平行可加高斯噪聲信道容量最佳分布為各個(gè)輸入符號(hào)相互獨(dú)立，并保證每個(gè)符號(hào)的輸入分別最佳。N個(gè)獨(dú)立并行信道的組合平行可加高斯噪聲信道容量若各時(shí)刻上的噪聲都是均值為0，方差為 的高斯噪聲，此

5、時(shí)信道容量為當(dāng)且僅當(dāng)輸入信號(hào)X各分量統(tǒng)計(jì)獨(dú)立，并都是均值 為0，方差為S的高斯變量時(shí)等號(hào)成立。若各時(shí)刻上的噪聲仍是均值為0，但方差為不同的高斯噪聲時(shí)，情況怎樣呢？平行可加高斯噪聲信道容量若信道輸入為，輸出為信道干擾 z ,，則信道容量為約束條件為當(dāng)輸入各分量服從時(shí)達(dá)到信道容量。應(yīng)該如何取值，才能使在約束條件下取最大值？問題：平行可加高斯噪聲信道容量并行可加高斯噪聲（AWGN）信道的組合信道的容量其中，是噪聲在各單位時(shí)間上的方差，B為常數(shù)。時(shí)，選當(dāng)時(shí)，選Sn的選擇應(yīng)該這樣進(jìn)行：當(dāng)平行可加高斯噪聲信道容量這個(gè)結(jié)果形象的解釋就是將信道看作是底部由干擾方差所決定的起伏不平的容器，將信號(hào)能量E看作是水，

6、將這些水倒入容器中就形成一個(gè)高為B的水平面。當(dāng) 時(shí)，就沒有水注入該單元； 越小，進(jìn)入該單元的水就越多，即分到的能量就越大。注水定理用拉格朗日乘因子法來(lái)求解極值問題。令，可得從而將上式代入約束條件即（各分量平均功率的算術(shù)平均值） 首先作輔助函數(shù)可得綜上，各信道的輸出功率應(yīng)相等，且等于各分量平均功率的算術(shù)平均值時(shí)，即才能保證聯(lián)合信道容量最大。 注意求解過(guò)程中，并沒有考慮因此上述結(jié)果需要驗(yàn)證。這一條件，平行可加高斯噪聲信道容量因而若計(jì)算出 的有負(fù)值，必須置 來(lái)代替算得的負(fù)值。這就為邊界極值問題，表明當(dāng)某一信道的噪聲功率 大于常數(shù)K時(shí)，該信道無(wú)法利用。為了保持總功率不超過(guò)S，另一些信道的輸入功率還必須

7、相應(yīng)調(diào)整。設(shè)有q個(gè) ，即 小于0，則功率重新分配為 若此時(shí)仍有，再次進(jìn)行調(diào)整，直至剩余的所有 假如經(jīng)過(guò)多次調(diào)整，有m個(gè)，即 小于0，則功率重新分配為 從而求得 令則上式可寫成于是，定理得證?！咀ⅰ窟@個(gè)定理說(shuō)明，當(dāng)并行組合信道各分信道的干擾功率不等時(shí)，為達(dá)到最大傳信能力，要求對(duì)輸入信號(hào)總能量適當(dāng)?shù)倪M(jìn)行分配。分配按條件進(jìn)行，當(dāng) 時(shí)，不分配能量，既不傳任何信息；當(dāng) 時(shí)，使信號(hào)功率和信道噪聲功率之和為常數(shù)，這樣才能保證總的容量最大。平行可加高斯噪聲信道容量平行可加高斯噪聲信道容量【例】設(shè)有10個(gè)獨(dú)立并行的高斯信道，其干擾強(qiáng)度 分 別為0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.

8、9和1.0。求容許 輸入總功率S分別為5和1時(shí)的組合信道的容量？ S=5 ,求得分別為0.95,0.85,0.75,0.65,0.05(2) S=1 ,求得分別為0.4,0.3,0.2,0.1,0,0,0,0,0,0【例】設(shè)有10個(gè)獨(dú)立并行的高斯信道，其干擾強(qiáng)度 分 別為0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9和1.0。求容許 輸入總功率S分別為5和1時(shí)的組合信道的容量？例：雙輸出高斯信道考慮在X上帶有兩個(gè)相關(guān)觀察的可加高斯噪聲信道，即輸出Y=(Y1,Y2)，其中 Y1=X+Z1 Y2=X+Z2并對(duì)X的功率限定為P，以及(Z1,Z2)N2(0,K),其中求該信道的容量。解：信道容量加性高斯信道當(dāng)X是正態(tài)分布R.V.時(shí)，Y1和Y2也是正態(tài)分布R.V.，可使Hc（Y