信息論 信道容量

關(guān)于信息論信道容量第1頁，課件共83頁，創(chuàng)作于2023年2月§3.2.3離散信道容量的一般計(jì)算方法對(duì)一般離散信道而言，求信道容量，就是在固定信道的條件下，對(duì)所有可能的輸入概率分布{p(xi)}，求平均互信息的極大值。采用拉各朗日乘子法來計(jì)算。第2頁，課件共83頁，創(chuàng)作于2023年2月第3頁，課件共83頁，創(chuàng)作于2023年2月第4頁，課件共83頁，創(chuàng)作于2023年2月(1)兩邊乘p(ai)，并求和，則有：第5頁，課件共83頁，創(chuàng)作于2023年2月(2)第6頁，課件共83頁，創(chuàng)作于2023年2月將（2）代入（1），則有：（3）第7頁，課件共83頁，創(chuàng)作于2023年2月（4）則（3）變?yōu)椋旱?頁，課件共83頁，創(chuàng)作于2023年2月（5）（6）（7）第9頁，課件共83頁，創(chuàng)作于2023年2月總結(jié)C的求法，過程如下：（8）（9）第10頁，課件共83頁，創(chuàng)作于2023年2月例：信道矩陣如下，求C。第11頁，課件共83頁，創(chuàng)作于2023年2月1第12頁，課件共83頁，創(chuàng)作于2023年2月23第13頁，課件共83頁，創(chuàng)作于2023年2月4第14頁，課件共83頁，創(chuàng)作于2023年2月第15頁，課件共83頁，創(chuàng)作于2023年2月第16頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2317?注意：

在第②步信道容量C被求出后，計(jì)算并沒有結(jié)束，必 須解出相應(yīng)的p(ai)，并確認(rèn)所有的p(ai)≥0時(shí)，所求 的C才存在。

在對(duì)I(X;Y)求偏導(dǎo)時(shí)，僅限制，并沒有限 制p(ai)≥0，所以求出的p(ai)有可能為負(fù)值，此時(shí)C

就不存在，必須對(duì)p(ai)進(jìn)行調(diào)整，再重新求解C。

近年來人們一般采用計(jì)算機(jī)，運(yùn)用迭代算法求解。一般離散信道容量計(jì)算步驟第17頁，課件共83頁，創(chuàng)作于2023年2月2006-10-1861第三章信道容量典型無擾離散信道的信道容量1.均勻編碼信道的信道容量

定義：基本符號(hào)時(shí)間等長的信道稱為均勻編碼信道，這種等長的基本符號(hào)稱為碼元。

碼元通常是持續(xù)時(shí)間為b秒的D進(jìn)制脈沖 （Pulse），D進(jìn)制表示該碼元有D種等間隔數(shù) 值。第18頁，課件共83頁，創(chuàng)作于2023年2月2006-10-1862第三章信道容量典型無擾離散信道的信道容量例3.1用8kHz的取樣速率對(duì)模擬信號(hào)取樣，若對(duì)每一樣值做256級(jí)量化且樣值是各態(tài)歷經(jīng)的，求傳輸此信號(hào)的信道容量。解：由題意可知，每秒鐘有8000個(gè)樣值，即n

=8000（信源消息），信道基本符號(hào)數(shù)D

=256，故每秒鐘構(gòu)成的不同消息的總數(shù)目 為N=2568000，有

這就是傳送PCM信號(hào)需要的信道容量第19頁，課件共83頁，創(chuàng)作于2023年2月2006-10-1863第三章信道容量典型無擾離散信道的信道容量

一般地，若每個(gè)信道基本符號(hào)的長度為b秒，每秒鐘內(nèi)信道上可傳送的信道基本符號(hào)數(shù)為n，則n=1/b；T秒鐘內(nèi)信道上可構(gòu)成的不同消息數(shù)為N(T)=DnT，其中nT為T秒鐘內(nèi)信道上可傳送的信道基本符號(hào)數(shù)。于是Ct=nlogDbps(5.6)如果不以秒而是以一個(gè)碼元的時(shí)間作為標(biāo)準(zhǔn)，則C=Ct/n=logDbit/碼元時(shí)間(5.7)第20頁，課件共83頁，創(chuàng)作于2023年2月2006-10-1864第三章信道容量典型無擾離散信道的信道容量2.無固定約束的不均勻編碼信道的信 道容量無固定約束的不均勻編碼信道的基本符號(hào)是等幅的不等長 脈沖，用脈沖占有時(shí)間的不同來攜帶信息。例3.2求傳輸脈沖時(shí)間調(diào)制信號(hào)的信道容量。 解求信道容量，主要是求在T時(shí)間內(nèi)能構(gòu)成的不同消息 數(shù)N(T)。若以最窄的脈沖作為單位碼元而其它脈沖的寬度都是它的 倍數(shù)，則PTM脈沖寬度量化為有限種信道基本符號(hào)。設(shè)有D種信道基本符號(hào)，分別為：a1,a2,…,aD；對(duì)應(yīng)的占 用時(shí)間分別為：t1,t2,…,tD；則在時(shí)間T內(nèi)可能構(gòu)成的 符號(hào)總數(shù)N(T)有如下表達(dá)式：第21頁，課件共83頁，創(chuàng)作于2023年2月2006-10-1865第三章信道容量典型無擾離散信道的信道容量

式中第1行的××???××表示除a1外的D–1個(gè)信道基本符號(hào)的全排列，其余類推。利用遞推的方法或其它方法可得C=logrmaxbit/單位碼元時(shí)間(5.9)的最大正實(shí)根。N(T)=a1××…××+a2××…×× +…+aD×××× =××…×××a1+××…×××a2

+…+××…×××aD

=N(T?t1)+N(T?t2)+…+N(T?tD)+r++rr(5.10)?1=0?tD其中rmax是N(T)的特征方程

?t1?t2(5.8)(續(xù))第22頁，課件共83頁，創(chuàng)作于2023年2月2006-10-1866第三章信道容量典型無擾離散信道的信道容量3.有固定約束的不均勻編碼信道的信 道容量

假如編碼不滿足遍歷性，即由轉(zhuǎn)移不受限制變?yōu)檗D(zhuǎn)移受限制，傳輸它的信道就成為有固定約束的不均勻編碼信道。傳輸莫爾斯（Morse）電碼的信道是一種典型的有固定約束的不均勻編碼信道，下面通過對(duì)它的分析來看這種信道的信道容量。第23頁，課件共83頁，創(chuàng)作于2023年2月基本符號(hào)構(gòu)成持續(xù)時(shí)間具體實(shí)現(xiàn)點(diǎn)＋－t1=2清脆響一短聲劃＋＋＋－t2=4響一長聲，聲長三倍點(diǎn)字母間隔―――t3=33個(gè)單位碼元時(shí)間不發(fā)聲單詞間隔――――――t4=66個(gè)單位碼元時(shí)間不發(fā)聲2006-10-1867第三章信道容量典型無擾離散信道的信道容量例5.3電報(bào)員發(fā)報(bào)用Morse電碼；Morse電碼由點(diǎn)、劃、字母間隔和單詞間隔四種基本符號(hào)構(gòu)成，見表5.1，表中的“＋”表示按鍵合上，“－”表示按鍵斷開，分別相應(yīng)于發(fā)聲與不發(fā)聲狀態(tài)；試求Morse信道的信道容量。表5.1Morse電碼的構(gòu)成表第24頁，課件共83頁，創(chuàng)作于2023年2月2006-10-1868第三章信道容量典型無擾離散信道的信道容量解通過點(diǎn)、劃可構(gòu)成無窮多種組合，形成明碼或密碼。 設(shè)四種基本符號(hào)分別為a1,a2,a3,a4，點(diǎn)、劃為狀態(tài)1，字 母及單詞間隔作為狀態(tài)2，t>6的間隔均看作單詞間隔。 由于發(fā)報(bào)期間，不允許出現(xiàn)2個(gè)及2個(gè)以上的字母間隔或單詞間隔，即“間隔”不能連用，因此Morse信道存在有固定約束，其狀態(tài)轉(zhuǎn)移圖為圖5.2。a3a4a1狀態(tài)1狀態(tài)2

a1

a2

a2圖5.2例5.3的狀態(tài)轉(zhuǎn)移圖第25頁，課件共83頁，創(chuàng)作于2023年2月表示在T時(shí)間內(nèi)發(fā)的最后一個(gè)符號(hào)2006-10-1869第三章信道容量典型無擾離散信道的信道容量先求在時(shí)間T內(nèi)從狀態(tài)1轉(zhuǎn)移到狀態(tài)2或從狀態(tài)1、2轉(zhuǎn)移到狀態(tài)1的各種可能消息的總數(shù)目，分別用N1(T)和N2(T)表示。則式中是a3并使?fàn)顝臓顟B(tài)1改變到狀態(tài)2的各種可能消息的總數(shù)，而a3用的時(shí)間為b12；其余類推。第26頁，課件共83頁，創(chuàng)作于2023年2月推廣之，設(shè)從狀態(tài)i到狀態(tài)j發(fā)的符號(hào)為ak，所用的時(shí)間為，則b11—從狀態(tài)1到狀態(tài)1，有兩種可能：b21—從狀態(tài)2到狀態(tài)1，有兩種可能：2006-10-1870第三章信道容量典型無擾離散信道的信道容量

b22—從狀態(tài)2到狀態(tài)2，無此可能。根據(jù)表5.1，有b12—從狀態(tài)1到狀態(tài)2，有兩種可能：第27頁，課件共83頁，創(chuàng)作于2023年2月C=lim=logWmaxT2006-10-1871第三章信道容量典型無擾離散信道的信道容量在T時(shí)間里構(gòu)成的消息總數(shù)N(T)為式中Wmax為差分方程的特征方程的最大正實(shí)根。因此，求出這個(gè)最大正實(shí)根，也就求出了C。采用迭代法，略去中間過程，可解得，Wmax=1.453，故有

C=log1.453=0.539比特/符號(hào)時(shí)間

N(T)=N1(T)+N2(T)(5.14)上式又是一個(gè)線性差分方程，由這個(gè)差分方程，可得

logN(T)

(5.15)

T→∞第28頁，課件共83頁，創(chuàng)作于2023年2月§3.1信道的數(shù)學(xué)模型和分類§3.2單符號(hào)離散信道§3.3多符號(hào)離散信道§3.4多用戶信道§3.5信道編碼定理第29頁，課件共83頁，創(chuàng)作于2023年2月§3.3多符號(hào)離散信道§3.3.1多符號(hào)離散信道的數(shù)學(xué)模型§3.3.2離散無記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量第30頁，課件共83頁，創(chuàng)作于2023年2月多符號(hào)離散信道多符號(hào)信源通過離散信道傳輸形成多符號(hào)離散信道。第31頁，課件共83頁，創(chuàng)作于2023年2月§3.3.1

多符號(hào)離散信道的數(shù)學(xué)模型輸入輸出第32頁，課件共83頁，創(chuàng)作于2023年2月第33頁，課件共83頁，創(chuàng)作于2023年2月§3.3多符號(hào)離散信道§3.3.1多符號(hào)離散信道的數(shù)學(xué)模型

§3.3.2離散無記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量第34頁，課件共83頁，創(chuàng)作于2023年2月§3.3.2離散無記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量無記憶：YK僅與XK有關(guān)第35頁，課件共83頁，創(chuàng)作于2023年2月1YNY第36頁，課件共83頁，創(chuàng)作于2023年2月第37頁，課件共83頁，創(chuàng)作于2023年2月第38頁，課件共83頁，創(chuàng)作于2023年2月(a)?????=====-￡\￡-=-=NKKKNKKNKKNNKKKNNKKKXYHYHYXIYHYYYHXYHYYYHXYHYHYXI111211211

)/()();()()..()/()..()/()();(rrrrr第39頁，課件共83頁，創(chuàng)作于2023年2月第40頁，課件共83頁，創(chuàng)作于2023年2月I(X;Y)=∑I(Xkk)=NI(X;Y)30單符號(hào)離散無記憶信道與其N次擴(kuò)展信道信道容量之間的關(guān)系由于離散無記憶信源的N次擴(kuò)展信源中的隨機(jī)變量都取自同一符號(hào)集Xk∈{a1a2…aN}(k=1,2,…,N)，并具有相同的概率分布，而且都通過同一個(gè)離散無記憶信道[XP(Y/X)Y]，信道輸出端隨機(jī)變量序列中的隨機(jī)變量Yk(k=1,2,…,N)也取自同一符號(hào)集并具有相同的概率分布，而且相互統(tǒng)計(jì)獨(dú)立。所以I(Xk;Yk)=I(X;Y);Y

Nk=13.3.2離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量第41頁，課件共83頁，創(chuàng)作于2023年2月結(jié)論：離散無記憶信道的N次擴(kuò)展信道，如果信源也是離散無記憶信源的N次擴(kuò)展信源，則信道總的平均互信息是單符號(hào)離散無記憶信道平均互信息的N倍。第42頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2331結(jié)論的說明：因?yàn)殡x散無記憶信道N次擴(kuò)展信道可以用N個(gè)單符號(hào)離散信道來等效，這N個(gè)信道之間沒有任何關(guān)聯(lián)關(guān)系，若輸入端的N個(gè)隨機(jī)變量之間也沒有任何關(guān)聯(lián)關(guān)系的話，就相當(dāng)于N個(gè)毫不相干的單符號(hào)離散信道在分別傳送各自的信息，所以在擴(kuò)展信道的輸出端得到的平均信息量必然是單個(gè)信道的N倍。用C表示離散無記憶信道容量，用CN表示其擴(kuò)展信道容量，CN=NC3.3多符號(hào)離散信道3.3.2離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量第43頁，課件共83頁，創(chuàng)作于2023年2月+CN=∑Ck第三章信道容量2006-10-2332獨(dú)立并聯(lián)信道獨(dú)立并聯(lián)信道/獨(dú)立并列/獨(dú)立平行/積信道：輸入和輸出隨機(jī)序列中的各隨機(jī)變量取值于不同的符號(hào)集，就構(gòu)成3.3多符號(hào)離散信道了獨(dú)立并聯(lián)信道。是離散無記憶信道的N次擴(kuò)展信道的推廣。

輸入隨機(jī)序列X=X1X2…XN，Xk∈{a1k,a2k,…,ank}

輸出隨機(jī)序列Y=Y1Y2…YN，Yk∈{b1k,b2k,…,bnk}

N個(gè)獨(dú)立并聯(lián)信道的容量CN

第k個(gè)單符號(hào)離散無記憶信道的信道容量Ck

N

CN≤C1+C2+

k=13.3.2離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量當(dāng)輸入端各隨機(jī)變量統(tǒng)計(jì)獨(dú)立，且每個(gè)輸入隨機(jī)變量Xk(k=1,2,…,N)的概率分布達(dá)到各自信道容量Ck(k=1,2,…,N)的最佳分布時(shí)，CN達(dá)到其最大值：

第44頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2333獨(dú)立并聯(lián)信道推廣到更一般情況：輸入各隨機(jī)變量不但取值于不同的符號(hào)集，而且各集合的元素個(gè)數(shù)也不相同；輸出隨機(jī)變量也取值于不同的符號(hào)集合，各集合的元素個(gè)數(shù)也不相同；這種更一般的信道可得到與上述類似的結(jié)論。

可以把N個(gè)變量的獨(dú)立并聯(lián)信道看成是離散無記憶信道的N次擴(kuò)展信道的推廣，也可以把離散信道的N次擴(kuò)展看成是獨(dú)立并聯(lián)信道的特例。3.3.2離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量第45頁，課件共83頁，創(chuàng)作于2023年2月§3.1信道的數(shù)學(xué)模型和分類§3.2單符號(hào)離散信道§3.3多符號(hào)離散信道§3.4多用戶信道§3.5信道編碼定理第46頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2334

單路通信系統(tǒng)：不論是單符號(hào)的還是多符號(hào)的，都只有一個(gè)輸入 和一個(gè)輸出端的信道稱為單用戶信道，相應(yīng)的通信系統(tǒng)稱為單路 信系統(tǒng)。 多路通信系統(tǒng)：為了提高通信效率，通信網(wǎng)中的信道往往有多個(gè) 入端和多個(gè)輸出端，這種信道稱為多用戶信道，相應(yīng)的通信系統(tǒng) 為多路通信系統(tǒng)。 網(wǎng)絡(luò)信息論/多用戶信息論：研究多路通信系統(tǒng)信息傳遞的理論。 實(shí)際的信道大部分是多用戶信道。例如：計(jì)算機(jī)通信、衛(wèi)星通信、 廣播通信、有線電視等。3.4.1多址接入信道3.4.2廣播信道3.4.3相關(guān)信源的多用戶信道問題3.4多用戶信道第47頁，課件共83頁，創(chuàng)作于2023年2月§3.4多用戶信道§3.4.1多址接入信道

§3.4.2廣播信道§3.4.3相關(guān)信源的多用戶信道第48頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2335定義及信道模型多址接入信道/多元接入信道：多個(gè)用戶的信息用多個(gè)編碼器分別編碼以后，送入同一信道傳輸，在接收端用一個(gè)譯碼器譯碼，然后分送給不同的用戶。這是有多個(gè)輸入端但只有一個(gè)輸出端的多用戶信道。多址接入信道模型如圖3.4.1所示3.4.1多址接入信道3.4多用戶信道第49頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2336二址接入信道的信道容量最簡單的多址接入信道是只有兩個(gè)輸入端和一個(gè)輸出端的二址接入信道，如圖3.4.2所示。U1至U’1的信息率R1，信道容量C1U2至U’2的信息率R2，信道容量C2總信道容量C123.4多用戶信道3.4.1多址接入信道第50頁，課件共83頁，創(chuàng)作于2023年2月§3.4.1多址接入信道多入單出信道信源1信源2編碼器1編碼器2信道譯碼二址接入信道模型第51頁，課件共83頁，創(chuàng)作于2023年2月第52頁，課件共83頁，創(chuàng)作于2023年2月第53頁，課件共83頁，創(chuàng)作于2023年2月≤C第三章信道容量2006-10-2337這些條件確定了二址接入信道以R1和R2為坐標(biāo)的二維空間中的某個(gè)區(qū)域（圖中陰影部分），這個(gè)區(qū)域的界線就是二址接入信道的容量。二址接入信道信息率和信道容量之間滿足如下條件

R1≤C1

R22

R1+R2≤C123.4多用戶信道3.4.1多址接入信道當(dāng)X1和X2相互獨(dú)立時(shí)有

max(C1,C2)≤C12≤C1+C2第54頁，課件共83頁，創(chuàng)作于2023年2月∑R第三章信道容量2006-10-2338多址接入信道的信道容量二址接入信道的結(jié)論很容易推廣到多址接入信道；多址接入信道參數(shù)

多址接入信道數(shù)N

第r個(gè)編碼器的信息率為Rr

相應(yīng)的信道容量為Cr； 信道總?cè)萘繛镃Σ3.4.1多址接入信道3.4多用戶信道I(X1…XN;Y)rXN)I(Xr;Y/X1

maxP(X1)P(XN)

maxP(X1)P(XN)

Nr=1…Xr?1Xr+1…Rr≤Cr=≤CΣ=第55頁，課件共83頁，創(chuàng)作于2023年2月∑C第三章信道容量2006-10-2339當(dāng)輸入各信源獨(dú)立時(shí)有3.4.1多址接入信道3.4多用戶信道r

N

r=1≥CΣ≥maxCr r

這些限制條件規(guī)定了一個(gè)在N維空間的體積，這個(gè)體積的外型是一個(gè)截去角的多面體，多面體內(nèi)是信道允許的信息率，多面體的上界就是多址接入信道的容量。第56頁，課件共83頁，創(chuàng)作于2023年2月§3.4多用戶信道§3.4.1多址接入信道

§3.4.2廣播信道§3.4.3相關(guān)信源的多用戶信道第57頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2340定義：具有一個(gè)輸入和多個(gè)輸出的信道稱為廣播信道。最簡單的廣播信道是單輸入雙輸出廣播信道，如圖3.4.4所示：3.4多用戶信道3.4.2廣播信道1221U1U2XY1U’1U’2

3.4.4對(duì)于一般的廣播信道，很難用系統(tǒng)的方法求出其信息率可達(dá)區(qū)域，只在某些特殊的情況下，能夠證明信道容量的容量界線是可以達(dá)到的。Y2第58頁，課件共83頁，創(chuàng)作于2023年2月退化廣播信道（串聯(lián)）編碼器信道1信道2圖3.4.5退化的廣播信道模型第59頁，課件共83頁，創(chuàng)作于2023年2月構(gòu)成馬爾可夫鏈第60頁，課件共83頁，創(chuàng)作于2023年2月不變，保持最大第61頁，課件共83頁，創(chuàng)作于2023年2月§3.4多用戶信道§3.4.1多址接入信道

§3.4.2廣播信道§3.4.3相關(guān)信源的多用戶信道第62頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2341定義：由多個(gè)單用戶信道組成的并聯(lián)信道，傳送相互有關(guān)的多路息的信道。這種信道有多個(gè)輸入和多個(gè)輸出，且輸入端各信源之間有關(guān)聯(lián)關(guān)系。兩個(gè)相關(guān)信源用兩個(gè)獨(dú)立信道傳送的多用戶信道模型。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，多用戶信息論在近代信息論中越來越為大家關(guān)注，不過許多問題還沒有找到系統(tǒng)的解決方法。3.4多用戶信道3.4.3相關(guān)信源的多用戶信道問題第63頁，課件共83頁，創(chuàng)作于2023年2月模型1§3.4.3相關(guān)信源的多用戶信道信源編碼器1編碼器2信道1信道2譯碼器1譯碼器2相關(guān)信源多用戶信道第64頁，課件共83頁，創(chuàng)作于2023年2月第65頁，課件共83頁，創(chuàng)作于2023年2月C2C1第66頁，課件共83頁，創(chuàng)作于2023年2月E1C1D1x1x2邊信息模型2RE1E2C1C2D1D2x1x2E0C0w第67頁，課件共83頁，創(chuàng)作于2023年2月W:公信息要求R0盡可能小，并且在W條件下，X1X2無關(guān)第68頁，課件共83頁，創(chuàng)作于2023年2月§3.1信道的數(shù)學(xué)模型和分類§3.2單符號(hào)離散信道§3.3多符號(hào)離散信道§3.4多用戶信道§3.5連續(xù)信道第69頁，課件共83頁，創(chuàng)作于2023年2月連續(xù)信道：輸入和輸出隨機(jī)變量都取值于連續(xù)集合的信道。信道傳遞特性：傳遞特性用條件轉(zhuǎn)移概率密度函數(shù)p(y/x)表示。連續(xù)信道數(shù)學(xué)模型：{X

p(y/x)Y}，如圖所示：連續(xù)信道第70頁，課件共83頁，創(chuàng)作于2023年2月連續(xù)隨機(jī)變量之間的平均互信息滿足非負(fù)性，并可以證明，它是信源概率密度函數(shù)p(x)的上凸函數(shù)。連續(xù)信道的信道容量C：信源X等于某一概率密度函數(shù)p0(x)時(shí)，信道平均互信息的最大值，即一般連續(xù)信道的容量并不容易計(jì)算，當(dāng)信道為加性信道時(shí)，情況要簡單一些。連續(xù)信道的信道容量第71頁，課件共83頁，創(chuàng)作于2023年2月加性連續(xù)信道：噪聲為連續(xù)隨機(jī)變量N，且與X相互統(tǒng)計(jì)獨(dú)立的信道。這種信道的噪聲對(duì)輸入的干擾作用表現(xiàn)為噪聲和輸入線性疊加，即Y=X+N。如圖所示：加性連續(xù)信道的信道容量第72頁，課件共83頁，創(chuàng)作于2023年2月加性連續(xù)信道的條件概率密度函數(shù)等于噪聲的概率密度p(y/x)=p(n)，這進(jìn)一步說明信道的傳遞概率是由于噪聲熵所引起的。加性連續(xù)信道的條件熵等于噪聲熵Hc(Y/X)=Hc(N)。說明Hc(Y/X)是由噪聲引起的，故稱Hc(N)為噪聲熵。

該結(jié)論說明了條件熵是由于信道中噪聲引起的，它完全等于噪聲信源的不確定性，即噪聲信源的熵，所以稱它為噪聲熵。加性連續(xù)信道的信道容量第73頁，課件共83頁，創(chuàng)作于2023年2月加性連續(xù)信道的信道容量：加性噪聲N和信源X相互統(tǒng)計(jì)獨(dú)立，X的概率密度函數(shù)p(x)的變動(dòng)不會(huì)引起噪聲熵Hc(N)的改變，所以加性信道的容量C就是選擇p(x)，使輸出熵Hc(Y)達(dá)到最大值，即上式說明：加性連續(xù)信道容量取決于噪聲N（即信道）的統(tǒng)計(jì)特性和輸入隨機(jī)變量X所受的限制條件。（對(duì)于不同的限制條件，連續(xù)隨機(jī)變量具有不同的最大熵值。）第74頁，課件共83頁，創(chuàng)作于2023年2月高斯加性連續(xù)信道：高斯噪聲為N，均值為0，方差為σ2，噪聲功率為PN；信道的傳遞概率密度函數(shù)：p(y/x)=p(n)如果把x看成是一個(gè)常數(shù)，則上式就變成了隨y變化的高斯函數(shù)，即當(dāng)已知X=x時(shí)，Y也是一個(gè)高斯變量，均值為x，方差為σ2。高斯加性連續(xù)信道的信道容量第75頁，課件共83頁，創(chuàng)作于2023年2月因此高斯加性信道的容量為第76頁，課件共83頁，創(chuàng)作于2023年2月輸入概率密度函數(shù)p(x)是什么樣的函數(shù)時(shí)，才能使Y呈高斯分布？