信道與信道容量

第五章：信道與信道容量

楊杰本章節(jié)達(dá)到的目的了解信息論研究信道的目的、內(nèi)容了解信道的基本分類并掌握信道的基本描述方法掌握信道容量/信道容量代價(jià)函數(shù)的概念，以及與互信息、信道輸入概率分布、信道轉(zhuǎn)移函數(shù)的關(guān)系能夠計(jì)算簡單信道的信道容量/信道容量代價(jià)函數(shù)（對(duì)稱離散信道、無記憶加性高斯噪聲信道）了解信道容量/容量代價(jià)函數(shù)在研究通信系統(tǒng)中的作用理解香農(nóng)第一定理又稱無噪信道編碼的物理意義進(jìn)一步從信息論的角度理解香農(nóng)公式及其用途概念問題熵熵率無失真信源編碼定理中的作用互信息信道容量信道編碼定理中的作用回顧－互信息函數(shù)的性質(zhì)1互信息與信道輸入概率分布的關(guān)系性質(zhì)1：I(X;Y)是信道輸入概率分布p(x)的上凸函數(shù).回顧－互信息函數(shù)的性質(zhì)2

信息量與信道轉(zhuǎn)移概率分布的關(guān)系性質(zhì)2：I(X;Y)是信道轉(zhuǎn)移概率分布p(y/x)的下凹函數(shù).回顧－互信息函數(shù)的性質(zhì)3信息量與信道輸入符號(hào)相關(guān)性的關(guān)系

性質(zhì)3:信道的輸入是離散無記憶的,回顧－互信息函數(shù)的性質(zhì)4信息量與信道輸入符號(hào)相關(guān)性的關(guān)系

性質(zhì)4:信道是離散無記憶的,回顧－互信息函數(shù)的性質(zhì)5性質(zhì)3、性質(zhì)4的推論：信道的輸入和信道本身都是離散無記憶的信道與信道容量概述信道的分類與描述離散無記憶信道及其容量連續(xù)信道及其容量容量代價(jià)函數(shù)C(F)

§5.1:概述信息論對(duì)信道研究的內(nèi)容什么是信道？信道的作用研究信道的目的§5.1:概述－1信息論對(duì)信道研究的內(nèi)容：信道的建模：用恰當(dāng)?shù)妮斎?輸出兩個(gè)隨機(jī)過程來描述信道容量不同條件下充分利用信道容量的各種辦法§5.1:概述－2什么是信道？ 信道是傳送信息的載體——信號(hào)所通過的通道。 信息是抽象的，信道則是具體的。比如：二人對(duì)話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽收音機(jī)，收、發(fā)間的空間就是信道。§5.1:概述－3信道的作用 在信息系統(tǒng)中信道主要用于傳輸與存儲(chǔ)信息，而在通信系統(tǒng)中則主要用于傳輸?！?.1:概述－4研究信道的目的實(shí)現(xiàn)信息傳輸?shù)挠行院涂煽啃杂行裕撼浞掷眯诺廊萘靠煽啃裕和ㄟ^信道編碼降低誤碼率 在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同類型信道，計(jì)算其容量，即極限傳輸能力，并分析其特性。通信技術(shù)研究－－信號(hào)在信道中傳輸?shù)倪^程所遵循的物理規(guī)律，即傳輸特性信息論研究－－信息的傳輸問題（假定傳輸特性已知）§5.2:信道的分類與描述信道分類信道描述§5.2:信道分類與描述－1信道分類 從工程物理背景——傳輸媒介類型； 從數(shù)學(xué)描述方式——信號(hào)與干擾描述方式； 從信道本身的參數(shù)類型——恒參與變參； 從用戶類型——單用戶與多用戶；§5.2:信道分類與描述－2§5.2:信道分類與描述－3§5.2:信道分類與描述－4§5.2:信道分類與描述－5

§5.2:信道分類與描述－6

信道劃分是人為的，比如其中：c1為連續(xù)信道，調(diào)制信道；

c2為離散信道，編碼信道；

c3為半離散、半連續(xù)信道；

c4為半連續(xù)、半離散信道?！?.2:信道分類與描述－7信道描述信道可以引用三組變量來描述：信道輸入概率空間：信道輸出概率空間：信道概率轉(zhuǎn)移矩陣：P即：{，P，}，它可簡化為：。§5.2:信道分類與描述－8其中：而 而§5.2:信道分類與描述－9當(dāng)K=1時(shí)，退化為單個(gè)消息（符號(hào)）信道；進(jìn)一步當(dāng)n=m=2時(shí)，退化為二進(jìn)制單個(gè)消息信道。若它滿足對(duì)稱性，即構(gòu)成最常用的二進(jìn)制單消息對(duì)稱信道BSC：且,,§5.3:離散無記憶信道及其信道容量離散無記憶信道及其信道容量離散無記憶信道容量的計(jì)算離散無記憶信道的信道容量定理對(duì)稱的離散無記憶信道容量香農(nóng)第一定理的物理意義§5.3:離散無記憶信道及其信道容量-1離散消息序列信道

§5.3:離散無記憶信道及其信道容量-2離散無記憶信道及其信道容量

由消息序列互信息性質(zhì)對(duì)離散無記憶信道，有：（性質(zhì)4）則當(dāng)且僅當(dāng)信源(信道入)無記憶時(shí)，“等號(hào)”成立（性質(zhì)3、4推論）

§5.3:離散無記憶信道及其信道容量-3離散無記憶信道及其信道容量的進(jìn)一步理解Cmax存在互信息性質(zhì)1，上凸函數(shù)極值存在達(dá)到Cmax時(shí)的兩個(gè)條件：信道輸入（信源）是離散無記憶的信道輸入的概率分布是使I(X,Y)達(dá)到最大的分布C的值不是由信源的p(x)決定的，而是由p決定的C是信道作為信息傳輸通道的性能度量只有信道輸入（信源）X（x1x2…xn)滿足一定條件時(shí)，才能充分利用信道傳輸信息的能力§5.3:離散無記憶信道及其信道容量-4離散無記憶信道容量的計(jì)算思路：問題轉(zhuǎn)化為：有界閉區(qū)域上求約束極值方法：1、求區(qū)域內(nèi)極值

2、求邊界極值

3、求前兩者的最大值具體實(shí)現(xiàn)：1、簡單情況下求解（如單符號(hào)信道、對(duì)稱信道）2、解方程3、迭代法4、其他§5.3:離散無記憶信道及其信道容量-5離散無記憶信道的信道容量定理

定理5.1：對(duì)前向轉(zhuǎn)移概率矩陣為Q的離散無記憶信道，其輸入字母的概率分布p*能使互信息I(p,Q)取最大值的充要條件是

其中：

是信源字母ak傳送的平均互信息，C就是這一信道的信道容量?！?.3:離散無記憶信道及其信道容量-6離散無記憶信道的信道容量定理理解在這種分布下，每個(gè)概率>0的字母提供的互信息＝C，每個(gè)概率＝0的字母提供的互信息≤C當(dāng)且僅當(dāng)這種分布時(shí)，可使I(p,Q)達(dá)到最大值CI(X,Y)是I(x=ak;Y)的平均值。即：想提高I(X,Y)，可以提高p(ak)但提高p(ak)，又使I(x=ak;Y)降低反復(fù)調(diào)整p(ak)，使I(x=ak;Y)相等且都等于C此時(shí)I(X,Y)＝C定理只給出了可使I(X,Y)＝C的p(x)的充要條件，并無具體分布及C的值，但可以幫助求解簡單情況部分信道的C§5.3:離散無記憶信道及其信道容量-7對(duì)稱的離散無記憶信道信道容量對(duì)稱的離散無記憶信道輸出字母的集合可以劃分為若干子集，對(duì)每個(gè)子集有：矩陣中的每一行都是第一行的重排列；矩陣中的每一列都是第一列的重排列。定理5.2：對(duì)于對(duì)稱的離散無記憶信道，當(dāng)信道輸入字母為等概率分布時(shí)達(dá)到信道容量?！?.3:離散無記憶信道及其信道容量-8對(duì)稱信道§5.3:離散無記憶信道及其信道容量-9a1a2b1b2b30。70。10。10。20。7a1a2b1b2b30。20。70。70。10。10。2§5.3:離散無記憶信道及其信道容量-10BSC信道信道容量的計(jì)算a1a2b1b21-ε1-εεε§5.3:離散無記憶信道及其信道容量-11由定理5.2，當(dāng)輸入等概分布時(shí)，互信息達(dá)到信道容量即：p(a1)=p(a2)=1/2；有：

于是：

這里：§5.3:離散無記憶信道及其信道容量-12二元?jiǎng)h除信道信道容量的計(jì)算a1a2b1b21-ε1-εεεb3§5.3:離散無記憶信道及其信道容量-13由定理5.2，當(dāng)輸入等概分布時(shí)，互信息達(dá)到信道容量即：p(a1)=p(a2)=1/2；有：

于是：

§5.3:離散無記憶信道及其信道容量-140.51.000.51.0cεbaCa=Cb=a:BSC信道的信道容量曲線b:二進(jìn)制刪除信道的信道容量曲線§5.3:離散無記憶信道及其信道容量-15香農(nóng)第一定理（變長無失真信源編碼定理）的物理意義

（達(dá)到極限時(shí)等號(hào)成立）從信道的角度看，信道的信息傳輸率（達(dá)到極限時(shí)等號(hào)成立）

§5.3:離散無記憶信道及其信道容量-16香農(nóng)第一定理（變長無失真信源編碼定理）的物理意義無噪無損信道的信道容量：C=logM再看當(dāng)平均碼長達(dá)到極限值時(shí)此時(shí)信道的信息傳輸率R＝無噪信道的信道容量C無失真信源編碼的實(shí)質(zhì)：對(duì)離散信源進(jìn)行適當(dāng)變換，使變換后新的碼符號(hào)信源（信道的輸入信源）盡可能為等概分布，以使新信源的每個(gè)碼符號(hào)平均所含的信息量達(dá)到最大，從而使信道的信息傳輸率R達(dá)到信道容量C，實(shí)現(xiàn)信源與信道理想的統(tǒng)計(jì)匹配。又稱：無噪信道編碼定理若信道的信息傳輸率R不大于信道容量C，總能對(duì)信源的輸出進(jìn)行適當(dāng)?shù)木幋a，使得在無噪無損信道上能無差錯(cuò)地以最大信息傳輸率C傳輸信息；但要使信道的信息傳輸率R大于C而無差錯(cuò)地傳輸信息則是不可能的。信道容量InformationsourceEncoderSXDiscreteCommunicationChannelX={x1,x2,…,xr}DecoderXSInformationreceiver連續(xù)信道－－模擬信道連續(xù)信道：特點(diǎn)1：時(shí)間離散、幅度連續(xù)特點(diǎn)2：每個(gè)時(shí)刻是取值連續(xù)的單個(gè)隨機(jī)變量（vs離散序列)研究方法：N個(gè)自由度的隨機(jī)變量，取研究平均在每個(gè)自由度上的C模擬信道：特點(diǎn)1：時(shí)間連續(xù)、幅度連續(xù)特點(diǎn)2：一族時(shí)間樣本函數(shù)，每個(gè)時(shí)間樣本函數(shù)都是時(shí)間、幅度取值連續(xù)的研究方法：1、限頻、限時(shí)時(shí)離散、量化為離散隨機(jī)矢量

2、為避免有記憶隨機(jī)矢量研究的困難，找到一組正交完備函數(shù)集，展開為級(jí)數(shù)，使所得到系數(shù)組成的隨機(jī)矢量相互獨(dú)立或線性無關(guān)。注意：1、限時(shí)－－頻譜無限，限頻－－時(shí)間無限。

2、認(rèn)為函數(shù)在F以上或T以外取值很小，限時(shí)、限頻不會(huì)引起函數(shù)的嚴(yán)重失真Analogsource模擬通信系統(tǒng)SourcecodingChannelcodingAnalogchannelChanneldecodingSourcedecodingDestinationA/DconverterModulationDemodulationD/Aconverter01101…01110010…01111010…01101…§5.4:連續(xù)信道及其容量－1－回顧連續(xù)隨機(jī)變量的熵－微分熵（VS離散隨機(jī)變量）連續(xù)隨機(jī)變量最大熵分布－－依賴于約束條件（VS離散隨機(jī)變量）峰值功率受限條件下－－均勻分布的隨機(jī)變量具有最大微分熵平均功率受限條件下－－高斯分布的隨機(jī)變量具有最大微分熵連續(xù)信道的輸入所取的值域不足以完全表示對(duì)信道輸入的限制還有約束條件C＝max[h(Y)-h(n)]C取決于信道的統(tǒng)計(jì)特性（加性信道即噪聲的統(tǒng)計(jì)特性）輸入隨機(jī)矢量X所受的限制條件（一般考慮平均功率受限時(shí)）C的單位為：比特/N個(gè)自由度連續(xù)信道信道容量－－容量費(fèi)用函數(shù)描述§5.4:連續(xù)信道及其容量－2C.F吳&朱&傅－－信道容量吳：信道容量：離散信道容量、連續(xù)信道容量容量代價(jià)函數(shù)：離散信道、連續(xù)信道朱：信道容量：離散信道容量費(fèi)用函數(shù)：連續(xù)信道&模擬信道傅：信道容量：離散信道容量、連續(xù)信道容量§5.4:連續(xù)信道及其容量－3研究連續(xù)信道容量的方法基本、簡單的信道：無記憶加性噪聲信道信道噪聲為高斯時(shí)何種分布輸入能達(dá)到對(duì)信道的充分利用信道輸入為高斯時(shí)何種分布噪聲對(duì)信道傳輸信息影響最大§5.4:連續(xù)信道及其容量－4一些基礎(chǔ)知識(shí)：對(duì)于加性信道Y=X+NX：信道輸入N：信道噪聲Y：信道輸出信道的轉(zhuǎn)移概率分布函數(shù)就是N的分布函數(shù)b(x)是信道輸入為x時(shí)對(duì)應(yīng)的費(fèi)用如果X、Y、N中有兩個(gè)是高斯分布，另一個(gè)也是高斯分布的高斯分布的隨機(jī)變量的微分熵h(XG)＝高斯分布的連續(xù)隨機(jī)變量的微分熵h(XG)的值只與方差有關(guān)，與均值無關(guān)加性信道ErrorSource+EXOutputInput§5.4:連續(xù)信道及其容量－5定義：容量費(fèi)用函數(shù)若上確界在I(X,Y)存在最大值時(shí)對(duì)于無記憶信道：因?yàn)橛校骸?.4:連續(xù)信道及其容量－6無記憶加性噪聲信道的信道容量費(fèi)用函數(shù)無記憶加性噪聲信道的前向轉(zhuǎn)移概率密度函數(shù)就是N的概率密度函數(shù)，即：其中

§5.4:連續(xù)信道及其容量－7于是有：取信道輸入信號(hào)的平均功率E(X2)作為信息傳輸?shù)馁M(fèi)用則有：無記憶加性噪聲信道的信道容量費(fèi)用函數(shù)為：因h(N)與px(x)無關(guān)，求解C(PS)問題轉(zhuǎn)化為只需對(duì)h(Y)進(jìn)行§5.4:連續(xù)信道及其容量－8無記憶加性高斯噪聲信道的信道容量費(fèi)用函數(shù)條件：ZZG問題：求使C(PS)最大時(shí)的X的概密分布函數(shù)求解步驟：因?yàn)?/p>

C(PS)

所以要求使C(PS)最大求使h(Y)最大而在PS約束條件下，當(dāng)YYG時(shí)h(Y)達(dá)到最大此時(shí)XXG，且C(PS)＝結(jié)論：當(dāng)信道輸入信號(hào)為高斯分布信號(hào)時(shí)，無記憶加性高斯噪聲信道的信道容量可以得到充分利用。換句話說：在無記憶加性高斯噪聲信道中傳輸信息時(shí)，高斯分布的信號(hào)是最有效的§5.4:連續(xù)信道及其容量－9無記憶加性噪聲信道對(duì)高斯分布的輸入信號(hào)的影響條件：XXG，，約束條件PS問題：考察何種概密分布的N使I(X;Y)最小求解步驟：因?yàn)?/p>

而當(dāng)NNG時(shí)，YYG此時(shí)：可以證明：結(jié)論：無記憶加性高斯噪聲信道對(duì)高斯分布的輸入信號(hào)具有最大的破壞力。高斯分布特性：作為信道輸入信號(hào)的概密分布時(shí)，有利于信息傳輸作為加性信道噪聲概密分布時(shí)，不利于信息傳輸§5.4:連續(xù)信道及其容量－10一般無記憶加性噪聲信道的信道容量費(fèi)用函數(shù)無法給出解析形式的解，但可以給出其上下界表達(dá)式下界：根據(jù)前面的討論很容易得上界：當(dāng)輸入信號(hào)功率限制在PS以下，噪聲功率限制在PN以下則輸出信號(hào)功率將<=PS＋PN。此時(shí)所以有：§5.4連續(xù)信道及其容量－11§5.5:模擬信道及其容量模擬信道下的信道容量費(fèi)用函數(shù)及其計(jì)算廣義平穩(wěn)的限頻(F)、限時(shí)(T)、限功率(P)白色高斯信道及其容量C。Shannon公式Shannon公式的物理意義Shannon公式的用途§5.5:模擬信道及其容量－4廣義平穩(wěn)的限頻(F)、限時(shí)(T)、限功率(P)白色高斯信道及其容量C

對(duì)限頻(F)、限時(shí)(T)的連續(xù)過程信源可展成下列取樣函數(shù)序列：現(xiàn)將這2FT個(gè)樣值序列通過一個(gè)功率受限(P)的白色高斯信道并求其容量值C?！?.5:模擬信道及其容量－Shannon公式1Shannon公式定理5.3：滿足限頻(F)、限時(shí)(T)的廣義平穩(wěn)隨機(jī)過程信源X(t,w)，當(dāng)它通過一個(gè)功率受限(P)的白色高斯信道，其容量為：這就是著名的Shannon公式。則單位時(shí)間T=1時(shí)的容量為：§5.5:模擬信道及其容量－Shannon公式2證明：前面已求得單個(gè)連續(xù)消息（第k個(gè)）通過高斯信道以后的容量值為：同時(shí)，在消息序列的互信息中已證明當(dāng)信源、信道滿足無記憶時(shí)，下列結(jié)論成立：由信道容量定義，有§5.5:模擬信道及其容量－Shannon公式3Shannon公式的物理意義它給出了決定信道容量C的是三個(gè)信號(hào)物理參量：F、T、

之間的辯證關(guān)系。三者的乘積是一個(gè)“可塑”性體積（三維）。三者間可以互換。§5.5:模擬信道及其容量－Shannon公式4－Shannon公式的用途一

用頻帶換取信噪比：擴(kuò)頻通信原理。雷達(dá)信號(hào)設(shè)計(jì)中的線性調(diào)頻脈沖，模擬通信中，調(diào)頻優(yōu)于調(diào)幅，且頻帶越寬，抗干擾性就越強(qiáng)。數(shù)字通信中，偽碼(PN)直擴(kuò)與時(shí)頻編碼等，帶寬越寬，擴(kuò)頻增益越大，抗干擾性就越強(qiáng)。深空通信中（功率受能源限制，頻譜資源相對(duì)豐富），采用兩電平數(shù)字通信方式有效利用信道容量。注意：有極限歸一化信道容量關(guān)于信噪比SNR的關(guān)系圖歸一化信道帶寬關(guān)于信噪比SNR的關(guān)系圖

－Shannon公式另一種形式：

其中，為噪聲密度，即單位帶寬的噪聲強(qiáng)度，σ2=N0F;

Eb

表示單位符號(hào)信號(hào)的能量，Eb=STb=S/F；

Eb/N0

稱為歸一化信噪比.也稱為能量信噪比.當(dāng)Eb/N0<<1時(shí)，

≈Eb/N0

(nat)＝(bit)結(jié)論：低信噪比時(shí)，信道容量近似地決定于能量信噪比的值極限：

傳送1bit信息所需的能量至少是0.693N0§5.5:模擬信道及其容量－Shannon公式5－Shannon公式的用途二用信噪比換取頻帶多進(jìn)制多電平多維星座調(diào)制方式的基本原理衛(wèi)星、數(shù)字微波中常采用的有：多電平調(diào)制、多相調(diào)制、高維星座調(diào)制(M-QAM)等等，它利用高質(zhì)量信道中富裕的信噪比換取頻帶，以提高傳輸有效性?！?.5:模擬信道及其容量－Shannon公式6Shannon公式的用途三

用時(shí)間換取信噪比重傳、弱信號(hào)累積接收基于這一原理。t=T0

為分界線。信號(hào)功率S有規(guī)律隨時(shí)間線性增長，噪聲功率σ2無規(guī)律，隨時(shí)間呈均方根增長?！?.5:模擬信道及其容量－Shannon公式7Shannon公式的用途四

用時(shí)間換取頻帶或用頻帶換取時(shí)間擴(kuò)頻－－縮短時(shí)間：通信電子對(duì)抗、潛艇通信窄帶－－增加時(shí)間：電話線路傳準(zhǔn)活動(dòng)圖象§5.5:模擬信道及其容量－Shannon公式8討論信道容量及容量費(fèi)用函數(shù)的目的：不是為了實(shí)現(xiàn)可靠傳輸（這是信道編碼的目的）只是為了實(shí)現(xiàn)最大限度達(dá)到信道的信息傳輸能力可以給出信道編碼的界關(guān)于Shannon公式條件是加性高斯白噪聲（AWGN)信道下給出的是S、N、W與信道容量（最大信息傳輸速率）的關(guān)系沒有給出S、N、W與差錯(cuò)概率的關(guān)系－1.59dB例1、已知信道轉(zhuǎn)移概率矩陣如下，求此信道的信道容量。

X\Y012301/31/31/61/611/61/31/61/3解：由定理5.2，當(dāng)輸入等概分布時(shí)，互信息達(dá)到信道容量即：p(a1)=p(a2)=1/2；有：

例2、在圖片傳輸中，每幀約為2.25×106個(gè)像素，為了能很好地重現(xiàn)圖像，需分16個(gè)亮度電平，并假設(shè)亮度電平等概率分布。試計(jì)算每秒鐘傳送30幀圖片所需信道的帶寬(信噪功率比為30dB)。解：高斯白噪聲加性信道單位時(shí)間的信道容量：

(比特/秒）

要求的信息傳輸率為：

Ct=2.25×106×log16×30=2.7×108（bit/s)=Wlog(1+S/N)

而：10lg(S/N)=30dBS/N=103W=(2.7×108)