《信息論與編碼》 課件 第3章信道與信道容量

1第3章信道與信道容量信道的分類與數(shù)學(xué)模型離散單符號(hào)信道的信道容量離散序列信道的信道容量連續(xù)單符號(hào)信道的信道容量連續(xù)序列信道的信道容量波形信道的信道容量信道冗余度23.1.1信道的分類（按照信道輸入信號(hào)分類）

離散單符號(hào)信道

離散序列信道

連續(xù)單符號(hào)信道

連續(xù)序列信道

波形信道主要目的：研究信道中理論上能夠傳輸或存儲(chǔ)的最大信息量，即信道容量。3.1信道的分類33.1.2信道的數(shù)學(xué)模型描述：信道把特定輸入符號(hào)映射為特定輸出符號(hào)的能力（正確概率）以及映射為其他輸出符號(hào)的可能性（錯(cuò)誤概率）。圖3-1信道模型圖P(Y|X)41.離散單符號(hào)信道的數(shù)學(xué)模型轉(zhuǎn)移概率矩陣離散單符號(hào)信道模型P(Y|X)5例：二進(jìn)制對(duì)稱信道（BSC）轉(zhuǎn)移概率矩陣圖3-2二進(jìn)制對(duì)稱信道（BSC）p11=1-p，p12=p，p21=p，p22=1-p62.離散序列信道的數(shù)學(xué)模型當(dāng)輸入為離散序列時(shí)，用隨機(jī)矢量x來表示，若輸出隨機(jī)矢量為y，則信道可用轉(zhuǎn)移概率P(y/x）表示。當(dāng)信源和信道無記憶時(shí)，離散序列信道可看成一系列離散單符號(hào)信道。7例:擴(kuò)展信道如果對(duì)離散單符號(hào)信道進(jìn)行L次擴(kuò)展，就形成了L次離散無記憶序列信道BSC的二次擴(kuò)展信道

00101101000111X

{00,01,10,11}，Y

{00,01,10,11}，二次擴(kuò)展無記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p21083.連續(xù)單符號(hào)信道的數(shù)學(xué)模型對(duì)連續(xù)單符號(hào)輸入信源x，對(duì)應(yīng)的輸出為隨機(jī)變量y。若信道為加性高斯白噪聲信道:

y=x+n其中，n為0均值、方差為σ2的高斯隨機(jī)變量。若給定輸入x0，則94.連續(xù)序列信道的數(shù)學(xué)模型當(dāng)輸入為連續(xù)序列時(shí)，用隨機(jī)矢量x來表示，若輸出隨機(jī)矢量為y，則信道可用轉(zhuǎn)移概率密度pY(y/x）表示。若輸入序列無記憶，無記憶連續(xù)序列信道可以看作是一系列連續(xù)單符號(hào)信道。105.波形信道的數(shù)學(xué)模型若輸入為波形信源，用隨機(jī)過程{x(t)}表示，則輸出也為隨機(jī)過程，記為{y(t)}。若滿足限時(shí)（tB）限頻（fm）條件，則可以抽樣成L=2fmtB的連續(xù)平穩(wěn)隨機(jī)序列，則信道用轉(zhuǎn)移概率密度描述，為：若信源信道無記憶，則111.互信息量表達(dá)式3.1.3信道容量的定義12定理3.1

在p(yj|xi)給定時(shí)，互信息量I(X;Y)是p(xi)的上凸函數(shù)。通信的目的:每次信道使用（每發(fā)送一個(gè)符號(hào)），傳送到接收端盡可能多的信息量（互信息量I(X;Y)取最大值）。需要解決的問題是：①該最大值是多少？②p(xi)是什么分布時(shí)，取得該最大值？132.信道容量的定義信道容量（ChannelCapacity）：信道所能傳送的最大信息量。比特/符號(hào)（bits/symbol或bits/channeluse）

在p(y/x)給定時(shí)，I(X;Y)是關(guān)于p(x)的上凸函數(shù)。信道容量要解決的問題：C=?p(xi)=?14離散無記憶信道（DMC）

對(duì)稱離散無記憶信道

準(zhǔn)對(duì)稱離散無記憶信道

一般離散無記憶信道3.2離散單符號(hào)信道的信道容量15輸入對(duì)稱如果轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換(包含同樣元素)，稱該矩陣是輸入對(duì)稱。輸出對(duì)稱如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換(包含同樣元素)，稱該矩陣是輸出對(duì)稱。對(duì)稱信道如果輸入、輸出都對(duì)稱。3.2.1對(duì)稱離散無記憶信道16對(duì)稱DMC信道例子17輸入對(duì)稱18如果信道輸入符號(hào)等概分布p(ai)＝1/n當(dāng)轉(zhuǎn)移概率矩陣列對(duì)稱時(shí)，信道輸出符號(hào)p(bj)等概分布－－輸出對(duì)稱19例3-2.求信道容量20例3-3.求信道容量信道輸入符號(hào)和輸出符號(hào)的個(gè)數(shù)相同，都為n，且正確的傳輸概率為1－

，錯(cuò)誤概率

被對(duì)稱地均分給n-1個(gè)輸出符號(hào)，此信道稱為強(qiáng)對(duì)稱信道或均勻信道，是對(duì)稱離散信道的一個(gè)特例。21例3-4.二進(jìn)制對(duì)稱信道（BSC）：當(dāng)

時(shí)，錯(cuò)誤概率為0，無差錯(cuò)，信道容量達(dá)到最大，每符號(hào)1bit，輸入端的信息全部傳輸至輸出端。當(dāng)

時(shí)，錯(cuò)誤概率與正確概率相同，從輸出端得不到關(guān)于輸入的任何信息，互信息為0，即信道容量為0。對(duì)于

的情況，可在BSC的輸出端顛倒0和1，導(dǎo)致信道容量以

點(diǎn)中心對(duì)稱。22例3-5.串聯(lián)信道23例3-5.串聯(lián)信道圖3-6m個(gè)BSC串聯(lián)信道的互信息串接的信道越多，其信道容量可能會(huì)越小，當(dāng)串接信道數(shù)無限大時(shí)，信道容量就有可能趨于零。

24若信道的轉(zhuǎn)移概率矩陣輸入對(duì)稱而輸出不對(duì)稱，這樣的信道稱為準(zhǔn)對(duì)稱離散無記憶信道。當(dāng)輸入等概率時(shí)不能確保輸出等概：一般情況下：

3.2.2準(zhǔn)對(duì)稱離散無記憶信道251.求極值方法例：求信道容量信道的輸入符號(hào)有兩個(gè)，可設(shè)p(a1)＝

，p(a2)＝1－

，信道的輸出符號(hào)有三個(gè)，用b1、b2、b3表示

3.2.2準(zhǔn)對(duì)稱離散無記憶信道261.求極值方法因?yàn)?/p>

，所以應(yīng)有：

p(a1)＝p(a2)＝1/2272.矩陣分解法

將轉(zhuǎn)移概率矩陣劃分成若干個(gè)互不相交的對(duì)稱的子集，則準(zhǔn)對(duì)稱DMC的信道容量為：其中，Nk為第k個(gè)對(duì)稱子矩陣一行元素之和，Mk為第k個(gè)對(duì)稱子矩陣一列元素之和。

282.矩陣分解法

293.觀察法

觀察該矩陣可知，因?yàn)閜(xi)無論如何分布，p(b3)為恒定值0.2，故要得到最大的H(Y)，b1和b2應(yīng)為均勻分布，即p(b1)=p(b2)=0.4，此時(shí)：p(a1)=p(a2)=0.5。

30一般地說，為使I(X;Y)最大化以便求取DMC容量，輸入符號(hào)概率集{p(ai)}必須滿足的充分和必要條件是：

當(dāng)信道平均互信息達(dá)到信道容量時(shí)，輸入符號(hào)概率集{p(ai)}中每一個(gè)符號(hào)ai對(duì)輸出端Y提供相同的互信息，只是概率為零的符號(hào)除外。

3.2.2一般離散無記憶信道31離散序列信道

對(duì)離散無記憶序列信道：若信道同時(shí)還是平穩(wěn)的，則3.3離散序列信道的信道容量321.信道無記憶的情形例：X1=X2=…=XL=Y1=Y2=…=YL3.3.1信道與信源無記憶情形332.信源無記憶的情形例：Yi=Xi+1,YL=X1;X1,X2,…，XL互相獨(dú)立343.信源和信道皆無記憶的情形此時(shí)，35對(duì)離散單符號(hào)信道進(jìn)行N次擴(kuò)展，就形成了N次離散無記憶信道。3.3.2N次擴(kuò)展信道BSC的二次擴(kuò)展信道0010110100011011X

{00,01,10,11}，Y

{00,01,10,11}，二次擴(kuò)展無記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p236擴(kuò)展信道若p＝0.1，則C2＝2－0.938＝1.062比特/序列

37序列轉(zhuǎn)移概率若信道無記憶，則3.3.3獨(dú)立并聯(lián)信道圖3-8獨(dú)立并聯(lián)信道只有當(dāng)輸入相互獨(dú)立時(shí)取等號(hào)。38平均互信息

I(X;Y)＝HC(Y)－HC(Y/X)3.4連續(xù)單符號(hào)信道的信道容量圖3-9連續(xù)單符號(hào)信道y=x+npn(x)＝N(0,

2)39pn(n)＝N(0,

2)，當(dāng)

pY(y)＝N(0,Po)時(shí)取得maxHC(Y)，

pX(x)＝N(0,Ps)，Po=Ps+2C＝1/2log(1+SNR)

信道輸入X是均值為零、方差為PS的高斯分布隨機(jī)變量時(shí)，信息傳輸率達(dá)到最大值。若是加性的，可以求出信道容量的上下界

40

信道輸入隨機(jī)序列X＝X1X2…XL，輸出隨機(jī)序列Y＝Y(jié)1Y2…YL，加性信道有y=x+n，其中n=n1n2…nL

是均值為零的高斯噪聲

3.5連續(xù)序列信道的信道容量圖3-10多維無記憶加性信道等價(jià)于L個(gè)獨(dú)立并聯(lián)加性信道41連續(xù)單符多維無記憶高斯加性信道就可等價(jià)成L個(gè)獨(dú)立的并聯(lián)高斯加性信道。若

將總功率P如何分配給輸入序列中的各個(gè)符號(hào)，才能得到最大的信道容量？3.5連續(xù)序列信道的信道容量42噪聲均值為零、方差相同（平均分配，每個(gè)符號(hào)均值為0，方差為S的高斯變量）

若噪聲均值為零、方差不同，總平均功率受限P，功率則應(yīng)合理分配。最大容量問題即為：3.5連續(xù)序列信道的信道容量43用拉格朗日乘子法構(gòu)造無約束極值問題：各個(gè)時(shí)刻的信道輸出功率相等設(shè)為常數(shù)

44討論均值為零、方差不同，總平均功率受限P，功率合理分配。45注水法(water-filling)功率分配該功率分配方法，可以形象地描述為圖3-11，如果把噪聲功率看成是容器底部的凸起，把v看成是水平面，則每個(gè)子信道上分配的功率，就如往底部有不同凸起的容器中注水，故形象地稱為“注水算法”。圖3-11注水法功率分配46例：有一并聯(lián)高斯加性信道，各子信道噪聲方差為（1）P=5：輸出端總功率

各子信道分配的功率分別是：0.95，0.85，0.75，0.65，0.55，0.45，0.35，0.25，0.15，0.05。（2）P=3？平均輸出功率（水平面）為10.5/10=1.0547限時(shí)限頻(fm)高斯白噪聲過程可分解L＝2fmtB維統(tǒng)計(jì)獨(dú)立的隨機(jī)序列

若每個(gè)抽樣時(shí)刻的噪聲均為零均值、方差為σ2的加性高斯噪聲（W為帶寬，W=fm），則：3.6波形信道的信道容量48信道容量單位時(shí)間的信道容量香農(nóng)公式

輸入信號(hào){x(t)}滿足均值為零、平均功率P的高斯白噪聲的特性49帶寬W一定時(shí)，信噪比SNR與信道容量Ct成對(duì)數(shù)關(guān)系，SNR增大，Ct就增大，但增大到一定程度后就趨于緩慢。增加輸入信號(hào)功率有助于容量的增大，但該方法是有限的；降低噪聲功率也是有用的，當(dāng)N0→0,Ct→∞即無噪聲信道的容量為無窮大。討論

Ct

＝Wlog(1+SNR)單位時(shí)間的信道容量圖3-12信道容量與信噪比的關(guān)系50Ct一定時(shí)，帶寬W增大，信噪比SNR可降低，即兩者是可以互換的。若有較大的傳輸帶寬，則在保持信號(hào)功率不變的情況下，可容許較大的噪聲，即系統(tǒng)的抗噪聲能力提高。無線通信中的擴(kuò)頻系統(tǒng)就是利用了這個(gè)原理，將所需傳送的信號(hào)擴(kuò)頻，使之遠(yuǎn)遠(yuǎn)大于原始信號(hào)帶寬，以增強(qiáng)抗干擾的能力。Ct＝Wlog(1+SNR)比特/秒51Ct/W＝log(1+SNR)比特/秒