第三章離散信道及其信道容量課件

第三章 離散信道及其信道容量主講：易波老師13.1

離散信道的統(tǒng)計(jì)描述及分類離散信道的統(tǒng)計(jì)描述及分類信道的輸入和輸出之間一般不是確定的函數(shù)關(guān)系，而是統(tǒng)計(jì)依賴的關(guān)系。只要知道信道的輸入信號、輸出信號，以及它們之間的統(tǒng)計(jì)依賴關(guān)系，那么信道的全部特性就確定了。根據(jù)信道的用戶多少，可以分為：兩端(單用戶)信道。它是只有一個(gè)輸入端和一個(gè)輸出端的單向通信的信道。多端(多用戶)信道。它是在輸入端或輸出端至少有一端有二個(gè)以上的用戶，并且還可以雙向通信的信道。2根據(jù)輸入和輸出信號的特點(diǎn)，信道可以分為：離散信道。指輸入和輸出的隨機(jī)變量的取值都有是離散的信道。連續(xù)信道。指輸入和輸出的隨機(jī)變量的取值都是連續(xù)的信道。半離散半連續(xù)信道。輸入變量是離散型的但相應(yīng)的輸出變量是連續(xù)的信道，或者相反。波形信道。信道的輸入和輸出都是一些時(shí)間上連續(xù)的隨機(jī)信號。即信道輸入和輸出的隨機(jī)變量的取值是連續(xù)的，并且還隨時(shí)間連續(xù)變化。一般用隨機(jī)過程來描述其輸入和輸出。3信道干擾源X(t)4Y(t)N(t)離散信道模型如圖:1.基本信道(最簡單的信道)發(fā)端

X:{a1,a2,…,aq}收端

Y:{b1,b2,…,bm} (m不一定等于q)信道用一信道矩陣來描述:5信道轉(zhuǎn)移矩陣按有無噪聲來分類:(1)無干擾(無噪聲)信道例1

X={a1,a2,a3,a4}這為收端與發(fā)端一一對應(yīng)的情況。(無擾無損)6例2:XY不是一一對應(yīng),無擾有信息損失7無擾有損信道(2)有擾信道例3:a1b1a2b2XY0.90.10.20.8有擾有信息損失,干擾嚴(yán)重8例4:a1b1a2b2XY1/21/21/21/2信息全部被信道損耗。從信道有無損失的觀點(diǎn)來看：有擾全損信道！9例5：о

b1о

b2о

b3о

b41/21/21/21/2a

о1Xa2оYB1B2有擾無信息損失102.擴(kuò)展信道(延長信道)一般離散信道輸入和輸出卻是一系列時(shí)間(或空間)離散的隨機(jī)變量,即隨機(jī)序列。其信道模型如下：信

道擴(kuò)展離散信道11(1)有無干擾的角度對信道分類

a、無擾信道例1：X={a1=0，a2=1}

Y={b1=0，b2=1}N=2，2維擴(kuò)展無干擾無信息損失。無干擾有信息損失?！睢睢顭o擾不等于無損?。。?3b、有擾信道例3：基本信道X={a1=0，a2=1}X={b1=0，b2=1}有擾有信息損失的信道14(2)考慮到信道對前后碼元的影響a.無記憶信道b.有記憶的信道(前后碼元有關(guān)聯(lián)的信道)153.2

平均互信息及平均條件互信息基本信道傳輸?shù)钠骄畔⒘恳阎?信源信宿

Y:{b1,

b2,…

bj,…bm,}q×m個(gè)概率求I(X;Y)=?16收到集合后,從Y收到關(guān)于X集合的平均信息量?！铩?先驗(yàn)的平均不確定性一觀察到集合Y后對X保留的不確定性)I(X;Y)=H(X)-H(X/Y)17(收到的信息量)(發(fā)出的信息量)(保留的可疑度)---信道疑義度

(又可看成信道損失的信息)3.3

平均互信息的特性181.非負(fù)性

I(X;Y)

≥

0即接收到的平均互信息量大于等于0,也就是說,從總體而言,多多少少總可以收到一些信息量。證明：方法一∵

H(X)≥H(X/Y)∴I(X;Y)=H(X)-H(X/Y)

≥

0方法二∵logx為∩型凸函數(shù)Jensen不等式E{f(x)}≤f{E(X)}即E{log

x}

≤log{E(X)}即E{log

x}

≤log{E(X)}19∴

I(X;Y)

≥

0∵logx為∩型凸函數(shù),只有當(dāng)且僅當(dāng)

p(x.y)=P(x)P(y),即x和Y統(tǒng)計(jì)獨(dú)立時(shí)I(X;Y)=0H(X)-

H(X/Y)

=I(X;Y)=0H(X)=H(X/Y)即全損信道

H(X/Y)=-∑∑P(X,Y)log

(yj/xi)P(xi;yj)=P(xi)P(yj/xi)=P(xi)P(yj)即:P(yj)=P(yj/xi)☆☆☆所有條件概率等于無條件概率時(shí),信道為全損信道。202.極值性I(X;Y)≤H(X)。信道疑義度H(X/Y)總大于等于零,所以平均互信息量總等小于等于熵H(X)。無擾無損有擾無損213.對稱性

I(X;Y)=I(Y;X)H(X)-H(X/Y)=H(Y)-H(Y/X)(接收到的總信息量)-(噪聲熵或散布度)H(Y/X)=0

則為無噪聲信道(無擾信道)設(shè)22P(a2/b1)=1/2,

P(a3/b1)=P(a4/b1)=0H(X/b1)=1bitsH(X/b2)=

1bitsH(X/Y)=H(X/bi)=1bits(信息損失)4.凸?fàn)钚訧(X;Y)具有極大值或極小值

I(X;Y)=H(Y)-H(Y/X)H(Y)為P(xi),P(yj/xi)的函數(shù)(i=1,2,…q;j=1,2,…,m)H(Y/X)也為P(xi),P(yj/xi)的函數(shù)所以,I(X;Y)是先驗(yàn)分布P(xi)及信道矩陣中的P(yj/xi)(的分布)函數(shù)。23定理3-1：在轉(zhuǎn)移矩陣給定的條件下，I(X;Y)為P(X)(先驗(yàn)分布)的∩型凸函數(shù)。某一組特殊P(xi)的情況下,平均信息有最大值。例：設(shè)有一二元對稱信道b1Yb2a1Xa2/PPP/P信源I(X;Y)=H(Y)-H(Y/X)24當(dāng)信道固定,即P為一個(gè)固定常數(shù)時(shí),可得出I(X;Y)是信源輸入分布w的上凸函數(shù).對于固定的信道,輸入符號集X概率分布不同時(shí),在接受端平均每個(gè)符號所獲得的信息量就不同.輸入等概分布時(shí),平均互信息量為最大值。25證明：I(X;Y)是否滿足上凸函數(shù)的定義因?yàn)椋篒(X;Y)=I[P(x),P(y/x)]在P(y/x)給定的條件下有:I(X;Y)=I[P(x)]現(xiàn)選兩種輸入分布P1(x),P2(x),其對應(yīng)信息量為:P1(x,y)=P1(x)P(y/x)

P2(x,y)=P2(x)P(y/x)再選另一種輸入分布P(x)

：P(x)=tP1(x)+(1-t)P2(x)

，0<t<1若能證明:I(P(x))=I[tp1(x)+(1-t)P2(x)]≥tI[p1(x)]+(1-t)I[P2(x)]則I(X;Y)=I[P(x)]是是信源輸入分布p(x)的上凸函數(shù).26因?yàn)閥=logx是∩函數(shù),根據(jù)Jensen不等式現(xiàn)令

tI[P1(x)]+(1-t)I[P2(x)]-I[P(x)]同理:故tI[P1(x)]+(1-t)I[P2(x)]-I[P(x)]≤0平27均互信息I(X;Y)是輸入信源X的概率分布P(x)的上凸函數(shù)定理3-2當(dāng)輸入的先驗(yàn)分布P(xi)為已知,I(X;Y)是信道轉(zhuǎn)移概率P(y/x)的∪凸函數(shù)。為了建立概念先看一個(gè)例子：例：為已知通過一二無對稱信道28I(X;Y)29I(ω)00.5

1P3.4

信道容量及其一般計(jì)算方法30信息傳輸率R=I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)比特/符號Pt=I(X;Y)/t=1/t[H(X)-J(X|Y)]比特/符號當(dāng)信道矩陣P(y/x)給定時(shí),I(X;Y)是P(X)的∩型凸函數(shù),也就是說在某一種概率分布條件下:C=max

I(X;Y)比特/符號

C=max

I(X;Y)/t

比特/秒信道容量C(或)是信道的核心指標(biāo)。P(Y/X)給定后,它是客觀存在的,是通過I(X;Y)對P(X)求極值來求出,而與信源的具體分布無關(guān)。1.離散無損信道及無擾,有損信道的信道容量

(1)無擾、無損信道I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)因?yàn)镠(X/Y)=H(Y/X)=0X={a1,a2,…aq}Y={b1,b2,…bm}

q=mP(bi/ai)=1其余為0則

C=maxI(X;Y)=log2q31(2)有擾、無損信道32X：{a1，a2，…aq}Y：{b1，b2，…bm}其中m>q∵I(X;Y)=H(Y)-H(Y/X)(有擾：噪聲熵不為零)I(X;Y)=H(X)-H(X/Y)(無損：信息損失熵為零)I(X;Y)=H(X)-H(X/Y)=H(X）C=maxH(x)=log2q (q=信源個(gè)數(shù))33∵I(X;Y)=H(Y)-H(Y/X)(無擾：噪聲熵為零)I(X;Y)=H(X)-H(X/Y)(有損：信息損失不為零)C=maxH(Y)=log2m (m=信宿個(gè)數(shù))34(3)無擾、有損信道X：{a1，a2，…aq}Y：{b1，b2，…bm}其中q>m小結(jié):四種信道H(X)=I(X;Y)H(Y)H(Y/X)

≠

0H(Y)=I(X;Y)H(X)H(X/Y)

≠

0無噪有損信道H(Y/X)=0有噪無損信道H(X/Y)=0I(X;Y)H(Y)H(X)I(X;Y)=H(X)-H(X/Y)I(X;Y)=H(Y)-H(Y/X)352.對稱離信道容量的計(jì)算X：{a1，a2，…ar}Y：{b1，b2，…bs}36例：定義:若信道轉(zhuǎn)移矩陣中所有行矢都是第一行的一種置換,就稱置換,就稱對于輸入是對稱的。37可以證明：準(zhǔn)對稱信道，對輸入為對稱時(shí)，信道容量的輸入分布為等概分布，P(ai)=1/q.I(X;Y)=H(Y)-H(Y/X)38定義：若信道轉(zhuǎn)移概率矩陣中所有列都是第一列的一種置換，就稱信道對于輸出為對稱的。例：性質(zhì)：若信道輸出為對稱的，當(dāng)輸入事件等概時(shí)，則輸出概率P(bj)為:39定義:若信道輸出集Y可以切分成幾個(gè)子集,而每個(gè)子集所對應(yīng)的信道轉(zhuǎn)移矩陣P中的列所組成的子陣具有下述性質(zhì):每一行都是第一行的置換每一列都是第一列的置換則稱該信道為準(zhǔn)對稱信道。例：特別：當(dāng)輸出集Y劃分的子集，只需劃分一個(gè)，此

信道對于輸入和輸出都是對稱的，稱它為對稱信道。40定義：若輸入符號和輸出符號個(gè)數(shù)相同,都等于r,而且信道矩陣為:則稱此信道為強(qiáng)對稱信道或均勻信道。41(1)在對稱信道情況下的信道容量42在對稱信道條件下:在強(qiáng)對稱信道情況下(2)準(zhǔn)對稱信道的信道容量容量C

輸入概率為等概分布433.5一般離散信道的信道容量的計(jì)算一般情況下,當(dāng)信道不具有對稱性時(shí),求解信道容量就不容易了,若信道轉(zhuǎn)移概率矩陣是非奇異方陣時(shí)(此時(shí)m=q)可按下述方法求解:44步驟:45下面我們對一般的式子作進(jìn)一步的討論:第一步:引進(jìn)一個(gè)新函數(shù)第二步:求偏導(dǎo)數(shù)解方程組假設(shè)對上述方程組求解得到使I(X;Y)達(dá)到極值的概率分布是{P1,P2,…Pq},然后把上式中前面q個(gè)方程式兩邊分別乘以達(dá)到極值的輸入概率并求知得:46上式左邊即為信道容量C

C=λ

+loge由于是待定常數(shù),故并來求得真正的計(jì)算結(jié)果,要真正求解出信道容量C,尚應(yīng)作進(jìn)一步假設(shè)。但作進(jìn)一步的假設(shè)，運(yùn)算仍將十分復(fù)雜，幾乎不能得到準(zhǔn)確答案。定理：一般離散信道的平均互信息I(X;Y)達(dá)到極大值(即等于信道容量)的充要條件是輸入概率分布Pi滿足:<1>

I(ai;Y)=C

對于所有i,其Pi≠0<2>

I(ai;Y)≤C

對于所有i,其Pi=0這時(shí)常數(shù)C就是所求的信道容量。473.6

擴(kuò)展信道的信道容量信

道48對于基本信道而言：

X：{a1，a2，…ai，…aq}Y：{b1，b2，…bi，…bq}對于擴(kuò)展信道而言：4950離散無記憶N次擴(kuò)展信道的信道容量當(dāng)各分信源同時(shí)取得最佳分布時(shí)：51離散無記憶信道的N次擴(kuò)展信道的信道容量信

道52定理:設(shè)離散信道的輸入序列為通，過信道傳輸，接收到的隨機(jī)序列為而信道的轉(zhuǎn)移概率為

。1、若信道是無記憶的，則有：當(dāng)信道無記憶時(shí)，拆開傳輸相當(dāng)于此信源無記憶，那么此時(shí)獲取的信息顯然是比捆綁在一起傳輸要大。53542、若信源是無記憶的，則有：55當(dāng)信源無記憶時(shí)，則主要考慮信道的情況，那么顯然捆綁在一起傳輸時(shí)在信道中的損失要比單個(gè)傳輸時(shí)損失得少，所以此時(shí)捆綁在一起得互信息要大些。3、信源與信道都是無記憶的，則有：56小結(jié)：信源 信道無記憶無記憶無記憶有記憶有記憶無記憶有記憶有記憶573.7獨(dú)立并聯(lián)信道獨(dú)立并聯(lián)信道的信道容量為信道1信道2信道N等效成一個(gè)N次擴(kuò)展信道，等效信道無記憶的，平均互信息量滿足583.8串聯(lián)信道的信息傳輸問題59從信道的角度來理解、研究X、Y、Z的情況在一些實(shí)際通信系統(tǒng)中常常出現(xiàn)串聯(lián)信道的情況，如微波中繼接力通信就是一種串聯(lián)信道。這里將研究串聯(lián)信道的互信息問題。(1)條件互信息(2)條件平均互信息(從yj中獲得xi的信息)+(在已知yj的條件下從ZK中獲得xi信息)60(3)聯(lián)合事件互信息61(4)

聯(lián)合事件的平均互信息定理:當(dāng)且僅當(dāng)P(z/x,y)=P(z/y)(對于所有x,y,z都成立時(shí))I(XY;Z)=I(X;Z)62定理:

設(shè)X,Y,Z構(gòu)成一Markov鏈,則I(X;Z)

≤I(X;Y)I(X;Z)

≤I(Y;Z)等式成立的條件是P(z/xy)=P(z/y)信道163信道2XYZP(Y/X)

P