信息論第三講-平均交互信息量的特性

離散信源的數(shù)學(xué)表示：離散隨機(jī)變量[X,p(xi)]信源符號(hào)的不確定度：Hartly公式H(xi)信源符號(hào)的自信息量：I(xi)=H(xi)信源的熵=信源符號(hào)的平均信息量：H(X)有噪信道的交互信息量：I(xi,yj)=H(xi)-H(xi/yj)平均交互信息量：I(X,Y)=H(X)-H(X/Y)獨(dú)立熵：H(X)聯(lián)合熵（共熵）：

H(X,Y)條件熵：

H(X/Y)，H(Y/X)上一講的主要內(nèi)容2/7/20231上一講的主要內(nèi)容幾個(gè)常用關(guān)系先驗(yàn)概率：p(xi)先驗(yàn)熵：H(X)（信源熵）后驗(yàn)概率：p(xi/yj)后驗(yàn)熵：H(X/Y)（可疑度）轉(zhuǎn)移概率：p(yj/xi)（描述信道）噪聲熵：H(Y/X)2/7/202322.5平均交互信息量的特性2.5.1I(X,Y)的非負(fù)性2.5.2平均交互信息量的交互性2.5.3平均交互信息量的極值性2.5.4平均交互信息量的凸函數(shù)性2.5.5平均交互信息量的不增性

2/7/202332.5.1I(X,Y)的非負(fù)性由，當(dāng)x為大于0的實(shí)數(shù)時(shí)，底大于1的對(duì)數(shù)logx是x的嚴(yán)格上凸函數(shù)。因此f{∑pixi}≥∑pif(xi)，如f(x)=logx，則有：log{∑pixi}≥∑pilogxiJensen不等式:如果f(x)是嚴(yán)格的上凸函數(shù),則E(f(x))≤f(E(x))。2/7/20234根據(jù)這個(gè)關(guān)系，考慮平均交互信息量，I(X,Y)=∑∑p(xi,yj)log[p(xi,yj)/p(xi)p(yj)]則：-I(X,Y)=∑∑p(xi,yj)log[p(xi)p(yj)/p(xi,yj)]≤log∑∑p(xi,yj)[p(xi)p(yj)/p(xi,yj)]=log{∑p(xi)∑p(yj)}=0所以有：I(X,Y)≥02/7/202352.5.2平均交互信息量的交互性由于p(xi,yj)=p(yj,xi)則：I(X,Y)=I(Y,X)（對(duì)于一個(gè)信息系統(tǒng)來說）交互性表明在Y中含有關(guān)于X的信息，I(X,Y)；在X中含有關(guān)于Y的信息，I(Y,X)；而且兩者相等。實(shí)際上I(X,Y)和I(Y,X)只是觀察者的立足點(diǎn)不同，對(duì)信道的輸入X和輸出Y的總體測(cè)度的兩種表達(dá)形式。2/7/20236X和Y相互獨(dú)立，交互性最小，

I(X,Y)

=0；X和Y完全相關(guān)，交互性最大，

I(X,Y)

=H(X)=H(Y)；H(X/Y)=H(Y/X)=0，相當(dāng)于信道無信息損失。2/7/20237這種信道的特點(diǎn)是：n=m，每行只有一個(gè)元素為1，每列只有一個(gè)元素為1。其轉(zhuǎn)移概率不為1，就為0。

2/7/20238這時(shí)有：所以有：I(X,Y)=I(Y,X)=H(X)=H(Y)2/7/202392.5.3平均交互信息量的極值性平均交互信息量I(X,Y)不可能超過信源熵H(X)，因?yàn)镠(X/Y)≥0

所以有I(X,Y)=H(X)-H(X/Y)≤H(X)

因?yàn)镠(Y/X)≥0

所以有I(X,Y)=H(Y)-H(Y/X)≤H(Y)疑義度、噪聲熵總是大于等于0，平均交互信息量總是小于信源熵或信宿熵。在信道的輸出端Y得到的關(guān)于輸入端X的信息量不會(huì)超過信源X的平均信息量。

2/7/202310擴(kuò)展性無噪聲信道由于其矩陣的每一列元素只有一個(gè)非零元素，所以后驗(yàn)概率不等于1，就等于0.即：2/7/202311這時(shí)可知疑義度H(X/Y)=0，平均交互信息量達(dá)到最大值I(X,Y)=H(X)。從平均意義上講，這種信道可以把信源的信息全部傳遞給信宿。這種每列只有一個(gè)非0元素的信道也是一種無噪聲信道，稱為具有擴(kuò)展性的無噪聲信道。

這時(shí)：H(Y/X)=H(Y)-H(X)因?yàn)椋篐(Y/X)≥0，所以：H(Y)≥H(X)；得到的結(jié)論為：這時(shí)的信宿熵將大于信源熵，因此稱為擴(kuò)展信道。

2/7/202312并歸性無噪聲信道

這類信道的轉(zhuǎn)移概率等于1或者等于0，每一列的元素可有一個(gè)或多個(gè)1，可知其噪聲熵H(Y/X)=0，此時(shí)的平均交互信息量達(dá)到最大值。I(X,Y)=H(Y)-H(Y/X)=H(Y)這時(shí)可以證明：疑義度H(X/Y)=H(X)-H(Y),并且H(X)≥H(Y)，

2/7/202313①通過這兩個(gè)例題可以進(jìn)一步理解條件熵的概念，疑義度和噪聲熵都是由于信道噪聲引起的，當(dāng)信道轉(zhuǎn)移概率是一一對(duì)應(yīng)的確定關(guān)系時(shí)，疑義度和噪聲熵等于0，無噪聲信道。②一個(gè)X產(chǎn)生多個(gè)Y，稱為擴(kuò)展信道，在擴(kuò)展信道中若[P]中每列只有一個(gè)非0元素，H(X/Y)=0，即疑義度=0，稱為擴(kuò)展性無噪聲信道，否則稱為擴(kuò)展噪聲信道。③多個(gè)X產(chǎn)生一個(gè)Y，稱為歸并信道，在歸并信道中若[P]中元素為0或1，H(Y/X)=0，即噪聲熵=0，稱為歸并性無噪聲信道，否則稱為歸并噪聲信道。

2/7/202314平均交互信息量是先驗(yàn)概率p(xi)和信道轉(zhuǎn)移概率p(yj/xi)的函數(shù)，可以記為：I(X,Y)=I[p(xi),p(yj/xi)]也就是說：信道固定，I(X,Y)是先驗(yàn)概率的函數(shù);信源固定，I(X,Y)是信道轉(zhuǎn)移概率的函數(shù)。2.5.4平均交互信息量的凸函數(shù)性2/7/202315可以進(jìn)一步證明：當(dāng)信道一定時(shí)，I(X,Y)是信源先驗(yàn)概率的上凸函數(shù)；這就是說，對(duì)于一定的信道轉(zhuǎn)移概率分布，總可以找到一個(gè)先驗(yàn)概率分布為pm(xi)的信源X，使平均交互信息量達(dá)到相應(yīng)的最大值Imax，這時(shí)稱這個(gè)信源為該信道的匹配信源?？梢哉f不同的信道轉(zhuǎn)移概率對(duì)應(yīng)不同的I?；蛘哒fImax是P(Y/X)的函數(shù)。

2/7/202316[例2-11]

設(shè)二元對(duì)稱信道的信源空間為：X={0,1};[P(X)]={ω,1-ω};平均交互信息量為：I(X,Y)=H(Y)-H(Y/X)；信道轉(zhuǎn)移概率如圖。2/7/202317H(Y/X)=-∑∑p(xi)p(yj/xi)logp(yj/xi)=∑p(xi){-[plogp+(1-p)log(1-p)]}=H(p)其中：記H(p)=-[plogp+(1-p)log(1-p)]

另外：為了求H(Y)，利用p(yj)=∑p(xi)p(yj/xi)；可得：p(y=0)=ω(1-p)+(1-ω)pp(y=1)=ωp+(1-ω)(1-p)則：H(Y)=H(ω(1-p)+(1-ω)p)2/7/202318可得平均交互信息量為：I(X,Y)=H(ω(1-p)+(1-ω)p)-H(p)可知，當(dāng)p值一定，I(X,Y)是ω的上凸函數(shù)，

2/7/202319當(dāng)信源一定時(shí)，平均交互信息量I(X,Y)是信道轉(zhuǎn)移概率的下凸函數(shù)；這就是說，對(duì)于一個(gè)已知先驗(yàn)概率為P(X)的離散信源，總可以找到一個(gè)轉(zhuǎn)移概率分布為Pm(Y/X)的信道，使平均交互信息量達(dá)到相應(yīng)的最小值Imin?？梢哉f不同的信源先驗(yàn)概率對(duì)應(yīng)不同的Imin?；蛘哒fImin是P(X)的函數(shù)。即平均交互信息量的最小值是體現(xiàn)了信源本身的特性。2/7/202320[例2-12]：I(X,Y)=H(ω(1-p)+(1-ω)p)-H(p)，當(dāng)固定信源先驗(yàn)概率分布ω時(shí)，I(X,Y)是信道轉(zhuǎn)移概率p的下凸函數(shù)，如圖所示。2/7/202321串聯(lián)信道關(guān)系(練習(xí))DMC1DMC2XYZ定理:對(duì)于所有滿足p(x,y,z)>0的(x,y,z)，當(dāng)且僅當(dāng)p(z/x,y)=p(z/y)時(shí)，等式成立。這個(gè)關(guān)系就稱為平均交互信息量的不增加性。2/7/2023222.6離散信道的信道容量CapacityofDiscreteMemorylessChannel信道容量是表征信道最大傳信能力的信道參量。

DiscreteMemorylessChannel-DMC離散無記憶信道；BinarySymmetricChannel-BSC二元對(duì)稱信道；2/7/2023232.6.1熵速率與信道容量

平均交互信息量I(X,Y)是通信系統(tǒng){X,P(Y/X),Y}輸出一個(gè)符號(hào)傳輸?shù)男畔⒘浚簿褪墙邮侦?，熵就意味著平均。?dāng)符號(hào)速率為n符號(hào)/秒時(shí)，其熵速率R為：R=nI(X,Y)R=n[H(X)-H(X/Y)]=n[H(Y)-H(Y/X)]bit/s對(duì)于一個(gè)無噪聲信道來說：R=nI(X,Y)=nH(X)bit/s2/7/202324由于參數(shù)n與信道和信源無關(guān)，因此一般在分析中可以表示為：n=1；即R=I(X,Y)=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)]熵速率R是先驗(yàn)概率的函數(shù)，也是信道轉(zhuǎn)移概率的函數(shù)。2/7/202325信道容量是在給定信道條件下（即一定的信道轉(zhuǎn)移概率），對(duì)于所有可能的信源先驗(yàn)概率的最大熵速率。它表示為：

2/7/202326信道容量C與信源無關(guān)，只是信道轉(zhuǎn)移概率的函數(shù)，不同的信道就有不同的信道容量。它反映了信道本身的傳信能力。P(Y/X)XYP(X)P(X/Y)H(X)H(X/Y)2/7/2023272.6.2信道容量的計(jì)算方法信道容量是在一定的信道條件下，對(duì)所有可能的先驗(yàn)概率求平均交互信息量的最大值。作輔助函數(shù)求輔助函數(shù)對(duì)p(xi)的偏導(dǎo)置為0，得下列方程組。2/7/202328由此方程組可以解得使I(X,Y)達(dá)到最大值的信源先驗(yàn)概率分布和待定系數(shù)λ，然后求出信道容量C。

由這個(gè)C值，根據(jù)上面關(guān)系求p(yj)，再由p(yj)和p(yj/xi)求信源先驗(yàn)概率分布p(xi)。解這個(gè)方程組后就可以得到最佳信源先驗(yàn)概率分布。2/7/2023292.6.3離散無噪聲信道的信道容量這里討論三種無噪聲信道的信道容量。①具有一一對(duì)應(yīng)關(guān)系的無噪聲信道其信道轉(zhuǎn)移概率圖及矩陣如下：

2/7/202330[P]=0000100010001000100010000因?yàn)樾诺擂D(zhuǎn)移矩陣的元素均為0或1，所以其噪聲熵H(Y/X)=0。又因?yàn)閇P]矩陣中每列只有一個(gè)非0元素1，所以其疑義度H(X/Y)=0。2/7/202331所以有：I(X,Y)=H(X)=H(Y)根據(jù)信道容量的定義，這種信道的特點(diǎn)是：n=m。2/7/202332②具有擴(kuò)展性的無噪聲信道其信道轉(zhuǎn)移概率圖及矩陣如下：

2/7/202333[P]=p(y1/x1)p(y2/x1)p(y2/x1)00000p(y4/x2)p(y5/x2)因?yàn)閇P]矩陣中每列只有一個(gè)非0元素，所以其疑義度H(X/Y)=0。有：I(X,Y)=H(X)，則：具有擴(kuò)展性的無噪聲信道的信道容量等于信源的最大熵。2/7/202334③具有歸并性的無噪聲信道其信道轉(zhuǎn)移概率圖及矩陣如下：2/7/202335[P]=1010100101由于信道轉(zhuǎn)移矩陣中的元素均為1和0，所以這個(gè)信道的噪聲熵H(Y/X)=0。有：I(X,Y)=H(Y)根據(jù)信道容量的定義：2/7/202336這表明當(dāng)隨機(jī)變量Y為等概分布時(shí)，才能達(dá)到這個(gè)信道容量。由p(yj)與p(xi)和p(yj/xi)的關(guān)系可知：p(y1)=p(x1).1+p(x2).1+p(x3).1p(y2)=p(x4).1+p(x5).1這時(shí)p(xi)的分布是不唯一的。通過以上三個(gè)例子可知；無噪聲信道的信道容量只決定于信道的輸入符號(hào)數(shù)n，或輸出符號(hào)m（它們都是信道本身的特征參數(shù)），與信源無關(guān)，信道容量C是表征信道本身特性的一個(gè)參量。2/7/2023372.6.4強(qiáng)對(duì)稱離散信道的信道容量如果離散信道的輸入/輸出符號(hào)空間及信道轉(zhuǎn)移矩陣如下：X={x1,x2,……xn}P[X]={p(x1),p(x2),……p(xn)}Y={y1,y2,……yn}P[Y]={p(y1),p(y2),……p(yn)}n=m[P]=1-εε/(n-1)…ε/(n-1)ε/(n-1)1-ε…ε/(n-1)…………ε/(n-1)ε/(n-1)…1-ε這種信道{X,P(X/Y),Y}稱為強(qiáng)對(duì)稱信道。2/7/202338為了求出平均交互信息量I(X,Y)=H(Y)-H(Y/X),先求H(Y/X);H(Y/X)=-∑∑p(xi)p(yj/xi)logp(yj/xi)由于熵函數(shù)的對(duì)稱性，有：（熵與信源狀態(tài)得順序無關(guān)）H(Y/X)=H(ε)+εlog(n-1)上式說明，強(qiáng)對(duì)稱信道的噪聲熵H(Y/X)就是信道轉(zhuǎn)移矩陣中任一行n個(gè)元素組成的熵函數(shù)值，它決定于信道的錯(cuò)誤概率ε和符號(hào)個(gè)數(shù)n。根據(jù)信道容量的定義：

2/7/202339由最大熵定理可知：當(dāng)p(xi)為何時(shí)，才能達(dá)到上述信道容量。已知p(yj)=1/n,和信道轉(zhuǎn)移概率，可以得到以下線性方程組。p(yj)=∑p(xi)p(yj/xi)(j=1,2,…n)從這個(gè)方程組可得，只有當(dāng)p(xi)=1/n時(shí)，才能使p(yj)=1/n。對(duì)于強(qiáng)對(duì)稱信道，只有當(dāng)信源等概分布時(shí)，才能使其達(dá)到信道容量C。對(duì)于強(qiáng)對(duì)稱信道，當(dāng)信源等概分布時(shí)，可以證明H(X)=H(Y)=logn,

對(duì)于強(qiáng)對(duì)稱信道，當(dāng)信源等概分布時(shí)，還可以證明H(Y/X)=H(X/Y)2/7/2023402.6.5