信息論與編碼糾錯(cuò)第2章.ppt

1、第二章 信息的度量,根據(jù)香農(nóng)對(duì)于信息的定義，信息是一個(gè)系統(tǒng)不確定性的度量，尤其在通信系統(tǒng)中，研究的是信息的處理、傳輸和存儲(chǔ)，所以對(duì)于信息的定量計(jì)算是非常重要的。本章主要從通信系統(tǒng)模型入手，研究離散情況下各種信息的描述方法及定量計(jì)算，討論它們的性質(zhì)和相互關(guān)系,內(nèi)容提要,2.1 自信息量和互信息量,一個(gè)事件的自信息量就是對(duì)其不確定性的度量?；バ畔⒘縿t表明了兩個(gè)隨機(jī)事件的相互約束程度,對(duì)于隨機(jī)事件集X = x1，x2，xi，xI中的隨機(jī)事件xi，其出現(xiàn)概率記為p(xi)，將兩個(gè)事件xi ，yj同時(shí)出現(xiàn)的概率記為p(xi yj)，則p(xi) ，p(xi yj)應(yīng)滿(mǎn)足,且下列關(guān)系式成立,一自信息量和條

2、件自信息量,1自信息量,直觀地看，自信息量的定義應(yīng)滿(mǎn)足以下四點(diǎn),1）I(x)應(yīng)該是p (x)的單調(diào)遞減函數(shù)：概率小的事件一旦發(fā)生賦予的信息量大，概率大的事件如果發(fā)生則賦予的信息量小； （2）信息量應(yīng)具有可加性：對(duì)于兩個(gè)獨(dú)立事件，其信息量應(yīng)等于各事件自信息量之和； （3）當(dāng)p(x)=1時(shí)，I(x)= 0：表示確定事件發(fā)生得不到任何信息； （4）當(dāng)p(x)=0時(shí)，I(x)：表示不可能事件一旦發(fā)生，信息量將無(wú)窮大,綜合上述條件，將自信息量定義為,例】若盒中有6個(gè)電阻，阻值為1、2、3的分別為2個(gè)、1個(gè)、3個(gè)，將從盒子中取出阻值為i的電阻記為事件xi（i = 1，2，3），則事件集X = x1, x2

3、, x3，其概率分布,計(jì)算出各事件的自信息量列表如下,自信息量I (xi) 代表兩種含義,事件xi發(fā)生以前，表示事件發(fā)生的先驗(yàn)不確定性。一個(gè)事件不常出現(xiàn)，它的概率就小，當(dāng)該事件發(fā)生時(shí)收信者獲得的信息量就多，或者說(shuō)事件攜帶的信息量大，因此自信息量也可以說(shuō)是隨機(jī)事件的一個(gè)固有特征。 當(dāng)事件xi發(fā)生以后，表示事件xi所能提供的最大信息量,例】信源消息X0，1，信源等概率分布，計(jì)算出自信息量如表所示,可以看出，1bit的信息量就是兩個(gè)互不相容的等可能事件之一發(fā)生時(shí)所提供的信息量,推廣】二維聯(lián)合集X Y上元素xi yj的聯(lián)合自信息量I(xi yj)定義為,2條件自信息量,在已知事件yj條件下，隨機(jī)事件x

4、i發(fā)生的概率為條件概率p(xi/yj)，條件自信息量定義為,例】某住宅區(qū)共建有若干棟商品房，每棟有5個(gè)單元，每個(gè)單元住有12戶(hù)，甲要到該住宅區(qū)找他的朋友乙，若,1）甲只知道乙住在第5棟，找到乙的概率有多大？能得到多少信息？ （2）甲除知道乙住在第5棟外，還知道乙住在第3單元，他找到乙的概率又有多大？他能得到多少信息,解】用xi代表單元數(shù)，yj代表戶(hù)號(hào),二互信息量和條件互信息量,1互信息量,從通信的角度引出互信息量的概念,信源符號(hào)：X=x1, x2, , xI ，xia1,a2,ak，i = 1, 2 , I,xi的概率分布p(xi)稱(chēng)為先驗(yàn)概率,經(jīng)過(guò)信道傳輸，信宿方接收到符號(hào),信宿符號(hào)：Y =

5、 y1, y2, , yJ，yjb1,b2,bD，j = 1, 2, , J,接收到符號(hào)yj后，接收者重新估計(jì)xi發(fā)生的概率，記為條件概率p(xi/yj)，也稱(chēng)為后驗(yàn)概率,事件xi是否發(fā)生具有不確定性，用I(xi)度量。 接收到符號(hào)yj后，事件xi是否發(fā)生仍保留有一定的不確定性，用I(xi/yj)度量,觀察事件前后，這兩者之差就是通信過(guò)程中所獲得的信息量，為事件xi和事件yj之間的互信息量。用I(xi ; yj )表示,根據(jù)概率互換公式 p (xi yj) = p (yj/xi) p( xi ) = p(xi/yj) p ( yj ) 互信息量I(xi ;yj )有多種表達(dá)形式,推廣】將事件互

6、信息量的概念推廣至多維空間,在三維X Y Z聯(lián)合集中，有,一對(duì)事件yjzk發(fā)生后，與事件xi之間的互信息量，等于事件yj與xi之間的互信息量加上在事件yj已知的條件下，事件xi與zk的之間的互信息量,類(lèi)似，在N維U1 U2 UN聯(lián)合空間，有,2條件互信息量,三維X Y Z聯(lián)合集中，在給定條件zk的情況下, xi , yj的互信息量I(xi ; yj/zk )定義為,3互信息量的性質(zhì),1）互易性（對(duì)稱(chēng)性,2）可加性,3）當(dāng)xi，yj統(tǒng)計(jì)獨(dú)立時(shí)，互信息量及條件互信息量均等于零,xi和yj相互獨(dú)立,表明之間不存在統(tǒng)計(jì)約束關(guān)系,4）互信息量I(xi；yj)可以是正數(shù)，也可以是負(fù)數(shù),5）兩個(gè)事件的互信息

7、量不大于單個(gè)事件的自信息量，即有,表2-4為8個(gè)三位二進(jìn)制數(shù)對(duì)應(yīng)的各種概率,例2.8】信源包含8個(gè)消息x0,x1,x2,x3,x4,x5,x6,x7 ,信源編碼器將其對(duì)應(yīng)編成8個(gè)三位二進(jìn)制數(shù)000，001,110。各消息的先驗(yàn)概率已知，在接收過(guò)程中，每收到一個(gè)數(shù)字，各消息的后驗(yàn)概率都相應(yīng)地發(fā)生變化?？紤]在接受100三個(gè)數(shù)字的過(guò)程中，各后驗(yàn)概率的變化，計(jì)算信息量I(x4;100,根據(jù)給定的先驗(yàn)概率，可算出,將各種后驗(yàn)概率的計(jì)算結(jié)果列于表2-4中，再根據(jù)式 （2-10）計(jì)算出互信息量： I (x4;100 ) = I (x4; 1)+ I (x4; 01)+ I (x4; 010) = =3(比特

8、) 也可直接計(jì)算出： (比特,P (x4100) = 1,例：某地二月份氣候的概率空間為,則此四種天氣狀態(tài)的不確定性分別為,假如有天氣預(yù)報(bào)說(shuō)“今天不是晴天”（作為收到的消息y1)，收到y(tǒng)1后（假設(shè)y1是準(zhǔn)確的），再去重新估計(jì)各種天氣發(fā)生的概率,它們之間的互信息量為,收到消息y1之后，使得x2，x3，x4的不確定性各降低了1bit，這是由于互信息量的存在，使得不確定性減少,自信息量減去互信息量是收到消息y1之后，x2，x3，x4仍存在的不確定性，因?yàn)椴恢赖降讜?huì)發(fā)生哪件事情,收到消息y1之后使得x1的不確定性降低了負(fù)無(wú)窮（增加了無(wú)窮大的不確定性），即收到y(tǒng)1之后， x1 基本不會(huì)再發(fā)生,2.2

9、離散集的平均自信息量,一信 息 熵,1平均自信息量（熵,對(duì)于無(wú)記憶信源，各個(gè)消息的出現(xiàn)概率是相互統(tǒng)計(jì)獨(dú)立的，其平均自信息量定義為各消息自信息量的概率加權(quán)平均值（統(tǒng)計(jì)平均值），即平均自信息量H(X)定義為,唯一確定事件xi所需要的信息量,唯一確定集合X中任一事件xi所需要的平均信息量，它反映了X中事件xi出現(xiàn)的平均不確定度,集合X的信息熵，簡(jiǎn)稱(chēng)熵,信息熵和平均自信息量?jī)烧咴跀?shù)值上相等，但含義并不相同。信息熵表征信源的平均不確定度，平均自信息量則表示消除不確定度所需要的信息的量度,例】計(jì)算下列信源的熵,1）信源一,比特/符號(hào),2）信源二：等概率信源,3）信源三：等概率信源,比特/符號(hào),比特/符號(hào),

10、4）信源四：信源為確定事件,比特/符號(hào),5）信源五：一般情況下的二元信源,比特/符號(hào),2平均條件自信息量（條件熵,1）定義,若事件xi yj的聯(lián)合分布概率為p(xi yj )，給定yj條件下事件xi的條件自信息量為 I(xi /yj )，則條件熵H (X/Y) 定義為,在聯(lián)合符號(hào)集合XY上的條件自信息量的聯(lián)合概率加權(quán)統(tǒng)計(jì)平均值,當(dāng)X，Y統(tǒng)計(jì)獨(dú)立時(shí)，有p (xi yj) p ( xi )p( yj )，p(xi/yj) = p (xi)，則,2）物理含義,從通信角度來(lái)看，若將X = x1，x2，xi，視為信源輸出符號(hào)；Y = y1，y2，yj，視為信宿接收符號(hào)；I (xi/yj)可看作信宿收到y(tǒng)

11、j后，關(guān)于發(fā)送的是否為xi仍然存在的不確定性，則,反映了經(jīng)過(guò)通信后，信宿符號(hào)yj(j =1,2,)關(guān)于信源符號(hào)xi(i =1,2,)的平均不確定性，稱(chēng)疑義度,3）條件熵H (YX,若給定xi條件下事件yj的條件自信息量為I (yj/xi)，則H (Y/X)定義為,當(dāng)X，Y統(tǒng)計(jì)獨(dú)立時(shí)，有p (xi yj) = p ( xi )p( yj )，p (yj / xi) = p ( yj )，有,從通信角度來(lái)看，H (Y/X)是發(fā)出確定消息xi后，由于信道干擾而使yj存在的平均不確定性，稱(chēng)H (Y/X)為噪聲熵（散布度,3聯(lián)合熵（共熵,聯(lián)合熵H (XY) 是定義在二維空間X Y上，對(duì)元素xi yj的自

12、信息量的統(tǒng)計(jì)平均值，若記事件xi yj出現(xiàn)的概率為p (xi yj)，其自信息量為I (xi yj)，則聯(lián)合熵H (X Y)定義為,4各種熵之間的關(guān)系,由熵、條件熵、聯(lián)合熵的定義式可導(dǎo)出三者的關(guān)系式,H (X Y) = H (X) + H (Y/X)= H (Y) +H (X/Y,上式反映了信息的可加性。當(dāng)X，Y統(tǒng)計(jì)獨(dú)立時(shí)，有,H(X Y)= H(X)+ H(Y,1凸集合與凸函數(shù) 簡(jiǎn)單介紹凸集和凸函數(shù)的概念。 定義2.1 是n維實(shí)矢量空間集合R中任意兩個(gè)n維矢量， 對(duì)實(shí)數(shù)，0 1，有 +（1-） R 則稱(chēng)R為凸集合,二熵函數(shù)的性質(zhì),從幾何上來(lái)看，若，是集合R中的任意兩點(diǎn)，+（1-）表示這兩點(diǎn)間

13、的連線(xiàn)，若該連線(xiàn)也在集合R中，則稱(chēng)R為凸集。下面給出了幾個(gè)凸集和非凸集合的例子,定義2.2設(shè)f(x) = f (x1, x2, , xn) 為一個(gè)n元函數(shù)，若對(duì)任意f (x1), f (x2) f (x) ，任意正數(shù)，0 1，有 f (x1) +（1-）f (x2) f x1 +（1-）x2 (2-23,x,則稱(chēng)f(x)為定義域上的型凸函數(shù)。 一元型凸函數(shù)可用圖2-4所示的幾何圖形表示,定義2.3設(shè)f(x) = f (x1, x2, , xn) 為一個(gè)n元函數(shù)，若對(duì)任意f (x1), f (x2) f (x) ，任意正數(shù)，0 1，有 f x1 +（1-）x2 f (x1) +（1-）f (x2

14、) (2-24,則稱(chēng)f(x)為定義域上的型凸函數(shù)，一元型凸函數(shù)可用圖2-5所示的幾何圖形表示,二熵函數(shù)的性質(zhì),1極大離散熵定理,設(shè)信源X中包含M個(gè)不同的符號(hào)，信源熵H(X)有,當(dāng)且僅當(dāng)X中各個(gè)符號(hào)以等概率出現(xiàn)時(shí)，上式取等號(hào),2熵函數(shù)的性質(zhì),1）對(duì)稱(chēng)性,集合X = x1，x2，xN 中的各元素x1，x2，xN任意改變其順序時(shí)，熵只和分布（概率）有關(guān)，不關(guān)心某個(gè)具體事件對(duì)應(yīng)哪個(gè)概率,例：某二進(jìn)制通信系統(tǒng)，信源符號(hào)集0，1，由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼，用符號(hào)表示下列條件： u0：發(fā)“0”；u1：發(fā)“1”；v0：收“0”；v1：收“1”。 已知下列概率,則此信道轉(zhuǎn)移概率示意圖為,求：（1）已知發(fā)出

15、符號(hào)“0”，收到一個(gè)符號(hào)所獲得的平均信息量,2）已知發(fā)出的符號(hào)，收到一個(gè)符號(hào)所獲得的平均信息量,轉(zhuǎn)移概率矩陣p(v/u,聯(lián)合概率矩陣 p(uv,3）已知發(fā)出和收到符號(hào)，所獲得的平均信息量,或可由定義式求,聯(lián)合概率矩陣 p(uv,4）收到一個(gè)符號(hào)后又被告知發(fā)出的符號(hào)，所獲得的平均信息量,聯(lián)合概率矩陣 p(uv,先求接收符號(hào)的概率,后驗(yàn)概率矩陣 p(u/v)= p(uv)/ p(v,或者,2.4 N維擴(kuò)展信源的熵和平均互信息量,一各種離散信源的熵,信源輸出序列為XN= x1 xi xN ，xia0,a1,ak-1，記 XN= x1 x 2 xN的概率分布為p (XN)，則信源熵為,1）單符號(hào)無(wú)記憶

16、信源,由于無(wú)記憶，則信源的熵為,2）N維擴(kuò)展無(wú)記憶信源,H (XN) = H ( X1) +H (X2X1) +H (X3X1X2)+ +H (XNX1X2XN -1,p (XN) = p (x1) p (x2x1) p(x3x1x2) p(xNx1x2xN -1)，可以計(jì)算出其信源熵,一般情況下，同一信源輸出的各事件x1 xi xN，其概率分布空間相同(平穩(wěn)信源)，即各xi取值a0,a1,ak-1的概率相同，此時(shí)有,例】二進(jìn)制對(duì)稱(chēng)信源只能輸出符號(hào)0或1，信源概率空間描述為,進(jìn)行二維無(wú)記憶擴(kuò)展，則信源序列共M224種：00，01，10，11,則將這4種序列看成4個(gè)符號(hào)，得到一個(gè)新的信源，即,3

17、）平穩(wěn)有記憶N維擴(kuò)展信源,在信源輸出符號(hào)相互有關(guān)連的情況下，信源輸出序列XN= x1 x 2 xN 的概率為p (XN) = p (x1) p (x2x1) p(x3x1x2) p(xNx1x2xN -1)，相應(yīng)可以計(jì)算出其信源熵,H (XN) = H ( X1) +H (X2X1) +H (X3X1X2)+ +H (XNX1X2XN -1,根據(jù)熵的性質(zhì)，條件熵小于等于無(wú)條件熵，有,可得,等號(hào)在信源無(wú)記憶（統(tǒng)計(jì)獨(dú)立）時(shí)成立,對(duì)于平穩(wěn)信源，有,等號(hào)在信源無(wú)記憶時(shí)成立,當(dāng)N較小的時(shí)候，N維擴(kuò)展信源的聯(lián)合熵計(jì)算還比較簡(jiǎn)單,例：某平穩(wěn)信源 若此信源發(fā)出的符號(hào)只與前一符號(hào)有關(guān),其聯(lián)合概率矩陣為,其轉(zhuǎn)移概

18、率矩陣為,若不考慮關(guān)聯(lián)性，信源熵,若考慮關(guān)聯(lián)性，條件熵,聯(lián)合熵,當(dāng)N較大的時(shí)候，N維擴(kuò)展信源的聯(lián)合熵計(jì)算很困難,隨著條件的增加，條件熵越來(lái)越小，即條件熵是N的單調(diào)非增函數(shù),當(dāng)N足夠大時(shí)，H (XNX1X2XN -1)幾乎不再隨N的增大而減小，而是趨于一個(gè)定值,對(duì)于平穩(wěn)有記憶N維擴(kuò)展信源 ，我們一般求N長(zhǎng)符號(hào)序列中，平均每個(gè)信源符號(hào)所攜帶的不確定性（平均符號(hào)熵,定義：XN的平均符號(hào)熵,N長(zhǎng)隨機(jī)符號(hào)序列中單個(gè)符號(hào)的平均信源熵,根據(jù)條件熵的性質(zhì)，隨著N增大，N維條件熵減小，H(XN)的增加變緩，HN (X)減小 。因此有,離散信源的極限熵（極限信息量、極限符號(hào)熵、熵率,若信源輸出符號(hào)xia0,a1,

19、ak-1，則H0(X)=log k （即假設(shè)信源是等概分布的離散無(wú)記憶信源,定理（證明略）：對(duì)任意平穩(wěn)信源，只要H1(X) ,則有H(X) 存在，且,因此，N長(zhǎng)隨機(jī)符號(hào)序列的極限符號(hào)熵可以轉(zhuǎn)化為條件熵來(lái)計(jì)算,實(shí)際中，一般的離散平穩(wěn)信源輸出符號(hào)的相關(guān)性隨N的增加而迅速減?。ㄈ缯Z(yǔ)言中的詞語(yǔ)，句子），此時(shí)，N不很大時(shí)的條件熵跟極限條件熵就很接近，因此實(shí)際中常用有限N時(shí)的條件熵來(lái)近似H(X),因此，對(duì)于有限記憶長(zhǎng)度為M（即某時(shí)刻發(fā)什么符號(hào)只與前M個(gè)符號(hào)有關(guān)）的離散平穩(wěn)信源，可以用有限記憶長(zhǎng)度的條件熵來(lái)對(duì)離散平穩(wěn)信源進(jìn)行信息測(cè)度,工程上很實(shí)用,p(si)為各狀態(tài)的平穩(wěn)分布,對(duì)于m階馬爾可夫信源，其信源（

20、符號(hào)）熵為,4）時(shí)齊的有限狀態(tài)馬爾可夫信源 （用上述方法求解,前一時(shí)刻m階馬氏信源的狀態(tài),信源發(fā)出的下一個(gè)符號(hào),已知當(dāng)前狀態(tài)的條件下，信源發(fā)出下一個(gè)符號(hào)的平均不確定度,這個(gè)計(jì)算要簡(jiǎn)單得多，只需要知道轉(zhuǎn)移概率矩陣就可以,例】某二階平穩(wěn)時(shí)齊馬爾可夫信源，設(shè)信源符號(hào)集為a1，a2，狀態(tài)集為s1=a1a1，s2=a1a2或a2a2，s3=a2a1，各狀態(tài)之間的轉(zhuǎn)移情況如圖(香農(nóng)線(xiàn)圖)所示，求信源熵,轉(zhuǎn)移概率矩陣為,各狀態(tài)穩(wěn)態(tài)概率分布,R為零時(shí)，信源的實(shí)際熵就等于最大值H 0 (X)，這表明信源符號(hào)之間不但統(tǒng)計(jì)獨(dú)立無(wú)記憶，而且各符號(hào)還是等概率分布,補(bǔ)充 信源冗余度及信息變差,冗余度也叫多余度或剩余度，它

21、表示一個(gè)信源在實(shí)際發(fā)出消息時(shí)所包含的多余消息。冗余度來(lái)自?xún)蓚€(gè)方面,R越大，信源的實(shí)際熵H (X)越小，信源符號(hào)之間依賴(lài)關(guān)系越強(qiáng)，即符號(hào)之間的記憶長(zhǎng)度越長(zhǎng),信源符號(hào)間的依賴(lài)性越大，信源的實(shí)際熵越小，越趨近H(X),一是信源符號(hào)之間的相關(guān)性,另一方面是信源分布的不均勻性，信源符號(hào)等概率分布時(shí)，信源熵最大，而實(shí)際中大多數(shù)信源是不均勻分布的，使得實(shí)際熵H H0(X),H0 最大熵 H實(shí)際熵 (1) 相對(duì)熵率 = H/H0 (2) 冗余度 R = 1- = I0/H0 (3) 信息變差 I0= H0 - H,R越小，信源的實(shí)際熵H (X)越大，信源符號(hào)之間依賴(lài)關(guān)系越弱，即符號(hào)之間的記憶長(zhǎng)度越短,例 英語(yǔ)

22、26字母加 空格共27個(gè)符號(hào)。 H0=4.76 bit /符號(hào), H1=4.03 bit /符號(hào), H2=3.32 bit /符號(hào), H3=3.10 bit /符號(hào) H =1.40 bit /符號(hào)， 且 = 0.29， R = 0.71， I0= 3.36 bit/符號(hào) 說(shuō)明 英文中，有71%冗余度，是由語(yǔ)言結(jié)構(gòu)決定的，該部分無(wú)需傳輸，可壓縮。 于是：冗余度信源可壓縮程度,例 將常用的10000個(gè)漢字看做10000個(gè)符號(hào)。 H0=13.288 bit /符號(hào), H1=9.773 bit /符號(hào), = 0.736， R = 0.264 說(shuō)明 漢語(yǔ)信源中，每個(gè)漢字出現(xiàn)的概率不但不相等，而且有一些常

23、用的詞組。單字之間有依賴(lài)關(guān)系，詞組之間也有依賴(lài)關(guān)系。如果將這些依賴(lài)關(guān)系考慮進(jìn)去，計(jì)算相當(dāng)復(fù)雜，但是實(shí)際漢語(yǔ)信源的熵一定也很小，冗余度相當(dāng)大,2.3 離散集的平均互信息量,一平均互信息量,1平均互信息量,定義xiX和yjY之間的互信息量為I(xi ;yj )，在集合X上對(duì)I(xi ;yj )進(jìn)行概率加權(quán)統(tǒng)計(jì)平均，可得I ( X ; yj )為,再對(duì)集合Y進(jìn)行統(tǒng)計(jì)平均，就可以得到平均互信息量,當(dāng)X，Y統(tǒng)計(jì)獨(dú)立時(shí)，I(xi；yj )= 0，從而I(X ；Y)= 0,例】 二元等概率信源X通過(guò)信道轉(zhuǎn)移概率矩陣為P的信道傳輸，信宿接收符號(hào)Y = y0，y1，計(jì)算信源與信宿間的平均互信息量I（X；Y,解】

24、（1）根據(jù) 得,2）由 求后驗(yàn)概率,3）計(jì)算各消息之間的互信息量I(xi ;yj,比特,比特,比特,比特,4）計(jì)算平均互信息量,2平均條件互信息量,平均條件互信息量I(X;YZ)是在聯(lián)合概率空間XYZ，p(xyz)上定義的物理量。由條件互信息量公式,對(duì)上式在三維空間XYZ上求概率加權(quán)平均值，就得到平均條件互信息量,二平均互信息量的性質(zhì),1平均互信息量的性質(zhì),1）非負(fù)性,2）互易性（對(duì)稱(chēng)性,3）平均互信息量小于發(fā)送符號(hào)、接收符號(hào)的信源熵,2平均互信息量與信源熵、條件熵的關(guān)系,3平均互信息量的物理意義,從通信的角度來(lái)討論平均互信息量I(X ; Y)的物理意義,1）由第一等式 I(X;Y)= H（X

25、）- H（XY）看I(X;Y)的物理意義,設(shè)X為發(fā)送消息符號(hào)集，Y為接收符號(hào)集，H(X)是輸入集的平均不確定性，H（XY）是觀察到Y(jié)后，集X還保留的不確定性，二者之差I(lǐng) (X；Y)就是在接收過(guò)程中得到的關(guān)于X；Y的平均互信息量,對(duì)于無(wú)擾信道，I(X ; Y)=H(X)。 對(duì)于強(qiáng)噪信道，I(X ; Y)= 0,2）由第二等式I(X;Y)= H（Y)-H（YX）看I(X;Y)的物理意義,H(Y)是觀察到Y(jié)所獲得的信息量(Y 的平均不確定性），H（YX）是發(fā)出確定消息X后，由于干擾而使Y存在的平均不確定性， 二者之差I(lǐng)(X ; Y)就是一次通信所獲得的信息量,對(duì)于無(wú)擾信道，有I(X ; Y)=H(X

26、)=H(Y)。 對(duì)于強(qiáng)噪信道，有H（YX）= H（Y），從而I(X ; Y) = 0,3）由第三等式I(X;Y)= H(X)+ H(Y)- H(XY)看I(X;Y)的物理意義,通信前，隨機(jī)變量X和Y可視為統(tǒng)計(jì)獨(dú)立，其先驗(yàn)不確定性為H(X)+ H(Y)，通信后，整個(gè)系統(tǒng)的后驗(yàn)不確定性為H(XY)，二者之差H(X)H(Y)H(XY)就是通信過(guò)程中不確定性減少的量，也就是通信過(guò)程中獲得的平均互信息量I(X；Y,例】已知信源消息集為X=0,1,接收符號(hào)集為Y=0,1，通過(guò)有擾信道傳輸，其傳輸特性如圖所示，這是一個(gè)二進(jìn)制對(duì)稱(chēng)信道BSC。已知先驗(yàn)概率為等概率，計(jì)算平均互信息量I( X;Y)及各種熵,解】設(shè)

27、p(x)為信源輸入概率；p(y)為信宿輸出概率； p(y/x)為信道轉(zhuǎn)移概率；p(x/y)為后驗(yàn)概率,1）由圖及 得,2）由 得,3）由 計(jì)算后驗(yàn)概率,4）計(jì)算各種熵及平均互信息量,信源熵,信宿熵,聯(lián)合熵,三有關(guān)平均互信息量的兩條定理,平均互信息量,疑義度,散布度,平均互信息量定義為,上式說(shuō)明I(X ; Y)是信源分布概率p(x)和信道轉(zhuǎn)移概率p(yx)的函數(shù),下面兩條定理闡明了I(X ; Y)與p(x)和p(yx)之間的關(guān)系,定理1：當(dāng)信道給定，即信道轉(zhuǎn)移概率p(yx)固定，平均互信息量I(X ; Y)是信源概率分布p(x)的型凸函數(shù),定理1說(shuō)明，信道固定時(shí)，對(duì)于不同的信源分布，信道輸出端獲得的信息量是不同的。因此，對(duì)于每一個(gè)固定信道，一定存在一種信源（一種分布）p(x)，使輸出端獲得的信息量最大,定理2：當(dāng)信源給定，即信源分布概率p(x)固定，平均互信息量I(X ; Y)是信道轉(zhuǎn)移概率p(yx)的型凸函數(shù),定理2說(shuō)明，信源固定以后，用不同的信道來(lái)傳輸同一信源符號(hào)時(shí)，在信道輸出端獲得的信息量是不同的。可見(jiàn)，對(duì)每一種信源一定存在一種最差的信道，此信道的干擾最大，而使輸出端獲得的信息量最小,例2.16】二進(jìn)制對(duì)稱(chēng)信道BSC如圖2-10所示，輸入符號(hào)集X =x1,x2=0,