第3講——條件熵、聯(lián)合熵及熵的性質(zhì)

1、條件熵是在聯(lián)合符號(hào)集合條件熵是在聯(lián)合符號(hào)集合XY上的上的條件自信息量的數(shù)學(xué)期望條件自信息量的數(shù)學(xué)期望。在已知隨機(jī)變量在已知隨機(jī)變量Y的條件下，隨機(jī)變量的條件下，隨機(jī)變量X的條件熵定義為：的條件熵定義為：)/(log)()/()()/()/(1111jimjnijijimjnijijiyxpyxpyxIyxpyxIEYXH要用聯(lián)合概率加權(quán)條件熵是一個(gè)確定值，表示信宿在收到條件熵是一個(gè)確定值，表示信宿在收到Y(jié)后，信源后，信源X仍然存仍然存在的不確定度。這是傳輸失真所造成的。有時(shí)稱在的不確定度。這是傳輸失真所造成的。有時(shí)稱H(X/Y)為為信道疑義度信道疑義度，也稱損失熵。稱條件熵，也稱損失熵。稱條件

2、熵H(Y/X)為為噪聲熵噪聲熵。)/(log)()/()/(211ijnimjjiijxypyxpxyIEXYH條件熵條件熵 聯(lián)合離散符號(hào)集合聯(lián)合離散符號(hào)集合XY上的每個(gè)元素對(duì)上的每個(gè)元素對(duì) 的的聯(lián)合聯(lián)合自信息量的數(shù)學(xué)期望自信息量的數(shù)學(xué)期望。)(log)()()()(jinimjjijinimjjiyxpyxpyxIyxpXYH21111)(jiyx聯(lián)合熵聯(lián)合熵)()()()()(YXHYHXYHXHXYH熵、條件熵、聯(lián)合熵關(guān)系熵、條件熵、聯(lián)合熵關(guān)系 一個(gè)二進(jìn)信源一個(gè)二進(jìn)信源X發(fā)出符號(hào)集發(fā)出符號(hào)集0,1,經(jīng)過(guò)離散無(wú)記憶信道傳經(jīng)過(guò)離散無(wú)記憶信道傳輸輸,信道輸出用信道輸出用Y表示表示.由于信道中存

3、在噪聲由于信道中存在噪聲,接收端除收接收端除收到到0和和1的符號(hào)外的符號(hào)外,還有不確定符號(hào)還有不確定符號(hào)“2” 已知已知X的先驗(yàn)概率的先驗(yàn)概率: p(x0)=2/3, p(x1)= 1/3, 符號(hào)轉(zhuǎn)移概率：符號(hào)轉(zhuǎn)移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，XY0101 23/41/21/21/4 信源熵信源熵H(X)bitHXH92. 031log3132log32)31,32()(例題例題得聯(lián)合概率：得聯(lián)合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/33/4 = 1/2 p(x0y1) = p(

4、x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/31/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/31/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/31/2=1/6)/()()/()()(jijijijiyxpypxypxpyxpbitxypyxpXYHijijji88. 021log6121log6141log6143log21)|(log),()|(由由例題例題 條件熵條件熵H(Y|X) 聯(lián)合熵聯(lián)合熵H(XY) H(XY)H

5、(X)H(Y|X)=1.8bit/符號(hào))()(),()(11imjjijnijixpyxpypyxp得得 p(y0) = p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) = p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) = p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3 由由bitHYH47. 161log6131log3121log21)61,31,21()(例題例題 信源輸出熵信源輸出熵H(Y)()()()()|(1jjinijijijiypyxpyxpyxpyxp由

6、由12/12/1)()()|(00000ypyxpyxp得得同理同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/20)()()|(00101ypyxpyxpbityxpyxpYXHjiijji33. 0)|(log),()|( 條件熵條件熵H(X|Y)例題例題或或 H(X|Y)= H(XY)-H(Y)=1.8-1047=0.33bit/符號(hào)KkkkKpppppHXH121log),()(),.,2 , 1(0, 11KkppkKkk熵的基本性質(zhì)熵的基本性質(zhì)KKpppxxxPX2121概率矢量概率矢量非負(fù)性非負(fù)性 非負(fù)性非負(fù)性 H(

7、X)0 由于由于0pk1,所以所以logpk0，-logpk0，則總有則總有H(X)0。 對(duì)稱性對(duì)稱性),.,(),.,(12121KKKppppHpppH 根據(jù)加法交換律可以證明，當(dāng)變量交換順序根據(jù)加法交換律可以證明，當(dāng)變量交換順序時(shí)熵函數(shù)的值不變時(shí)熵函數(shù)的值不變, 即信源的熵只與概率空間即信源的熵只與概率空間的總體結(jié)構(gòu)有關(guān)，而與各概率分量對(duì)應(yīng)的狀的總體結(jié)構(gòu)有關(guān)，而與各概率分量對(duì)應(yīng)的狀態(tài)順序無(wú)關(guān)。態(tài)順序無(wú)關(guān)。 對(duì)稱性對(duì)稱性確定性確定性當(dāng)信源當(dāng)信源X的信源空間的信源空間X，P中，任一概率中，任一概率分量等于分量等于1，根據(jù)完備空間特性，其它概，根據(jù)完備空間特性，其它概率分量必為率分量必為0，這

8、時(shí)信源為一個(gè)確知信源，這時(shí)信源為一個(gè)確知信源，其熵為其熵為0。 確定性確定性HHH( , )( , )( , , ,. )100110 000),(),(lim21210KKKKpppHpppH 這說(shuō)明信源空間中增加某些概率很小的這說(shuō)明信源空間中增加某些概率很小的符號(hào)，雖然當(dāng)發(fā)出這些符號(hào)時(shí)，提供很大的符號(hào)，雖然當(dāng)發(fā)出這些符號(hào)時(shí)，提供很大的信息量，但由于其概率接近于信息量，但由于其概率接近于0，在信源熵中，在信源熵中占極小的比重，占極小的比重， ，使信源熵保，使信源熵保持不變。持不變。 0loglim20 擴(kuò)展性擴(kuò)展性擴(kuò)展性擴(kuò)展性 可加性可加性)/()()()/()()(YXHYHXYHXYHX

9、HXYH1)/()/()()(:)/()()/()/()(log)()/(log)()(log)/()()/()(log)()(log)()(22222jijijijijijiiiijijjiiijijiijiijjijiijjixypxypxpyxpXYHXHXYHxypxpxpxypyxpxpxypxpxypxpyxpyxpyxpXYH利用證明證明: :可加性可加性 極值性極值性最大離散熵定理最大離散熵定理 KXH2log)(信源信源X中包含中包含K個(gè)不同離散消息時(shí)，信源個(gè)不同離散消息時(shí)，信源熵熵 ，當(dāng)且僅當(dāng)，當(dāng)且僅當(dāng)X中各個(gè)消息中各個(gè)消息出現(xiàn)的概率全相等時(shí)，上式取等號(hào)。出現(xiàn)的概率全相等時(shí)

10、，上式取等號(hào)。 表明等概信源的不確定性最大，具有最表明等概信源的不確定性最大，具有最大熵，為大熵，為 K2log極值性極值性KXH2log)(n定理：定理：1. H(X/Y) H(X) （條件熵不大于無(wú)條件熵）（條件熵不大于無(wú)條件熵） 2. H(XY) H(X)+H(Y)證明：證明：)()()/()(,)()(log)()(log)/()()(log)/()()/(log)/()()/(log)()/(22222ijjijjijiiiiijjijjiijijjjiijijjiijjixpyxpyxpypXHxpxpxpyxpypxpyxpypyxpyxpypyxpyxpYXH 其中基本定理基本

11、定理基本定理推廣基本定理推廣)(121mnnnsnnnnUUUHUUUUHNnms1121()()NNnnH U UUH UH(X/Y) H(X)H(XY) H(X)+H(Y)|()|()|()(),()(12121312121LLLiiiiiiiiiiiiiixxxxpxxxpxxpxpxxxppx 設(shè)信源輸出的隨機(jī)序列為設(shè)信源輸出的隨機(jī)序列為 X =(X1X2XlXL) 序列中的變量序列中的變量Xlx1,x2, xn離散無(wú)記憶信源離散無(wú)記憶信源LliiiiiiiiilLLxpxpxpxpxpxxxpp1)()()()()(),()(32121x離散無(wú)記憶離散無(wú)記憶: :離散無(wú)記憶信源的序列

12、熵離散無(wú)記憶信源的序列熵 信源的序列熵信源的序列熵 LllLliiiiLliiniiiXHxpxpxpxpxpxpHllL1111L)()(log)()(log)()(log)()X()()X(LXLHH進(jìn)一步化簡(jiǎn)進(jìn)一步化簡(jiǎn) 平均符號(hào)熵平均符號(hào)熵)()X(1)X(LXHHLHL?離散無(wú)記憶信源的序列熵離散無(wú)記憶信源的序列熵 信源的序列熵信源的序列熵 LllLliiiiLliiniiiXHxpxpxpxpxpxpHllL1111L)()(log)()(log)()(log)()X()()X(LXLHH進(jìn)一步化簡(jiǎn)進(jìn)一步化簡(jiǎn) 平均符號(hào)熵平均符號(hào)熵)()X(1)X(LXHHLHL?iiixpxpXH)

13、(log)()(11 LiLiLiLiiiiiiLLxpxpxpxpxp11111231321)(log)()()()(LiLiLiLiiiiiiLLlxpxpxpxpxp1111123321)()()()(log)(LiiiXHxpxp1111)()(log)(iiillxpxpXH)(log)()(離散無(wú)記憶信源的序列熵離散無(wú)記憶信源的序列熵 )()()X(1LXLHXHHLll LiLiLiLiiiLxpxp11111231)(log)(例例:有一個(gè)無(wú)記憶信源隨機(jī)變量有一個(gè)無(wú)記憶信源隨機(jī)變量X(0,1),等概率分布等概率分布,若以若以單個(gè)符號(hào)出現(xiàn)為一事件單個(gè)符號(hào)出現(xiàn)為一事件,則此時(shí)的信源

14、熵則此時(shí)的信源熵:bitXH12log)(2bitH24log)X(22bitHH1)X(21)X(22 即用即用 1比特就可表示該事件。比特就可表示該事件。 如果以兩個(gè)符號(hào)出現(xiàn)如果以兩個(gè)符號(hào)出現(xiàn)(L=2的序列的序列)為一事件，則隨機(jī)序?yàn)橐皇录?，則隨機(jī)序列列X(00,01,10,11)，信源的序列熵，信源的序列熵 即用即用2比特才能表示該事件。比特才能表示該事件。 信源的符號(hào)熵信源的符號(hào)熵離散無(wú)記憶信源實(shí)例離散無(wú)記憶信源實(shí)例)X(2)X(2HH 例例:有一離散平穩(wěn)無(wú)記憶信源有一離散平穩(wěn)無(wú)記憶信源 414121)(321xxxxpX求：二次擴(kuò)展信源的熵求：二次擴(kuò)展信源的熵X2信源信源的元素的元素

15、 a1 a2a3a4a5a6a7a8a9對(duì)應(yīng)的對(duì)應(yīng)的消息序列消息序列 x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3 x2x3 x3概率概率p(ai) 1/4 1/81/81/81/16 1/161/81/16 1/16離散無(wú)記憶信源實(shí)例離散無(wú)記憶信源實(shí)例bitapapXHiii3)(log)()(912bitxpxpXHiii5 . 1)(log)()(31)(2)(2XHXH 信源熵為信源熵為 信源的序列熵信源的序列熵離散無(wú)記憶信源實(shí)例離散無(wú)記憶信源實(shí)例 平均符號(hào)熵為平均符號(hào)熵為 bitXHXH5 . 12/ )()(22a0a1a2a09/112/110a11/83/41/

16、8a202/97/9 例例:已知離散有記憶信源中各已知離散有記憶信源中各符號(hào)的概率為符號(hào)的概率為:41943611210aaaPX 設(shè)發(fā)出的符號(hào)只與前一個(gè)符號(hào)有關(guān)設(shè)發(fā)出的符號(hào)只與前一個(gè)符號(hào)有關(guān),這兩個(gè)符號(hào)的概率這兩個(gè)符號(hào)的概率關(guān)聯(lián)性用條件概率關(guān)聯(lián)性用條件概率p(aj|ai)表示表示,如表如表p(aj|ai) 求離散信源的序列熵和平均每個(gè)符號(hào)的熵求離散信源的序列熵和平均每個(gè)符號(hào)的熵? 離散有記憶信源實(shí)例離散有記憶信源實(shí)例 由由 p(ai,aj) = p(ai) p(aj| ai) 計(jì)算得聯(lián)合概率計(jì)算得聯(lián)合概率p(ai aj)如表如表a0a1a2a01/41/180a11/181/31/18a20

17、1/187/36當(dāng)考慮符號(hào)之間有依賴性時(shí)當(dāng)考慮符號(hào)之間有依賴性時(shí),計(jì)算得條件熵計(jì)算得條件熵bitaapaapXXHiijjij872. 0)|(log)()|(202012離散有記憶信源實(shí)例離散有記憶信源實(shí)例bitaapaapXXHijijij41. 2),(log),(),(202021 發(fā)二重符號(hào)序列的熵發(fā)二重符號(hào)序列的熵 H(X1,X2)表示平均每二個(gè)信源符號(hào)所攜帶的信息量表示平均每二個(gè)信源符號(hào)所攜帶的信息量, 那那么平均每一個(gè)信源符號(hào)攜帶的信息量近似為么平均每一個(gè)信源符號(hào)攜帶的信息量近似為: 符號(hào)之間存在關(guān)聯(lián)性符號(hào)之間存在關(guān)聯(lián)性bitXHH21. 1)(21)X(22)X()X(2HH

18、比較比較有記憶信源實(shí)例有記憶信源實(shí)例而信源而信源X的信息熵為的信息熵為符號(hào)/543. 1)(log)()(20bitapapXHiii H(X2| X1)H(X)，信源的條件熵比無(wú)依賴時(shí)的熵，信源的條件熵比無(wú)依賴時(shí)的熵H(X)減少了減少了0.671比特比特,這正是因?yàn)榉?hào)之間有依賴性所造成的結(jié)果。這正是因?yàn)榉?hào)之間有依賴性所造成的結(jié)果。)X()XX(12HH 對(duì)于有記憶信源對(duì)于有記憶信源,就不像無(wú)記憶信源那樣簡(jiǎn)單就不像無(wú)記憶信源那樣簡(jiǎn)單,它必須引它必須引入條件熵的概念，而且只能在某些特殊情況下才能得到入條件熵的概念，而且只能在某些特殊情況下才能得到一些有價(jià)值的結(jié)論。一些有價(jià)值的結(jié)論。 對(duì)于由兩個(gè)符號(hào)組成的聯(lián)合信源對(duì)于由兩個(gè)符號(hào)組成的聯(lián)合信源,有下列結(jié)論有下列結(jié)論:)|()(),|()()|()()|()()(12221121212121XXHXHXXHXHXXHXHXXHXHXXH)()|(),()|()()()(2121212121XHXXHXHXXHXHXHXXH 當(dāng)前后符號(hào)無(wú)依存關(guān)系時(shí)當(dāng)前后符號(hào)無(wú)依存關(guān)系時(shí),有下列推論：有下列推論：離散有記