信息量和熵2.1離散信源的數(shù)學(xué)模型和信息測度要求

1、信息量和熵2.1 離散信源的數(shù)學(xué)模型和信息測度要求信源信道信宿噪聲源編碼器譯碼器消息干擾接收信號消息數(shù)字通信系統(tǒng)模型有效性、可靠性Review發(fā)送信號信源的數(shù)學(xué)描述 通信系統(tǒng)中收信者在未收到消息以前對信源發(fā)出什么消息是不確定的,是隨機的可用隨機變量、隨機序列或隨機過程來描述信源輸出的消息,或者說用一個樣本空間及其概率測度概率空間來描述信源。 不同的信源輸出的消息的隨機性質(zhì)不同，可以根據(jù)消息的不同的隨機性質(zhì)來對信源進行分類：按照某時刻信源輸出消息的取值集合的離散性和連續(xù)性, 信源可分為離散信源和連續(xù)信源。按照信源輸出消息的所對應(yīng)的隨機序列中隨機變量前后之間有無依賴關(guān)系, 信源可分為無記憶信源和有

2、記憶信源。 按照信源輸出消息的所對應(yīng)的隨機序列的平穩(wěn)性, 信源可分為平穩(wěn)信源和非平穩(wěn)信源。信源的分類離散信源：可能輸出的消息是有限的或可數(shù)的，每次只輸出一個消息，即兩兩不相容。數(shù)學(xué)模型：注：X代表隨機變量，指的是信源整體；ai代表信源的某個元素。簡單信源數(shù)學(xué)模型：注：這里的p(x)代表概率密度函數(shù)。簡單信源 連續(xù)信源：可能輸出的消息數(shù)是無限的或不可數(shù)的，每次只輸出一個消息。離散信源在不同時刻發(fā)出的符號之間是無依賴的彼此統(tǒng)計獨立的。其中，且離散無記憶信源由離散無記憶信源輸出N長的隨機序列構(gòu)成的信源。離散無記憶信源N次擴展信源擲兩枚硬幣擲一枚硬幣離散平穩(wěn)信源：輸出的隨機序列 中每個隨機變量 取值是

3、離散的，并且隨機矢量X的各維概率分布不隨時間平移而改變。連續(xù)平穩(wěn)信源：輸出的隨機序列 中每個隨機變量 取值是連續(xù)的，并且隨機矢量X的各維概率密度函數(shù)不隨時間平移而改變離散無記憶信源：離散信源在不同時刻發(fā)出的符號之間是彼此統(tǒng)計獨立的。其它幾種常見信源有記憶信源：輸出的隨機序列X中各隨機變量之間有依賴關(guān)系，但記憶長度有限。m階馬爾可夫信源：信源每次發(fā)出的符號只與前m個符號有關(guān)，與更前面的符號無關(guān)。隨機波形信源：信源輸出的消息在時間上和取值上都是連續(xù)的。其它幾種常見信源 設(shè)單符號離散信源的概率空間為自信息量定義 如果知道事件xi已發(fā)生，則該事件所給出的信息量稱為自信息，定義為:對數(shù)換底關(guān)系：自信息量

4、定義I (xi) 含義當事件xi發(fā)生以前,表示事件xi 發(fā)生的不確定性當事件xi發(fā)生以后,表示事件xi所含有的信息量I (xi)單位常用對數(shù)底是2,信息量的單位為比特(bits)；若取自然對數(shù),則信息量的單位為奈特(nats); 1 natlog2e l.433 bit，或(1) I (xi)是非負值(2) 當p(xi) = 1時，I(xi) = 0(3) 當p(xi) = 0時，I(xi) = (4) I(xi)是先驗概率p(xi)的單調(diào)遞減函數(shù)，即 當p(x1)p(x2)時，I (x1)I (x2)(5)兩個獨立事件的聯(lián)合信息量等于它們分別的信息量之和，即統(tǒng)計獨立信源的信息量等于它們分別的

5、信息量之和。自信息的性質(zhì)二進制碼元0,1,當符號概率為p(0)=1/4, p(1)=3/4,則這兩個符號的自信息量為： I(0) =-log2 (1/4)=log24= 2 bits I(1) =-log2 (3/4) =0.4151 bits一個以等概率出現(xiàn)的二進制碼元(0,1)所包含的自信息量為： 自信息量例題I(0)= I(1)= -log2 (1/2)=log22=1 bits自信息量例題一次擲兩個色子，求下列事件發(fā)生后提供的信息量。a.僅有一個為3；b.至少有一個為4；c.兩個之和為偶數(shù)。解：一個色子有6個符號，X=1,2,3,4,5,6，兩個色子的總數(shù)為36。a. 事件概率為5*2

6、/36=5/18b. 事件概率為（52+1）/36=11/36c. 事件概率為63/36=1/2則： I(a)=log(18/5)=1.848 (bits) I(b)=log(36/11)=1.7105 (bits) I(c)=log2=1 (bits)考慮兩個隨機事件，其聯(lián)合概率空間為聯(lián)合自信息與條件自信息 在事件yj出現(xiàn)的條件下，隨機事件xi發(fā)生的 條件自信息量 條件自信息量 聯(lián)合自信息量聯(lián)合自信息量和條件自信息量關(guān)系當X和Y獨立時， 信源各個離散消息的自信息量的數(shù)學(xué)期望（即概率加權(quán)的統(tǒng)計平均值）為信源的平均信息量，稱為信源的信息熵，也叫信源熵或香農(nóng)熵，簡稱熵。熵函數(shù)的自變量是X表示信源整

7、體，實質(zhì)上是離散無記憶信源平均不確定度的度量。與自信息不同,自信息表示某一消息所含有的信息量，它是一個隨機變量,不能用它來作為整個信源的信息測度。 信源熵定義信源熵H(X)的物理含義 信源輸出后，每個離散消息所提供的平均信息量； 信源輸出前，信源的平均不確定度； （反映了隨機變量X的隨機性） 對該信源輸出進行無錯編碼所需的最小編碼長度; 消除信源不確定度所需要的信息的量度.信源熵理解注意: 電視屏上約有 500 600= 3105個格點，按每格點有8個不同的灰度等級考慮，則共能組成 個不同的畫面。= 9 105 bits信源熵例題按等概率計算，平均每個畫面可提供的信息量為 有一篇千字文章，假定

8、每字可從萬字表中任選，則共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000計算，平均每篇千字文可提供的 信息量為 H(X) log2N 1.3 104 bits “一個電視畫面”平均提供的信息量遠遠超過“一篇千字文”提供的信息量。 信源熵例題例如有兩個信源，其概率空間分別為:因為H(Y) H(X) 所以信源Y比信源X的平均不確定性要大。 信源熵例題 該信源X輸出符號只有兩個,設(shè)為0和1輸出符號發(fā)生的概率分別為p和q，pq=l，即信源的概率空間為 則二元信源熵為 H(X)= -plogp-qlogq = -plogp- (1- p)log(1-p) =

9、H(p) 信源熵例題0 0.2 0.4 0.6 0.8 110.80.60.40.2pH(p)H(p) = -plogp- (1- p)log(1-p)條件熵是在聯(lián)合符號集合XY上的條件自信息量的數(shù)學(xué)期望。在已知隨機變量Y的條件下，隨機變量X的條件熵定義為：要用聯(lián)合概率加權(quán)條件熵是一個確定值，表示信宿在收到Y(jié)后，信源X仍然存在的不確定度。這是傳輸失真所造成的。有時稱H(X/Y)為信道疑義度，也稱損失熵。稱條件熵H(Y/X)為噪聲熵。條件熵聯(lián)合離散符號集合XY上的每個元素對 的聯(lián)合自信息量的數(shù)學(xué)期望。聯(lián)合熵進一步擴展熵、條件熵、聯(lián)合熵關(guān)系當Ui相互獨立時當X和Y相互獨立時一個二進信源X發(fā)出符號集

10、0,1,經(jīng)過離散無記憶信道傳輸,信道輸出用Y表示.由于信道中存在噪聲,接收端除收到0和1的符號外,還有不確定符號“2”已知: X的先驗概率: p(x0)=2/3, p(x1)= 1/3, 符號轉(zhuǎn)移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，XY0101 23/41/21/21/4信源熵H(X)例 題得聯(lián)合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/33/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/31/4 =

11、 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/31/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/31/2=1/6由例 題 噪聲熵 H(Y|X)XY0101 23/41/21/21/4聯(lián)合熵 H(XY) H(XY)H(X)H(Y|X)=1.8 bits得 p(y0) = p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) = p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) = p(xiy2) = p(x

12、0y2) +p(x1y2) = 1/6+1/6=1/3 由例 題信道輸出熵H(Y)由得同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/2 信道疑義度 H(X|Y)例 題或 H(X|Y)= 熵的基本性質(zhì)概率矢量熵函數(shù)非負性 非負性 H(X)0 由于0pk1,所以logpk0，-logpk0，則總有H(X)0。 對稱性根據(jù)加法交換律可以證明，當變量交換順序時熵函數(shù)的值不變, 即信源的熵只與概率空間的總體結(jié)構(gòu)有關(guān)，而與各概率分量對應(yīng)的狀態(tài)順序無關(guān)。 對稱性確定性當信源X的信源空間X，P中，任一概率分量等于1，根據(jù)完備空間特性，其它概率分

13、量必為0，這時信源為一個確知信源，其熵為0。 確定性這說明信源空間中增加某些概率很小的符號，雖然當發(fā)出這些符號時，提供很大的信息量，但由于其概率接近于0，在信源熵中占極小的比重， ，使信源熵保持不變。 擴展性擴展性 可加性證明:可加性 極值性最大離散熵定理 信源X中包含K個不同離散消息時，信源熵 ，當且僅當X中各個消息出現(xiàn)的概率全相等時，上式取等號。 表明等概信源的不確定性最大，具有最大熵，為 極值性H(p) 0 0.5 1 p 二元離散信源H(p) = -plogp- (1- p)log(1-p)引理1（常用對數(shù)不等式）：lnx x-1,當且僅當x=1時等號成立。令f(x)=lnx(x-1)

14、 ,則 可見，f(x)是x的上凸函數(shù)，且當x=1時，f(x)有極大值。故 即 lnx(x-1)f(x)=lnx-(x-1) 0 證明： 令 ，可得 即等概時熵最大，為 。證明：引理2香農(nóng)輔助定理 極值性最大離散熵定理 信源X中包含K個不同離散消息時，信源熵 ，當且僅當X中各個消息出現(xiàn)的概率全相等時，上式取等號。 表明等概信源的不確定性最大，具有最大熵，為 極值性定理：1. H(X/Y) H(X) （條件熵不大于無條件熵） 2. H(XY) H(X)+H(Y)證明：基本定理由定理1，得基本定理推廣H(X/Y) H(X)H(XY) H(X)+H(Y)相互獨立時等號成立 唯一性 香農(nóng)指出，存在這樣的不確定性的度量，它是概率 分布 的函數(shù) ，且該函數(shù)應(yīng)滿足：對稱性 極值性可加性擴展性 它的形式是唯一的。唯一性本節(jié)小結(jié)信源的數(shù)學(xué)模型及分類信源的平均自信息量-信源熵 定義：自信息的數(shù)學(xué)期望 含義：幾種解釋 與聯(lián)合熵、條件熵之間