信息論與編碼信息的度量

信息論與編碼信息的度量1第1頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月2.5聯(lián)合熵和條件熵

聯(lián)合熵：聯(lián)合自信息量的統(tǒng)計(jì)平均。條件熵：條件自信息量的統(tǒng)計(jì)平均各類熵之間的關(guān)系：與各類自信息量之間的關(guān)系對(duì)應(yīng)。2第2頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月1聯(lián)合熵設(shè)聯(lián)合概率空間為聯(lián)合符號(hào)的先驗(yàn)不確定性稱為聯(lián)合自信息量:統(tǒng)計(jì)平均聯(lián)合熵熵的物理意義:信源的平均不確定性。3第3頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月2條件熵設(shè)聯(lián)合概率空間為條件自信息量:統(tǒng)計(jì)平均條件熵4第4頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月3各類熵之間的關(guān)系同理總之熵的強(qiáng)可加性推廣5第5頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月各類熵之間的關(guān)系(續(xù))于是因此，熵之間的關(guān)系簡(jiǎn)化：熵的可加性推廣：當(dāng)與相互獨(dú)立，則統(tǒng)計(jì)獨(dú)立時(shí)，有6第6頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月X01P2/31/3例已知某離散信源如下，且其符號(hào)轉(zhuǎn)移概率如右下所示，求H(X)、H(Y|X)和H(X,Y)7第7頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月解：8第8頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月另一方面：后驗(yàn)概率可以求出：可以求出條件熵：同樣可以求出聯(lián)合熵：9第9頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月例

已知一離散二維平穩(wěn)信源一維概率分布二維概率分布表2.2

ajai01201/41/18011/181/31/18201/187/36求兩種熵。

10第10頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月解:(1)計(jì)算條件概率二維條件概率分布表2.3

ajai01209/111/8012/113/42/9201/87/911第11頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月(2)

(3)另12第12頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月2.6平均互信息量及其性質(zhì)平均互信息量平均互信息量的基本性質(zhì)13第13頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

互信息量互信息量表示先驗(yàn)的不確定性減去尚存的不確定性，這就是收信者獲得的信息量；互信息量可能為正數(shù)、負(fù)數(shù)、0；對(duì)于無(wú)干擾信道，I(xi;yj)=I(xi)xiyj信道p(xi):發(fā)送端發(fā)送xi的概率；P(xi|yj):接收端收到y(tǒng)j后，發(fā)送端發(fā)送xi的概率定義:14第14頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月為什么需要定義平均互信息量？互信息量是定量地研究信息流通問(wèn)題的重要基礎(chǔ)。但它只能定量地描述輸入隨機(jī)變量發(fā)出某個(gè)具體消息，輸出變量出現(xiàn)某一個(gè)具體消息時(shí)，流經(jīng)信道的信息量；此外還是隨和變化而變化的隨機(jī)變量。互信息量不能從整體上作為信道中信息流通的測(cè)度。這種測(cè)度應(yīng)該是從整體的角度出發(fā)，在平均意義上度量每通過(guò)一個(gè)符號(hào)流經(jīng)信道的平均信息量。定義互信息量在聯(lián)合概率空間中的統(tǒng)計(jì)平均值為Y對(duì)X的平均互信息量，簡(jiǎn)稱平均互信息，也稱平均交互信息量或交互熵。15第15頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

平均互信息量：與之間的平均互信息量是統(tǒng)計(jì)平均意義下的先驗(yàn)不確定性與后驗(yàn)不確定性之差，也是互信息量的統(tǒng)計(jì)平均：16第16頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

1.對(duì)稱性根據(jù)互信息量的對(duì)稱性，容易推得 I(X;Y)=I(Y;X) 說(shuō)明從集合Y中獲取X的信息量，等于從集合X中獲取Y的信息量。

17第17頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

2.與各種熵的關(guān)系I(X;Y)=H(X)–H(X|Y) I(Y;X)=H(Y)–H(Y|X) I(X;Y)=H(X)+H(Y)–H(XY) H(XY)為X集合和Y集合的共熵，或稱聯(lián)合熵。共熵應(yīng)該是聯(lián)合符號(hào)集合XY上的每個(gè)元素對(duì)xy的自信息量的概率加權(quán)統(tǒng)計(jì)平均值。18第18頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月I(X;Y)=H(X)+H(Y)–H(XY)根據(jù)各種熵的定義，從該式可以清楚看出平均互信息量是一個(gè)表征信息流通的量其物理意義就是信源端的信息通過(guò)信道后傳輸?shù)叫潘薅说钠骄畔⒘俊?9第19頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月3有界性各種熵以及平均互信息量之間的關(guān)系可用以下文氏圖表示。

熵、平均互信息量關(guān)系圖20第20頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月例

已知信源空間 信道特性如圖所示，求在該信道上傳輸?shù)钠骄バ畔⒘縄(X;Y)。

圖信道特性21第21頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月解（1）根據(jù)P(xiyj)=P(xi)P(yj

|xi)，求各聯(lián)合概率，得 P(x1y1)=P(x1)P(y1|x1)=0.5×0.98=0.49 P(x1y2)=P(x1)P(y2|x1)=0.5×0.02=0.01 P(x2y1)=P(x2)P(y1|x2)=0.5×0.20=0.10 P(x2y2)=P(x2)P(y2|x2)=0.5×0.80=0.40（2）根據(jù)，求Y集合中各符號(hào)的概率，得 P(y1)=P(x1)P(y1|x1)+P(x2)P(y1|x2)=0.5×0.98＋0.5×0.2=0.59 P(y2)=1–0.59=0.4122第22頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月（3）根據(jù)P(xi|yj)=P(xiyj)/P(yj)，求各后驗(yàn)概率，得 P(x1|y1)=P(x1y1)/P(y1)=0.49/0.59=0.831 P(x2|y1)=P(x2y1)/P(y1)=0.10/0.59=0.169 P(x1|y2)=P(x1y2)/P(y2)=0.01/0.41=0.024

P(x2|y2)=P(x2y2)/P(y2)=0.40/0.41=0.97623第23頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月（4）求熵，有

I(X;Y)=H(X)+H(Y)–H(XY)=1+0.98-1.43=0.55比特/信符24第24頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月2.7離散無(wú)記憶信源的擴(kuò)展DMSDMSDMS研究信源輸出的單個(gè)符號(hào)的統(tǒng)計(jì)特性研究信源輸出的符號(hào)串的統(tǒng)計(jì)特性單符號(hào)信源的次擴(kuò)展信源多符號(hào)信源??25第25頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月輸出的消息序列中各符號(hào)之間無(wú)相互依賴關(guān)系的信源。亦稱為單符號(hào)離散平穩(wěn)無(wú)記憶信源的擴(kuò)展信源。序列長(zhǎng)度就是擴(kuò)展次數(shù)。單符號(hào)信源{0，1}經(jīng)過(guò)擴(kuò)展，變成了：{00，01，10，11}例2.2.126第26頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月27第27頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

N次擴(kuò)展信源：離散無(wú)記憶信源，考慮任意N個(gè)相鄰時(shí)刻的輸出隨機(jī)變量把看成是一個(gè)新的離散無(wú)記憶信源的輸出，稱為的N次擴(kuò)展信源。擴(kuò)展信源的熵：

bit/N元符號(hào)28第28頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月擴(kuò)展信源的熵DMSDMS?因?yàn)槭荄MS，故獨(dú)立同分布，所以29第29頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月單符號(hào)信源如下,求二次擴(kuò)展信源熵?cái)U(kuò)展信源：例30第30頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月31第31頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月擴(kuò)展信源模型的求法例設(shè)有離散無(wú)記憶信源。（1）求和；（2）當(dāng)時(shí)，計(jì)算。解（1）求2次和3次擴(kuò)展信源的符號(hào)表:32第32頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月擴(kuò)展信源模型的求法(續(xù)一)求概率：

根據(jù)信源的無(wú)記憶特性，有

同理可得：

33第33頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月擴(kuò)展信源模型的求法(續(xù)二)（2）當(dāng)時(shí)，計(jì)算。有兩種求法。方法一：Bit/符號(hào)Bit/三元符號(hào)方法二：Bit/三元符號(hào)34第34頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月2.8離散有記憶信源的熵N階平穩(wěn)信源的聯(lián)合熵

bit/N長(zhǎng)符號(hào)串或

bit/符號(hào)一般離散有記憶信源的極限熵：考慮，

bit/符號(hào)進(jìn)一步推導(dǎo)可得出

35第35頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月如果是無(wú)記憶的，則有

于是

bit/符號(hào)36第36頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月2.10離散信源的信息（速）率和信息含量效率信息率

信息速率信息含量效率相對(duì)冗余度37第37頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

信息率用來(lái)衡量信源發(fā)出信息的能力。定義為平均一個(gè)符號(hào)所攜帶的信息量，即信源的實(shí)在信息，在數(shù)值上等于信源的極限熵。

bit/符號(hào)信息速率

信源單位時(shí)間內(nèi)發(fā)出的平均信息量。如果信源平均秒發(fā)出一個(gè)符號(hào)，則

bit/秒38第38頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

信息含量效率

定義為實(shí)際的實(shí)在信息與最大的實(shí)在信息之比。顯然當(dāng)且僅當(dāng)是DMS且等概率分布（）時(shí)，。39第39頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

相對(duì)冗余度表示信源含無(wú)效成份的程度。定義為當(dāng)然也有當(dāng)且僅當(dāng)，。對(duì)于DMS，只須把公式中的極限熵?fù)Q成普通熵即可。40第40頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月信源的信息含量效率：信源的相對(duì)冗余度：當(dāng)且僅當(dāng)信源是DMS且等概率分布（）時(shí)

例設(shè)DMS為。求信源的信息含量效率和相對(duì)冗余度。解：41第41頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月作業(yè):PP.2.6;2.10(1);2.11;42第42頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月2.11連續(xù)隨機(jī)變量下的熵和平均互信息量2.11.1連續(xù)隨機(jī)變量下的熵2.11.2連續(xù)隨機(jī)變量下的平均互信息量2.11.3微分熵的極大化問(wèn)題2.11.4連續(xù)信源的熵功率43第43頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月作業(yè)：P.502.62.1144第44頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月2.11.1連續(xù)隨機(jī)變量下的熵連續(xù)信源的數(shù)學(xué)模型連續(xù)隨機(jī)變量的微分熵45第45頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月連續(xù)信源

的數(shù)學(xué)模型是連續(xù)隨機(jī)變量，其取值集合是連續(xù)區(qū)間，概率密度函數(shù)是，連續(xù)信源的數(shù)學(xué)模型為：46第46頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月連續(xù)隨機(jī)變量的微分熵把連續(xù)熵看成離散熵的極限情況，將的值域等分為K個(gè)子區(qū)間：，，第k個(gè)子區(qū)間內(nèi)的概率為，這樣得到一個(gè)離散隨機(jī)變量，其概率空間為47第47頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月且概率空間是完備的：根據(jù)離散熵公式，有48第48頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月將區(qū)間無(wú)限細(xì)分，即，，對(duì)離散熵取極限即可得連續(xù)熵的實(shí)際值：第二項(xiàng)為無(wú)窮大，因此，連續(xù)熵為無(wú)窮大，失去意義。第一項(xiàng)表示連續(xù)熵的相對(duì)值，稱其為連續(xù)隨機(jī)變量的微分熵，記為。49第49頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月微分熵的更一般的定義式為微分熵就不當(dāng)作連續(xù)隨機(jī)變量的真正測(cè)度。在考慮熵的變化時(shí)，微分熵仍具相對(duì)意義。微分熵是去掉無(wú)窮大項(xiàng)后剩下的有限項(xiàng)，因此失去作為不確定性度量的某些重要性質(zhì)，如：不具備非負(fù)性，可能出現(xiàn)負(fù)值；在隨機(jī)變量的一一變換之下，微分熵可能改變。50第50頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月連續(xù)隨機(jī)變量和之間的平均互信息量51第51頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月平均互信息量與微分熵之間的關(guān)系即連續(xù)情況下的平均互信息量有實(shí)際的物理意義，仍具有互易性和非負(fù)性，即

52第52頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月求均勻分布的連續(xù)信源熵例2.3.153第53頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月2平均互信息量的物理解釋信源觀察過(guò)程

從中獲得的關(guān)于的信息＝的先驗(yàn)(平均)不確定性－的后驗(yàn)(平均)不確定性54第54頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月3公式推導(dǎo)?推導(dǎo):55第55頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月4平均互信息量的性質(zhì)（1）互易性:說(shuō)明:56第56頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月（2）非負(fù)性：注意：可正可負(fù)。條件熵不會(huì)大于無(wú)條件熵，增加條件只可能使不確定性減小，不會(huì)增大不確定性推廣：條件多的熵不會(huì)大于條件少的熵。即57第57頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月（3）有界性：簡(jiǎn)證：58第58頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月例均勻分布隨機(jī)變量的熵設(shè)連續(xù)隨機(jī)變量服從均勻分布，即概率密度函數(shù)為