信息論與編碼信息的度量_第1頁
信息論與編碼信息的度量_第2頁
信息論與編碼信息的度量_第3頁
信息論與編碼信息的度量_第4頁
信息論與編碼信息的度量_第5頁
已閱讀5頁,還剩60頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

信息論與編碼信息的度量第一頁,共六十五頁,2022年,8月28日12.5聯(lián)合熵和條件熵

聯(lián)合熵:聯(lián)合自信息量的統(tǒng)計平均。條件熵:條件自信息量的統(tǒng)計平均各類熵之間的關系:與各類自信息量之間的關系對應。第二頁,共六十五頁,2022年,8月28日21聯(lián)合熵設聯(lián)合概率空間為聯(lián)合符號的先驗不確定性稱為聯(lián)合自信息量:統(tǒng)計平均聯(lián)合熵熵的物理意義:信源的平均不確定性。第三頁,共六十五頁,2022年,8月28日32條件熵設聯(lián)合概率空間為條件自信息量:統(tǒng)計平均條件熵第四頁,共六十五頁,2022年,8月28日43各類熵之間的關系同理總之熵的強可加性推廣第五頁,共六十五頁,2022年,8月28日5各類熵之間的關系(續(xù))于是因此,熵之間的關系簡化:熵的可加性推廣:當與相互獨立,則統(tǒng)計獨立時,有第六頁,共六十五頁,2022年,8月28日6X01P2/31/3例已知某離散信源如下,且其符號轉移概率如右下所示,求H(X)、H(Y|X)和H(X,Y)第七頁,共六十五頁,2022年,8月28日7解:第八頁,共六十五頁,2022年,8月28日8另一方面:后驗概率可以求出:可以求出條件熵:同樣可以求出聯(lián)合熵:第九頁,共六十五頁,2022年,8月28日9例

已知一離散二維平穩(wěn)信源一維概率分布二維概率分布表2.2

ajai01201/41/18011/181/31/18201/187/36求兩種熵。

第十頁,共六十五頁,2022年,8月28日10解:(1)計算條件概率二維條件概率分布表2.3

ajai01209/111/8012/113/42/9201/87/9第十一頁,共六十五頁,2022年,8月28日11(2)

(3)另第十二頁,共六十五頁,2022年,8月28日122.6平均互信息量及其性質平均互信息量平均互信息量的基本性質第十三頁,共六十五頁,2022年,8月28日13

互信息量互信息量表示先驗的不確定性減去尚存的不確定性,這就是收信者獲得的信息量;互信息量可能為正數(shù)、負數(shù)、0;對于無干擾信道,I(xi;yj)=I(xi)xiyj信道p(xi):發(fā)送端發(fā)送xi的概率;P(xi|yj):接收端收到y(tǒng)j后,發(fā)送端發(fā)送xi的概率定義:第十四頁,共六十五頁,2022年,8月28日14為什么需要定義平均互信息量?互信息量是定量地研究信息流通問題的重要基礎。但它只能定量地描述輸入隨機變量發(fā)出某個具體消息,輸出變量出現(xiàn)某一個具體消息時,流經信道的信息量;此外還是隨和變化而變化的隨機變量?;バ畔⒘坎荒軓恼w上作為信道中信息流通的測度。這種測度應該是從整體的角度出發(fā),在平均意義上度量每通過一個符號流經信道的平均信息量。定義互信息量在聯(lián)合概率空間中的統(tǒng)計平均值為Y對X的平均互信息量,簡稱平均互信息,也稱平均交互信息量或交互熵。第十五頁,共六十五頁,2022年,8月28日15

平均互信息量:與之間的平均互信息量是統(tǒng)計平均意義下的先驗不確定性與后驗不確定性之差,也是互信息量的統(tǒng)計平均:第十六頁,共六十五頁,2022年,8月28日16

1.對稱性根據(jù)互信息量的對稱性,容易推得 I(X;Y)=I(Y;X) 說明從集合Y中獲取X的信息量,等于從集合X中獲取Y的信息量。

第十七頁,共六十五頁,2022年,8月28日17

2.與各種熵的關系I(X;Y)=H(X)–H(X|Y) I(Y;X)=H(Y)–H(Y|X) I(X;Y)=H(X)+H(Y)–H(XY) H(XY)為X集合和Y集合的共熵,或稱聯(lián)合熵。共熵應該是聯(lián)合符號集合XY上的每個元素對xy的自信息量的概率加權統(tǒng)計平均值。第十八頁,共六十五頁,2022年,8月28日18I(X;Y)=H(X)+H(Y)–H(XY)根據(jù)各種熵的定義,從該式可以清楚看出平均互信息量是一個表征信息流通的量其物理意義就是信源端的信息通過信道后傳輸?shù)叫潘薅说钠骄畔⒘?。第十九頁,共六十五頁?022年,8月28日193有界性各種熵以及平均互信息量之間的關系可用以下文氏圖表示。

熵、平均互信息量關系圖第二十頁,共六十五頁,2022年,8月28日20例

已知信源空間 信道特性如圖所示,求在該信道上傳輸?shù)钠骄バ畔⒘縄(X;Y)。

圖信道特性第二十一頁,共六十五頁,2022年,8月28日21解(1)根據(jù)P(xiyj)=P(xi)P(yj

|xi),求各聯(lián)合概率,得 P(x1y1)=P(x1)P(y1|x1)=0.5×0.98=0.49 P(x1y2)=P(x1)P(y2|x1)=0.5×0.02=0.01 P(x2y1)=P(x2)P(y1|x2)=0.5×0.20=0.10 P(x2y2)=P(x2)P(y2|x2)=0.5×0.80=0.40(2)根據(jù),求Y集合中各符號的概率,得 P(y1)=P(x1)P(y1|x1)+P(x2)P(y1|x2)=0.5×0.98+0.5×0.2=0.59 P(y2)=1–0.59=0.41第二十二頁,共六十五頁,2022年,8月28日22(3)根據(jù)P(xi|yj)=P(xiyj)/P(yj),求各后驗概率,得 P(x1|y1)=P(x1y1)/P(y1)=0.49/0.59=0.831 P(x2|y1)=P(x2y1)/P(y1)=0.10/0.59=0.169 P(x1|y2)=P(x1y2)/P(y2)=0.01/0.41=0.024

P(x2|y2)=P(x2y2)/P(y2)=0.40/0.41=0.976第二十三頁,共六十五頁,2022年,8月28日23(4)求熵,有I(X;Y)=H(X)+H(Y)–H(XY)=1+0.98-1.43=0.55比特/信符第二十四頁,共六十五頁,2022年,8月28日242.7離散無記憶信源的擴展DMSDMSDMS研究信源輸出的單個符號的統(tǒng)計特性研究信源輸出的符號串的統(tǒng)計特性單符號信源的次擴展信源多符號信源??第二十五頁,共六十五頁,2022年,8月28日25輸出的消息序列中各符號之間無相互依賴關系的信源。亦稱為單符號離散平穩(wěn)無記憶信源的擴展信源。序列長度就是擴展次數(shù)。單符號信源{0,1}經過擴展,變成了:{00,01,10,11}例2.2.1第二十六頁,共六十五頁,2022年,8月28日26第二十七頁,共六十五頁,2022年,8月28日27

N次擴展信源:離散無記憶信源,考慮任意N個相鄰時刻的輸出隨機變量把看成是一個新的離散無記憶信源的輸出,稱為的N次擴展信源。擴展信源的熵:

bit/N元符號第二十八頁,共六十五頁,2022年,8月28日28擴展信源的熵DMSDMS?因為是DMS,故獨立同分布,所以第二十九頁,共六十五頁,2022年,8月28日29單符號信源如下,求二次擴展信源熵擴展信源:例第三十頁,共六十五頁,2022年,8月28日30第三十一頁,共六十五頁,2022年,8月28日31擴展信源模型的求法例設有離散無記憶信源。(1)求和;(2)當時,計算。解(1)求2次和3次擴展信源的符號表:第三十二頁,共六十五頁,2022年,8月28日32擴展信源模型的求法(續(xù)一)求概率:

根據(jù)信源的無記憶特性,有

同理可得:

第三十三頁,共六十五頁,2022年,8月28日33擴展信源模型的求法(續(xù)二)(2)當時,計算。有兩種求法。方法一:Bit/符號Bit/三元符號方法二:Bit/三元符號第三十四頁,共六十五頁,2022年,8月28日342.8離散有記憶信源的熵N階平穩(wěn)信源的聯(lián)合熵

bit/N長符號串或

bit/符號一般離散有記憶信源的極限熵:考慮,

bit/符號進一步推導可得出

第三十五頁,共六十五頁,2022年,8月28日35如果是無記憶的,則有

于是

bit/符號第三十六頁,共六十五頁,2022年,8月28日362.10離散信源的信息(速)率和信息含量效率信息率

信息速率信息含量效率相對冗余度第三十七頁,共六十五頁,2022年,8月28日37

信息率用來衡量信源發(fā)出信息的能力。定義為平均一個符號所攜帶的信息量,即信源的實在信息,在數(shù)值上等于信源的極限熵。

bit/符號信息速率

信源單位時間內發(fā)出的平均信息量。如果信源平均秒發(fā)出一個符號,則

bit/秒第三十八頁,共六十五頁,2022年,8月28日38

信息含量效率

定義為實際的實在信息與最大的實在信息之比。顯然當且僅當是DMS且等概率分布()時,。第三十九頁,共六十五頁,2022年,8月28日39

相對冗余度表示信源含無效成份的程度。定義為當然也有當且僅當,。對于DMS,只須把公式中的極限熵換成普通熵即可。第四十頁,共六十五頁,2022年,8月28日40信源的信息含量效率:信源的相對冗余度:當且僅當信源是DMS且等概率分布()時

例設DMS為。求信源的信息含量效率和相對冗余度。解:第四十一頁,共六十五頁,2022年,8月28日41作業(yè):PP.2.6;2.10(1);2.11;第四十二頁,共六十五頁,2022年,8月28日422.11連續(xù)隨機變量下的熵和平均互信息量2.11.1連續(xù)隨機變量下的熵2.11.2連續(xù)隨機變量下的平均互信息量2.11.3微分熵的極大化問題2.11.4連續(xù)信源的熵功率第四十三頁,共六十五頁,2022年,8月28日43作業(yè):P.502.62.11第四十四頁,共六十五頁,2022年,8月28日442.11.1連續(xù)隨機變量下的熵連續(xù)信源的數(shù)學模型連續(xù)隨機變量的微分熵第四十五頁,共六十五頁,2022年,8月28日45連續(xù)信源

的數(shù)學模型是連續(xù)隨機變量,其取值集合是連續(xù)區(qū)間,概率密度函數(shù)是,連續(xù)信源的數(shù)學模型為:第四十六頁,共六十五頁,2022年,8月28日46連續(xù)隨機變量的微分熵把連續(xù)熵看成離散熵的極限情況,將的值域等分為K個子區(qū)間:,,第k個子區(qū)間內的概率為,這樣得到一個離散隨機變量,其概率空間為第四十七頁,共六十五頁,2022年,8月28日47且概率空間是完備的:根據(jù)離散熵公式,有第四十八頁,共六十五頁,2022年,8月28日48將區(qū)間無限細分,即,,對離散熵取極限即可得連續(xù)熵的實際值:第二項為無窮大,因此,連續(xù)熵為無窮大,失去意義。第一項表示連續(xù)熵的相對值,稱其為連續(xù)隨機變量的微分熵,記為。第四十九頁,共六十五頁,2022年,8月28日49微分熵的更一般的定義式為微分熵就不當作連續(xù)隨機變量的真正測度。在考慮熵的變化時,微分熵仍具相對意義。微分熵是去掉無窮大項后剩下的有限項,因此失去作為不確定性度量的某些重要性質,如:不具備非負性,可能出現(xiàn)負值;在隨機變量的一一變換之下,微分熵可能改變。第五十頁,共六十五頁,2022年,8月28日50連續(xù)隨機變量和之間的平均互信息量第五十一頁,共六十五頁,2022年,8月28日51平均互信息量與微分熵之間的關系即連續(xù)情況下的平均互信息量有實際的物理意義,仍具有互易性和非負性,即

第五十二頁,共六十五頁,2022年,8月28日52求均勻分布的連續(xù)信源熵第五十三頁,共六十五頁,2022年,8月28日532平均互信息量的物理解釋信源觀察過程

從中獲得的關于的信息=的先驗(平均)不確定性-的后驗(平均)不確定性第五十四頁,共六十五頁,2022年,8月28日543公式推導?推導:第五十五頁,共六十五頁,2022年,8月28日554平均互信息量的性質(1)互易性:說明:第五十六頁,共六十五頁,2022年,8月28日56(2)非負性:注意:可正可負。條件熵不會大于無條件熵,增加條件只可能使不確定性減小,不會增大不確定性推廣:條件多的熵不會大于條件少的熵。即第五十七頁,共六十五頁,2022年,8月28日57(3)有界性:簡證:第五十八頁,共六十五頁,2022年,8月28日58例均勻分布隨機變量的熵設連續(xù)隨機變量服從均勻分布,即概率密度函數(shù)為:

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論