連續(xù)信源的最大熵與最大熵條件

1、青島農(nóng)業(yè)大學(xué)本科生課程論文論文題 目 連續(xù)信源的最大熵與最大熵條件學(xué)生專業(yè)班級學(xué)生姓名（學(xué)號）指導(dǎo)教師吳慧完成時間2012-6-252012 年 6 月 25課 程論文 任務(wù)書學(xué)生姓名指導(dǎo)教師吳慧論文題目論文內(nèi)容（需明確列出研究的問題）：1簡述連續(xù)信源的基本概要。2定義了連續(xù)信源的差熵公式，分別介紹了滿足均勻分布和高 斯分布的兩種特殊信源。3推導(dǎo)了連續(xù)信源的最大熵值及最大熵條件。資料、數(shù)據(jù)、技術(shù)水平等方面的要求：1概率論的均勻分布、高斯分布的相關(guān)知識。2以及在這兩種分布下的連續(xù)信源和高斯信源。3在不同的約束條件下，求連續(xù)信源差熵的最大值一種是信源 的輸出值受限，另一種是信源的輸出平均功率受限。

2、4詹森不等式以及數(shù)學(xué)分析的定積分和反常積分、不定積分等 數(shù)學(xué)公式。發(fā)出任務(wù)書日期2012-6-6 完成論文日期 2012-6-25教研室意見（簽字）院長意見（簽字）連續(xù)信源的最大熵與最大熵條件信息與計算科學(xué)指導(dǎo)老師吳慧摘要：本文簡述了連續(xù)信源的基本概要并定義了連續(xù)信源的差熵公式，分別介紹 了滿足均勻分布和高斯分布的兩種特殊信源，推導(dǎo)了連續(xù)信源的最大熵值及最大 熵條件。關(guān)鍵詞：連續(xù)信源最大熵均勻分布高斯分布功率受限The maximum entropy and maximum entropy conditionof consecutive letter of the sourceInformat

3、ion and Computing SciencesBian jiangTutorWuhuiAbstract： : On the base of continuous source this eassy describes the basic outline and define differential entropy formula, introduced a uniform distribution and Gaussian distribution of the two special source, derivation of a continuous source of maxim

4、um entropy and maximum entropy conditions.Keyword: Continuous source Maximum entropy Uniform distribution Normal distribution Power is limited引言：科學(xué)技術(shù)的發(fā)展使人類跨入了高度發(fā)展的信息化時代。在政治、軍事、經(jīng) 濟等各個領(lǐng)域，信息的重要性不言而喻，有關(guān)信息理論的研究正越來越受到重視， 信息論方法也逐漸被廣泛應(yīng)用于各個領(lǐng)域。信息論一般指的是香農(nóng)信息論，主要 研究在信息可以度量的前提下如何有效地、可靠地、安全地傳遞信息，涉及消息 的信息量、消息的傳輸以及編

5、碼問題。1948年C.E.Shannon為解決通信工程中 不確定信息的編碼和傳輸問題創(chuàng)立信息論，提出信息的統(tǒng)計定義和信息熵、互信 息概念，解決了信息的不確定性度量問題，并在此基礎(chǔ)上對信息論的一系列理論 和方法進行了嚴格的推導(dǎo)和證明，使以信息論為基礎(chǔ)的通信工程獲得了巨大的發(fā) 展。信息論從它誕生的那時起就吸引了眾多領(lǐng)域?qū)W者的注意，他們競相應(yīng)用信息 論的概念和方法去理解和解決本領(lǐng)域中的問題。近年來，以不確定性信息為研究 對象的信息論理論和方法在眾多領(lǐng)域得到了廣泛應(yīng)用，并取得了許多重要的研究 成果。迄今為止，較為成熟的研究成果有：E.T.Jaynes在1957年提出的最大熵 原理的理論；S.K.Kul

6、lback在1959年首次提出后又為J.S.Shore等人在1980 年后發(fā)展了的鑒別信息及最小鑒別信息原理的理論；A.N.Kolmogorov在1956年 提出的關(guān)于信息量度定義的三種方法一一概率法，組合法，計算法； A.N.Kolmogorov在1968年闡明并為J.Chaitin在1987年系統(tǒng)發(fā)展了的關(guān)于算 法信息的理論。這些成果大大豐富了信息理論的概念、方法和應(yīng)用范圍。1連續(xù)信源及其差熵在通信系統(tǒng)中，所傳輸?shù)南⒖煞譃殡x散消息和連續(xù)消息。對離散信源而言， 它們輸?shù)南⑹菍儆跁r間離散、取值有限或可數(shù)的隨機序列，其統(tǒng)計特性可以用 聯(lián)合概率分布來描述。而實際信源的輸出常常時間、取值都連續(xù)的

7、消息。信源輸 出的消息是在時間上離散，而取值上連續(xù)的、隨機的，這種信源稱為連續(xù)信源。 例如遙控系統(tǒng)中有關(guān)電壓、溫度、壓力等測得的連續(xù)數(shù)據(jù)?；具B續(xù)信源的輸出是取值連續(xù)的單個隨機變量，即單符號的連續(xù)信源?；?本連續(xù)信源的數(shù)學(xué)模型為錯誤！未找到弓I用源。二錯誤！未找到引用源。(1-1)并滿足錯誤！未找到引用源。(1-2)或者 錯誤！未找到引用源。二錯誤！未找到引用源。(1-3)滿足 L P ( X )赤=1(1-4)-8連續(xù)信源的熵定義為H(x)二-錯誤！未找到引用源。連續(xù)信源的熵與離散信源的熵具有相同的形式，但其意義是不同的。對連 續(xù)信源而言，可以假設(shè)是一個不可數(shù)的無限多個幅度值的信源，需要無限

8、多二進 制位數(shù)(比特)來表示，因而連續(xù)信源的不確定性應(yīng)為無窮大。我們采用式1-4 來定義連續(xù)信源的熵，是因為實際問題中，常遇到的是熵的差值(如平均互信息 量)，這樣可使實際熵中的無窮大量得以抵消。因此，連續(xù)信源的熵具有相對性， 有時又稱為相對熵，或差熵。2兩種典型的連續(xù)信源現(xiàn)在來計算兩種常見的特殊連續(xù)信源的相對熵。2. 1均勻分布的連續(xù)信源一維連續(xù)隨機變量X在a,b區(qū)間內(nèi)均勻分布時，概率密度函數(shù)為錯誤！未指定書簽。錯誤！未指定書簽。P (X)=錯誤！未找到引用源。(2-1)則H (x)=錯誤！未找到引用源。(2-2)當(dāng)取對數(shù)以2為底時，單位為比特/自由度。N維連續(xù)平穩(wěn)信源，若其輸出N維矢量X=

9、(X1X2 .XN)其分量分別在 a1,b1a2,b2aN,bN的區(qū)問內(nèi)均勻分布，即N維聯(lián)合概率密度：P3)=錯誤！未找到引用源。(2-3)則稱為在N維區(qū)域體積內(nèi)均勻分布的連續(xù)平穩(wěn)信源。又 1-4可知，其滿足 p(x)=p(x1，x2,，xN)=錯誤！未找到引用源。(2-4)表明N維矢量x中各變量X.(i=1，N)彼此統(tǒng)計獨立，則此連續(xù)信源為 無記憶信源，可求得此N維連續(xù)信源的相對熵為H(x)=-錯誤！未找到引用源。=-錯誤！未找到引用源。dx1dx2.dxN=log錯誤！未找到引用源。=錯誤！未找到引用源?？梢?，N維區(qū)域體積內(nèi)均勻分布的連續(xù)信源的相對熵就是N維趨于體積內(nèi) 的對數(shù)。也等于各變量

10、X.在各自取值區(qū)間a.,b.均勻分布時的差熵H(X.)之和。2. 2高斯信源基本高斯信源是指信源輸出的一維連續(xù)性隨機變量x的概密度分布是正分 布，即P 3)=錯誤！未找到引用源。(2-5)式中，m是X的均值，Q是X的方差。這個連續(xù)信源的熵為H(x)=-錯誤！未找 到引用源。dx=-錯誤！未找到引用源o (-log錯誤！未找到引用源。)dx+錯誤！未找到引用 源。dxloge=log錯誤！未找到引用源。+1/2loge=12loge2錯誤！未找到引用源。e錯誤！未找到引用源。(2-6)式中，因為錯誤！未找到引用源。dx=1和錯誤！未找到引用源。dx=錯誤！未找 到引用源?？梢?，正態(tài)分步的連續(xù)信源

11、的熵與數(shù)學(xué)期望m無關(guān)，只與其方差錯 誤！未找到引用源。有關(guān)。如果N維連續(xù)平穩(wěn)信源輸出的N維連續(xù)隨機矢量 X=(X1X2 .XN)是正態(tài)分布，則稱此信源為N維高斯信源。若各隨機變量之間統(tǒng) 計獨立，可計算得N維統(tǒng)計獨立的正態(tài)分布隨機矢量的差熵為H(x)=N/2log2錯誤！未找到引用源。e(b jb 220.捋)心二錯誤！未找到引用源。(2-7)當(dāng)N=I即x為一維隨機變量時，式2-7就成為式2-6。這就是高斯信源的熵。3連續(xù)信源的最大熵在離散信源中，當(dāng)信源符號等概率分布時信源的熵取得最大值。在連續(xù)信源 中差熵也具有極大值，但其情況有所不同。除存在完備集條件錯誤！未找到引用 源。dx=1以外，還有其

12、他約束條件。當(dāng)各約束條件不同時，信源的最大差熵值 不同。一般情況，在不同的約束條件下，求連續(xù)信源差熵的最大值，就是在下述 若干約束條件下錯誤！未找到引用源。dx=1 錯誤！未找到引用源。dx=K1錯誤！未找到引用源。dx=K2求函數(shù)H(x)=-錯誤！未找到引用源。的極值。通常最感興趣的是兩種情況：一種 是信源的輸出值受限，另一種是信源的輸出平均功率受限。下面分別加以討論：3. 1峰值功率受限若信源輸出的幅度被限定在a，b區(qū)域內(nèi)，即p(x)故=1錯誤！未找到引用源。，則當(dāng)輸出信號的概率密度分布是均勻分布時，信源具有最大熵，其值 等于log(b-a)。其推導(dǎo)過程如下：設(shè)p(x)為均勻分布的概率密度

13、函數(shù) P(x)=錯誤！未找到引用源。，并滿足 p(x)dx = 1。而設(shè)q(x)為任意分布的概率密度函數(shù)，也有1 ：q(x)dx = 1， 則HX，q(x)-HX，p(x)=錯誤！未找到引用源。+錯誤！未找到引用源。=-錯誤！未找到引用源。-log(b-a)錯誤！未找到引用源。=-錯誤！未找到引用源。-log(b-a)錯誤！未找到引用源。=-錯誤！未找到引用源。+錯誤！未找到引用源。=錯誤！未找到引用源。Wlog錯誤！未找到引用源。=0其中運用了詹森不等式，因而有HX，q(x)作HX，p(x)(3-1)當(dāng)且僅當(dāng)q(x)=p(x)時，等式成立。這就是說，任何概率密度分布時的熵必小于均 勻分布時的

14、熵，即當(dāng)均勻分布時差熵達到最大值。若當(dāng)N維隨機矢最取值受限 時，也只有各隨機分量統(tǒng)計獨立，并均勻分布時具有最大熵。對于N維隨機矢 量的推倒可采用相同的方法。3. 2平均功率受限若一個信源輸出信號的平均功率被限定為P，則其輸出信號幅度的概率密度 分布是高斯分布時，信源有最大熵，其值為1/2log2錯誤！未找到引用源。ep。 現(xiàn)在被限制的條件是信源輸出的平均功率受限為P。對于均值為零的信號來說， 這條件就是其方差。2受限。一般均值不為零的一維隨機變量，就是在約束條件 錯 誤！ 未 找 到 引 用 源。 dx=1 (3-2)和m=錯誤！未找到引用源。dx， 錯誤！未找到引用源。dx錯誤！未找 到引用

15、源。(3-3)下，求信源差熵H(x)的極大值。而均值為零，平均功率受限的情況只是它的一個 特例。其推導(dǎo)過程如下：設(shè)q(x)為信源輸出的任意概率密度分布，因為其方差受限為。2,所以必滿足錯誤！未找到引用源。dx=1和b 2=錯誤！未找到引用源。dx。又設(shè)p(x)是方差為。2的正態(tài)概率密度分布，即有錯誤！未找到引用源。dx=1和b 2=錯誤！未找到引用源。dx可計算得H X，p(x)=錯誤！未找到引用源。=錯誤！未找到弓I用源。dx錯誤！未找到引用源。dx.loge=log錯誤！未找到引用源。+1/2loge=1/2log2錯誤！未找到引用源。錯誤！未找到引用源。=錯誤！未找到引用源。dx.log

16、e=12loge2錯誤！未找到引用源。所以得 H X, p(x)=-錯誤！未找到引用源。(3-4)而HX, q(x)-HX, p(x)=-錯誤！未找到引用源。=-錯誤！未找到引用源。Wlog錯誤！未找到引用源。=log1=0其中運用了詹森不等式，因而有HX, q(x)WHX, p(x)(3-5)當(dāng)且僅當(dāng)q(x)=p(x)時等式成立這一結(jié)論說明，當(dāng)連續(xù)信源輸出信號的平均功率受限時，只有信號的統(tǒng)計特 性與高斯噪聲的統(tǒng)計特性一致時，才會有最大的熵值。從直觀上看這是合理的， 因為噪聲是一個最不確定的隨機過程，而最大的信息量只能從最不確定的事件中 獲得。結(jié)論：最大熵原理指出，當(dāng)我們需要對一個隨機事件的概率分布進行預(yù)測時，我 們的預(yù)測應(yīng)當(dāng)滿足全部已知的條件，而對未知的情況不要做任何主觀假設(shè)。(不 做主觀假設(shè)這點很重要。)在這種情況下，概率分布最均勻，預(yù)測的風(fēng)險最小。 因為這時概率分布的信息熵最大，所以人們稱這種模型叫“最大熵模型”。同時 對最大熵原理提出的疑問主要有以下兩個：(1)關(guān)于最大熵原理所得解的客觀性 (2)如何理解被最大熵原理排除的其他滿足約束條件的解。參考文獻：【1】