第三章連續(xù)信源的信息熵

第三章連續(xù)信源的信息熵第一頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.連續(xù)信源的信息熵

§3.1

連續(xù)信源的離散化

(DiscretizationofContinuousSource)

我們前面所介紹的信源均指離散信源，即信源所發(fā)的消息都是由符號(hào)或符號(hào)序列所組成；而且每一個(gè)符號(hào)的取值都屬于一個(gè)有限元素組成的集合之中。而連續(xù)信源是指信源所發(fā)出的消息都是由一個(gè)個(gè)隨機(jī)過(guò)程(

stochasticprocess)所形成。如：語(yǔ)音信號(hào)它不僅幅度上，而且在時(shí)間上也都是連續(xù)的，即分別屬于一個(gè)無(wú)限的集合之中。

第二頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.1

連續(xù)信源的離散化

因此，我們所研究的問(wèn)題就復(fù)雜了，然而任何復(fù)雜的問(wèn)題都可以分解成比較簡(jiǎn)單的問(wèn)題分步解決。故通常我們有一些處理連續(xù)變量的方法。

TimediscretizationStochasticprocessRandomvectorRandomvariableMemorylessMarkovianAmplitudediscretizationAmplitudecontinuous正交變換OrthogonalTransformation所謂正交變換是一種數(shù)學(xué)處理手段，將在T時(shí)間內(nèi)的受限于最高頻率為F的隨機(jī)過(guò)程，無(wú)失真地變換成2FT個(gè)隨機(jī)變量。最理想的正交變換是：

K—Lexpansion。第三頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.1

連續(xù)信源的離散化

因此任何復(fù)雜的統(tǒng)計(jì)對(duì)象，經(jīng)多種處理后就可由淺入深地逐步解決問(wèn)題。正如我們?cè)陔x散信源中：

任何處理過(guò)程總要丟失信息，最多保持不變。所以簡(jiǎn)化處理就得付出代價(jià)即：容忍信息的丟失，除非正交變換和極限處理。消息事件隨機(jī)變量隨機(jī)序列隨機(jī)過(guò)程自信息信息熵序列熵的表達(dá)類型隨機(jī)過(guò)程的熵第四頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.連續(xù)信源的信息熵

§3.2

連續(xù)變量的相對(duì)熵(

ThedifferentialentropyofContinuousrandomVariable)

一個(gè)連續(xù)變量總可以采用數(shù)字量化的方式簡(jiǎn)化成一個(gè)離散變量來(lái)近似，而且量化單位越小則所得的離散變量就越接近那個(gè)連續(xù)變量。因此我們針對(duì)連續(xù)變量的概率統(tǒng)計(jì)規(guī)律——概率分布密度函數(shù)

(

probabilitydensityfunction)也可采用上述近似方法。Δ0ab第五頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.2

連續(xù)變量的相對(duì)熵

如果把x∈[a,b]的定義域劃分成n個(gè)小區(qū)間，且每個(gè)小區(qū)間寬度相等。那么處于第i個(gè)區(qū)間的概率就等于：0abΔ1第六頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.2

連續(xù)變量的相對(duì)熵

以上我們將一個(gè)連續(xù)變量的概率空間量化成一個(gè)離散空間，從而得到連續(xù)信源的近似信息熵。如果將此近似手段在取極限的方式下就可逼近這個(gè)連續(xù)變量的熵。

稱為相對(duì)熵Differentialentropy

稱為絕對(duì)熵absoluteentropy信息散度D(p//q)

(relativeentropy)第七頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.2

連續(xù)變量的相對(duì)熵

在取極限的過(guò)程中由于n→∞相當(dāng)于→0，此時(shí)這個(gè)離散變量越來(lái)越逼近一個(gè)連續(xù)變量；而離散集合中的信息熵Hn(X)就分解為兩項(xiàng)，其中一項(xiàng)與劃分精度無(wú)關(guān)，趨于一個(gè)常量——Hc(X)。而另一項(xiàng)，隨著→0最終趨于一個(gè)無(wú)窮大的量。很顯然這與取極限之前的離散熵差別很大，那么這種極限形式能否表達(dá)出信源平均不定度的概念嗎？

由于表達(dá)形式的不同，則它的物理意義也應(yīng)有所不同。所以我們不能以離散熵的概念來(lái)理解上述表達(dá)式，特別是當(dāng)某些離散熵的數(shù)學(xué)性質(zhì)不在繼續(xù)保持的情況下，如：非負(fù)性、對(duì)稱性、擴(kuò)展性等。但值得慶幸，上式中將熵函數(shù)中最能反映信源的固有屬性的數(shù)學(xué)性質(zhì)如可加性、極值性和上凸性仍舊依然保持著。因此有可能上述表達(dá)式的某些部分仍能代表連續(xù)信源的某些物理屬性。（但我們要深入討論離散向連續(xù)逼近時(shí)，物理屬性的變化。）第八頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.2

連續(xù)變量的相對(duì)熵

因?yàn)閷?duì)于一個(gè)連續(xù)變量，它的取值有無(wú)窮多個(gè)，無(wú)論它取任何值，其隨機(jī)事件所對(duì)應(yīng)的不定度一定是無(wú)窮大量。而對(duì)熵來(lái)說(shuō)，應(yīng)是這個(gè)隨機(jī)事件集合的平均值，既然每一個(gè)事件的自信息都是無(wú)窮大，則它的集合平均值也應(yīng)是無(wú)窮大才對(duì)。又因?yàn)閺慕^對(duì)的觀點(diǎn)來(lái)看，每一個(gè)連續(xù)信源的平均不定度都是無(wú)窮大，那么這個(gè)熵的價(jià)值也就無(wú)意義了。但是再仔細(xì)分析一下，上式中只有H()項(xiàng)才與劃分精度有關(guān),這說(shuō)明只有此項(xiàng)能反映人為地利用離散模式向連續(xù)型逼近的近似程度。換句話說(shuō)，這僅是強(qiáng)加上的人為因素，并不代表事物原有的客觀屬性。比如，對(duì)于同樣概率分布的隨機(jī)變量x，如果僅劃分精度不同時(shí)，可取1

，2代表兩種劃分精度，則我們所得到的熵的表達(dá)式：第九頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.2

連續(xù)變量的相對(duì)熵

為什么說(shuō)相對(duì)熵反映連續(xù)變量的客觀存在的平均不定度？首先一個(gè)隨機(jī)變量，當(dāng)它的概率分布一旦確定，則它的不定性就該給定，而不能隨劃分精度的變化而變化。第二，由于信息量的概念是不定度的解除量，如果在相同劃分精度下，再討論兩者之差時(shí),H()將會(huì)消失。所以我們可看到僅從Hc(X)上就可真正反映出信息的全部屬性(包括非負(fù)性)。因此，我們只要相對(duì)熵的定義就足夠了。同時(shí)我們也能給出兩個(gè)連續(xù)變量的互信息問(wèn)題：可見(jiàn)只有H()不同，因此我們說(shuō)：能真正反映連續(xù)信源的客觀屬性的應(yīng)該是第一項(xiàng)，而不是第二項(xiàng)。對(duì)于后者我們稱之為——絕對(duì)熵(absoluteentropy)

；而對(duì)于前者我們稱之為——相對(duì)熵(differentialentropy)

。第十頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.2

連續(xù)變量的相對(duì)熵第十一頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.2

連續(xù)變量的相對(duì)熵

可見(jiàn)當(dāng)兩個(gè)連續(xù)變量之間的互信息，實(shí)際上就是兩熵之差，經(jīng)絕對(duì)熵的相互抵消后，就剩下相對(duì)熵之差了。所以相對(duì)熵則完全反映出信息的基本屬性。所謂“相對(duì)”一詞也是由此而來(lái)。

注：相對(duì)熵的定義與離散信源的信息熵有著明顯的差別，即這種相對(duì)熵僅代表連續(xù)變量的相對(duì)平均不定度。同理，也有如下的相對(duì)熵的定義：第十二頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.連續(xù)信源的信息熵

§3.3

相對(duì)熵的性質(zhì)(

ThePropertiesofDifferentialEntropy)1°.可加性‖1第十三頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.3

相對(duì)熵的性質(zhì)第十四頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.3

相對(duì)熵的性質(zhì)2°.3°.4°.

有此上凸性，則導(dǎo)致相對(duì)熵有最大熵定理。5°.6°.第十五頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.連續(xù)信源的信息熵

§3.4

幾種常見(jiàn)隨機(jī)變量的相對(duì)熵(TheDifferentialEntropyofsomeRandomVariables)1°.

均勻分布下的相對(duì)熵:(TheDifferentialEntropyofRandomVariableandVectorwithUniformDistribution)第十六頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.4

幾種常見(jiàn)隨機(jī)變量的相對(duì)熵第十七頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.4

幾種常見(jiàn)隨機(jī)變量的相對(duì)熵2°.

高斯分布下的相對(duì)熵:(TheDifferentialEntropyofRandomVariableandVectorwithNormalDistribution)第十八頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.4

幾種常見(jiàn)隨機(jī)變量的相對(duì)熵

由此可見(jiàn)正態(tài)分布的相對(duì)熵僅與它的方差2有關(guān),而與它的均值m無(wú)關(guān)。這也是最簡(jiǎn)單的相對(duì)熵，是干擾最嚴(yán)重的隨機(jī)變量——高斯噪聲源的數(shù)學(xué)特性。高斯信源不僅因?yàn)槠鋽?shù)學(xué)描述簡(jiǎn)單，而且由于它的干擾最強(qiáng)，所以經(jīng)常用它來(lái)作我們通信系統(tǒng)中干擾源的數(shù)學(xué)模型。第十九頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.4

幾種常見(jiàn)隨機(jī)變量的相對(duì)熵

如果L維的正態(tài)隨機(jī)變量組成一個(gè)隨機(jī)矢量，設(shè)每一個(gè)變量的均值為mi,則如果能知道任何變量間的協(xié)方差；(covariance)我們就能唯一地確定這個(gè)隨機(jī)矢量。第二十頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.4

幾種常見(jiàn)隨機(jī)變量的相對(duì)熵按相對(duì)熵的定義就可推出L維正態(tài)矢量的相對(duì)熵：如果各個(gè)分量之間相互獨(dú)立，則[R]形成一對(duì)角線矩陣：第二十一頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.4

幾種常見(jiàn)隨機(jī)變量的相對(duì)熵例3—1.求二維正態(tài)矢量的相對(duì)熵和兩變量間的互信息。第二十二頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.4

幾種常見(jiàn)隨機(jī)變量的相對(duì)熵根據(jù)第二十三頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.4

幾種常見(jiàn)隨機(jī)變量的相對(duì)熵可見(jiàn)二維正態(tài)矢量的相對(duì)熵，等于兩個(gè)分量的相對(duì)熵之和與它們之間相關(guān)程度對(duì)熵的損失量之差?，F(xiàn)在進(jìn)一步分析I(X1;X2)的物理意義：第二十四頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.4

幾種常見(jiàn)隨機(jī)變量的相對(duì)熵

如果兩個(gè)分量一一對(duì)應(yīng)，則實(shí)際上是兩個(gè)變量變成一個(gè)變量了。此刻硬要將一個(gè)連續(xù)量看成兩個(gè)連續(xù)量，必然要引入一個(gè)無(wú)窮大量才對(duì)。所以此時(shí)的互信息就是無(wú)窮大量。還因?yàn)榛バ畔⒌亩x式為：可見(jiàn)互信息不僅是相對(duì)熵之差，而且也是連續(xù)熵之差。第二十五頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.連續(xù)信源的信息熵

§3.5

連續(xù)信源的最大熵定理(MaximumEntropyTheoremofContinuousSource)

在離散信源中也有最大熵問(wèn)題，目的就是希望設(shè)計(jì)信源時(shí)使它具備最大發(fā)送信息的能力。從熵函數(shù)的上凸性質(zhì)看，它已具備最大值的充要條件，我們所面臨的問(wèn)題就是如何把握最理想的概率分布。

顯然在離散信源中等概率將是最理性的條件，在工程設(shè)計(jì)中將遵循這一原則。

請(qǐng)看習(xí)題4.2:第二十六頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.5

連續(xù)信源的最大熵定理

以上是一種最簡(jiǎn)單的信號(hào)設(shè)計(jì)方案，但不是最優(yōu)方案，因?yàn)樗男什桓?。這是屬于定長(zhǎng)編碼

Fixed-lengthcode所以簡(jiǎn)單。第二十七頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.5

連續(xù)信源的最大熵定理

如果設(shè)信源發(fā)出了N個(gè)消息符號(hào)，則此刻信源發(fā)送“0”的概率是多少？如果我們按書(shū)中給出的代碼設(shè)計(jì)，則情況就不同了。第二十八頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.5

連續(xù)信源的最大熵定理這是一種變長(zhǎng)碼字：Variable-lengthCode利用算術(shù)平均法求出代碼熵和利用集合平均所求的代碼熵的結(jié)果比較：第二十九頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.5

連續(xù)信源的最大熵定理

當(dāng)然也可直接求出發(fā)“1”的概率以及相應(yīng)的條件概率：

這里用p(00)表示信源發(fā)出事件“00”的出現(xiàn)概率，我們可以看到，只有事件“u0u0”，“u1u0”，“u2u0”出現(xiàn)時(shí)，才有事件“00”出現(xiàn)的可能性。但是P(00)的概率可以這樣求嗎？？因?yàn)閡i和vn分別屬于不同的概率空間，統(tǒng)計(jì)概率或概率間的互換應(yīng)有一個(gè)參考點(diǎn)。同樣在統(tǒng)計(jì)時(shí)序列的排列順序也是應(yīng)要求一致，在一個(gè)公共的尺度下互換才為可行。第三十頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.5

連續(xù)信源的最大熵定理第三十一頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.5

連續(xù)信源的最大熵定理

如果考慮發(fā)碼順序是從右向左的方向←，也同樣能統(tǒng)計(jì)：第三十二頁(yè)，共六十四頁(yè)，編輯于2023年，星期四

在等概率的條件下，可使離散信源發(fā)送效率最大，這是最大熵定理在信號(hào)設(shè)計(jì)中的具體應(yīng)用。這也是我們討論連續(xù)信源的目的之一。第三十三頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.5

連續(xù)信源的最大熵定理

從相對(duì)熵的數(shù)學(xué)性質(zhì)中已證明它有最大值，但是如果不考慮約束條件，在求極大值是將有可能走向極端，即求出它的無(wú)窮大量。為此這與離散熵所不同，相對(duì)熵?fù)碛胁煌瑮l件下的最大熵。Ⅰ.TheMaximumEntropyTheorematLimitedPeakCondition

即限峰功率條件下的最大熵定理

所謂限峰條件：所以限峰是指信號(hào)的幅度不能任意大，應(yīng)屬于有限的范圍。第三十四頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.5

連續(xù)信源的最大熵定理上式表明：在限峰的條件下，只有連續(xù)變量x處于均勻分布下，才能使相對(duì)熵達(dá)到最大，這就是限峰條件的最大熵定理及其證明。第三十五頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.5

連續(xù)信源的最大熵定理約束條件改為平均功率(指信源的輸出功率)受限，這實(shí)際上在均值為零的信號(hào)x來(lái)說(shuō)，就是方差σ

2受限。即：Ⅱ.

TheMaximumEntropyTheorematLimited-in-mean

PowerCondition.即限平均功率條件下的最大熵定理：第三十六頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.5

連續(xù)信源的最大熵定理≤所以對(duì)于一維隨機(jī)變量而言，在方差受限下則相對(duì)熵在概率密度為正態(tài)分布時(shí)達(dá)到最大值。這就是為什么說(shuō)高斯噪聲源是干擾最嚴(yán)重的噪聲源。第三十七頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三十八頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.5

連續(xù)信源的最大熵定理

若X的取值為非負(fù)，且均值在限定為某一確定值，則X的分布函數(shù)為指數(shù)分布時(shí)達(dá)到最大。即：Ⅲ.TheMaximumEntropyTheorematLimitedMeanCondition

即均值受限條件下的最大熵定理第三十九頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.5

連續(xù)信源的最大熵定理＝1＝0第四十頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第四十一頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.5

連續(xù)信源的最大熵定理＝

所以在均值受限的條件下，概率密度為負(fù)指數(shù)分布時(shí)相對(duì)熵達(dá)到最大。第四十二頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.5

連續(xù)信源的最大熵定理解法二：Q.E.D第四十三頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.例題分析例3-2.

(習(xí)題4.18)

已知隨機(jī)變量x與y的聯(lián)合概率密度為：題解：因?yàn)橹挥卸S正態(tài)隨機(jī)矢量的聯(lián)合概率密度才具有上式各項(xiàng)，因此試比較：(參見(jiàn)概率論書(shū)中135頁(yè)公式)所以我們可以利用待定系數(shù)的數(shù)學(xué)方法避開(kāi)求積分的麻煩。第四十四頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.例題分析設(shè)待定系數(shù)方程組：再利用高斯變量的相對(duì)熵中只與其方差有關(guān)的特點(diǎn)得到：可根據(jù)二維正態(tài)熵的標(biāo)準(zhǔn)式，直接寫(xiě)出聯(lián)合熵(書(shū)中197頁(yè))：第四十五頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.例題分析當(dāng)然你也可以利用我們上面給出的多維正態(tài)熵的公式求出：第四十六頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.例題分析例題3-3.(習(xí)題4.17)

設(shè)隨機(jī)變量x的概率密度為:(注：這是語(yǔ)聲信號(hào)的數(shù)學(xué)模型)題解：因這是瑞利分布

TheReyleighProbabilitydensity:第四十七頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.例題分析第四十八頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.例題分析例題3-4.(習(xí)題4.19)

連續(xù)變量x和y有聯(lián)合概率密度為：∨Q.E.D.第四十九頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.例題分析題解：＝1xyR第五十頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.例題分析第五十一頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第五十二頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.例題分析=0第五十三頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.例題分析根據(jù)概率函數(shù)的對(duì)稱性，有：Q.E.D第五十四頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.連續(xù)信源的信息熵

§3.6

平穩(wěn)高斯隨機(jī)過(guò)程的信息熵與互信息

(

Theentropyandmutualinformationforthe

stationaryGaussian’sstochasticprocess)

當(dāng)連續(xù)信源所發(fā)出的消息都是由一個(gè)個(gè)隨機(jī)過(guò)程(

stochasticprocess)所形成。如：語(yǔ)音信號(hào)它不僅幅度上，而且在時(shí)間上也都是連續(xù)的，即分別屬于一個(gè)無(wú)限的集合之中。假定這些隨機(jī)過(guò)程均滿足平穩(wěn)性時(shí),則我們所研究的對(duì)象就成為：

平穩(wěn)隨機(jī)過(guò)程：從頻域上講我們將可用功率譜密度來(lái)描述這個(gè)隨機(jī)過(guò)程。從時(shí)域上我們可以由自相關(guān)函數(shù)來(lái)描述。第五十五頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.6平穩(wěn)高斯隨機(jī)過(guò)程的信息熵與互信息第五十六頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.6平穩(wěn)高斯隨機(jī)過(guò)程的信息熵與互信息結(jié)論Ⅰ：在平均功率受限的前提下：即平穩(wěn)的高斯隨機(jī)過(guò)程的熵最大，且為：第五十七頁(yè)，共六十四頁(yè)，編輯于2023年，星期四§3.6平穩(wěn)高斯隨機(jī)過(guò)程的信息熵與互信息結(jié)論Ⅱ：如果X(t)和Y(t)

都是平穩(wěn)的高斯隨機(jī)過(guò)程則：這兩個(gè)隨機(jī)過(guò)程間的互信息為：第五十八頁(yè)，共六十四頁(yè)，編輯于2023年，星期四第三章.連續(xù)信源的信息熵

§3.7

熵功率與熵功率不等式

(

TheentropypowerandEntropypowerinequality)

在§3.5節(jié)的最大熵定理中得知：當(dāng)一個(gè)連續(xù)隨機(jī)變量X

的平均功率受限時(shí)，則高斯信源的熵最大，若令其平均功率為：P＝x2則其熵為：

從上式我們可