Ch2例題與證明四

1、u 連續(xù)信源的熵與互信息在通信中模擬信號(hào)比如語音、圖像未數(shù)字化以前均屬于連續(xù)信源。它在概念上與離散信源是不同的，但也有不少類似之處。對(duì)連續(xù)信源的分析，也可以類似于離散信源從單個(gè)連續(xù)消息（變量）開始，在推廣至連續(xù)消息序列。對(duì)于連續(xù)隨機(jī)變量可采用概率密度來描述；對(duì)連續(xù)隨機(jī)序列可采用相應(yīng)的序列概率密度來描述；而對(duì)于連續(xù)的隨機(jī)過程一般也可以按照取樣定理分解為連續(xù)隨機(jī)變量序列來描述。一 單個(gè)連續(xù)消息的隨機(jī)變量信源連續(xù)隨機(jī)變量可以看作是離散隨機(jī)變量的極限，故可采用離散隨機(jī)變量來逼近。下面，將采用這一觀點(diǎn)討論連續(xù)信源的信息熵與信息量。首先類比概率pi與概率密度p(u)：?jiǎn)巫兞窟B續(xù)信源的數(shù)學(xué)模型：令ua,b，

2、且a<b,現(xiàn)將它均勻的劃分為n份，每份寬度為，則u處于第i個(gè)區(qū)間的概率為pi，則pi= (中值定理)即當(dāng)p(u)為u的連續(xù)函數(shù)時(shí)，由中值定理，必存在一個(gè)ui值，使上式成立。再按照離散信源的信息熵的定義有：Hn(u)= = = =于是我們定義前一項(xiàng)取有限值的項(xiàng)為連續(xù)信源的信息熵，并記為Hc(U).即：Hc(U)= 也可記為：Hc(U)= 其中R1表示實(shí)軸。注意：Hc(U)是連續(xù)信源的熵，而不是連續(xù)信源輸出的信息量，而連續(xù)信源輸出的信息量是Hn(U).這就是說，在離散信源中信源輸出信息量就是信源熵，兩者是一個(gè)概念；但是在連續(xù)信源中則是兩個(gè)概念，且不相等。連續(xù)信源輸出信息量Hn(U)是一個(gè)絕對(duì)

3、值，它取值于，而連續(xù)信源的熵Hc(U)則是一個(gè)相對(duì)值，且取值是有限的。連續(xù)信源的熵Hc(U)是一個(gè)過渡性的概念，它雖然也具有可加性，但不一定滿足非負(fù)性，它可以不具有信息的全部特征。比如，對(duì)一個(gè)均勻分布的連續(xù)信源，按照定義，有顯然，當(dāng)時(shí)，Hc(U)<0,這說明它不具備非負(fù)性。但是連續(xù)信源輸出的信息量由于有一個(gè)無限大量的存在，Hn(U)仍大于。這里，我們?nèi)詫c(U)定義為連續(xù)信源的熵，理由有二：一是由于它在形式上于離散熵相似：離散熵：H(U)=連續(xù)熵：Hc(U)=另一個(gè)更重要的原因是在于實(shí)際處理問題時(shí)，比如互信息、信道容量、信息率失真函數(shù)等可涉及到的僅是熵的差值，即互信息。這時(shí)，只要相差的

4、兩個(gè)連續(xù)熵在逼近時(shí)可取的是一致的，兩個(gè)同樣的無限大的尾巴就可以互相抵消?？梢?，Hc(U)是具有相對(duì)性，它是為了引入互信息等重要概念而引入的一個(gè)過渡性的概念。同理，還可進(jìn)一步定義如下連續(xù)隨機(jī)變量的熵：條件熵與聯(lián)合熵：且有：u 幾種特殊連續(xù)信源的熵1.均勻分布的連續(xù)信源的熵一維連續(xù)隨機(jī)變量X在a,b區(qū)間內(nèi)均勻分布時(shí)，已求得其熵為若N維矢量中各分量彼此統(tǒng)計(jì)獨(dú)立，且分別在的區(qū)域內(nèi)均勻分布，即有 可以證明，N維均勻分布連續(xù)信源的熵為 可見，N維統(tǒng)計(jì)獨(dú)立均勻分布連續(xù)信源的熵是N維區(qū)域體積的對(duì)數(shù)，其大小僅與各維區(qū)域的邊界有關(guān)。這是信源熵總體特性的體現(xiàn)，因?yàn)楦骶S區(qū)域的邊界決定了概率密度函數(shù)的總體形狀。根據(jù)對(duì)數(shù)

5、的性質(zhì)，還可寫成 說明連續(xù)隨機(jī)矢量中各分量相互統(tǒng)計(jì)獨(dú)立時(shí)，其矢量熵就等于各單個(gè)隨機(jī)變量的熵之和。這與離散信源的情況類似。2 高斯分布的連續(xù)信源的熵設(shè)一維隨機(jī)變量X的取值范圍是整個(gè)實(shí)數(shù)軸R，概率密度函數(shù)呈正態(tài)分布，即 其中m是X的均值 是X的方差 當(dāng)均值m=0時(shí)，X的方差就是隨機(jī)變量的平均功率 由這樣的隨機(jī)變量X所代表的連續(xù)信源，稱為高斯分布的連續(xù)信源。這個(gè)連續(xù)信源的熵為因?yàn)?所以 上式說明高斯連續(xù)信源的熵與數(shù)學(xué)期望m無關(guān)，只與方差有關(guān)。 在介紹離散信源熵時(shí)我們就講過，熵描述的是信源的整體特性。由高斯函數(shù)的曲線可見，當(dāng)均值m發(fā)生變化時(shí)，只是p(x)的對(duì)稱中心在橫軸上發(fā)生平移，曲線的形狀沒有任何變

6、化。也就是說，數(shù)學(xué)期望m 對(duì)高斯信源的總體特性沒有任何影響。但是，若X的方差不同，曲線的形狀隨之改變。所以，高斯連續(xù)信源的熵與方差有關(guān)而與數(shù)學(xué)期望無關(guān)。這是信源熵的總體特性的再度體現(xiàn)。3 指數(shù)分布連續(xù)信源的熵若一隨機(jī)變量X的取值區(qū)間是，其概率密度函數(shù)為 則稱X代表的單變量連續(xù)信源為指數(shù)分布的連續(xù)信源。其中常數(shù)m是隨機(jī)變量X的數(shù)學(xué)期望 指數(shù)分布的連續(xù)信源的熵為 由 有 其中 上式說明，指數(shù)分布的連續(xù)信源的熵只取決與均值。這一點(diǎn)很容易理解，因?yàn)橹笖?shù)分布函數(shù)的均值，決定函數(shù)的總體特性。u 連續(xù)熵的性質(zhì)1連續(xù)熵可為負(fù)值2可加性連續(xù)信源也有與離散信源類似的可加性。即 (1) (2)下面我們證明式(1)。

7、其中， 同理，可證明式(2)。連續(xù)信源熵的可加性可以推廣到N個(gè)變量的情況。即 3 平均互信息的非負(fù)性定義連續(xù)信源的無條件熵和條件熵之差為連續(xù)信源的平均互信息。記為，即有 連續(xù)信源的平均互信息仍保留了非負(fù)性。即證明條件熵小于等于無條件熵。即 （3） （4）現(xiàn)在我們證明式（3）:由可得根據(jù)對(duì)數(shù)變換關(guān)系和著名不等式 并注意到 故有 令，只要不恒為0，則=1-1=0即 其中 由式(3)得 (5)同理可得 (6)容易證明，連續(xù)信源的平均互信息也滿足對(duì)稱性。即 (7)另外，連續(xù)信源還滿足數(shù)據(jù)處理定理。換句話說，把連續(xù)隨機(jī)變量Y處理成另一隨機(jī)變量Z時(shí)，一般也會(huì)丟失信息。即 （8）u 最大連續(xù)熵定理(1)限峰

8、值功率的最大熵定理若代表信源的N維隨機(jī)變量的取值被限制在一定的范圍之內(nèi)，則在有限的定義域內(nèi)，均勻分布的連續(xù)信源具有最大熵。設(shè)N維隨機(jī)變量 其均勻分布的概率密度函數(shù)為除均勻分布以外的其他任意概率密度函數(shù)記為，并用和分別表示均勻分布和任意非均勻分布連續(xù)信源的熵。在的條件下有令運(yùn)用著名不等式 則則證明了，在定義域有限的條件下，以均勻分布的熵為最大。 在實(shí)際問題中，隨機(jī)變量的取值限制在之間，峰值為。如果把取值看作是輸出信號(hào)的幅度，則相應(yīng)的峰值功率就是。所以上述定理被稱為峰值功率受限條件下的最大連續(xù)熵定理。此時(shí)最大熵值為：(2)限平均功率的最大熵定理若信源輸出信號(hào)的平均功率P和均值m被限定，則其輸出信號(hào)

9、幅度的概率密度函數(shù)為高斯分布時(shí)，信源具有最大熵值。 單變量連續(xù)信源X呈高斯分布時(shí)，PDF當(dāng)X是高斯分布以外的其它任意分布時(shí) ，PDF記為,由約束條件已知由于隨機(jī)變量的方差當(dāng)均值m為0時(shí)，平均功率就等于方差，可見對(duì)平均功率和均值的限制就等于對(duì)方差的限制。用和分別表示高斯分布和任意非高斯分布連續(xù)信源的熵 由前面的討論已知總結(jié)：在上兩種情況下，信源的統(tǒng)計(jì)特性與兩種常見噪聲均勻噪聲和高斯噪聲的統(tǒng)計(jì)特性相一致。（3）均值受限條件下的最大連續(xù)熵定理若連續(xù)信源X輸出非負(fù)信號(hào)的均值受限，則其輸出信號(hào)幅度呈指數(shù)分布時(shí)，連續(xù)信源X具有最大熵值。 連續(xù)信源X為指數(shù)分布時(shí)PDF為用和分別表示指數(shù)分布和任意非指數(shù)分布連續(xù)信源的熵。記限制條件為：,任意其它分布的信源熵為 總結(jié)：連續(xù)信源與離散信源不同，它不存在絕對(duì)的最大熵。其最大熵與信源的限制條件有關(guān)，在不同的限制條件下，有不同的最大連續(xù)熵值。u 熵功率 設(shè)連續(xù)信源X在PDF為時(shí)達(dá)到最大熵值,除此之外的其它任何PDF達(dá)到的熵值為,兩熵之差即表示信源的剩余,記為，也叫信息變差(或信源的冗余)。即信源從一種PDF轉(zhuǎn)到另一種PDF時(shí)，信源所含信息量發(fā)生的變化。從信息變差的概念出發(fā)，連續(xù)信源的熵可理解為最大熵與信息變差之間的差值。討論均值為零、平均功率限定為P的連續(xù)信