信源的信息熵是概率分布Px課件

設(shè)離散信源X的概率空間為：信息熵是信源概率空間的一種特殊矩函數(shù)，這個函數(shù)的大小與信源的消息數(shù)及其概率分布有關(guān)。當(dāng)信源消息集的個數(shù)q給定時，信源的信息熵是概率分布P(x)的函數(shù),概率分布用概率矢量P來表示：2.3信息熵的基本性質(zhì)這樣，信息熵是概率矢量P或它的分量的元函數(shù)(各分量

滿足,所以獨立變量只有

元)。一般式可寫為：

是概率矢量P的函數(shù)，稱為熵函數(shù)2.3信息熵的基本性質(zhì)熵函數(shù)也是一種特殊的函數(shù)，它的函數(shù)形式為：它具有下列一些性質(zhì)。(1)對稱性：當(dāng)變量任意變換時，熵函數(shù)的值不變，即：2.3信息熵的基本性質(zhì)該性質(zhì)表明：熵只與隨機變量的總體結(jié)構(gòu)有關(guān)，即與信源的總體的統(tǒng)計特性有關(guān)。差別：信源X與Y同一消息的概率不同，X與Z的具體信息不同，但它們的信息熵相同，表示三個信源總的統(tǒng)計特性相同，它們的信息數(shù)和總體結(jié)構(gòu)是相同的。即：2.3信息熵的基本性質(zhì)如：(2)確定性：因為在概率矢量中，當(dāng)分量時有。而其余分量

該性質(zhì)說明：信源雖然有不同的輸出符號，但只有一個消息幾乎必然出現(xiàn)，而其它符號則是幾乎不可能出現(xiàn)，那么這個信源是確知信源，其熵等于零。2.3信息熵的基本性質(zhì)(3)非負(fù)性：該性質(zhì)是非常明顯的，因為隨機變量X的所有取值的概率分布滿足時，熵是正值的，只有當(dāng)隨機變量是確知量時，其熵等于零。這種非負(fù)性對于離散信源而言是正確的，但對于連續(xù)信源來說這一性質(zhì)就不一定存在。以后可以看到，在差熵的概念下，可能出現(xiàn)負(fù)值。2.3信息熵的基本性質(zhì)(4)擴展性因為：說明：信源的消息數(shù)增多時，若這些消息對應(yīng)的概率很小(接近于零)，則信源的熵不變。2.3信息熵的基本性質(zhì)(5)可加性：統(tǒng)計獨立信源X和Y的聯(lián)合信源的熵等于分別的熵之和。兩個隨機變量X和Y，相互獨立，X概率分布為： ,Y的概率分布為

。則：根據(jù)熵函數(shù)表達(dá)式有：2.3信息熵的基本性質(zhì)故：2.3信息熵的基本性質(zhì)可加性是熵函數(shù)的一個重要特性，正因為具有可加性，所以可以證明熵函數(shù)的形式是唯一的，不可能有其他的形式存在。(6)強可加性：兩個互相關(guān)聯(lián)的信源X和Y的聯(lián)合信源的熵等于信源X的熵加上信源X已知條件下信源Y的條件熵。設(shè)兩個隨機變量X和Y，互相關(guān)聯(lián)，X概率分布為：Y的概率分布為：其中：叫條件概率，來描述彼此的關(guān)聯(lián)。

叫聯(lián)合概率

2.3信息熵的基本性質(zhì)2.3信息熵的基本性質(zhì)

證明：

式中右邊第一項是信源

的熵。

第二項中

所以，熵函數(shù)

就是和的聯(lián)合信源的聯(lián)合熵

。2.3信息熵的基本性質(zhì)

它表示已知信源取值下，信源

選取一個值所提供的平均信息量。此量對

取統(tǒng)計平均值，表示在信源

輸出一個符號的條件下，信源再輸出一個符號所提供的信息量，記作,稱為條件熵。

因此，強可加性式可寫成：顯然，可加性是強可加性的特殊情況，當(dāng)信源和

統(tǒng)計獨立時，其滿足：2.3信息熵的基本性質(zhì)可得：(7)極值性此性質(zhì)表明：在離散信