PPT信息論與編碼-第2章 離散信源

第二章離散信源及其信息測(cè)度引言從有效而可靠地傳輸信息的觀點(diǎn)出發(fā)，對(duì)組成信息傳輸系統(tǒng)的各個(gè)部分分別進(jìn)行討論。本章首先討論信源，重點(diǎn)是信源的統(tǒng)計(jì)特性和數(shù)學(xué)模型，以及各類離散信源的信息測(cè)度—熵及其性質(zhì)，從而引入信息理論的一些基本概念和重要結(jié)論?！戕r(nóng)信息論的基礎(chǔ)。2/4/202313（-10:55），4（-11:50）信源的主要問(wèn)題：1．如何描述信源（信源的數(shù)學(xué)建模問(wèn)題）2．怎樣計(jì)算信源所含的信息量

3．怎樣有效的表示信源輸出的消息，也就是信源編碼問(wèn)題2/4/202323（-10:55），4（-11:50）第二章離散信源及其信息測(cè)度2.1信源的數(shù)學(xué)模型及分類2.2離散信源的信息熵2.3熵的基本性質(zhì)2.4加權(quán)熵及其性質(zhì)2.5離散無(wú)記憶的擴(kuò)展信源2.6離散平穩(wěn)信源2.7信源的相關(guān)性和剩余度2/4/202333（-10:55），4（-11:50）2.1信源的數(shù)學(xué)模型及分類研究對(duì)象:通過(guò)消息(信息載荷者)研究信源;研究范圍:不研究信源的內(nèi)部結(jié)構(gòu)、產(chǎn)生消息原因和方法;研究信源輸出可能消息的數(shù)目和不確定性;描述方法:用一個(gè)樣本空間X及其概率測(cè)度P——概率空間[X,P]描述信源;2/4/202343（-10:55），4（-11:50）2.1信源的數(shù)學(xué)模型及分類分類方法:根據(jù)消息的不同隨機(jī)性質(zhì)進(jìn)行分類;隨機(jī)變量隨機(jī)矢量信源可能輸出的消息數(shù):離散信源連續(xù)信源.2/4/202353（-10:55），4（-11:50）2.1

信源的分類及其數(shù)學(xué)模型信源的分類由多種方法，我們常根據(jù)信源輸出的消息在時(shí)間和取值上是離散或連續(xù)進(jìn)行分類：

時(shí)間（空間)取值信源種類舉例數(shù)學(xué)描述離散離散離散信源（數(shù)字信源）文字、數(shù)據(jù)、離散化圖象

離散隨機(jī)變量序列

離散連續(xù)連續(xù)信號(hào)跳遠(yuǎn)比賽的結(jié)果、語(yǔ)音信號(hào)抽樣以后

連續(xù)隨機(jī)變量序列

連續(xù)連續(xù)波形信源（模擬信源）

語(yǔ)音、音樂(lè)、熱噪聲、圖形、圖象

隨機(jī)過(guò)程

連續(xù)離散不常見表3.1信源的分類2/4/202363（-10:55），4（-11:50）我們還可以根據(jù)各維隨機(jī)變量的概率分布是否隨時(shí)間的推移而變化將信源分為平穩(wěn)信源和非平穩(wěn)信源，根據(jù)隨機(jī)變量間是否統(tǒng)計(jì)獨(dú)立將信源分為有記憶信源和無(wú)記憶信源。一個(gè)實(shí)際信源的統(tǒng)計(jì)特性往往是相當(dāng)復(fù)雜的，要想找到精確的數(shù)學(xué)模型很困難。實(shí)際應(yīng)用時(shí)常常用一些可以處理的數(shù)學(xué)模型來(lái)近似。隨機(jī)序列，特別是離散平穩(wěn)隨機(jī)序列是我們研究的主要內(nèi)容。隨機(jī)序列2/4/202373（-10:55），4（-11:50）2.1.1離散信源離散信源信源輸出是離散的消息符號(hào)形式,如書信的文字、計(jì)算機(jī)的代碼;可能輸出的消息數(shù)是有限的或可數(shù)無(wú)窮的;每次輸出只是其中一個(gè)消息符號(hào)。數(shù)學(xué)模型：離散型的概率空間,即骰子2/4/202383（-10:55），4（-11:50）2.1.2連續(xù)信源連續(xù)信源可能出現(xiàn)的消息數(shù)是不可數(shù)的無(wú)限值;輸出消息的取值是連續(xù)的,如語(yǔ)音信號(hào)、電壓、溫度等,或取值是實(shí)數(shù)集R(-∞,∞);數(shù)學(xué)模型:

連續(xù)型的概率空間,如下:2/4/202393（-10:55），4（-11:50）2.1.2連續(xù)信源在實(shí)際問(wèn)題中，連續(xù)的模擬信源往往可以采用兩種方法進(jìn)行分析。一類是將連續(xù)信源離散化為隨機(jī)序列信源，再采用前面的隨機(jī)序列信源進(jìn)行分析；另一類則是直接分析連續(xù)模擬信源，但是由于數(shù)學(xué)上的困難，只能分析單個(gè)連續(xù)消息變量的信源。2/4/2023103（-10:55），4（-11:50）2.1.3離散矢量信源（一）1離散矢量信源信源輸出的消息由一系列符號(hào)所組成的.數(shù)學(xué)模型:N重離散概率空間,如下:

共有元素qN個(gè).其中N維隨機(jī)矢量(隨機(jī)序列)

中每個(gè)隨機(jī)變量Xi都是離散的,其取值2/4/2023113（-10:55），4（-11:50）2.1.3離散矢量信源（二）2離散無(wú)記憶信源信源先后發(fā)出的符號(hào)彼此統(tǒng)計(jì)獨(dú)立,且具有相同的概率分布。數(shù)學(xué)模型：N維隨機(jī)矢量的聯(lián)合概率分布滿足3有記憶信源信源先后發(fā)出的符號(hào)是互相依賴的,如中文序列;需要引入條件概率分布說(shuō)明它們之間的關(guān)聯(lián)性;實(shí)際上信源發(fā)出符號(hào)只與前若干個(gè)符號(hào)(記憶長(zhǎng)度)有較強(qiáng)的依賴關(guān)系.2/4/2023123（-10:55），4（-11:50）2.1.3離散矢量信源（三）4m階馬爾可夫信源記憶長(zhǎng)度為m+1的有記憶信源;可用馬爾可夫鏈描述信源符號(hào)之間依賴關(guān)系,即5隨機(jī)波形信源信源輸出是時(shí)間連續(xù)函數(shù),且取值是連續(xù)和隨機(jī)的.如語(yǔ)音信號(hào)X(t)、電視圖像X(x0,y0,t)等.對(duì)于這種信源輸出的消息,可用隨機(jī)過(guò)程來(lái)描述;6混合信源信源輸出既含有連續(xù)分量,又含有離散分量;2/4/2023133（-10:55），4（-11:50）第二章離散信源2.1信源的數(shù)學(xué)模型及分類2.2離散信源的信息熵2.3熵的基本性質(zhì)2.4加權(quán)熵及其性質(zhì)2.5離散無(wú)記憶的擴(kuò)展信源2.6離散平穩(wěn)信源2.7信源的相關(guān)性和剩余度2/4/2023143（-10:55），4（-11:50）2.2離散信源的信息熵2.2.1自信息獲得信息量的大小,是與不確定性消除的多少有關(guān).舉例,如圖2.1圖2.28個(gè)燈泡串聯(lián)示意圖第一次測(cè)量獲得的信息量第二次測(cè)量獲得的信息量第三次測(cè)量獲得的信息量2/4/2023153（-10:55），4（-11:50）2.2離散信源的信息熵2.2.1自信息1信息量大小，是與不確定性消除的多少有關(guān);2信息量的直觀定義：含噪無(wú)噪

2/4/2023163（-10:55），4（-11:50）2.2.1自信息3數(shù)學(xué)表達(dá)式事件發(fā)生所含的信息量是事件發(fā)生先驗(yàn)概率的函數(shù);根據(jù)客觀事實(shí)和人們的習(xí)慣概念，該函數(shù)應(yīng)滿足:與輸出符號(hào)發(fā)生的概率有關(guān);先驗(yàn)概率的單調(diào)遞減函數(shù)極限關(guān)系:兩個(gè)獨(dú)立事件的聯(lián)合信息量應(yīng)等于它們分別信息量之和。由上述條件可證明該函數(shù)具有對(duì)數(shù)形式,即2/4/2023173（-10:55），4（-11:50）舉例說(shuō)明信息量與先驗(yàn)概率具有對(duì)數(shù)關(guān)系…阻值不同…功率不同2/4/2023183（-10:55），4（-11:50）2/4/2023193（-10:55），4（-11:50）2.2.1自信息4自信息的兩個(gè)含義當(dāng)事件ai發(fā)生以前,表示事件ai發(fā)生的不確定性;當(dāng)事件ai發(fā)生以后,表示事件ai所含有(或所提供)的信息量.在無(wú)噪信道中,事件ai發(fā)生后,能正確無(wú)誤地傳輸?shù)绞招耪?所以可代表接收到消息ai后所獲得的信息量.這是因?yàn)橄薎(ai)大小的不確定性,才獲得這么大的信息量。

2/4/2023203（-10:55），4（-11:50）2.2.1自信息5單位自信息采用的單位取決于對(duì)數(shù)所選取的底r。對(duì)數(shù)的底應(yīng)選為大于1的任意數(shù)先驗(yàn)概率p(ai)是小于1的正數(shù)根據(jù)實(shí)際情況自信息I(ai)也必然是正數(shù)即,I(ai)=logr[p(ai)]-1>logr1以r為底,I(ai)=logr[p(ai)]-1r進(jìn)制單位以2為底,I(ai)=lb[p(ai)]-1比特以e為底, I(ai)=ln[p(ai)]-1奈特以10為底,I(ai)=lg[p(ai)]-1哈特比特信息論：兩個(gè)互不相容等可能事件發(fā)生時(shí)所提供的信息量。計(jì)算機(jī)術(shù)語(yǔ)：二元數(shù)字(binarydigits)。2/4/2023213（-10:55），4（-11:50）2.2.2信息熵1自信息的不足自信息是隨機(jī)變量，不能作為整個(gè)信源的信息測(cè)度;自信息是指信源發(fā)出某一消息所含有的信息量;消息不同，它們所含有的信息量也不同。2平均自信息量(信息熵H(X)):自信息的數(shù)學(xué)期望,即信息熵H(X)是從整個(gè)信源的統(tǒng)計(jì)特性來(lái)考慮的。對(duì)于特定信源(概率空間給定),其信息熵是一個(gè)確定數(shù)值;不同的信源因統(tǒng)計(jì)特性不同,其熵也不同。2/4/2023223（-10:55），4（-11:50）2.2.2信息熵3舉例(說(shuō)明信息熵的含義)一布袋,其中75球是紅色的,25球是白色的;概率空間摸出紅球的信息量摸出白球的信息量摸取n次的信息量平均摸取一次的信息量所以,信息熵是從平均意義上表征信源總體特性的量.2/4/2023233（-10:55），4（-11:50）2.2.2信息熵4三種物理含義信源輸出后,每個(gè)消息(或符號(hào))所提供的平均信息量;表示信源輸出前,信源的平均不確定性;兩個(gè)信源信息熵信源Y比信源X的平均不確定性大表征變量X的隨機(jī)性.如前例,變量Y取b1和b2是等概率的,所以其隨機(jī)性大；變量X取a1的概率比取a2的大很多,隨機(jī)性就??；

2/4/2023243（-10:55），4（-11:50）[例2.3]現(xiàn)分析例2.1中8個(gè)燈泡構(gòu)成信源X的熵.其中,ai(i=1,2,…,8)表示第i個(gè)燈泡已損壞的事件.H(X)正好表示在獲知哪個(gè)燈泡已損壞的情況前,關(guān)于哪個(gè)燈泡已損壞的平均不確定性。在例2.1中可以看到，這種測(cè)量方法每次只能獲得1個(gè)比特信息量，因此，至少需要測(cè)量三次才能完全消除不確定性。2/4/2023253（-10:55），4（-11:50）第二章離散信源2.1信源的數(shù)學(xué)模型及分類2.2離散信源的信息熵2.3熵的基本性質(zhì)2.4加權(quán)熵及其性質(zhì)2.5離散無(wú)記憶的擴(kuò)展信源2.6離散平穩(wěn)信源2.7信源的相關(guān)性和剩余度2/4/2023263（-10:55），4（-11:50）2.3熵的基本性質(zhì)熵的定義可知:熵是信源概率空間的一種特殊函數(shù);其大小與信源的符號(hào)數(shù)及其概率分布有關(guān)。熵函數(shù)H(p):概率矢量p的q元函數(shù),即其中,p=(p1,p2,...,pq)是q為矢量.熵函數(shù)具有以下一些性質(zhì):1)對(duì)稱性 2)確定性 3)非負(fù)性

4)擴(kuò)展性 5)可加性 6)極值性7)上凸性2/4/2023273（-10:55），4（-11:50）1)對(duì)稱性對(duì)稱性:變量p1,p2,...,pq順序任意互換時(shí),熵值不變,即H(p1,p2,...,pq)=H(p2,p3,...,pq,p1,)=...=H(pq,p1,...,pq-1)該性質(zhì)說(shuō)明熵只與隨機(jī)變量的結(jié)構(gòu)有關(guān),即與信源的統(tǒng)計(jì)特性有關(guān);如果信源統(tǒng)計(jì)特性(符號(hào)數(shù)和概率分布)相同,熵就相同;熵表征信源總的統(tǒng)計(jì)特征,總體的平均不確定性;說(shuō)明熵有局限性,不能描述事件本身具體含意和主觀價(jià)值等;2/4/2023283（-10:55），4（-11:50）2)確定性即H(1,0)=H(1,0,0)=...=H(1,0,...,0)=0因?yàn)樵诟怕适噶縫=(p1,p2,...,pq)中,這個(gè)性質(zhì)意味著從總體來(lái)看,信源有不同的輸出符號(hào),但只有一個(gè)符號(hào)幾乎必然出現(xiàn),而其它符號(hào)都是幾乎不可能出現(xiàn).那么,這是一個(gè)確定信源,其熵為零。2/4/2023293（-10:55），4（-11:50）3)非負(fù)性即熵為正值當(dāng)且僅當(dāng)隨機(jī)變量是一確定量時(shí),等號(hào)成立(見性質(zhì)2).2/4/2023303（-10:55），4（-11:50）4)擴(kuò)展性即上式成立的條件是本性質(zhì)說(shuō)明信源符號(hào)數(shù)增多時(shí),若這些符號(hào)對(duì)應(yīng)的概率很小(接近于零),則信源的熵不變.雖然概率很小的事件出現(xiàn)后,給予收信者較多的信息?？傮w考慮,概率很小的事件幾乎不會(huì)出現(xiàn),所以在熵計(jì)算中占的比重很小.熵的總體平均性的一種體現(xiàn).2/4/2023313（-10:55），4（-11:50）5可加性二維隨機(jī)變量(X,Y)的熵等于X的無(wú)條件熵加上當(dāng)X已知時(shí)Y的條件概率定義的熵的統(tǒng)計(jì)平均值,即物理意義已知X=xi,i=1,2,...,n,獲得的平均信息量為Hn(X);在X=xi下,再知Y=yj,j=1,2,...,n,獲得的平均信息量Hmi;兩者相加應(yīng)等于同時(shí)知道X和Y所獲得的平均信息量Hmn。2/4/2023323（-10:55），4（-11:50）5可加性推論如果兩個(gè)隨機(jī)變量X和Y是統(tǒng)計(jì)獨(dú)立的,則有可加性是熵函數(shù)的一種重要特性,正因?yàn)榫哂锌杉有?所以可以證明熵函數(shù)的形式是唯一的,不可能有其他形式存在。2/4/2023333（-10:55），4（-11:50）證明獨(dú)立2/4/2023343（-10:55），4（-11:50）熵的可加性是指不同含義的信息熵的相加規(guī)則.例如某地把天氣分成晴、多云、雨，如果再把雨天分成微雨到大雨時(shí)不同的信息熵是什么關(guān)系？1,設(shè)某地晴、多云和雨天的出現(xiàn)概率滿足表2.3.1,可以求得天氣的信息熵H1為

H1=-0.5log0.5-0.3log0.3-0.2log0.2=1.48542/4/2023353（-10:55），4（-11:50）2,把雨天再分成微雨到大雨四種,且知道它們出現(xiàn)的概率為表(2.3.2)的第二行.第三行表示肯定下雨時(shí)各種雨的出現(xiàn)概率(也稱條件概率).利用第三行帶入信息熵公式,可求得雨天不同雨量信息熵H2為

H2=-0.5log0.5-0.25log0.25-0.15log0.15-0.1log0.1=1.74272/4/2023363（-10:55），4（-11:50）3,如果把直接把雨天分成四種,那么天氣就有六種情況,顯然有表(2.3.3).六種天氣的信息熵H3可以用同樣的公式計(jì)算出

H3=-0.5log0.5-0.3log0.3-0.1log0.1-0.05log0.05-0.03log0.03-0.02log0.02=1.83402/4/2023373（-10:55），4（-11:50）問(wèn)把天氣分成六種情況時(shí)的信息熵與分成三種情況,以及雨天的信息熵之間有什么關(guān)系?可發(fā)現(xiàn)H3恰好是H1加上H2乘以雨天的出現(xiàn)概率0.2,即

1.8340=1.4854+0.2×1.7427寫成公式是H3=H1+pH2,這是信息熵可加性一般公式。它表示一次抽樣實(shí)驗(yàn)結(jié)局的不確定性如果是H1,當(dāng)把出現(xiàn)概率為p的事件再細(xì)分成若干個(gè)事件時(shí)，新抽樣實(shí)驗(yàn)結(jié)局的不確定性H3由可加性公式計(jì)算,其中H2是概率p對(duì)應(yīng)的事件已經(jīng)出現(xiàn)時(shí)的信息熵(也稱為條件信息熵).利用信息熵公式,可以直接推出這個(gè)公式來(lái)。2/4/2023383（-10:55），4（-11:50）6)極值性集合X各事件等概率分布,熵取最大值,即證明:令隨機(jī)變量

因?yàn)閘ogx在實(shí)數(shù)集[0,1]是凸函數(shù),根據(jù)詹森不等式E[logY]<=log(E[Y])有當(dāng)且僅當(dāng)這表明等概率分布信源平均不確定性為最大,也稱最大離散熵定理。2/4/2023393（-10:55），4（-11:50）二元信源是離散信源的一個(gè)特例,其概率空間

其熵為H(X)=-wlogw-(1-w)log(1-w)可畫出熵函數(shù)的曲線,如右圖.從圖可知:二元信源是確定輸出(w=1或0),

則該信源不提供任何信息。二元符號(hào)等概發(fā)生,熵為最大值,等于1比特.等概輸出的二元數(shù)字序列,

每個(gè)二元數(shù)字平均提供1比特的信息量.非等概率分布,二元數(shù)字的熵總小于1比特.說(shuō)明了二元數(shù)字與信息量單位“比特”的關(guān)系2/4/2023403（-10:55），4（-11:50）7)上凸性引理1證明:

可見,f(x)是x的下凸函數(shù),且當(dāng)x=1時(shí),f(x)=0是極大值,因而有2/4/2023413（-10:55），4（-11:50）7)上凸性引理2

任一集合X及分布pi,它對(duì)其他分布qi的自信息量-logqi取數(shù)學(xué)期望時(shí),必不小于由概率pi本身定義的熵Hn(p1,p2,…,pn),即2/4/2023423（-10:55），4（-11:50）7)上凸性引理2證明：由引理1可得驗(yàn)證極值性.令,利用引理2,有2/4/2023433（-10:55），4（-11:50）7)上凸性H(p1,p2,…,pq)是概率分布(p1,p2,…,pq)的嚴(yán)格上凸函數(shù).證明:設(shè)p=(p1,p2,…,pq)和p’=(p’1,p’2,…,p’q)是兩個(gè)概率矢量，取0<a<1，則由引理2可以證明后面兩項(xiàng)的數(shù)值均大于零，因此2/4/2023443（-10:55），4（-11:50）第二章離散信源2.1信源的數(shù)學(xué)模型及分類2.2離散信源的信息熵2.3熵的基本性質(zhì)2.4加權(quán)熵及其性質(zhì)2.5離散無(wú)記憶的擴(kuò)展信源2.6離散平穩(wěn)信源2.7信源的相關(guān)性和剩余度2/4/2023453（-10:55），4（-11:50）2.4.1加權(quán)熵香農(nóng)熵的不足：其定義的客觀性(熵的對(duì)稱性)無(wú)法描述主觀意義上對(duì)事件判斷的差別,淹沒(méi)了個(gè)別事件的重要性。解決方法:加權(quán)熵,引入事件的重量(權(quán)值),來(lái)度量事件的重要性或主觀價(jià)值。隨機(jī)變量引入事件的重量后的概率空間為其中,wi≥0,i=1,2,…,n是事件ai的重量,它決定于實(shí)驗(yàn)者的目的或所考慮系統(tǒng)的某些質(zhì)的特性.離散無(wú)記憶信源X的加權(quán)熵定義為2/4/2023463（-10:55），4（-11:50）2.4.2加權(quán)熵的性質(zhì)非負(fù)性,HW(X)≥0;退化性,若權(quán)重相等,即wi=w,則HW(X)=wH(X),退化為香農(nóng)熵;確定性,當(dāng)分量pi=1,而其余分量pj=0(j≠i),則HW(X)=0;若I,J為樣本空間,對(duì)于i∈I,pi=0,wi≠0;而對(duì)于j∈J,pj≠0,wj=0,且I∪J=Ω,I∩J=Φ,則HW(X)=0;擴(kuò)展性

線性疊加性,對(duì)于一非負(fù)實(shí)數(shù)λ,有

Hw(λw1,…,λwq,p1,…,pq)=λHw(w1,…,wq,p1,…,pq)結(jié)語(yǔ):加權(quán)熵一定程度上反映了信息對(duì)收信者的主觀價(jià)值,但對(duì)全面解決與人們主觀價(jià)值和意義有關(guān)的信息問(wèn)題是遠(yuǎn)遠(yuǎn)不夠的。2/4/2023473（-10:55），4（-11:50）第二章離散信源2.1信源的數(shù)學(xué)模型及分類2.2離散信源的信息熵2.3熵的基本性質(zhì)2.4加權(quán)熵及其性質(zhì)2.5離散無(wú)記憶的擴(kuò)展信源2.6離散平穩(wěn)信源2.7信源的相關(guān)性和剩余度2/4/2023483（-10:55），4（-11:50）2.5離散無(wú)記憶的擴(kuò)展信源一、擴(kuò)展信源的意義實(shí)際信源輸出是時(shí)間(或空間)上的一序列符號(hào),每個(gè)符號(hào)出現(xiàn)是隨機(jī)的,但前、后符號(hào)出現(xiàn)是有統(tǒng)計(jì)依賴關(guān)系的.考慮符號(hào)間關(guān)聯(lián)性,在N足夠大的信源序列中存在許多無(wú)用和無(wú)意義的序列,即這些序列出現(xiàn)概率等于零或任意小.因此,對(duì)長(zhǎng)為N的信源序列進(jìn)行編碼時(shí),那些無(wú)用和無(wú)意義的序列可以不編碼.這相當(dāng)于在N次擴(kuò)展信源中去掉一些無(wú)用的信源序列,使擴(kuò)展信源的符號(hào)總數(shù)小于qN,以使編碼所需的碼字個(gè)數(shù)大大減少;因此,平均每個(gè)信源符號(hào)所需的碼符號(hào)個(gè)數(shù)就可以大大減少,從而使傳輸效率提高。2/4/2023493（-10:55），4（-11:50）二、離散無(wú)記憶的擴(kuò)展信源離散無(wú)記憶信源的N次擴(kuò)展信源用XN表示.它是具有qN個(gè)符號(hào)的離散信源,其N重概率空間為

其中,每個(gè)符號(hào)αi是對(duì)應(yīng)某個(gè)由N個(gè)ai組成的序列,即∵信源是無(wú)記憶的(彼此統(tǒng)計(jì)獨(dú)立),αi的概率p(αi)為

2/4/2023503（-10:55），4（-11:50）三、離散無(wú)記憶擴(kuò)展信源XN的熵?cái)U(kuò)展信源XN的熵

可證:H(XN)=NH(X)直觀理解:擴(kuò)展信源XN的輸出符號(hào)αi由N個(gè)ai組成的序列,且序列中前、后符號(hào)是統(tǒng)計(jì)獨(dú)立,其中每個(gè)符號(hào)ai的平均自信息量為H(X).那么N個(gè)ai組成的無(wú)記憶序列平均自信息量即是NH(X)(根據(jù)熵的可加性).2/4/2023513（-10:55），4（-11:50）證明:2/4/2023523（-10:55），4（-11:50）四、舉例說(shuō)明離散無(wú)記憶信源X,求其二次擴(kuò)展信源的熵?2/4/2023533（-10:55），4（-11:50）第二章離散信源2.1信源的數(shù)學(xué)模型及分類2.2離散信源的信息熵2.3熵的基本性質(zhì)2.4加權(quán)熵及其性質(zhì)2.5離散無(wú)記憶的擴(kuò)展信源2.6離散平穩(wěn)信源2.7信源的相關(guān)性和剩余度2/4/2023543（-10:55），4（-11:50）2.6離散平穩(wěn)信源2.6.1離散矢量信源信源輸出是時(shí)間或空間的離散符號(hào)序列,且符號(hào)間有依賴關(guān)系.可用隨機(jī)矢量來(lái)描述信源輸出,即X=(…,X1,X2,…,Xi,…),其中Xi是離散隨機(jī)變量,它表示t=i時(shí)刻所發(fā)出的符號(hào).信源在t=i時(shí)刻發(fā)出的符號(hào)決定于兩個(gè)方面:(1)與t=i時(shí)刻隨機(jī)變量Xi的取值xi的概率分布p(xi)有關(guān).一般情況t不同時(shí),概率分布也不同,即p(xi)≠p(xj)(2)與t=i時(shí)刻以前信源發(fā)出的符號(hào)有關(guān),即與條件概率p(xi|xi-1xi-2,…)有關(guān).同樣在一般情況下,它也是時(shí)間t=i的函數(shù),所以p(xi|xi-1xi-2…xi-N…)≠p(xj|xj-1xj-2…xj-N…)2/4/2023553（-10:55），4（-11:50）2.6.2平穩(wěn)信源平穩(wěn)隨機(jī)序列序列的統(tǒng)計(jì)性質(zhì)與時(shí)間的推移無(wú)關(guān),即信源所發(fā)符號(hào)序列的概率分布與時(shí)間起點(diǎn)無(wú)關(guān).一、一維平穩(wěn)信源若當(dāng)t=i,t=j時(shí)，p(xi)=p(xj)=p(x),則序列是一維平穩(wěn)的.這里等號(hào)表示任意兩個(gè)不同時(shí)刻信源發(fā)出符號(hào)的概率分布完全相同，即

具有這樣性質(zhì)的信源稱為一維平穩(wěn)信源。一維平穩(wěn)信源無(wú)論在什么時(shí)刻均按p(x)的概率分布發(fā)出符號(hào)。2/4/2023563（-10:55），4（-11:50）二、二維平穩(wěn)信源除上述條件外,聯(lián)合分布p(xixi+1)也與時(shí)間起點(diǎn)無(wú)關(guān),即p(xixi+1)=p(xjxj+1)(i,j為任意整數(shù)且i≠j)上式表示任何時(shí)刻信源相鄰兩個(gè)符號(hào)的聯(lián)合分布相等.三、平穩(wěn)信源各維聯(lián)合分布均與時(shí)間起點(diǎn)無(wú)關(guān),即當(dāng)t=i,t=j(i,j為任意整數(shù)且不相等)時(shí)有

那么,信源是完全平穩(wěn)的,信源發(fā)出的序列也是完全平穩(wěn)的.完全平穩(wěn)的信源簡(jiǎn)稱為平穩(wěn)信源。2/4/2023573（-10:55），4（-11:50）∵聯(lián)合概率與條件概率有以下關(guān)系∴根據(jù)完全平穩(wěn)定義式可得2/4/2023583（-10:55），4（-11:50）對(duì)于平穩(wěn)信源,其條件概率均時(shí)間起點(diǎn)無(wú)關(guān),只與關(guān)聯(lián)長(zhǎng)度有關(guān).它表示平穩(wěn)信源發(fā)出序列的前后依賴關(guān)系與時(shí)間起點(diǎn)無(wú)關(guān).如果某時(shí)刻發(fā)出符號(hào)與前面N個(gè)符號(hào)有關(guān),那么任何時(shí)刻它們的依賴關(guān)系都是一樣的.即2/4/2023593（-10:55），4（-11:50）2.6.3離散二維平穩(wěn)信源為了分析簡(jiǎn)單和直觀,首先研究信源序列中相鄰兩個(gè)符號(hào)間有關(guān)聯(lián)的情況。一離散二維平穩(wěn)信源,已知信源X的概率分布p(ai)

及連續(xù)信源符號(hào)的聯(lián)合概率p(aiaj),其中i,j=1,2,…,q.把信源輸出序列分成每?jī)煞?hào)一組(∵相鄰兩個(gè)符號(hào)才有關(guān)聯(lián)),并設(shè)組之間統(tǒng)計(jì)無(wú)關(guān)(組尾符號(hào)與下一組的組頭符號(hào)是關(guān)聯(lián)的).這時(shí),可等效成一個(gè)新的信源X1X2,其概率空間為2/4/2023603（-10:55），4（-11:50）一、聯(lián)合熵(共熵)定義:聯(lián)合符號(hào)集X1X2上的每個(gè)元素對(duì)aibj的自信息量的概率加權(quán)統(tǒng)計(jì)平均值。數(shù)學(xué)表達(dá)式:此值表示原來(lái)信源X輸出任意一對(duì)消息的共熵,即描述信源X輸出長(zhǎng)度為2的序列的平均不確定性,或所含有的信息量.因此可用H(X1X2)/2作為二維平穩(wěn)信源X的信息熵的近似值.還可從另一角度研究二維平穩(wěn)信源X熵的近似值,即條件熵.2/4/2023613（-10:55），4（-11:50）二、條件熵在聯(lián)合符號(hào)集X1X2上條件自信息量的統(tǒng)計(jì)平均值.即Note:條件熵是用聯(lián)合概率p(aiaj),而非條件概率p(aj|ai)進(jìn)行平均.因?yàn)?已知前一符號(hào)X1=ai時(shí),后一符號(hào)X2的平均不確定性為:

再對(duì)前一信源符號(hào)X1的所有可能值求統(tǒng)計(jì)平均可得,當(dāng)信源符號(hào)X1已知時(shí),信源輸出符號(hào)X2的總的平均不確定性為:2/4/2023623（-10:55），4（-11:50）三、相互關(guān)系1、聯(lián)合熵、條件熵和信源熵三者之間的關(guān)系2/4/2023633（-10:55），4（-11:50）三、相互關(guān)系熵的強(qiáng)可加性:聯(lián)合熵H(X1X2)等于序列符號(hào)X1的熵H(X1)加上符號(hào)X1已知,符號(hào)X2的條件熵H(X2|X1).熵的可加性:如序列符號(hào)X1和X2相互獨(dú)立,則H(X1X2)=H(X1)+H(X2).其中,H(X2|X1)=H(X2).此性質(zhì)可推廣到多個(gè)隨機(jī)變量(序列符號(hào))構(gòu)成的概率空間之間的關(guān)系.2/4/2023643（-10:55），4（-11:50）N個(gè)概率空間X1,X2,…,XN,其聯(lián)合熵為如果N個(gè)隨機(jī)變量相互獨(dú)立，則有2/4/2023653（-10:55），4（-11:50）2、聯(lián)合熵與信源熵的關(guān)系

當(dāng)且僅當(dāng)兩個(gè)序列符號(hào)相互獨(dú)立,上式取等號(hào),取得熵的最大值.當(dāng)集X1和集X2取直同一符號(hào)集合X,即H(Xi)=H(X).此性質(zhì)同樣可以推廣到N個(gè)概率空間的情況：等號(hào)成立的充要條件是X1,X2,…,XN相互統(tǒng)計(jì)獨(dú)立.

2/4/2023663（-10:55），4（-11:50）證明:2/4/2023673（-10:55），4（-11:50）3、條件熵與信源熵的關(guān)系等式成立的條件:當(dāng)且僅當(dāng)集X1和集X2統(tǒng)計(jì)獨(dú)立。2/4/2023683（-10:55），4（-11:50）3、條件熵與信源熵的關(guān)系證明:

可證f(w)=-wlogw是[0,1]區(qū)域內(nèi)∩型凸函數(shù).

令wi=pij=p(aj|ai),且pi=p(X1=ai),pj=p(X2=aj).根據(jù)詹森不等式,有2/4/2023693（-10:55），4（-11:50）2.6.4離散N維平穩(wěn)信源一般平穩(wěn)有記憶信源X,符號(hào)間的依賴關(guān)系不僅存在于相鄰符號(hào)之間,而且存在更多符號(hào)之間.令X發(fā)出的符號(hào)序列X為(…,X1,X2,…,XN,…),假設(shè)信源符號(hào)間的依賴長(zhǎng)度為N,則聯(lián)合概率為

聯(lián)合熵2/4/2023703（-10:55），4（-11:50）2.6.4離散N維平穩(wěn)信源為計(jì)算離散平穩(wěn)信源的信息熵,給出另外兩種定義：平均符號(hào)熵:N長(zhǎng)的信源符號(hào)序列中平均每個(gè)信源符號(hào)所攜帶的信息量為條件熵:已知前面N-1個(gè)符號(hào)時(shí),后面出現(xiàn)一個(gè)符號(hào)的平均不確定性為2/4/2023713（-10:55），4（-11:50）對(duì)于離散、平穩(wěn)、有記憶信源,當(dāng)H1(X)<∞時(shí),則有以下性質(zhì):1、條件熵H(XN|X1X2…XN-1)隨N的增加是非遞增的;2、平均符號(hào)熵HN(X)隨N增加而非遞增的;3、平均符號(hào)熵大于條件熵,即HN(X)≥H(XN|X1X2…XN-1);4、存在，并且

稱H∞為平穩(wěn)信源的極限熵或極限信息量。2/4/2023723（-10:55），4（-11:50）第二章離散信源2.1信源的數(shù)學(xué)模型及分類2.2離散信源的信息熵2.3熵的基本性質(zhì)2.4加權(quán)熵及其性質(zhì)2.5離散無(wú)記憶的擴(kuò)展信源2.6離散平穩(wěn)信源2.7信源的相關(guān)性和剩余度2/4/2023733（-10:55），4（-11:50）2.7信源的相關(guān)性和剩余度1、實(shí)際離散信源的熵實(shí)際離散信源可能是非平穩(wěn)的,然而非平穩(wěn)信源其極限熵H∞不一定存在,但可假定它是平穩(wěn)的,用平穩(wěn)信源的H∞來(lái)近似.前已證:平均符號(hào)熵HN(X)隨N增加而非遞增的.即

logq=H0≥H1≥H2≥Hm+1≥H∞

其中,H0為信源符號(hào)等概率分布時(shí)的熵,即H0=logq.2/4/2023743（-10:55），4（-11:50）2.7信源的相關(guān)性和剩余度可見,信源符號(hào)間的依賴關(guān)系使信源的熵減小.前后依賴關(guān)系越長(zhǎng),則信源的熵越小.并且僅當(dāng)信源符號(hào)間無(wú)依賴、等概率分布時(shí),信源熵最大.即,每個(gè)符號(hào)提供的平均自信息隨符號(hào)間的依賴關(guān)系長(zhǎng)度的增加而減少.為此引入剩余度來(lái)衡量信源的相關(guān)性程度(有時(shí)也稱多余度).2/4/2023753（-10:55），4（-11:50）剩余度靜夜思(李白,29字)床前明月光,疑是地