信息熵及其性質(zhì)和應用

IIrr農(nóng)業(yè)大學本科生課程論文論文題目 信息熵及其性質(zhì)和應用學生專業(yè)班級 信息與計算科學09級2班學生學號20093992指導教師 吳慧完成時間2012年06月25日2012年06月25日課程論文任務(wù)書學生 指導教師吳慧 論文題目信息熵及其性質(zhì)和應用 論文容（需明確列出研究的問題）：研究信息熵的目的就是為了更深入的了解信息熵，更好的了解信息熵的作用，更好地使用它解決現(xiàn)實生活中的問題。文中介紹了信息熵的定義和性質(zhì)及其應用。使我們對信息熵有跟深入的了解。資料、數(shù)據(jù)、技術(shù)水平等方面的要求：論文要符合一般學術(shù)論文的寫作規(guī)，具備學術(shù)性、科學性和一定的創(chuàng)造性。文字要流暢、語言要準確、論點要清楚、論據(jù)要準確、論證要完整、嚴密，有獨立的觀點和見解。容要理論聯(lián)系實際，計算數(shù)據(jù)要求準確，涉及到他人的觀點、統(tǒng)計數(shù)據(jù)或計算公式等要標明出處，結(jié)論要寫的概括簡短。參考文獻的書寫按論文中引用的先后順序連續(xù)編碼。發(fā)出任務(wù)書日期06月15日 完成論文日期06月25日教研室意見（簽字）院長意見（簽字） 信息熵及其性質(zhì)和應用信息與計算科學專業(yè)指導教師吳慧摘要：信息熵是隨機變量不確定性的度量，文中從信息熵的定義出發(fā)，結(jié)合信息熵的性質(zhì)，介紹了目前信息熵在具體問題中的應用。信息是一個十分通俗而又廣泛的名詞，它是人類認識世界、改造世界的知識源泉。人類社會發(fā)展的速度，在一定程度上取決于人類對信息利用的水平，所以對信息的度量就很有必要。香農(nóng)提出信息的一種度量，熵的定義形式，它是隨機變量不確定性的度量，文中主要介紹熵的性質(zhì)及其應用。關(guān)鍵詞；信息熵性質(zhì)應用InformationentropyanditspropertiesandApplicationStudentmajoringinInformationandComputingScienceSpecialtydongqiangTutorWuHuiAbstract：informationentropyisameasureofuncertaintyofrandomvariable,thispaperfromthedefinitionofinformationentropy,combinedwiththenatureofinformationentropy,informationentropy,introducedthespecificissuesintheapplicationof.Informationisaverypopularandwidelynoun,itishumanunderstandingoftheworld,transformingtheworldknowledgesource.Thehumansocietydevelopmentspeed,dependononcertainlevelthehumanmakeuseofinformationlevel,sothemeasurementinformationisnecessary.Shannonputforwardtheinforma-tionakindofmeasurement,thedefinitionofentropyform,itistheuncertaintyofrandomvariablemetric,thispapermainlyintroducesthepropertyofentropyanditsapplication.Keywords:informationentropy propertiesapplication

引言:作為一種通俗的解釋，熵是一種不規(guī)則性的測量尺度．這一種解釋起源于香農(nóng)在通訊理論的研究中，為確定信息量而提出的一種熵測度．對于離散概率分布p=(p,p…，p),香農(nóng)熵定義為H(X)=E[I()]=_Eplogp在1 n xi i ip1+p2+p3+…pk=1的條件下，為使H(X)最大，顯然是pi=1/k(i=1,2,…，k),即在等概率分布情況下H(X)達到最大值，換句話說，熵的值與不規(guī)則度(如果以等概率分布作為不規(guī)則性的極端表現(xiàn))是一致的．這是熵作為一個概率測度的理論基礎(chǔ)．物理學的發(fā)展為熵理論提供了更為現(xiàn)實的應用背景，熱力學的第二法則既是所謂熵增大的法則，對孤立的系統(tǒng)，系統(tǒng)的熱力學狀態(tài)只能假定在熵增大的方向上起變化，Boltzmann原理把熵引入了熱力學的研究領(lǐng)域，他所提供的著名關(guān)系式S=klogw(w是系統(tǒng)狀態(tài)的概率)是后來Planck的量變論及愛因斯坦的光量子理論開展的基礎(chǔ)．人們對熵的認識和應用很長一段時間都局限于理論物理領(lǐng)域，直到本世紀中葉，一些人開始注意到熵對系統(tǒng)不確定性度量的一般性，試信息熵(entropy)信息熵(entropy)的概念設(shè)一個離散型隨機變量和它的概率分布為X

p(x)TOC\o"1-5"\h\z\o"CurrentDocument"x x …x x12 .+1\o"CurrentDocument"p p …p p1 2 nn+10<p<1, ￡p=1iii=1任意隨機事件的自信息量定義為該事件發(fā)生概率的對數(shù)的負值，即I(%)i=-logp。自信息量I(%)是指某一信源X發(fā)出某一消息信號工所含有的信息量，ii i發(fā)出的消息不同，它們所含的信息量也就不同，因此自信息量是一個隨機變量，它不能用來作為整個信源的信息測度。香農(nóng)將平均自信息量定義為信息熵，簡稱為熵。即H(X)=E[I()]=-Eplogp。%i i i二、信息熵的性質(zhì)1、對稱性：設(shè)某一概率系統(tǒng)中n個事件的概率分布為p,…,p，當對事件位置的順序1n進行任意置換后，得到新的概率分布為p/，…,p/，并有以下關(guān)系成立：1nH(p,…,p)=H(p/,…,p/)它表示概率系統(tǒng)中事件的順序雖不同，但概率系統(tǒng)的1n 1n熵值是不變的，即概率系統(tǒng)的熵與事件的順序無關(guān)。2、非負性：H(p1,”…p)-0q因為每個p<1,所以它們的以不小于1的數(shù)為底的對數(shù)是不大于零的。3、確定性：設(shè)信息系統(tǒng)中，任一事件產(chǎn)生的概率為1，則其他事件產(chǎn)生的概率為0。這是一種確定的系統(tǒng)，對于這樣的系統(tǒng)有小(1,0)二叫1,0,0)二叫1,0…,=)H=(1,0,0,…,0)=0若信源中只要有一個事件是必然事件，則其余事件為不可能事件。此時，信源中每個事件對熵的貢獻都為0，因而熵總為零。4、擴展性：若集合X有n個事件，另一集合Y中有n+1個事件，但集合X和Y的差別只是多了一個概率近于零的事件，則兩個集合的熵值是一樣的。即一個事件

的概率和集合中其它事件相比很小時，它對于集合的熵值的貢獻就可以忽略不計。式子表達如下：LimH(p,p，….p,J=H(p,p，…，p)八n+112 n-8 n12 n￡-05、可加性與強可加性：(涉及到了兩個變量！)H(XY)為兩個隨機變量的聯(lián)合熵?？杉有裕篐(XY)等于X的無條件熵，加上已知X時Y的條件概率的熵的平均值，即條件熵11x.)log^——ip(yIx)jiH11x.)log^——ip(yIx)jiH(YIX)=Xp(x.)Xp(y.iji=1 j=1對于X與Y獨立的情況有：(強可加性)H(XY)=H(X)+H(Y)P(xy)=P(x)P(yIx)=p?pxxyH(XY)=-5mp(xy)logp(xy)=-藝pplogppnm ij ij iijiijTOC\o"1-5"\h\zi.j i.jn,m n,m=-5pplogp-5pplogpiiji iijiji.j i.j=-5n(logp)5mp(xy)-5np5mplogpi ij iijiji j ij=H(p,p，…p)+￡pH(p,p，…p)n1 2n imi1i2imi=1￡p=1p>0；5p=1p>0；i i ij iji=1 j=1

6、遞增性：（子集再劃分，第n個分為m個）Xp二1,Eq二pi jni=1 j=1TOC\o"1-5"\h\zH(p,p,…p,q,q,…q)=H(p,p,…，p,p)n+m-Xp二1,Eq二pi jni=1 j=1+pH(1,,…，L),nmpp pnn n按照定義證明：H(p)n+H(p)n+m-1n+m-1plog

ii=1=Xn-1plog

ii=11 +piXmqlog

ii=1Xplog-Xplog--pi=1i pi nlog——+p

pn

n工工logi=1pn11 X——q/ppinn=H+pH=H+pHnnm例題：計算H（二」336,6)=H=H(1,2)+2H(1,1)+2x1H(1,￡)33 3 22 32 22=H(1,2)+H(1,1)=1.918(bit/symbol)33 22

7、極值性：qqq可利用兩個引理證明；(以后再利用Jensen證明。)引理1：對于x>101<lnx<x—1H(P1，qqq可利用兩個引理證明；(以后再利用Jensen證明。)引理1：對于x>101<lnx<x—1引理2引理2：其中：h(p,p。，…p)?-Xp.logq.12q iii-1￡p.=1；Eq.-1iiii8、上凸性：H(pj，p2,^Pq)=H(P)是P的上凸函數(shù)即對于0<6<1，和兩個概率P，P12矢量，有：p pp pH(0P1+(1—e)P2)>6H(P1)+(1—e)H(P2)函數(shù)f的圖象幾何解釋:f(EP)總在Ef(P)上邊9、1證明離散平穩(wěn)信源有H4IXX)<H4IX/3I1、2 21)J,解：H431X1X)，試說明等式成立的條件。)二-ZZZp(xx%p%2 123 311z2二二￡P(guān)(XX)￡P(guān)q|xx)logPq|xx)12 3112 3112-￡￡p(xx)￡p(xxx)iogp(xx)12 3112 312=H")31 2根據(jù)信源的平穩(wěn)性，有(X3|X2)=H(X2|X，因此有H(X3|X1X2)<H(X2|X)等式成立的條件是P(|xx)=PQ|x)3112 3129、2證明離散信源有h(XX…X12N)<H(X)+H(X)+H(X)+…H(X)，并說明等式成立的條件。證明H(XX…X)=H(X)+H(XIX)+H(X|XX12N 1 212 311)+…H(XIXXX)2 N1 1 2N-1而H4IXXX)N1 1 2N-1二二￡???￡P(guān)(XX…X)logP12N二-￡￡…￡p(xx.12X1X2XN-1

二一乙乙…￡P(guān)(XX-??xN-1??XX1x=H(X)N即12XN-1N-1N')￡P(guān)"法P&XNXX…X)12 N-1|X1X…X|X1X2…XN-1 N)N-1h(X)<H(x)

211 2H(rlxx3112)<H(x)3代入上述不等式，有TOC\o"1-5"\h\zH(XX…X)<H(X)+H(X)+H(X)+…H(X)1 2N 1 2 3 N等號成立的條件是:xx--x )=pQ)12 N-1 NN-1xx…x )=p(x )N-112N-2 N-1p(xx)=pQ)9、3在連續(xù)信源中，根據(jù)差熵、條件差熵和聯(lián)合差熵的定義，證明h(X|Y) h(X)，當且僅當X和Y統(tǒng)計獨立時等號成立；⑵h(XX…X)<h(X)+h(X)+…h(huán)(X)當且僅當入％X彼此統(tǒng)計1 2N 1 2 N N證明:(證明:(1)h(XY)=_Jp(y)iyjpC^ylogpCy'dx<-jp(y)iyjp(x|y|)logp(x)dx=-p=-p=h(X)(x,y)logp(x)dxdy等號成立當且僅當p(x|y) p(x)，即p(x,y) p(x)p(y)，因此僅當XflY統(tǒng)計獨立時等號成立。…h(huán)(…h(huán)(XIXXX)

n'1 2N-1h(XX…X)=h(X)+h(XIX)+h(X|XX1 2N 1 21 2 31 1 2根據(jù)(1)的結(jié)論，條件差熵小于差熵，因此有

TOC\o"1-5"\h\zh（XX…X）＜h（X）+h（X）+h（X）+…h(huán)（X）1 2N 1 2 3 N等號成立當且僅當p《ix）=pQ）211 2p&lxX）=pU3112 3XX…X ）=p（X）12 N-1 N即p（XX）=p（X）p（X）12 1 2p（XXX）=p（X）p（X）p（X）123 1 2 3p（p（XX???X12N）=p（X）p（X）.??p（X12 N9、4N維連續(xù)型隨機序列XX…X，有概率密度以及p(XX…X)以及12N1212NE般=mii時熵最大。)]=OJ。證明：當隨機序列的分量各自達到正態(tài)分布并彼此統(tǒng)計獨立最大熵為Nlog2兀eC202E般=mii時熵最大。TOC\o"1-5"\h\z2 12N證明：h（XX…X）＜h（X）+h（X）+h（X）+…h(huán)（X）12N 1 2 3 N等號成立當且僅當各分量統(tǒng)計獨立。而對于任何一個分量而言，當E[(X=m)]=o2時，高斯分布的差熵最大，為ii ih（X）=110g2兀eo2因此原序列差熵的最大值為：i2 ih（XX?…X）=110g2兀eo2+110g2兀eo2+???+110g2兀eo212N2 12 2 2N=N10g[2兀e(o2o2…o2)n12 12N9、5N維連續(xù)型隨機序列XX…X，其各分量幅度分別受限為1,b11 2N ii證明：當隨機序列的分量各自達到均勻分布并彼此統(tǒng)計獨立時熵最大。最大熵為10g式（b-a）iii=1證明：h（XX…X）＜h（X）+h（X）+h（X）+…h(huán)（X）12N 1 2 3 N等號成立當且僅當各分量統(tǒng)計獨立。而對于任何一個分量而言，當幅度分別受限為[,]iiab時，均勻分布的差熵最大，為h(X)=log(b-a)i ii因此原序列差熵的最大值為：h(XX…X)=log(-a)+log(b-a)h blog(b-a)12N 1 1 2 2 NN=logft(b—a)iii=1三、熵的應用熵是信息理論中一個非常重要的概念，它是衡量一個隨機變量取值的不確定性程度。而就數(shù)據(jù)集合而言，熵可以作為數(shù)據(jù)集合的不規(guī)則程度的量度，所謂的不規(guī)則程度指的是集合中前后數(shù)據(jù)元素之間時序依賴關(guān)系的強弱。對一個具體的系統(tǒng)來說，如果這個系統(tǒng)隨機性很大、非常混亂、毫無秩序,則此系統(tǒng)的信息熵就一定很大。反之，如果一個系統(tǒng)是確定的、具有一定的規(guī)則、服從一定的秩序，則此系統(tǒng)的信息熵就一定小。因此,可以把信息熵引申應用到對事物集合中一些相互對立性質(zhì)的量度,判斷事物集合中的有序與無序、確定性與隨機性、組織性與散漫性、規(guī)則性與雜亂性、簡并性與多樣性,并對其相互對立的概念進行量度。結(jié)合信息熵的性質(zhì)，它的應用十分廣泛，在各個學科中都有它的影子。目前文獻息熵在具體問題中的應用有信息熵在教學質(zhì)量分析中的應用，信息熵在學生評教結(jié)果分析中的應用探析，信息熵在數(shù)據(jù)集分割中的應用，信息熵方法及其在教育信息處理中的應用，信息熵在缺陷漏磁信號量化中的應用，信息熵在電子數(shù)據(jù)取證領(lǐng)域中的應用，信息熵在圖書分類決策中的應用，信息熵在網(wǎng)絡(luò)流量矩陣估算中的應用，信息熵在粗糙集信息檢索模型中的應用，信息熵在導航傳感器故障診斷中的應用研究，信息熵在工程造價風險分析中的應用研究，信息熵缺陷漏磁信號量化中的應用，信息熵在電子數(shù)據(jù)取證領(lǐng)域中的應用，信息熵在圖書分類決策中的應用，信息熵在網(wǎng)絡(luò)流量矩陣估算中的應用，信息熵在粗糙集信息檢索模型中的應用，信息熵在導航傳感器故障診斷中的應用研究，信息熵在工程造價風險分析中的應用研究