信息熵、玻爾茲曼熵和克勞修斯熵的關系

信息熵、玻爾茲曼熵和克勞修斯熵的關系

現(xiàn)在，雖然信息熵、薄面函數(shù)和克勞修斯熵之間的關系尚是明確的，但缺乏嚴格的論證。特別是薄面函數(shù)和克勞修斯熵之間的關系。作者認為，薄面函數(shù)和克勞修斯熵是等效的。本文否認了這一等價關系。13個熵及其含義1.1力學第二定律的提出1854年克勞修斯(Clausius)發(fā)表了《力學的熱理論的第二定律的另一種形式》的論文,給出了可逆循環(huán)過程中熱力學第二定律的數(shù)學表示形式:∮dQT=0∮dQΤ=0,而引入了一個新的后來定名為熵的態(tài)參量.1865年他發(fā)表了《力學的熱理論的主要方程之便于應用的形式》的論文,把這一新的態(tài)參量正式定名為熵.并將上述積分推廣到更一般的循環(huán)過程,得出了熱力學第二定律的數(shù)學表示形式:∮dQT≤0∮dQΤ≤0,等號對應于可逆過程,不等號對應于不可逆過程.由此熵S的定義為或Sa?Sb≥∫badQT(2)Sa-Sb≥∫abdQΤ(2)式(2)中的a、b表示始末兩個狀態(tài),Sa、Sb為始末兩個狀態(tài)的熵,dQ為系統(tǒng)吸收的熱量,T為熱源的溫度,可逆過程中T也是系統(tǒng)的溫度.當系統(tǒng)經(jīng)歷絕熱過程或系統(tǒng)是孤立的時候,dQ=0,此時有即有熵增原理:孤立系統(tǒng)或絕熱過程熵總是增加的.由此定義的熵稱克勞修斯熵,或熱力學熵.熵是一個態(tài)函數(shù),是熱力學宏觀量.對絕熱過程和孤立系統(tǒng)中所發(fā)生的過程,由熵函數(shù)的數(shù)值可判定過程進行的方向和限度.1.2玻爾茲曼-普朗克1896年玻爾茲曼(Boltzmann)建立了熵S和系統(tǒng)宏觀態(tài)所對應的可能的微觀態(tài)數(shù)目W(即熱力學概率)的聯(lián)系:S∝lnW.1900年普朗克(Planck)引進了比例系數(shù)k——稱為玻爾茲曼常量,寫出了玻爾茲曼-普朗克公式:式(5)所定義的熵稱為玻爾茲曼熵,或統(tǒng)計熵.由此玻爾茲曼表明了熵S是同熱力學概率W相聯(lián)系的,揭示了宏觀態(tài)與微觀態(tài)之間的聯(lián)系,指出了熱力學第二定律的統(tǒng)計本質:熵增加原理所表示的孤立系統(tǒng)中熱力學過程的方向性,正相應于系統(tǒng)從熱力學概率小的狀態(tài)向熱力學概率大的狀態(tài)過渡,平衡態(tài)熱力學概率最大,對應于S取極大值的狀態(tài);熵自發(fā)地減小的過程不是絕對不可能的,不過概率非常小而已.1.3最大信息熵原理1948年仙農(nóng)(Shannon)發(fā)表了《通信的數(shù)學理論》,使用概率方法,奠定了現(xiàn)代信息論的基礎.仙農(nóng)引入了信源的信息熵:它代表了信源輸出后每個消息所提供的平均信息量,或信源輸出前的平均不確定度.ai為信源可能取的消息(符號),P(ai)為選擇信源符號ai作為消息的先驗概率.1957年詹尼斯(Jaynes)將信息熵引入統(tǒng)計力學,并提出了最大信息熵原理.詹尼斯的信息熵定義為式(6)的定義只比仙農(nóng)熵的原定義式差一比例系數(shù).當研究的系統(tǒng)為熱力學系統(tǒng)時,式(6)中的Pi為系統(tǒng)的第i個微觀態(tài)出現(xiàn)的概率;而一般情況Pi為信息源的第i個信息基元出現(xiàn)的概率.這樣定義的信息熵表示的是系統(tǒng)(信息源或熱力學系統(tǒng)——也是信息源)的不確定性.信息熵也稱為廣義熵.2信息熵玻爾茲曼熵克勞修斯熵三種熵按定義出現(xiàn)的先后,雖然克勞修斯熵在前,玻爾茲曼熵次之,信息熵最后,但從所包含的內容來看卻相反.用數(shù)學語言可表示為:信息熵?玻爾茲曼熵?克勞修斯熵,即S信?S玻?S克.下面詳細闡述.2.1建立規(guī)則w由式(6),并注意到孤立系統(tǒng)平衡態(tài)的等概率假設,即平衡態(tài)的每一個微觀態(tài)的概率為Pi=1/W,這里的W為孤立系統(tǒng)的總的微觀態(tài)數(shù).得式(7)的右端正是玻爾茲曼熵.當然式(7)也可反過來看,即可由式(5)推出式(6),只是邏輯關系差點.需要注意的是:一定的孤立系統(tǒng),粒子數(shù)N、能量E、體積V不變;而不同狀態(tài)的孤立系統(tǒng),N、E、V是不同的.所以總的微觀狀態(tài)數(shù)W是N、E、V的函數(shù).2.2主要的推導系統(tǒng)文獻由玻爾茲曼關系對單原子理想氣體推出了克勞修斯熵的表達式.事實上,若由文獻、中玻氏關系計算出的孤立系統(tǒng)單原子理想氣體和滿足關系ε=cp的經(jīng)典理想氣體的熵為對式(8)、(9)微分,并令dN=0,得:并注意到pV=NkT,E分別為3NkT/2和3NkT.兩式共同有而由可逆過程熱力學第一定律式(14)正是克勞修斯熵的表達式.即克勞修斯熵可由玻爾茲曼熵推出.上面的推導顯然要比文獻的推導簡單得多.但是上述所有推導(包括文獻)的不足之處是:都是由理想氣體推出的.如下本文不涉及具體系統(tǒng),由玻爾茲曼熵推出克勞修斯熵.任一以V為唯一外參量的孤立系統(tǒng)的熵由式(5)表示.對式(5)微分,得又令α=?lnW?N?β=?lnW?E?κ=?lnW?V(17)α=?lnW?Ν?β=?lnW?E?κ=?lnW?V(17)則有dS=k(αdN+βdE+κdV)(18)當粒子數(shù)不變時,dN=0.為討論β、κ的意義,考慮由同種組元、兩個子系統(tǒng)1、2構成的孤立系統(tǒng).由熵增原理很容易證明:熱平衡條件、(在熱平衡的基礎上)力學平衡條件分別為注意到熱平衡定律及熱流是從高溫物體流向低溫物體的,故可取即β=1/kT,β是統(tǒng)計力學溫度.有時也將式(21)作為熱力學絕對溫度的定義.在統(tǒng)計力學中,任何涉及到溫度的地方,都是β.文獻及上述用理想氣體的推導,所用的麥克斯韋速度分布、粒子能量平均值的得出,事實上都用到了統(tǒng)計溫度β=1/kT.又因為力學平衡是在達到熱平衡的基礎上的平衡,可取[或注意到式(29),由式(28)]κ=p/kT,p為壓強.這樣式(18)變?yōu)榧从刹柶澛赝茖С隽丝藙谛匏轨氐谋磉_式.而式(22)的得出,并沒用到任何具體系統(tǒng).2.3配分函數(shù)為條件下的正則配分函數(shù)為則式對式(6)的信息熵表達式及如下的約束條件:由拉格朗日條件極值及最大信息熵原理,可得正則分布函數(shù)其中正則配分函數(shù)為則式(26)的得出用了由式(19)及式(26)得:由式(28)也可說明κ=p/kT.將式(28)代入式(26)得式(22).這正是克勞修斯熵的表達式.2.4玻爾茲曼熵克勞修斯熵.非平衡態(tài).特性.一個是玻爾茲曼熵非平衡區(qū)域的劃分.文獻提出玻爾茲曼熵與克勞修斯熵是等價的,因為文獻由玻爾茲曼關系對單原子理想氣體導出了克勞修斯熵的表達式,但并沒有由克勞修斯熵導出玻爾茲曼關系.“等價”是一數(shù)學名詞,意為兩者之間互為充分必要條件,即可互相推導.因此文獻中提到的“等價”不是數(shù)學意義上的等價,而指的是兩種熵是同一個物理量.注意到克勞修斯熵是宏觀物理量,是唯象的熱力學理論中的態(tài)函數(shù),而玻爾茲曼熵是統(tǒng)計熵,是與微觀狀態(tài)數(shù)直接相聯(lián)系的,所以是微觀熵.因此不可能從宏觀的熱力學熵推導出微觀的玻爾茲曼熵.還應注意到玻爾茲曼關系,雖然是在“孤立”的條件下得出來的,但任何系統(tǒng)(正則系統(tǒng)或巨正則系統(tǒng)等)的平衡態(tài),微觀狀態(tài)數(shù)都占絕對壓倒的優(yōu)勢,平均分布等于最概然分布.則對于平衡態(tài),微觀狀態(tài)數(shù)有即玻爾茲曼關系式適用于任何系統(tǒng)的平衡態(tài).上面已由玻爾茲曼熵推出了克勞修斯熵,說明滿足玻氏關系的玻爾茲曼熵S玻必滿足克勞修斯熵S克的表達式,即但注意到上述推導過程中用了平衡條件,即只是在平衡態(tài)時有式(30a),所以式(30a)的準確表達式應為而克勞修斯表達式表示了所有平衡態(tài)的克勞修斯熵,則任給一個平衡態(tài)的克勞修斯熵,必能從玻爾茲曼熵推導出來,即這一克勞修斯熵也屬于玻爾茲曼熵.所以又有再考慮到玻爾茲曼熵、克勞修斯熵都可向非平衡態(tài)延拓.在局域平衡假設下,克勞修斯熵可表示為各局域熵之和:又可容易地證明玻爾茲曼熵具有可加性,即因此在滿足局域平衡的非遠離平衡態(tài)的非平衡區(qū)域仍有再注意到玻氏關系對任何非平衡態(tài)都成立,即玻爾茲曼熵可以延拓到任何非平衡區(qū)域.而在不滿足局域平衡的遠離平衡態(tài)的非平衡區(qū)域,沒有式(32),即克勞修斯熵不能延拓到遠離平衡態(tài)的非平衡區(qū)域.不僅如此,玻氏關系中的熱力學概率還可以延拓到非熱力學系統(tǒng),而克勞修斯表達式只能是熱力學系統(tǒng).所以玻爾茲曼熵要比克勞修斯熵包含的內容要廣.綜上所述,有2.5信息熵與玻爾茲曼熵、克勞修斯熵由信息熵的表達式(6)及詹尼斯的最大信息熵原理,用到熱力學系統(tǒng)的平衡態(tài),求信息熵的條件極值,可得平衡態(tài)的7種分布函數(shù)及相應的熵.當然也包括玻爾茲曼熵.再注意到式(6)中的Pi可以是任何一種研究對象的概率,沒有受到平衡態(tài)、等概率(玻爾茲曼關系要求等概率)、熱力學系統(tǒng)等等的限制.而且詹尼斯的最大信息熵原理不僅可用于平衡態(tài),還可以用于非平衡定態(tài),即非平衡定態(tài)的熵取極大值.信息熵概念的含義比玻爾茲曼熵、克勞修斯熵要廣,對于熱力學過程信息熵就為克勞修斯熵、部分的玻爾茲曼熵.但克勞修斯熵卻并不能應用于非熱力學過程,因為克勞修斯熵的概念局限于粒子熱運動這種特定的物質運動方式,它與能量(熱量)的分配有特定的比例關系.對于并不涉及熱量、能量轉換的非熱力學過程,克勞修斯熵是不能應用的.玻爾茲曼熵具有克勞修斯熵的所有特征,且玻爾茲曼熵還可以延拓到非熱力學系統(tǒng)和遠離平衡態(tài)的熱力學系統(tǒng)的非平衡態(tài),但是為了保持熵函數(shù)的特征,要加入等概率的條件.信息熵可以與熱量、能量轉換的多少沒有關系,也可