基于信息論的關于熱力學熵和信息熵的討論與淺析

唐計21151624于航,基于信息論(TheoryOfInformation)的關于熱力學熵和信息熵的討論與淺析,（高大上的題目,熵的概念是由德國物理學家克勞修斯于1865年所提出?；瘜W及熱力學中所指的熵，是一種測量在動力學方面不能做功的能量總數。熵亦被用于計算一個系統中的失序現象。熵是一個描述系統狀態(tài)的函數，但是經常用熵的參考值和變化量進行分析比較。,熱力學熵Entropy,利用積分求熵值,熱力學熵的宏觀形式：它的定義是，用來描述能量做功的能力，熵越大能量做功的能力就越弱。由于我們只定義了熵的變化量，因此對一個系統的單一狀態(tài)來說，宏觀的熵沒有絕對值。我們實際應用的是以“標準狀態(tài)”為基準的相對值（標準摩爾熵）。熵的微觀形式，著名的玻爾茲曼原理：S=kln，其中的是玻爾茲曼常數，量綱為J/K，由于后面對數項不具量綱，所以玻爾茲曼熵的量綱也是J/K，這是證明它和宏觀形式等價的前提。這也形成了熵最廣為人知的理解：熵是系統混亂度（無序程度）的量度。參考文獻：知乎,熵的兩種形式,簡單介紹ABriefIntroduction,克勞德香農ClaudeShannon,克勞德香農在1948年的這一篇論文中，提出了“信息熵”的概念，并且以后信息論也被作為一門單獨的學科。,著名文獻（1948）：AMathematicalTheoryofCommunication,信息熵的來歷和熱力學熵完全不同。把它也叫做“熵”完全是因為香農老爺子當年提出這個概念時參考了熱力學熵，并且它的表達式和熱力學熵的微觀形式非常相似（但和宏觀描述看不出任何相似性）的緣故。后來也有人提出了信息熵的其他表述形式，為了方便，下文以最早也最重要的香農熵為準。-參考文獻：知乎,信息熵InformationEntropy,他先后闡述了：有無噪音的離散系統下（DISCRETENOISELESSSYSTEMS&THEDISCRETECHANNELWITHNOISE）“信息的傳輸”“信息熵的計算”“相關的討論”解釋了：信息熵、信源編碼、信道編碼、信道容量、信息失真率理論、信號檢測和估計等概念。（比較專業(yè)）奠定了信息論的基礎。,在這篇文獻中：,這篇文獻所推導的一個公式,K就是一個系數，log以2為底隨機變量S的取值(s1,s2.sn)，發(fā)生的概率是(p1,p2.pn)，和玻爾茲曼熵表達式形式基本一樣，只有常數上的差別。結果的量綱為比特（bit）。意義？指觀察者對某一事件（結果）的未知程度。,吳軍漢語信息熵和語言模型的復雜度里說，只考慮字頻的話英文是4.46比特/字符的信息熵，漢字是9.6比特/字符，直觀上很容易理解，英文字母只有26個，所以描述一個字母所需要的信息表示不多，而中文字卻很多，就需要更多的信息量才能表示。引用文獻：CSDNblog,漢語信息熵和英語有區(qū)別？,這書寫的很好，吳軍博士當年寫谷歌板報的功底可見一斑。,吳軍博士李開復：精通技術，并能夠用清晰的語言公之于眾,兩個19世紀曾經叱咤風云的巨頭，一個虎落平陽，一個老驥伏櫪關鍵時刻的抉擇：當互聯網來臨,甲乙丙三個實力相當的運動員要進行一次比賽，老王是比賽的裁判和記分員，他必須觀察并如實記錄三位選手的名次。所以對于他來說，比賽結果有A33=6種，由于運動員實力相當，每種結果出現的可能性一樣，所以結果的熵是log26。老李是比賽場地的管理員，他完全不關心誰勝誰負，而只想等到比賽結束下班回家，那么比賽對他的熵是多少呢？答案是零，因為他只關心比賽有沒有結束，而比賽只要一開始就注定會結束，這個結果是唯一確定的。所以老李根本不用觀察比賽，只要坐著等就可以了。不同的觀察者，由于目的和觀測能力的差異，同一個事件的熵也可能是不同的。參考文獻：知乎,舉個栗子Example,我們再回頭看老王的記分板，他用三組二進制數記錄比賽結果。老王的兒子小王（程序員）認為：由于比賽只有三位選手，只要其中兩位選手的名次確定第三位選手的名次也就確定了。因此第三組二進制數完全是沒有必要的（我們也稱它為冗余），如001表示甲乙丙的結果，010表示甲丙乙的結果這樣老王每次就只需要三位二進制數（3比特）就可以記錄原本要6比特才能表示的信息了。無損壓縮是可能的。這也是清晰度差不多的視頻文件有的格式卡成狗有的格式卻十分流暢的原因。參考文獻：知乎,More更多,總之，熵就是系統內無序程度，熱力學熵就是熱力學系統分子的無序程度