信息熵及其應用

1、信息熵及其應用第1頁，共40頁，2022年，5月20日，0點55分，星期一信息能否度量 ？物質、能量和信息是構成客觀世界的三大要素。信息（information）是什么?至今信息還沒有一個公認的定義一般定義：常常把消息中有意義的內容稱為信息。第2頁，共40頁，2022年，5月20日，0點55分，星期一認識問題的過程： 當我們對一問題毫無了解時，對它的認識是不確定的，在對問題的了解過程中，通過各種途徑獲得信息，逐漸消除了不確定性，獲得的信息越多，消除的不確定性也越多。我們可以用消除不確定性的多少來度量信息量的大小。例：會堂有20排、每排20個座位。找一個人。甲告訴消息：此人在第10排；乙告訴消息

2、：此人在第10排、第10座。第3頁，共40頁，2022年，5月20日，0點55分，星期一是否存在信息量的度量公式 ？1948年，美國數學家、信息論的創(chuàng)始人Shannon在題為“通訊的數學理論”的論文中指出：“信息是用來消除隨機不定性的東西”。并應用概率論知識和邏輯方法推導出了信息量的計算公式 Claude Elwood Shannon (April 30, 1916 - February 24, 2001) has been called the father of information theory. 第4頁，共40頁，2022年，5月20日，0點55分，星期一公理1：信息量是事件發(fā)生概率

3、的連續(xù)函數；公理2：信息量是有限值；公理3：如果事件A和事件B的發(fā)生是相互獨立的，則獲知事件A和事件B將同時發(fā)生的信息量是單獨獲知兩事件發(fā)生的信息量之和。設事件發(fā)生的概率為P，則滿足上述公理的信息量函數為為應用方便，可取c=1，a=e，單位為奈特（nat）第5頁，共40頁，2022年，5月20日，0點55分，星期一信息量函數 I= -lnp 如何體現不確定性的消除？第6頁，共40頁，2022年，5月20日，0點55分，星期一例：會堂有20排、每排20個座位。找一個人。甲告訴消息(A)：此人在第10排；乙告訴消息(B)：此人在第10排、第10座。由信息量公式 I= -lnp 可知 I 是 p 的

4、單調下降函數第7頁，共40頁，2022年，5月20日，0點55分，星期一信息熵(entropy )的概念設離散型隨機變量X的概率分布為 X的信息熵定義為“加權平均信息量” 第8頁，共40頁，2022年，5月20日，0點55分，星期一信息熵的直觀意義 變量的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。 一個系統(tǒng)越是有序，信息熵就越低；反之，一個系統(tǒng)越是混亂，信息熵就越高。所以，信息熵也可以說是系統(tǒng)有序化程度的一個度量。X 甲贏 乙贏P 0.9 0.1H 0.325X 甲贏 乙贏P 0.5 0.5H 0.693第9頁，共40頁，2022年，5月20日，0點55分，星期一熵的性質連續(xù)

5、非負性對稱性擴展性可加性極值性：第10頁，共40頁，2022年，5月20日，0點55分，星期一1948年，Shannon提出了熵的概念，并以此作為信息的度量，宣告了信息論作為一門科學學科的誕生。近年來，隨著計算機應用的發(fā)展和信息時代的來臨，信息論理論和應用的研究更顯示出其重要意義。第11頁，共40頁，2022年，5月20日，0點55分，星期一應用1：識別假幣有12枚外形相同的硬幣，其中一枚是假幣（重量略有不同），如何用沒有砝碼的天平用最少次數找出假幣？每個硬幣可能是真，也可能是假，且假幣可能重一些，也可能輕一些，故共有24種可能，不確定性為ln24。第12頁，共40頁，2022年，5月20日，

6、0點55分，星期一將硬幣分成3份，其中2部分在天平的兩邊。實驗結果有3種可能性：假幣在天平左邊、右邊、不在天平上。當3種可能性概率相同時，熵最大，因此每次實驗提供的最大信息熵為ln3。設至少秤k次， k次實驗提供的信息熵最多為kln3,有l(wèi)n24=kln3可得k至少為3。第13頁，共40頁，2022年，5月20日，0點55分，星期一應用2：熵與參數估計的似然函數第14頁，共40頁，2022年，5月20日，0點55分，星期一應用3：群體遺傳學AaAa第15頁，共40頁，2022年，5月20日，0點55分，星期一第16頁，共40頁，2022年，5月20日，0點55分，星期一由此可見，無論第一代基因

7、型概率分布為何值，第二代基因型熵即達到最大 多對等位基因也有相同的結論AaBbAaBb第17頁，共40頁，2022年，5月20日，0點55分，星期一HardyWeinberg 平衡(HW平衡)定律 一個隨機交配的群體中，等位基因頻率保持不變，基因型頻率至多經過一個世代也將保持不變。第18頁，共40頁，2022年，5月20日，0點55分，星期一問題的提出在信息論中，如何評價信源提供信息量的多少，是一個值得探討的問題?，F在用的是相對率的概念，是以信息熵與最大信息熵之比 作為依據的。問題：該值多大才算提供較多的信息量？ 第19頁，共40頁，2022年，5月20日，0點55分，星期一問題的設想提出平均

8、信息熵作為評價依據。在信息論中也是如此，當信源提供的信息量達到或超過平均信息熵時，可認為已提供了較多的信息。以學習成績比較為例，眾所周知，成績好壞，除了與最高分比較，更多的是與平均成績比較，當某個學生的成績超過平均成績時，說明該生的成績較好，否則說明應該發(fā)奮努力了。第20頁，共40頁，2022年，5月20日，0點55分，星期一問題的解決提出了平均信息熵的概念推導了計算公式、性質給出了應用：作為信源提供信息量多少的評價依據。 第21頁，共40頁，2022年，5月20日，0點55分，星期一平均值概念的推廣第22頁，共40頁，2022年，5月20日，0點55分，星期一平均信息熵的定義第23頁，共40

9、頁，2022年，5月20日，0點55分，星期一第24頁，共40頁，2022年，5月20日，0點55分，星期一第25頁，共40頁，2022年，5月20日，0點55分，星期一平均信息熵公式公式： 與調和級數有關n23456789100.50.831.081.281.451.591.721.831.93第26頁，共40頁，2022年，5月20日，0點55分，星期一平均信息熵的性質平均信息量至少 占最大值72%第27頁，共40頁，2022年，5月20日，0點55分，星期一平均信息熵的性質C為歐拉常數，近似值約0.5772，已計算到了108,000,000位，目前還不知道它是有理數還是無理數。第28頁，

10、共40頁，2022年，5月20日，0點55分，星期一平均信息熵的性質第29頁，共40頁，2022年，5月20日，0點55分，星期一平均信息熵的性質隨機變量X的函數f(X)的平均信息熵： 當f為單調函數時， 第30頁，共40頁，2022年，5月20日，0點55分，星期一平均信息熵的性質等值面 等值面位于如下的多面體中： 其中p*為下式的解 第31頁，共40頁，2022年，5月20日，0點55分，星期一平均信息熵的性質 等值面外的點組成一個凸集 第32頁，共40頁，2022年，5月20日，0點55分，星期一第33頁，共40頁，2022年，5月20日，0點55分，星期一應用1：食物營養(yǎng)價值的評價食物

11、中蛋白質的氨基酸種類多、組成復雜，營養(yǎng)豐富，對機體的生長發(fā)育有利，我們可根據蛋白質的氨基酸組成比率計算信息熵，并與平均信息熵比較，作為評價營養(yǎng)價值的一個依據 第34頁，共40頁，2022年，5月20日，0點55分，星期一稻米中8種氨基酸營養(yǎng)當量X分布表 蘇氨酸 0.049 纈氨酸 0.120 蛋氨酸 0.113異亮氨酸 0.113 亮氨酸 0.115 苯丙氨酸 0.134賴氨酸 0.08 色氨酸 0.231稻米中 大部分氨基酸可在人體內合成，但這8種氨基酸需從食物中攝取，可知稻米的營養(yǎng)價值是非常豐富的 。王德仁，等施氮對稻米蛋白質、氨基酸含量的影響J植物營養(yǎng)與肥料學報2001，7（3）：353

12、-6 第35頁，共40頁，2022年，5月20日，0點55分，星期一應用：基因信息熵根據四個堿基出現的概率，7個物種細胞色素C基因的信息熵如下表，由表可知，無論是高等生物還是低等生物，其信息熵都遠大于平均信息熵Human 1.9966 Chicken 1.9886Yeast 1.9817 Rat 1.9699Mouse 1.9599 Bovine 1.9582D.melangaster 1.9529第36頁，共40頁，2022年，5月20日，0點55分，星期一LIMBACH,K.J. & WU, R. Isolation and characterization of two alleles

13、of the chicken cytochrome c gene J. Nucl. Acid Res. 1983(11):8931-8941NISHIKIMI,M.,SUZUKI,H.,SHGOOHTA,Y.,SAKURAI,T.,SHMOONNURA,Y.,TANAKA,M. et al. Isolation of a cDNA clonefor human cytochrome c:from a gt11 expression library J. Biochemical and Biophysical Research communications,1987(145):34-44第37頁，共40頁，2022年，5月20日，0點55分，星期一應用：英文字母信息熵計算機鍵盤設計參考了英文字母