生活中的信息論

1、Wuhan University1生活中的信息論生活中的信息論武漢大學 電子信息學院吳靜Wuhan University2熵和漢語字典熵和漢語字典 每個漢字的信息熵每個漢字的信息熵l漢語常用字漢語常用字7000 7000 （1313比特比特）l考慮前考慮前 10% 10% 的漢字占文的漢字占文 本的本的95% 95% 以上以上 （8989比特比特）l考慮上下文相關(guān)性考慮上下文相關(guān)性 （5 5比特比特）獨立等概時最大Wuhan University3熵的冗余度和熵的冗余度和笑傲江湖笑傲江湖l117.2117.2萬字萬字( (586586萬比特萬比特) )l兩字節(jié)的國標編碼存儲兩字節(jié)的國標編碼存儲

2、 2.34MB2.34MBl壓縮編碼壓縮編碼 chm 1.05MBchm 1.05MB txt 1.88MB txt 1.88MB umd 1.21MB umd 1.21MB jar 0.332MB jar 0.332MB冗余度Wuhan University4漢語是最簡潔的語言漢語是最簡潔的語言不同語言的冗余度差別很大，而漢語不同語言的冗余度差別很大，而漢語在所有語言中冗余度是相對小的。在所有語言中冗余度是相對小的。Wuhan University5Google Google 的中英文自動翻譯的中英文自動翻譯 l統(tǒng)計語言模型統(tǒng)計語言模型 P(S) = P(w1)P(w2|w1)P(w3| w

3、1 w2)P(S) = P(w1)P(w2|w1)P(w3| w1 w2)P(wn|w1 w2P(wn|w1 w2wn-1)wn-1)P(S) = P(w1)P(w2|w1)P(w3|w2)P(S) = P(w1)P(w2|w1)P(w3|w2)P(wi|wi-1)P(wi|wi-1) P(wi|wi-1) = P(wi-1,wi)/ P (wi-1)P(wi|wi-1) = P(wi-1,wi)/ P (wi-1) Wuhan University6Google Google 的中英文自動翻譯的中英文自動翻譯 語言模型是為了用上下文預(yù)測當前的文字，模語言模型是為了用上下文預(yù)測當前的文字，模型

4、越好，預(yù)測得越準，那么當前文字的不確型越好，預(yù)測得越準，那么當前文字的不確定性就越小。定性就越小。 l信息熵可以直接用于衡量統(tǒng)計語言信息熵可以直接用于衡量統(tǒng)計語言模型的好壞。模型的好壞。 l賈里尼克賈里尼克 語言模型復雜度語言模型復雜度(Perplexity) (Perplexity) Wuhan University7李開復的李開復的 Sphinx Sphinx 語音識別系統(tǒng)語音識別系統(tǒng) l不用任何語言模型不用任何語言模型 復雜度為復雜度為997997 （句子中每個位置有（句子中每個位置有 997 997 個可能的單詞可以填入個可能的單詞可以填入 ）l只考慮前后詞的搭配不考慮搭配的概率只考慮

5、前后詞的搭配不考慮搭配的概率 復雜度為復雜度為 60 60 l考慮了搭配概率的二元語言模型考慮了搭配概率的二元語言模型 復雜度為復雜度為 20 20 Wuhan University8總統(tǒng)總統(tǒng)oror灌木叢灌木叢BushBush詞的二義性詞的二義性Wuhan University9互信息和詞的二義性互信息和詞的二義性l從大量文本中找出和總統(tǒng)布什一起出從大量文本中找出和總統(tǒng)布什一起出現(xiàn)的互信息最大的一些詞現(xiàn)的互信息最大的一些詞 總統(tǒng)、美國、國會、華盛頓總統(tǒng)、美國、國會、華盛頓 l找出和灌木叢一起出現(xiàn)的互信息最大找出和灌木叢一起出現(xiàn)的互信息最大的詞的詞 土壤、植物、野生土壤、植物、野生 l看看上下

6、文中哪類相關(guān)的詞多看看上下文中哪類相關(guān)的詞多 l不僅與上下文有關(guān)，與出現(xiàn)的環(huán)境也不僅與上下文有關(guān)，與出現(xiàn)的環(huán)境也有關(guān)系，例如克林頓究竟指夫妻中的有關(guān)系，例如克林頓究竟指夫妻中的哪一位哪一位Wuhan University10衡量新聞價值衡量新聞價值 為什么人咬狗是新聞為什么人咬狗是新聞, , 而狗咬人不而狗咬人不是新聞？是新聞？ 傳播學和新聞學上一個古老的命題l前者的信息熵大前者的信息熵大l轉(zhuǎn)向效用信息研究轉(zhuǎn)向效用信息研究Wuhan University11韋小寶的色子韋小寶的色子l灌了鉛的色子，六點朝灌了鉛的色子，六點朝 上的概率是三分之一上的概率是三分之一 每個面朝上的概率是多少？每個面朝

7、上的概率是多少？ Wuhan University12最大熵原理和投資最大熵原理和投資l不要把所有的雞蛋放在一個不要把所有的雞蛋放在一個籃子里籃子里 減小投資風險減小投資風險Wuhan University13最大熵原理和投資最大熵原理和投資l達拉皮垂兄弟達拉皮垂兄弟改進最大熵模改進最大熵模型算法型算法 文藝復興技術(shù)公司文藝復興技術(shù)公司 ， 從該基金從該基金 1988 1988 年創(chuàng)立年創(chuàng)立 至今，它的凈回報率高至今，它的凈回報率高 達平均每年達平均每年 34%34%，遠，遠 遠超過股神巴菲特的旗遠超過股神巴菲特的旗 艦公司伯克夏哈撒韋艦公司伯克夏哈撒韋 。Wuhan University14熱力學的熵和信息熵熱力學的熵和信息熵 熱力學中系統(tǒng)狀態(tài)總熱力學中系統(tǒng)狀態(tài)總是趨向于等概，熱熵是趨向于等概，熱熵總是趨向于增大。總是趨向于增大。Wuha