《通信原理》課件第3講 信息及其度量

第3講信息及其度量信息及其度量（重點(diǎn)）信息：是消息中包含的有效內(nèi)容如何度量離散消息中所含的信息量?鐵路系統(tǒng)運(yùn)送貨物量多少采用“貨運(yùn)量”來度量通信系統(tǒng)中傳輸信息的多少采用“信息量”來度量。注意：信息量的大小實(shí)際上與內(nèi)容無關(guān)一個(gè)消息對于接收者很有價(jià)值（即信息量大）在于這個(gè)消息是他不知道的事情或覺得不可能發(fā)生的事情（即小概率事件）

【例】“某客機(jī)墜毀”這條消息比“今天下雨”這條消息包含有更多的信息。

信息及其量度一條信息發(fā)生的概率越小，信息量越大；概率越大（一種極端情況是“必然的事情”信息量為0）則信息量越小于是，對于一條信息x，人們用下列公式表示其信息量I：之所以取對數(shù)是由于信息量的“累加性”決定的1.4信息及其量度信息量的單位由對數(shù)底的取值決定。若對數(shù)以2為底時(shí)單位是“比特”（bit—binaryunit的縮寫）；若以e為底時(shí)單位是“奈特”（nat—natureunit的縮寫）；若以10為底時(shí)單位是“哈特”（Hart—Hartley的縮寫）。通常采用“比特”作為信息量的實(shí)用單位。同學(xué)們要掌握的[例題1]某信源每天播報(bào)某地的天氣預(yù)報(bào)，此地晴天多云、陰、雨的概率分別為1/2、1/4、1/8、1/8，求：（1）晴、多云、陰、雨的各自所含信息量（2）信息串“晴-多云-陰-晴-晴-晴-多云-雨”所含的總信息量（3）此信源的每個(gè)消息的平均信息量（稱為“信息熵”）[例題1]（解）[例題1]（解）稱為信息熵，因?yàn)槠渫ㄓ霉綖檫@個(gè)公式與物理熱力學(xué)中的熵很相似。但熱力學(xué)中的熵總是增加的，而信息熵在通信過程中則總是減小的。請注意其量綱[例題2]

一離散信源由“0”，“1”，“2”，“3”四個(gè)符號組成，它們出現(xiàn)的概率分別為3/8，1/4，1/4，1/8，且每個(gè)符號的出現(xiàn)都是獨(dú)立的。試求某消息201020130213001203210100321010023102002010312032100120210的信息量?！窘狻看讼⒅?，“0”出現(xiàn)23次，“1”出現(xiàn)14次，“2”出現(xiàn)13次，“3”出現(xiàn)7次，共有57個(gè)符號，故該消息的信息量

每個(gè)符號的算術(shù)平均信息量為

[例題2]若用熵的概念來計(jì)算：則該消息的信息量

以上兩種結(jié)果略有差別的原因在于，它們平均處理方法不同。前一種按算數(shù)平均的方法，結(jié)果可能存在誤差。這種誤差將隨著消息序列中符號數(shù)的增加而減小。 當(dāng)消息序列較長時(shí)，用熵的概念計(jì)算更為方便。習(xí)題某信源符號集由A、B、C、D、E、F組成，每個(gè)符號獨(dú)立出現(xiàn)，其概率分別為1