信息及香農信息論概述課件

信息及香農信息論簡介大綱第一部分信息的概念第二部分

香農信息論及應用第三部分

香農信息論的局限性第四部分

結束語世界的支柱之一:信息物質世界的三大支柱：物質、能量和信息Withoutmaterials,thereisnothing.

沒有物質的世界是虛無的世界Withoutenergy,nothinghappens.沒有能源的世界是死寂的世界Withoutinformation,nothingmakessense.沒有信息的世界是混亂的世界2022/12/155信息的定義從日常生活知識來理解有關科學家的論述香農：信息是事物運動狀態(tài)或存在方式的不確定性的描述艾什比：把信息定義為“差異度”維納：把信息定義為一種“組織性”的度量有關哲學家的論述信息是一切物質的屬性信息就是信息，不是物質也不是能量英國牛津字典：信息是談論的事情、新聞和知識韋氏字典：在觀察研究過程中獲得的數(shù)據(jù)情報、新聞和知識日本廣辭苑：信息是所觀察事物的知識2022/12/156消息、信號和信息消息（Message）：

信源發(fā)出的語言、文字、公式、數(shù)據(jù)、聲音、圖像等等。每個消息都是具體的，其內容千千萬萬，形式多種多樣。信號（Signal）：

替代消息并適合于在信道中傳輸?shù)氖沁B續(xù)或脈沖的電壓、電流、電磁波及光波。信源信道信宿消息(發(fā)送者)(收信者)干擾或噪聲2022/12/157消息、信號和信息

信息（Information）：信息是消息的內涵，是信號的價值，信息是能使信宿得以獲知解惑的東西。它應當是從千千萬萬不同形式不同內容的消息中抽象出來的、具有共性的、可定量測度的一個量，應該有它的單位和數(shù)學表達。2022/12/158消息、信號和信息信號最具體，它是一物理量，可測量、可顯示、可描述，同時它又是載荷信息的實體消息是具體的、非物理的，可描述為語言文字、符號、數(shù)據(jù)、圖片，能夠被感覺到，同時它是信息的載荷體，是信息論中主要描述形式信息是抽象的、非物理的

哲學層表達信息的物理層表達信息的數(shù)學層表達2022/12/1510信息的特征信息的客觀性信息與載體的不可分割性信息的價值性信息的時效性信息的可分享性信息的可傳遞性信息的可擴散性《信息論——基礎理論與應用》，博祖蕓編著，電子工業(yè)出版社2022/12/1512信息的性質性質一：普遍性信息是普遍存在的。性質二：無限性在整個宇宙時空中，信息是無限的。性質三：相對性對于同一事物，不同觀察者所獲得的信息量可能不同。性質四：轉移性信息可以在時間上或空間中從一點轉移到另一點。性質五：變換性信息是可變換的，可由不同的載體和不同的方法來載荷。2022/12/1514何為信息?什么能提供信息?例一：扔硬幣正反面不確定例二：天氣預報晴、多云、雨、雪、風：不確定例三：足球比賽勝負關系不確定何為信息?什么能提供信息?消息打電話時對方發(fā)出的聲音互聯(lián)網(wǎng)上的網(wǎng)頁廣播、電視的節(jié)目有些消息我們是未知的，有些是我們已知的人們感興趣的是未知的消息如何度量信息如何衡量信息量的大小?

事件發(fā)生的概率越小，此事件含有的信息量就越大。（不太可能發(fā)生的事件竟然發(fā)生了，令人震驚）例1：中國足球隊5：0力克韓國足球隊”含有的信息量大。（小概率事件發(fā)生了，事件信息量大）例2:中國足球隊0：1負于韓國足球隊”含有的信息量小。（大概率事件發(fā)生了，事件信息量小）17信息量我向你提供的信息量的大小就是你事先不知道結果的程度!也即是信息的不確定度。如果你事先全知道了,說明我提供的信息量等于0;如果你事先一無所知,說明我提供的信息量最多.不知道意味著在我告訴你之前你只能猜測!猜測就是按照每個可能結果的出現(xiàn)概率進行猜測!因此,你只知道這個事情的每個結果的發(fā)生概率!18信息量的度量所以,我提供的信息量就是由你事先知道的每個可能結果的發(fā)生概率(即隨機事件的概率分布)決定.簡單地說,信息就是:(1)當未知的變成已知的之后獲取的信息;(2)當未知的還沒變成已知之前包含的未知信息.什么是信息信源信道信宿消息(發(fā)送者)(收信者)干擾或噪聲香農：“信息是事物運動狀態(tài)或存在方式的不確定性的描述”。通過概率論和隨機過程測度信息不確定性的大小。香農的通信系統(tǒng)模型

信道信源信道/信源譯碼器信源/信道編碼器信宿噪聲通信系統(tǒng)模型

信號信號加噪聲消息消息通信系統(tǒng)模型

23信源編碼器與譯碼器信源編碼器的作用把信源發(fā)出的消息變換成由二進制碼元(或多進制碼元)組成的代碼組，這種代碼組就是基帶信號。同時通過信源編碼可以壓縮信源的冗余度，以提高通信系統(tǒng)傳輸消息的效率。信源譯碼器的作用把信道譯碼器輸出的代碼組變換成信宿所需要的消息形式，它的作用相當于信源編碼器的逆過程。母病愈，勿念2022/12/1524信道編碼器與譯碼器信道編碼器的作用在信源編碼器輸出的代碼組上有目的地增加一些監(jiān)督碼元，使之具有檢錯或糾錯的能力。信道譯碼器的作用具有檢錯或糾錯的功能，它能將落在其檢錯或糾錯范圍內的錯傳碼元檢出或糾正，以提高傳輸消息的可靠性。

信道編碼的主要作用是提高信息傳送的可靠性母病▓，勿念香農信息論及應用ClaudeShannon(1916-2001)香農其人20世紀中葉，信息論、控制論、系統(tǒng)論等標新立異的新理論相繼問世，有力地“晃動”著傳統(tǒng)的科學框架?？藙诘隆は戕r是一位美國數(shù)學工程師，作為信息論的創(chuàng)始人，人們認為他是20世紀最偉大的科學家之一。他在通信技術與工程方面的創(chuàng)造性工作，為計算機與遠程通信奠定了堅實的理論基礎。人們尊崇香農為信息論及數(shù)字通信時代的奠基之父。信息概念、“比特”克勞德·香農

(ClaudeElwoodShannon，1916-2001)1916年4月30日誕生于美國密西根州。父親是該鎮(zhèn)的法官，母親是鎮(zhèn)里的中學校長，香農的祖父是一位農場主兼發(fā)明家，發(fā)明過洗衣機和許多農業(yè)機械；此外，香農的家庭與大發(fā)明家愛迪生還有遠親關系。香農其人—家庭背景

1938年在MIT獲得獲得電氣工程碩士學位，碩士論文題目是《ASymbolicAnalysisofRelayandSwitchingCircuits》(繼電器與開關電路的符號分析)。他注意到電話交換電路與布爾代數(shù)之間的類似性，即把布爾代數(shù)的“真”與“假”和電路系統(tǒng)的“開”與“關”對應起來，并用1和0表示。于是他用布爾代數(shù)分析并優(yōu)化開關電路，這就奠定了數(shù)字電路的理論基礎。哈佛大學的伽登納(HowardGardner)教授說，“這可能是本世紀最重要、最著名的一篇碩士論文?！毕戕r其人—攻讀學位

1940年香農在MIT獲得數(shù)學博士學位，而他的博士論文卻是關于人類遺傳學的，題目是

《AnAlgebraforTheoreticalGenetics》(理論遺傳學的代數(shù)學)。香農其人—攻讀學位

1948年發(fā)表論文：《AMathematicalTheoryofCommunication》

“通信的根本問題是報文的再生，在某一點與另外選擇的一點上報文應該精確地或者近似地重現(xiàn)”這篇論文建立了信息論這一學科，給出了通信系統(tǒng)的線性示意模型的新思想在這篇論文中，香農首次引入“比特”(bit)一詞香農其人—信息理論

通信的數(shù)學理論是香農在數(shù)學與工程研究上的頂峰。他把通信理論的解釋公式化，對最有效地傳輸信息的問題進行了研究。后來，寫道：“信息理論可能像一個升空的氣球，其重要性超過了它的實際成就”香農其人—信息理論香農理論的重要特征是熵(entropy)的概念，他證明熵與信息內容的不確定程度有等價關系。熵曾經(jīng)是波爾茲曼在熱力學第二定律引入的概念，可以把它理解為分子運動的混亂度。信息熵也有類似意義。香農其人—信息理論熱能不能完全轉化為機械能，只能從高溫物體傳到低溫物體

香農可以熟練地玩一套雜技。一個膾炙人口的故事：他經(jīng)常騎著獨輪車、手里拋著三個球來到貝爾實驗室的大廳。

發(fā)明過有兩個座位的獨輪車，不過恐怕沒有人敢與他享；他還把獨輪車造成偏離地心的，騎在上面忽高忽低，像鴨子行走似的

這些活動表明了香農的主張，即好奇心比實用性對他的刺激更大。

他的名言是：“我感到奇妙的是事物何以集成一體?！?/p>

香農其人—業(yè)余愛好1941年香農以數(shù)學研究員的身份進入新澤西州的AT&T貝爾電話公司，并在貝爾實驗室工作到1972年；從24歲到55歲，整整31年。1956年他當了MIT的訪問教授，1958年成為正式教授，1978年退休。二戰(zhàn)時期，香農博士是一位著名的密碼破譯者。1949年香農發(fā)表了另外一篇重要論文

《CommunicationTheoryofSecrecySystems》

意義：使保密通信由藝術變成科學！

香農其人—參加工作

香農其人—榮譽獎項

是使我們的世界能進行立即通信的少數(shù)科學家和思想家之一是美國科學院院士、美國工程院院士、英國皇家學會會員、美國哲學學會會員獲得：1949年Morris獎、1955年Ballantine獎、1962年Kelly獎、1966年的國家科學獎章、IEEE的榮譽獎章、1978年Jaquard獎、1983年Fritz獎、1985年基礎科學京都獎佛蘭克林研究所的巴蘭亭獎章

美國工業(yè)電子工程協(xié)會頒發(fā)的凱萊獎

美國電機和電子工程協(xié)會的榮譽獎

香農的貢獻1948年發(fā)表“保密通信的信息理論”，首先用信息論的觀點對信息保密問題作了全面的論述；1959年發(fā)表“保真度準則下的離散信源編碼定理”-提出信息率失真理論，為信源壓縮編碼研究奠定理論基礎；1961年發(fā)表“雙路通信信道”，開拓了多用戶信息理論（網(wǎng)絡信息論）的研究。3.

影響是20世紀最杰出的人物之一。如果沒有他，很多我們現(xiàn)在使用的物品根本就不可能存在。數(shù)字革命是由香農最初發(fā)起的。

——內爾·斯羅恩（香農理論選集的編輯）Shannon理論的問世，象是引爆了一枚重磅的原子彈，震撼了整個科學界。

——J.Pierce(香農的合作者和朋友）信息論研究的對象一、研究對象前面介紹的統(tǒng)一的通信系統(tǒng)模型。人們通過系統(tǒng)中消息的傳輸和處理來研究信息傳輸和處理的共同規(guī)律。

信道信源譯碼器編碼器信宿噪聲通信系統(tǒng)模型

信號信號加噪聲消息消息通信系統(tǒng)模型

2022/12/1542數(shù)字通信系統(tǒng)模型信道信源信源編碼加密信道編碼干擾源信宿信源解碼解密信道解碼加密密鑰解密密鑰信息論研究的目的和內容

研究目的找到信息傳輸過程的共同規(guī)律，提高信息傳輸?shù)目煽啃?、有效性、保密性和認證性，以達到信息傳輸系統(tǒng)的最優(yōu)化。由以上四個指標所討論的系統(tǒng)優(yōu)化就構成了最著名的C.E.Shannon三個編碼定理與一個概念。香農信息論及應用香農信息論解決的主要問題：什么是信息？如何度量？在給定的信道中，信息傳輸有沒有極限？信息能否被壓縮和恢復？極限條件是什么？從實際環(huán)境中（如干擾、噪聲）抽取信息，極限條件是什么？在允許一定失真（Distortion）的條件下，信息能否被更大程度地壓縮？極限條件是什么？2022/12/1545信息論的形成和發(fā)展信息論的早期醞釀（19世紀到20世紀40年代）編碼技術產(chǎn)生：莫爾斯碼、波多碼早期通信中發(fā)現(xiàn)的問題信號的頻帶寬度和信噪比影響信道的通信容量。通信的數(shù)量與質量相互制約：有效性和可靠性抗干擾碼的出現(xiàn)。香農熵的產(chǎn)生

維納、費希爾、香農幾乎同時提出信息的度量形式1948年，香農發(fā)表論文《通信的數(shù)學理論》，奠定了現(xiàn)代信息論的基礎香農信息論的內容可用一句話概括為：“一個概念，三個定理”，就是信息熵的概念和三個編碼定理。香農信息論及應用香農信息論的內容是？0．關于信源信息的度量

香農定義了信息熵作為信源所含信息的量度，是信息論中最重要的概念。香農信息論及應用48隨機事件和隨機變量定義1：設一個實驗有共n個可能的結果，則每個可能結果都稱為一個事件。這個實驗也稱為一個隨機事件。性質1：設X是一個離散隨機變量，它有n個可能的取值，設每種取值出現(xiàn)的概率為p(xi),則49一、隨機事件的熵

一個事件可能發(fā)生，也可能不發(fā)生！但我們總在每個事件發(fā)生的概率都已知的條件下分析！

一個實驗，或者說一個事件，提供的信息就是：(1)實驗前該實驗所包含的未知信息；(2)實驗后這個實驗所提供的信息.

如何對信息量的大小進行定量刻劃?

再看一下彩票的例子.50例3設電腦彩票由8個10進制數(shù)組成，在開獎之前，108個可能號碼成為特等獎的概率相同,都是10-8.一旦開獎,我們就知道了特等獎的8個具體號碼,因而就獲得了8個十進制數(shù)的信息。

我們獲得的信息量與開獎前每個可能號碼成為特等獎的概率10-8有何關系?顯然,有8=-log1010-8

信息量的定量刻劃:

定義2

設是一個實驗中事件發(fā)生的概率,則稱為事件包含的自信息量.51熵的數(shù)學定義定義3.1(隨機事件的熵):設一個實驗X有

共n個可能的結果,則稱的數(shù)學期望為實驗X的熵(Entropy).其中約定

0log0=0.

52

因此,一個實驗的熵就是該實驗的每個可能結果包含的自信息量的平均值!

熵的單位與對數(shù)的底有關!

約定對數(shù)的底大于1!

當以2為底時,其單位稱為比特(bit);

當以10為底時,其單位稱為迪特(Det);53

例5設一個實驗有a和b兩個可能的結果,且實驗結果是a和b的概率分別為1/4和3/4,試計算該實驗的熵.解:根據(jù)熵的定義,有54

下面介紹熵的性質.

定義3.4一個實值函數(shù)f稱為在區(qū)間I上是凸

的,如果對任意的,都有如果對任意的,都有則稱f稱為在區(qū)間I上是嚴格凸的.55引理3.1(Jensen不等式)

設f是區(qū)間I上的一個連續(xù)的嚴格凸函數(shù),并且

,

則有且上述等號成立的充要條件是

推論1

f(x)=logb

x

(b>1)在區(qū)間x>0時是嚴格

凸的,因而當實數(shù)

滿足且有：且等號成立的充要條件是諸pi全相等.

定理3.1

設b>1,則有

且,都有(2)當且僅當,都有(1)(3)當且僅當存在使得58定理3.1說明:(1)結果確定的隨機事件不提供信息量,因而提供的信息量最少!(2)可能結果等可能發(fā)生的隨機事件提供的包含的信息量最大!這與我們的直覺是一致的!例:設一個事件X和一個事件Y，其概率空間如下：

香農信息論及應用可見，事件Y的不確定性要比事件X大(比特/符號)(比特/符號)則信息熵分別為香農信息論及應用通信的基本問題是什么？——高速度(可靠性)、高質量(有效性)的傳送信息第一、在不失真或允許一定失真條件下，如何用盡可能少的符號來傳送信源信息——信源編碼第二、在信道受干擾的情況下，如何增強信號的抗干擾能力，同時又使信息傳輸率最大——信道編碼一、香農第一定理二、香農第二定理三、香農第三定理無失真信源編碼有噪離散信道編碼保真度準則下的信源編碼香農信息論及應用一、香農第一定理二、香農第二定理三、香農第三定理香農信息論及應用1、香農第一定理（可變長無失真信源編碼定理）定理4.1設為q元離散無記憶信源S的N次擴展信源，若對進行編碼，碼符號集，則總可以找到一種編碼方法構成惟一可譯碼，使信源S中每個符號所需的平均編碼長度滿足：且當時有：香農信息論及應用表述二：若信源編碼碼率R>=H(S)，就存在惟一可譯變長編碼，可以實現(xiàn)無失真編碼；若R<H(S)，惟一可譯變長編碼不存在，不能實現(xiàn)無失真編碼。1、香農第一定理（可變長無失真信源編碼定理）香農信息論及應用香農第一定理舉例——什么是信源編碼？舉例ASCII信源編碼器ASCII編碼器{英文字母/符號/命令}二進代碼碼符號集{0，1}3）等長編碼定理、變長編碼定理、Huffman碼、Fano碼、算術碼、LZ碼過1）無失真信源編碼的實質：對離散信源進行適當?shù)淖儞Q，使變換后新的符號序列信源盡可能為等概率分布，從而使新信源的每個碼符號平均所含的信息量達到最大。2）香農第一定理是一個存在性定理，給出了信源編碼的極限值，奠定了信源編碼的理論依據(jù)。1、香農第一定理（可變長無失真信源編碼定理）在信息處理中的應用：香農信息論及應用3）等長編碼定理、變長編碼定理、Huffman碼、Fano碼、算術碼、LZ碼過2）香農第一定理是一個存在性定理，給出了信源編碼的極限值，奠定了信源編碼的理論依據(jù)。一、香農第一定理二、香農第二定理三、香農第三定理有效性可靠性矛盾X香農信息論及應用香農信息論及應用信源信道信宿消息(發(fā)送者)(收信者)干擾或噪聲2、香農第二定理（有噪信道編碼定理）在信道有噪聲的情況下，進行無錯誤傳輸?shù)淖畲笮畔鬏斅适鞘裁?？信息傳輸率：信道在單位時間內所傳輸?shù)钠骄畔⒘?、香農第二定理（有噪信道編碼定理）定理4.2設某離散無記憶信道有r個輸入符號，s個輸出符號信道容量為C。只要碼長n足夠長，總可以在輸入的個符號集中找到M個碼字（代表M個等可能的消息，且為任意小的正數(shù)）組成一個碼，并存在相應的譯碼規(guī)則，使信道輸出的錯誤概率任意小。香農信息論及應用表述二：若在信息傳輸率R不大于信道容量C（即R≤C），則存在一種編碼，它可以使信道輸出端的錯誤概率任意??；如果R>C，則不可能找到一種編碼，使輸出端錯誤概率任意小。

2、香農第二定理（有噪信道編碼定理）香農信息論及應用2、香農第二定理（有噪信道編碼定理）香農信息論及應用在信息處理中的應用：1、定理糾正了人們傳統(tǒng)固有的可靠性和有效性矛盾的觀點，指出極限編碼的存在性，奠定了信道編碼的理論基礎，為信道編碼理論和技術指明了方向。2、糾錯碼編碼調制理論、網(wǎng)絡信息理論一、香農第一定理三、香農第三定理二、香農第二定理香農信息論及應用香農信息論及應用3、香農第三定理（保真度準則下的信源編碼定理）信息率失真函數(shù)：在失真度小于等于D的條件下，信源必須傳輸?shù)淖钚∑骄畔⒘?）當D<0時,R(D)無意義2）存在一個Dmax，使D>Dmax時,R(D)=03）R(0)=H(X)4）在0<D<Dmax范圍內,R(D)是正的、連續(xù)的下凸函數(shù)R(D)DH(X)Dmax03、香農第三定理（保真度準則下的信源編碼定理）定理4.3設為一離散無記憶信源的信息率失真函數(shù)，并且有有限的失真測度D,則對于任意，以及任意長的碼長k，一定存在一種碼字個數(shù)為的信源編碼，使編碼后碼的平均失真度香農信息論及應用香農信息論及應用表述二：1）若給定了失真D，且編碼速率，則存在編碼，它的平均失真度2）若時，無論采用什么編碼，其平均失真大于D3、香農第三定理（保真度準則下的信源編碼定理）香農信息論及應用1）R(D)確定是保真度準則條件下，信源信息率壓縮的下限。2）R(D)在實際工程中可以作為衡量各種壓縮編碼方法性能優(yōu)劣的一種標尺。3）量化、數(shù)模轉換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎：3、香農第三定理（保真度準則下的信源編碼定理）在信息處理中的應用：香農信息論及應用2022/12/1577Shannon信息論壓縮理論有失真編碼無失真編碼等長編碼定理Shannon1948McMillan1953變長編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術碼(1976,1982)LZ碼(1977,1978)失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡信息理論糾錯碼編碼調制理論網(wǎng)絡最佳碼香農信息論在信息處理中的應用香農信息論及應用語音信號壓縮（G.711,GSM,Vocoder）圖象信號的壓縮（JPEG,MPEG）計算機文件壓縮（compress,gzip）模擬話路中數(shù)據(jù)傳輸速率的提高降低信息傳輸所需的功率香農信息論應用舉例香農信息論及應用計算機網(wǎng)中數(shù)據(jù)傳輸可靠性的保證計算機中的容錯問題圖像信號的復原與重建模式分類問題與樹分類器的設計其他（信息經(jīng)濟學、醫(yī)學、生物學、管理科學等）香農信息論應用舉例小結

把信息定義為“用來消除不確定性的東西”，并給出了其度量公式—信息熵；建立了一些重要的性能界：信源輸出的最大可能的信息量，滿足一定失真度的要求所必須傳遞的最小信息量，信道上的最大可能通過能力等；建立了一組重要的編碼定理，從理論上指明了為達到上述性能界限應當遵循的信息處理的方法和原則。這不僅從定性方面而且也從定量方面深刻地揭示了信息傳遞和處理的規(guī)律，使通信的研究從經(jīng)驗的階段轉變?yōu)榭茖W。香農信息論及應用大綱第一部分信息的概念第二部分

香農信息論及應用第三部分

香農信息論的局限性第四部分

結束語香農信息論的局限性一位朋友的疑問：我多遍地欣賞梅蘭芳大師的同一段表演，百看不厭，大師正在唱的正在表演的使我愉快，將要唱的和表演的我都知道，照你們的說法電視里沒給我任何信息，怎么能讓我接受呢？2022/12/1583信息論的形成和發(fā)展信息論的早期醞釀（19世紀到20世紀40年代）編碼技術產(chǎn)生：莫爾斯碼、波多碼早期通信中發(fā)現(xiàn)的問題信號的頻帶寬度和信噪比影響信道的通信容量。通信的數(shù)量與質量相互制約：有效性和可靠性抗干擾碼的出現(xiàn)。香農熵的產(chǎn)生

維納、費希爾、香農幾乎同時提出信息的度量形式1948年，香農發(fā)表論文《通信的數(shù)學理論》，奠定了現(xiàn)代信息論的基礎信息論的形成和發(fā)展信息論的建立與發(fā)展（1948～1980S）對香農信息理論進行嚴格的數(shù)學描述與論證（19