信息論基礎(chǔ)-課件

信息論--基礎(chǔ)理論與應(yīng)用

北京理工大學(xué)信息與電子學(xué)院

2014年3月

ppt課件課程類型：專業(yè)選修課學(xué)時：32學(xué)時授課時間：第一周----第八周考試時間：第九周教材：《信息論—基礎(chǔ)理論與應(yīng)用》,傅祖蕓,電子工業(yè)出版社參考教材：

①《信息論與編碼》,陳運,電子工業(yè)出版社②《應(yīng)用信息論基礎(chǔ)》,朱雪龍，清華大學(xué)出版社

③《信息論與編碼學(xué)習(xí)輔導(dǎo)及習(xí)題詳解》傅祖蕓,電子工業(yè)出版社

考核：平時成績15--20％（作業(yè)、考勤）

期末考試80--85％（閉卷）答疑：每周星期五下午，4:00—5:00，10＃教學(xué)樓313室聯(lián)系電話：68912615郵箱：zhrh@ppt課件ppt課件課程概述當今的時代是一個信息的時代，信息處理技術(shù)的不斷進步極大的影響了我們的生活，使我們的生活質(zhì)量得到很大提高。本課程將介紹信息科學(xué)的基礎(chǔ)理論和基本方法，課程將基于一個通信系統(tǒng)的抽象數(shù)學(xué)模型進行展開，課程的數(shù)學(xué)基礎(chǔ)為概率論。整個課程可分為基礎(chǔ)理論和編碼理論兩部分組成。ppt課件學(xué)習(xí)方法

本課程以概率論為基礎(chǔ)，數(shù)學(xué)推導(dǎo)較多，學(xué)習(xí)時主要把注意力集中到概念的理解上，不要過分追求數(shù)學(xué)細節(jié)的推導(dǎo)。學(xué)習(xí)時一定要從始至終注意基本概念的理解，不斷加深概念的把握。學(xué)習(xí)時注意理解各個概念的“用處”，結(jié)合其他課程理解它的意義，而不要把它當作數(shù)學(xué)課來學(xué)習(xí)，提倡獨立思考，注重思考在學(xué)習(xí)中的重要性。ppt課件信息論信息論已經(jīng)成為現(xiàn)代信息科學(xué)的一個重要組成部分，它是現(xiàn)代通信和信息技術(shù)的理論基礎(chǔ)。現(xiàn)代信息論又是數(shù)學(xué)概率論下的一個分支，與遍歷性理論、大偏差理論以及統(tǒng)計力學(xué)等都有密切關(guān)系，因此信息論已成為大學(xué)諸多專業(yè)的必修課和選修課，并不再局限于已有的通信工程、電子工程、信息工程等專業(yè)。信息論是人們在長期通信工程的實踐中，由通信技術(shù)與概率論、隨機過程和數(shù)理統(tǒng)計相結(jié)合而逐步發(fā)展起來的一門學(xué)科。以1948年Shannon發(fā)表的論文《通信的數(shù)學(xué)理論》為標志，宣告了信息論這門學(xué)科的誕生。近半個世紀以來，以通信理論為核心的經(jīng)典信息論，正以信息技術(shù)為物化手段，向高精尖方向迅猛發(fā)展，并以神奇般的力量把人類社會推入了信息時代。ppt課件第一章緒論1.１信息的概念１.2信息論研究的對象、目的和任務(wù)１.3信息論發(fā)展簡史與信息科學(xué)ppt課件1.1信息的概念(1)信息的定義信息是信息論中最基本、最重要的概念，它是一個既抽象又復(fù)雜的概念。信息的概念是在實踐中產(chǎn)生，以前一直被看作是消息的同義詞。信息的概念十分廣泛，不同的定義在上百種以上。數(shù)學(xué)家認為：信息是使概率分布發(fā)生改變的東西。哲學(xué)家認為：信息是物質(zhì)成分的意識成分按完全特殊的方式融合起來的產(chǎn)物。ppt課件

1928年，美國數(shù)學(xué)家哈特萊(Hartley)在《貝爾系統(tǒng)電話雜志》上發(fā)表了一篇題為《信息傳輸》的論文。他認為“信息是選擇的自由度”。ppt課件美國數(shù)學(xué)家、控制論的主要奠基人維納(Wiener）在1950年出版的《控制論與社會》一書中寫到：“信息既不是物質(zhì)又不是能量，信息就是信息”。這句話起初受到批評和嘲笑。但正是這句話揭示了信息的特質(zhì)：即信息是獨立于物質(zhì)和能量之外存在于客觀世界的第三要素。ppt課件1948年，另一位美國數(shù)學(xué)家香農(nóng)(C.E.Shannon)

在《貝爾系統(tǒng)電話雜志》發(fā)表了題為《通信的數(shù)學(xué)理論》的長篇論文。他創(chuàng)立了信息論，他認為“信息是事物運動狀態(tài)或存在方式的不確定性的描述”。ppt課件(2)信息與消息和信號的區(qū)別在通信中對信息的表達分為三個層次：信號、消息、信息。信號：是信息的物理表達層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實體，可測量、可描述、可顯示。如電信號、光信號等。消息：(或稱為符號)是信息的數(shù)學(xué)表達層，它雖不是一個物理量，但是可以定量地加以描述，它是具體物理信號的進一步數(shù)學(xué)抽象，可將具體物理信號抽象為兩大類型：

1)

離散(數(shù)字)消息，是一組未知量，可用隨機序列來描述：U=(U1…Ui…UL)2)連續(xù)(模擬)消息，也是未知量，它可用隨機過程來描述：U(t,ω)ppt課件信息：信息是指各個事物運動的狀態(tài)及狀態(tài)變化的方式。人們從來自對周圍世界的觀察得到的數(shù)據(jù)中獲得信息。信息是抽象的意識或知識，它是看不見、摸不到的。人腦的思維活動產(chǎn)生的一種想法，當它仍儲存在腦子中的時候就是一種信息。信息是信號與消息的更高表達層次。三個層次中，信號最具體，信息最抽象。它們?nèi)咧g的關(guān)系是哲學(xué)上的內(nèi)涵與外延的關(guān)系。

ppt課件信息與消息和信號的關(guān)系信息---可以認為是具體的物理信號、數(shù)學(xué)描述的消息的內(nèi)涵，即信號具體載荷的內(nèi)容、消息描述的含義。信號--則是抽象信息在物理層表達的外延；消息--則是抽象信息在數(shù)學(xué)層表達的外延。同一信息，可以采用不同的信號形式(比如文字、語言、圖象等)來載荷；同一信息，也可以采用不同的數(shù)學(xué)表達形式(比如離散或連續(xù))來定量描述；同一信號形式，比如“0”與“1”可以表達不同形式的信息，比如無與有、斷與通、低與高(電平)等等。ppt課件從以上分析可知，在通信系統(tǒng)中形式上傳輸?shù)氖窍?，但實質(zhì)上傳輸?shù)氖切畔?。消息只是表達信息的工具，載荷信息的客體。顯然，在通信中被利用的（即攜帶信息的）實際客體是不重要的，而重要的是信息。信息較抽象，而消息是較具體的，但不一定是物理性的。通信的結(jié)果是消除或部分消除不確定性從而獲得信息。ppt課件(3)信息的性質(zhì)香農(nóng)信息論層次：考慮事物運動狀態(tài)及其變化方式的外在形式，實際上研究的是語法信息。信息的抽象性和重要性信息的5條主要特征信息的11條重要性質(zhì)ppt課件

信息的抽象性和重要性抽象性：信息本身既看不見，又摸不著，沒有氣味、沒有顏色、沒有形狀、沒有大小、沒有重量……，它是非常抽象的東西。重要性：信息在信息化程度越來越高的社會中將起到越來越重要的作用，是比物質(zhì)和能量更為寶貴的資源，全面掌握信息的概念，正確、及時、有效地利用信息，能夠為人類創(chuàng)造更多的財富。ppt課件

綜合起來，信息有以下主要特征：

信息來源于物質(zhì)，又不是物質(zhì)本身；它從物質(zhì)的運動中產(chǎn)生出來，又可以脫離源物質(zhì)而相對獨立地存在。

信息來源于精神世界，但又不局限于精神領(lǐng)域。

12ppt課件

信息與能量息息相關(guān)，但又與能量有本質(zhì)的區(qū)別。

信息具有知識的本性，但又比知識的內(nèi)涵更廣泛。

信息可以被認識主體獲取和利用。

345ppt課件

根據(jù)上述特征和信息的基本定義，可以導(dǎo)出信息的一些重要性質(zhì)：

存在的普遍性

有序性相對性

可度量性

可擴充性

可存儲、傳輸與攜帶性

ppt課件

信息在信息化程度越來越高的社會中將起到越來越重要的作用，是比物質(zhì)和能量更為寶貴的資源，全面掌握信息的概念，正確、及時、有效地利用信息，能夠為人類創(chuàng)造更多的財富。

可壓縮性

可擴散性

可替代性

可共享性

時效性信息的獨有性質(zhì)ppt課件

按照信息的性質(zhì)

1語法語義語用

按照觀察的過程

實在先驗后驗

2

信息的分類

事物運動狀態(tài)和狀態(tài)改變的方式的本身事物運動狀態(tài)和方式的具體含義事物運動狀態(tài)和方式及其具體含義對觀察者的效用ppt課件客觀主觀

按照信息的地位

按照信息的作用有用無用干擾34ppt課件真實虛假不定

按照信息的邏輯意義

按照信息的傳遞方向

前饋反饋56ppt課件宇宙自然社會思維工業(yè)農(nóng)業(yè)軍事政治科技文化經(jīng)濟市場管理

按照信息的生成領(lǐng)域

7

按照信息的應(yīng)用部門

8ppt課件語聲圖象文字數(shù)據(jù)計算電磁語聲圖象文字光學(xué)生物

按照信息的來源9

按照信息載體的性質(zhì)

10ppt課件連續(xù)離散半連續(xù)

按照攜帶信息的信號的性質(zhì)

11ppt課件在眾多的分類原則和方法中，最重要的就是按照信息性質(zhì)的分類。

按照性質(zhì)的不同可以把信息劃分成語法信息、語義信息和語用信息三個基本類型。其中最基本也是最抽象的類型是語法信息。也是迄今為止在理論上研究得最多的類型。

ppt課件1.2信息論研究的對象、目的和內(nèi)容研究對象：信息論是一門應(yīng)用概率論、隨機過程、數(shù)理統(tǒng)計和近世代數(shù)的方法，來研究信息的傳輸、提取和處理系統(tǒng)中一般規(guī)律的工程學(xué)科。ppt課件研究目的：它的主要目的是提高信息系統(tǒng)的可靠性、有效性和安全性以便達到系統(tǒng)最優(yōu)化。ppt課件

信息論的研究對象是廣義通信系統(tǒng)。不僅有電子的、光學(xué)的信號傳遞系統(tǒng)，任何系統(tǒng)，只要能夠抽象成通信系統(tǒng)模型，都可以用信息論研究，如神經(jīng)傳導(dǎo)系統(tǒng)、市場銷售系統(tǒng)等等。關(guān)于信息論的研究內(nèi)容，一般有以下三種解釋：ppt課件

主要研究信息的測度、信道容量、信息率失真函數(shù)，與這三個概念相對應(yīng)的香農(nóng)三定理以及信源和信道編碼。

信息論基礎(chǔ)

亦稱香農(nóng)信息論或狹義信息論。

應(yīng)用近代概率統(tǒng)計方法研究信息的基本性質(zhì)及度量方法，研究信息傳輸、處理等一般規(guī)律的學(xué)科。1ppt課件香農(nóng)信息論信源熵信道容量無失真信源編碼定理率失真函數(shù)信源編碼信道編碼限失真信源編碼定理

信道編碼定理密碼ppt課件

主要是研究信息傳輸和處理問題。除了香農(nóng)基本理論之外，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計檢測與估計理論、調(diào)制理論。后一部分內(nèi)容以美國科學(xué)家維納（N·Wiener）為代表。一般信息論

2ppt課件一般信息論香農(nóng)信息論噪聲理論調(diào)制理論信號濾波預(yù)測理論統(tǒng)計檢測估計理論ppt課件

雖然維納和香農(nóng)等人都是運用概率和統(tǒng)計數(shù)學(xué)的方法研究準確或近似再現(xiàn)消息的問題，都是通信系統(tǒng)的最優(yōu)化問題。但他們之間有一個重要的區(qū)別。

ppt課件

維納研究的重點是在接收端。研究消息在傳輸過程中受到干擾時，在接收端如何把消息從干擾中提取出來，并建立了最佳過濾理論（維納濾波器）、統(tǒng)計檢測與估計理論、噪聲理論等。

發(fā)送接收ppt課件

香農(nóng)研究的對象是從信源到信宿的全過程，是收、發(fā)端聯(lián)合最優(yōu)化問題，重點是編碼。為此，發(fā)展了信息測度理論、信道容量理論和編碼理論等等。

發(fā)送接收ppt課件香農(nóng)信息論的缺陷①香農(nóng)定義信息的出發(fā)點是假定事物狀態(tài)可以用一個經(jīng)典集合論為基礎(chǔ)的概率模型來描述。實際存在的某些事物運動狀態(tài)要尋找一個合適的概率模型往往是非常困難的。某些情況下，這一模型不一定存在。②香農(nóng)定義信息的度量沒有考慮收信者的主觀性和主觀意義，也撇開了信息的具體含義、具體用途、重要程度和引起的后果等元素。這就與實際情況不完全一致。香農(nóng)信息的定義和度量是科學(xué)的，能反映信息的某些本質(zhì)；但卻是有缺陷的、有局限的。這樣，它的適用范圍會受到嚴重影響。ppt課件

反過來，所有研究信息的識別、控制、提取、變換、傳輸、處理、存貯、顯示、價值、作用、安全以及信息量的大小的一般規(guī)律以及實現(xiàn)這些原理的技術(shù)手段的工程學(xué)科，信息論的完備和延伸，也都屬于廣義信息論的范疇。

概括說來，凡是能夠用廣義通信系統(tǒng)模型描述的過程或系統(tǒng)，都能用信息基本理論來研究。

廣義信息論

3ppt課件

廣義信息論

一般信息論香農(nóng)信息論ppt課件統(tǒng)計信息論：也稱狹義信息論/香農(nóng)信息論。主要研究信息測度、信道容量、信息率失真函數(shù)，與這三個概念相對應(yīng)的香農(nóng)三定理，信源編碼，信道編碼。工程信息論：主要研究信息傳輸和處理問題。除香農(nóng)基本理論之外，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計檢測和估計理論、調(diào)制理論。后一部分內(nèi)容以維納為代表。廣義信息論：是一門綜合性的新型學(xué)科—信息科學(xué)。至今沒有嚴格的定義。凡是能夠用廣義通信系統(tǒng)模型描述的過程或系統(tǒng)，都能用信息基本理論來研究。不僅包括一般信息論的內(nèi)容，還包括如醫(yī)學(xué)、生物學(xué)、心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語言學(xué)、語義學(xué)、社會學(xué)、經(jīng)濟管理中有關(guān)信息的問題。反過來，所有研究信息的識別、控制、提取、變換、傳輸、處理、存儲、顯示、價值、作用和信息量的大小的一般規(guī)律以及實現(xiàn)這些原理的技術(shù)手段的工程學(xué)科，都屬于廣義信息論的范疇。ppt課件香農(nóng)信息論的科學(xué)體系ppt課件

總之，人們研究信息論的目的是為了高效、可靠、安全并且隨心所欲地交換和利用各種各樣的信息。

ppt課件

信息論自誕生到現(xiàn)在不過60多年，在人類科學(xué)史上是相當短暫的。但它的發(fā)展和對學(xué)術(shù)界及人類社會的影響是相當廣泛和深刻的。信息作為一種資源，如何開發(fā)、利用、共享，是人們普遍關(guān)心的問題。1.3信息論發(fā)展簡史與信息科學(xué)ppt課件

在人類歷史的長河中，信息傳輸和傳播手段經(jīng)歷了五次重大變革：語言的產(chǎn)生。文字的產(chǎn)生。印刷術(shù)的發(fā)明。電報、電話的發(fā)明。計算機技術(shù)與通信技術(shù)相結(jié)合，促進了網(wǎng)絡(luò)通信的發(fā)展。12345ppt課件1924年，奈奎斯特（HarryNyquist）(1889-1976)解釋了信號帶寬和信息速率之間的關(guān)系。ppt課件

20世紀30年代，新的調(diào)制方式，如調(diào)頻、調(diào)相、單邊帶調(diào)制、脈沖編碼調(diào)制和增量調(diào)制的出現(xiàn)，使人們對信息能量、帶寬和干擾的關(guān)系有了進一步的認識。

ppt課件1936年，阿姆斯特朗（Edwin·Armstrong)指出增大帶寬可以使抗干擾能力加強，并根據(jù)這一思想提出了寬頻移的頻率調(diào)制方法。

ppt課件

1939年，達得利（HomerDudley）發(fā)明了帶通聲碼器，指出通信所需帶寬至少同待傳送消息的帶寬應(yīng)該一樣。聲碼器是最早的語音數(shù)據(jù)壓縮系統(tǒng)。這一時期還誕生了無線電廣播和電視廣播。ppt課件

1928年，哈特萊（Hartley）首先提出了用對數(shù)度量信息的概念。Hartley的工作給Shannon很大的啟示,他在1941～1944年對通信和密碼進行深入研究，用概率論和數(shù)理統(tǒng)計的方法系統(tǒng)地討論了通信的基本問題，得出了幾個重要而帶有普遍意義的結(jié)論。ppt課件闡明通信系統(tǒng)傳遞的對象；提出了信息熵的概念；指出通信系統(tǒng)的中心問題；指明了解決問題的方法。1234ppt課件

以上這些成果1948年以“通信的數(shù)學(xué)理論”（Amathematicaltheoryofcommunication）為題公開發(fā)表，標志著信息論的正式誕生。

維納（Wiener）在研究火控系統(tǒng)和人體神經(jīng)系統(tǒng)時，提出了在干擾作用下的信息最佳濾波理論，成為信息論的一個重要分支。

ppt課件

50年代，信息論在學(xué)術(shù)界引起了巨大反響。1951年，美國無線電工程師協(xié)會（IRE）成立了信息論組，并于1955年正式出版了信息論匯刊。

1959年，香農(nóng)發(fā)表了“保真度準則下的離散信源編碼定理”（Codingtheoremsforadiscretesourcewithafidelitycriterion）系統(tǒng)地提出了信息率失真理論（rate-distortiontheory）。為信源壓縮編碼的研究奠定了理論基礎(chǔ)。

ppt課件

60年代，信道編碼技術(shù)有了較大發(fā)展，尤其，以Viterbi譯碼為代表的譯碼方法被美國衛(wèi)星通信系統(tǒng)采用后，使它成為信息論的又一重要分支。

1961年，香農(nóng)的重要論文“雙路通信信道”開拓了網(wǎng)絡(luò)信息論的研究。1970年以來，隨著衛(wèi)星通信、計算機通信網(wǎng)的迅速發(fā)展，網(wǎng)絡(luò)信息理論的研究成為當前信息