信息論第一章北理工課件

1、1 信息論信息論-基礎(chǔ)理論與應(yīng)用 北京理工大學(xué)北京理工大學(xué) 信息與電子學(xué)院信息與電子學(xué)院 2012年年2月月 2課程類型：專業(yè)選修課專業(yè)選修課學(xué) 時：32學(xué)時授課時間：第一周-第八周考試時間考試時間：第九周教 材：信息論信息論基礎(chǔ)理論與應(yīng)用基礎(chǔ)理論與應(yīng)用,傅祖蕓傅祖蕓,電子工業(yè)出版社電子工業(yè)出版社參考教材： 信息論與編碼信息論與編碼,陳運(yùn)陳運(yùn),電子工業(yè)出版社電子工業(yè)出版社 糾錯碼糾錯碼原理與方法原理與方法,王新梅王新梅,西安電子科技大學(xué)出版社西安電子科技大學(xué)出版社 應(yīng)用信息論基礎(chǔ)應(yīng)用信息論基礎(chǔ), ,朱雪龍，清華大學(xué)出版社朱雪龍，清華大學(xué)出版社 信息論與編碼學(xué)習(xí)輔導(dǎo)及習(xí)題詳解信息論與編碼學(xué)習(xí)輔導(dǎo)

2、及習(xí)題詳解傅祖蕓傅祖蕓,電子工業(yè)出版社電子工業(yè)出版社考 核： 平時成績平時成績 15-20（作業(yè)、考勤）（作業(yè)、考勤） 期末考試期末考試 80-85（閉卷）（閉卷）答 疑：每周星期四下午，每周星期四下午，4:005:00，教學(xué)樓，教學(xué)樓437室室 聯(lián)系電話：聯(lián)系電話：68912615 郵箱：郵箱： 34課程概述課程概述o 當(dāng)今的時代是一個當(dāng)今的時代是一個信息信息的時代，信息處理技術(shù)的時代，信息處理技術(shù)的不斷進(jìn)步極大的影響了我們的生活，使我們的不斷進(jìn)步極大的影響了我們的生活，使我們的生活質(zhì)量得到很大提高。本課程將介紹信息的生活質(zhì)量得到很大提高。本課程將介紹信息科學(xué)的科學(xué)的基礎(chǔ)理論基礎(chǔ)理論和和基本

3、方法基本方法，課程將基于一個，課程將基于一個通信系統(tǒng)的抽象數(shù)學(xué)模型進(jìn)行展開，課程的數(shù)通信系統(tǒng)的抽象數(shù)學(xué)模型進(jìn)行展開，課程的數(shù)學(xué)基礎(chǔ)為概率論。整個課程可分為學(xué)基礎(chǔ)為概率論。整個課程可分為基礎(chǔ)理論基礎(chǔ)理論和和編碼理論編碼理論兩部分組成。兩部分組成。5學(xué)習(xí)方法學(xué)習(xí)方法 本課程以概率論為基礎(chǔ)，數(shù)學(xué)推導(dǎo)較多，學(xué)本課程以概率論為基礎(chǔ)，數(shù)學(xué)推導(dǎo)較多，學(xué)習(xí)時主要把注意力集中到習(xí)時主要把注意力集中到概念概念的理解上，不要的理解上，不要過分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。學(xué)習(xí)時一定要從始過分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。學(xué)習(xí)時一定要從始至終注意基本概念的理解，不斷加深概念的把至終注意基本概念的理解，不斷加深概念的把握。學(xué)習(xí)時注意理解各

4、個概念的握。學(xué)習(xí)時注意理解各個概念的“用處用處”，結(jié)，結(jié)合其他課程理解它的意義，而不要把它當(dāng)作數(shù)合其他課程理解它的意義，而不要把它當(dāng)作數(shù)學(xué)課來學(xué)習(xí)，提倡獨(dú)立思考，注重思考在學(xué)習(xí)學(xué)課來學(xué)習(xí)，提倡獨(dú)立思考，注重思考在學(xué)習(xí)中的重要性。中的重要性。6信信 息息 論論o 信息論已經(jīng)成為現(xiàn)代信息科學(xué)的一個重要組成部分，它信息論已經(jīng)成為現(xiàn)代信息科學(xué)的一個重要組成部分，它是現(xiàn)代通信和信息技術(shù)的理論基礎(chǔ)?，F(xiàn)代信息論又是數(shù)是現(xiàn)代通信和信息技術(shù)的理論基礎(chǔ)?，F(xiàn)代信息論又是數(shù)學(xué)概率論下的一個分支，與遍歷性理論、大偏差理論以學(xué)概率論下的一個分支，與遍歷性理論、大偏差理論以及統(tǒng)計力學(xué)等都有密切關(guān)系，因此信息論已成為大學(xué)諸及

5、統(tǒng)計力學(xué)等都有密切關(guān)系，因此信息論已成為大學(xué)諸多專業(yè)的必修課和選修課，并不再局限于已有的通信工多專業(yè)的必修課和選修課，并不再局限于已有的通信工程、電子工程、信息工程等專業(yè)。程、電子工程、信息工程等專業(yè)。o 信息論是人們在長期通信工程的實(shí)踐中，由通信技術(shù)與信息論是人們在長期通信工程的實(shí)踐中，由通信技術(shù)與概率論、隨機(jī)過程和數(shù)理統(tǒng)計相結(jié)合而逐步發(fā)展起來的概率論、隨機(jī)過程和數(shù)理統(tǒng)計相結(jié)合而逐步發(fā)展起來的一門學(xué)科。一門學(xué)科。o 以以19481948年年ShannonShannon發(fā)表的論文發(fā)表的論文通信的數(shù)學(xué)理論通信的數(shù)學(xué)理論為標(biāo)為標(biāo)志，宣告了信息論這門學(xué)科的誕生。志，宣告了信息論這門學(xué)科的誕生。o 近

6、半個世紀(jì)以來，以通信理論為核心的經(jīng)典信息論，正近半個世紀(jì)以來，以通信理論為核心的經(jīng)典信息論，正以信息技術(shù)為物化手段，向高精尖方向迅猛發(fā)展，并以以信息技術(shù)為物化手段，向高精尖方向迅猛發(fā)展，并以神奇般的力量把人類社會推入了信息時代神奇般的力量把人類社會推入了信息時代。7第一章 緒論 1. 信息的概念信息的概念 .2 信息論研究的對象、目的和任務(wù)信息論研究的對象、目的和任務(wù) .3 信息論發(fā)展簡史與信息科學(xué)信息論發(fā)展簡史與信息科學(xué)81.1 1.1 信息的概念信息的概念(1)(1)信息的定義信息的定義o 信息是信息論中最基本、最重要的概念，它是一個既信息是信息論中最基本、最重要的概念，它是一個既抽象又復(fù)

7、雜的概念。抽象又復(fù)雜的概念。o 信息的概念是在實(shí)踐中產(chǎn)生，以前一直被看作是消息信息的概念是在實(shí)踐中產(chǎn)生，以前一直被看作是消息的同義詞。的同義詞。o 信息的概念十分廣泛，不同的定義在上百種以上。信息的概念十分廣泛，不同的定義在上百種以上。o 數(shù)學(xué)家認(rèn)為數(shù)學(xué)家認(rèn)為：信息是使概率分布發(fā)生改變的東西。：信息是使概率分布發(fā)生改變的東西。o 哲學(xué)家認(rèn)為哲學(xué)家認(rèn)為：信息是物質(zhì)成分的意識成分按完全特：信息是物質(zhì)成分的意識成分按完全特殊的方式融合起來的產(chǎn)物。殊的方式融合起來的產(chǎn)物。9 19281928年，美國數(shù)學(xué)家年，美國數(shù)學(xué)家哈特萊哈特萊 (Hartley)(Hartley)在在貝爾系統(tǒng)電話雜志貝爾系統(tǒng)電話雜

8、志上上發(fā)表了一篇題為發(fā)表了一篇題為信息傳輸信息傳輸?shù)恼撐?。的論文。他認(rèn)為他認(rèn)為“信息是選擇的自由度信息是選擇的自由度”。 10美國數(shù)學(xué)家、控制論的主要奠基人美國數(shù)學(xué)家、控制論的主要奠基人維維納納(Wiener(Wiener）在在19501950年出版的年出版的控制論控制論與社會與社會一書中寫到：一書中寫到：“信息既不是信息既不是物質(zhì)又不是能量，信息就是信息物質(zhì)又不是能量，信息就是信息”。這句話起初受到批評和嘲笑。但正是這句話起初受到批評和嘲笑。但正是這句話揭示了信息的特質(zhì)：即信息是這句話揭示了信息的特質(zhì)：即信息是獨(dú)立于物質(zhì)和能量之外存在于客觀世獨(dú)立于物質(zhì)和能量之外存在于客觀世界的界的第三要素。

9、第三要素。1119481948年，另一位美國數(shù)學(xué)家年，另一位美國數(shù)學(xué)家香農(nóng)香農(nóng) (C. E. Shannon)(C. E. Shannon) 在在貝爾系統(tǒng)電貝爾系統(tǒng)電話雜志話雜志發(fā)表了題為發(fā)表了題為通信的數(shù)學(xué)理通信的數(shù)學(xué)理論論的長篇論文。他創(chuàng)立了信息論，的長篇論文。他創(chuàng)立了信息論，他認(rèn)為他認(rèn)為12(2)(2)信息與消息和信號的區(qū)別信息與消息和信號的區(qū)別o 在在中對信息的表達(dá)分為三個層次：中對信息的表達(dá)分為三個層次：信號信號、消息消息、信信息息。o 信號信號：是信息的物理表達(dá)層，是三個層次中最具體的層：是信息的物理表達(dá)層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實(shí)體，可測量、次

10、。它是一個物理量，是一個載荷信息的實(shí)體，可測量、可描述、可顯示。可描述、可顯示。如電信號、光信號等。如電信號、光信號等。o 消息消息：( (或稱為符號或稱為符號) )是信息的數(shù)學(xué)表達(dá)層，它雖不是一是信息的數(shù)學(xué)表達(dá)層，它雖不是一個物理量，但是可以定量地加以描述，它是具體物理信個物理量，但是可以定量地加以描述，它是具體物理信號的進(jìn)一步數(shù)學(xué)抽象，可將具體物理信號抽象為兩大類號的進(jìn)一步數(shù)學(xué)抽象，可將具體物理信號抽象為兩大類型：型： 1)1) 離散離散( (數(shù)字?jǐn)?shù)字) )消息，是一組未知量，可用隨機(jī)序列消息，是一組未知量，可用隨機(jī)序列來描述：來描述：U U=(U=(U1 1U Ui iU UL L) )

11、 2) 2) 連續(xù)連續(xù)( (模擬模擬) )消息，也是未知量，它可用隨機(jī)過程消息，也是未知量，它可用隨機(jī)過程來描述：來描述：U(t,)U(t,)13o 信息信息：信息是指各個事物運(yùn)動的狀態(tài)及狀態(tài)信息是指各個事物運(yùn)動的狀態(tài)及狀態(tài)變化的方式。人們從來自對周圍世界的觀察變化的方式。人們從來自對周圍世界的觀察得到的數(shù)據(jù)中獲得信息。信息是抽象的意識得到的數(shù)據(jù)中獲得信息。信息是抽象的意識或知識，它是看不見、摸不到的。人腦的思或知識，它是看不見、摸不到的。人腦的思維活動產(chǎn)生的一種想法，當(dāng)它仍儲存在腦子維活動產(chǎn)生的一種想法，當(dāng)它仍儲存在腦子中的時候就是一種信息。信息是信號與消息中的時候就是一種信息。信息是信號與

12、消息的更高表達(dá)層次。三個層次中，信號最具體，的更高表達(dá)層次。三個層次中，信號最具體，信息最抽象。它們?nèi)咧g的關(guān)系是哲學(xué)上信息最抽象。它們?nèi)咧g的關(guān)系是哲學(xué)上的內(nèi)涵與外延的關(guān)系。的內(nèi)涵與外延的關(guān)系。 14信息與消息和信號的關(guān)系信息與消息和信號的關(guān)系o 信息信息-可以認(rèn)為是具體的物理信號、數(shù)學(xué)描述的消息可以認(rèn)為是具體的物理信號、數(shù)學(xué)描述的消息的內(nèi)涵，即信號具體載荷的內(nèi)容、消息描述的含義。的內(nèi)涵，即信號具體載荷的內(nèi)容、消息描述的含義。o 信號信號-則是抽象信息在物理層表達(dá)的外延；則是抽象信息在物理層表達(dá)的外延；o 消息消息-則是抽象信息在數(shù)學(xué)層表達(dá)的外延。則是抽象信息在數(shù)學(xué)層表達(dá)的外延。o 同一

13、信息，可以采用不同的信號形式同一信息，可以采用不同的信號形式( (比如文字、語言、比如文字、語言、圖象等圖象等) )來載荷；來載荷；o 同一信息，也可以采用不同的數(shù)學(xué)表達(dá)形式同一信息，也可以采用不同的數(shù)學(xué)表達(dá)形式( (比如離散比如離散或連續(xù)或連續(xù)) )來定量描述；來定量描述；o 同一信號形式，比如同一信號形式，比如“0 0”與與“1 1”可以表達(dá)不同形式的信可以表達(dá)不同形式的信息，比如無與有、斷與通、低與高息，比如無與有、斷與通、低與高( (電平電平) )等等。等等。 o 從以上分析可知，在通信系統(tǒng)中形式上傳輸從以上分析可知，在通信系統(tǒng)中形式上傳輸?shù)氖窍?，但?shí)質(zhì)上傳輸?shù)氖堑氖窍ⅲ珜?shí)質(zhì)上傳

14、輸?shù)氖切畔⑿畔?。消息只消息只是表達(dá)信息的工具，載荷信息的客體。是表達(dá)信息的工具，載荷信息的客體。顯然，顯然，在通信中被利用的（即攜帶信息的）實(shí)際客在通信中被利用的（即攜帶信息的）實(shí)際客體是不重要的，而重要的是信息。信息較抽體是不重要的，而重要的是信息。信息較抽象，而消息是較具體的，但不一定是物理性象，而消息是較具體的，但不一定是物理性的。通信的結(jié)果是消除或部分消除不確定性的。通信的結(jié)果是消除或部分消除不確定性從而獲得信息。從而獲得信息。1516(3)信息的性質(zhì)o 香農(nóng)信息論層次：考慮事物運(yùn)動狀態(tài)及其香農(nóng)信息論層次：考慮事物運(yùn)動狀態(tài)及其變化方式的外在形式，實(shí)際上研究的是語變化方式的外在形式，實(shí)際

15、上研究的是語法信息。法信息。o 信息的抽象性和重要性信息的抽象性和重要性o 信息的信息的5 5條主要特征條主要特征o 信息的信息的11 11條重要性質(zhì)條重要性質(zhì)17n 信息的抽象性和重要性信息的抽象性和重要性 抽象性抽象性：信息本身既看不見，又摸不著，：信息本身既看不見，又摸不著，沒有氣味、沒有顏色、沒有形狀、沒有沒有氣味、沒有顏色、沒有形狀、沒有大小、沒有重量大小、沒有重量，它是非常抽象的東，它是非常抽象的東西。西。 重要性重要性：信息在信息化程度越來越高的：信息在信息化程度越來越高的社會中將起到越來越重要的作用，是比社會中將起到越來越重要的作用，是比物質(zhì)和能量更為寶貴的資源，全面掌握物質(zhì)和

16、能量更為寶貴的資源，全面掌握信息的概念，正確、及時、有效地利用信息的概念，正確、及時、有效地利用信息，能夠?yàn)槿祟悇?chuàng)造更多的財富。信息，能夠?yàn)槿祟悇?chuàng)造更多的財富。18 綜合起來，信息有以下主要特征：綜合起來，信息有以下主要特征： 信息來源于物質(zhì)，又不是物質(zhì)本信息來源于物質(zhì)，又不是物質(zhì)本身；它從物質(zhì)的運(yùn)動中產(chǎn)生出來，又可身；它從物質(zhì)的運(yùn)動中產(chǎn)生出來，又可以脫離源物質(zhì)而相對獨(dú)立地存在。以脫離源物質(zhì)而相對獨(dú)立地存在。 信息來源于精神世界，但又不局信息來源于精神世界，但又不局限于精神領(lǐng)域。限于精神領(lǐng)域。 1219 信息與能量息息相關(guān)，但又與信息與能量息息相關(guān)，但又與能量有本質(zhì)的區(qū)別。能量有本質(zhì)的區(qū)別。

17、信息具有知識的本性，但又比信息具有知識的本性，但又比知識的內(nèi)涵更廣泛。知識的內(nèi)涵更廣泛。 信息可以被認(rèn)識主體獲取和利用。信息可以被認(rèn)識主體獲取和利用。 34520 根據(jù)上述特征和信息的基本定義，根據(jù)上述特征和信息的基本定義，可以導(dǎo)出信息的一些重要性質(zhì)：可以導(dǎo)出信息的一些重要性質(zhì)： 存在的普遍性存在的普遍性 有序性有序性相對性相對性 可度量性可度量性 可擴(kuò)充性可擴(kuò)充性 可存儲、傳輸與攜帶性可存儲、傳輸與攜帶性 21 信息在信息化程度越來越高的社會信息在信息化程度越來越高的社會中將起到越來越重要的作用，是比物質(zhì)中將起到越來越重要的作用，是比物質(zhì)和能量更為寶貴的和能量更為寶貴的，全面掌握信息，全面掌

18、握信息的概念，正確、及時、有效地利用信息，的概念，正確、及時、有效地利用信息，能夠?yàn)槿祟悇?chuàng)造更多的財富。能夠?yàn)槿祟悇?chuàng)造更多的財富。 可壓縮性可壓縮性 可擴(kuò)散性可擴(kuò)散性 可替代性可替代性 可共享性可共享性 時效性時效性 信息的獨(dú)有性質(zhì)22 按照信息的性質(zhì)按照信息的性質(zhì) 1語法語法語義語義語用語用 按照觀察的過程按照觀察的過程 實(shí)在實(shí)在先驗(yàn)先驗(yàn)后驗(yàn)后驗(yàn) 2 信息的分類信息的分類 事物運(yùn)動狀態(tài)和狀態(tài)改變的方式的本身事物運(yùn)動狀態(tài)和方式的具體含義事物運(yùn)動狀態(tài)和方式及其具體含義對觀察者的效用23客觀客觀主觀主觀 按照信息的地位按照信息的地位 按照信息的作用按照信息的作用有用有用無用無用干擾干擾3424真實(shí)

19、真實(shí)虛假虛假不定不定 按照信息的邏輯意義按照信息的邏輯意義 按照信息的傳遞方向按照信息的傳遞方向 前饋前饋反饋反饋5625宇宙宇宙自然自然社會社會思維思維工業(yè)農(nóng)業(yè)軍事政治科技文化經(jīng)濟(jì)市場管理 按照信息的生成領(lǐng)域按照信息的生成領(lǐng)域 7 按照信息的應(yīng)用部門按照信息的應(yīng)用部門 826語聲圖象文字?jǐn)?shù)據(jù)計算電電磁磁語語聲聲圖圖象象文文字字光光學(xué)學(xué)生生物物 按照信息的來源按照信息的來源9 按照信息載體的性質(zhì)按照信息載體的性質(zhì) 1027連續(xù)連續(xù)離散離散半連續(xù)半連續(xù) 按照攜帶信息的信號的性質(zhì)按照攜帶信息的信號的性質(zhì) 1128在眾多的分類原則和方法中，最重要的在眾多的分類原則和方法中，最重要的就是按照信息性質(zhì)的

20、分類。就是按照信息性質(zhì)的分類。 按照性質(zhì)的不同可以把信息劃分成按照性質(zhì)的不同可以把信息劃分成語法信息、語義信息和語用信息語法信息、語義信息和語用信息三個三個基本類型。其中最基本也是最抽象的類基本類型。其中最基本也是最抽象的類型是語法信息。也是迄今為止在理論上型是語法信息。也是迄今為止在理論上研究得最多的類型。研究得最多的類型。 291.2信息論研究的對象、目的和內(nèi)容信息論研究的對象、目的和內(nèi)容o 研究對象研究對象：信息論是一門應(yīng)用概率論、隨機(jī)過程、數(shù)信息論是一門應(yīng)用概率論、隨機(jī)過程、數(shù)理統(tǒng)計和近世代數(shù)的方法，來研究信息的傳輸、提取理統(tǒng)計和近世代數(shù)的方法，來研究信息的傳輸、提取和處理系統(tǒng)中一般規(guī)

21、律的工程學(xué)科。和處理系統(tǒng)中一般規(guī)律的工程學(xué)科。30o 研究目的：它的主要目的是提高信息系統(tǒng)的研究目的：它的主要目的是提高信息系統(tǒng)的可靠可靠性性、有效性有效性和和安全性安全性以便達(dá)到系統(tǒng)最優(yōu)化。以便達(dá)到系統(tǒng)最優(yōu)化。31 信息論的研究對象是廣義通信系信息論的研究對象是廣義通信系統(tǒng)。不僅有電子的、光學(xué)的信號傳遞統(tǒng)。不僅有電子的、光學(xué)的信號傳遞系統(tǒng)，任何系統(tǒng)，只要能夠抽象成通系統(tǒng)，任何系統(tǒng)，只要能夠抽象成通信系統(tǒng)模型，都可以用信息論研究，信系統(tǒng)模型，都可以用信息論研究，如神經(jīng)傳導(dǎo)系統(tǒng)、市場銷售系統(tǒng)等等。如神經(jīng)傳導(dǎo)系統(tǒng)、市場銷售系統(tǒng)等等。關(guān)于信息論的研究內(nèi)容，一般有以下關(guān)于信息論的研究內(nèi)容，一般有以下三

22、種解釋：三種解釋： 32 主要研究信息的測度、信道容主要研究信息的測度、信道容量、信息率失真函數(shù)，與這三個概量、信息率失真函數(shù)，與這三個概念相對應(yīng)的香農(nóng)三定理以及信源和念相對應(yīng)的香農(nóng)三定理以及信源和信道編碼信道編碼。 信息論基礎(chǔ)信息論基礎(chǔ) 亦稱香農(nóng)信息論或狹義信息論。亦稱香農(nóng)信息論或狹義信息論。 應(yīng)用近代概率統(tǒng)計方法研究信息的基本性質(zhì)及度量方法，研究信息傳輸、處理等一般規(guī)律的學(xué)科。133香農(nóng)信息論信源熵信源熵信道容量信道容量無失真信源無失真信源編碼定理編碼定理率失真函數(shù)率失真函數(shù)信源編碼信源編碼信道編碼信道編碼限失真信源限失真信源編碼定理編碼定理 信道信道 編碼定理編碼定理密碼密碼34 主要是

23、研究信息傳輸和處理問題。主要是研究信息傳輸和處理問題。除了香農(nóng)基本理論之外，還包括噪聲除了香農(nóng)基本理論之外，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計檢測與理論、信號濾波和預(yù)測、統(tǒng)計檢測與估計理論、調(diào)制理論。后一部分內(nèi)容估計理論、調(diào)制理論。后一部分內(nèi)容以美國科學(xué)家維納以美國科學(xué)家維納（NWiener）為代為代表。表。一般信息論一般信息論 235一般信息論一般信息論香農(nóng)香農(nóng) 信息論信息論噪聲噪聲理論理論調(diào)制調(diào)制 理論理論信號濾波信號濾波預(yù)測理論預(yù)測理論統(tǒng)計檢測統(tǒng)計檢測估計理論估計理論36 雖然維納和香農(nóng)等人都是運(yùn)用概雖然維納和香農(nóng)等人都是運(yùn)用概率和統(tǒng)計數(shù)學(xué)的方法研究準(zhǔn)確或近似率和統(tǒng)計數(shù)學(xué)的方法研究準(zhǔn)確

24、或近似再現(xiàn)消息的問題，都是通信系統(tǒng)的最再現(xiàn)消息的問題，都是通信系統(tǒng)的最優(yōu)化問題。但他們之間有一個重要的優(yōu)化問題。但他們之間有一個重要的區(qū)別。區(qū)別。 37 維納研究的重點(diǎn)是在接收端。研究維納研究的重點(diǎn)是在接收端。研究消息在傳輸過程中受到干擾時，在接收消息在傳輸過程中受到干擾時，在接收端如何把消息從干擾中提取出來，并建端如何把消息從干擾中提取出來，并建立了最佳過濾理論（維納濾波器）、統(tǒng)立了最佳過濾理論（維納濾波器）、統(tǒng)計檢測與估計理論、噪聲理論等。計檢測與估計理論、噪聲理論等。 發(fā)送發(fā)送接收接收38 香農(nóng)研究的對象是從信源到信宿的香農(nóng)研究的對象是從信源到信宿的全過程，是收、發(fā)端聯(lián)合最優(yōu)化問題，全過

25、程，是收、發(fā)端聯(lián)合最優(yōu)化問題，重點(diǎn)是編碼。為此，發(fā)展了信息測度理重點(diǎn)是編碼。為此，發(fā)展了信息測度理論、信道容量理論和編碼理論等等。論、信道容量理論和編碼理論等等。 發(fā)送發(fā)送接收接收39香農(nóng)信息論的缺陷香農(nóng)信息論的缺陷 香農(nóng)定義信息的出發(fā)點(diǎn)是假定事物狀態(tài)可以用一個香農(nóng)定義信息的出發(fā)點(diǎn)是假定事物狀態(tài)可以用一個經(jīng)典集合論為基礎(chǔ)的概率模型來描述。實(shí)際存在的經(jīng)典集合論為基礎(chǔ)的概率模型來描述。實(shí)際存在的某些事物運(yùn)動狀態(tài)要尋找一個合適的概率模型往往某些事物運(yùn)動狀態(tài)要尋找一個合適的概率模型往往是非常困難的。某些情況下，這一模型不一定存在。是非常困難的。某些情況下，這一模型不一定存在。 香農(nóng)定義信息的度量沒有考

26、慮收信者的主觀性和主香農(nóng)定義信息的度量沒有考慮收信者的主觀性和主觀意義，也撇開了信息的具體含義、具體用途、重觀意義，也撇開了信息的具體含義、具體用途、重要程度和引起的后果等元素。這就與實(shí)際情況不完要程度和引起的后果等元素。這就與實(shí)際情況不完全一致。全一致。 香農(nóng)信息的定義和度量是科學(xué)的，能反映信息香農(nóng)信息的定義和度量是科學(xué)的，能反映信息的某些本質(zhì)；但卻是有缺陷的、有局限的。這樣，的某些本質(zhì)；但卻是有缺陷的、有局限的。這樣，它的適用范圍會受到嚴(yán)重影響。它的適用范圍會受到嚴(yán)重影響。40 反過來，所有研究信息的識別、控反過來，所有研究信息的識別、控制、提取、變換、傳輸、處理、存貯、制、提取、變換、傳

27、輸、處理、存貯、顯示、價值、作用、安全以及信息量的顯示、價值、作用、安全以及信息量的大小的一般規(guī)律以及實(shí)現(xiàn)這些原理的技大小的一般規(guī)律以及實(shí)現(xiàn)這些原理的技術(shù)手段的工程學(xué)科，信息論的完備和延術(shù)手段的工程學(xué)科，信息論的完備和延伸，也都屬于廣義信息論的范疇。伸，也都屬于廣義信息論的范疇。 概括說來，凡是能夠用廣義通信系概括說來，凡是能夠用廣義通信系統(tǒng)模型描述的過程或系統(tǒng)，都能用信息統(tǒng)模型描述的過程或系統(tǒng)，都能用信息基本理論來研究?；纠碚搧硌芯俊?廣義信息論廣義信息論 341 廣義信息論 一般信息論香農(nóng)信息論42o 統(tǒng)計信息論統(tǒng)計信息論：也稱狹義信息論也稱狹義信息論/ /香農(nóng)信息論。香農(nóng)信息論。 主要

28、研究信息測度、信道容量、信息率失真函數(shù)，與這三主要研究信息測度、信道容量、信息率失真函數(shù)，與這三個概念相對應(yīng)的香農(nóng)三定理，信源編碼，信道編碼。個概念相對應(yīng)的香農(nóng)三定理，信源編碼，信道編碼。o 工程信息論工程信息論：主要研究信息傳輸和處理問題。除香農(nóng)基本主要研究信息傳輸和處理問題。除香農(nóng)基本理論之外，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計檢測理論之外，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計檢測和估計理論、調(diào)制理論。后一部分內(nèi)容以維納為代表和估計理論、調(diào)制理論。后一部分內(nèi)容以維納為代表。o 廣義信息論廣義信息論：是一門綜合性的新型學(xué)科是一門綜合性的新型學(xué)科信息科學(xué)。至今信息科學(xué)。至今沒有嚴(yán)格的定義。凡

29、是能夠用廣義通信系統(tǒng)模型描述的過沒有嚴(yán)格的定義。凡是能夠用廣義通信系統(tǒng)模型描述的過程或系統(tǒng)，都能用信息基本理論來研究。不僅包括一般信程或系統(tǒng)，都能用信息基本理論來研究。不僅包括一般信息論的內(nèi)容，還包括如醫(yī)學(xué)、生物學(xué)、心理學(xué)、遺傳學(xué)、息論的內(nèi)容，還包括如醫(yī)學(xué)、生物學(xué)、心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語言學(xué)、語義學(xué)、社會學(xué)、經(jīng)濟(jì)管理中有關(guān)神經(jīng)生理學(xué)、語言學(xué)、語義學(xué)、社會學(xué)、經(jīng)濟(jì)管理中有關(guān)信息的問題。反過來，所有研究信息的識別、控制、提取、信息的問題。反過來，所有研究信息的識別、控制、提取、變換、傳輸、處理、存儲、顯示、價值、作用和信息量的變換、傳輸、處理、存儲、顯示、價值、作用和信息量的大小的一般規(guī)律

30、以及實(shí)現(xiàn)這些原理的技術(shù)手段的工程學(xué)科，大小的一般規(guī)律以及實(shí)現(xiàn)這些原理的技術(shù)手段的工程學(xué)科，都屬于廣義信息論的范疇。都屬于廣義信息論的范疇。43香農(nóng)信息論的科學(xué)體系44 總之，人們研究信息論的目的是總之，人們研究信息論的目的是為了高效、可靠、安全并且隨心所欲為了高效、可靠、安全并且隨心所欲地交換和利用各種各樣的信息。地交換和利用各種各樣的信息。 45 信息論自誕生到現(xiàn)在不過信息論自誕生到現(xiàn)在不過6060多年，多年，在人類科學(xué)史上是相當(dāng)短暫的。但它的在人類科學(xué)史上是相當(dāng)短暫的。但它的發(fā)展和對學(xué)術(shù)界及人類社會的影響是相發(fā)展和對學(xué)術(shù)界及人類社會的影響是相當(dāng)廣泛和深刻的。信息作為一種當(dāng)廣泛和深刻的。信息

31、作為一種資源資源，如何開發(fā)、利用、共享，是人們普遍關(guān)如何開發(fā)、利用、共享，是人們普遍關(guān)心的問題。心的問題。 1.3 1.3 信息論發(fā)展簡史與信息科學(xué)信息論發(fā)展簡史與信息科學(xué)46 在人類歷史的長河中，信息傳輸和在人類歷史的長河中，信息傳輸和傳播手段經(jīng)歷了五次重大變革：傳播手段經(jīng)歷了五次重大變革：語言的產(chǎn)生。語言的產(chǎn)生。文字的產(chǎn)生。文字的產(chǎn)生。印刷術(shù)的發(fā)明。印刷術(shù)的發(fā)明。 電報、電話的發(fā)明。電報、電話的發(fā)明。 計算機(jī)技術(shù)與通信技術(shù)相結(jié)計算機(jī)技術(shù)與通信技術(shù)相結(jié) 合，促進(jìn)了網(wǎng)絡(luò)通信的發(fā)展。合，促進(jìn)了網(wǎng)絡(luò)通信的發(fā)展。12345471 9 2 4 年 ， 奈 奎 斯 特年 ， 奈 奎 斯 特（Harry

32、Nyquist） (1889-1976)解釋了解釋了48 2020世紀(jì)世紀(jì)3030年代，年代，如調(diào)頻、調(diào)相、單邊帶調(diào)制、脈沖編如調(diào)頻、調(diào)相、單邊帶調(diào)制、脈沖編碼調(diào)制和增量調(diào)制的出現(xiàn)，使人們對碼調(diào)制和增量調(diào)制的出現(xiàn)，使人們對信息能量、帶寬和干擾的關(guān)系有了進(jìn)信息能量、帶寬和干擾的關(guān)系有了進(jìn)一步的認(rèn)識。一步的認(rèn)識。 49 1936年，年，阿姆斯特朗阿姆斯特朗（EdwinArmstrong)指出增大帶指出增大帶寬可以使抗干擾能力加寬可以使抗干擾能力加 強(qiáng)，并根據(jù)這一思想提強(qiáng)，并根據(jù)這一思想提出了出了方法。方法。 50 1939年，年，達(dá)得利達(dá)得利（Homer Dudley）發(fā)明發(fā)明了了，指出通信所需帶

33、寬至，指出通信所需帶寬至少同待傳送消息的帶寬應(yīng)該一樣。聲少同待傳送消息的帶寬應(yīng)該一樣。聲碼器是最早的語音數(shù)據(jù)壓縮系統(tǒng)。這碼器是最早的語音數(shù)據(jù)壓縮系統(tǒng)。這一時期還誕生了無線電廣播和電視廣一時期還誕生了無線電廣播和電視廣播。播。 51 19281928年年，哈特萊（哈特萊（HartleyHartley）首先首先提 出 了提 出 了的 概 念 。的 概 念 。 HartleyHartley的工作給的工作給ShannonShannon很大的啟很大的啟示示, , 他在他在1941194119441944年對通信和密碼年對通信和密碼進(jìn)行深入研究，用概率論和數(shù)理統(tǒng)計的進(jìn)行深入研究，用概率論和數(shù)理統(tǒng)計的方法系

34、統(tǒng)地討論了通信的基本問題，得方法系統(tǒng)地討論了通信的基本問題，得出了幾個重要而帶有普遍意義的結(jié)論。出了幾個重要而帶有普遍意義的結(jié)論。52闡明通信系統(tǒng)傳遞的對象；闡明通信系統(tǒng)傳遞的對象；提出了信息熵的概念；提出了信息熵的概念；指出通信系統(tǒng)的中心問題；指出通信系統(tǒng)的中心問題；指明了解決問題的方法。指明了解決問題的方法。123453 以上這些成果以上這些成果19481948年以年以為題公開發(fā)表，為題公開發(fā)表，標(biāo)志著信息論的正式誕生。標(biāo)志著信息論的正式誕生。 維納維納（Wiener）在研究火控系統(tǒng)和在研究火控系統(tǒng)和人體神經(jīng)系統(tǒng)時，提出了在干擾作用下人體神經(jīng)系統(tǒng)時，提出了在干擾作用下的信息的信息，成為信息

35、論的一，成為信息論的一個重要分支。個重要分支。 54 50 年代，信息論在學(xué)術(shù)界引起了年代，信息論在學(xué)術(shù)界引起了巨大反響。巨大反響。1951年，美國無線電工程師年，美國無線電工程師協(xié)會協(xié)會（IRE）成立了信息論組，并于成立了信息論組，并于1955年正式出版了年正式出版了。 1959年，年，香農(nóng)香農(nóng)發(fā)表了發(fā)表了“保真度準(zhǔn)則保真度準(zhǔn)則下的離散信源編碼定理下的離散信源編碼定理”（Coding theorems for a discrete source with a fidelity criterion）系統(tǒng)地提出了）系統(tǒng)地提出了。為信源壓縮編碼的研究奠定了理論基礎(chǔ)為信源壓縮編碼的研究奠定了理論基礎(chǔ)

36、。 55 60 60 年代，年代，有了較大發(fā)有了較大發(fā)展，尤其，以展，尤其，以ViterbiViterbi譯碼為代表的譯碼方譯碼為代表的譯碼方法被美國衛(wèi)星通信系統(tǒng)采用后，使它成為法被美國衛(wèi)星通信系統(tǒng)采用后，使它成為信息論的又一重要分支。信息論的又一重要分支。 19611961年，香農(nóng)的重要論文年，香農(nóng)的重要論文“雙路通雙路通信信道信信道”開拓了開拓了的研究。的研究。19701970年以來，隨著衛(wèi)星通信、計算機(jī)通年以來，隨著衛(wèi)星通信、計算機(jī)通信網(wǎng)的迅速發(fā)展，網(wǎng)絡(luò)信息理論的研究成信網(wǎng)的迅速發(fā)展，網(wǎng)絡(luò)信息理論的研究成為當(dāng)前信息論的中心研究課題之一。為當(dāng)前信息論的中心研究課題之一。 56隨著通信規(guī)模的不