信息論與編碼課件第一章

信息論與編碼課件第一章第一頁，共五十九頁，2022年，8月28日1開篇寄語不要以為老師是什么潮人，因為信息論是枯燥的，因而也非常的干燥，老師怎么可能潮得起來呢！中央電視臺李詠主持有一檔節(jié)目叫“非常6+1”，陳景潤研究的哥德巴赫猜想被人稱為“1+1”，其實信息論也可看作“2+3”。所以，這門課主要是要搞懂“2”和“3”！第二頁，共五十九頁，2022年，8月28日2FundamentalsofInformationTheory信息理論基礎(chǔ)第三頁，共五十九頁，2022年，8月28日3教師情況

教師：李紅蓮副教授博士電子信息工程系（2-513東）

E-mail:,第四頁，共五十九頁，2022年，8月28日4第五頁，共五十九頁，2022年，8月28日5授課、考試有關(guān)安排學(xué)時數(shù):

講課32學(xué)時實驗8學(xué)時（10，14周周五9-12節(jié)?，計算中心）上課時間和地點:

第1-4,6-16周一3、4節(jié)，1-四階第8周二1、2節(jié)，3-五階第六頁，共五十九頁，2022年，8月28日6考試時間：第17周左右考試成績計算：

作業(yè)+實驗：30%；期末考試：開卷70%；答疑時間：每周三第5、6節(jié)課（13:30-15:30）答疑地點：

2-513東第七頁，共五十九頁，2022年，8月28日7信息論基礎(chǔ)的重要性信息論是信息科學(xué)和技術(shù)的基本理論,是信息科學(xué)大廈的地基;沒有信息論的基礎(chǔ)，從事通信與信息領(lǐng)域的研究和創(chuàng)新是不可能的事情;總之,信息論是高層次信息技術(shù)人才必不可少的基礎(chǔ)知識。第八頁，共五十九頁，2022年，8月28日8

信息論基礎(chǔ)是通信和信息領(lǐng)域的專業(yè)基礎(chǔ)課程，只有學(xué)好這門課，才能學(xué)好后續(xù)課程、將來進(jìn)一步從事通信和信息領(lǐng)域的科研和創(chuàng)新。要珍惜這個良好的學(xué)習(xí)機(jī)會，認(rèn)真學(xué)習(xí)，逐漸培養(yǎng)科研能力，樹立完善的人格基礎(chǔ)，為將來的進(jìn)一步學(xué)習(xí)和科研奠定堅實的基礎(chǔ)。信息論基礎(chǔ)的重要性第九頁，共五十九頁，2022年，8月28日9教學(xué)目標(biāo)充分理解、熟練掌握教材的內(nèi)容熟練掌握基本的信息理論概念和定理熟練掌握通信與信息工程中基本研究對象的數(shù)學(xué)描述通過學(xué)習(xí)和習(xí)題練習(xí)，具備一定的解決問題分析問題的能力掌握一定的科學(xué)思想方法(用信息論的思想和觀點)第十頁，共五十九頁，2022年，8月28日10對學(xué)習(xí)者的要求三個重要環(huán)節(jié)課前預(yù)習(xí)課上認(rèn)真聽講課后認(rèn)真復(fù)習(xí)消化、做作業(yè)經(jīng)常進(jìn)行階段復(fù)習(xí)掌握知識的竅訣：反復(fù)思維實踐第十一頁，共五十九頁，2022年，8月28日11其他約定不得遲到、早退、缺課，有事請假上課時請關(guān)閉手機(jī)（或調(diào)至振動）作業(yè)不得用紙片信紙之類，必須使用作業(yè)本遲交的作業(yè)及紙片做的作業(yè)恕不修改，只作記錄第十二頁，共五十九頁，2022年，8月28日12《信息理論基礎(chǔ)》的內(nèi)容信息論的基本問題--信息與信道的度量無失真信源編碼定理--香農(nóng)第一定理信道編碼定理--香農(nóng)第二定理限失真信源編碼定理--香農(nóng)第三定理第十三頁，共五十九頁，2022年，8月28日13Shannon信息論的基本任務(wù)1948年shannon發(fā)表了“通信的數(shù)學(xué)理論”奠定了信息論理論基礎(chǔ)基本任務(wù)是設(shè)計有效而可靠的通信系統(tǒng)可靠是要使信源發(fā)出的消息經(jīng)過傳輸后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端有效是用盡可能短的時間和盡可能少的設(shè)備來傳輸一定量的消息第十四頁，共五十九頁，2022年，8月28日14

內(nèi)容安排

第一章緒論2學(xué)時第二章信源和熵8學(xué)時第三章信道及其容量6學(xué)時第四章離散信源的無失真編碼6學(xué)時第五章信道編碼4學(xué)時第六章限失真信源編碼4學(xué)時復(fù)習(xí)2學(xué)時第十五頁，共五十九頁，2022年，8月28日15第一章緒論一、信息的概念二、信息論產(chǎn)生背景三、信息論的發(fā)展簡史四、信息論的應(yīng)用五、信息論研究的內(nèi)容六、參考書目第十六頁，共五十九頁，2022年，8月28日16在人類的歷史長河中，信息傳輸和傳播手段經(jīng)歷了五次變革：第一次變革：語言的產(chǎn)生第二次變革：文字的產(chǎn)生第三次變革：印刷術(shù)的發(fā)明第四次變革：電報、電話的發(fā)明第五次變革：計算機(jī)技術(shù)與通信技術(shù)相結(jié)合，促進(jìn)了網(wǎng)絡(luò)的發(fā)展。歷史回顧:信息傳輸方式的變遷第十七頁，共五十九頁，2022年，8月28日17歷史回顧:信息傳輸方式的變遷我國上古時期的“結(jié)繩記事”法，史書上有很多記載。漢朝鄭玄的《周易注》中記載：“古者無文字，結(jié)繩為約，事大，大結(jié)其繩，事小，小結(jié)其繩。”

第十八頁，共五十九頁，2022年，8月28日18

后來，文字的出現(xiàn)解決了這一問題。自從造紙術(shù)和印刷術(shù)的發(fā)明，使文字成為信息記錄、儲存和傳遞的有效手段。歷史回顧:信息傳輸方式的變遷第十九頁，共五十九頁，2022年，8月28日19

特別是電報、電話和電視的發(fā)明，使信息傳送快速、便利，再次體現(xiàn)了信息加工和傳輸?shù)淖兏?。歷史回顧:信息傳輸方式的變遷第二十頁，共五十九頁，2022年，8月28日20

電子計算機(jī)的迅速發(fā)展和廣泛應(yīng)用，尤其是個人微型計算機(jī)的普及，大大提高了人們處理加工信息、存儲信息及控制管理信息的能力。歷史回顧:信息傳輸方式的變遷第二十一頁，共五十九頁，2022年，8月28日21近年來，以計算機(jī)為主體的互聯(lián)網(wǎng)技術(shù)的興起和發(fā)展，以空前的威力推動著人類經(jīng)濟(jì)和社會高速發(fā)展，將人類社會推入到高度化的信息時代。歷史回顧:信息傳輸方式的變遷第二十二頁，共五十九頁，2022年，8月28日22信息是信息論中最基本、最重要的概念，是一個既復(fù)雜又抽象的概念。信息概念十分廣泛，由于信息科學(xué)比起其他學(xué)科（如物理學(xué)、化學(xué)、數(shù)學(xué)）還很年輕，人類對信息的認(rèn)識還很不夠。迄今為止，信息并沒有形成一個很完整的、系統(tǒng)的概念。不同的研究學(xué)派對信息的本質(zhì)及其定義還沒有形成統(tǒng)一的意見和認(rèn)識。

一、信息的概念第二十三頁，共五十九頁，2022年，8月28日23通俗的信息概念信息是一種消息。這是一種最普遍的概念，是目前社會上最流行的概念，這個概念好像使人一聽就明白，但不準(zhǔn)確。確切地說，這種概念把消息認(rèn)為是信息。信息消息，同一條消息有不同信息量。例如:某人收到一條消息包含許多原來不知道的新內(nèi)容信息量大包含許多原來已知道的舊內(nèi)容信息量小第二十四頁，共五十九頁，2022年，8月28日24廣義的信息概念物質(zhì)、能量和信息是構(gòu)成客觀世界三大要素，信息是物質(zhì)和能量在空間和時間中分布的不均勻程度。信息不是物質(zhì)，信息是事物的表征，是對物質(zhì)存在狀態(tài)和運(yùn)動形式的一般描述。信息存在于任何事物之中，有物質(zhì)的地方就有信息，信息充滿物質(zhì)世界。信息本身看不見、摸不著，它必須依附于一定的物質(zhì)形式（如文字、聲波、電磁波等）。這種運(yùn)載信息的物質(zhì)稱為信息的載體，一切物質(zhì)都有可能成為信息的載體。第二十五頁，共五十九頁，2022年，8月28日25概率信息的概念概率信息是由美國數(shù)學(xué)家香農(nóng)提出來的，故稱香農(nóng)信息或狹義信息。是從不確定性

(Uncertainty)和概率測度出發(fā)定義信息的。香農(nóng)從信源具有隨機(jī)不確定度出發(fā)，為信源推出一個與統(tǒng)計力學(xué)的熵相似的函數(shù)，稱為信息熵。信息熵是信源的信息選擇不確定度的測量，但它不等同于不確定度，而是為了消除一定的不確定度，必須獲得的、與此不確定度相等的信息量。

第二十六頁，共五十九頁，2022年，8月28日26信息的特征信息雖無確切定義，但是卻具有兩個明顯的特征：廣泛性與抽象性。廣泛性客觀世界充滿著信息人類離不開信息知識、書本是有用信息的積累抽象性

信息是組成客觀世界并促進(jìn)社會發(fā)展的最基本的三大要素之一。三大要素是：物質(zhì)、能量與信息。三要素中物質(zhì)是基礎(chǔ)，是實體。能量是物質(zhì)運(yùn)動的形式，E=mc2，物質(zhì)可轉(zhuǎn)換成能量，而能量又是改造客觀世界的主要動力。第二十七頁，共五十九頁，2022年，8月28日27信息的重要性質(zhì)存在的普遍性；有序性；相對性；可度量性；可擴(kuò)充性；可存儲、傳輸與攜帶性；可壓縮性；可替代性；可擴(kuò)散性；可共享性；時效性。信息在信息化程度越來越高的社會中將起到越來越重要的作用，是比物質(zhì)和能量更為寶貴的財富。第二十八頁，共五十九頁，2022年，8月28日28信息：它依附于物質(zhì)和能量，但又不同于物質(zhì)和能量。沒有信息就不能更好地利用物質(zhì)和能量，人類利用信息和知識改造物質(zhì)，創(chuàng)造新物質(zhì)，提高能量利用效率，發(fā)現(xiàn)新能量形式。信息也是客觀存在的，它是人類認(rèn)識、改造客觀世界的主要動力，是人類認(rèn)識客觀世界的更高層次。就狹義而言，在通信中對信息的表達(dá)分為三個層次：信號、消息、信息。信息的重要性質(zhì)第二十九頁，共五十九頁，2022年，8月28日29信號：是信息的物理表達(dá)層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實體，可測量、可描述、可顯示。消息：(或稱為符號)是信息的數(shù)學(xué)表達(dá)層，它雖不是一個物理量，但是可以定量地加以描述，它是具體物理信號的進(jìn)一步數(shù)學(xué)抽象，可將具體物理信號抽象為兩大類型：離散(數(shù)字)消息，是一組未知量，可用隨機(jī)序列來描述：U=(U1…Ul

…UL)連續(xù)(模擬)消息，也是未知量，它可用隨機(jī)過程來描述：U(t,ω)信息、消息、信號第三十頁，共五十九頁，2022年，8月28日30信息：它是更高層次哲學(xué)上的抽象，是信號與消息的更高表達(dá)層次。三個層次中，信號最具體，信息最抽象。它們?nèi)咧g的關(guān)系是哲學(xué)上的內(nèi)涵與外延的關(guān)系。理解：信息可以認(rèn)為是具體的物理信號、數(shù)學(xué)描述的消息的內(nèi)涵，即信號具體載荷的內(nèi)容、消息描述的含義。而信號則是抽象信息在物理層表達(dá)的外延；消息則是抽象信息在數(shù)學(xué)層表達(dá)的外延。同一信息，可以采用不同的信號形式(比如文字、語言、圖象等)來載荷；同一信息，也可以采用不同的數(shù)學(xué)表達(dá)形式(比如離散或連續(xù))來定量描述。同樣，同一信號形式，比如“0”與“1”可以表達(dá)不同形式的信息，比如無與有、斷與通、低與高(電平)等等。

信息、消息、信號第三十一頁，共五十九頁，2022年，8月28日31信號信息、消息、信號消息信息信息蘊(yùn)含在消息中消息蘊(yùn)含在信號中信號中裝著消息消息中裝著信息第三十二頁，共五十九頁，2022年，8月28日什么是信息論它是四十年代末期，以客觀概率信息為研究對象，從通信的信息傳輸問題中總結(jié)和開拓出來的理論。主要研究的問題：信源的描述，信息的定量度量、分析與計算信道的描述，信道傳輸?shù)亩慷攘?、分析與計算。信源、信道與通信系統(tǒng)之間的統(tǒng)計匹配，以及通信系統(tǒng)的優(yōu)化—Shannon的三個編碼定理。信息論誕生五十多年來，至今，仍然是指導(dǎo)通信技術(shù)發(fā)展的理論基礎(chǔ)，是創(chuàng)新通信體制的源泉。第三十三頁，共五十九頁，2022年，8月28日331.信息的如何度量？2.需要解決的問題：通信系統(tǒng)中信息傳輸?shù)男?。信息傳輸?shù)臏?zhǔn)確性問題。噪聲干擾。頻率特性。本質(zhì)為：信息傳輸?shù)目煽啃耘c有效性問題。二.信息論產(chǎn)生背景第三十四頁，共五十九頁，2022年，8月28日34信道信源信宿通信系統(tǒng)模型第三十五頁，共五十九頁，2022年，8月28日信源信道信宿編碼器譯碼器消息信號噪聲源干擾恢復(fù)的消息信號+干擾通信系統(tǒng)模型第三十六頁，共五十九頁，2022年，8月28日

信源：產(chǎn)生消息的源。消息可以是文字、語言、圖像等。

編碼器：將信源發(fā)出的消息變換成適于信道傳送的信號的設(shè)備。包含信源編碼器、糾錯編碼器、調(diào)制器。

信道：把載荷消息的信號從發(fā)射端傳到接收端的媒質(zhì)或通道。狹義的實際信道有電纜、波導(dǎo)、光纖、無線電波傳播空間。通信系統(tǒng)模型第三十七頁，共五十九頁，2022年，8月28日37

干擾源：系統(tǒng)其他各部分產(chǎn)生的噪聲和干擾都等效成信道干擾，集中作用于信道。

譯碼器：編碼的逆變換。它的作用是從受干擾的信號中最大限度地提取出有關(guān)信源傳出消息的信息。

信宿：信息傳送過程中的接收者，即接收消息的人或物。通信系統(tǒng)模型第三十八頁，共五十九頁，2022年，8月28日38三.信息論發(fā)展簡史電磁理論和電子學(xué)理論對通信理論技術(shù)發(fā)展起重要的促進(jìn)作用1820－1830年，法拉第發(fā)現(xiàn)電磁感應(yīng)莫爾斯1832－1835建立電報系統(tǒng)。1876年Bell發(fā)明電話1864麥克斯韋預(yù)言電磁波存在，1888年赫茲驗證該理論1895年馬可尼發(fā)明了無線電通信微波電子管導(dǎo)致微波通信系統(tǒng)，微波雷達(dá)系統(tǒng)激光技術(shù)使通信進(jìn)入光通信時代第三十九頁，共五十九頁，2022年，8月28日39信息論發(fā)展簡史1832年莫爾斯電碼對shannon編碼理論的啟發(fā)1885年凱爾文研究了一條電纜的極限傳信速率1922年卡遜對調(diào)幅信號的頻譜結(jié)構(gòu)進(jìn)行研究1924年奈奎斯特證明了信號傳輸速率和帶寬成正比1928年Hartley提出信息量定義為可能消息量的對數(shù)1939年Dudley發(fā)明聲碼器1940維納將隨機(jī)過程和數(shù)理統(tǒng)計引入通信與控制系統(tǒng)第四十頁，共五十九頁，2022年，8月28日40信息論發(fā)展簡史1948年shannon信息論奠基1952年Fano證明了Fano不等式，給出了shannon信道編碼逆定理的證明1957，Wolfowitz，1961Fano，1968Gallager給出信道編碼定理的簡潔證明并描述了碼率，碼長和錯誤概率的關(guān)系，1972年Arimoto和Blahut發(fā)明了信道容量的迭代算法1956McMillan證明了Kraft不等式。1952年Fano碼，Huffman碼。1976Rissanen算術(shù)編碼，1977，78Ziv和Lempel的LZ算法第四十一頁，共五十九頁，2022年，8月28日41信息論發(fā)展簡史1950年漢明碼，1960年卷積碼的概率譯碼，Viterbi譯碼，1982年Ungerboeck編碼調(diào)制技術(shù)，1993年Turbo編譯碼技術(shù)1959年，Shannon提出率失真函數(shù)和率失真信源編碼定理1961年，Shannon的“雙路通信信道”開拓了網(wǎng)絡(luò)信息論的研究，目前是非常活躍的研究領(lǐng)域。第四十二頁，共五十九頁，2022年，8月28日42語音信號壓縮（G.711,GSM,Vocoder）圖象信號的壓縮（JPEG,MPEG）計算機(jī)文件壓縮（compress,gzip）模擬話路中數(shù)據(jù)傳輸速率的提高降低信息傳輸所需的功率四、信息論的應(yīng)用第四十三頁，共五十九頁，2022年，8月28日43計算機(jī)網(wǎng)中數(shù)據(jù)傳輸可靠性的保證計算機(jī)中的容錯問題圖像信號的復(fù)原與重建模式分類問題與樹分類器的設(shè)計其他（信息經(jīng)濟(jì)學(xué)、醫(yī)學(xué)、生物學(xué)、管理科學(xué)等）四、信息論的應(yīng)用第四十四頁，共五十九頁，2022年，8月28日44五.信息論的研究內(nèi)容狹義信息論（經(jīng)典信息論）研究信息測度，信道容量以及信源和信道編碼理論一般信息論研究信息傳輸和處理問題，除經(jīng)典信息論外還包括噪聲理論，信號濾波和預(yù)測，統(tǒng)計檢測和估值理論，調(diào)制理論，信息處理理論和保密理論廣義信息論除上述內(nèi)容外，還包括自然和社會領(lǐng)域有關(guān)信息的內(nèi)容，如模式識別，計算機(jī)翻譯，心理學(xué)，遺傳學(xué)，神經(jīng)生理學(xué)第四十五頁，共五十九頁，2022年，8月28日45狹義信息論體系結(jié)構(gòu)Shannon信息論壓縮理論有失真編碼無失真編碼等長編碼定理Shannon1948McMillan1953變長編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術(shù)碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡(luò)信息理論糾錯碼編碼調(diào)制理論網(wǎng)絡(luò)最佳碼第四十六頁，共五十九頁，2022年，8月28日46

信息——用來消除接收者某種認(rèn)識上不確定性的東西。信息論——研究信息的本質(zhì)、描述和度量方法以及傳輸和處理的基本原理的理論。信息科學(xué)——信息科學(xué)是研究信息規(guī)律和指導(dǎo)信息技術(shù)開發(fā)及應(yīng)用的學(xué)問。信息技術(shù)——運(yùn)用信息科學(xué)為經(jīng)濟(jì)和社會發(fā)展而共同協(xié)作組成的各種工具和規(guī)則體系。信息、材料、能源是現(xiàn)代科學(xué)的三大支柱。有關(guān)概念第四十七頁，共五十九頁，2022年，8月28日47

信息論的主要貢獻(xiàn)是：

（1）把統(tǒng)計信息定義為“用來消除信息接收者某種認(rèn)識上的不確定性的東西”，并給出了其度量公式--熵和互信息；（2）建立了一些重要的性能界：信源輸出的最大可能的信息量，滿足一定失真度的要求所必須傳遞的最小信息量，信道上的最大可能通過能力等；

（3）建立了一組重要的編碼定理，從理論上指明了為達(dá)到上述性能界限應(yīng)當(dāng)遵循的信息處理的方法和原則。這就不僅從定性方面而且也從定量方面深刻地揭示了信息傳遞和處理的規(guī)律，使通信的研究從經(jīng)驗的階段轉(zhuǎn)變?yōu)榭茖W(xué)。第四十八頁，共五十九頁，2022年，8月28日48六.參考書目焦瑞莉，李紅蓮，冷俊敏，信息論基礎(chǔ)教程。機(jī)械工業(yè)出版社，2008年。周蔭清，信息理論基礎(chǔ)。北京航空航天大學(xué)出版社，2006年。曲煒等,信息論基礎(chǔ)及應(yīng)用。清華大學(xué)出版社，2005年。曹雪虹等，信息論與編碼，清華大學(xué)出版社，2004年。仇佩亮，信息論與編碼。高等教育出版社，2003年。朱雪龍，應(yīng)用信息論基礎(chǔ)。清華大學(xué)出版社，2004年。第四十九頁，共五十九頁，2022年，8月28日49ROBERTJ.MCELIECE，信息論與編碼理論。電子工業(yè)出版社，2003年。吳偉陵，信息處理與編碼。人民郵電出版社，2003年。陳運(yùn)等，信息論與編碼。電子工業(yè)出版社，2003年。呂鋒、王虹等，信息理論與編碼。人民郵電出版社，2004年。RANJANBOSE，信息論、編碼與密碼學(xué)。機(jī)械工業(yè)出版社，2003年。第五十頁，共五十九頁，2022年，8月28日50附.Shannon及其影響和貢獻(xiàn)

1.ShannonClaudeElwood1916年4月30日出生于美國密執(zhí)安州的加洛德。早年獲得了密執(zhí)安州大學(xué)的數(shù)學(xué)和電子工程學(xué)的學(xué)士學(xué)位。1940年獲得麻省理工學(xué)院博士學(xué)位。1941年至1972年間，在貝爾實驗室工作。從1958年在麻省理工學(xué)院任教，至1978年退休。2001年2月24日在馬薩諸塞州的Medford因老年癡呆癥與世長辭，享年84歲。第五十一頁，共五十九頁，2022年，8月28日512.貢獻(xiàn)奠定了大型數(shù)字計算機(jī)構(gòu)建的理論基礎(chǔ)。

1938年：《繼電器和開關(guān)電路的符號分析》

首次用布爾代數(shù)進(jìn)行開關(guān)電路分析，證明了布爾代數(shù)的邏輯運(yùn)算，可以通過繼電器電路來實現(xiàn)，給出了實現(xiàn)加，減，乘，除等運(yùn)算的電子電路的設(shè)計方法。這篇論文成為開關(guān)電路理論的開端。開創(chuàng)了信息論。

1948年：《ThemathematicalTheoryofCommunication》1949年：《CommunicationinPresenceofNoise》第五十二頁，共五十九頁，2022年，8月28日52香農(nóng)的貢獻(xiàn)1948年發(fā)表“保密通信的信息理論”，首先用信息論的