信息論與編碼zjh201209ZJH第一章

信息論與編碼InformationTheoryandCoding

主講教師：張建華河南工業(yè)大學(xué)信息科學(xué)與工程學(xué)院電話mail:Informationtheory@163.com2012年8月27日信息論與編碼

InformationTheoryandCoding

課程介紹

本課程是信息、通信、電子工程類專業(yè)的基礎(chǔ)課程。通過對(duì)本課程的學(xué)習(xí)，使學(xué)生能掌握有關(guān)信息論的基本理論以及編碼的理論和實(shí)現(xiàn)原理。重點(diǎn)討論了信源的熵、熵的性質(zhì)和無失真信源編碼理論、限失真信源編碼理論以及各種常用的信源編碼方法，如香農(nóng)編碼、費(fèi)諾編碼、哈夫曼編碼、游程編碼、預(yù)測(cè)編碼等，討論了信道編碼理論以及各種常用的信道編碼方法，如線性分組碼、卷積碼、級(jí)聯(lián)碼等。本課程為以后開設(shè)的專業(yè)課程打下了堅(jiān)實(shí)的基礎(chǔ)。

信息論與編碼(第2版)InformationTheoryandcoding曹雪虹張宗橙編著普通高等教育“十一五”國家級(jí)規(guī)劃教材指定教材清華大學(xué)出版社參考書信息論與編碼，曹雪虹,張宗橙編，北京郵電大學(xué)出版社，2001信息論—基礎(chǔ)理論與應(yīng)用，傅祖蕓編著，電子工業(yè)出版社，2001第一章緒論第一節(jié)信息論的形成和發(fā)展第二節(jié)通信系統(tǒng)的模型首先了解如下兩個(gè)問題1．信息的概念是什么？2．信息論和信息技術(shù)分別研究什么樣的問題？1．信息的概念是什么？

信息是指各個(gè)事物運(yùn)動(dòng)的狀態(tài)及狀態(tài)變化的方式。人們從來自對(duì)周圍世界的觀察得到的數(shù)據(jù)中獲得信息。信息是抽象的意識(shí)或知識(shí)，它是看不見、摸不到的。人腦的思維活動(dòng)產(chǎn)生的一種想法，當(dāng)它仍儲(chǔ)存在腦子中的時(shí)候它就是一種信息。2．信息論和信息技術(shù)分別研究什么樣的問題？

信息不是靜止的，它會(huì)產(chǎn)生也會(huì)消亡，人們需要獲取它，并完成它的傳輸、交換、處理、檢測(cè)、識(shí)別、存儲(chǔ)、顯示等功能。研究這方面的科學(xué)就是信息科學(xué)，信息論是信息科學(xué)的主要理論基礎(chǔ)之一。它研究信息的基本理論，主要研究可能性和存在性問題，為具體實(shí)現(xiàn)提供理論基礎(chǔ)。與之對(duì)應(yīng)的是信息技術(shù)，主要研究如何實(shí)現(xiàn)、怎樣實(shí)現(xiàn)的問題。第一節(jié)信息論的形成和發(fā)展

20世紀(jì)20年代奈奎斯特(Nyquist，H．)和哈特萊(Hartley，L．V．R．)提出了信息的定義

1924年奈奎斯特解釋了信號(hào)帶寬和信息速率之間的關(guān)系

1928哈特萊最早研究了通信系統(tǒng)傳輸信息的能力，給出了信息度量方法

1936年阿姆斯特朗(Armstrong)提出了增大帶寬可以使抗干擾能力加強(qiáng)

1941～1944年香農(nóng)對(duì)通信和密碼進(jìn)行深入研究，用概率論的方法研究通信系統(tǒng)，揭示了通信系統(tǒng)傳遞的對(duì)象就是信息，并對(duì)信息給以科學(xué)的定量描述，提出了信息熵的概念。指出通信系統(tǒng)的中心問題是在噪聲下如何有效而可靠地傳送信息以及實(shí)現(xiàn)這一目標(biāo)的主要方法是編碼等。香農(nóng)因此成為信息論的奠基人。

1948年“Amathematicaltheoryofcommunication(通信的數(shù)學(xué)理論)”，這是一篇關(guān)于現(xiàn)代信息論的開創(chuàng)性的權(quán)威論文，為信息論的創(chuàng)立做出了貢獻(xiàn)。第一節(jié)信息論的形成和發(fā)展

50年代信息論在學(xué)術(shù)界引起了巨大的反響

60年代信道編碼技術(shù)有較大進(jìn)展，使它成為信息論的又一重要分支；信源編碼的研究落后于信道編碼。香農(nóng)1959年的文章(Codingtheoremsforadiscretesourcewithafidelitycriterion)系統(tǒng)地提出了信息率失真理論，它是數(shù)據(jù)壓縮的數(shù)學(xué)基礎(chǔ)，為各種信源編碼的研究奠定了基礎(chǔ)

到70年代，有關(guān)信息論的研究，從點(diǎn)與點(diǎn)間的單用戶通信推廣到多用戶系統(tǒng)的研究。1972年蓋弗（Caer）發(fā)表了有關(guān)廣播信道的研究，以后陸續(xù)有關(guān)于多接入信道和廣播信道模型的研究，但由于這些問題比較難，到目前為止，多用戶信息論研究得不多，還有許多尚待解決的課題。

保真度準(zhǔn)則下的離散信源編碼定理第一節(jié)信息論的形成和發(fā)展

幾個(gè)概念

狹義信息論和廣義信息論信息論是在信息可以量度的基礎(chǔ)上，研究有效地和可靠地傳遞信息的科學(xué)，它涉及信息量度、信息特性、信息傳輸速率、信道容量、干擾對(duì)信息傳輸?shù)挠绊懙确矫娴闹R(shí)。通常把上述范圍的信息論稱為狹義信息論，又因?yàn)樗膭?chuàng)始人是香農(nóng)，故又稱為香農(nóng)信息論。廣義信息論則包含通信的全部統(tǒng)計(jì)問題的研究，除了香農(nóng)信息論之外，還包括信號(hào)設(shè)計(jì)、噪聲理論。信號(hào)的檢測(cè)與估值等。

第一節(jié)信息論的形成和發(fā)展本書講述的信息理論的基本內(nèi)容是與通信科學(xué)密切相關(guān)的狹義信息論：（1）什么是信息？如何度量信息？（2）在信息傳輸中，基本的極限條件是什么？（3）信息的壓縮和恢復(fù)的極限條件是什么？（4）從環(huán)境中抽取信息的極限條件是什么？（5）設(shè)計(jì)什么樣的設(shè)備才能達(dá)到這些極限？（6）實(shí)際上接近極限的設(shè)備是否存在？

第一節(jié)信息論的形成和發(fā)展按照信息論或控制論的觀點(diǎn)，在通信和控制系統(tǒng)中傳送的本質(zhì)內(nèi)容是信息，系統(tǒng)中實(shí)際傳輸?shù)膭t是測(cè)量的信號(hào)，信息包含在信號(hào)之中，信號(hào)是信息的載體。信號(hào)到了接收端（信息論里稱為信宿）經(jīng)過處理變成文字、語聲或圖像，人們?cè)購闹械玫接杏玫男畔ⅰ?/p>

信息提取過程及信息提取方法在接收端將含有噪聲的信號(hào)經(jīng)過各種處理和變換，從而取得有用信息的過程就是信息提取，提取有用信息的方法主要有檢測(cè)和估計(jì)兩類。

第一節(jié)信息論的形成和發(fā)展信息、消息和信號(hào)的關(guān)系信息是指各個(gè)事物運(yùn)動(dòng)的狀態(tài)及狀態(tài)變化的方式。人們從來自對(duì)周圍世界的觀察得到的數(shù)據(jù)中獲得信息。信息是抽象的意識(shí)或知識(shí)，它是看不見、摸不到的。人腦的思維活動(dòng)產(chǎn)生的一種想法，當(dāng)它仍儲(chǔ)存在腦子中的時(shí)候它就是一種信息。消息是指包含有信息的語言、文字和圖像等，例如我們每天從廣播節(jié)目、報(bào)紙和電視節(jié)目中獲得各種新聞及其他消息。消息是具體的，它載荷信息，但它不是物理性的。信號(hào)是消息的物理體現(xiàn)，為了在信道上傳輸消息，就必須把消息加載（調(diào)制）到具有某種物理特征的信號(hào)上去。信號(hào)是信息的載荷子或載體，是物理性的。如電信號(hào)、光信號(hào)等。

第一節(jié)信息論的形成和發(fā)展數(shù)據(jù)載有信息的可觀測(cè)、可傳輸、可存儲(chǔ)及可處理的信號(hào)均稱為數(shù)據(jù)

信息的基本特征信息的基本概念在于它的不確定性，任何已確定的事物都不含