第一信息論基礎(chǔ)

第一信息論基礎(chǔ)第1頁，共42頁，2023年，2月20日，星期一基本情況課時：32學(xué)時考核：平時成績：10%

作業(yè)：30%=20%+10%

考試：60%第2頁，共42頁，2023年，2月20日，星期一參考資料1、李梅、李亦農(nóng)等，信息論基礎(chǔ)教程（第2版），北京郵電大學(xué)出版社，2008.102、馮桂等，信息論與編碼技術(shù)，清華大學(xué)出版社，2007.33、傅祖蕓，信息論-基礎(chǔ)理論與應(yīng)用（第2版），電子工業(yè)出版社，2008.44、周蔭清，信息理論基礎(chǔ)，北京航空航天大學(xué)出版社，20025、（美）ThomasM.Cover著，阮吉壽、張華等譯，信息論基礎(chǔ)，機(jī)械工業(yè)出版社，2008.1…………第3頁，共42頁，2023年，2月20日，星期一內(nèi)容介紹第一部分緒論（第一章）第二部分信息測量問題

信息的度量（第二章）信源及信源熵（第三章）信道及信道容量（第四章）第三部分編碼問題（香農(nóng)三定理）

無失真信源編碼（第五章）——香農(nóng)第一定理有噪信道編碼（第六章）——香農(nóng)第二定理限失真信源編碼（第七章）——香農(nóng)第三定理保真度準(zhǔn)則下的信源編碼定理第4頁，共42頁，2023年，2月20日，星期一第一章緒論第5頁，共42頁，2023年，2月20日，星期一主要內(nèi)容1.1

信息的概念1.2信息論研究的對象、目的和內(nèi)容1.3信息論的發(fā)展過程1.4信息論的研究現(xiàn)狀第6頁，共42頁，2023年，2月20日，星期一組成客觀世界的三大基本要素：物質(zhì)、能量和信息，材料科學(xué)、能源科學(xué)、和信息科學(xué)一起被稱為當(dāng)代文明的“三大支柱”。Withoutmaterials,thereisnothing.Withoutenergy,nothinghappens.Withoutinformation,nothingmakessense.沒有物質(zhì)的世界是虛無的世界；沒有能源的世界是死寂的世界；沒有信息的世界是混亂的世界。信息是信息論中最基本、最重要的概念。1.1

信息的概念第7頁，共42頁，2023年，2月20日，星期一信息的定義信息定義舉例：從本質(zhì)層次上定義：信息是事物相互作用的表現(xiàn)形式。信息是事物聯(lián)系的普遍形式。信息是物質(zhì)的普遍屬性。信息是被反映的物質(zhì)的屬性。信息是人與外界相互作用的過程中所交換的內(nèi)容的名稱。信息是物質(zhì)和能量在時間和空間分布的不均勻性。信息是事物運動狀態(tài)或存在方式的不確定性的描述。信息是用以消除隨機(jī)不定性的東西。第8頁，共42頁，2023年，2月20日，星期一信息的定義

從科學(xué)層面上定義：信息是收信者事先所不知道的報導(dǎo)。信息是通信傳輸?shù)膬?nèi)容。信息是事物之間的差異（變異度）。信息是使概率分布發(fā)生變動的東西。信息是負(fù)熵。信息是有序性的度量。信息是系統(tǒng)組織程度的度量。信息是被反映的差異（變異度）。第9頁，共42頁，2023年，2月20日，星期一舉例：哈特萊信息定義。維納信息定義。朗格信息定義。香農(nóng)信息定義。通信領(lǐng)域關(guān)于信息的定義第10頁，共42頁，2023年，2月20日，星期一哈特萊信息定義1928年，哈特萊在《貝爾系統(tǒng)技術(shù)雜志》上發(fā)表了一篇題為“信息傳輸”的論文。認(rèn)為，發(fā)信者所發(fā)出的信息，就是他在通信符號表中選擇符號的具體方式。信息概念：選擇通信符號的方式；

例如：假定符號表是26個英文字母及標(biāo)點符號，那么用符號“Iamwell”傳達(dá)了一種信息，而用符號“Iamsick”傳達(dá)了另一種信息。度量方式：選擇的自由度。 例如：如果發(fā)信者只能從由0和1兩個符號組成的符號表中選擇符號而且長度限定為1，則發(fā)信者只有兩種選擇，即0和1，這時傳達(dá)的信息量很小；如果放寬限制，如長度不超過n（n>1）則發(fā)信者可以選擇的符號串有個，n越大能傳達(dá)的信息量就越大。第11頁，共42頁，2023年，2月20日，星期一哈特萊信息定義哈特萊信息定義的局限性：他所定義的信息不涉及內(nèi)容和價值，只考慮選擇的方式；沒有考慮到信源的統(tǒng)計性質(zhì)；把信息理解為選擇的方式，就必須有一個選擇的主體作為限制條件。這些缺點使它的運用范圍受到很大的限制。第12頁，共42頁，2023年，2月20日，星期一維納信息定義1948年，維納在《控制論——動物和機(jī)器中通信與控制問題》中給出了對信息的描述。指出： 信息是信息，不是物質(zhì)，也不是能量。1950年，維納在《人有人的用處》一書中指出：

信息就是我們在適應(yīng)外部世界，并把這種適應(yīng)反作用于外部世界的過程中，同外部世界進(jìn)行交換的內(nèi)容的名稱。 接收信息和使用信息的過程，就是我們適應(yīng)外界環(huán)境的偶然性的過程，也是我們在這個環(huán)境中有效地生活的過程。第13頁，共42頁，2023年，2月20日，星期一維納信息定義意義：

信息是與物質(zhì)和能量同等重要的最基本概念。缺陷：

把信息與物質(zhì)及能量混為一談。第14頁，共42頁，2023年，2月20日，星期一朗格信息定義1975年，朗格在《信息論：新的趨勢與未決問題》中提出： 信息是反映事物的形式、關(guān)系和差別的東西。 信息是包含于客體間的差別中，而不是在客體本身中。意義：

信息就是差異。缺陷：

沒有指出沒有差異就沒有信息。第15頁，共42頁，2023年，2月20日，星期一香農(nóng)信息定義1948年，香農(nóng)在發(fā)表的論文《通信的數(shù)學(xué)理論》中，從研究通信系統(tǒng)傳輸?shù)谋举|(zhì)出發(fā)，對信息做了科學(xué)的定義，并進(jìn)行了定性和定量的描述。信息：是事物運動狀態(tài)或存在形式的不確定性的描述。 通信系統(tǒng)中接受消息的過程就是消除不確定性的過程。不確定的消除就獲得了信息。 信息量與不確定性消除的程度有關(guān)。信息的度量：信息熵。第16頁，共42頁，2023年，2月20日，星期一香農(nóng)信息定義香農(nóng)信息定義的優(yōu)點：它是一個科學(xué)的定義，有明確的數(shù)學(xué)模型和定量計算。它與日常用語中的信息的含義一致。香農(nóng)信息定義的缺陷：該定義是以經(jīng)典集合論為基礎(chǔ)的概率模型來描述的。但在實際中的某些事物運動狀態(tài)很難找到合適的模型。 原因：香農(nóng)的信息定義只考慮了概率引起的不確定性，而沒有考慮由于模糊性等造成的不確定性。該定義未考慮收信者的主觀特征和主觀意義。第17頁，共42頁，2023年，2月20日，星期一信息、消息與信號舉例：電視轉(zhuǎn)播球賽

球賽情況電視中的圖像和聲音

電信號廣播播放球賽球賽情況廣播中的聲音電、聲信號網(wǎng)絡(luò)轉(zhuǎn)播球賽

球賽情況計算機(jī)上的圖像和聲音電信號報紙刊登球賽

…………….信息消息信號第18頁，共42頁，2023年，2月20日，星期一信息與消息的區(qū)分消息：是指包含有信息的語言、文字和圖像等，可表達(dá)客觀物質(zhì)運動和主觀思維活動的狀態(tài)。消息中包含信息，是信息的載體。

信息載體：信息必須依附于一定的物質(zhì)形式存在，這種運載信息的物質(zhì)，稱為信息載體。同一信息可用不同的消息形式來載荷。一則消息也可載荷不同的信息，可能包含豐富的信息，也可能包含很少的信息。消息和信息既有區(qū)別又有聯(lián)系。第19頁，共42頁，2023年，2月20日，星期一信息與信號的區(qū)分信號：把消息變換成適合信道傳輸?shù)奈锢砹考礊樾盘枺ㄈ珉娦盘?、光信號、聲信號等）。信號攜帶著消息，它是消息的運載工具。信號攜帶信息，但不是信息本身。同一信息可用不同的信號來表示。同一信號也可表示不同的信息。第20頁，共42頁，2023年，2月20日，星期一通信中的信號有電信號和光信號兩種。信號的特性可以通過幅度、頻率、相位等參量來描述，從信號的特性出發(fā)可將其分為模擬信號和數(shù)字信號兩大類：

模擬信號是指信號的某一參量可以取無窮多個值，并且與原始消息直接對應(yīng)的信號，如話音信號及其按照抽樣定理所得的PAM樣值信號等；tx(t)(a)時間連續(xù)的模擬信號tx(t)(b)時間離散的模擬信號第21頁，共42頁，2023年，2月20日，星期一

數(shù)字信號是指信號的某一參量只能取有限多個值，且與原始消息不直接對應(yīng)的信號，如計算機(jī)終端輸出的二進(jìn)制信號及其經(jīng)過PSK、FSK等調(diào)制方式調(diào)制后所得的信號等；1011001t(a)二進(jìn)制數(shù)字信號x(t)t0123(b)多進(jìn)制數(shù)字信號x(t)第22頁，共42頁，2023年，2月20日，星期一信息——總結(jié)指事件中所包含的內(nèi)容。是事物運動狀態(tài)或存在形式的不確定性的描述。不確定性大，則信息多；不確定性小，則信息少；沒有不確定性，則不包含信息。信息的度量通過對不確定性的度量來進(jìn)行。信息在數(shù)量上等于通信前后“不確定性”的減少（消除）量。度量方法？概率，隨機(jī)過程第23頁，共42頁，2023年，2月20日，星期一信息的特征信息是可以識別的。信息的載體是可以轉(zhuǎn)換的。信息是可以存貯的。信息是可以傳遞的。信息是可以度量的。信息是可以加工的。信息是可以共享的。第24頁，共42頁，2023年，2月20日，星期一1.2

信息論研究的對象、目的和內(nèi)容通信系統(tǒng)框圖（發(fā)送者）信道信宿信源干擾或噪聲消息（接收者）第25頁，共42頁，2023年，2月20日，星期一信息論的研究對象通信系統(tǒng)模型編碼器信道譯碼器信宿噪聲源信源第26頁，共42頁，2023年，2月20日，星期一通信系統(tǒng)模型組成信源：產(chǎn)生消息和消息序列的來源。編碼器：把消息變換成適合于信道傳輸?shù)男盘?。信源編碼器：將信源的輸出進(jìn)行適當(dāng)?shù)淖儞Q，以提高信息傳輸?shù)挠行?。信道編碼器：對信源編碼器的輸出進(jìn)行變換，用增加多余度的方法提高信道的抗干擾能力，以提高信息傳輸?shù)目煽啃浴Ｐ诺溃和ㄐ畔到y(tǒng)把載荷消息的信號從發(fā)送端送到接收端的媒介或通道，是包括收發(fā)設(shè)備在內(nèi)的物理設(shè)施。第27頁，共42頁，2023年，2月20日，星期一通信系統(tǒng)模型組成噪聲源：對傳輸信道或存儲媒介構(gòu)成干擾或噪聲的來源的總稱。譯碼器：把信道輸出的已迭加了干擾的編碼信號進(jìn)行反變換，變成信宿能夠接受的消息。信道譯碼器：利用信道編碼時所提供的多余度，檢查或糾正數(shù)字序列中的錯誤。信源譯碼器：把經(jīng)過信道譯碼器核對過的信息序列轉(zhuǎn)換成適合接收者接收的信息形式。信宿：消息傳送的對象，即接受消息的人或機(jī)器。

第28頁，共42頁，2023年，2月20日，星期一信息論的研究對象通信系統(tǒng)模型編碼器信道譯碼器信宿噪聲源信源消息信號干擾信號+干擾消息信源編碼+信道編碼信道譯碼+信源譯碼第29頁，共42頁，2023年，2月20日，星期一信息論的研究目的研究目的

提高信息傳輸系統(tǒng)的可靠性、有效性和安全性，以達(dá)到信息傳輸系統(tǒng)的最優(yōu)化。第30頁，共42頁，2023年，2月20日，星期一信息論的研究內(nèi)容研究內(nèi)容： 基于通信系統(tǒng)模型，研究信息傳輸和處理的共同規(guī)律。編碼器信道譯碼器信宿噪聲源信源信源編碼+信道編碼信道譯碼+信源譯碼第31頁，共42頁，2023年，2月20日，星期一狹義（香農(nóng)）信息論的研究內(nèi)容具體內(nèi)容：①什么是信息？如何度量信息？②怎樣確定信源中含有多少信息量？③對于一個信道，它傳輸信息量的最高極限（信道容量）是多少？④為了能夠無失真的傳輸信源信息，對信源編碼時所需的最少的碼符號數(shù)是多少？（無失真信源編碼即香農(nóng)第一定理）⑤在有噪信道中有沒有可能以接近信道容量的信息傳輸率傳輸信息而錯誤概率幾乎為零？（有噪信道編碼即香農(nóng)第二定理）⑥如果對信源編碼時允許一定量的失真，所需的最少的碼符號數(shù)又是多少？（限失真信源編碼即香農(nóng)第三定理）編碼器信道譯碼器信宿噪聲源信源信源編碼+信道編碼信道譯碼+信源譯碼第32頁，共42頁，2023年，2月20日，星期一對信息論研究內(nèi)容的理解 對信息論的研究內(nèi)容一般有三種理解：

狹義信息論（香農(nóng)信息論，經(jīng)典信息論） 主要研究信息論的基礎(chǔ)理論，包括信息的測度、信道容量以及信源和信道編碼理論等問題。

一般信息論（工程信息論，通信理論） 主要是研究信息傳輸和處理問題，除了香農(nóng)理論外，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計檢測和估計理論、調(diào)制理論以及信息處理理論（如：加密）等。廣義信息論（信息科學(xué)） 不僅包括上述兩方面內(nèi)容，而且包括所有與信息有關(guān)的自然和社會領(lǐng)域，如模式識別、計算機(jī)翻譯、心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語言學(xué)、語義學(xué)甚至包括社會學(xué)中有關(guān)信息的問題。第33頁，共42頁，2023年，2月20日，星期一1.3

信息論的發(fā)展過程現(xiàn)代信息論實際上是從20世紀(jì)20年代奈奎斯特和哈特萊的工作開始的。1924年，Nyquist提出信息傳輸理論；1928年，Hartley提出信息量關(guān)系1946年，柯切尼柯夫提出信號檢測理論；1948年，Shannon提出信息論，“通信中的數(shù)學(xué)理論”，標(biāo)志著信息論學(xué)科誕生。系統(tǒng)討論了通信的基本問題；得出無失真信源編碼定理（香農(nóng)第一定理）；得出有噪信道編碼（香農(nóng)第二定理）。第34頁，共42頁，2023年，2月20日，星期一信息論的發(fā)展過程五十年代：信息論在學(xué)術(shù)界引起了巨大反響。1959年：香農(nóng)發(fā)表文章“保真度準(zhǔn)則下的離散信源編碼定理”。為各種信源編碼的研究奠定了基礎(chǔ)；信息率失真理論（限失真信源編碼即香農(nóng)第三定理）數(shù)據(jù)壓縮理論與技術(shù)成為信息論的重要分支。六十年代：信道編碼技術(shù)有較大進(jìn)展。漢明碼、循環(huán)碼、卷積碼、BCH等。信道編碼成為信息論重要分支。第35頁，共42頁，2023年，2月20日，星期一信息論的發(fā)展過程1961年：香農(nóng)的重要論文“雙路通信信道”開拓了多用戶信息理論的研究。七十年代：有關(guān)信息論的研究，從點對點間的單用戶通信推廣到多用戶系統(tǒng)的研究。1959年：迪弗和海爾曼發(fā)表文章“密碼學(xué)的新方向”。提出了公開密鑰密碼體制。密碼學(xué)成為信息論重要分支。第36頁，共42頁，2023年，2月20日，星期一1.4信息論的研究現(xiàn)狀現(xiàn)狀在香農(nóng)理論基礎(chǔ)上給出的最佳噪聲通信系統(tǒng)模型近年來正在成為現(xiàn)實；在噪聲中信號過濾與檢測基礎(chǔ)上發(fā)展起來的信號檢測理論和抗干擾編碼基礎(chǔ)上發(fā)展起來的編碼理論已成為現(xiàn)代信息論的兩個重要分支；此外，模糊信息處理、相對信息處理、主觀信息處理、智能信息處理、自動化信息控制等大量嶄新課題的研究也相繼展開，使信息理論的面貌一新，并將大大促