信息論與編碼第一章

信息論與編碼第一章1第一頁，共四十頁，編輯于2023年，星期六教材

《信息論與編碼》,陳運(yùn),電子工業(yè)出版社《信息論—基礎(chǔ)理論與應(yīng)用》,傅祖蕓,電子工業(yè)出版社《糾錯碼—原理與方法》,王新梅,西安電子科技大學(xué)出版社

《信息論與編碼》,曹雪虹,北京郵電大學(xué)出版社《信息論與編碼》,傅祖蕓,電子工業(yè)出版社參考教材：2第二頁，共四十頁，編輯于2023年，星期六課程概述當(dāng)今的時代是一個信息的時代，信息處理技術(shù)的不斷進(jìn)步極大的影響了我們的生活，使我們的生活質(zhì)量得到很大提高。本課程將介紹信息科學(xué)的基礎(chǔ)理論和基本方法，課程將基于一個通訊系統(tǒng)的抽象數(shù)學(xué)模型進(jìn)行展開，課程的數(shù)學(xué)基礎(chǔ)為概率論。整個課程可分為基礎(chǔ)理論和編碼理論兩部分組成。3第三頁，共四十頁，編輯于2023年，星期六學(xué)習(xí)方法

本課程以概率論為基礎(chǔ)，數(shù)學(xué)推導(dǎo)較多，學(xué)習(xí)時主要把注意力集中到概念的理解上，不過分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。學(xué)習(xí)時一定要從始至終注意基本概念的理解，不斷加深概念的把握。學(xué)習(xí)時注意理解各個概念的“用處”，結(jié)合其他課程理解它的意義，而不要把它當(dāng)作數(shù)學(xué)課來學(xué)習(xí)，提倡獨(dú)立思考，注重思考在學(xué)習(xí)中的重要性。4第四頁，共四十頁，編輯于2023年，星期六第一章緒論

主要內(nèi)容：5第五頁，共四十頁，編輯于2023年，星期六第一節(jié)信息的概念

從哲學(xué)的角度上講，信息是構(gòu)成物質(zhì)世界的三大支柱之一，其他兩個是物質(zhì)和能量。可以說我們生活在信息的海洋之中，沒有信息就沒有世界，當(dāng)然也就沒有我們?nèi)祟惿鐣?。人類利用信息利用信息的歷史非常悠久，而且隨著人類社會的發(fā)展而發(fā)展。到了現(xiàn)代，信息的利用已經(jīng)非常重要，以至于我們當(dāng)今生活的社會被稱作信息社會?？梢娦畔⒌闹匾?。但是有史以來，人們都沒有對信息下過一個確切的定義。就像對于物質(zhì)和能量一樣。6第六頁，共四十頁，編輯于2023年，星期六

信息雖無確切定義，但是卻具有兩個明顯的特征：廣泛性與抽象性。

廣泛性客觀世界充滿著信息

人類離不開信息

知識、書本是有用信息的積累

抽象性三大要素是：物質(zhì)、能量與信息。三要素中物質(zhì)是基礎(chǔ)，是實(shí)體。能量是物質(zhì)運(yùn)動的形式，E=mc2，物質(zhì)可轉(zhuǎn)換成能量，而能量又是改造客觀世界的主要動力。什么是信息？7第七頁，共四十頁，編輯于2023年，星期六通俗的說，信息就是消息。如：告訴你一個消息……

從不同的角度，有上百種不同的定義；

如：

“信息是事物之間的差別?！?/p>

“信息是接受者事先不知道的東西?！睆V義地說，信息是認(rèn)識主體（人、生物、機(jī)器）所感受的事物運(yùn)動狀態(tài)和變換方式。

狹義地說，信息是用來消除不確定性的東西。

——這是香農(nóng)（ClaudeElwoodShannon)給出的定義。什么是信息？8第八頁，共四十頁，編輯于2023年，星期六信息的直觀認(rèn)識9第九頁，共四十頁，編輯于2023年，星期六信息的直觀認(rèn)識10第十頁，共四十頁，編輯于2023年，星期六信息的直觀認(rèn)識11第十一頁，共四十頁，編輯于2023年，星期六信息的直觀認(rèn)識12第十二頁，共四十頁，編輯于2023年，星期六香農(nóng)信息的度量信息——“是來消除不確定性的東西”；13第十三頁，共四十頁，編輯于2023年，星期六互信息互信息量：

yj對xi的互信息量定義為后驗(yàn)概率與先驗(yàn)概率比值的對數(shù)。先驗(yàn)概率：信源發(fā)出消息xi的概率p(xi)。后驗(yàn)概率：信宿收到y(tǒng)j后推測信源發(fā)出xi的概率p(xi/yj)。14第十四頁，共四十頁，編輯于2023年，星期六信息的特性信息是可度量的；信息是無形的；信息是可共享的；信息是無限的；15第十五頁，共四十頁，編輯于2023年，星期六消息是信息載體和具體表現(xiàn)形式（如文字、符號、圖片、電影等）；消息、信號和信息之間的關(guān)系16第十六頁，共四十頁，編輯于2023年，星期六信號是消息的表現(xiàn)形式；消息是信號的具體內(nèi)容；信號是表示消息的物理量（隨時間、空間變化），適合在信道傳輸?shù)奈锢砹?，如聲波、光波、電磁波等。消息、信號和信息之間的關(guān)系17第十七頁，共四十頁，編輯于2023年，星期六信息論研究的對象18第十八頁，共四十頁，編輯于2023年，星期六信息論研究的對象19第十九頁，共四十頁，編輯于2023年，星期六信源編碼的主要目的20第二十頁，共四十頁，編輯于2023年，星期六信源編碼的主要目的壓縮！使信號能夠更加有效地傳輸信息。呵呵，這樣就能過去啦！21第二十一頁，共四十頁，編輯于2023年，星期六信道編碼的主要目的22第二十二頁，共四十頁，編輯于2023年，星期六調(diào)制的主要目的23第二十三頁，共四十頁，編輯于2023年，星期六調(diào)制的主要目的24第二十四頁，共四十頁，編輯于2023年，星期六通信系統(tǒng)的指標(biāo)通信系統(tǒng)的基本問題：在某一點(diǎn)精確或近似地恢復(fù)另一點(diǎn)發(fā)送的信息。25第二十五頁，共四十頁，編輯于2023年，星期六香農(nóng)的主要貢獻(xiàn)26第二十六頁，共四十頁，編輯于2023年，星期六信息論的研究內(nèi)容27第二十七頁，共四十頁，編輯于2023年，星期六信息論的研究內(nèi)容28第二十八頁，共四十頁，編輯于2023年，星期六信息論的研究內(nèi)容29第二十九頁，共四十頁，編輯于2023年，星期六信息論的分支30第三十頁，共四十頁，編輯于2023年，星期六信息論的發(fā)展31第三十一頁，共四十頁，編輯于2023年，星期六信息論的發(fā)展32第三十二頁，共四十頁，編輯于2023年，星期六信息論的發(fā)展33第三十三頁，共四十頁，編輯于2023年，星期六信息論的應(yīng)用34第三十四頁，共四十頁，編輯于2023年，星期六信息論的應(yīng)用35第三十五頁，共四十頁，編輯于2023年，星期六香農(nóng)生平介紹36第三十六頁，共四十頁，編輯于2023年，星期六香農(nóng)的主