信息論基礎(chǔ)與應(yīng)用-李梅-第一章 緒論

1、李 梅l教材及主要參考書教材及主要參考書： 信息論基礎(chǔ)與應(yīng)用信息論基礎(chǔ)與應(yīng)用 李梅李梅 電子工業(yè)出版社，電子工業(yè)出版社， 20162016年年6 6月月 信息論信息論-基礎(chǔ)理論與應(yīng)用基礎(chǔ)理論與應(yīng)用，傅祖蕓，傅祖蕓 電子工業(yè)出版社，電子工業(yè)出版社，20012001年年8 8月月l考核考核：平時(shí)成績(jī)平時(shí)成績(jī) 20（作業(yè)、考勤、（作業(yè)、考勤、實(shí)驗(yàn)實(shí)驗(yàn)） 期末考試期末考試 80（閉卷）（閉卷）l答疑答疑：實(shí)驗(yàn)一：信道容量的迭代算法實(shí)驗(yàn)一：信道容量的迭代算法 2 學(xué)時(shí)實(shí)驗(yàn)二：實(shí)驗(yàn)二：Huffman 編碼編碼 2 學(xué)時(shí)實(shí)驗(yàn)三：通信系統(tǒng)仿真實(shí)驗(yàn)三：通信系統(tǒng)仿真 4 學(xué)時(shí) （備選題目：LZW壓縮編碼）T. M

2、. Cover, Fundamental of Information Theory 最為流行的英文教材，為Stanford、MIT等學(xué)校的研究生課程選用 數(shù)學(xué)推導(dǎo)適中，強(qiáng)調(diào)概念，作為參考教材R.G. Gallager, Information Theory and Reliable Communication 數(shù)學(xué)推導(dǎo)較為艱深 作為提高教材一、一、什么是信息什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容三、信息論的研究?jī)?nèi)容四、信息論的

3、形成和發(fā)展四、信息論的形成和發(fā)展1. 概述概述2. 信息的通俗概念信息的通俗概念3. 信息的狹義概念（香農(nóng)信息）信息的狹義概念（香農(nóng)信息）4. 信息的廣義概念信息的廣義概念l組成客觀世界的三大基本要素：組成客觀世界的三大基本要素：物質(zhì)物質(zhì)能量能量信息信息l沒有物質(zhì)什么都不存在，沒有能量什么都不會(huì)發(fā)生，沒沒有物質(zhì)什么都不存在，沒有能量什么都不會(huì)發(fā)生，沒有信息什么都沒有意義。有信息什么都沒有意義。 美國(guó)學(xué)者歐廷格美國(guó)學(xué)者歐廷格研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型 信息的通俗概念：消息就是信息。信息的通俗概念：消息就是信息。l用文字、符號(hào)、數(shù)據(jù)、語言、音

4、符、圖片、圖像等能夠用文字、符號(hào)、數(shù)據(jù)、語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運(yùn)動(dòng)和主觀被人們感覺器官所感知的形式，把客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)表達(dá)出來，就稱為思維活動(dòng)的狀態(tài)表達(dá)出來，就稱為消息消息。研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l消息消息中包含信息，消息是信息的載體。中包含信息，消息是信息的載體。l信號(hào)信號(hào)是表示消息的物理量，包括電信號(hào)、光信號(hào)等。是表示消息的物理量，包括電信號(hào)、光信號(hào)等。l信號(hào)信號(hào)中攜帶著消息，信號(hào)是消息的載體。中攜帶著消息，信號(hào)是消息的載體。信息信息信號(hào)信號(hào)消息消息研究?jī)?nèi)容研究?jī)?nèi)容形成和

5、發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型香農(nóng)信息：信息是對(duì)事物運(yùn)動(dòng)狀態(tài)或存在方式的香農(nóng)信息：信息是對(duì)事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定不確定 性性的描述。的描述。l通信的基本問題是在一點(diǎn)通信的基本問題是在一點(diǎn)( (信宿）精確或近似恢復(fù)另一點(diǎn)信宿）精確或近似恢復(fù)另一點(diǎn)（信源）所選擇的消息。（信源）所選擇的消息。 香農(nóng)香農(nóng)l通信的過程就是消除通信的過程就是消除不確定性不確定性的過程。的過程。l例例1 1： 甲袋紅、白球各甲袋紅、白球各5050個(gè)，乙袋紅、白、藍(lán)、黑球各個(gè)，乙袋紅、白、藍(lán)、黑球各2525

6、個(gè)。比較從甲袋中取出一個(gè)球是紅球的事件和從乙袋個(gè)。比較從甲袋中取出一個(gè)球是紅球的事件和從乙袋中取出一個(gè)球是紅球的事件發(fā)生的難易程度，也就是事中取出一個(gè)球是紅球的事件發(fā)生的難易程度，也就是事件發(fā)生的不確定性。件發(fā)生的不確定性。研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l例例2 2： 北京地區(qū)十月份可能出現(xiàn)的天氣包括：晴、陰、北京地區(qū)十月份可能出現(xiàn)的天氣包括：晴、陰、雨、雪。比較天氣預(yù)報(bào)為雨、雪。比較天氣預(yù)報(bào)為“晴晴”和天氣預(yù)報(bào)為和天氣預(yù)報(bào)為“雪雪”，給人們帶來的信息量。給人們帶來的信息量。研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模

7、型通信系統(tǒng)模型結(jié)論結(jié)論：不確定性的大小與事：不確定性的大小與事件發(fā)生的概率有關(guān)。件發(fā)生的概率有關(guān)。研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型不確定性的大小與事件發(fā)生的概率有關(guān)不確定性的大小與事件發(fā)生的概率有關(guān)因此，信息量可以表示為概率的函數(shù)。因此，信息量可以表示為概率的函數(shù)。不確定性是概率的函數(shù)不確定性是概率的函數(shù)l信息與概率的關(guān)系：信息與概率的關(guān)系：事件發(fā)生的事件發(fā)生的概率越大概率越大，該事件包含的，該事件包含的信息量越小信息量越??；如果一個(gè)事件發(fā)生的如果一個(gè)事件發(fā)生的概率為概率為1 1，那么它包含的，那么它包含的信息量為信息量為0 0；兩個(gè)相互獨(dú)立事

8、件所提供的信息量應(yīng)等于它們各自提供的兩個(gè)相互獨(dú)立事件所提供的信息量應(yīng)等于它們各自提供的信息量之和。信息量之和。研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l某個(gè)消息的不確定性（含有的信息量）可以表示為：某個(gè)消息的不確定性（含有的信息量）可以表示為：1( )loglog( )( )iiiI xp xp x 研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型qiiixpxpXH1)(log)()(信源的平均信源的平均不確定性：不確定性：11111()()log55xp xI x 22244()()log55xp xI x 114

9、4()loglog5555H X l香農(nóng)信息的優(yōu)點(diǎn)：香農(nóng)信息的優(yōu)點(diǎn)：有明確的數(shù)學(xué)表達(dá)式，定量化有明確的數(shù)學(xué)表達(dá)式，定量化與人們直觀理解的信息含義一致與人們直觀理解的信息含義一致不考慮收信者主觀感受的不同，認(rèn)為同一消息對(duì)不考慮收信者主觀感受的不同，認(rèn)為同一消息對(duì)任何收信者，所得信息量相同。任何收信者，所得信息量相同。研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l香農(nóng)信息的局限：香農(nóng)信息的局限：沒有考慮收信者的主觀特性和主觀意義沒有考慮收信者的主觀特性和主觀意義研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型研究?jī)?nèi)容研究?jī)?nèi)容形

10、成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型信息信息是認(rèn)識(shí)主體（人、生物、機(jī)器）所感受的和表達(dá)的事是認(rèn)識(shí)主體（人、生物、機(jī)器）所感受的和表達(dá)的事物運(yùn)動(dòng)的狀態(tài)和運(yùn)動(dòng)狀態(tài)變化的方式。物運(yùn)動(dòng)的狀態(tài)和運(yùn)動(dòng)狀態(tài)變化的方式。語法信息語法信息語義信息語義信息語用信息語用信息一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1. 通信系統(tǒng)模型通信系統(tǒng)模型2. 提高通信系統(tǒng)的性能指標(biāo)的措施提高通信系統(tǒng)的性能指標(biāo)的措施研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型圖

11、圖1 通信系統(tǒng)模型通信系統(tǒng)模型l信源信源l編碼器編碼器l信道信道l譯碼器譯碼器l信宿信宿研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型研究?jī)?nèi)容：研究?jī)?nèi)容：l信源發(fā)出的消息的信源發(fā)出的消息的統(tǒng)計(jì)特性統(tǒng)計(jì)特性 離散離散信源、信源、連續(xù)連續(xù)信源、信源、波形波形信源信源 有記憶有記憶信源和信源和無記憶無記憶信源信源 平穩(wěn)平穩(wěn)信源和信源和非平穩(wěn)非平穩(wěn)信源信源l信源產(chǎn)生信息的信源產(chǎn)生信息的速率速率 熵率熵率研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l編碼器的功能：將消息變成適合信道傳輸?shù)男盘?hào)編碼器的功能：將消息變成適合信道傳輸?shù)男?/p>

12、號(hào) l編碼器包括：編碼器包括：信源編碼器信源編碼器信道編碼器信道編碼器調(diào)制器調(diào)制器研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型圖圖2 編碼器的組成編碼器的組成研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l信源編碼器：信源編碼器：去除信源消息中的冗余度，提高傳輸?shù)挠行?。去除信源消息中的冗余度，提高傳輸?shù)挠行浴Ｑ芯績(jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l信道編碼器：信道編碼器：將信源編碼后的符號(hào)加上冗余符號(hào)，提高傳輸?shù)目煽啃?。將信源編碼后的符號(hào)加上冗余符號(hào)，提高傳輸?shù)目煽啃?。研?/p>

13、內(nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型圖圖3 信道編碼示例信道編碼示例研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l思考題：思考題： 信源編碼去除冗余度，信道編碼卻加上冗余度，為信源編碼去除冗余度，信道編碼卻加上冗余度，為什么要這么做？什么要這么做？l調(diào)制器：調(diào)制器：功能：將信道編碼后的符號(hào)變成適合信道傳輸?shù)男盘?hào)功能：將信道編碼后的符號(hào)變成適合信道傳輸?shù)男盘?hào)目的：目的： 提高傳輸效率提高傳輸效率研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l狹義信道狹義信道l廣義信道廣義信道研究?jī)?nèi)

14、容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型研究?jī)?nèi)容：研究?jī)?nèi)容：l信道的信道的統(tǒng)計(jì)特性統(tǒng)計(jì)特性無噪聲無噪聲信道、信道、有噪聲有噪聲信道信道離散離散信道、信道、連續(xù)連續(xù)信道、信道、波形波形信道信道有記憶有記憶信道和信道和無記憶無記憶信道信道恒參恒參信道（信道（平穩(wěn)平穩(wěn)信道）和信道）和隨參隨參信道（信道（非平穩(wěn)非平穩(wěn)信道）信道）單用戶單用戶信道和信道和多用戶多用戶信道信道l信道傳輸信息的信道傳輸信息的最高速率最高速率 信道容量信道容量研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l譯碼器的功能：從接收到的信號(hào)中恢復(fù)消息。譯碼器的功

15、能：從接收到的信號(hào)中恢復(fù)消息。l包括：包括：解調(diào)器解調(diào)器信道譯碼器信道譯碼器信源譯碼器信源譯碼器研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型圖圖4 譯碼器的組成譯碼器的組成研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l信宿是消息傳送的對(duì)象（人或機(jī)器）。信宿是消息傳送的對(duì)象（人或機(jī)器）。l香農(nóng)信息論不研究信宿。香農(nóng)信息論不研究信宿。研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l提高提高有效性有效性： （數(shù)據(jù)壓縮）（數(shù)據(jù)壓縮）信源編碼：信源編碼：無失真無失真信源編碼和信源編碼和限失真限

16、失真信源編碼信源編碼l提高提高可靠性可靠性： （可靠傳輸）（可靠傳輸）信道編碼信道編碼2.提高通信系統(tǒng)性能指標(biāo)的措施研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1. 信息論研究的主要問題信息論研究的主要問題2. 什么是信息論什么是信息論3. 信息論的應(yīng)用信息論的應(yīng)用通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容 狹義信息論：又稱香農(nóng)信息論。狹義信息論：又稱香農(nóng)信息論。 一般信息論：

17、也叫工程信息論。一般信息論：也叫工程信息論。 廣義信息論廣義信息論廣義廣義信息論信息論一般一般信息論信息論狹義狹義信息論信息論1 1）什么是信息？如何度量信息？）什么是信息？如何度量信息？通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容2 2）怎樣確定信源輸出信息的速率？）怎樣確定信源輸出信息的速率？3 3）對(duì)于一個(gè)信道，它傳輸信息的最高速率（信道容量）是）對(duì)于一個(gè)信道，它傳輸信息的最高速率（信道容量）是多少？多少？4 4）無失真信源編碼，所需要的最少碼符號(hào)數(shù)是多少？）無失真信源編碼，所需要的最少碼符號(hào)數(shù)是多少？ 香農(nóng)第一定理香農(nóng)第一定理： 如果編碼后的信源序列

18、的如果編碼后的信源序列的編碼信息率不小于信源的熵，那么一定存編碼信息率不小于信源的熵，那么一定存在一種無失真信源編碼方法；否則，不存在一種無失真信源編碼方法；否則，不存在這樣的一種無失真信源編碼方法。在這樣的一種無失真信源編碼方法。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容5 5）在有噪聲信道中，有沒有可能實(shí)現(xiàn)幾乎無差錯(cuò)的傳輸信）在有噪聲信道中，有沒有可能實(shí)現(xiàn)幾乎無差錯(cuò)的傳輸信息？息？ 香農(nóng)第二定理香農(nóng)第二定理：如果信道的信息傳輸率小于信：如果信道的信息傳輸率小于信道容量，那么總可以找到一種編碼方式，使得道容量，那么總可以找到一種編碼方式，使得當(dāng)編碼序列足

19、夠長(zhǎng)時(shí)傳輸差錯(cuò)任意??；否則，當(dāng)編碼序列足夠長(zhǎng)時(shí)傳輸差錯(cuò)任意小；否則，不存在使差錯(cuò)任意小的信道編碼方式。不存在使差錯(cuò)任意小的信道編碼方式。 通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容6 6）如果信源編碼時(shí)，允許一定的失真，那么信源編碼所需）如果信源編碼時(shí)，允許一定的失真，那么信源編碼所需要的最少碼符號(hào)數(shù)又是多少？要的最少碼符號(hào)數(shù)又是多少？ 香農(nóng)第三定理香農(nóng)第三定理：對(duì)于任意的失真度：對(duì)于任意的失真度 ，只要，只要碼字足夠長(zhǎng)，那么總可以找到一種編碼方法，使碼字足夠長(zhǎng)，那么總可以找到一種編碼方法，使編碼后的編碼信息率編碼后的編碼信息率 ，而碼的平均失真，而碼的平

20、均失真度度 。0D 0D()R DdD通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容 信息論是通信的數(shù)學(xué)基礎(chǔ)，它以概率論為主要數(shù)學(xué)工具，信息論是通信的數(shù)學(xué)基礎(chǔ)，它以概率論為主要數(shù)學(xué)工具，詳細(xì)研究了通信中的各個(gè)關(guān)鍵環(huán)節(jié)，以定理的形式給出了信詳細(xì)研究了通信中的各個(gè)關(guān)鍵環(huán)節(jié)，以定理的形式給出了信源編碼、信道編碼的理論極限，為各種具體的通信技術(shù)提供源編碼、信道編碼的理論極限，為各種具體的通信技術(shù)提供了理論上的指導(dǎo)。了理論上的指導(dǎo)。信息論創(chuàng)立的標(biāo)志信息論創(chuàng)立的標(biāo)志: :香農(nóng)于香農(nóng)于19481948年發(fā)表年發(fā)表 的論文的論文： A Mathematical Theory

21、of Communication（通信的數(shù)學(xué)理論）（通信的數(shù)學(xué)理論）通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容l以概率論、隨機(jī)過程為基本研究工具。以概率論、隨機(jī)過程為基本研究工具。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容l研究的是通信系統(tǒng)的整個(gè)過程，而不是單個(gè)環(huán)節(jié)，并研究的是通信系統(tǒng)的整個(gè)過程，而不是單個(gè)環(huán)節(jié)，并以編、譯碼器為重點(diǎn)。以編、譯碼器為重點(diǎn)。l關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達(dá)到這個(gè)性能（并不關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達(dá)到這個(gè)性能（并不具體設(shè)計(jì)系統(tǒng)）。具體設(shè)計(jì)系統(tǒng)）。l要求信源為隨機(jī)過程，不研究信宿。要求信源

22、為隨機(jī)過程，不研究信宿。信息論幫助通信工程師從全局的觀點(diǎn)觀察和設(shè)計(jì)通信系統(tǒng)。信息論幫助通信工程師從全局的觀點(diǎn)觀察和設(shè)計(jì)通信系統(tǒng)。信息論是從事信息通信系統(tǒng)研究和開發(fā)的必備的知識(shí)。信息論是從事信息通信系統(tǒng)研究和開發(fā)的必備的知識(shí)。香農(nóng)信息論的目標(biāo)是研究通信系統(tǒng)的信息傳遞，而不是幫香農(nóng)信息論的目標(biāo)是研究通信系統(tǒng)的信息傳遞，而不是幫助人們理解信息含義。香農(nóng)信息論有它的局限性。助人們理解信息含義。香農(nóng)信息論有它的局限性。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容 通信的基本問題是在一點(diǎn)精確地或近似地恢復(fù)另一點(diǎn)（信源）通信的基本問題是在一點(diǎn)精確地或近似地恢復(fù)另一點(diǎn)（信源

23、）所選擇的消息。通常，這些消息是有含義的，但是這些語義方所選擇的消息。通常，這些消息是有含義的，但是這些語義方面的問題與通信問題無關(guān)，而重要的方面是實(shí)際消息是從一個(gè)面的問題與通信問題無關(guān)，而重要的方面是實(shí)際消息是從一個(gè)可能的消息集合中選擇出的一條消息?？赡艿南⒓现羞x擇出的一條消息。 香農(nóng)香農(nóng)通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容信息論的應(yīng)用舉例語音信號(hào)壓縮（G.711,GSM,Vocoder）計(jì)算機(jī)文件壓縮模擬話路中數(shù)據(jù)傳輸速率的提高其他（音頻信號(hào)壓縮MP3、圖象信號(hào)的壓縮JPEG,MPEG等）通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展四、信息論的形