信息論基礎(chǔ)第一章緒論ppt課件.ppt

課程信息 教材及主要參考書(shū) 信息論基礎(chǔ)與應(yīng)用 李梅電子工業(yè)出版社 2016年6月 信息論 基礎(chǔ)理論與應(yīng)用 傅祖蕓電子工業(yè)出版社 2001年8月考核 平時(shí)成績(jī)20 作業(yè) 考勤 實(shí)驗(yàn) 期末考試80 閉卷 答疑 實(shí)踐性教學(xué)內(nèi)容 要求及學(xué)時(shí)分配 實(shí)驗(yàn)一 信道容量的迭代算法2學(xué)時(shí)實(shí)驗(yàn)二 Huffman編碼2學(xué)時(shí)實(shí)驗(yàn)三 通信系統(tǒng)仿真4學(xué)時(shí) 備選題目 LZW壓縮編碼 國(guó)外參考教材 T M Cover FundamentalofInformationTheory 最為流行的英文教材 為Stanford MIT等學(xué)校的研究生課程選用 數(shù)學(xué)推導(dǎo)適中 強(qiáng)調(diào)概念 作為參考教材R G Gallager InformationTheoryandReliableCommunication 數(shù)學(xué)推導(dǎo)較為艱深 作為提高教材 第一章 緒論 一 什么是信息 二 通信系統(tǒng)模型 三 信息論的研究?jī)?nèi)容 四 信息論的形成和發(fā)展 第一章 緒論 一 什么是信息 二 通信系統(tǒng)模型 三 信息論的研究?jī)?nèi)容 四 信息論的形成和發(fā)展 1 概述2 信息的通俗概念3 信息的狹義概念 香農(nóng)信息 4 信息的廣義概念 組成客觀世界的三大基本要素 物質(zhì)能量信息沒(méi)有物質(zhì)什么都不存在 沒(méi)有能量什么都不會(huì)發(fā)生 沒(méi)有信息什么都沒(méi)有意義 美國(guó)學(xué)者歐廷格 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 第一章 緒論 1 概述 2 信息的通俗概念 信息的通俗概念 消息就是信息 用文字 符號(hào) 數(shù)據(jù) 語(yǔ)言 音符 圖片 圖像等能夠被人們感覺(jué)器官所感知的形式 把客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)表達(dá)出來(lái) 就稱(chēng)為消息 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 第一章 緒論 消息中包含信息 消息是信息的載體 2 信息的通俗概念 續(xù)1 信號(hào)是表示消息的物理量 包括電信號(hào) 光信號(hào)等 信號(hào)中攜帶著消息 信號(hào)是消息的載體 信息 信號(hào) 消息 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 第一章 緒論 3 信息的狹義概念 香農(nóng)信息 第一章 緒論 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 香農(nóng)信息 信息是對(duì)事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述 通信的基本問(wèn)題是在一點(diǎn) 信宿 精確或近似恢復(fù)另一點(diǎn) 信源 所選擇的消息 香農(nóng) 通信的過(guò)程就是消除不確定性的過(guò)程 3 信息的狹義概念 香農(nóng)信息 續(xù)1 第一章 緒論 例1 甲袋紅 白球各50個(gè) 乙袋紅 白 藍(lán) 黑球各25個(gè) 比較從甲袋中取出一個(gè)球是紅球的事件和從乙袋中取出一個(gè)球是紅球的事件發(fā)生的難易程度 也就是事件發(fā)生的不確定性 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 3 信息的狹義概念 香農(nóng)信息 續(xù)2 第一章 緒論 例2 北京地區(qū)十月份可能出現(xiàn)的天氣包括 晴 陰 雨 雪 比較天氣預(yù)報(bào)為 晴 和天氣預(yù)報(bào)為 雪 給人們帶來(lái)的信息量 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 結(jié)論 不確定性的大小與事件發(fā)生的概率有關(guān) 3 信息的狹義概念 香農(nóng)信息 續(xù)3 第一章 緒論 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 不確定性的大小與事件發(fā)生的概率有關(guān) 因此 信息量可以表示為概率的函數(shù) 不確定性是概率的函數(shù) 3 信息的狹義概念 香農(nóng)信息 續(xù)4 信息與概率的關(guān)系 事件發(fā)生的概率越大 該事件包含的信息量越小 如果一個(gè)事件發(fā)生的概率為1 那么它包含的信息量為0 兩個(gè)相互獨(dú)立事件所提供的信息量應(yīng)等于它們各自提供的信息量之和 第一章 緒論 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 3 信息的狹義概念 香農(nóng)信息 續(xù)5 某個(gè)消息的不確定性 含有的信息量 可以表示為 第一章 緒論 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 信源的平均不確定性 3 信息的狹義概念 香農(nóng)信息 續(xù)6 第一章 緒論 香農(nóng)信息的優(yōu)點(diǎn) 有明確的數(shù)學(xué)表達(dá)式 定量化與人們直觀理解的信息含義一致不考慮收信者主觀感受的不同 認(rèn)為同一消息對(duì)任何收信者 所得信息量相同 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 3 信息的狹義概念 香農(nóng)信息 續(xù)7 第一章 緒論 香農(nóng)信息的局限 沒(méi)有考慮收信者的主觀特性和主觀意義 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 4 信息的廣義概念 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 信息是認(rèn)識(shí)主體 人 生物 機(jī)器 所感受的和表達(dá)的事物運(yùn)動(dòng)的狀態(tài)和運(yùn)動(dòng)狀態(tài)變化的方式 語(yǔ)法信息語(yǔ)義信息語(yǔ)用信息 第一章 緒論 第一章 緒論 一 什么是信息 二 通信系統(tǒng)模型 三 信息論的研究?jī)?nèi)容 四 信息論的形成和發(fā)展 1 通信系統(tǒng)模型2 提高通信系統(tǒng)的性能指標(biāo)的措施 1 通信系統(tǒng)模型 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 第一章 緒論 圖1通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)1 信源編碼器信道譯碼器信宿 第一章 緒論 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 信源 研究?jī)?nèi)容 信源發(fā)出的消息的統(tǒng)計(jì)特性離散信源 連續(xù)信源 波形信源有記憶信源和無(wú)記憶信源平穩(wěn)信源和非平穩(wěn)信源信源產(chǎn)生信息的速率熵率 第一章 緒論 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)2 2 編碼器 編碼器的功能 將消息變成適合信道傳輸?shù)男盘?hào)編碼器包括 信源編碼器信道編碼器調(diào)制器 第一章 緒論 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)3 第一章 緒論 圖2編碼器的組成 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)4 信源編碼器 去除信源消息中的冗余度 提高傳輸?shù)挠行?第一章 緒論 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)5 信道編碼器 將信源編碼后的符號(hào)加上冗余符號(hào) 提高傳輸?shù)目煽啃?第一章 緒論 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 圖3信道編碼示例 1 通信系統(tǒng)模型 續(xù)6 第一章 緒論 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 思考題 信源編碼去除冗余度 信道編碼卻加上冗余度 為什么要這么做 1 通信系統(tǒng)模型 續(xù)7 調(diào)制器 功能 將信道編碼后的符號(hào)變成適合信道傳輸?shù)男盘?hào)目的 提高傳輸效率 第一章 緒論 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)8 3 信道 狹義信道廣義信道 第一章 緒論 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)9 研究?jī)?nèi)容 信道的統(tǒng)計(jì)特性無(wú)噪聲信道 有噪聲信道離散信道 連續(xù)信道 波形信道有記憶信道和無(wú)記憶信道恒參信道 平穩(wěn)信道 和隨參信道 非平穩(wěn)信道 單用戶信道和多用戶信道信道傳輸信息的最高速率信道容量 1 通信系統(tǒng)模型 續(xù)10 第一章 緒論 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 4 譯碼器 譯碼器的功能 從接收到的信號(hào)中恢復(fù)消息 包括 解調(diào)器信道譯碼器信源譯碼器 第一章 緒論 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)11 第一章 緒論 圖4譯碼器的組成 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)12 5 信宿 信宿是消息傳送的對(duì)象 人或機(jī)器 香農(nóng)信息論不研究信宿 第一章 緒論 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)13 第一章 緒論 提高有效性 數(shù)據(jù)壓縮 信源編碼 無(wú)失真信源編碼和限失真信源編碼提高可靠性 可靠傳輸 信道編碼 2 提高通信系統(tǒng)性能指標(biāo)的措施 研究?jī)?nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 第一章 緒論 一 什么是信息 二 通信系統(tǒng)模型 三 信息論的研究?jī)?nèi)容 四 信息論的形成和發(fā)展 1 信息論研究的主要問(wèn)題2 什么是信息論3 信息論的應(yīng)用 1 信息論研究的主要問(wèn)題 第一章 緒論 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究?jī)?nèi)容 狹義信息論 又稱(chēng)香農(nóng)信息論 一般信息論 也叫工程信息論 廣義信息論 1 信息論研究的主要問(wèn)題 續(xù)1 1 什么是信息 如何度量信息 第一章 緒論 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究?jī)?nèi)容 2 怎樣確定信源輸出信息的速率 3 對(duì)于一個(gè)信道 它傳輸信息的最高速率 信道容量 是多少 1 信息論研究的主要問(wèn)題 續(xù)2 4 無(wú)失真信源編碼 所需要的最少碼符號(hào)數(shù)是多少 第一章 緒論 香農(nóng)第一定理 如果編碼后的信源序列的編碼信息率不小于信源的熵 那么一定存在一種無(wú)失真信源編碼方法 否則 不存在這樣的一種無(wú)失真信源編碼方法 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究?jī)?nèi)容 1 信息論研究的主要問(wèn)題 續(xù)3 5 在有噪聲信道中 有沒(méi)有可能實(shí)現(xiàn)幾乎無(wú)差錯(cuò)的傳輸信息 第一章 緒論 香農(nóng)第二定理 如果信道的信息傳輸率小于信道容量 那么總可以找到一種編碼方式 使得當(dāng)編碼序列足夠長(zhǎng)時(shí)傳輸差錯(cuò)任意小 否則 不存在使差錯(cuò)任意小的信道編碼方式 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究?jī)?nèi)容 1 信息論研究的主要問(wèn)題 續(xù)4 6 如果信源編碼時(shí) 允許一定的失真 那么信源編碼所需要的最少碼符號(hào)數(shù)又是多少 第一章 緒論 香農(nóng)第三定理 對(duì)于任意的失真度 只要碼字足夠長(zhǎng) 那么總可以找到一種編碼方法 使編碼后的編碼信息率 而碼的平均失真度 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究?jī)?nèi)容 信息論是通信的數(shù)學(xué)基礎(chǔ) 它以概率論為主要數(shù)學(xué)工具 詳細(xì)研究了通信中的各個(gè)關(guān)鍵環(huán)節(jié) 以定理的形式給出了信源編碼 信道編碼的理論極限 為各種具體的通信技術(shù)提供了理論上的指導(dǎo) 信息論創(chuàng)立的標(biāo)志 香農(nóng)于1948年發(fā)表的論文 AMathematicalTheoryofCommunication 通信的數(shù)學(xué)理論 2 什么是信息論 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究?jī)?nèi)容 第一章 緒論 2 什么是信息論 續(xù)1 以概率論 隨機(jī)過(guò)程為基本研究工具 第一章 緒論 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究?jī)?nèi)容 研究的是通信系統(tǒng)的整個(gè)過(guò)程 而不是單個(gè)環(huán)節(jié) 并以編 譯碼器為重點(diǎn) 關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達(dá)到這個(gè)性能 并不具體設(shè)計(jì)系統(tǒng) 要求信源為隨機(jī)過(guò)程 不研究信宿 信息論的特點(diǎn) 信息論幫助通信工程師從全局的觀點(diǎn)觀察和設(shè)計(jì)通信系統(tǒng) 信息論是從事信息通信系統(tǒng)研究和開(kāi)發(fā)的必備的知識(shí) 香農(nóng)信息論的目標(biāo)是研究通信系統(tǒng)的信息傳遞 而不是幫助人們理解信息含義 香農(nóng)信息論有它的局限性 2 信息論的應(yīng)用 第一章 緒論 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究?jī)?nèi)容 2 信息論的應(yīng)用 續(xù)1 通信的基本問(wèn)題是在一點(diǎn)精確地或近似地恢復(fù)另一點(diǎn) 信源 所選擇的消息 通常 這些消息是有含義的 但是這些語(yǔ)義方面的問(wèn)題與通信問(wèn)題無(wú)關(guān) 而重要的方面是實(shí)際消息是從一個(gè)可能的消息集合中選擇出的一條消息 香農(nóng) 第一章 緒論 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究?jī)?nèi)容 2 信息論的應(yīng)用 續(xù)2 信息論的應(yīng)用舉例語(yǔ)音信號(hào)壓縮 G 711 GSM Vocoder 計(jì)算機(jī)文件壓縮模擬話路中數(shù)據(jù)傳輸速率的提高其他 音頻信號(hào)壓縮MP3 圖象信號(hào)的壓縮JPEG MPEG等 第一章 緒論 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究?jī)?nèi)容 第一章 緒論 一 什么是信息 二 通信系統(tǒng)模型 三 信息論的研究?jī)?nèi)容 四 信息論的形成和發(fā)展 1 技術(shù)背景2 理論背景3 香農(nóng)的主要工作 1 技術(shù)背景 當(dāng)時(shí)通信理論與技術(shù)已有較大的發(fā)展 存在的通信技術(shù)包括 電報(bào) Morse 1838 電話 Bell 1876 無(wú)線電報(bào) Marconi 1887 調(diào)幅廣播 1900 s早期 單邊帶調(diào)制 Carson 1922 電視 1925 1927 調(diào)頻廣播 Armstrong 1936 脈沖編碼調(diào)制 Reeves 1937 1939 聲碼器 Dudley 1939 擴(kuò)頻通信 1940 s 等 第一章 緒論 通信系統(tǒng)模型 研究?jī)?nèi)容 什么是信息 形成和發(fā)展 2 理論背景 1948年以前 Nyquist Hartley Wiener做了許