《信息論與編碼》課程教學(xué)大綱

1、信息論與編碼教學(xué)大綱一、課程基本信息中文名稱信息論與編碼英文名稱Information & Coding Theory適用專業(yè)信息工程先修課程高等數(shù)學(xué)、概率論課程類別專業(yè)基礎(chǔ)課修讀性質(zhì)必修學(xué)分/學(xué)時3學(xué)分/51學(xué)時考核方式考試二、教學(xué)目標本課程是為信息工程專業(yè)本科生開設(shè)的學(xué)科專業(yè)課程之一，本課程的任務(wù)是使學(xué)生獲得有關(guān)信息的基本知識及信道傳輸信息的基本理論，為學(xué)生今后可能從事廣義的信息系統(tǒng)的設(shè)計提供一定的理論基礎(chǔ)及原則的方向性指導(dǎo)，并通過從統(tǒng)計學(xué)的觀點研究信息系統(tǒng)來提高學(xué)生的抽象思維及用系統(tǒng)優(yōu)化的方法分析問題的能力，對通信體制和通信系統(tǒng)的研究具有指導(dǎo)意義。因此，信息論與編碼是從事通信電子、信息工

2、程的有關(guān)技術(shù)人員必須掌握的基本理論知識。 三、教學(xué)內(nèi)容及基本要求第一章 緒論（2學(xué)時）（一）教學(xué)目標1. 了解信息的概念及通信系統(tǒng)模型2. 理解信息論研究的主要目的（二）重點、難點信息、消息概念的關(guān)系，香農(nóng)信息的度量（三）教學(xué)內(nèi)容1.信息的概念（1）信息、消息的區(qū)別和聯(lián)系（2）香農(nóng)信息的定義（3）香農(nóng)信息的度量2.信息論研究的對象、目的和內(nèi)容（1）信息論研究的對象（2）信息論研究的內(nèi)容第二章 離散信源及其信息測度（10學(xué)時）（一）教學(xué)目標1.了解離散信源的分類及數(shù)學(xué)模型2.理解離散無記憶擴展信源、離散平穩(wěn)信源和馬爾可夫信源3.掌握離散無記憶信源的自信息、熵和剩余度（二）重點、難點離散信源的信息

3、熵，離散平穩(wěn)信源和馬爾可夫信源（三）教學(xué)內(nèi)容1.信源的數(shù)學(xué)模型及分類（1）信源輸出的消息用隨機變量描述（2）信源輸出的消息用隨機矢量描述（3）信源輸出的消息用隨機過程描述2.離散信源的信息熵（1）自信息（2）信息熵3.信息熵的基本性質(zhì)4.離散平穩(wěn)信源（1）離散平穩(wěn)信源的數(shù)學(xué)定義（2）二維離散平穩(wěn)信源及其信息熵（3）離散平穩(wěn)信源的極限熵5.馬爾可夫信源（1）馬爾可夫信源和m馬爾可夫信源的定義（2）馬爾可夫信源和m馬爾可夫信源的信息熵6.信源剩余度與自然語言的熵第三章 離散信道及其信息容量（9學(xué)時）（一）教學(xué)目標1.理解離散信道的數(shù)學(xué)模型2.掌握信道疑義度和平均互信息的概念和計算方法3.掌握信道容

4、量的計算方法（二）重點、難點信道疑義度，平均互信息（三）教學(xué)內(nèi)容1.信道的數(shù)學(xué)模型及分類（1）信道的分類（2）離散信道的數(shù)學(xué)模型（3）單符號離散信道的數(shù)學(xué)模型2.平均互信息（1）信道疑義度（2）平均互信息3.平均互信息的特性4.信道容量及其一般計算方法（1）離散無噪信道的信道容量（2）對稱離散信道的信道容量（3）準對稱信道的信道容量5.離散無記憶擴展信道及其信道容量第四章 波形信源和波形信道（6學(xué)時）（一）教學(xué)目標1.掌握連續(xù)信源和波形信源的信息測度2.了解連續(xù)信源和波形信源的分類3.理解連續(xù)信道和波形信道的信道容量的計算方法（二）重點、難點連續(xù)信源和波形信源的信息測度 （三）教學(xué)內(nèi)容1. 波

5、形信源的統(tǒng)計特性和離散化2. 連續(xù)信源和波形需要的信息測度（1）連續(xù)信源的差熵（2）連續(xù)平穩(wěn)信源和波形信源的差熵（3）兩種特殊連續(xù)信源的差熵3. 連續(xù)信道和波形信道的分類（1）按信道輸入和輸出的統(tǒng)計特性分類（2）按噪聲的統(tǒng)計特性分類（3）按噪聲對信號的作用功能分類4. 連續(xù)信道和波形信道的信道容量（1）單符號高斯加性信道（2）香農(nóng)公式的重要實際指導(dǎo)意義第五章 無失真信源編碼定理 （6學(xué)時）（一）教學(xué)目標1.理解碼的分類和等長編碼定理2.掌握唯一可譯碼和即時碼的區(qū)別和聯(lián)系3.掌握唯一可譯碼的判斷法（二）重點、難點克拉夫特不等式，唯一可譯碼的判斷法（三）教學(xué)內(nèi)容1. 編碼器2. 等長信源編碼定理3

6、. 變長碼（1）唯一可譯碼與即時碼（2）即時碼的樹圖構(gòu)造法（3）克拉夫特不等式（4）唯一可譯碼的判斷法4. 變長編碼定理第六章 有噪信道編碼定理（6學(xué)時）（一）教學(xué)目標1.掌握最大后驗概率準則和最小距離譯碼規(guī)則2.理解有噪信道編碼定理（二）重點、難點最大后驗概率準則，錯誤概率的計算（三）教學(xué)內(nèi)容1. 錯誤概率和譯碼規(guī)則2. 錯誤概率和編碼方法3. 有噪信道編碼定理第七章 保真度準則下的信源編碼（6學(xué)時）（一）教學(xué)目標1.掌握失真度和平均失真度的概念2.了解信息率失真函數(shù)的性質(zhì)3.掌握二元信源和離散對稱信源的R(D)函數(shù)的計算（二）重點、難點信息率失真函數(shù)（三）教學(xué)內(nèi)容1. 失真度和平均失真度（

7、1）失真度（2）平均失真度2. 信息率失真函數(shù)及其性質(zhì)（1）信息率失真函數(shù)（2）信息率失真函數(shù)的性質(zhì)3. 二元信源和離散對稱信源的R(D)函數(shù)（1）二元對稱信源的R(D)函數(shù) （2）離散對稱信源的R(D)函數(shù)4. 連續(xù)信源的信息率失真函數(shù)（1）連續(xù)信源的信息率失真函數(shù)（2）高斯信源的信息率失真函數(shù)第八章 無失真的信源編碼（6學(xué)時）（一）教學(xué)目標1.掌握霍夫曼編碼方法2.理解霍夫曼編碼的最佳性3.理解費諾碼、香農(nóng)-費諾-埃利斯碼、游程編碼和MH編碼（二）重點、難點霍夫曼編碼及其最佳性（三）教學(xué)內(nèi)容1. 霍夫曼編碼（1）二元霍夫曼碼（2）r元霍夫曼碼（3）霍夫曼碼的最佳性2. 費諾碼3. 香農(nóng)-費

8、諾-埃利斯碼4. 游程編碼和MH編碼四、考核形式及成績評定（一）考核形式：應(yīng)闡明主要考核形式）期末考試為閉卷考試，考試范圍和要求應(yīng)符合本教學(xué)大綱對各章教學(xué)內(nèi)容的基本要求。（二）成績評定：課程考核由平時作業(yè)及聽課情況和期末考試成績兩部分組成，分別占課程總成績的30%和70%。五、教材與參考書教 材：傅祖蕓.信息論基礎(chǔ)理論與應(yīng)用.（第三版）.北京：電子工業(yè)出版社，2011（宋體五號，行距16磅，下同）參考書：1陳運.信息論與編碼.（第二版）. 北京：電子工業(yè)出版社，2010 2李梅.信息論基礎(chǔ)教程.（第二版）. 北京：北京郵電大學(xué)出版社，2008七、課程學(xué)時分配表序號教學(xué)內(nèi)容（章、節(jié)或篇名）學(xué)時分配作業(yè)、考查理論實踐1緒論22離散信源的信息熵42,4,53離散平穩(wěn)信源315,17,4馬爾可夫信源320,21,245信道的數(shù)學(xué)模型及分類36平均互信息31,37信道容量39,128連續(xù)信源的統(tǒng)計特性和離散化32,39