《信息論與編碼》課程教學(xué)大綱

1、信息論與編碼課程教學(xué)大綱一、課程基本信息課程代碼：04130112 課程名稱：信息論與編碼 課程英文名稱: The Theory of Information and Coding 課程所屬單位：電氣信息工程系電子信息教研室 課程面向?qū)I(yè)：電子信息工程、通信工程專業(yè)課程類型：必修課 先修課程：線性代數(shù)，概率論與隨機(jī)過程，信號與線性系統(tǒng) 學(xué)分：3 總學(xué)時： 48 (其中理論學(xué)時：40實驗學(xué)時：8) 二、課程性質(zhì)與目的 本課程是大學(xué)本科信息與通信工程專業(yè)本科生必選的專業(yè)基礎(chǔ)課程。是電子信息工程和通信工程專業(yè)的必修課程，主要講解香農(nóng)信息論的基本理論基本概念和基本方法，以及編碼的理論和實現(xiàn)原理。使學(xué)生

2、掌握信息傳輸、存儲、處理與識別系統(tǒng)中關(guān)于信息的概念、度量、編碼理論與方法，為有效而可靠的設(shè)計信息系統(tǒng)打下理論基礎(chǔ)。三、課程教學(xué)內(nèi)容與要求（一）緒論基本要求：了解信息的概念、度量；了解學(xué)習(xí)信息論的重要性；掌握通信系統(tǒng)中信息傳輸?shù)目驁D、含義（1） 信息論的概念（2）信息論的研究對象（3）信息論的發(fā)展與應(yīng)用概述本章重難點內(nèi)容：信息論的概念（二）離散信源的熵基本要求：掌握信源分類及對應(yīng)的數(shù)學(xué)模型；掌握熵的定義、性質(zhì)、會應(yīng)基本公式進(jìn)行計算、證明；掌握馬爾可夫信源的模型及熵的計算；掌握平衡信源的熵的計算（1）離散信源的數(shù)學(xué)模型（2）熵（3）離散無記憶擴(kuò)展信源（4）馬爾可夫信源的熵（5）平衡信源的熵本章重難

3、點內(nèi)容：馬爾可夫信源的熵、平衡信源的熵（三）信源編碼基本要求：了解信源編碼的概念；掌握無失真編碼的定理的證明思路，物理意義；掌握霍夫曼編碼的方法，會對不同的信源進(jìn)行r進(jìn)制霍夫曼編碼。（1）編碼的概念（2）無失真編碼的定理（3）霍夫曼編碼及應(yīng)用本章重難點內(nèi)容：霍夫曼編碼及應(yīng)用（四）信息量與信息容量基本要求：掌握信道的分類及對應(yīng)的數(shù)學(xué)模型；掌握信息量的物理意義，數(shù)學(xué)表達(dá)式和各類熵的相互關(guān)系；了解串聯(lián)信道信息量的計算；掌握信道容量的物理意義，計算方法。（1）離散信道的數(shù)字模型（2）互信息量（3）串聯(lián)信道的信息量（4）信道容量本章重難點內(nèi)容：串聯(lián)信道的信息量（五）有噪信道編碼的定理基本要求：了解信道編

4、碼和概念以及相關(guān)物理量的含義；掌握有噪信道編碼定理；會進(jìn)行有錯概率的計算。（1）有噪信道編碼的概念（2）錯誤概率與其計算方法（3）有噪信道編定理本章重難點內(nèi)容：錯誤概率與其計算方法（六）有噪信道編碼的定理基本要求：掌握均勻分布連續(xù)信源的熵的計算；掌握商斯信源熵的計算；了解連續(xù)信源熵的性質(zhì)比較與離散信源熵的異同點；連續(xù)信道容量的計算公式。（1）連續(xù)信源的熵（2）熵功率（3）仙農(nóng)公式本章重難點內(nèi)容：仙農(nóng)公式（七）信息率失真函數(shù)基本要求：了解率失真函數(shù)的定義，失真度，保真度準(zhǔn)則等概念；掌握率失真函數(shù)的性質(zhì)，會對率失真函數(shù)進(jìn)行計算；了解保真度準(zhǔn)則下的信源編碼定理。（1）率失真函數(shù)的定義、性質(zhì)、計算（2

5、）保真度準(zhǔn)則下的信源編碼的定理本章重難點內(nèi)容：保真度準(zhǔn)則下的信源編碼的定理四、學(xué)時分配學(xué)時分配表序號教學(xué)內(nèi)容(按章填寫)學(xué)時課堂講授實驗課習(xí)題課討論課其它1（一）緒論（1）信息論的概念（2）信息論的研究對象（3）信息論的發(fā)展與應(yīng)用概述22（二）離散信源的熵（1）離散信源的數(shù)學(xué)模型（2）熵（3）離散無記憶擴(kuò)展信源（4）馬爾可夫信源的熵（5）平衡信源的熵623（三）信源編碼（1）編碼的概念（2）無失真編碼的定理（3）霍夫曼編碼及應(yīng)用4424（四）信息量與信息容量（1）離散信道的數(shù)字模型（2）互信息量（3）串聯(lián)信道的信息量（4）信道容量625（五）有噪信道編碼的定理（1）有噪信道編碼的概念（2）錯誤概率與其計算方法（3）有噪信道編定理426（六）有噪信道編碼的定理（1）連續(xù)信源的熵（2）熵功率（3）仙農(nóng)公式447（七）信息率失真函數(shù)（1）率失真函數(shù)的定義、性質(zhì)、計算（2）保真度準(zhǔn)則下的信源編碼的定理42小計30810比例62.5%17.7%20.8%合計48五、教學(xué)環(huán)節(jié)與教學(xué)要求： 理論教學(xué)以公式和概念的講解為主，注意用簡單的例子啟發(fā)學(xué)生對課程的興趣；每章都講解課后的習(xí)題，加深學(xué)生對理論的理解，起到章節(jié)復(fù)習(xí)作用；實驗部分多用學(xué)生已學(xué)的編程語言，加強(qiáng)學(xué)生動手能力。六、課程考核辦法：1案例作業(yè)/