信息論基礎(chǔ)復(fù)習(xí)公開(kāi)課一等獎(jiǎng)市優(yōu)質(zhì)課賽課獲獎(jiǎng)?wù)n件

12345678910序論一、信息論的形成及歷史

——ClaudeShannon及其主要貢獻(xiàn)二、通信系統(tǒng)的模型

——信源、信道、信宿及相互關(guān)系三、信息論的基本研究?jī)?nèi)容11第一章隨機(jī)變量的信息度量一、信源的分類及數(shù)學(xué)模型12二、自信息定義性質(zhì)、單位、隨機(jī)事件的不確定性13三、信源的信息熵定義：?jiǎn)挝弧猙it、nat、hart、N進(jìn)信息單位信息含義（物理意義）聯(lián)合熵：14條件熵：熵的簡(jiǎn)單性質(zhì)：等號(hào)成立的充要條件是X有退化分布．2、極值性等號(hào)成立的充分必要條件是X服從均勻分布153、鏈法則：二進(jìn)熵函數(shù)：16四、相對(duì)熵和互信息相對(duì)熵：相對(duì)熵的非負(fù)性：等號(hào)成立的充要條件是17互信息、條件互信息互信息的簡(jiǎn)單性質(zhì)：1、非負(fù)性2、鏈法則3、數(shù)據(jù)處理不等式18各種熵及互信息的相互關(guān)系：注：此圖表示了一些等式和不等式的關(guān)系，能夠?qū)懗霾男畔⒌慕嵌葋?lái)解釋它們。19五、信息量的一些性質(zhì)1、凸函數(shù)的定義2、Jensen不等式，對(duì)數(shù)和不等式3、D(p||q)是概率分布對(duì)(p,q)的凸函數(shù)(證明）4、熵H(p)是概率分布p的凹函數(shù)(證明)6、法諾不等式20第二章隨機(jī)過(guò)程的信息度量一、信源和隨機(jī)過(guò)程的基本概念各種信源的數(shù)學(xué)模型：無(wú)記憶信源馬爾科夫信源：平穩(wěn)分布、轉(zhuǎn)移概率矩陣、香農(nóng)線圖相互關(guān)系平穩(wěn)信源大數(shù)定理21二、隨機(jī)過(guò)程的信息度量平穩(wěn)信源的極限熵(熵率):特別1、無(wú)記憶信源：2、k階平穩(wěn)馬氏信源：k＝1時(shí)：注：會(huì)計(jì)算平穩(wěn)馬氏信源的平穩(wěn)分布及熵率22三、漸近等分性1、對(duì)無(wú)記憶信源：2、弱典型序列：23四、信源編碼定理了解信源編碼定理的內(nèi)容(定理2.4.1)24第三章數(shù)據(jù)壓縮和信源編碼一、等長(zhǎng)碼等長(zhǎng)碼的概念碼率:25二、變長(zhǎng)碼變長(zhǎng)碼的定義、有限擴(kuò)張碼、唯一可譯碼、平均碼長(zhǎng)即時(shí)碼及存在的充要條件Kraft不等式：碼樹(shù)、用樹(shù)圖法進(jìn)行編碼26三、編碼方法1、Huffman碼熟練掌握編碼方法、了解該方法的特點(diǎn)、優(yōu)勢(shì)和不足(特別注意補(bǔ)虛元的問(wèn)題)2、算術(shù)碼掌握香農(nóng)－法諾編碼方法3、通用信源編碼了解LZ算法、LZW算法的基本原理和具體方法27第四章數(shù)據(jù)可靠傳輸和信道編碼一、離散無(wú)記憶信道和信道容量離散信道的數(shù)學(xué)模型：信道編碼的定義、編碼速率、錯(cuò)誤概率離散無(wú)記憶信道容量的定義：幾種特殊的信道容量的計(jì)算：二進(jìn)無(wú)噪信道、二進(jìn)對(duì)稱信道、一般對(duì)稱信道、弱對(duì)稱信道、準(zhǔn)對(duì)稱信道28二、信道容量的計(jì)算會(huì)用拉格朗日乘數(shù)法求信道容量了解信道容量的迭代算法的基本思想29三、線性分組碼信道的譯碼規(guī)則極大似然譯碼規(guī)則：平均錯(cuò)誤概率：30生成矩陣、校驗(yàn)矩陣、相互關(guān)系線性分組碼的漢明距離、漢明重量檢糾能力與最小距離（最小重量）的關(guān)系，與校驗(yàn)矩陣的關(guān)系(兩個(gè)定理）系統(tǒng)碼最小距離譯碼規(guī)則漢明碼注：給出生成矩陣(或校驗(yàn)矩陣)求校驗(yàn)矩陣(或生成矩陣)、求所有碼字、最小距離(最小重量)、檢糾能力、求給出輸出序列的譯碼。31第五章限失真信源編碼和率失真函數(shù)一、限失真信源編碼模型和率失真函數(shù)2、失真測(cè)度、平均失真、失真矩陣1、限失真信源模型3、限失真信源編碼、碼率4、信息率失真函數(shù)325、信息率失真函數(shù)的性質(zhì)(定理5.1.1)6、平穩(wěn)信源的率失真函數(shù)特別對(duì)無(wú)記憶信源33二、率失真函數(shù)的計(jì)算簡(jiǎn)單信源的信息率函數(shù)的計(jì)算用拉格朗日乘子法計(jì)算了解迭代算法的基本思想三、限失真信源編碼定理了解限失真信源編碼定理的基本內(nèi)容34第六章連續(xù)信源和信道編碼理論一、可微熵1、連續(xù)信源可微熵的定義:簡(jiǎn)單的信源的熵的計(jì)算(均勻分布、指數(shù)分布、正態(tài)分布)聯(lián)合熵、條件熵的定義、熵函數(shù)的性質(zhì)隨機(jī)變量經(jīng)變換后可微熵的變化情況(定理6.1.2)35二、相對(duì)熵、互信息相對(duì)熵、互信