配套課件-信息論基礎(chǔ)教程

信息論基礎(chǔ)教程

實踐性教學(xué)內(nèi)容、要求及學(xué)時分配實驗一：信道容量的迭代算法2學(xué)時實驗二：Huffman編碼2學(xué)時實驗三：通信系統(tǒng)仿真4學(xué)時（備選題目：LZW壓縮編碼）國外參考教材T.M.Cover,FundamentalofInformationTheory

最為流行的英文教材，為Stanford、MIT等學(xué)校的研究生課程選用

數(shù)學(xué)推導(dǎo)適中，強調(diào)概念，作為參考教材R.G.Gallager,InformationTheoryandReliableCommunication

數(shù)學(xué)推導(dǎo)較為艱深

作為提高教材第一章：緒論一、什么是信息二、通信系統(tǒng)模型三、信息論的研究內(nèi)容四、信息論的形成和發(fā)展第一章：緒論一、什么是信息二、通信系統(tǒng)模型三、信息論的研究內(nèi)容四、信息論的形成和發(fā)展1.概述2.信息的通俗概念3.信息的狹義概念（香農(nóng)信息）4.信息的廣義概念組成客觀世界的三大基本要素：物質(zhì)能量信息沒有物質(zhì)什么都不存在，沒有能量什么都不會發(fā)生，沒有信息什么都沒有意義。

——美國學(xué)者歐廷格研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型第一章：緒論1.概述2.信息的通俗概念

信息的通俗概念：消息就是信息。用文字、符號、數(shù)據(jù)、語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運動和主觀思維活動的狀態(tài)表達出來，就稱為消息。研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型第一章：緒論消息中包含信息，消息是信息的載體。2.信息的通俗概念（續(xù)1）信號是表示消息的物理量，包括電信號、光信號等。信號中攜帶著消息，信號是消息的載體。信息信號消息研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型第一章：緒論3.信息的狹義概念（香農(nóng)信息）第一章：緒論研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型香農(nóng)信息：信息是對事物運動狀態(tài)或存在方式的不確定性的描述。通信的基本問題是在一點(信宿）精確或近似恢復(fù)另一點（信源）所選擇的消息?！?/p>

香農(nóng)通信的過程就是消除不確定性的過程。3.信息的狹義概念（香農(nóng)信息）（續(xù)1）第一章：緒論例1：甲袋紅、白球各50個，乙袋紅、白、藍、黑球各25個。比較從甲袋中取出一個球是紅球的事件和從乙袋中取出一個球是紅球的事件發(fā)生的難易程度，也就是事件發(fā)生的不確定性。研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型3.信息的狹義概念（香農(nóng)信息）（續(xù)2）第一章：緒論例2：北京地區(qū)十月份可能出現(xiàn)的天氣包括：晴、陰、雨、雪。比較天氣預(yù)報為“晴”和天氣預(yù)報為“雪”，給人們帶來的信息量。研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型結(jié)論：不確定性的大小與事件發(fā)生的概率有關(guān)。3.信息的狹義概念（香農(nóng)信息）（續(xù)3）第一章：緒論研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型不確定性的大小與事件發(fā)生的概率有關(guān)因此，信息量可以表示為概率的函數(shù)。不確定性是概率的函數(shù)3.信息的狹義概念（香農(nóng)信息）（續(xù)4）信息與概率的關(guān)系：事件發(fā)生的概率越大，該事件包含的信息量越??；如果一個事件發(fā)生的概率為1，那么它包含的信息量為0；兩個相互獨立事件所提供的信息量應(yīng)等于它們各自提供的信息量之和。第一章：緒論研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型3.信息的狹義概念（香農(nóng)信息）（續(xù)5）某個消息的不確定性（含有的信息量）可以表示為：第一章：緒論研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型信源的平均不確定性：3.信息的狹義概念（香農(nóng)信息）（續(xù)6）第一章：緒論香農(nóng)信息的優(yōu)點：有明確的數(shù)學(xué)表達式，定量化與人們直觀理解的信息含義一致不考慮收信者主觀感受的不同，認為同一消息對任何收信者，所得信息量相同。研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型3.信息的狹義概念（香農(nóng)信息）（續(xù)7）第一章：緒論香農(nóng)信息的局限：沒有考慮收信者的主觀特性和主觀意義研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型4.信息的廣義概念研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型信息是認識主體（人、生物、機器）所感受的和表達的事物運動的狀態(tài)和運動狀態(tài)變化的方式。語法信息語義信息語用信息第一章：緒論第一章：緒論一、什么是信息二、通信系統(tǒng)模型三、信息論的研究內(nèi)容四、信息論的形成和發(fā)展1.通信系統(tǒng)模型2.提高通信系統(tǒng)的性能指標的措施1.通信系統(tǒng)模型研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型第一章：緒論圖1通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)1）信源編碼器信道譯碼器信宿第一章：緒論研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1）信源研究內(nèi)容：信源發(fā)出的消息的統(tǒng)計特性離散信源、連續(xù)信源、波形信源有記憶信源和無記憶信源平穩(wěn)信源和非平穩(wěn)信源信源產(chǎn)生信息的速率熵率第一章：緒論研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)2）2）編碼器編碼器的功能：將消息變成適合信道傳輸?shù)男盘柧幋a器包括：信源編碼器信道編碼器調(diào)制器第一章：緒論研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)3）第一章：緒論圖2編碼器的組成研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)4）信源編碼器：去除信源消息中的冗余度，提高傳輸?shù)挠行?。第一章：緒論研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)5）信道編碼器：將信源編碼后的符號加上冗余符號，提高傳輸?shù)目煽啃?。第一章：緒論研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型圖3信道編碼示例1.通信系統(tǒng)模型（續(xù)6）第一章：緒論研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型思考題：

信源編碼去除冗余度，信道編碼卻加上冗余度，為什么要這么做？1.通信系統(tǒng)模型（續(xù)7）調(diào)制器：功能：將信道編碼后的符號變成適合信道傳輸?shù)男盘柲康模禾岣邆鬏斝实谝徽拢壕w論研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)8）3）信道狹義信道廣義信道第一章：緒論研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)9）研究內(nèi)容：信道的統(tǒng)計特性無噪聲信道、有噪聲信道離散信道、連續(xù)信道、波形信道有記憶信道和無記憶信道恒參信道（平穩(wěn)信道）和隨參信道（非平穩(wěn)信道）單用戶信道和多用戶信道信道傳輸信息的最高速率

信道容量1.通信系統(tǒng)模型（續(xù)10）第一章：緒論研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型4）譯碼器譯碼器的功能：從接收到的信號中恢復(fù)消息。包括：解調(diào)器信道譯碼器信源譯碼器第一章：緒論研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)11）第一章：緒論圖4譯碼器的組成研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)12）5）信宿信宿是消息傳送的對象（人或機器）。香農(nóng)信息論不研究信宿。第一章：緒論研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)13）第一章：緒論提高有效性：（數(shù)據(jù)壓縮）信源編碼：無失真信源編碼和限失真信源編碼提高可靠性：（可靠傳輸）信道編碼2.提高通信系統(tǒng)性能指標的措施研究內(nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型第一章：緒論一、什么是信息二、通信系統(tǒng)模型三、信息論的研究內(nèi)容四、信息論的形成和發(fā)展1.信息論研究的主要問題2.什么是信息論3.信息論的應(yīng)用1.信息論研究的主要問題第一章：緒論通信系統(tǒng)模型形成和發(fā)展什么是信息研究內(nèi)容

狹義信息論：又稱香農(nóng)信息論。一般信息論：也叫工程信息論。廣義信息論廣義信息論一般信息論狹義信息論

1.信息論研究的主要問題（續(xù)1）1）什么是信息？如何度量信息？第一章：緒論通信系統(tǒng)模型形成和發(fā)展什么是信息研究內(nèi)容2）怎樣確定信源輸出信息的速率？3）對于一個信道，它傳輸信息的最高速率（信道容量）是多少？1.信息論研究的主要問題（續(xù)2）4）無失真信源編碼，所需要的最少碼符號數(shù)是多少？第一章：緒論

香農(nóng)第一定理：如果編碼后的信源序列的編碼信息率不小于信源的熵，那么一定存在一種無失真信源編碼方法；否則，不存在這樣的一種無失真信源編碼方法。通信系統(tǒng)模型形成和發(fā)展什么是信息研究內(nèi)容1.信息論研究的主要問題（續(xù)3）5）在有噪聲信道中，有沒有可能實現(xiàn)幾乎無差錯的傳輸信息？第一章：緒論

香農(nóng)第二定理：如果信道的信息傳輸率小于信道容量，那么總可以找到一種編碼方式，使得當編碼序列足夠長時傳輸差錯任意??；否則，不存在使差錯任意小的信道編碼方式。通信系統(tǒng)模型形成和發(fā)展什么是信息研究內(nèi)容1.信息論研究的主要問題（續(xù)4）6）如果信源編碼時，允許一定的失真，那么信源編碼所需要的最少碼符號數(shù)又是多少？第一章：緒論

香農(nóng)第三定理：對于任意的失真度，只要碼字足夠長，那么總可以找到一種編碼方法，使編碼后的編碼信息率，而碼的平均失真度。通信系統(tǒng)模型形成和發(fā)展什么是信息研究內(nèi)容

信息論是通信的數(shù)學(xué)基礎(chǔ)，它以概率論為主要數(shù)學(xué)工具，詳細研究了通信中的各個關(guān)鍵環(huán)節(jié)，以定理的形式給出了信源編碼、信道編碼的理論極限，為各種具體的通信技術(shù)提供了理論上的指導(dǎo)。

信息論創(chuàng)立的標志:香農(nóng)于1948年發(fā)表的論文：

——AMathematicalTheoryofCommunication（通信的數(shù)學(xué)理論）2.什么是信息論通信系統(tǒng)模型形成和發(fā)展什么是信息研究內(nèi)容第一章：緒論2.什么是信息論（續(xù)1）以概率論、隨機過程為基本研究工具。第一章：緒論通信系統(tǒng)模型形成和發(fā)展什么是信息研究內(nèi)容研究的是通信系統(tǒng)的整個過程，而不是單個環(huán)節(jié)，并以編、譯碼器為重點。關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達到這個性能（并不具體設(shè)計系統(tǒng)）。要求信源為隨機過程，不研究信宿。信息論的特點信息論幫助通信工程師從全局的觀點觀察和設(shè)計通信系統(tǒng)。信息論是從事信息通信系統(tǒng)研究和開發(fā)的必備的知識。香農(nóng)信息論的目標是研究通信系統(tǒng)的信息傳遞，而不是幫助人們理解信息含義。香農(nóng)信息論有它的局限性。2.信息論的應(yīng)用第一章：緒論通信系統(tǒng)模型形成和發(fā)展什么是信息研究內(nèi)容2.信息論的應(yīng)用（續(xù)1）

通信的基本問題是在一點精確地或近似地恢復(fù)另一點（信源）所選擇的消息。通常，這些消息是有含義的，但是這些語義方面的問題與通信問題無關(guān)，而重要的方面是實際消息是從一個可能的消息集合中選擇出的一條消息。

————

香農(nóng)第一章：緒論通信系統(tǒng)模型形成和發(fā)展什么是信息研究內(nèi)容2.信息論的應(yīng)用（續(xù)2）信息論的應(yīng)用舉例語音信號壓縮（G.711,GSM,Vocoder…）計算機文件壓縮模擬話路中數(shù)據(jù)傳輸速率的提高其他（音頻信號壓縮MP3、圖象信號的壓縮JPEG,MPEG等）第一章：緒論通信系統(tǒng)模型形成和發(fā)展什么是信息研究內(nèi)容第一章：緒論一、什么是信息二、通信系統(tǒng)模型三、信息論的研究內(nèi)容四、信息論的形成和發(fā)展1.技術(shù)背景2.理論背景3.香農(nóng)的主要工作1.技術(shù)背景當時通信理論與技術(shù)已有較大的發(fā)展，存在的通信技術(shù)包括：

電報（Morse，1838）、電話（Bell，1876）、無線電報(Marconi,1887)、調(diào)幅廣播（1900’s早期）、單邊帶調(diào)制（Carson，1922）、電視（1925-1927）、調(diào)頻廣播（Armstrong，1936）、脈沖編碼調(diào)制（Reeves，1937-1939）、聲碼器（Dudley，1939）、擴頻通信（1940’s）等。第一章：緒論通信系統(tǒng)模型研究內(nèi)容什么是信息形成和發(fā)展2.理論背景1948年以前，Nyquist、Hartley、Wiener做了許多有影響的工作。第一章：緒論通信系統(tǒng)模型研究內(nèi)容什么是信息形成和發(fā)展3.香農(nóng)的主要工作1948年，發(fā)表《通信的數(shù)學(xué)理論》。第一章：緒論1949年，發(fā)表《噪聲下的通信》。1959年，發(fā)表《在保真度準則下的離散信源編碼定理》。1961年，發(fā)表《雙路通信系統(tǒng)》。通信系統(tǒng)模型研究內(nèi)容什么是信息形成和發(fā)展1956年，發(fā)表《噪聲信道的零差錯容量》。大寫字母等表示隨機變量小寫字母等表示隨機變量的具體取值大寫黑體字母等表示多維隨機變量，也就是隨機矢量小寫黑體字母等表示隨機矢量的具體取值本課程約定的符號表示第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息第二章：信息的度量1.自信息2.互信息一、自信息和互信息二、平均自信息三、平均互信息平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）公理性條件：

(1)如果p(x1)<p(x2)，則I(x1)>I(x2)，I(xi

)是p(xi)的單調(diào)遞減函數(shù)；

(2)如果p(xi)=0，則I(xi

)→∞;如果p(xi)=1，則I(xi

)=0;(3)由兩個相對獨立的事件所提供的信息量，應(yīng)等于它們分別提供的信息量之和：I(xiyj)=I(xi

)+I(yj)

平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（續(xù)1）

隨機事件的自信息定義為該事件發(fā)生概率的對數(shù)的負值：關(guān)于對數(shù)底的選取：以2為底，單位為比特(bit)以e為底，單位為奈特(nat)以10為底，單位為哈特萊

(Hartley)

一般都采用以2為底的對數(shù)，為了書寫簡潔，有時把底數(shù)2略去不寫。1.自信息（量）（續(xù)2）平均自信息平均互信息自信息和互信息第二章：信息的度量

單位之間的換算關(guān)系：

1奈特=log2

e比特=1.443比特

1哈特萊=log210比特=3.322比特

1r進制單位=log2r比特自信息可以從兩個方面來理解：自信息是事件發(fā)生前，事件發(fā)生的不確定性。自信息表示事件發(fā)生后，事件所包含的信息量。試問四進制、八進制的每一波形所含的信息量是二進制每一波形所含的信息量的多少倍？

1.自信息（量）（續(xù)3）平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（續(xù)4）平均自信息平均互信息自信息和互信息第二章：信息的度量例1:設(shè)在甲袋中放入n個不同阻值的電阻，隨意取出一個，求當被告知“取出的電阻阻值為i”時所獲得的信息量。解：比特由于是隨意取出一個電阻,所以取出任意阻值的電阻的概率相等:例2:在乙袋中放入個電阻，其中阻值為1的1個，2的2個，…，n

的n個，隨意取出一個，求被告知“取出的電阻阻值為1

”和“取出的電阻阻值為n”時分別獲得的信息量。解：1.自信息（量）（續(xù)5）平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（續(xù)6）平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（續(xù)7）平均自信息平均互信息自信息和互信息第二章：信息的度量例3：設(shè)在A袋放入n個不同阻值的電阻，隨意取出一個，求當被告知“取出的電阻阻值為i”時所獲得的信息量。在B袋中放入m種不同功率的電阻，任意取出一個，求被告知“取出的電阻功率為j”時獲得的信息量。在C袋中放入n種不同阻值，而每種阻值又有m種不同功率的電阻，即共有nm個電阻，隨意選取一個，被告知“取出的電阻阻值為i，功率為j”時獲得的信息量。

1.自信息（量）（續(xù)8）平均自信息平均互信息自信息和互信息第二章：信息的度量I(xi)=–logp(xi)=logn比特I(yj)=–logp(yj)=logm比特I(xi

yj)=–logp(xi

yj)=log(n

m)

=I(xi)+I(yj)比特解：對應(yīng)A,B,C三袋，隨意取出一個電阻事件的概率分別為：因此1.自信息（量）（續(xù)9）平均自信息平均互信息自信息和互信息第二章：信息的度量例4：設(shè)在一正方形棋盤上共有64個方格，如果甲將一粒棋子隨意的放在棋盤中的某方格且讓乙猜測棋子所在位置。（1）

將方格按順序編號，令乙猜測棋子所在的順序號。問猜測的難易程度。（2）將方格按行和列編號，甲將棋子所在方格的列編號告訴乙之后，再令乙猜測棋子所在行的位置。問猜測的難易程度。解：p(xi

yj)=1/64i=1,2,…,8;j=1,2,…,8（1）

I(xi

yj)=–logp(xi

yj)=6比特

（2）I(xi|yj)=–logp(xi|yj)=–log[p(xi

yj)/p(yj)]=3比特

I(xi)=–logp(xi)=3比特

I(yj)=3比特

1.自信息（量）（續(xù)10）平均自信息平均互信息自信息和互信息第二章：信息的度量2.互信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量設(shè)X為信源發(fā)出的離散消息集合；Y為信宿收到的離散消息集合；信源發(fā)出的消息，經(jīng)過有噪聲的信道傳遞到信宿；信宿信道信源

圖1通信系統(tǒng)的簡化模型噪聲XY2.互信息（量）（續(xù)1）平均自信息平均互信息自信息和互信息第二章：信息的度量信宿信道信源噪聲XYxixi無噪I(xi)p(xi)p(xi|yj)I(xi)yjI(xi;yj)=I(xi)–

I(xi|yj)

先驗概率：信源發(fā)出消息的概率。后驗概率：信宿收到消息

后推測信源發(fā)出

的概率，即條件概率。2.互信息（量）（續(xù)2）平均自信息平均互信息自信息和互信息第二章：信息的度量互信息定義為：互信息有兩方面的含義：表示事件出現(xiàn)前后關(guān)于事件的不確定性減少的量；事件出現(xiàn)以后信宿獲得的關(guān)于事件的信息量。2.互信息（量）（續(xù)3）平均自信息平均互信息自信息和互信息第二章：信息的度量討論：(3)p(xi|yj)=1(2)若p(xi)<p(xi|yj)則I(xi;yj)>0(1)統(tǒng)計獨立p(xi|yj)=p(xi)，I(xi|yj)=I(xi)

I(xi;yj)=0

若p(xi)>p(xi|yj)則I(xi;yj)<0I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–

I(xi|yj)

2.互信息（量）（續(xù)4）平均自信息平均互信息自信息和互信息第二章：信息的度量例5：某地二月份天氣構(gòu)成的信源為

某一天有人告訴你：“今天不是晴天”，把這句話作為收到的消息y1,求當收到y(tǒng)1后,y1與各種天氣的互信息量。

解：2.互信息（量）（續(xù)5）平均自信息平均互信息自信息和互信息第二章：信息的度量2.互信息（量）（續(xù)6）平均自信息平均互信息自信息和互信息第二章：信息的度量xiyj觀察者站在輸出端

I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–

I(xi|yj)

：對yj一無所知的情況下xi存在的不確定度；：收到y(tǒng)j

后xi

仍然存在的不確定度；互信息：收到y(tǒng)j

前和收到y(tǒng)j后不確定度被消除的部分。2.互信息（量）（續(xù)7）平均自信息平均互信息自信息和互信息第二章：信息的度量觀察者站在輸入端

I(yj;

xi)=logp(yj|xi)–logp(yj)=I(yj)–

I(yj|xi)

觀察者得知輸入端發(fā)出xi前、后對輸出端出現(xiàn)yj的不確定度的差。xiyjI(yj;

xi)=I(xi;yj)?平均自信息平均互信息自信息和互信息第二章：信息的度量觀察者站在通信系統(tǒng)總體立場上互信息等于通信前后不確定度的差值

通信前：X和Y之間沒有任何關(guān)系，即X、Y統(tǒng)計獨立，p(xiyj)=p(xi)p(yj)，先驗不確定度為通信后：p(xiyj)=p(xi)p(yj|xi)=p(yj)p(xi|yj)，后驗不確定度2.互信息（量）（續(xù)8）2.互信息（量）（續(xù)9）平均自信息平均互信息自信息和互信息第二章：信息的度量1)互信息的對稱性2)互信息可為正值、負值，或為03)任何兩個事件之間的互信息不可能大于其中任一事件的自信息互信息量的性質(zhì)2.互信息（量）（續(xù)10）平均自信息平均互信息自信息和互信息第二章：信息的度量用公式表示為：

互信息的對稱性表明：從yj得到的關(guān)于xi的信息量

與從xi

得到的關(guān)于yj的信息量

是一樣的，只是觀察的角度不同而已。1)互信息的對稱性2.互信息（量）（續(xù)11）平均自信息平均互信息自信息和互信息第二章：信息的度量當后驗概率大于先驗概率時，互信息為正。

說明事件yj的出現(xiàn)有助于消除事件xi的不確定度。當后驗概率小于先驗概率時，互信息為負。

說明收信者未收到y(tǒng)j以前，對消息xi是否出現(xiàn)的猜測難度較小，但接收到消息yj后對xi是否出現(xiàn)的猜測的難度增加了，也就是收信者接收到消息yj后對xi出現(xiàn)的不確定性反而增加，所以獲得的信息量為負值。當后驗概率與先驗概率相等時，互信息為零。

這就是兩個隨機事件相互獨立的情況。表明xi和yj之間不存在統(tǒng)計約束關(guān)系，從yj得不到關(guān)于xi的任何信息，反之亦然。2)互信息可正可負，可為零3)任何兩個事件之間的互信息不可能大于其中任一事件的自信息2.互信息（量）（續(xù)12）平均自信息平均互信息自信息和互信息第二章：信息的度量例6：居住某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占總數(shù)一半。假如我們得知“身高1.6m以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？2.互信息（量）（續(xù)13）平均自信息平均互信息自信息和互信息第二章：信息的度量2.互信息（量）（續(xù)14）平均自信息平均互信息自信息和互信息第二章：信息的度量解：x=某女孩是大學(xué)生；y=某女孩身高1米6以上。則有“身高1米6以上的某女孩是女大學(xué)生”為事件2.互信息（量）（續(xù)15）平均自信息平均互信息自信息和互信息第二章：信息的度量例7：已知信源發(fā)出和兩種消息，且。此消息在二進制對稱信道上傳輸，信道傳輸特性為。求互信息量和。

2.互信息（量）（續(xù)16）平均自信息平均互信息自信息和互信息第二章：信息的度量解：由已知可得2.互信息（量）（續(xù)17）平均自信息平均互信息自信息和互信息第二章：信息的度量第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息1.平均自信息的概念2.熵函數(shù)的性質(zhì)3.聯(lián)合熵與條件熵1.平均自信息的概念自信息和互信息平均互信息平均自信息第二章：信息的度量平均自信息（信息熵/信源熵/香農(nóng)熵/無條件熵/熵函數(shù)/熵）：自信息是一個隨機變量：

自信息是指信源發(fā)出的某一消息所含有的信息量。不同的消息，它們所含有的信息量也就不同。自信息和互信息平均互信息平均自信息第二章：信息的統(tǒng)計度量信息熵的單位，取決于對數(shù)選取的底：以2為底，單位為比特/符號以e為底，單位為奈特/符號以10為底，單位為哈特萊/符號。信息熵的意義：

信源的信息熵是從整個信源的統(tǒng)計特性來考慮的。它是從平均意義上來表征信源的總體特性的。對于某特定的信源，其信息熵只有一個。不同的信源因統(tǒng)計特性不同，其信息熵也不同。1.平均自信息的概念（續(xù)1）1.平均自信息的概念（續(xù)2）自信息和互信息平均互信息平均自信息第二章：信息的度量通常把一個隨機變量的樣本空間和樣本空間中的元素對應(yīng)的概率稱為概率空間。離散隨機變量的概率空間為：1.平均自信息的概念（續(xù)3）自信息和互信息平均互信息平均自信息第二章：信息的度量例1擲一個六面均勻的骰子，每次出現(xiàn)朝上一面的點數(shù)是隨機的，以朝上一面的點數(shù)作為隨機試驗的結(jié)果，并把試驗結(jié)果看作一個信源的輸出，試建立數(shù)學(xué)模型。信源的輸出：離散隨機變量XX：{1，2，3，4，5，6}——樣本空間P（X）：{P(X=1)=1/6，P(X=2)=1/6，…，P(X=6)=1/6}[X

?P]=X：123456P(X)：1/61/61/61/61/61/6解：

——概率空間1.平均自信息的概念（續(xù)4）自信息和互信息平均互信息平均自信息第二章：信息的度量例2：一信源有6種輸出符號，概率分別為P(A)=0.5，P(B)=0.25，P(C)=0.125，P(D)=P(E)=0.05，P(F)=0.025。

1)計算H(X)。

2)求符號序列ABABBA和FDDFDF的信息量，并將之與6位符號的信息量期望值相比較。

解：

1)由信息熵定義，該信源輸出的信息熵為

1.平均自信息的概念（續(xù)5）自信息和互信息平均互信息平均自信息第二章：信息的度量1.平均自信息的概念（續(xù)6）自信息和互信息平均互信息平均自信息第二章：信息的度量

符號序列FDDFDF所含的信息量為6位符號序列的信息量平均值為

符號序列ABABBA所含的信息量為三者比較為

自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)離散隨機變量X的概率空間為記pi=p(xi)，則

由于概率的完備性，即，所以實際上是元函數(shù)。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)1）

當n=2

時，自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)2）熵函數(shù)的數(shù)學(xué)特性包括:(1)對稱性(2)確定性(3)非負性(4)擴展性(5)連續(xù)性(6)遞增性(7)上凸性(8)極值性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)3）當概率矢量中各分量的次序任意變更時，熵函數(shù)的值不變，即

H(p1，p2，…，pn)=H(p2，p1，…，pn)=H(p3，p1，…，p2)=…該性質(zhì)說明：熵只與隨機變量(信源)的總體統(tǒng)計特性有關(guān)。如果某些信源的統(tǒng)計特性相同（含有的符號數(shù)和概率分布相同），那么這些信源的熵就相同。（1）對稱性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)4）例3：三個信源分別為：①

X與Z信源的差別：具體消息其含義不同；②

X與Y信源的差別：同一消息的概率不同；③

但它們的信息熵是相同的。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)5）

H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…,0)=0

在概率空間中，只要有一個事件是必然事件，那么其它事件一定是不可能事件，因此信源沒有不確定性，熵必為0。（2）確定性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)6）只有當隨機變量是一確知量時，熵H(X)=0。離散信源的熵滿足非負性，而連續(xù)信源的熵可能為負。（3）非負性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)7）擴展性說明，增加一個概率接近于零的事件，信源熵保持不變。雖然小概率事件出現(xiàn)后，給予收信者較多的信息，但從總體來考慮時，因為這種概率很小的事件幾乎不會出現(xiàn)，所以它對于離散集的熵的貢獻可以忽略不計。這也是熵的總體平均性的一種體現(xiàn)。（4）擴展性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)8）（5）連續(xù)性（6）遞增性（遞推性)自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)9）自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)10）例4：利用遞推性計算熵函數(shù)H(1/3，1/3，1/6，1/6)的值。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)11）例4：利用遞推性計算熵函數(shù)H(1/3，1/3，1/6，1/6)的值。解：bit/符號自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)13）

凸函數(shù)的定義及詹森不等式（7）上凸性引理（香農(nóng)輔助定理）：其中證明：自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)14）時等號成立?？梢员豢醋鍪且环N新的概率分布。

是概率分布的嚴格上凸函數(shù)，即證明：自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)15）等號成立條件但是所以等號不成立。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)16）上凸性的幾何意義：

在上凸函數(shù)的任兩點之間畫一條割線，函數(shù)總在割線的上方.上凸函數(shù)在定義域內(nèi)的極值必為最大值，這對求最大熵很有用。f(x)

x1x2

f(x1)

f(x2)自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)17）自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)18）（8）極值性（最大離散熵定理）定理：

離散無記憶信源輸出n個不同的信息符號，當且僅當各個符號出現(xiàn)概率相等時(即

)，熵最大，即

自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)19）自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)20）

例5：以二進制信源為例，信源的概率空間為二進制信源的信息熵為這時信息熵H(X)是p的函數(shù)，熵函數(shù)H(p)的曲線如圖所示：從圖中可以得出熵函數(shù)的一些性質(zhì)：如果二進制信源的輸出是確定的(p=0或p=1)，則該信源不提供任何信息；當二進制信源符號0和1等概率發(fā)生時，信源的熵達到最大值，等于1比特/符號;在等概率的二進制信源輸出的二進制數(shù)字序列中，每一個二元數(shù)字提供1比特的信息量。如果符號不是等概率分布，則每一個二元數(shù)字所提供的平均信息量小于1比特。這也進一步說明了計算機術(shù)語中的“比特”與信息量單位“比特”的關(guān)系。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)21）3.聯(lián)合熵和條件熵自信息和互信息平均互信息平均自信息第二章：信息的度量定義2.4隨機變量X和Y的聯(lián)合分布為p(xiyj)，則這兩個隨機變量的聯(lián)合熵定義為：

聯(lián)合熵表示對于二維隨機變量的平均不確定性。3.聯(lián)合熵和條件熵（續(xù)1）自信息和互信息平均互信息平均自信息第二章：信息的度量定義2.5隨機變量X和Y的條件熵定義為：條件熵表示已知一個隨機變量時，對另一個隨機變量的平均不確定性。

表示在已知的情況下,Y的平均不確定性。對于不同的，是變化的。因此，是一個隨機變量。3.聯(lián)合熵和條件熵（續(xù)2）自信息和互信息平均互信息平均自信息第二章：信息的度量3.聯(lián)合熵和條件熵（續(xù)3）自信息和互信息平均互信息平均自信息第二章：信息的度量例6：已知聯(lián)合概率分布如下，求：H(XY)，H(X),H(Y),H(Y|X),H(X|Y)。1)解：3.聯(lián)合熵和條件熵（續(xù)4）自信息和互信息平均互信息平均自信息第二章：信息的度量3.聯(lián)合熵和條件熵（續(xù)5）自信息和互信息平均互信息平均自信息第二章：信息的度量H(X)=2.0662)3)H(Y)=1.8564)3.聯(lián)合熵和條件熵（續(xù)6）自信息和互信息平均互信息平均自信息第二章：信息的度量5)3.聯(lián)合熵和條件熵（續(xù)7）自信息和互信息平均互信息平均自信息第二章：信息的度量3.聯(lián)合熵和條件熵（續(xù)8）自信息和互信息平均互信息平均自信息第二章：信息的度量各種熵之間的關(guān)系

H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)H(X|Y)

H(X)，H(Y|X)

H(Y)H(XY)

H(X)+H(Y)

若X與Y統(tǒng)計獨立，則H(XY)=H(X)+H(Y)可推廣到多個隨機變量的情況：3.聯(lián)合熵和條件熵（續(xù)9）自信息和互信息平均互信息平均自信息第二章：信息的度量

引入事件的重量，度量事件的重要性或主觀價值。

加權(quán)熵定義為：加權(quán)熵3.聯(lián)合熵和條件熵（續(xù)10）自信息和互信息平均互信息平均自信息第二章：信息的度量3.聯(lián)合熵和條件熵（續(xù)11）自信息和互信息平均互信息平均自信息第二章：信息的度量例7：信源X={A,B,C},信源Y={D,E,F,G},已知條件概率分布和X的概率分布，求聯(lián)合熵和條件熵。P(Y|X)DEFGP(X)A1/41/41/41/41/2B3/101/51/53/101/3C1/61/21/61/61/63.聯(lián)合熵和條件熵（續(xù)12）自信息和互信息平均互信息平均自信息第二章：信息的度量P(XY)DEFGA1/81/81/81/8B1/101/151/151/10C1/361/121/361/36P(Y)91/36033/12079/36091/360解：H(XY)=3.417H(X)=1.46H(Y)=1.997H(Y|X)=1.95H(X|Y)=H(XY)-H(Y)=1.42第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息1.平均互信息的概念2.平均互信息的性質(zhì)3.數(shù)據(jù)處理定理第二章：信息的度量1.平均互信息的概念信宿信道信源噪聲XYxiyjI(xi;yj)p(xi

yj)平均交互信息量、交互熵I(X;Y)p(yj|

xi)平均自信息平均互信息自信息和互信息第二章：信息的度量1.平均互信息的概念（續(xù)1）平均自信息平均互信息自信息和互信息2.平均互信息的性質(zhì)對稱性：I(X;Y)=I(Y;X)非負性：極值性：I(X;Y)

min{H(X),H(Y)}

4.平均互信息和各類熵的關(guān)系:I(X;Y)=H(X)-H(X|Y)=H(Y)

H(Y|X)=H(X)+H(Y)

H(XY)

X,Y互相獨立時5.I(X;Y)是信源概率分布p(xi)的上凸函數(shù)和信道傳遞概率p(yj|xi)的下凸函數(shù)。第二章：信息的度量平均自信息平均互信息自信息和互信息平均互信息量不是從兩個具體消息出發(fā)，而是從隨機變量X和Y的整體角度出發(fā)，在平均意義上觀察問題，所以平均互信息不會出現(xiàn)負值。第二章：信息的度量平均自信息平均互信息自信息和互信息2.平均互信息的性質(zhì)（續(xù)1）H(XY)H(X)H(Y)H(X|Y)H(Y|X)I(X;Y)=0第二章：信息的度量平均自信息平均互信息自信息和互信息2.平均互信息的性質(zhì)（續(xù)2）符號圖示表1X、Y之間有依賴關(guān)系時第二章：信息的度量平均自信息平均互信息自信息和互信息2.平均互信息的性質(zhì)（續(xù)3）符號圖示表2X、Y相互獨立時第二章：信息的度量平均自信息平均互信息自信息和互信息3.數(shù)據(jù)處理定理定義2.7平均條件互信息

定義2.8平均聯(lián)合互信息

可以證明同理第二章：信息的度量平均自信息平均互信息自信息和互信息3.數(shù)據(jù)處理定理（續(xù)1）定理2.3（數(shù)據(jù)處理定理）如果隨機變量X，Y，Z構(gòu)成一個馬爾可夫鏈，則有以下關(guān)系成立：等號成立的條件分別是對于任意的x，y，z

證明第二章：信息的度量平均自信息平均互信息自信息和互信息3.數(shù)據(jù)處理定理（續(xù)2）第二章：信息的度量平均自信息平均互信息自信息和互信息3.數(shù)據(jù)處理定理（續(xù)3）練習題1

已知：X為隨機變量，判斷：？

第二章：信息的度量平均自信息平均互信息自信息和互信息第二章：信息的度量平均自信息平均互信息自信息和互信息第二章：信息的度量平均自信息平均互信息自信息和互信息第七章限失真信源編碼7.1失真測度7.2信息率失真函數(shù)

7.3信息率失真函數(shù)的計算

7.4限失真信源編碼定理*7.5常用的限失真信源編碼方法概述第七章：限失真編碼失真測度信宿信源編碼器/信道YXR=I(X;Y)>R(D)概述第七章：限失真編碼失真測度7.1.1失真函數(shù)第七章：限失真編碼失真測度失真矩陣7.1.1失真函數(shù)第七章：限失真編碼失真測度常用的失真函數(shù)有：（1）

漢明失真（2）平方誤差失真函數(shù)失真函數(shù)是根據(jù)人們的實際需要和失真引起的損失、風險大小等人為規(guī)定的。7.1.1失真函數(shù)第七章：限失真編碼失真測度例7.1.1設(shè)信道輸入，輸出，規(guī)定失真函數(shù)

d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5，求D

。解：

7.1.1失真函數(shù)第七章：限失真編碼失真測度d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，求D

。符號序列的失真函數(shù)7.1.1失真函數(shù)第七章：限失真編碼失真測度例7.1.2假設(shè)信源輸出序列，其中每個隨機變量均取值于。經(jīng)信道傳輸(編碼）后的輸出為，其中每個隨機變量均取值于。定義失真函數(shù)

d(0,0)=d(1,1)=0，

d(0,1)=d(1,0)=1，求失真矩陣D(N）。

7.1.1失真函數(shù)第七章：限失真編碼失真測度7.1.1失真函數(shù)第七章：限失真編碼失真測度7.1.2平均失真

第七章：限失真編碼失真測度7.1.2平均失真

第七章：限失真編碼失真測度例：7.1.2平均失真

第七章：限失真編碼失真測度例：第七章：限失真編碼失真測度7.1.2平均失真

第七章：限失真編碼失真測度7.1.2平均失真

7.2.1D允許信道

保真度準則

D失真允許信道

7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)7.2.2信息率失真函數(shù)的定義當信源為離散無記憶平穩(wěn)信源、信道為離散無記憶平穩(wěn)信道時7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)是在信道固定前提下，選擇一種信源概率分布使信息傳輸率最大（求極大值）。它反映了信道傳輸信息的能力，是信道可靠傳輸?shù)淖畲笮畔鬏斅?。信道容量與信源無關(guān)，是反映信道特性的參量，不同的信道其信道容量不同。

7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)是在信源固定，滿足保真度準則的條件下的信息傳輸率的最小值。反映了滿足一定失真度的條件下信源可以壓縮的程度，也就是滿足失真要求而再現(xiàn)信源消息所必須獲得的最少平均信息量。是信源特性的參量，一旦求到就與求極值過程中選擇的試驗信道無關(guān)，不同的信源率失真函數(shù)不同。

7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)

這兩個概念適用范圍是不一樣。研究信道容量C是為了解決在已知信道中盡可能多地傳送信息的問題，是為了充分利用已給定的信道，使傳輸?shù)男畔⒘孔畲蠖e誤概率任意小，以提高通信的可靠性，這是信道編碼的問題。研究信息率失真函數(shù)是為了解決在已知信源和允許失真度條件下，使信源輸出的信息率盡可能小，也就是在允許一定失真度D的條件下，使信源必須傳送給信宿的信息量最少，盡可能用最少的碼符號來傳送信源信息，使信源的信息可以盡快地傳送出去，以提高通信的有效性，這是信源編碼問題。7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)1.

的定義域

第七章：限失真編碼