信息論與編碼第二章教材

信息論與編碼第2章信源與信息熵復(fù)習(xí):1.信息的基本理論的出處美國(guó)科學(xué)家C.E.Shannon于1948年發(fā)表的著名論文《通信的數(shù)學(xué)理論》.2.什么是信息信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。（香農(nóng)）3.基本通信系統(tǒng)的組成第2章信源及信源熵2.1信源的描述及分類2.2

離散信源熵和互信息2.3

離散序列信源熵2.4

連續(xù)信源熵和互信息2.5冗余度本次課講的內(nèi)容相關(guān)知識(shí)復(fù)習(xí)2.1信源及分類2.2單符號(hào)離散信源

2.2.1單符號(hào)離散信源的數(shù)學(xué)模型

2.2.2自信息量概率論知識(shí)復(fù)習(xí)基本事件：隨機(jī)試驗(yàn)的每一個(gè)可能的結(jié)果（樣本點(diǎn)）。樣本空間：基本事件的集合。復(fù)雜事件：多個(gè)基本事件所組成的事件。隨機(jī)事件：無(wú)論基本事件還是復(fù)雜事件，它們?cè)谠囼?yàn)中發(fā)生與否，都帶有隨機(jī)性。相關(guān)知識(shí)復(fù)習(xí)事件域：基本事件和復(fù)雜事件是樣本空間的子集，所有子集的全體。概率空間：三要素—

樣本空間、事件域(集合)、概率。事件A的概率：A中樣本點(diǎn)數(shù)與樣本空間中樣本點(diǎn)之比。先驗(yàn)概率：根據(jù)以往的統(tǒng)計(jì)規(guī)律得到的。相關(guān)知識(shí)復(fù)習(xí)必須掌握的概率論知識(shí)1）條件概率2）聯(lián)合概率相關(guān)知識(shí)復(fù)習(xí)3)全概率：

設(shè)B1

,B2

,…

是一列互不相容的事件(Bi

Bj=0），且有B1∪B2∪…=Ω（樣本空間）；P(Bi)＞0,i=1，2…，則對(duì)任一事件A，有：

相關(guān)知識(shí)復(fù)習(xí)4)貝葉斯(Bayes)公式:

設(shè)B1,B2

,…

是一列互不相容的事件(Bi

Bj=0），且有B1∪B2∪…=Ω（樣本空間）；

p(Bi)＞0，i=1，2，…，則對(duì)任一事件A，有：相關(guān)知識(shí)復(fù)習(xí)第2章信源及信源熵

2.1

信源及分類1.信源的描述直觀地說(shuō):

信源就是信息的來(lái)源。確切地說(shuō):

信源是產(chǎn)生消息（符號(hào)）、消息序列、連續(xù)消息的來(lái)源。

2.1信源及分類2.1

信源及分類信源是產(chǎn)生消息（符號(hào)）、消息序列和連續(xù)消息的來(lái)源。從數(shù)學(xué)上，由于消息的不確定性，因此，信源是產(chǎn)生隨機(jī)變量、隨機(jī)序列和隨機(jī)過(guò)程的源信源的基本特性是具有隨機(jī)屬性和概率統(tǒng)計(jì)特性2.1信源的描述與分類分類時(shí)間

離散

連續(xù)幅度

離散

連續(xù)記憶

有

無(wú)三大類：?jiǎn)畏?hào)離散信源符號(hào)序列信源（有記憶和無(wú)記憶）連續(xù)信源

從信源發(fā)出的消息在時(shí)間上和幅度上的分布來(lái)考慮分類，可將其分為離散信源和連續(xù)信源。離散信源：指發(fā)出在時(shí)間和幅度上都是離散分布的離散消息的信源。

如：文字、數(shù)字、數(shù)據(jù)、字母等。2.信源的分類2.1信源及分類

離散信源又可分為無(wú)記憶離散信源和有記憶離散信源。無(wú)記憶離散信源:發(fā)出的各個(gè)符號(hào)是相互獨(dú)立的；各符號(hào)序列中的各個(gè)符號(hào)之間是沒有統(tǒng)計(jì)關(guān)聯(lián)的關(guān)系。各個(gè)符號(hào)的出現(xiàn)概率是它自身的先驗(yàn)概率。無(wú)記憶離散信源包含發(fā)出單符號(hào)的無(wú)記憶離散信源和發(fā)出符號(hào)序列的無(wú)記憶離散信源。

2.1信源及分類有記憶離散信源:

發(fā)出的各個(gè)符號(hào)是相關(guān)聯(lián)的。表述起來(lái)很困難。

有記憶離散信源又可分為發(fā)出符號(hào)序列的有記憶離散信源和發(fā)出符號(hào)序列的馬爾可夫信源。2.1信源及分類當(dāng)記憶長(zhǎng)度為m+1時(shí)稱這種記憶信源為m階馬爾可夫信源，即信源每次發(fā)出的符號(hào)與前m個(gè)符號(hào)有關(guān)，與更前面的符號(hào)無(wú)關(guān)。假設(shè)m階馬爾可夫信源輸出的隨機(jī)序列為X=X1X2…Xi-1Xi…XN。在這序列中某i時(shí)刻的隨機(jī)變量X取什么符號(hào)只與前m個(gè)隨機(jī)變量Xi-1Xi-2…Xi-m取什么符號(hào)有關(guān)，與其更前面的隨機(jī)變量以及后面的隨機(jī)變量取什么符號(hào)都無(wú)關(guān)。這樣就可以用馬爾可夫鏈來(lái)描述此信源。2.1信源及分類

連續(xù)信源：指發(fā)出在時(shí)間和幅度上都是連續(xù)分布的連續(xù)消息（模擬消息）的信源。

如：語(yǔ)言、圖像、視頻等。信源離散信源連續(xù)信源離散無(wú)記憶信源離散有記憶信源單符號(hào)的無(wú)記憶離散信源符號(hào)序列的無(wú)記憶離散信源符號(hào)序列的有記憶信源符號(hào)序列的馬爾可夫信源圖2-1信源的分類2.1信源及分類2.2單符號(hào)離散信源2.2.1單符號(hào)離散信源的數(shù)學(xué)模型單符號(hào)離散信源輸出的消息是以一個(gè)符號(hào)的形式出現(xiàn).

如：文字、數(shù)字、字母、等符號(hào)。信源每次只發(fā)出一個(gè)符號(hào)代表一個(gè)消息，可用離散隨機(jī)變量來(lái)描述。2.2單符號(hào)離散信源2.2單符號(hào)離散信源定義一個(gè)離散無(wú)記憶信源是由n個(gè)符號(hào)消息組成的集合:

X={a1，a2

·

··an

}，

這n個(gè)符號(hào)消息的概率分布是：稱為符號(hào)ai

的先驗(yàn)概率離散信源數(shù)學(xué)模型表示為：從概率的角度看，可以將符號(hào)消息ai

看一個(gè)隨機(jī)事件。因此ai具有不確定性。

0≤p(ai)≤1，注意：

大寫字母X、Y、Z等代表隨機(jī)變量，指的是信源的整體；而帶有下標(biāo)的小寫字母ai，bj，ck等代表隨機(jī)事件的某一結(jié)果或信源的某個(gè)元素。2.2單符號(hào)離散信源

【例2.2-1】擲一顆質(zhì)地均勻的骰子研究其下落后朝上一面的點(diǎn)數(shù)，每次實(shí)驗(yàn)結(jié)果必然是1，2…6點(diǎn)中的某一個(gè)面朝上。信源輸出的消息是“朝上面是一點(diǎn)”，“朝上面是兩點(diǎn)”，…“朝上面是六點(diǎn)”等6個(gè)不同的消息。每次實(shí)驗(yàn)只能出現(xiàn)一種消息，出現(xiàn)哪一種消息是隨機(jī)的，但必是6種情況中的一種。用ai,(i=1,…,6)來(lái)表示這些消息，得到信源的樣本空間為符號(hào)集A=｛a1,a2,a3,a4,a5,a6｝。2.2單符號(hào)離散信源

各消息都是等概率出現(xiàn)的，用一個(gè)離散型隨機(jī)變量X

來(lái)描述這個(gè)信源的輸出的消息。這個(gè)隨機(jī)變量X

的樣本空間就是符號(hào)集A，X的概率分布就是各消息出現(xiàn)的先驗(yàn)概率：p(a1)=p(a2)=p(a3)=p(a4)=p(a5)=p(a6)=1/6,

信源的數(shù)學(xué)模型為:2.2單符號(hào)離散信源2.2.2自信息量1.自信息量定義

定義:

一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來(lái)的信息量稱為自信息量，簡(jiǎn)稱自信息。2.2單符號(hào)離散信源當(dāng)隨機(jī)事件ai發(fā)生以前，I(ai)表示事件ai的不確定性；當(dāng)隨機(jī)事件ai發(fā)生以后，I(ai)表示事件ai所含有(或所提供)的信息量。

注意:信息量是數(shù)值，信息量單位只是為了表示不同底數(shù)的對(duì)數(shù)值，并沒有量綱的含義。2．自信息量的意義2.2單符號(hào)離散信源以何為底其對(duì)應(yīng)單位轉(zhuǎn)換關(guān)系應(yīng)用場(chǎng)合以2為底比特(bit，binaryunit的縮寫)1bit=0.693Net1bit=0.301Hart信息論中常用，為了書寫簡(jiǎn)潔，常將底數(shù)2略去不寫。以e為底奈特(nat，natureunit的縮寫）1Net=㏒2e≈1.433bit為信息論公式推導(dǎo)方便使用。以10為底笛特(Det，DecimalUnit的縮寫)哈特(Hart，Hartley的縮寫)1Hart=㏒210≈3.322bit當(dāng)隨機(jī)事件的概率很小時(shí)，運(yùn)算方便。2.2單符號(hào)離散信源【例2.2-2】英文字母中“e”出現(xiàn)的概率是0.105，“c”出現(xiàn)的概率是0.023,“o”出現(xiàn)的概率是0.001。分別計(jì)算其自信息量。解：“e”:I(e)=－㏒20.105=3.25(比特)“c”:I(c)=－㏒20.023=5.44(比特)“o”:I(o)=－㏒20.001=9.97(比特)2.2單符號(hào)離散信源

【例2.2-3】某地二月份天氣的概率分布統(tǒng)計(jì)如下：晴天的概率是1/2，陰天的概率是1/4，雨天的概率是1/8，雪天的概率也是1/8。求此四種氣候的自信息量分別的是多少？解：數(shù)學(xué)模型如下：這四種氣候的自信息量分別為:

I(a1)=1(比特),

I(a2)=2(比特)，I(a3)=3(比特），I(a4)=3(比特)。2.2單符號(hào)離散信源(1)I(ai)是非負(fù)值∵隨機(jī)事件發(fā)生的概率為p(a),則p(a)∈[0，1]，㏒p(a)為負(fù)值,由對(duì)數(shù)性質(zhì)可知,若㏒

p(a)為負(fù)值，則-㏒p(a)恒為非負(fù)值.x013.自信息量I(ai)性質(zhì)

2.2單符號(hào)離散信源⑵當(dāng)p(a)=1時(shí)，I(a)=0P(a)=1說(shuō)明該事件是必然事件,不含有任何不確定性,所以不含有任何信息量。⑶當(dāng)p(a)=0時(shí),I(a)=∞P(x)=0說(shuō)明該事件是不可能事件。不可能事件一旦發(fā)生,帶來(lái)的信息量非常大。稱信息爆炸。2.2單符號(hào)離散信源⑷I(a)是p(a)的單調(diào)遞減函數(shù)∵p(a)∈[0，1]，∴1/p(a)≥1，且隨著p(a)的增大而減小。由式I(a)=－㏒p(a)可知I(a)=㏒1/p(a)也隨著p(a)的增大而減小。2.2單符號(hào)離散信源p(a)01I(a)I(a,b)=I(a)+I(b)⑸可加性注：a是一個(gè)隨機(jī)變量,I(a)是a的函數(shù),也是一個(gè)隨機(jī)變量。如兩個(gè)獨(dú)立信源符號(hào)一起出現(xiàn)P(a,b)=p(a)p(b)；2.2單符號(hào)離散信源2.2單符號(hào)離散信源4.聯(lián)合自信息量?jī)蓚€(gè)隨機(jī)事件的離散信源數(shù)學(xué)模型為其中0≤p()≤1(i=1,2,…,n;j=1,2,…,m)。聯(lián)合自信息量，用I()表示，即：I()=－㏒2p()當(dāng)X與Y相互獨(dú)立時(shí)

說(shuō)明兩個(gè)隨機(jī)事件相互獨(dú)立時(shí)，同時(shí)發(fā)生得到的自信息量，等于這兩個(gè)隨機(jī)事件各自獨(dú)立發(fā)生得到的自信息量之和。2.2單符號(hào)離散信源5.條件自信息量

定義:

在二維聯(lián)合集XY中，設(shè)在bj條件下，發(fā)生ai的條件概率為p(ai/bj)，那么它的條件自信息量I(ai/bj)定義為：表示在特定的條件(bj已定)下，隨機(jī)事件ai發(fā)生所帶來(lái)的信息量。2.2單符號(hào)離散信源6.自信息量、聯(lián)合自信息量和條件自信息量

三者之間的關(guān)系2.2單符號(hào)離散信源

【例2.2-4】居住某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上，而女孩中身高1.6米以上的占總數(shù)一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量?解:設(shè)事件A為女孩是大學(xué)生；設(shè)事件B為女孩身高1.6米以上。則:

p(A)=0.25p(B)=0.50p(B/A)=0.752.2單符號(hào)離散信源2.2單符號(hào)離散信源“身高1.6米以上的某女孩是大學(xué)生”表明在B事件發(fā)生的條件下，A事件發(fā)生,所以其概率為p(A/B)。由貝葉斯定律公式:

由“身高1.6米以上的某女孩是大學(xué)生”，獲得信息量為

【例2.2-4】居住某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上，而女孩中身高1.6米以上的占總數(shù)一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量?

【例2.2-5】一信源有4種輸出符號(hào)碼，Xi(i=0,1,2,3)，且p(Xi)=1/4。設(shè)信源向信宿發(fā)出X3，但由于傳輸中的干擾，接收者收到后，認(rèn)為其可信度為0.9。于是信源再次向信宿發(fā)送該符號(hào)(X3)，信宿無(wú)誤收到。問信源在兩次發(fā)送中發(fā)出的信息量各是多少?信宿在兩次接收中得到的信息量又各是多少?2.2單符號(hào)離散信源解:發(fā)出的信息量為I(X3)=-log2p(Xi)=-log20.25=2(比特)第一次收到的符號(hào)為y，第二次發(fā)送無(wú)誤收到，發(fā)、收信息量相等，則I(X3/y)=-log2p(Xi/y)=-log20.9=0.15(比特)第一次傳送的信息量為兩次發(fā)送信息量之差，即I(X3;y)=I(X3)-I(X3/y)=1.85(比特)2.2單符號(hào)離散信源

2-1同時(shí)擲2顆色子，事件A、B、C分別表示:(A)僅有一個(gè)色子是3；(B)至少有一個(gè)色子是4；(C)色子上點(diǎn)數(shù)的總和為偶數(shù)。試計(jì)算事件A、B、C發(fā)生后所提供的信息量。1.什么是信源:是發(fā)出消息的源，是信息的來(lái)源。

2.信源的分類連續(xù)信源離散信源信源離散信源連續(xù)信源離散無(wú)記憶信源離散有記憶信源單符號(hào)的無(wú)記憶離散信源符號(hào)序列的無(wú)記憶離散信源符號(hào)序列的有記憶信源符號(hào)序列的馬爾可夫信源圖2-1信源的分類復(fù)習(xí)

例:離散無(wú)記憶信源單個(gè)符號(hào)X={0,1}X={A,B,…,Z}

符號(hào)序列X={00,01,10,11}X={AA,AB,…,AZ,BA,BB,…,BZ,…,ZZ}3.信源的數(shù)學(xué)模型復(fù)習(xí)4、自信息一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來(lái)的信息量稱為自信息量，簡(jiǎn)稱自信息。

I(xi)=－log2p(xi)復(fù)習(xí)2-2設(shè)在一只布袋中裝有100只對(duì)人手的感覺完全相同的木球，每只球上涂有一種顏色。100只球的顏色有下列三種情況:

（1）紅色球和白色球各50只；（2）紅色球99只，白色球1只；（3）紅、黃、藍(lán)、白色各25只。求從布袋中隨意取出一只球時(shí)，猜測(cè)其顏色所需要的信息量。本次課內(nèi)容2.2.3信源熵2.2.4信源熵的基本性質(zhì)和定理1．信源熵定義我們已知單符號(hào)離散無(wú)記憶信源的數(shù)學(xué)模型2.2.3信源熵2.2.3信源熵

自信息量指的是某一信源發(fā)出某一消息所含的信息，不能作為整個(gè)信源的信息測(cè)度。信源整體的信息量如何測(cè)定呢？我們可以定義信源各個(gè)離散消息的自信量的數(shù)學(xué)期望為信源的平均信息量，以此來(lái)測(cè)定信源整體的信息量。2.2.3信源熵這個(gè)平均信息量的表達(dá)式與統(tǒng)計(jì)物理學(xué)中熱熵的表達(dá)式很相似，在概念上兩者也有相似之處。因此，借用“熵”這個(gè)詞，把信源整體的信息量稱為信息熵，也叫信源熵或香農(nóng)熵.用H(X)來(lái)表示.2.2.3信源熵

信源熵定義：概率空間中每個(gè)事件所含有的自信息量的數(shù)學(xué)期望稱信源熵。單位:以2為底的對(duì)數(shù)時(shí)是比特/符號(hào)(bit/symbol);

以e為底的對(duì)數(shù)時(shí)是奈特/符號(hào)(nat/symbol);

以10為底的對(duì)數(shù)時(shí)是哈特/符號(hào)(hart/symbol)2.2.3信源熵2．信源熵物理含義(1)信息熵H(X)表示了信源輸出前，信源的平均不確定性；(2)信息熵H(X)表示了信源輸出后，每個(gè)消息或符號(hào)所提供的平均信息量；(3)信息熵H(X)反映了隨機(jī)變量X的隨機(jī)性。2.2.3信源熵

【例2.2-6】一個(gè)布袋內(nèi)放有100個(gè)球，其中80個(gè)球是紅色的，20個(gè)球是白色的，問：（1）若隨機(jī)摸取一個(gè)球，猜測(cè)其顏色，求平均摸取一次所能獲得的自信息量。（2）若每次摸出一個(gè)球后又放回袋中，再進(jìn)行下一次的摸取，那么如此摸取n次后，求平均摸取一次所能獲得的自信息量。2.2.3信源熵【例2.2-6】一個(gè)布袋內(nèi)放有100個(gè)球，其中80個(gè)球是紅色的，20個(gè)球是白色的，問：（1）若隨機(jī)摸取一個(gè)球，猜測(cè)其顏色，求平均摸取一次所能獲得的自信息量。（2）若每次摸出一個(gè)球后又放回袋中，再進(jìn)行下一次的摸取，那么如此摸取n次后，求平均摸取一次所能獲得的自信息量。解：（1）概率空間為：x1表示摸出的球?yàn)榧t球，x2表示摸出的球?yàn)榘浊虍?dāng)被告知摸出的是紅球，則獲得的信息量是：I(x1)=－㏒p(x1)=－㏒0.8(比特)當(dāng)被告知摸出的是白球，則獲得的信息量是：I(x2)=－㏒p(x2)=－㏒0.2(比特)2.2.3信源熵（2）每次摸出一個(gè)球后又放回袋中，再進(jìn)行下一次的摸取，如此摸取n次后，紅球出現(xiàn)的次數(shù)為np(x1)次，白球出現(xiàn)的次數(shù)為np(x2)次。隨機(jī)摸取n次后共獲得信息量為：∴平均摸取一次所能獲得的自信息量為：

=0.72（比特/次）

np(x1)I(x1)+np(x2)I(x2)2.2.3信源熵此例說(shuō)明:①自信息量I(x1)和I(x2)只是表征信源中各個(gè)符號(hào)的不確定度，一個(gè)信源總是包含著多個(gè)符號(hào)消息，各個(gè)符號(hào)消息又按概率空間的先驗(yàn)概率分布，因此各個(gè)符號(hào)的自信息量就不同。所以自信息量不能作為信源總體的信息量；②可以用平均自信息量H(x)，即信息熵H(x)從平均意義上來(lái)表征信源的總體特征，也可以表征信源的平均不確定性。2.2.3信源熵

【例2.2-7】某地二月份天氣的概率分布統(tǒng)計(jì)如下：晴天的概率是1/2，陰天的概率是1/4，雨天的概率是1/8，雪天的概率也是1/8。求信源熵是多少？解：信源的概率空間=1.75（比特/符號(hào)）2.2.3信源熵2-3一信源有6種輸出狀態(tài)，概率分別為p(A)=0.5，p(B)=0.25，p(C)=0.125，p(D)=p(E)=0.05,p(F)=0.025。試計(jì)算H(X)，然后求消息ABABBA和FDDFDF的信息量(設(shè)信源先后發(fā)出的符號(hào)相互獨(dú)立的)，并將其與長(zhǎng)度為6位的消息序列信息量的期望值相比較。3．條件熵定義:

在聯(lián)合符號(hào)集XY上的條件自信息量的數(shù)學(xué)期望,用H(X/Y)表示。在已知隨機(jī)變量Y的條件下，隨機(jī)變量X的條件熵H(X/Y)定義為2.2.3信源熵在已知隨機(jī)變量X的條件下，隨機(jī)變量X的條件熵H(Y/X)定義為條件熵H(X/Y)表示信宿在收到Y(jié)后，信源X仍然存在的不確定度。這是傳輸失真所造成的。稱H(X/Y)稱為信道疑義度，或損失熵；H(Y/X)稱為信道散布度，或噪聲熵。2.2.3信源熵【例2.2-8】已知X，Y∈｛0，1｝，X，Y構(gòu)成的聯(lián)合概率為p(00)=p(11)=1/8，p(01)=p(10)=3/8，計(jì)算條件熵H(X/Y)。解：∵題中已知p(xiyj)，需求p(xi/yj)∵p(xi/yj)=p(xiyj)/p(yj)，已知p(xiyj)，求p(yj)2.2.3信源熵當(dāng)j=0時(shí)，p(y1=0)=p(x1y1=00)+p(x2y1=10)=1/8+3/8=4/8=1/2當(dāng)j=1時(shí)，p(y2=1)=p(x1y2=01)+p(x2y2=11)=1/8+3/8=4/8=1/2P(0/0)=p(x=0/y=0)=p(x1y1)/p(y1)=p(00)/p(0)=(1/8)∕(1/2)=1/4=p(1/1)同理有p(1/0)=p(0/1)=3/4∴H(X/Y)=-1/8㏒(1/4)-3/8㏒(3/4)-3/8㏒(3/4)-1/8㏒(1/4)=0.406（比特/符號(hào)）2.2.3信源熵4．聯(lián)合熵（共熵）定義:聯(lián)合離散符號(hào)集XY上的每個(gè)元素對(duì)xiyj的聯(lián)合自信息的數(shù)學(xué)期望.H(XY)表示X和Y同時(shí)發(fā)生的不確定度。2.2.3信源熵5．信源熵、條件熵、聯(lián)合熵之間的關(guān)系H(XY)=H(X)＋H(Y/X)

H(XY)=H(Y)＋H(X/Y)條件熵小于無(wú)條件熵，H(Y/X)≤H(Y)。當(dāng)且僅當(dāng)y和x相互獨(dú)立p(y/x)=p(y)，H(Y/X)=H(Y)。2.2.3信源熵5．信源熵、條件熵、聯(lián)合熵之間的關(guān)系H(XY)=H(X)＋H(Y/X)

H(XY)=H(Y)＋H(X/Y)條件熵小于無(wú)條件熵，H(Y/X)≤H(Y)。當(dāng)且僅當(dāng)y和x相互獨(dú)立p(y/x)=p(y)，H(Y/X)=H(Y)。兩個(gè)條件下的條件熵小于一個(gè)條件下的條件熵H(Z/X,Y)≤H(Z/Y)

當(dāng)且僅當(dāng)p(z/x,y)=p(z/y)時(shí)取等號(hào)。2.2.3信源熵

聯(lián)合熵小于信源熵之和，H(YX)≤H(Y)+H(X)

當(dāng)兩個(gè)集合相互獨(dú)立時(shí)得聯(lián)合熵的最大值H(XY)max=H(X)+H(Y)信源熵、條件熵、聯(lián)合熵之間的關(guān)系2.2.3信源熵例2.2-9二進(jìn)制通信系統(tǒng)采用符號(hào)“0”和“1”,由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼，用符號(hào)表示下列事件,u0:一個(gè)“0”發(fā)出;u1:一個(gè)“1”發(fā)出;v0:一個(gè)“0”收到;v1:一個(gè)“1”收到。給定下列概率，p(u0)=1/2,p(v0/u0)=3/4,p(v0/u1)=1/2。求:(1)已知發(fā)出一個(gè)“0”,收到符號(hào)后得到信息量；(2)已知發(fā)出的符號(hào)，收到符號(hào)后得到的信息量；(3)知道發(fā)出的和收到的符號(hào)能得到的信息量；(4)已知收到的符號(hào),被告知發(fā)出的符號(hào)得到信息量。2.2.3信源熵解:(1)已知發(fā)出一個(gè)“0”，收到符號(hào)后得到的信息2.2.3信源熵例2.2-9二進(jìn)制通信系統(tǒng)采用符號(hào)“0”和“1”，由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼，用符號(hào)表示下列事件，u0：一個(gè)“0”發(fā)出；u1：一個(gè)“1”發(fā)出；v0：一個(gè)“0”收到；v1：一個(gè)“1”收到。給定下列概率，p(u0)=1/2，p(v0/u0)=3/4，p(v0/u1)=1/2。(2)已知發(fā)出的符號(hào),收到符號(hào)后得到的信息量.2.2.3信源熵聯(lián)合概率例2.2-9二進(jìn)制通信系統(tǒng)采用符號(hào)“0”和“1”,由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼,用符號(hào)表示下列事件,u0:一個(gè)“0”發(fā)出;u1:一個(gè)“1”發(fā)出;v0:一個(gè)“0”收到;v1:一個(gè)“1”收到。給定下列概率,p(u0)=1/2,p(v0/u0)=3/4,p(v0/u1)=1/2。(3)知道發(fā)出的和收到的符號(hào)能得到的信息量；H(UV)=H(U)+H(V/U)

因?yàn)閜(u0)＝p(u1)＝1/2，所以H(U)＝1(比特/符號(hào))H(UV)=H(U)+H(V/U)=1+0.91=1.91（比特/符號(hào)）2.2.3信源熵例2.2-9二進(jìn)制通信系統(tǒng)采用符號(hào)“0”和“1”,由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼,用符號(hào)表示下列事件,u0:一個(gè)“0”發(fā)出;u1:一個(gè)“1”發(fā)出;v0:一個(gè)“0”收到;v1:一個(gè)“1”收到。給定下列概率,p(u0)=1/2,p(v0/u0)=3/4,p(v0/u1)=1/2。(4)已知收到的符號(hào)，被告知發(fā)出的符號(hào)得到的信息量。2.2.3信源熵例2.2-9二進(jìn)制通信系統(tǒng)采用符號(hào)“0”和“1”,由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼,用符號(hào)表示下列事件,u0:一個(gè)“0”發(fā)出;u1:一個(gè)“1”發(fā)出;v0:一個(gè)“0”收到;v1:一個(gè)“1”收到。給定下列概率,p(u0)=1/2,p(v0/u0)=3/4,p(v0/u1)=1/2。

1．信源熵的基本性質(zhì)（1）非負(fù)性因?yàn)樾旁挫厥亲孕畔⒌臄?shù)學(xué)期望，自信息是非負(fù)數(shù)，所以信源熵一定滿足非負(fù)性。非負(fù)性表明，從平均意義上來(lái)說(shuō)，信源在發(fā)出符號(hào)以前，總存在一定的不確定性，在發(fā)出符號(hào)后，總可以提供一定的信息。2.2.4信源熵的基本性質(zhì)和定理2.2.4信源熵的基本性質(zhì)和定理

（2）對(duì)稱性當(dāng)信源含有n個(gè)離散消息時(shí)，信源熵H(x)是這n個(gè)消息發(fā)生概率的函數(shù)。熵的對(duì)稱性指p(a1),p(a2),…,p(an)的順序任意互換時(shí)，熵的值不變。即2.2.4信源熵的基本性質(zhì)和定理熵函數(shù)的對(duì)稱性表明:

信源熵只與信源概率空間的總體結(jié)構(gòu)有關(guān)，與概率分量和各信源符號(hào)的對(duì)應(yīng)關(guān)系，乃至各信源符號(hào)本身無(wú)關(guān)。2.2.4信源熵的基本性質(zhì)和定理（3）確定性

只要信源符號(hào)表中，有一個(gè)信源符號(hào)的出現(xiàn)概率為1，信源熵就等于零。這就是熵函數(shù)的確定性.

它表明當(dāng)信源任意符號(hào)以概率1必然出現(xiàn)時(shí)，其他符號(hào)均不可能出現(xiàn)。這個(gè)信源是一個(gè)確知信源，在發(fā)符號(hào)前，不存在不確定性，在發(fā)符號(hào)后不提供任何信息。2.2.4信源熵的基本性質(zhì)和定理（4）擴(kuò)展性若信源符號(hào)集中增加了若干符號(hào)，當(dāng)這些符號(hào)出現(xiàn)的概率很小時(shí)，信源的熵不變。（5）可加性統(tǒng)計(jì)獨(dú)立的兩個(gè)信源X和Y，下式成立。H(XY)=H(X)+H(Y)2.2.4信源熵的基本性質(zhì)和定理（6）強(qiáng)可加性任意兩個(gè)相互關(guān)聯(lián)的信源X和Y，其聯(lián)合熵等于H(XY)=H(X)+H(Y/X)或H(XY)=H(Y)+H(X/Y)（7）遞增性若原信源中某一個(gè)符號(hào)劃分成m個(gè)符號(hào)，這m個(gè)符號(hào)的概率之和等于原某一符號(hào)的概率，則由于符號(hào)個(gè)數(shù)增多而產(chǎn)生新的不確定性，新信源的熵增加了。2.2.4信源熵的基本性質(zhì)和定理2．信源熵的定理香農(nóng)輔助定理:

對(duì)于任意n維概率矢量P=(p1,p2，…，pn)和Q=(q1，q2，…，qn)如下不等式成立上式表明，對(duì)任意概率分布pi，它對(duì)其他概率分布qi的自信息量-log2qi取數(shù)學(xué)期望時(shí)，必不小于pi本身的熵。等號(hào)僅當(dāng)P=Q時(shí)成立。2.2.4信源熵的基本性質(zhì)和定理

最大離散熵定理:

離散無(wú)記憶信源輸出M個(gè)不同的信息符號(hào),當(dāng)且僅當(dāng)各個(gè)符號(hào)出現(xiàn)概率相等時(shí)（即pi=1/M）,熵最大。2.2.4信源熵的基本性質(zhì)和定理【例2.2-10】設(shè)隨機(jī)變量X的概率分布為隨機(jī)變量Y是X的函數(shù)，其分布為將X的4個(gè)最小的概率分布合并為一個(gè):(1)顯然H(X)＜log27，請(qǐng)解釋原因；(2)計(jì)算H(X)，H(Y)；(3)計(jì)算H(X/Y)并解釋其結(jié)果。2.2.4信源熵的基本性質(zhì)和定理

解:(1)H(X)＜log27，請(qǐng)解釋原因根據(jù)熵的極值性，當(dāng)隨機(jī)變量等概分布時(shí)，隨機(jī)變量的熵最大。有7個(gè)可能取值的隨機(jī)變量的最大熵為Hmax（X）=log27，而隨機(jī)變量X不是等概分布，所以H(X)＜log27。2.2.4信源熵的基本性質(zhì)和定理(2)計(jì)算H(X)，H(Y)

2.2.4信源熵的基本性質(zhì)和定理(3)計(jì)算H(X/Y)并解釋其結(jié)果。因?yàn)殡S機(jī)變量Y是X的函數(shù)，所以H(Y/X)=0（比特/符號(hào)）H(X/Y)=H(XY)-H(Y)=H(X)+H(Y/X)-H(Y)=2.722-1.922=0.8(比特/符號(hào))2.2.4信源熵的基本性質(zhì)和定理2-6設(shè)信息源為求：信源熵，解釋為什么H(X)>log26不滿足信源熵的極值性。上次課內(nèi)容2.2.3信源熵2.2.4信源熵的基本性質(zhì)和定理復(fù)習(xí)信息源的平均不確定度.或信源中各個(gè)符號(hào)不確定度的數(shù)學(xué)期望.1、信源熵復(fù)習(xí)

概率空間中每個(gè)事件所含有的自信息量的數(shù)學(xué)期望稱信源熵。非負(fù)性

H(X)≥0

由于0≤pk≤1,所以logpk≤0，-logpk≥0，則總有H(X)≥0。對(duì)稱性根據(jù)加法交換律可以證明，當(dāng)變量交換順序時(shí)熵函數(shù)的值不變,即信源的熵只與概率空間的總體結(jié)構(gòu)有關(guān)，而與各概率分量對(duì)應(yīng)的狀態(tài)順序無(wú)關(guān)。對(duì)稱性確定性當(dāng)信源X的信源空間[X，P]中，任一概率分量等于1，根據(jù)完備空間特性，其它概率分量必為0，這時(shí)信源為一個(gè)確知信源，其熵為0。

確定性這說(shuō)明信源空間中增加某些概率很小的符號(hào)，雖然當(dāng)發(fā)出這些符號(hào)時(shí)，提供很大的信息量，但由于其概率接近于0，在信源熵中占極小的比重，，使信源熵保持不變。

擴(kuò)展性擴(kuò)展性證明:可加性信源X中包含K個(gè)不同離散消息時(shí)，信源熵，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率全相等時(shí)，上式取等號(hào)。

表明等概信源的不確定性最大，具有最大熵，為

極值性——最大離散熵定理

H(p)1.00.500.51p

二元離散信源H(p)=-plogp-(1-p)log(1-p)引理1：一個(gè)常用不等式：lnxx-1令f(x)=lnx–(x-1),則可見，f(x)是x的上凸函數(shù)，且當(dāng)x=1時(shí)，f(x)有極大值。故即lnx≤(x-1)f(x)=lnx-(x-1)≤0證明：引理1令，可得

即等概時(shí)熵最大，為。證明：引理2——香農(nóng)輔助定理定理：1.H(X/Y)≤H(X)（條件熵不大于無(wú)條件熵）2.H(XY)≤H(X)+H(Y)證明：基本定理由定理1，得基本定理推廣H(X/Y)≤H(X)H(XY)≤H(X)+H(Y)相互獨(dú)立時(shí)等號(hào)成立若原信源X中有一元素分割成m個(gè)元素(符號(hào))，而這m個(gè)元素的概率之和等于原元素的概率，則新信源的熵增加。遞增性熵的增加是由于新的劃分產(chǎn)生了不確定性。本次課內(nèi)容：2.2.5互信息量2.2.6數(shù)據(jù)處理中信息的變化2.3多符號(hào)離散信源2.3.1離散無(wú)記憶序列信源

2.2.5互信息量

1.互信息量

信源發(fā)出符號(hào)xi，由于信道存在干擾，收到的不是xi而是yj，我們可從yj中獲取有關(guān)xi的信息量。有擾離散信道信宿Yj信源Xi干擾源圖2-5簡(jiǎn)單的通信模型2.2.5互信息量（1）互信息量定義

信源發(fā)出的消息xi的概率p(xi)稱為先驗(yàn)概率。消息xi通過(guò)有噪聲干擾的信道傳輸后，信宿收到的可能是由于干擾作用引起的某種變形的消息yj，從yj來(lái)推測(cè)信源發(fā)出的xi概率，這一過(guò)程可由后驗(yàn)概率來(lái)描述。我們將從yj中獲取有關(guān)xi的信息量稱為互信息量。2.2.5互信息量定義：xi的后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)，為yj

對(duì)xi的互信息量，也稱為交互信息量（簡(jiǎn)稱互信息），用I(xi；yj)表示，即：

（i=1，2，……n；j=1，2，……m）2.2.5互信息量

【例2.2-11】某地二月份天氣的概率分布統(tǒng)計(jì)如下：晴天的概率是1/2，陰天的概率是1/4，雨天的概率是1/8，雪天的概率也是1/8。有人告訴你：“今天不是晴天?！卑堰@句話作為收到的消息y1。求：互信息量2.2.5互信息量2.2.5互信息量

解：收到y(tǒng)1后，各種天氣發(fā)生的概率變成后驗(yàn)概率了計(jì)算y1與各種天氣之間的互信息量。x1與y1之間的互信息量為零。對(duì)x2可以計(jì)算出：【例2.2-11】某地二月份天氣的概率分布統(tǒng)計(jì)如下：晴天的概率是1/2，陰天的概率是1/4，雨天的概率是1/8，雪天的概率也是1/8。有人告訴你：“今天不是晴天?！卑堰@句話作為收到的消息y1。

同理計(jì)算y1分別得到了x2、x3

、x4各1比特的信息量。也可以理解為消息y1使x2、x3、x4的不確定度各減少1比特。（2）互信息量性質(zhì)①對(duì)稱性I(xi；yj)=I(yj；xi)

反映了輸入、輸出之間“你中有我,我中有你”的交互關(guān)系，表示從yj得到xi的信息量和xi從yj得到的信息量一樣多；②當(dāng)xi與yj相互獨(dú)立時(shí)，互信息為0

表明xi與yj之間不存在統(tǒng)計(jì)約束性，從yj中得不到xi的信息；反之亦然；2.2.5互信息量③互信息可為正值也可為負(fù)值

互信息為負(fù)值說(shuō)明信宿收到y(tǒng)j后，不僅沒有使xi的不確定度減少；反而使之更大了。這是通信受到干擾或發(fā)生錯(cuò)誤造成的。2.2.5互信息量3．平均互信息量（1）平均互信息量定義定義；互信息量I(xi;yj)在聯(lián)合概率空間P(XY)上的統(tǒng)計(jì)平均值稱為平均互信息量。用I(X;Y)表示單位--比特/消息

平均互信息量I(X;Y)克服了互信息量I(xi;yj)的隨機(jī)性，成為一個(gè)確定的量，可作為信道中流通信息量的整體測(cè)度。2.2.5互信息量

（2）平均互信息量的物理意義①如果X與Y是相互獨(dú)立的,無(wú)法從Y中去提取關(guān)于X

的信息,即H(X/Y)=H(X),故稱為全損離散信道。②如果Y是X確定的一一對(duì)應(yīng)函數(shù)，I(X;Y)＝H(X)，已知Y就完全解除了關(guān)于X的不確定度，所獲得的信息就是X的不確定度或熵，可看成是無(wú)擾離散信道。疑義度H(X/Y)為零,噪聲熵也為零。2.2.5互信息量

一般情況下,X和Y既非相互獨(dú)立,也不是一一對(duì)應(yīng),那么從Y獲得X的信息必須在零與H(X)之間,即常小于X的熵。圖2-6收發(fā)兩端熵的關(guān)系2.2.5互信息量【例2.2-12】把已知信源接到下圖所示的信道上，求在該信道上傳輸?shù)钠骄バ畔⒘縄(X；Y)、疑義度H(X/Y)、噪聲熵H(Y/X)和聯(lián)合熵H(XY)。0.98x2y2y1x10.800.020.22.2.5互信息量解：①由p(xiyj)=p(xi)p(yj/xi)求出各聯(lián)合概率:p(x1y1)=p(x1)p(y1/x1)=0.5×0.98=0.49p(x1y2)=p(x1)p(y2/x1)=0.5×0.02=0.01p(x2y1)=p(x2)p(y1/x2)=0.5×0.20=0.10p(x2y2)=p(x2)p(y2/x2)=0.5×0.80=0.402.2.5互信息量0.98x2y2y1x10.800.020.2

②由得到Y(jié)集各消息概率:③由求X的各后驗(yàn)概率:同樣可推出

p(x1/y2)=0.024，p(x2/y2)=0.9762.2.5互信息量④

={0.5log20.5+0.5log20.5}=l(比特/符號(hào))⑤平均互信息I(X;Y)=

H(X)+H(Y)-H(XY)

=

1+0.98-1.43

=

0.55(比特/符號(hào))2.2.5互信息量⑥疑義度H(X/Y)也可由下式簡(jiǎn)單計(jì)算得到H(X/Y)=H(XY)-H(Y)=1.43-0.98=0.45(比特/符號(hào))2.2.5互信息量⑦噪聲熵=-{0.49log20.98+0.01log20.02+0.1log20.20+0.4log20.80}

=0.43(比特/符號(hào))噪聲熵也可通過(guò)下式計(jì)算:H(Y/X)=H(XY)-H(X)=0.43(比特/符號(hào))2.2.5互信息量（3）平均互信息量的性質(zhì)①對(duì)稱性I(X;Y)=I(Y;X)

對(duì)于信道兩端的隨機(jī)變量X和Y，由Y提取到的關(guān)于X的信息量與從X中提取到的關(guān)于Y的信息量是一樣的。I(X;Y)和I(Y;X)只是觀察者的立足點(diǎn)不同，是對(duì)信道兩端的隨機(jī)變量X和Y之間信息流通的總體測(cè)度的兩種不同表達(dá)形式。2.2.5互信息量對(duì)稱性②非負(fù)性即I(X;Y)≥0

平均互信息量不是從兩個(gè)具體消息出發(fā)，而是從隨機(jī)變量X和Y的整體角度出發(fā)，在平均意義上觀察問題，所以平均互信息量不會(huì)出現(xiàn)負(fù)值。

從整體和平均的意義上來(lái)說(shuō)，信道每傳遞一條消息，總能提供一定的信息量，或者說(shuō)接收端每收到一條消息，總能提取到關(guān)于信源X的信息量，使信源的不確定度有所下降。2.2.5互信息量非負(fù)性③極值性即I(X;Y)≤H(X),I(Y;X)≤H(Y)

從一個(gè)事件提取關(guān)于另一個(gè)事件的信息量，至多是另一個(gè)事件熵那么多，不會(huì)超過(guò)另一個(gè)事件自身所含的信息量。 當(dāng)X、Y相互獨(dú)立時(shí)，I(X;Y)=02.2.5互信息量平均互信息與熵的關(guān)系2.條件互信息量定義：在給定zk的條件下，xi與yj之間的互信息量，即條件互信息量。用I(xi;yj/zk)表示。消息xi與消息對(duì)yjzk之間的互信息可定義為2.2.5互信息量

此式表明：一個(gè)聯(lián)合事件yjzk發(fā)生后所提供的有關(guān)xi信息量I(xi;yjzk)，等于zk發(fā)生后提供的有關(guān)xi的信息量I(xi;zk)與給定zk條件下再出現(xiàn)yj后所提供的有關(guān)xi的信息量I(xi;yj/zk)之和。由式2.2.5互信息量

（4）三維聯(lián)合集XYZ上平均互信息量三維聯(lián)合集XYZ上平均互信息量有：I(X;YZ)=I(X;Y)+I(X;Z/Y)I(YZ;X)=I(Y;X)+I(Z;X/Y)

I(X;YZ)=I(X;ZY)=I(X;Z)+I(X;Y/Z)2.2.5互信息量2.2.6數(shù)據(jù)處理中信息的變化

數(shù)據(jù)處理定理:

當(dāng)消息經(jīng)過(guò)多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。

實(shí)際的通信系統(tǒng)中，常會(huì)出現(xiàn)串聯(lián)信道,如微波中繼接力通信，數(shù)據(jù)處理系統(tǒng)一般也可看成是一種信道，它與前面?zhèn)鬏敂?shù)據(jù)的信道也構(gòu)成串聯(lián)的關(guān)系。2.2.6數(shù)據(jù)處理中信息的變化第一級(jí)處理器第二級(jí)處理器X輸入Z輸出Y二級(jí)處理器示意圖在Y條件下,X與Z是相互獨(dú)立的由I(X;YZ)=I(X;Y)+I(X;Z/Y)

=I(X;Z)+I(X;Y/Z)可得到

I(X;Z)=I(X;Y)+I(X;Z/Y)-I(X;Y/Z)2.2.6數(shù)據(jù)處理中信息的變化第一級(jí)處理器第二級(jí)處理器X輸入Z輸出YI(X;Z)=I(X;Y)+I(X;Z/Y)-I(X;Y/Z)將公式I(YZ;X)=I(Y;X)+I(Z;X/Y)中的集合符號(hào)替代(X代Y，Y代Z，Z代X)得I(XY;Z)=I(X;Z)+I(Y;Z/X)將右邊的X和Y互換得I(XY;Z)=I(Y;Z)+I(X;Z/Y)由上兩式得:I(X;Z)=I(Y;Z)+I(X;Z/Y)-I(Y;Z/X)2.2.6數(shù)據(jù)處理中信息的變化假設(shè)在Y條件下X與Z相互獨(dú)立I(X;Z/Y)=0，而且I(X;Y/Z)和I(Y;Z/X)均非負(fù)量，則得出

I(X;Z)≤I(Y;Z)

I(X;Z)≤I(X;Y)第一級(jí)處理器第二級(jí)處理器X輸入Z輸出Y2.2.6數(shù)據(jù)處理中信息的變化I(X;Z)=I(X;Y)+I(X;Z/Y)-I(X;Y/Z)

=I(Y;Z)+I(X;Z/Y)-I(Y;Z/X)

結(jié)論:兩級(jí)串聯(lián)信道輸入與輸出消息之間的平均互信息量既不會(huì)超過(guò)第一級(jí)信道輸入與輸出消息之間的平均互信息量，也不會(huì)超過(guò)第二級(jí)信道輸入與輸出消息之間的平均互信息量。對(duì)信號(hào)、數(shù)據(jù)或消息進(jìn)行多級(jí)處理時(shí)，每處理一次，就有可能損失一部分信息,這就是所謂的信息不增原理。第一級(jí)處理器第二級(jí)處理器X輸入Z輸出Y2.2.6數(shù)據(jù)處理中信息的變化

名稱

符號(hào)

關(guān)

系

圖

示

無(wú)

條

件

熵

條

件

熵

條

件

熵

聯(lián)

合

熵

交

互

熵I(X;Y)是二元函數(shù):p(xi)的上凸函數(shù)，p(yj|xi)的下凸函數(shù)平均互信息的凸?fàn)钚栽赱a,b]上定義的上凸函數(shù)在[a,b]上定義的下凸函數(shù)熵的凸性證明：令則由于當(dāng)且僅當(dāng)

時(shí)等號(hào)成立令q1和q2是輸入集X上的任意兩個(gè)概率矢量，相應(yīng)的互信息為I1和I2，令0<θ<1，q=θq1＋(1-θ)q2

求證令只需證因此即可

當(dāng)信道一定時(shí)，平均互信息是信源先驗(yàn)概率的上凸函數(shù)令

和

是兩個(gè)任意條件概率分布，相應(yīng)的互信息為I1和I2，令0<θ<1，求證令只需證即可當(dāng)信源一定，平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù)定理2.1對(duì)于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函數(shù)這就是說(shuō)，對(duì)于一定的信道轉(zhuǎn)移概率分布p(y|x)，總可以找到某一個(gè)先驗(yàn)概率分布的信源X，使平均交互信息量I(X;Y)達(dá)到相應(yīng)的最大值Imax，這時(shí)稱這個(gè)信源為該信道的匹配信源。可以說(shuō)，不同的信道轉(zhuǎn)移概率對(duì)應(yīng)不同的Imax。信宿信道信源

通信系統(tǒng)的簡(jiǎn)化模型噪聲例：對(duì)于二元對(duì)稱信道如果信源分布X={p,1-p}，則qq10YX而：所以：當(dāng)信道固定時(shí)，q為一個(gè)固定常數(shù)，平均互信息是信源分布的上凸函數(shù)，最大只為1-H(q)。圖示曲線表明，對(duì)于固定信道，輸入符號(hào)X的概率分布不同時(shí)，在接收端平均每個(gè)符號(hào)所獲得的信息量就不同。當(dāng)輸入符號(hào)為等概率分布時(shí)，平均互信息量為最大值，接收每個(gè)符號(hào)所獲得的信息量最大。信道容量的理論基礎(chǔ)1-H(q)00.51pI(X;Y)定理2.2對(duì)于固定的信源，平均互信息I(X;Y)信道傳遞概率分布p(y|x)的下凸函數(shù)這就是說(shuō)，對(duì)于一個(gè)已知先驗(yàn)概率為p的離散信源，總可以找到某一個(gè)轉(zhuǎn)移概率分布的信道q，使平均互信息量達(dá)到相應(yīng)的最小值Imin。信宿信道信源

通信系統(tǒng)的簡(jiǎn)化模型噪聲例：對(duì)于二元對(duì)稱信道當(dāng)信源固定后，p為一個(gè)固定常數(shù)，改變信道特性q可獲得不同的平均互信息I(X;Y)。當(dāng)q=1/2時(shí)，I(X;Y)=0,即在信道輸出端獲得的信息最小，這意味著信源的信息全部損失在信道中，這是一種最差的信道，其噪聲最大。信息率失真理論的基礎(chǔ)。qq10YX00.51qH(p)I(X;Y)2.3多符號(hào)離散信源

2.3.1離散無(wú)記憶序列信源

1．定義

定義:

若信源輸出的消息是取值離散的平穩(wěn)隨機(jī)序列，并且序列中各隨機(jī)變量之間彼此統(tǒng)計(jì)獨(dú)立，則此信源稱為離散無(wú)記憶序列信源.

序列中符號(hào)組的長(zhǎng)度即為擴(kuò)展次數(shù)。2.3多符號(hào)離散信源所謂平穩(wěn)是指序列的統(tǒng)計(jì)性質(zhì)與時(shí)間的推移無(wú)關(guān)

離散無(wú)記憶序列信源的數(shù)學(xué)模型與基本離散信源的數(shù)學(xué)模型相同，用[x，P(x)]概率空間來(lái)描述，是離散無(wú)記憶信源X的N次擴(kuò)展信源。它的輸出消息由N個(gè)符號(hào)序列組成，前后符號(hào)的出現(xiàn)是彼此獨(dú)立的。它的數(shù)學(xué)模型是[x，P(x)]的N重概率空間[XN,P(aj)]。2．?dāng)?shù)學(xué)模型2.3多符號(hào)離散信源設(shè)信源輸出的隨機(jī)序列為

X=(X1X2…Xl…XL)

序列中的變量Xl∈{x1,x2,…

xn}離散無(wú)記憶信源離散無(wú)記憶:設(shè)離散無(wú)記憶信源的概率空間為則信源X的N次擴(kuò)展信源xN的N重概率空間為XN=(X1X2…….XN)，2.3多符號(hào)離散信源定義:

離散平穩(wěn)、無(wú)記憶信源X的N次擴(kuò)展信源的熵,即N個(gè)符號(hào)序列組成的序列信源熵為3．信源熵2.3多符號(hào)離散信源信源的序列熵平均符號(hào)熵

4．兩個(gè)結(jié)論（1）序列信源熵是離散信源X熵的N倍，即：

【例2.3-1】有一離散平穩(wěn)無(wú)記憶信源求:這個(gè)信源的二次擴(kuò)展信源的熵2.3多符號(hào)離散信源解:求二次擴(kuò)展信源。擴(kuò)展信源是長(zhǎng)度為2的消息序列。信源有3個(gè)不同的消息，每?jī)蓚€(gè)消息組成的不同排列共有32=9種，構(gòu)成二次擴(kuò)展信源的9個(gè)不同元素.(il，i2=1，2，3;i=1，2….9)X2信源的元素a1a2a3a4a5a6a7a8a9相應(yīng)的消息序列a1a1a1a2a1a3a2a1a2a2a2a3a3a1a3a2a3a3概率p(ai)

1/41/81/81/81/161/161/81/161/16二次擴(kuò)展信源

2.3多符號(hào)離散信源X2信源的元素a1a2a3a4a5a6a7a8a9相應(yīng)的消息序列a1a1a1a2a1a3a2a1a2a2a2a3a3a1a3a2a3a3概率p(ai)

1/41/81/81/81/161/161/81/161/16二次擴(kuò)展信源的熵為將表中的數(shù)據(jù)代入可得2.3多符號(hào)離散信源如果先計(jì)算信源X的熵，再利用式同樣可得2.3多符號(hào)離散信源

結(jié)論:

計(jì)算擴(kuò)展信源熵時(shí)，不必構(gòu)造新的信源，可直接從原信源X的熵導(dǎo)出，即一個(gè)離散平穩(wěn)無(wú)記憶信源X的N次擴(kuò)展信源的熵等于信源X熵的N倍。

注:

信源X的熵和序列信息熵的單位都是比特/符號(hào),但兩個(gè)單位中符號(hào)的意義不同,信源X熵是指某一個(gè)符號(hào)，而序列信息的熵是指符號(hào)序列。2.3多符號(hào)離散信源（2）當(dāng)信源無(wú)記憶、滿足平穩(wěn)特性時(shí)平均每個(gè)符號(hào)熵為:即平均每個(gè)符號(hào)熵等于單個(gè)符號(hào)熵。【例2.3-2】一個(gè)無(wú)記憶信源，隨機(jī)變量X∈{0；1}等概分布.求(1)以單個(gè)消息出現(xiàn)的信源熵;(2)兩個(gè)消息出現(xiàn)信源熵;(3)信源的平均符號(hào)熵.2.3多符號(hào)離散信源解:（1）以單個(gè)消息出現(xiàn)：H(X)=（2）兩個(gè)消息出現(xiàn)：(N=2的序列)

隨機(jī)序列或(比特/符號(hào))（3）信源的平均符號(hào)熵：2.3多符號(hào)離散信源2-5己知二維隨機(jī)變量XY的聯(lián)合概率分布p(xiyj)為:p(0,0)=p(1,1)=1/8，p(0,1)=p(1,0)=3/8，求H(X/Y)。上次課內(nèi)容：2.2.5互信息量2.2.6數(shù)據(jù)處理中信息的變化2.3多符號(hào)離散信源2.3.1離散無(wú)記憶序列信源1、互信息量

xi的后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)，為yj對(duì)xi的互信息量，也稱為交互信息量（簡(jiǎn)稱互信息），用I(xi；yj)表示，即：（i=1，2，……n；j=1，2，……m）2.2.5互信息量復(fù)習(xí)2、什么是平均互信息量

互信息量I(xi;yj)在聯(lián)合概率空間P(XY)上的統(tǒng)計(jì)平均值稱為平均互信息量。用I(X;Y)表示3、數(shù)據(jù)處理定理

當(dāng)消息經(jīng)過(guò)多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。復(fù)習(xí)

4、寫出離散平穩(wěn)、無(wú)記憶信源N次擴(kuò)展信源的熵即N個(gè)符號(hào)序列組成的序列信源熵為H(X)=

復(fù)習(xí)2.3.2離散有記憶平穩(wěn)信源2.3.3馬爾可夫信源本次課內(nèi)容2.3.2離散有記憶平穩(wěn)信源

發(fā)出的各個(gè)符號(hào)之間具有統(tǒng)計(jì)關(guān)聯(lián)關(guān)系信源。有記憶信源，必須引入條件熵的概念，且只能在某些特殊情況下才能得到一些有價(jià)值的結(jié)論。1．離散平穩(wěn)信源信息測(cè)度設(shè)二維平穩(wěn)信源X=X1X2。根據(jù)信源熵的定義可得=H(X1)+H(X2/X1)=H(X2)+H(X1/X2)H(X1)≥H(X1/X2)H(X2)≥H(X2/X1)2.3多符號(hào)離散信源①當(dāng)隨機(jī)變量Xl和X2相互獨(dú)立時(shí)有：H(X1X2)=H(X1)+H(X2)H(X2)=H(X2/X1)②當(dāng)信源輸出一N長(zhǎng)序列，則信源序列熵為：H(X)＝H(X1X2…XN)

＝H(X1)＋H(X2/X1)＋…＋H(XN/X1X2…XN－1)記為:H(X)=H(XN)=③平均每個(gè)符號(hào)的熵為若當(dāng)信源退化為無(wú)記憶時(shí)，有H(X)=NH(X)2.3多符號(hào)離散信源H(X1X2)=H(X1)+H(X2/X1)=H(X2)+H(X1/X2)2.離散平穩(wěn)信源信息熵的性質(zhì)當(dāng)H(X)＜∞時(shí)，下述性質(zhì)成立(1)條件熵H(XN/X1X2………XN-1)隨著N的增大是非遞增的,即H(XN/X1X2……XN-1)≤H(XN-1/X1X2......XN-2)≤.......H(X3/X1X2)≤H(X2/X1)(2)N給定時(shí)平均符號(hào)熵大于條件熵,即HN(X)≥H(XN/X1X2......XN-1)2.3多符號(hào)離散信源(3)平均符號(hào)熵HN(X)也是隨著N的增大而非遞增的,即HN(X)≤HN-1(X)……≤H3(X)≤H2(X)≤H1(X)(4)H∞存在時(shí),有稱為極限熵，又稱極限信息量。2.3多符號(hào)離散信源【例2.3-3】某一離散二維平穩(wěn)信源設(shè)發(fā)出的符號(hào)與前一個(gè)符號(hào)有關(guān),聯(lián)合概率p(aiaj)見表aiaja0a1a2a01/41/180a11/181/31/18a201/187/36求:信源序列熵和平均符號(hào)熵。2.3多符號(hào)離散信源2.3多符號(hào)離散信源解:由二重符號(hào)序列熵公式H(x1x2)=H(x1)+H(x2/x1)平均符號(hào)熵:H2(x)=1/2H(x1x2),由表中列相加1/4+1/18=(9+2)/36=11/36，

2×(1/18)+1/3=8/18，1/18+7/36=1/4由上表可求出條件概率P(a0/a0)=(1/4)/(11/36)=9/11P(a1/a0)=(1/18)/(11/36)=2/11余同P(a2/a0)=0aiaja0a1a2a01/41/180a11/181/31/18a201/187/36狀態(tài)轉(zhuǎn)移概率p(aj/ai)aiaja0a1a2a09/111/80a12/113/42/9a201/87/9上表列相加設(shè)信源符號(hào)獨(dú)立:信源X的信息熵為2.3多符號(hào)離散信源aiaja0a1a2a09/111/80a12/113/42/9a201/87/9若符號(hào)之間有依賴關(guān)系則=0.87(比特/符號(hào))2.3多符號(hào)離散信源二重符號(hào)序列熵H(x1x2)=H(x1)+H(x2/x1)=1.543+0.872=2.415(比特/符號(hào))

平均符號(hào)熵結(jié)果:H2(x)＜H(x)。原因:符號(hào)之間存在關(guān)聯(lián)性造成的.2.3多符號(hào)離散信源在很多信源的輸出序列中，符號(hào)之間的依賴關(guān)系是有限的，任何時(shí)刻信源符號(hào)發(fā)生的概率只與前邊已經(jīng)發(fā)出的若干個(gè)符號(hào)有關(guān)，而與更前面的符號(hào)無(wú)關(guān)。為了描述這類信源除了信源符號(hào)集外還要引入狀態(tài)集。這時(shí)，信源輸出消息符號(hào)還與信源所處的狀態(tài)有關(guān)。當(dāng)信源在(m+1)時(shí)刻發(fā)出符號(hào)時(shí)，我們可把sj看成另一種狀態(tài)：m時(shí)刻的狀態(tài)m+1時(shí)刻的狀態(tài)所謂“狀態(tài)”，指與當(dāng)前輸出符號(hào)有關(guān)的前m個(gè)隨機(jī)變量序列(X1X2…Xm)的某一具體消息，用si表示，把這個(gè)具體消息看作是某個(gè)狀態(tài)。若一個(gè)信源滿足下面兩個(gè)條件，則稱為馬爾可夫信源：（1）某一時(shí)刻信源輸出的符號(hào)的概率只與當(dāng)前所處的狀態(tài)有關(guān)，而與以前的狀態(tài)無(wú)關(guān)；（2）信源的當(dāng)前狀態(tài)由當(dāng)前輸出符號(hào)和前一時(shí)刻信源狀態(tài)唯一確定?！?X1,X2,…,Xm-1,Xm,Xm+1,…sisj某一時(shí)刻信源輸出的符號(hào)的概率只與當(dāng)前所處的狀態(tài)有關(guān)，而與以前的狀態(tài)無(wú)關(guān)?；蛘哒f(shuō)只與此前已輸出的若干個(gè)符號(hào)有關(guān)。即把此前已輸出的符號(hào)視為狀態(tài)信源的當(dāng)前狀態(tài)由當(dāng)前輸出符號(hào)和前一時(shí)刻信源狀態(tài)唯一確定。該條件表明，若信源處于某一狀態(tài)，當(dāng)它發(fā)出一個(gè)符號(hào)后，所處的狀態(tài)就變了，一定轉(zhuǎn)移到另一狀態(tài)。狀態(tài)的轉(zhuǎn)移依賴于發(fā)出的信源符號(hào)，因此任何時(shí)刻信源處在什么狀態(tài)完全由前一時(shí)刻的狀態(tài)和當(dāng)前發(fā)出的符號(hào)決定。將信源輸出符號(hào)的不確定性問題變換為討論信源狀態(tài)轉(zhuǎn)換問題。狀態(tài)之間的一步轉(zhuǎn)移概率為:p(sj|si)馬爾可夫鏈的條件：(1)某一時(shí)刻信源輸出的符號(hào)只與此刻信源所處的狀態(tài)有關(guān)，而與以前的狀態(tài)和輸出的符號(hào)無(wú)關(guān)；(2)信源某L時(shí)刻所處的狀態(tài)只由當(dāng)前輸出的符號(hào)和前一時(shí)刻信源的狀態(tài)惟一決定。則此信源輸出的符號(hào)和信源所處的狀態(tài)滿足馬爾可夫信源。若上述兩條件與時(shí)刻L無(wú)關(guān)，則具有時(shí)齊性(齊次性)，稱為時(shí)齊馬爾可夫信源。2.3.3馬爾可夫信源

m階馬爾可夫信源符號(hào)集共有n個(gè)符號(hào)，則信源共有個(gè)不同狀態(tài)。信源在某一時(shí)刻時(shí)，必然處于某一種狀態(tài)，等到下一個(gè)符號(hào)輸出時(shí)，轉(zhuǎn)移到另外一個(gè)狀態(tài)。從而得到馬爾可夫信源的狀態(tài)空間。其狀態(tài)轉(zhuǎn)移圖如下頁(yè)。在狀態(tài)轉(zhuǎn)換圖中，把信源的每一種狀態(tài)用圓圈表示，用有向箭頭表示信源發(fā)出某一符號(hào)后由一種狀態(tài)到另一狀態(tài)的轉(zhuǎn)移。例：設(shè)有一二進(jìn)制一階馬爾可夫信源，信源符號(hào)