信息論理論基礎(chǔ)

信息論理論基礎(chǔ)1第一頁，共一百一十八頁，編輯于2023年，星期六第2章基本信息論2.1信息度量2.2離散信源的熵2.3二元聯(lián)合信源的共熵與條件熵2.4連續(xù)信源的熵2.5熵速率和信道容量2.6離散有噪聲信道的熵速率和信道容量2.7連續(xù)有噪聲信道的熵速率和信道容量2.8使信源與信道匹配的編碼2023/6/162第二頁，共一百一十八頁，編輯于2023年，星期六2.1信息度量2023/6/163第三頁，共一百一十八頁，編輯于2023年，星期六2.1.1信息度量的必要性通信的目的是為了傳遞信息。單位時間內(nèi)信道所傳遞的信息量稱為傳信率，它是衡量通信系統(tǒng)性能的重要指標(biāo)之一。為了得出通信系統(tǒng)的傳信率，必須對消息或信源所含有的信息有一個數(shù)量上的度量方法這就是我們研究信息度量的目的。

2023/6/164第四頁，共一百一十八頁，編輯于2023年，星期六2.1.2信源的不確定性1.研究不確定性的目的【例】A.明天太陽將從東方升起。

B.明天小張會給小王打電話。

C.明天上午小張會給小王打電話。結(jié)論：(1)信源發(fā)出的消息狀態(tài)應(yīng)該存在某種程度的不確定性；(2)信息的多少與信源的不確定性有關(guān)。2023/6/165第五頁，共一百一十八頁，編輯于2023年，星期六2.不確定性的度量——不確定程度

不確定程度可以直觀理解為猜測某些隨機(jī)事件的難易程度?！纠坎即杏?00個小球，大小、重量、手感完全相同，但顏色不同。從布袋中任取一球，猜測其顏色。

A.99個紅球，1個白球；

B.50個紅球，50個白球；

C.25個紅球，25個白球，25個黑球，25個黃球。2023/6/166第六頁，共一百一十八頁，編輯于2023年，星期六(1)不確定程度與信源概率空間有關(guān)；(2)若狀態(tài)數(shù)相同，等概分布時不確定程度最大；(3)等概分布時，狀態(tài)數(shù)越多則不確定程度越大。2023/6/167第七頁，共一百一十八頁，編輯于2023年，星期六3.不確定程度基本關(guān)系式——Hartley公式若信源X等概分布，則其不確定程度H(x)與概率P滿足：P越大，則H(x)越小；當(dāng)P=1時，則H(x)=0；當(dāng)P=0時，則H(x)=∞；信源不確定程度應(yīng)具有可加性。若X與X’相互獨(dú)立，則H(x,x’)=H(x)+H(x’)

對數(shù)可以取2、e、10為底，相應(yīng)不確定程度的單位分別為比特(bit)、奈特(nat)

、哈特萊(Hartley)

。2023/6/168第八頁，共一百一十八頁，編輯于2023年，星期六不等概情況：消息xi的不確定程度2023/6/169第九頁，共一百一十八頁，編輯于2023年，星期六2.1.3信息量1.概率基本關(guān)系式(1)(2)(3)2023/6/1610第十頁，共一百一十八頁，編輯于2023年，星期六(4)(5)當(dāng)X和Y相互獨(dú)立時，(6)2023/6/1611第十一頁，共一百一十八頁，編輯于2023年，星期六2.信息量的定義：

收信者收到一個消息后，所獲得的信息量等于不確定度的減少量。I=不確定度的減少量2023/6/1612第十二頁，共一百一十八頁，編輯于2023年，星期六3.自信息量在沒有噪聲的情況下，信源發(fā)出xi

接收者就會收到xi。這時接收者收到的信息量就等于xi本身含有的信息量，稱為信源狀態(tài)xi的自信息量，記為I(xi)。收到xi前對xi的不確定程度：H(xi)收到xi后對xi的不確定程度：0自信息量2023/6/1613第十三頁，共一百一十八頁，編輯于2023年，星期六【例】一次擲兩個色子，作為一個離散信源，求下列消息的自信息量。

a.僅有一個為3；b.至少有一個為4；c.兩個之和為偶數(shù)。

解：p(a)=10/36=5/18

p(b)=11/36

p(c)=18/36=1/2I(a)=log(18/5)=1.848(bit)

I(b)=log(36/11)=1.7105(bit)

I(c)=log2=1(bit)2023/6/1614第十四頁，共一百一十八頁，編輯于2023年，星期六4.互信息量：

在有噪聲信道下，假設(shè)信源發(fā)出的狀態(tài)為xi，接收者收到的狀態(tài)為yj。接收者收到y(tǒng)j后，從yj中獲取到關(guān)于xi的信息量，就是信源發(fā)出xi后接收者收到的信息量，稱為互信息量，記為I(xi,yj)。2023/6/1615第十五頁，共一百一十八頁，編輯于2023年，星期六收到y(tǒng)j前對xi的不確定程度：收到y(tǒng)j后對xi的不確定程度：收到y(tǒng)j后對xi的不確定程度：2023/6/1616第十六頁，共一百一十八頁，編輯于2023年，星期六【例1】某電報系統(tǒng)發(fā)送傳號M和空號S的概率相等，即P(M)=P(S)=1/2。由于信道中噪聲的影響，使1/6的傳號收成空號，而半數(shù)的空號收成傳號。問收信者收到一個符號后所獲得的平均信息量是多少？

解：1.計算先驗概率、聯(lián)合概率和后驗概率發(fā)送符號：接收符號：

x1：發(fā)M，x2：發(fā)S，y1：收M，y2：收S

p(x1)=1/2，p(x2)=1/2

SSSSMMMMMMMMMSSSS

S

SMMMMMp(x1y1)=5/12，p(x1y2)=1/12，p(x2y1)=1/4p(x2

y2)=1/4p(x1|y1)=5/8，p(x1|y2)=1/4，p(x2|y1)=3/8，p(x2|

y2)=3/42023/6/1617第十七頁，共一百一十八頁，編輯于2023年，星期六2.計算收到一個消息所獲得的信息量2023/6/1618第十八頁，共一百一十八頁，編輯于2023年，星期六3.計算收到一個消息所獲得的平均信息量2023/6/1619第十九頁，共一百一十八頁，編輯于2023年，星期六2.2離散信源的熵2023/6/1620第二十頁，共一百一十八頁，編輯于2023年，星期六1.離散信源離散信源是指只能輸出有限數(shù)量消息(狀態(tài))的信源。2.離散信源的熵信源輸出一個消息(狀態(tài))所提供的平均信息量或信源的不肯定程度稱為信源熵。單位：bit/符號(消息)、nat/符號(消息)、Hartley/符號(消息)2023/6/1621第二十一頁，共一百一十八頁，編輯于2023年，星期六【例1】計算只能輸出“1”和“0”兩個消息(狀態(tài))的簡單二元信源的熵。解：假設(shè)p(1)=p,p(0)=1-p(0≤p≤1)(1)當(dāng)p=1/2時，H(x)=1bit/符號(2)當(dāng)p=0或p=1時，H(x)=0H(x)01/21p12023/6/1622第二十二頁，共一百一十八頁，編輯于2023年，星期六3.熵函數(shù)的性質(zhì)(1)非負(fù)性H(x)≥0

由于0≤p(xi)≤1

所以logp(xi)≤0

因此有H(x)≥0

(2)對稱性

(3)確定性2023/6/1623第二十三頁，共一百一十八頁，編輯于2023年，星期六(4)極值性

且N越大，Hmax(x)越大——離散信源的最大熵定理證明：作輔助函數(shù)2023/6/1624第二十四頁，共一百一十八頁，編輯于2023年，星期六令：可得代入到約束方程可得因此2023/6/1625第二十五頁，共一百一十八頁，編輯于2023年，星期六2.3二元聯(lián)合信源的共熵與條件熵2023/6/1626第二十六頁，共一百一十八頁，編輯于2023年，星期六2.3.1二元聯(lián)合信源的共熵1.定義二元聯(lián)合信源的共熵是指二元聯(lián)合信源(X,Y)輸出一個組合消息狀態(tài)所發(fā)出的平均信息量，也稱為聯(lián)合熵，記作H(x,y)。2.表達(dá)式

(xi,yj)的信息量2023/6/1627第二十七頁，共一百一十八頁，編輯于2023年，星期六2.3.2條件熵1.定義

X的狀態(tài)已知時，Y輸出一個狀態(tài)所發(fā)出的平均信息量稱為在X給定條件下，Y的條件熵，記作H(y|x)。在Y

給定條件下，X的條件熵，記作H(x|y)。2.表達(dá)式

已知xi的條件下，yj的信息量2023/6/1628第二十八頁，共一百一十八頁，編輯于2023年，星期六3.H(x,y)=H(x)+H(y|x)=H(y)+H(x|y)證明：將代入上式得由于因此2023/6/1629第二十九頁，共一百一十八頁，編輯于2023年，星期六2.3.3H(x,y)≤H(x)+H(y)的證明當(dāng)X，Y相互獨(dú)立時取“=”，當(dāng)X，Y相關(guān)時取“<”證明：

由Lagrange中值定理可知若f(x)在[Z,Z+h]上連續(xù)，在(Z,Z+h)上可微，則在(Z,Z+h)上至少有一點C，使得f(Z+h)-f(Z)=hf’(C)C=Z+θh,0<θ<1f’(C)=f(Z+h)-f(Z)h2023/6/1630第三十頁，共一百一十八頁，編輯于2023年，星期六令則假設(shè)將(2)(3)(4)代入(1)中得2023/6/1631第三十一頁，共一百一十八頁，編輯于2023年，星期六2023/6/1632第三十二頁，共一百一十八頁，編輯于2023年，星期六2023/6/1633第三十三頁，共一百一十八頁，編輯于2023年，星期六1)X，Y相互獨(dú)立對于所有i，j，有p(xi,yj)=p(xi)p(yj)因此aij=0

X，Y相互獨(dú)立時,H(x,y)=H(x)+H(y)2)X，Y相關(guān)一定存在i，j，使p(xi,yj)≠p(xi)p(yj)，即aij≠0i)aij>0分子>0，分母>0ii)aij<0分子>0，分母>0

p(xi)p(yj)+θ

aij>p(xi)p(yj)+

aij=p(xi,yj)≥0因此X，Y相關(guān)時,H(x,y)<H(x)+H(y)2023/6/1634第三十四頁，共一百一十八頁，編輯于2023年，星期六推論1

由于H(x,y)≤H(x)+H(y)H(x,y)=H(x)+H(y|x)

所以H(x)+H(y|x)≤H(x)+H(y)因此同理推論2

H(y|x)≤H(y)H(x|y)≤H(x)H(x,y,…,z)≤H(x)+H(y)+…+H(z)2023/6/1635第三十五頁，共一百一十八頁，編輯于2023年，星期六【例1】有兩個同時輸出消息的信源X和Y，X能輸出A，B，C三個消息，Y能輸出D，E，F(xiàn)，G四個消息。P(x)和P(y|x)的具體數(shù)值如表所示。求H(x)，H(y)，H(x,y)和H(y|x)。解：令

x1:A

x2:B

x3:C

y1:D

y2:E

y3:Fy4:GXABCP(x)1/21/31/6P(y|x)DEFG1/41/41/41/43/101/51/53/101/61/21/61/62023/6/1636第三十六頁，共一百一十八頁，編輯于2023年，星期六

(1)

由可得

=3.417bit/對符號Xx1x2x3p(xi)p(yj|xi)y1y2y3y4p(xi,yj)x1x2x3y1y2y3y41/21/31/61/41/41/41/43/101/53/101/51/61/61/61/21/81/81/81/81/101/151/101/151/361/121/361/362023/6/1637第三十七頁，共一百一十八頁，編輯于2023年，星期六(2)=1.461bit/符號(3)

由可得

=1.997bit/符號p(xi,yj)x1x2x3y1y2y3y41/81/81/81/81/101/151/101/151/361/121/361/36p(y1)=91/360,p(y2)=99/360,p(y3)=79/360,p(y4)=91/3602023/6/1638第三十八頁，共一百一十八頁，編輯于2023年，星期六(4)=1.956bit/符號

或

由H(x,y)=H(x)+H(y|x)得

H(y|x)

=H(x,y)-H(x)=3.417-1.461=1.956bit/符號p(xi,yj)x1x2x3y1y2y3y41/81/81/81/81/101/151/101/151/361/121/361/36p(yj|xi)x1x2x3y1y2y3y41/41/41/41/43/101/53/101/51/61/61/61/22023/6/1639第三十九頁，共一百一十八頁，編輯于2023年，星期六離散平穩(wěn)有記憶信源的熵—極限熵1.離散平穩(wěn)有記憶信源所謂離散平穩(wěn)有記憶信源就是一種相關(guān)信源，信源發(fā)出的前后符號間具有相關(guān)性，并且信源的統(tǒng)計特性與時間無關(guān)。有記憶是指信源在某一個時刻的輸出狀態(tài)的統(tǒng)計特性與該信源以前的輸出狀態(tài)有關(guān)。假設(shè)信源發(fā)出的第一個符號記作X1，第二個符號記作X2，…，第N個符號記作XN，…若XN的概率分布與它前面的m個符號XN-1，XN-2，…，XN-m，有關(guān)，而與更前面的符號XN--m1，XN-m-2，…無關(guān)，則稱該離散信源的記憶長度為m

。平穩(wěn)是指信源的統(tǒng)計特性與時間無關(guān)。2023/6/1640第四十頁，共一百一十八頁，編輯于2023年，星期六2.極限熵的概念假設(shè)離散平穩(wěn)有記憶信源X發(fā)出了N個符號：X1，X2，…，XN。則可以將這N個符號看作是一個N維聯(lián)合信源。N個符號提供的總的信息量為：

H(X1，X2，…，XN)平均每個符號提供的平均信息量為

H(X1，X2，…，XN)/N對于實際信源來說，是一種無限長的序列，符號間相關(guān)性可以延伸到無窮。因此，離散平穩(wěn)有記憶信源輸出一個符號提供的平均信息量為：這個熵稱為離散平穩(wěn)有記憶信源的極限熵。2023/6/1641第四十一頁，共一百一十八頁，編輯于2023年，星期六3.m階馬爾柯夫信源的極限熵如果一個離散平穩(wěn)有記憶信源在任意時刻輸出符號的概率僅依賴于它前面的m個時刻的輸出符號，而與更前面的符號無關(guān)，則該信源稱為記憶長度為m的離散平穩(wěn)有記憶信源，也稱為m階馬爾柯夫信源。馬爾柯夫信源是一種特殊的、比較接近實際的離散平穩(wěn)有記憶信源。2023/6/1642第四十二頁，共一百一十八頁，編輯于2023年，星期六2023/6/1643第四十三頁，共一百一十八頁，編輯于2023年，星期六對于m階馬爾柯夫信源Hm+1——m階條件熵2023/6/1644第四十四頁，共一百一十八頁，編輯于2023年，星期六幾點說明：對于實際的離散非平穩(wěn)有記憶信源，其極限熵是不存在的；可以假設(shè)其為記憶長度為無窮大的離散平穩(wěn)有記憶信源，極限熵H∞存在，但求解困難；進(jìn)一步假設(shè)其為m階Markov信源，用其極限熵Hm+1近似；再進(jìn)一步假設(shè)其為一階Markov信源，用其極限熵H1+1近似；最簡化的信源是離散無記憶信源，其熵為H(x)；最后可以假定為等概的離散無記憶信源，其熵為logN。

H∞≤Hm+1≤H1+1≤H(x)≤logN2023/6/1645第四十五頁，共一百一十八頁，編輯于2023年，星期六【例2】已知離散信源的概率分布為

(1)當(dāng)符號間無相關(guān)性時，求該信源的熵。

解：bit/符號

X012P(X)11/364/91/42023/6/1646第四十六頁，共一百一十八頁，編輯于2023年，星期六

(2)若信源為有記憶信源，且記憶長度為1，求該信源的熵。

解：由得P(Xi+1|Xi)Xi

012Xi+1012

P(Xi，Xi+1)Xi

012Xi+1012

9/112/1101/83/41/802/97/91/41/1801/181/31/1801/187/362023/6/1647第四十七頁，共一百一十八頁，編輯于2023年，星期六=0.890bit/符號2023/6/1648第四十八頁，共一百一十八頁，編輯于2023年，星期六2.3.4消息的剩余度由于信源內(nèi)部的消息狀態(tài)的相關(guān)性和分布性，使其熵減少的現(xiàn)象稱為剩余。剩余產(chǎn)生的原因信源的不等概分布信源前后符號間具有相關(guān)性剩余的程度相對熵剩余度內(nèi)熵=H(x)/Hmax(x)=Hmax(x)-H(x)2023/6/1649第四十九頁，共一百一十八頁，編輯于2023年，星期六2.4連續(xù)信源的熵2023/6/1650第五十頁，共一百一十八頁，編輯于2023年，星期六2.4.1連續(xù)信源熵的定義

所謂連續(xù)信源就是指它們輸出的量是連續(xù)的。這種信源的輸出量，在任一時刻，在某個范圍內(nèi)可以取無窮多個數(shù)值。

1.連續(xù)信源熵的表達(dá)式可以利用離散信源熵的概念來定義連續(xù)信源熵。2023/6/1651第五十一頁，共一百一十八頁，編輯于2023年，星期六離散信源X’的概率分布為：當(dāng)dx→0時，H絕→H(x’)2023/6/1652第五十二頁，共一百一十八頁，編輯于2023年，星期六定義連續(xù)信源的熵為：

2023/6/1653第五十三頁，共一百一十八頁，編輯于2023年，星期六幾點說明：連續(xù)信源有無窮多個狀態(tài)，因此其絕對熵必然為無窮大。連續(xù)信源熵為一個相對熵。連續(xù)信源熵不具有非負(fù)性，可以為負(fù)值。研究信息傳輸問題時，分析信道的輸入和輸出的交互信息量時是求兩個熵的差，當(dāng)采用相同的量化過程時，兩個無窮大量將被抵消，不影響分析。2023/6/1654第五十四頁，共一百一十八頁，編輯于2023年，星期六2.幾種典型連續(xù)信源的熵⑴均勻分布的連續(xù)信源熵設(shè)一維連續(xù)隨機(jī)變量X的取值區(qū)間是[a,b]，其概率密度函數(shù)為2023/6/1655第五十五頁，共一百一十八頁，編輯于2023年，星期六(2)高斯分布的連續(xù)信源熵其中，m是隨機(jī)變量X的均值σ2是隨機(jī)變量X的方差2023/6/1656第五十六頁，共一百一十八頁，編輯于2023年，星期六2023/6/1657第五十七頁，共一百一十八頁，編輯于2023年，星期六2.4.2連續(xù)信源的最大熵變分法求函數(shù)p=p(x)使g最大構(gòu)造令2023/6/1658第五十八頁，共一百一十八頁，編輯于2023年，星期六⑴輸出幅度受限（瞬時功率受限）時的最大熵2023/6/1659第五十九頁，共一百一十八頁，編輯于2023年，星期六結(jié)論：對于瞬時功率受限的連續(xù)信源，在假定信源狀態(tài)為獨(dú)立時，當(dāng)信源為均勻分布時，具有最大熵。其最大熵為：2023/6/1660第六十頁，共一百一十八頁，編輯于2023年，星期六(2)輸出平均功率受限時的最大熵2023/6/1661第六十一頁，共一百一十八頁，編輯于2023年，星期六2023/6/1662第六十二頁，共一百一十八頁，編輯于2023年，星期六結(jié)論：（連續(xù)信源的最大熵定理）對于輸出平均功率受限的連續(xù)信源，在假設(shè)狀態(tài)相互獨(dú)立時，當(dāng)其概率分布為均值為0的高斯分布時，具有最大熵。其最大熵值隨功率N的增加而增加。2023/6/1663第六十三頁，共一百一十八頁，編輯于2023年，星期六2.4.3熵功率對于平均功率受限的連續(xù)信源，當(dāng)信源為高斯分布時有最大熵。當(dāng)非高斯連續(xù)信源與高斯信源具有相同平均功率時，那么非高斯信源的熵一定小于高斯信源的熵。當(dāng)非高斯連續(xù)信源與高斯信源具有相同熵時，那么非高斯信源的平均功率一定大于高斯信源的功率。1.定義若平均功率為N的非高斯信源與平均功率為的高斯信源的熵相同，則稱為該非高斯信源的熵功率。2023/6/1664第六十四頁，共一百一十八頁，編輯于2023年，星期六高斯信源的熵為H，功率為非高斯信源的熵為H，功率為N因此結(jié)論：熵功率永遠(yuǎn)小于信源的真正功率。2023/6/1665第六十五頁，共一百一十八頁，編輯于2023年，星期六2.表達(dá)式

(1)若非高斯信源的熵為H（單位為nat），熵功率功率為則因此(2)若H的單位為bit，則(3)若H的單位為Hartley，則2023/6/1666第六十六頁，共一百一十八頁，編輯于2023年，星期六2.4.4連續(xù)信源的共熵與條件熵離散信源的共熵和條件熵同離散信源相似，連續(xù)信源也可定義其共熵和條件熵

2023/6/1667第六十七頁，共一百一十八頁，編輯于2023年，星期六關(guān)于離散信源獨(dú)立熵、共熵和條件熵的幾個關(guān)系式，對于連續(xù)信源仍然成立。H(x,y)=H(x)+H(y|x)=H(y)+H(x|y)H(x,y)≤H(x)+H(y)H(y|x)≤H(y)H(x|y)≤H(x)2023/6/1668第六十八頁，共一百一十八頁，編輯于2023年，星期六2.5熵速率和信道容量2023/6/1669第六十九頁，共一百一十八頁，編輯于2023年，星期六2.5.1信源熵速率1.定義：信源在單位時間內(nèi)輸出的平均信息量稱為信源的熵速率，也稱為信息速率。2.離散信源的熵速率若離散信源的熵為H(x)，符號速率為n，則其熵速率為H’(x)=nH(x)3.連續(xù)信源的熵速率假設(shè)連續(xù)信源的熵為H(x)，帶寬為W。由采樣定理可知，當(dāng)采樣頻率fs≥2W時，可由各采樣值無失真地恢復(fù)出原始信號，因此H’(x)=2WH(x)2023/6/1670第七十頁，共一百一十八頁，編輯于2023年，星期六2.5.2信道容量1.定義：所謂信道容量是指信道對信源一切可能的概率分布而言，能夠傳送的最大熵速率，即最大接收熵速率。無噪聲信道：C=H’max(x)有噪聲信道：C<H’max(x)2.離散無噪聲信道的信道容量

假設(shè)離散信道每秒傳送n個等寬度，有K種狀態(tài)的符號，則C=H’max(x)=nlogK3.連續(xù)無噪聲信道的信道容量

假設(shè)帶寬為W，信號平均功率為N，則2023/6/1671第七十一頁，共一百一十八頁，編輯于2023年，星期六2.6離散有噪聲信道的熵速率和信道容量2023/6/1672第七十二頁，共一百一十八頁，編輯于2023年，星期六2.6.1接收熵速率

1.平均互信息量（接收熵）在有噪聲信道下，若信源發(fā)出的消息為xi，接收者收到的消息為yj，則接收者收到y(tǒng)j后，從yj中獲取到關(guān)于xi的信息量為接收者收到一個消息所獲得的的平均信息量為稱為Y關(guān)于X的平均互信息量，即接收熵。2023/6/1673第七十三頁，共一百一十八頁，編輯于2023年，星期六H(x|y)：由于噪聲和干擾的作用，在傳輸過程中損失的信息量，表示收到Y(jié)后，對X仍然存在的疑惑性或不確定性，也稱為疑義度、可疑度或含糊度。2023/6/1674第七十四頁，共一百一十八頁，編輯于2023年，星期六由于H(x,y)=H(x)+H(y|x)=H(y)+H(x|y)(2)因此H(x)-H(x|y)=H(y)-H(y|x)(3)H(x)=H(x,y)-H(y|x)(4)H(x|y)=H(x,y)-H(y)(5)(3)代入(1)得:I(x,y)=H(y)-H(y|x)

(4)代入(1)得:I(x,y)=H(x,y)-H(y|x)-H(x|y)(5)代入(1)得:I(x,y)=H(x)+H(y)-H(x,y)H(y|x)：表示信道輸入信號（即信源熵）由于干擾作用在輸出端表現(xiàn)的散布程度，通常稱為散布度。2023/6/1675第七十五頁，共一百一十八頁，編輯于2023年，星期六平均互信息量、信源熵、信宿熵、聯(lián)合熵、疑義度和散布度之間的關(guān)系2023/6/1676第七十六頁，共一百一十八頁，編輯于2023年，星期六平均互信息量的性質(zhì)非負(fù)性I(x,y)≥0，當(dāng)X，Y相互獨(dú)立時取“=”對稱性I(x,y)=I(y,x)極值性I(x,y)≤H(x)2.接收熵速率R=n×I(x,y)R=H’(x)-H’(x|y)R=H’(y)-H’(y|x)H’(x|y)=n×H(x|y)——疑義度熵速率H’(y|x)=n×H(y|x)——散布度熵速率2023/6/1677第七十七頁，共一百一十八頁，編輯于2023年，星期六

【例1】一個信源以相等的概率及1000碼元/秒的速率把“0”和“1”碼送入有噪聲信道。由于信道中噪聲的影響，發(fā)送為“0”接收為“1”的概率是1/16，而發(fā)送為“1”接收為“0”的概率是1/32，求收信者接收的熵速率。解：x1：發(fā)送“0”x2：發(fā)送“1”

y1：接收“0”y2：接收“1”p(x1)=p(x2)=1/2p(yj|xi)y1y2x115/161/16

x21/3231/322023/6/1678第七十八頁，共一百一十八頁，編輯于2023年，星期六由得由得p(y1)=31/64,p(y2)=33/64

bit/符號p(xi,yj)y1y2x115/321/32

x21/6431/642023/6/1679第七十九頁，共一百一十八頁，編輯于2023年，星期六

bit/符號

bit/符號

R=nI(x,y)=1000×0.730=730bit/s2023/6/1680第八十頁，共一百一十八頁，編輯于2023年，星期六2.6.3信道容量信道容量是在給定信道條件下（即一定的信道轉(zhuǎn)移概率），對于所有可能的信源先驗概率的最大接收熵速率。

信道容量C與信源無關(guān)，只是信道轉(zhuǎn)移概率的函數(shù)，不同的信道就有不同的信道容量。它反映了信道本身的傳信能力。2023/6/1681第八十一頁，共一百一十八頁，編輯于2023年，星期六【例】已知某離散信道的符號速率為1000符號/秒，信道轉(zhuǎn)移概率矩陣為

求該信道的信道容量以及接收熵速率達(dá)到信道容量時信源的概率分布。2023/6/1682第八十二頁，共一百一十八頁，編輯于2023年，星期六解：

=1.459bit/符號2023/6/1683第八十三頁，共一百一十八頁，編輯于2023年，星期六當(dāng)Y為等概分布時，H(y)的值最大

bit/符號因此

bit/符號由于因此當(dāng)X的概率分布滿足以下關(guān)系式時，接收熵速率達(dá)到最大值，即信道容量。2023/6/1684第八十四頁，共一百一十八頁，編輯于2023年，星期六當(dāng)X為等概分布時，接收熵速率最大，其最大值即信道容量為

bit/s2023/6/1685第八十五頁，共一百一十八頁，編輯于2023年，星期六結(jié)論：對稱信道（信道轉(zhuǎn)移矩陣中的每一行都是由同一組元素的不同組合構(gòu)成的）的信道容量為2023/6/1686第八十六頁，共一百一十八頁，編輯于2023年，星期六2.7連續(xù)有噪聲信道的熵速率和信道容量2023/6/1687第八十七頁，共一百一十八頁，編輯于2023年，星期六2.7.1接收熵速率1.平均互信息量（接收熵）離散信道連續(xù)信道I(x,y)=H(x)-H(x|y)I(x,y)=H(y)-H(y|x)I(x,y)=H(x,y)-H(y|x)-H(x|y)I(x,y)=H(x)+H(y)-H(x,y)2023/6/1688第八十八頁，共一百一十八頁，編輯于2023年，星期六加性高斯白噪聲信道X與n獨(dú)立，對于給定的xi

，p(y/x)=p(n/x)=p(n)2023/6/1689第八十九頁，共一百一十八頁，編輯于2023年，星期六因此H(y/x)=H(n/x)=H(n)I(x,y)=H(y)-H(n)2.接收熵速率R=H’(x)-H’(x|y)R=H’(y)-H’(n)2023/6/1690第九十頁，共一百一十八頁，編輯于2023年，星期六2.7.2信道容量假設(shè)信道特性如下：信道干擾形式為加性隨機(jī)噪聲，其功率譜均勻，幅度概率分布為高斯分布，即所謂加性高斯白噪聲（AWGN），平均功率為N。信道為矩形帶寬，其寬度為W。信源平均功率受限，信號功率為P。推導(dǎo)：C=maxR=max[H’(y)-H’(n)]=H’max(y)-H’(n)噪聲為加性高斯白噪聲，因此H’(n)=Wlog(2πeN)2023/6/1691第九十一頁，共一百一十八頁，編輯于2023年，星期六Y平均功率為(P+N)，因此當(dāng)Y服從均值為0的高斯分布時

H’max(y)=Wlog[2πe(P+N)]由于Y和n均服從均值為0的高斯分布，因此X=Y-n也服從均值為0的高斯分布。山農(nóng)公式2023/6/1692第九十二頁，共一百一十八頁，編輯于2023年，星期六結(jié)論：對于AWGN信道，其信道容量C與信號帶寬W和信號噪聲功率比P/N有關(guān)，W或P/N愈大，則C愈大。平均功率受限的信道，當(dāng)其輸入信號為高斯分布時，該信道的傳信率R可以達(dá)到傳信率理論極限值——信道容量。平均功率受限的信道，高斯白噪聲的危害最大。這是因為高斯白噪聲的熵最大。保持總的信息量不變，T、W、P/N之間的互換關(guān)系。當(dāng)信噪比P/N一定時：W↑→T↓，T↑→W↓當(dāng)傳輸時間T一定時：W↑→P/N↓，W↓→P/N↑當(dāng)帶寬W一定時：T↑→P/N↓，T↓→P/N↑2023/6/1693第九十三頁，共一百一十八頁，編輯于2023年，星期六對于AWGN信道，當(dāng)帶寬增大時信道容量會增加，但是信道容量會隨著帶寬的增加而無限度增加嗎？由噪聲功率N=N0W令2023/6/1694第九十四頁，共一百一十八頁，編輯于2023年，星期六2023/6/1695第九十五頁，共一百一十八頁，編輯于2023年，星期六2.8使信源與信道匹配的編碼2023/6/1696第九十六頁，共一百一十八頁，編輯于2023年，星期六2.8.1編碼定理1.無噪聲離散信道的編碼定理（有效性編碼定理，信源編碼定理）假設(shè)信源熵為H（bit/符號），無噪聲離散信道的容量為C（bit/s），則總可以找到一種編碼方法對信源的輸出進(jìn)行編碼，使得在信道上傳輸?shù)钠骄俾蕿槊棵耄–/H-ε）個符號。其中ε為任意小的正數(shù)。但要使平均速率大于C/H是不可能的。2023/6/1697第九十七頁，共一百一十八頁，編輯于2023年，星期六2.有噪聲離散信道的編碼定理（可靠性編碼定理，信道編碼定理）假設(shè)有噪聲離散信道的信道容量為C

，離散信源的熵速率為R。如果R

≤C

，則存在一種編碼方法，使信源的輸出能以任意小的錯誤概率在信道上傳輸。如果R

>C

，就不可能有象R

≤C那樣的編碼方法。2023/6/1698第九十八頁，共一百一十八頁，編輯于2023年，星期六2.8.2信源最佳化

——傳輸效率無噪聲信道提高，就要使H最大化符號獨(dú)立化，解除符號間的相關(guān)性各符號概率均勻化——信源最佳化2023/6/1699第九十九頁，共一百一十八頁，編輯于2023年，星期六1.弱記憶信源（弱相關(guān)信源）如果信源的符號序列中，只有相鄰的少數(shù)幾個符號之間有統(tǒng)計相關(guān)性，而相距較遠(yuǎn)的符號之間的統(tǒng)計相關(guān)性可以忽略不計，這種信源稱為弱記憶信源或弱相關(guān)信源。對于這種信源，我們可以把相關(guān)性較強(qiáng)的幾個相鄰符號看作一個大符號。于是這些大符號之間的相關(guān)性就小的多了。這種方法通常稱為延長法或合并法。2.8.3符號獨(dú)立化2023/6/16100第一百頁，共一百一十八頁，編輯于2023年，星期六2.強(qiáng)記憶信源（強(qiáng)相關(guān)信源）如果信源序列具有很強(qiáng)的相關(guān)性，以致于根據(jù)其中一部分符號就可以推測出其余的符號，這種信源稱為強(qiáng)記憶信源或強(qiáng)相關(guān)信源。對于這種信源，那些可以被推知（或預(yù)測）的符號就無需傳送。一般來說，難以完全精確的預(yù)測，而只能根據(jù)信源的統(tǒng)計特性作近似地預(yù)測。這時，我們不必傳輸序列本身，而只需傳送序列的實際值與預(yù)測值之差。這種方法通常稱為預(yù)測法。預(yù)測法應(yīng)用的典型例子就是增量調(diào)制和差分編碼調(diào)制。2023/6/16101第一百零一頁，共一百一十八頁，編輯于2023年，星期六X=原始信源符號集；A=信道碼元符號集；W=輸出碼字（碼組）集。2.8.4概率均勻化——最佳編碼1.編碼的基本知識(1)編碼器編碼器的作用：用A中的元素構(gòu)成各個碼字建立X與W的對應(yīng)關(guān)系2023/6/16102第一百零二頁，共一百一十八頁，編輯于2023年，星期六(2)幾個基本概念D元代碼若碼元符號集A中有D種元素（碼元），則該代碼稱為D元代碼。同價代碼若各碼元長度相同（占用時間相同），則該代碼稱為同價代碼。等長代碼若任一碼字都有同樣多個碼元構(gòu)成，則該代碼稱為等長代碼。例如，{00，01，10，11}——等長代碼

{0，10，110，111}——非等長代碼2023/6/16103第一百零三頁，共一百一十八頁，編輯于2023年，星期六單義代碼若任意一個有限長的碼字序列，只能唯一地分割成一個個碼字，則稱該代碼為單義代碼。例如，{0，10，110，111}——單義代碼

0010101100…{0，10，110，010}——非單義代碼

0010101100…0010101100…非續(xù)長代碼若任一個碼字都不是另一個碼字的續(xù)長，則稱該代碼為非續(xù)長代碼。例如，{0，10，110，111}——非續(xù)長代碼

{0，10，110，010}——續(xù)長代碼||||||||||||||2023/6/16104第一百零四頁，共一百一十八頁，編輯于2023年，星期六非續(xù)長代碼與單義代碼的關(guān)系例如，{0，10，110，111}是非續(xù)長代碼，也是單義代碼。

{0，01}是單義代碼，但不是非續(xù)長代碼。

000100010非續(xù)長代碼一定是單義的，但單義代碼不一定是非續(xù)長的。||||||2023/6/16105第一百零五頁，共一百一十八頁，編輯于2023年，星期六單義代碼存在定理設(shè)碼元符號集為A:{a1,a2,…,aD}，碼字集合為W:{W1,W2,…Wm}，其碼長分別為n1,n2,…,nm；則單義代碼存在的充要條件為碼長組合滿足Kraft不等式，即Kraft不等式同時也是非續(xù)長代碼存在的充要條件；滿足Kraft不等式的碼長組合一定能構(gòu)成單義碼，單義碼的碼長組合一定滿足Kraft不等式；有些碼字的碼長組合滿足Kraft不等式，但不是單義碼。（編碼方法不對）

2023/6/16106第一百零六頁，共一百一十八頁，編輯于2023年，星期六【例】A={a1,a2},W={W1,W2,W3,W4},若各個碼字的碼長分別為n1=1,n2=n3=2,n4=3。問是否存在單義代碼？若n1=1,n2=2,n3=n4=3呢？解：(1)

D=2，當(dāng)n1=1,n2=n3=2,n4=3時因此不存在單義代碼

(2)

當(dāng)n1=1,n2=2,n3=n4=3時因此存在單義代碼2023/6/16107第一百零七頁，共一百一十八頁，編輯于2023年，星期六(3)二元非續(xù)長代碼的構(gòu)成方法例如，A={0,1},W={W1,W2,W3,W4},各個碼字的碼長分別為n1=1,n2=2,n3=n4=3?！皹鋱D”

W1=0W2=10W3=110W4=111樹圖也可以用來解碼，如

100110010非續(xù)長碼：從頂點到任一碼字都不能經(jīng)過其他的碼字||||根01W101W201W3W42023/6/16108第一百零八頁，共一百一十八頁，編輯于2023年，星期六2.最佳編碼法（信源編碼，有效性編碼）例：X：ABCD

P(X):1/21/41/81/8

編碼1：A:00，B:01，C:10，D:11碼長L=2碼元/符號原始信源符號熵H(S)=1.75bit/符號信道碼元熵H(A)=H(S)/L=0.875bit/碼元編碼效率η=R/C=H(A)/H(A)max=0.875/1=87.5%2023/6/16109第一百零九頁，共一百一十八頁，編輯于2023年，星期六編碼2：A:0，B:10，C:110，D:111平均碼長=1×0.5+2×0.25+3×0.25=1.75碼元/符號原始信源符號熵H(S)=1.75bit/符號信道碼元熵H(A)=H(S)/

=1bit/碼元編碼效率η=H(A)/H(A)max=1/1=100%信源編碼的基本思想：根據(jù)給定的消息概率，編碼成二元非續(xù)長代碼：消息概率大，編成的代碼短；消息概率小，編成的代碼長，從而減小平均碼長，增大信道碼元熵，提高傳輸效率。2023/6/16110第一百一十頁，共一百一十八頁，編輯于2023年，星期六(1)Shannon-Fano編碼法步驟：①把原始信源的符號按概率從大到小重新排列；②把信源符號按盡可能概率相等分為2組，分別分配給“0”和“1”碼元；③將每個分組再次分組，直至分完；④從左至右將分得的碼元排列即得碼字Wi?！纠考僭O(shè)有一個離散的獨(dú)立信源，可以輸出8個獨(dú)立的消息。其信源空間如下：X:ABCDEFGHP(X):0.1