信息率與編碼3-1

第三章信道容量信道容量的概念特殊信道的信道容量對稱信道的信道容量準(zhǔn)對稱信道的信道容量非對稱信道的信道容量多符號離散信道§3.1信道的數(shù)學(xué)模型和分類信道傳輸信息的能力→信道容量一、信道的數(shù)學(xué)模型設(shè)離散信道的輸入為一個隨機(jī)變量X，相應(yīng)的輸出的隨機(jī)變量為Y。規(guī)定一個離散信道應(yīng)有三個參數(shù)：輸入符號集：X={x1，x2，…，xn}輸出符號集：Y={y1，y2，…，ym}信道轉(zhuǎn)移概率：P(Y/X)={p(y1/x1),p(y2/x1),…p(ym/x1),……p(ym/xn)}P(Y/X)XYN§3.1信道的數(shù)學(xué)模型和分類二、信道的分類（自閱）§3.2單符號離散信道的信道容量一、信道的表示法⒈信道的矩陣表示法一般簡單的單符號離散信道的數(shù)學(xué)模型可以用概率空間[X,p(y|x),Y]來描述。其中，每一行表示一個輸入xi;行矢之和為1。每一列表示一個輸出yj§3.2單符號離散信道的信道容量⒉信道的圖示法用于輸入，輸出符號較少的場合。如：二元信道0101§3.2單符號離散信道的信道容量⒊信息傳輸率（信息率）信息傳輸率R：信道中平均每個符號所傳送的信息量。平均互信息I(X;Y)是接收到符號Y后平均獲得的關(guān)于X的信息量。所以

R=I（X;Y）bit/符號設(shè)平均傳輸一個符號需要t秒，則信道每秒鐘平均傳輸?shù)男畔⒘繛樾畔鬏斔俾剩骸?.2單符號離散信道的信道容量⒋信道容量由于平均互信息量I(X;Y)是信源概率分布P(X)的型凸函數(shù)，所以對于每一個確定信道，都有一個信源分布，使得信息傳輸率達(dá)到最大值，我們把這個最大值稱為該信道的信道容量。信源與信道匹配最佳分布§3.2單符號離散信道的信道容量二、幾種特殊離散信道的信道容量⒈離散無噪信道的信道容量特點(diǎn)：輸入與輸出之間具有一一對應(yīng)的關(guān)系。信道容量：C=lognbit/信道符號n為信道的輸入符號數(shù)。

最佳分布：輸入為均勻分布。⒉具有擴(kuò)展性能的無噪信道特點(diǎn)：一個輸入對應(yīng)多個互不相交的輸出。信道容量：C=lognbit/信道符號n為信道的輸入符號數(shù)。

最佳分布：輸入為均勻分布。⒊具有歸并性能的無噪信道特點(diǎn)：一個輸出對應(yīng)多個互不相交的輸入。信道容量：C=logmbit/信道符號m為信道的輸出符號數(shù)。

最佳分布：使輸出為均勻分布的輸入分布。3.2.1無干擾離散信道（1）n=m具有一一對應(yīng)關(guān)系的無噪信道

——一對一，無噪無損信道信道矩陣——單位陣：元素為0、1損失熵H(X/Y)=0噪聲熵H(Y/X)=0互信息

I(X;Y)=H(X)=H(Y)x1x2x3

xny1y2y3

yn………H(X)I(X;Y)H(Y)（2）n＞m具有歸并性的無噪信道

——多對一，無噪有損信道信道矩陣——每行只有一個非0元元素為0、1損失熵H(X/Y)≠0噪聲熵H(Y/X)=0

H(X)＞H(Y)輸入分布非唯一y1y2y3x1x2x3x4x5H(X)I(X;Y)H(Y)H(X/Y)

注意：不是這種情況因?yàn)樾诺谰仃嚥粷M足——每行只有一個非0元素元素為0、1本質(zhì)：有噪信道（3）n＜m具有擴(kuò)展性的無噪信道

——一對多，有噪無損信道信道矩陣——每列只有一個非0元素,

元素不全是0、1損失熵H(X/Y)=0噪聲熵H(Y/X)≠0

H(X)＜H(Y)x1x2x3y1y2y3y4y5H(X)I(X;Y)H(Y)H(Y/X)

§3.2單符號離散信道的信道容量二、幾種特殊離散信道的信道容量⒈離散無噪信道的信道容量特點(diǎn)：輸入與輸出之間具有一一對應(yīng)的關(guān)系。信道容量：C=lognbit/信道符號n為信道的輸入符號數(shù)。

最佳分布：輸入為均勻分布。⒉具有擴(kuò)展性能的無噪信道特點(diǎn)：一個輸入對應(yīng)多個互不相交的輸出。信道容量：C=lognbit/信道符號n為信道的輸入符號數(shù)。

最佳分布：輸入為均勻分布。⒊具有歸并性能的無噪信道特點(diǎn)：一個輸出對應(yīng)多個互不相交的輸入。信道容量：C=logmbit/信道符號m為信道的輸出符號數(shù)。

最佳分布：使輸出為均勻分布的輸入分布。§3.2單符號離散信道的信道容量三、對稱信道的信道容量⒈對稱信道的信道容量⑴對稱信道的定義關(guān)于行可排列的若信道轉(zhuǎn)移陣的每一行都是同一集合Q∈{q1,q2,…qm}

中諸元素的不同排列，則該轉(zhuǎn)移陣是行可排列的。關(guān)于列可排列的若信道轉(zhuǎn)移陣的每一列都是同一集合p∈{p1,p2,…pn}

中諸元素的不同排列，則該轉(zhuǎn)移陣是列可排列的。

對稱信道的定義若一個信道的轉(zhuǎn)移陣行列都是可排列的，則該信道是一對稱信道。（不一定有m=n）§3.2單符號離散信道的信道容量例：

例：對稱信道識別?§3.2單符號離散信道的信道容量⑵對稱信道的信道容量由信道容量的定義式得：C=I(X;Y)=H(Y)-H(Y/X)又：而由于對稱信道定義，我們知道，此值是一個與x無關(guān)的一個常數(shù)，即所以有：將轉(zhuǎn)移陣中的任一行看作一個信源集→熵對于行可排列情況，Hmi與i

無關(guān)§3.2單符號離散信道的信道容量⑶達(dá)到對稱信道容量時的最佳分布當(dāng)輸入為等概分布時對稱信道達(dá)到信道容量C。例1：求下述信道的信道容量：解：

例：對于二元對稱信道這個式子很重要。bit/符號§3.2單符號離散信道的信道容量⒉強(qiáng)對稱信道的信道容量⑴強(qiáng)對稱信道的定義強(qiáng)對稱信道是對稱信道的一個特例。除了滿足對稱信道的條件之外，還滿足：輸入符號數(shù)等于輸出符號數(shù)（n=m）。信道中總的錯誤概率為p，對稱地均勻地分給n-1個輸出符號。轉(zhuǎn)移陣中各列之和也為1。

矩陣特點(diǎn)n×n階對稱陣二值矩陣每行和為1,每列和為1§3.2單符號離散信道的信道容量⑵

強(qiáng)對稱信道的信道容量由于強(qiáng)對稱信道是對稱信道的一個特例，所以將強(qiáng)對稱信道的特性因素代入對稱信道的信道容量公式有：⑶強(qiáng)對稱信道的最佳分布與對稱信道一樣，當(dāng)輸入分布滿足均勻分布時，使強(qiáng)對稱信道達(dá)到信道容量。

[意義]logn為輸入的信息H(X),實(shí)際傳送的信息是C,

H(1-p,p/n-1,…p/n-1)是丟失的信息（干擾）對于二元對稱信道00.51p1C二進(jìn)制對稱信道(n=2)

（BSC）X={0,1};Y={0,1};p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;01-p0pp11-p11-pp1p1-p010[P]=在實(shí)際通信系統(tǒng)中，信號往往要通過幾個環(huán)節(jié)的傳輸，或多步處理，這些傳輸和處理都可以看成是信道（串聯(lián)）

H(X)≥I(X;Y)≥I(X;Z)≥…P(Y/X)P(Z/Y)XYZ串聯(lián)的信道越多，其信道容量可能會越小，當(dāng)串聯(lián)的信道數(shù)無限大時，信道容量就有可能會趨于零．例３－３

§3.2單符號離散信道的信道容量四、準(zhǔn)對稱信道的信道容量⒈準(zhǔn)對稱信道的定義信道轉(zhuǎn)移陣滿足行可排列的。信道轉(zhuǎn)移陣列不可排列，但矩陣中的m列可分成互不相交的s個子集，由子集組成的子陣則是行和列都是可排列的。⒉準(zhǔn)對稱信道的信道容量定理：實(shí)現(xiàn)準(zhǔn)對稱離散無記憶信道容量的輸入分布是等概分布。根據(jù)上述定理有：

可以證明，達(dá)到信道容量的輸入分布是等概分布，也可計算準(zhǔn)對稱信道的信道容量為：其中n是輸入符號集的個數(shù)，q1,q2,…,qm

為矩陣中的行元素:是第k個子矩陣中的行元素之和例：可分成：:是第k個子矩陣中的列元素之和例題3-7§3.2單符號離散信道的信道容量

任取一行輸入為均勻分布→前提P(yj)§3.2單符號離散信道的信道容量例如：下列各信道即為準(zhǔn)對稱信道?！?.2單符號離散信道的信道容量例2：求所給信道的信道容量：解：該信道為準(zhǔn)對稱信道（判,略）⑴先求p(yj)：p(y0)=1/2×(0.7+0.2)=0.45=P(y2)P(y1)=1/2×(0.1+0.1)=0.1§3.2單符號離散信道的信道容量例3：求所給信道的信道容量：解：該信道為準(zhǔn)對稱信道（判,略）⑴先求p(yj)：p(y0)=1/2×(1/2+1/4)=3/8=P(y1)P(y2)=1/2×(1/8+1/8)=1/8=P(y3)∴§3.2單符號離散信道的信道容量五、離散信道容量的一般計算方法若一個信道的信道轉(zhuǎn)移陣滿足非奇異陣，則可用下列方法求得。令所有的輸入符號xk有：則有：再令看作未知數(shù)，連立K個方程解之得：

§3.2單符號離散信道的信道容量有約束條件得：

至此，解題并未結(jié)束，還必須由C求得p(y)，再最終求得p(x),僅當(dāng)所有的p(x)>0，其所解得的C才是正確的，否則，須令某個p(x)=0，重新再解，直至所有的p(x)>0，為止。例4：求左圖之信道容量

0011223/43/41/31/41/31/31/4課間休息§3.2單符號離散信道的信道容量解：由圖得信道的轉(zhuǎn)移陣：并由公式得：3/4log3/4+1/4log1/4+0=3/4[C+logω0]+1/4[C+logω1]1/3log1/3+1/3log1/3+1/3log1/3=1/3[C+logω0]+1/3[C+logω1]+1/3[C+logω2]1/4log1/4+3/4log3/4+0=1/4[C+logω1]+3/4[C+logω2]令有，并用行列式法解之：3/4log3/4+1/4log1/4+0=3/4β0+1/4β11/3log1/3+1/3log1/3+1/3log1/3=1/3β0+1/3β1+1/3β2

1/4log1/4+3/4log3/4+0=1/4β1+3/4β2

§3.2單符號離散信道的信道容量∴β0=Δβ0/

Δ=-4H(3/4,1/4)-1/3log1/3=0.454488(Hat)

β1=9log1/3+8H(3/4,1/4)=-2.340339(Hat)

β2=β0=0.454488(Hat)∴C+logω0=C+logω2=0.454488

C+logω1=-2.340339

ω0+

ω1+ω2=1§3.2單符號離散信道的信道容量∴10-c[100.454488×2+10-2.340339]=1

∴C=lg5.7000=0.755874(Hat/符號)

由C+logωi=βi

得：ω0=ω2=0.49960ω1=0.0008013求p(xi):ω0=p(0)p(0/0)+p(1)p(0/1)=0.49960;ω1=p(0)p(1/0)+p(1)p(1/1)+p(2)p(1/2)=0.0008013;ω2=p(1)p(2/1)+p(2)p(2/2)=0.49960;得：p(1)<0∴原解不合，令p(1)=0

原信道變?yōu)閯h除信道。

§3.2單符號離散信道的信道容量令：輸入為均勻分布，解之得：C=0.75比特/信道符號

0011E定理一般離散信道達(dá)到信道容量的充要條件是輸入概率分布滿足

該定理說明，當(dāng)平均互信息達(dá)到信道容量時，信源每一個符號都對輸出端輸出相同的互信息（零概率除外）。3.2.4一般離散無記憶信道及信道容量可以利用該定理對一些特殊信道求得它的信道容量例：輸入符號集為:{0,1,2}假設(shè)P(0)=P(2)=1/2，P(1)=0，則：所以：§3.3多符號離散信道一、多符號離散信道的數(shù)學(xué)模型設(shè)：信道的輸入信源為：X=x1x2…xN,其中xk(k=1,2,…N)

取自于X={x1x2…xn}，則信源X共有nN

個不同的元素ai(i=1,2,…nN)ai=(xi1xi2…xin),xi1,xi2,…xin∈{x1,x2,…xn}i1,i2,…,iN=1,2,…n;i=1,2,…nN同理在輸出端有：bj=(yj1yj2…yjN),yj1,yy2,…yjN∈{y1,y2,…ym}j1,j2,…,jN=1,2,…m;j=1,2,…mN

XYp(yj|xi)§3.3多符號離散信道在矩陣中我們?nèi)粲胊i,bj來表示則有：3.3.1多符號離散信道的數(shù)學(xué)模型一、含義多符號離散信源X=X1X2…Xk….XN在N個不同時刻分別通過單符號離散信道

{X

P(Y/X)Y}在輸出端出現(xiàn)Y=Y1Y2…Yk….YN此即多符號離散信道，或單符號離散信道的N次擴(kuò)展信道3.3多符號離散信道二、模型Xk取值：x1,x2,…,xn，則X共有nN種ai，i=1～nNYk取值：y1,y2,…,ym，則Y共有mN種bj，j=1～mN三、轉(zhuǎn)移概率矩陣3.3.1多符號離散信道的數(shù)學(xué)模型(續(xù))P(Y/X)或{p(bj/ai)}X=X1X2…Xk….XNY=Y1Y2…Yk….YN

§3.3多符號離散信道

二、離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量若多符號離散信道的傳遞概率滿足：則稱該信道為離散無記憶信道的N次擴(kuò)展。例、二元對稱信道的二次擴(kuò)展信道(錯誤概率為P)解：二次擴(kuò)展信道的輸入、輸出序列的每一個隨機(jī)變量均取值于{0,1}，輸入共有個取值，輸出共有個取值。根據(jù)

§3.3多符號離散信道可求出§3.3多符號離散信道同理可求出其他的轉(zhuǎn)移概率

，得到信道矩陣：

§3.3多符號離散信道2.互信息和信道容量

(1)若信源X的N個變量Xk(k=1~N)之間相互統(tǒng)計獨(dú)立互信息

(2)若信源X是N次擴(kuò)展信源時互信息I(X;Y)=NI(X