信道模型和信道容量

3.1信道模型與信道分類信道輸入/輸入統(tǒng)計關(guān)系輸入X(t)輸出Y(t)噪聲干擾Z(t)第一頁，共一百一十頁，2022年，8月28日3.1.1信道的分類兩端信道：只有一個輸入端和一個輸出端多端信道：在輸入端或輸出端至少有一端有兩個以上的用戶。

無反饋信道：輸出端信號對輸入端信號無影響。

反饋信道：輸出端信號對輸入端信號有影響。第二頁，共一百一十頁，2022年，8月28日固定參數(shù)信道：信道參數(shù)不隨時間變化。時變參數(shù)信道：信道參數(shù)隨時間變化。離散信道：輸入和輸出的隨機序列取值都是離散的。連續(xù)信道：輸入和輸出的隨機序列取值都是連續(xù)的。半離散或半連續(xù)信道：一端序列取值是離散的一端序列取值是連續(xù)的。波形信道：輸入輸出都是時間上連續(xù)的隨機信號X(t),Y(t).第三頁，共一百一十頁，2022年，8月28日幅值時間信道分類名稱離散離散離散信道/數(shù)字信道（例如：數(shù)字電話）連續(xù)離散連續(xù)信道（例如：傳輸PCM信號的信道）連續(xù)連續(xù)模擬信道/波形信道（例如：普通電話）離散連續(xù)（理論和實用價值均很?。┌摧斎?輸出信號的幅度和時間特性劃分：第四頁，共一百一十頁，2022年，8月28日按輸入/輸出之間的記憶性來劃分：無記憶信道：信道在某時刻的輸出只與信道該時刻的輸入有關(guān)而與信道其他時刻的輸入、輸出無關(guān)。有記憶信道：信道在某時刻的輸出與其他時刻的輸入、輸出有關(guān)。根據(jù)信道的輸入/輸出是否是確定關(guān)系可分為:有噪聲信道無噪聲信道

第五頁，共一百一十頁，2022年，8月28日根據(jù)信道的統(tǒng)計特性是否隨時間改變可分為:平穩(wěn)信道（恒參信道、時不變信道，如衛(wèi)星通信）非平穩(wěn)信道（變參信道、時變信道，如移動通信）第六頁，共一百一十頁，2022年，8月28日3.2離散無記憶信道(DMC)的數(shù)學模型DMCXY{a1,a2,…ar}{b1,b2,…bs}PY|X噪聲干擾第七頁，共一百一十頁，2022年，8月28日a1

b1a2

b2arbs單符號離散信道的數(shù)學模型條件概率稱傳遞概率或轉(zhuǎn)移概率第八頁，共一百一十頁，2022年，8月28日

離散無記憶信道的輸入是隨機變量X,取值于輸入符號集A={a1,a2,…ar};相應(yīng)時刻的輸出是隨機變量Y,取值于輸出符號集B={b1,b2,…bs}。對信道的描述,實質(zhì)上是對其干擾特性進行描述。當信道無于擾時,輸入某個符號ai∈A,在信道輸出端一定會收到某個確定的符號bj∈B與之對應(yīng)。但信道受到的干擾是客觀存在的,有干擾時,就可能有多個輸出符號與之對應(yīng)。當輸入ai∈A時,收到符號bj的可能可以用條件概率P(bj|ai)來表示。稱為轉(zhuǎn)移概率,為方便起見,可用下式表示:第九頁，共一百一十頁，2022年，8月28日第十頁，共一百一十頁，2022年，8月28日概念——信道傳遞概率——前向概率——后向概率——后驗概率——先驗概率第十一頁，共一百一十頁，2022年，8月28日DMC模型的信道線圖:XYa1=01-p0=b1

p

pa2=11-p1=b2

(a)二元對稱信道BSC第十二頁，共一百一十頁，2022年，8月28日

1-p00

p2(刪除元)

p11

1-p(b)二進制刪除信道第十三頁，共一百一十頁，2022年，8月28日(c)Z型信道

100

p

1-p11第十四頁，共一百一十頁，2022年，8月28日3.3概率的計算問題利用上述轉(zhuǎn)移矩陣,可以用來計算相應(yīng)的概率,設(shè)輸入概率和輸出概率分別為:第十五頁，共一百一十頁，2022年，8月28日3.2平均互信息及平均條件互信息信道疑義度1、先驗熵——H（X）接收到輸出Y以前，關(guān)于輸入變量X的先驗不確定性的度量。2、后驗熵——當接收到輸出符號y＝bj后，輸入符號的概率分布成為，則關(guān)于x的平均不確定性為第十六頁，共一百一十頁，2022年，8月28日3、條件熵——信息疑義度——H（X|Y）表示輸出端收到輸出變量Y的符號后，對輸入端變量X尚存在的平均不確定性。第十七頁，共一百一十頁，2022年，8月28日

平均互信息1、定義式——平均互信息表示收到輸出符號Y后，平均每個符號獲得的關(guān)于X的信息量。對稱性第十八頁，共一百一十頁，2022年，8月28日3.4信道的疑義度、散布度和平均互信息量I(X;Y)=H(X)－H(X|Y)=H(Y)－H(Y|X)下面討論上式的物理意義,并引入一些重要的基本概念。3.4.1信道疑義度由公式I(X;Y)=H(X)－H(X|Y)可知,從輸出Y中所獲得的關(guān)于輸入X平均信息量I(X;Y),等于先驗平均不確定性H(X)減去X的后驗不確定性H(X|Y),也就則X的平均不確定性的減少量。第十九頁，共一百一十頁，2022年，8月28日由于存在后驗不確定性H(X|Y),說明收到輸入Y后對輸入X還存在疑義。由于I(X;Y)≤H(X)對于有噪信道,輸入X的平均信息H(X)不可能全部送達到輸出。由于干擾的影響,從輸出來的一部分信息在傳輸過程中損失,損失的部分就是H(X|Y)。我們稱H(X|Y)為信道{X,PX|Y,Y}的疑義度。第二十頁，共一百一十頁，2022年，8月28日3.4.2信道散布度I(X;Y)=H(Y)－H(Y|X)式中H(Y)代表輸出Y中含有的全部信息,其中既包含從輸入端送來的有用信息,也包含由噪聲引入的無用信息。H(Y|X)稱為信道{X,PY|X,Y}的散布度或噪聲熵,表明信道因噪聲干擾所呈現(xiàn)的無序性程度,可將其視為干擾信息的直接度量,這樣,上式可理解為:從信道輸出信息中減去干擾信息,就是得到的關(guān)于輸入X的有用信息。噪聲熵為零的信道稱為確定信道。

第二十一頁，共一百一十頁，2022年，8月28日第二十二頁，共一百一十頁，2022年，8月28日3.4.3信道的平均互信息量回顧I(X;Y)≥0I(X;Y)=H(X)－H(X|Y)≤H(X)I(X;Y)=H(Y)－H(Y|X)≤H(Y)這說明(1)從信道輸入端來的信息一般不會全部達到輸出端;(2)從信道輸出端得到的信息是有限的I(X;Y)的凸性:定理3.1如果信道給定,那么I(PX,PY|X)是輸入概率PX的上凸函數(shù)。定理3.2如果信源給定,那么I(PX,PY|X)是轉(zhuǎn)移概率PY|X的下凸函數(shù)。第二十三頁，共一百一十頁，2022年，8月28日例：求二元刪除信的。第二十四頁，共一百一十頁，2022年，8月28日解：由先驗概率和信道轉(zhuǎn)移矩陣可得輸出符號Y的概率分布

即

，，

第二十五頁，共一百一十頁，2022年，8月28日X、Y的聯(lián)合概率分布為p(xiyj)=p(xi)p(yj|xi)第二十六頁，共一百一十頁，2022年，8月28日由聯(lián)合概率分布和Y的概率分布可得后驗概率為

第二十七頁，共一百一十頁，2022年，8月28日第二十八頁，共一百一十頁，2022年，8月28日另外，

還可以先求得后驗熵：，，，再通過下式計算：

第二十九頁，共一百一十頁，2022年，8月28日3.5信道容量信息傳輸率R：信道中平均每個符號所傳送的信息量。平均互信息是接收到符號Y后平均獲得的關(guān)于X的信息量。所以設(shè)平均傳輸一個符號需要t秒，則信道每秒鐘平均傳輸?shù)男畔⒘繛樾畔鬏斔俾剩旱谌摚惨话僖皇摚?022年，8月28日

在信道確定的情況下，是信源概率分布的上凸函數(shù)。因此，必然存在一種信源概率分布使信息傳輸率最大。定義這個最大的信息傳輸率為信道容量：

相應(yīng)的輸入概率分布被稱為最佳輸入分布。3.5.1信道容量的定義第三十一頁，共一百一十頁，2022年，8月28日

信道容量：與信源的概率分布無關(guān)；是完全描述信道特性的參量；是信道能夠傳輸?shù)淖畲笮畔⒘?。信道單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘浚旱谌摚惨话僖皇摚?022年，8月28日對信道容量的解釋:

(1)信道容量C是信道信息率R的上限,定量描述了信道對信息的最大通過能力;(2)使得給定信道的I(X;Y)達到最大值;(3)信道容量C是信道的固有參數(shù),只與信道的轉(zhuǎn)移概率PY|X有關(guān)。第三十三頁，共一百一十頁，2022年，8月28日例4以二元對稱信道。信源的概率空間為信道矩陣為第三十四頁，共一百一十頁，2022年，8月28日2)固定信道，當時，互信息取得最大值。1)第三十五頁，共一百一十頁，2022年，8月28日比特/符號

第三十六頁，共一百一十頁，2022年，8月28日

離散無噪信道的信道容量1、無噪無損信道第三十七頁，共一百一十頁，2022年，8月28日2、有噪無損信道I（X;Y）H（Y|X）H（X）H（Y）第三十八頁，共一百一十頁，2022年，8月28日3、無噪有損信道111111I（X;Y）H（X|Y）H（Y）H（X）第三十九頁，共一百一十頁，2022年，8月28日小結(jié)：第四十頁，共一百一十頁，2022年，8月28日3.5.3離散對稱信道定義3.5.1信道r×s轉(zhuǎn)移矩陣[PY|X]的每一行s個元素,都是由同－組元素的不同排列組成,則稱[PY|X]為行排列陣,此類信道稱為離散輸入對稱信道（行對稱信道）。第四十一頁，共一百一十頁，2022年，8月28日3.5.2信道r×s轉(zhuǎn)移矩陣[PY|X]的每一列r個元素都是由同一組元素的不同排列組成,則稱[PY|X]為列排列陣,此類信道稱為離散輸出對稱信道。定義3.5.3信道轉(zhuǎn)移矩陣[PY|X]既是行排列陣又是列排列陣,此類信道稱為離散對稱信道。(前一頁例子)第四十二頁，共一百一十頁，2022年，8月28日判斷下列信道是否是對稱離散信道？是是不是不是第四十三頁，共一百一十頁，2022年，8月28日定義3.5.4若信道轉(zhuǎn)移矩陣[PY|X]的列可以被劃分成若干個互不相交的子集,且每個子集所組成的子陣是行排列陣,則稱此類信道為離散準對稱信道。第四十四頁，共一百一十頁，2022年，8月28日定義：若r=s，且對于每一個輸入符號，正確傳輸概率都相等，且錯誤傳輸概率p均勻地分配到r-1個符號，則稱此信道為強對稱信道或均勻信道。第四十五頁，共一百一十頁，2022年，8月28日引理4.1對于對稱信道，當信道輸入概率分布為等概分布時，輸出概率分布必為等概分布。證明：當輸入為等概分布時，則輸出，其中為信道矩陣第j列元素之和。離散對稱信道的信道容量第四十六頁，共一百一十頁，2022年，8月28日即當信道輸入為等概分布時，輸出

亦為等概分布。

j=1,2,…,s而對稱信道每一列是第一列的不同排列。因此第四十七頁，共一百一十頁，2022年，8月28日定理3.3

對稱信道，當信道輸出概率分布為等概的情況下達到信道容量：

其中是信道矩陣中的任意一行中的元素。證明：第四十八頁，共一百一十頁，2022年，8月28日第四十九頁，共一百一十頁，2022年，8月28日準對稱信道當信道輸入概率分布為等概的情況下達到信道容量：

設(shè)信道矩陣可劃分為n個子矩陣，其中Nk是第k個子矩陣中行元素之和，Mk是第k個子矩陣中列元素之和。第五十頁，共一百一十頁，2022年，8月28日推論：對于強對稱信道有：C=logr-plog(r-1)-H(p)s=r

第五十一頁，共一百一十頁，2022年，8月28日例求對稱信道的信道容量，解：第五十二頁，共一百一十頁，2022年，8月28日例：求準對稱信道的信道容量。二元對稱刪除信道：解：N1=1-q,M1=1-q,N2=q,M2=2qC=logr-

-

NklogMk

=

log2-H(1-p-q,q,p)-(1-q)log(1-q)-qlog(2q)第五十三頁，共一百一十頁，2022年，8月28日信道容量約束條件：求信道容量轉(zhuǎn)化為求對信源概率分布的條件極值。3.5.4一般離散信道的信道容量第五十四頁，共一百一十頁，2022年，8月28日解：引入輔助函數(shù)

第五十五頁，共一百一十頁，2022年，8月28日第五十六頁，共一百一十頁，2022年，8月28日令則第五十七頁，共一百一十頁，2022年，8月28日在某些條件下利用這個方法可以計算C：令第五十八頁，共一百一十頁，2022年，8月28日這是一個含有s個未知數(shù)、由r個方程組成的方程組。當r=s，且信道矩陣是可逆矩陣時，該方程組有唯一解。

第五十九頁，共一百一十頁，2022年，8月28日例：求以下信道的信道容量。信道矩陣

第六十頁，共一百一十頁，2022年，8月28日解：比特/符號第六十一頁，共一百一十頁，2022年，8月28日第六十二頁，共一百一十頁，2022年，8月28日例：

有一信道矩陣，求C.

第六十三頁，共一百一十頁，2022年，8月28日1）采用上述方法求出信道容量以后，還必須解出，因為在采用拉格朗日數(shù)乘法時并沒有加上的約束條件，因此算出的可能是負值。當計算結(jié)果為負值時，此解無效。它表明最大值在邊界上，即某些輸入符號的概率為0。設(shè)某些輸入符號的概率為0，然后重新進行計算。2）如果r=2，則可以直接對I(X;Y)求導，得到信道容量和最佳輸入分布。補充：第六十四頁，共一百一十頁，2022年，8月28日例：已知信道的轉(zhuǎn)移矩陣為，求信道容量。

解：設(shè)輸入概率分布

第六十五頁，共一百一十頁，2022年，8月28日第六十六頁，共一百一十頁，2022年，8月28日0.2log(0.3+0.2)-0.2+0.2log(0.5-0.2)+0.2=0第六十七頁，共一百一十頁，2022年，8月28日例BSC信道如圖,rs=1000符號/秒,錯誤傳遞概率p=0.1求:信道容量?0Y0.9?10.1輸入符號等概時有最大信息傳輸速率信道實際信息傳輸速率第六十八頁，共一百一十頁，2022年，8月28日例：信道及它的輸入、輸出如圖所示：（1）

求最佳輸入分布。（2）

求時的信道容量。第六十九頁，共一百一十頁，2022年，8月28日3.5.4一般DMC達到信道容量的條件定理3.5(Kuhn-Tucker)設(shè)f(x)是定義在所有分量均非負的n維空間上的上凸函數(shù),其中x=(x1,x2,…xn),假定f(x)的一階偏導數(shù)都存在,且在定義的空間上連續(xù),則第七十頁，共一百一十頁，2022年，8月28日定理3.6I(X;Y)達到信道容量的充要條件是輸入分布p(xi)滿足以下充要條件：p(xi)≠0時I(xi;Y)＝Cp(xi)=0時I(xi;Y)≤C

某些特殊矩陣可以利用這個方法可以推導得到C。第七十一頁，共一百一十頁，2022年，8月28日p(x3)=0,p(x2

)=

p(x4

)=0，

p(x1)=p(x5

)=1/2p(x3)=0,p(x2

)=

p(x4

)=p(x1)=p(x5

)=1/4例第七十二頁，共一百一十頁，2022年，8月28日例當輸入等概時準對稱信道達到信道容量第七十三頁，共一百一十頁，2022年，8月28日在同一子陣Pl中

第七十四頁，共一百一十頁，2022年，8月28日對于任意

第七十五頁，共一百一十頁，2022年，8月28日3.5,5信道容量的迭代算法第七十六頁，共一百一十頁，2022年，8月28日3.6擴展信道的信道容量3.6.1擴展信道的數(shù)學模型下圖表示N次擴展信道的模型,其輸入輸出均為N元隨機變量序列:

X=X1X2···XN

Y=Y1Y2···YNXk:[a1,a2,···ar]Yk:[b1,b2,···bs]

噪聲干擾

離散信道第七十七頁，共一百一十頁，2022年，8月28日

這時,把輸入X和輸入Y(也分別記作)都分別當作一個新的隨機變量——聯(lián)合隨機變量,它們的取值集合分別為:第七十八頁，共一百一十頁，2022年，8月28日如果對離散單符號信道進行N次擴展，就形成了N次離散無記憶序列信道。例BSC的二次擴展信道

X{00，01，10，11}，Y{00，01，10，11}，二次擴展無記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p20010110100011011第七十九頁，共一百一十頁，2022年，8月28日若p＝0.1，則C2＝2－0.938＝1.062比特/序列

第八十頁，共一百一十頁，2022年，8月28日

若多符號離散信道的轉(zhuǎn)移概率滿足

則稱之為離散無記憶信道的N次擴展信道[解釋]擴展信道的轉(zhuǎn)移概率=各時刻單符號信道轉(zhuǎn)移概率的連乘無記憶性——k時刻輸出Yk只與k時刻輸入Xk有關(guān),

與k時刻之前輸入X1X2…Xk-1無關(guān)無預(yù)感性——k時刻之前輸出Y1Y2…Yk-1只與k時刻之前輸入X1X2…Xk-1有關(guān)，與Xk無關(guān)[結(jié)論]離散無記憶N次擴展信道——無記憶，無預(yù)感第八十一頁，共一百一十頁，2022年，8月28日3.6.2擴展信道的平均互信息量和信道容量

第八十二頁，共一百一十頁，2022年，8月28日

對于N次擴展信道，如果信道的輸入序列中的每一個隨機變量均取值于同一信源符號集并且具有同一種概率分布（取自于同一概率空間），通過相同的信道傳送到輸出端，則輸出序列中的每一個隨機變量也取自同一符號集，并且具有相同的概率分布。第八十三頁，共一百一十頁，2022年，8月28日信源無記憶,則N元隨機變量序列X1X2···XN中各Xk獨立同分布,無記憶信源的N元序列加到無記憶信道,得到的N元輸出序列Y1Y2···YN中的各YK必然也是獨立同分布的,因此有:第八十四頁，共一百一十頁，2022年，8月28日3.7信道的組合3.7.1串聯(lián)信道信道ⅠQ1信道ⅡQ2XYZ記串聯(lián)信道中三個隨機變量X、Y、Z的取值符號集分別為:AX={a1,a2,…ar},AY={b1,b2,…bs},AZ={c1,c2,…ct}第八十五頁，共一百一十頁，2022年，8月28日信道Ⅰ的統(tǒng)計特性由轉(zhuǎn)程概率{P(bj|ai)}i,j描述,信道Ⅱ的統(tǒng)計特性由轉(zhuǎn)移概率{P(ck|bj)}j,k描述,給定Y以后,Z的取值與X無關(guān):第八十六頁，共一百一十頁，2022年，8月28日定理3.10若隨機變量X,Y,Z組成Markov鏈,則有:I(X;Z)≤I(X;Y),I(X;Z)≤I(Y;Z)且等號成立的充分必要條件分別友:P(ai|bjck)=P(ai|ck),對所有的i,j,k和P(ck|aibj)=P(ck|ai),對所有的i,j,k第八十七頁，共一百一十頁，2022年，8月28日3.7.2獨立并聯(lián)信道X1Y1

X2Y2

XY………………XNYN信道1信道2信道N第八十八頁，共一百一十頁，2022年，8月28日3.8信源與信道的匹配(1)符號匹配信源輸出的符號必須是信道能夠傳送的符號;(2)信息匹配信源與信道匹配的程度可用信道剩余度來衡量,它的定義為:信道絕對剩余度=C－I(X;Y)信道相對剩余度={[C－I(X;Y)]/C}×100%第八十九頁，共一百一十頁，2022年，8月28日例設(shè)有兩個離散二元對稱信道，其級聯(lián)信道如圖所示，求級聯(lián)信道的信道容量。

第九十頁，共一百一十頁，2022年，8月28日第九十一頁，共一百一十頁，2022年，8月28日3.9連續(xù)信道及其信道容量3.9.1連續(xù)信道的數(shù)學模型最基本的連續(xù)信道是單維連續(xù)信道,它的輸入X、輸出Y和噪聲Z都是取值于整個實數(shù)域R的一維連續(xù)型隨機變量:連續(xù)信道XYZ第九十二頁，共一百一十頁，2022年，8月28日當信道的輸入與輸出均為多維連續(xù)隨機變量序列,則采用多維連續(xù)信道模型來描述。設(shè)連續(xù)信道的N維輸入為:第九十三頁，共一百一十頁，2022年，8月28日連續(xù)信道的平均互信息量定義為:第九十四頁，共一百一十頁，2022年，8月28日與離散信道類似,連續(xù)信道的傳輸能力也用信道容量來描述。連續(xù)信道的信道容量仍定義為該信道的最大平均互信息量,它與信道的輸入概率密度函數(shù)有關(guān)。與離散信道不同的是,連續(xù)信道的輸入取值區(qū)間和概率密度函數(shù),不能完全描述實際輸入的某些性質(zhì),象輸入信號的幅值受限、功率受限等，為此,可對連續(xù)信道的輸入加一個限制條件b(X),而連續(xù)信道的信道容量定義為該信道的I(X;Y)在條仵b(X)下關(guān)于fx(x)的最大值:第九十五頁，共一百一十頁，2022年，8月28日3.9.2加性Gauss信道的信道容量如果輸入X、輸出Y及噪聲Z三個隨機變量之間滿足:Y=X+Z且輸入X與干擾Z無關(guān),則稱該信道為加性噪聲信道,這時:第九十六頁，共一百一十頁，2022年，8月28日加性Gauss噪聲信道可以作為很多實際信道的模型。設(shè)E(Z)=0,則Z的平均功率:第九十七頁，共一百一十頁，2022年，8月28日求信道容量的步驟:(1)不妨設(shè)信道輸入X的均值為0,則:E(Y)=E(X+Z)=E(X)+E(Z)=0平均功率為:(2)根據(jù)連續(xù)最大熵的巳知結(jié)論:平均功率受限時,隨機變量在服從Gauss分布時熵達到最大,因此:第九十八頁，共一百一十頁，2022年，8月28日找出最佳輸出分布后,由加性噪聲信道的性質(zhì)可推出最佳輸出分布:(3)巳知Y和X的最佳分布之后,可求出Y關(guān)于輸入概率密度的最大熵:第九十九頁，共一百一十頁，2022年，8月28日由此可得加性Gauss噪聲信道的信道容量為:定理3.11對于無記憶加性噪聲信道,假設(shè)輸入信號服從Gauss分布,且噪聲的平均功率受限,則服從Gauss分布的噪聲使信道平均互信息量達到最小。