第3章離散信道

第3章離散信道

信道是指信息傳輸?shù)耐ǖ?。包括空間傳輸和時間傳輸?？臻g傳輸：電纜、光纖、電波傳輸?shù)目臻g、載波線路。時間傳輸：磁帶、光盤。信息論中的信道劃分是人為的。信道是通信系統(tǒng)最重要的組成部分通信的本質(zhì)含義就是信息通過信道得以傳送，實現(xiàn)異地間的信息交流信道的主要任務(wù)：以信號的形式傳輸和存儲信息。問題：在什么條件下，通過信道的信息量最大，即信道容量的問題。

信道的主要研究內(nèi)容：信道的分類和建模（信道的統(tǒng)計特性描述）√信道傳輸信息的能力（信道容量）√在有噪信道中能否實現(xiàn)可靠傳輸？怎樣實現(xiàn)可靠傳輸？幅度時間信道分類名稱離散離散離散信道/數(shù)字信道（例如：數(shù)字電話）連續(xù)離散連續(xù)信道連續(xù)連續(xù)模擬信道/波形信道（例如：普通電話）離散連續(xù)（理論和實用價值均很?。┌摧斎?輸出信號的幅度和時間特性劃分：

信道分類信道分類根據(jù)輸入、輸出信號的時間特性和取值特性，可以將信號劃分為：離散信號：指輸入輸出隨機變量均為離散的信道連續(xù)信號：指輸入輸出隨機變量均為離散的信道

根據(jù)信道的統(tǒng)計特性是否隨時間改變可分為:

平穩(wěn)信道（恒參信道、時不變信道，如衛(wèi)星通信）

非平穩(wěn)信道（變參信道、時變信道，如移動通信）

根據(jù)輸入/輸出的個數(shù)可分為：

單用戶信道：一個輸入一個輸出單向通信。

多用戶信道：雙向通信或三個或更多個用戶之間相互通信的情況，例如多元接入信道、廣播信道、網(wǎng)絡(luò)通信信道等。

信道分類按輸入/輸出之間的記憶性來劃分：無記憶信道：信道在某時刻的輸出只與信道該時刻的輸入有關(guān)而與信道其他時刻的輸入、輸出無關(guān)。有記憶信道：信道在某時刻的輸出與其他時刻的輸入、輸出有關(guān)。根據(jù)信道的輸入/輸出是否是確定關(guān)系可分為:有噪聲信道無噪聲信道

信道分類信宿信道信源

通信系統(tǒng)的簡化模型噪聲信源每發(fā)一個符號平均提供的信息量：H(X)

無噪信道→信宿可確切無誤的接收信息3.1信道疑義度與平均互信息量一.信道模型3.1信道疑義度與平均互信息量一.信道模型信道輸入X輸出Y干擾、噪聲P(Y|X)1.離散單符號信道的數(shù)學(xué)模型XYx1x2xry1y2ysP

(Y|X)滿足：（1）0≤p(yj|xi)≤1(i=1,2,…,r；j=1,2,…,s)

（2）(i=1,2,…,r)1.離散單符號信道的數(shù)學(xué)模型

信道傳遞概率可以用信道矩陣來表示：1.離散單符號信道的數(shù)學(xué)模型

對于離散單符號信道來說，信道的輸入輸出均為單個符號的消息：設(shè)信道的輸入隨機變量X的取值集合為X={x1,x2,…,xr}，相應(yīng)的概率分布為p(xi)，i=1,2,…,r；輸出隨機變量Y的取值集合為Y={y1,y2,…,ys}，相應(yīng)的概率分布為p(yj)，j=1,2,…,s信道特性可以用轉(zhuǎn)移概率矩陣來表示：

P=[p(yj|xi)]r×s

信道的數(shù)學(xué)模型為{X,P(Y|X),Y}例1：二元對稱信道

（BSC：binarysymmetricchannel）輸入符號集A={0,1},輸出符號集B={0,1}，r＝s＝2．傳遞概率：0101

信道轉(zhuǎn)移概率圖1.離散單符號信道的數(shù)學(xué)模型例2：二元刪除信道輸入符號集A={0,1}，符號輸出集B={0,?,1}，r=2,s=3

信道矩陣為：010?1

信道轉(zhuǎn)移概率圖1.離散單符號信道的數(shù)學(xué)模型離散信道常用的概率關(guān)系:已知：先驗概率:p(xi)，i=1,2,…,r前向概率(信道傳遞概率）:p(yj|xi)，i=1,2,…,r，j=1,2,…,s求：1.聯(lián)合概率:p(xiyj)=p(xi)p(yj|xi)=p(yj)p(xi|yj)i=1,2,…,r；j=1,2,…,s1.離散單符號信道的數(shù)學(xué)模型2.輸出符號概率:

j=1,2,…,s矩陣表示：1.離散單符號信道的數(shù)學(xué)模型3.后驗概率（后向概率）:貝葉斯公式（i=1，2，…，r;j=1，2，…，s）且

j=1，2，…，s1.離散單符號信道的數(shù)學(xué)模型2.信道疑義度H(X|Y)理想信道，H(X|Y)=0。一般情況下，。當(dāng)時，表示接收到輸出變量Y后關(guān)于輸入變量X的平均不確定性一點也沒有減少。是通過有噪信道傳輸后引起的信息量的損失，故也可稱為損失熵

信道疑義度H(X|Y)

表示接收端收到信道輸出的一個符號之后對信道輸入的符號仍然存在的平均不確定性。3.平均互信息及其性質(zhì)互信息量：

yj對xi的互信息量定義為的后驗概率與先驗概率比值的對數(shù)。觀察者站在輸出端：兩個不確定度之差是不確定度被消除的部分，即等于自信息量減去條件自信息量。觀察者站在輸入端：觀察者得知輸入端發(fā)出xi前、后對輸出端出現(xiàn)yj的不確定度的差。觀察者站在通信系統(tǒng)總體立場上：通信后的互信息量，等于前后不確定度的差。3.平均互信息及其性質(zhì)

平均互信息：平均互信息表示接收到Y(jié)以后，平均每個符號所獲得的關(guān)于輸入變量X的信息量，是信道實際傳輸信息的數(shù)量。信源熵是信源輸出的信息量，而真正被接收者收到的信息量則是互信息。3.平均互信息及其性質(zhì)平均互信息量定義：互信息量I(xi;yj)在聯(lián)合概率空間P(XY)中的統(tǒng)計平均值。從一個事件獲得另一個事件的平均互信息需要消除不確定度，一旦消除了不確定度，就獲得了信息。3.平均互信息及其性質(zhì)站在輸出端：I(X;Y)—收到Y(jié)前、后關(guān)于X的不確定度減少的量。從Y獲得的關(guān)于X的平均信息量。站在輸入端：I(Y;X)—發(fā)出X前、后關(guān)于Y的先驗不確定度減少的量。站在總體：I(X;Y)—通信前、后整個系統(tǒng)不確定度減少量。3.平均互信息及其性質(zhì)平均互信息的性質(zhì)非負(fù)性1說明：信道每傳遞一條消息，總能提供一定的信息量。極值性2對稱性3說明：從X中提取關(guān)于Y的信息量與由Y中提取到X的信息量是相同的，是信息流通的總體測度。凸函數(shù)性4上凸函數(shù)1下凸函數(shù)2I(X;Y)=H(X)-H(X|Y)=H(Y)H(Y|X)=H(X)+H(Y)H(XY)

X,Y互相獨立時5

平均互信息和各類熵的關(guān)系各種熵之間的關(guān)系H(X),H(Y)－信源熵，無條件熵H(X/Y)－疑義度，損失熵H(Y/X)－噪聲熵H(XY)－聯(lián)合熵I(X;Y)－平均互信息量，交互熵XYXYXYXYXY【例3.3】設(shè)信源X的概率空間為：BSC信道的轉(zhuǎn)移矩陣為：例3：求二元刪除信道的。已知解：由先驗概率和信道轉(zhuǎn)移矩陣可得輸出符號Y的概率分布

即X、Y的聯(lián)合概率分布為p(xiyj)=p(xi)p(yj|xi)由聯(lián)合概率分布和Y的概率分布可得后驗概率為

另外，

還可以先求得后驗熵：，

，再通過下式計算：

3.2.信道容量我們研究各類信道的目的是為了獲得盡可能高的信息傳輸率，即希望信道中平均每個符號所能傳送的信息量盡可能大。3.2.1信道容量的定義

信息傳輸率R：信道中平均每個符號所傳送的信息量。平均互信息是接收到符號Y后平均獲得的關(guān)于X的信息量。所以設(shè)平均傳輸一個符號需要t秒，則信道每秒鐘平均傳輸?shù)男畔⒘繛樾畔鬏斔俾剩?/p>

在信道確定的情況下，是信源概率分布的上凸函數(shù)。因此，必然存在一種信源概率分布使信息傳輸率最大。定義這個最大的信息傳輸率為信道容量：相應(yīng)的輸入概率分布被稱為最佳輸入分布。

信道容量：與信源的概率分布無關(guān)；是完全描述信道特性的參量；是信道能夠傳輸?shù)淖畲笮畔⒘俊?/p>

信道單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘浚簭臄?shù)學(xué)上來講，求信道容量就是對平均互信息量I(X;Y)求極大值，但對于一般信道，信道容量的計算比較復(fù)雜因此，我們主要討論一些特殊類型信道的信道容量求法。例

以二元對稱信道。信源的概率空間為信道矩陣為2)固定信道，當(dāng)時，平均互信息取得最大值。1)二進制對稱信道（BSC）二進制對稱信道的信道容量C=1-H(p)

483.2.1信道容量的定義當(dāng)離散信道的輸入與輸出之間為確定關(guān)系或簡單的統(tǒng)計依賴關(guān)系時，我們可稱之為簡單離散信道。簡單離散信道包括：無噪無損信道有噪無損信道無噪有損信道1.

無噪無損信道：輸入、輸出之間有確定的一一對應(yīng)關(guān)系。

anbna1b1a2b2……對于這種信道，易知其信道疑義度2.

有噪無損信道：有噪無損信道，一個輸入對應(yīng)多個輸出。(具有擴展性能）對于這種信道，每個輸入符號通過信道后可能變成幾種輸出符號，因此噪聲上H(Y|X)≥0.但各輸出符號所對對應(yīng)的輸出符號不相重合，且這些集合與各輸入符號一一對應(yīng)。這就意味著接收到符號Y后，對發(fā)送X的符號可以完全確定，信道疑義度H(X|Y)=0。結(jié)論：由上述兩種信道的特點可以看出：若信道轉(zhuǎn)移矩陣中每一列有且僅有一個非零元素（即每個輸出符號對應(yīng)著唯一的輸出符號），則該信號一定是無損信道。其輸出傳送率即等于信源熵，信道容量等于logr3.無噪無損信道：無噪有損信道，它是一個輸出對應(yīng)多個輸入。（具有歸并性能）3.2.2對稱離散的信道容量定義：若信道矩陣中每行都是第一行的排列，并且每列都是第一列的排列，則稱之為對稱離散信道。練習(xí)：判斷下列矩陣表示的信道是否是對稱信道√√57相應(yīng)的對稱離散信道的信道容量58例：某對稱離散信道的信道矩陣為信道容量為:59例：某對稱離散信道的信道矩陣為若信道的輸入輸出符號r=s，且對于每一個輸入符號，正確傳輸概率都相等，且錯誤傳輸概率p均勻地分配到r-1個符號，則稱此信道為強對稱信道或均勻信道。強對稱信道具備四個特征：