第5章連續(xù)信源和連續(xù)信道

第5章連續(xù)信源和連續(xù)信道5.1連續(xù)信源

5.2連續(xù)信道及其信道容量

本章小結(jié)5.1連續(xù)信源5.1.1連續(xù)信源的數(shù)學(xué)模型5.1.2連續(xù)信源的熵和互信息離散信源連續(xù)信源5.1.1連續(xù)信源的數(shù)學(xué)模型5.1.2連續(xù)信源的熵和互信息【定義5-1】對于連續(xù)信源X，其概率密度函數(shù)為p(x)，則該連續(xù)信源的熵為說明：與離散信源熵形式相同，但意義不同；連續(xù)信源不確定性是無窮大，因此熵無窮大；連續(xù)信源熵只是相對值?！径x5-2】設(shè)有兩個連續(xù)隨機變量X和Y，其聯(lián)合熵為式中，p(xy)是二維聯(lián)合概率密度函數(shù)?；蛘呤街?，p(x?y)、p(y?x)是條件概率密度函數(shù)。【定義5-3】設(shè)有兩個連續(xù)隨機變量X和Y，其條件熵為【定義5-4】兩個連續(xù)隨機變量X和Y之間的平均互信息量為由該定義可以得到證明由上述推導(dǎo)可以看出，有

證明且有

結(jié)論：上述定義與離散信源的對應(yīng)關(guān)系式完全類似。同樣可用圖2-6的維拉圖表示；由于連續(xù)熵是相對熵，因此它不具有非負性和極值性。小結(jié)離散信源聯(lián)合熵條件熵平均互信息I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)連續(xù)信源聯(lián)合熵條件熵平均互信息I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)熵的例子1【例5-1，P77】求均值為m，方差為σ2的高斯分布信源的熵。概率密度函數(shù)則熵為如果取對數(shù)的底為e，有熵的例子2【例5-3，P78】設(shè)隨機變量X和Y的聯(lián)合概率密度為求：(1)H(X)和H(Y)各為多少?

(2)H(X?Y)和H(Y?X)各為多少?(3)H(X,Y)是多少？

(4)I(X;Y)是多少？解：（1）則有同理熵的例子2（續(xù)）（2）同理（3）由聯(lián)合熵定義有熵的例子2（續(xù)）（4）由互信息定義有

討論兩個高斯隨機變量的熵只與各自的方差有關(guān)；條件熵與相關(guān)系數(shù)ρ有關(guān)；當ρ=0時，即X與Y互不相關(guān)，或者說互相獨立時，H(X)=H(X?Y)和H(Y)=H(Y?X)；聯(lián)合熵與ρ有關(guān)；互信息量僅與ρ有關(guān)，與方差無關(guān)。當ρ=0時，I(X;Y)=0

熵的例子3【例，增】求均勻分布信源的熵。概率密度函數(shù)則熵為5.2連續(xù)信道及其信道容量5.2.1時間離散信道5.2.2連續(xù)信道連續(xù)信道：輸入和輸出均為連續(xù)的隨機信號；時間離散：離散時間信道（或時間離散信道）時間連續(xù)：連續(xù)信道（或波形信道）5.2.1時間離散信道設(shè)時間離散信道的輸入和輸出集分別為為X和Y。則對于加性噪聲模型，有：Y=X+N其中N為隨機加性噪聲，且X和N統(tǒng)計獨立。定義信道容量為可以證明：因此

即簡單加性信道的互信息由輸出熵和噪聲熵決定。證明加性噪聲模型互信息的計算：若輸入信源X和噪聲N分別為均值為0、方差為2X和2N的高斯分布，則隨機變量Y為均值為0、方差為2X+2N的高斯分布。此時說明：當任意大時，I(X;Y)也任意大；但實際系統(tǒng)功率受限?！径x5-5】對于平均功率受限、最簡單的一維時間離散可加高斯噪聲信道的互信息為因此信道容量為【定理5-1】假設(shè)輸入信源的平均功率小于2X，信道加性噪聲平均功率為2N，則可加噪聲信道容量C滿足

式中，2為噪聲的熵功率。說明：當噪聲功率2N給定后，高斯型干擾是最壞的干擾，此時信道容量最?。贿@就是在科學(xué)研究中通常假設(shè)噪聲為高斯噪聲的原因。（分析最壞的情況比較安全）。證明5.2.2連續(xù)信道設(shè)連續(xù)信道的輸入、輸出、噪聲分別為X(t),Y(t),N(t)。則對于加性噪聲模型，有：Y(t)=X(t)+N(t)由于信道帶寬有限，根據(jù)隨機信號采樣定理，可以將一個時間連續(xù)的信道轉(zhuǎn)換為時間離散的隨機序列進行處理。設(shè)輸入、噪聲和輸出隨機序列分別為Xi(i=1,2,…,n)，Ni(i=1,2,…,n)和Yi(i=1,2,…,n)，則有Yi

=Xi+Ni由于信道是無記憶的，那么n維隨機序列的平均互信息滿足時間連續(xù)信道的信道容量為若信道為高斯信道，則時間連續(xù)信道的信道容量為達到該信道容量的條件是，n維輸入隨機序列中，每一分量都必須是均值為0，方差為2N且相互獨立的高斯變量。本章小結(jié)連續(xù)信源主要講了信源的模型、熵、共熵、條件熵和平均互信息。需要注意的是連續(xù)信源的熵不同于離散信源的熵。連續(xù)信源的熵是相對熵，與離散信源的熵相比，去掉了一個無窮大項。連續(xù)信道分時間離散和時間連續(xù)兩種情況討論，信道上的噪聲主要討論了加性高斯噪聲。給出了不同情況下的信道容量?！径x5-4】兩個連續(xù)隨機變量X和Y之間的平均互信息量為由該定義可以得到返回證明：證畢返回證畢證明：證明：

設(shè)隨機變量X和隨機噪聲N的概率密度分別為pX(x)和pN(z)，不難求得則有返回證畢【定理5-1】假設(shè)輸入信源的平均功率小于2X，信道加性噪聲平均功率為2N，則可加噪聲信道容量C滿足

式中，2為噪聲的熵功率。證明：對于加性噪聲信道當輸入信源X和和噪聲N的均值分別為0時，信道輸