熵速率和信道容量

1、2.7熵速率和信道容量信源熵速率信源在單位時(shí)間內(nèi)輸出的熵稱為信源的熵速率，也叫信息速率或傳信率。1.離散信源的熵速率2.連續(xù)信源的熵速率如果信源輸出信號的帶寬有限，最大為W，則根據(jù)采樣定理，為了采樣后不丟失任何信息，其采樣率應(yīng)至少為2W，因此連續(xù)信源的熵速率應(yīng)為:信道容量的概念信道容量是信道對信源一切可能的概率分布而言能夠傳送的最大熵速率，其單位為比特/秒等。1.離散信道的信道容量離散信源如果有n個(gè)符號，符號間無相關(guān)性且等概率分布，則其輸出熵最大：如果離散信道每秒最多能傳送個(gè)信源符號，則最大熵速率為：把信道可能傳送的最大熵速率定義為信道容量. 應(yīng)該注意以下幾個(gè)問題：(1) 信道容量是信道可能傳

2、送的最大熵速率，實(shí)際傳信率可能大大低于信道容量，即可能的最大熵速率，造成信道容量不能充分利用。其原因是因?yàn)樾旁捶栭g有相關(guān)性及符號并非等概分布。解決的辦法是對原始信源符號進(jìn)行編碼，即改造信源，使得信源和信道相匹配，這就是信源最佳編碼或稱為（與信道）匹配編碼。(2) 信道容量（單位為比特/秒等）與信道單位時(shí)間內(nèi)最多可傳輸?shù)姆枖?shù)（例如二進(jìn)符號0、1）有關(guān)系，但這是兩個(gè)不同意義的物理量。其單位前者為比特/秒，后者為符號/秒。(3) 如果發(fā)現(xiàn)傳信率不能滿足要求，應(yīng)先看信源有無可能改造得更好，以充分利用現(xiàn)有的信道容量。只有在要求的傳信率已高于現(xiàn)有信道的容量時(shí)，才考慮更換更大容量的信道。因?yàn)橐话愀脑煨诺?/p>

3、要比改造信源的代價(jià)大得多（指長距離信道），或占用更多的資源。2.連續(xù)信源的信道容量前面已經(jīng)討論過，對于帶寬為平均功率受限的連續(xù)信源當(dāng)其幅度為高斯分布時(shí)，其熵最大：根據(jù)采樣定理每秒的采樣數(shù)至少應(yīng)為，于是信道傳送的最大熵速率也即信道容量為：離散有噪聲信道中的熵速率和信道容量前面已經(jīng)討論過信源發(fā)送一個(gè)消息，信宿接收到消息所獲得的信息量或所接收的熵，由下式表示：發(fā)送某一個(gè)消息，接收某一個(gè)消息的情況，不能反映全部消息的情況。如果對全部發(fā)送的消息進(jìn)行統(tǒng)計(jì)平均，就可以得到接收某一個(gè)yj所獲得的關(guān)于的信息量：在信宿端接收到所有的情況下來計(jì)算收到一個(gè)消息的平均信息量，還應(yīng)對全部接收消息p(yj)進(jìn)行統(tǒng)計(jì)平均：例

4、2.7.1 仍以例2.1.5例2.2.1為例，如果該信源以平均1000消息/秒的速率發(fā)送信息，利用例2.1.5例2.2.1的結(jié)果計(jì)算信源熵速率和信宿接收的熵速率?？梢啥鹊奈锢斫忉屔睫r(nóng)用一個(gè)理想化的通信系統(tǒng)，對可疑度的物理意義作了解釋，他認(rèn)為是為了克服信道中噪聲干擾，使信宿能無差錯(cuò)地加以識別信源所發(fā)出的信息，而必須額外提供的糾正信息。 現(xiàn)在假設(shè)信源是一個(gè)二元等概離散信源。輸出有兩個(gè)符號0和1，而信道是對稱信道，即如發(fā)生錯(cuò)誤，則發(fā)0錯(cuò)為1和發(fā)1錯(cuò)為0的概率相同。如發(fā)現(xiàn)收發(fā)端消息是一樣的，說明傳送無誤，于是理想觀察者對校正裝置發(fā)0，不進(jìn)行校正，但如果發(fā)現(xiàn)收發(fā)端消息不一樣，就說明傳送有錯(cuò)誤（由于信道中

5、噪聲干擾），于是理想觀察者就向校正裝置發(fā)1，令其糾錯(cuò)。疑義度確是為了克服信道中的噪聲干擾，使信宿能正確獲得信源所發(fā)出的信息，而必須額外提供的糾正信息。理想觀察者發(fā)0（不糾錯(cuò)）發(fā)1（糾錯(cuò)）兩個(gè)消息，這兩個(gè)消息也可以組成一個(gè)概率空間，就象一個(gè)離散信源，于是理想觀察者提供的信息可按下述方法求得：p觀察者(0)=1-pp觀察者(1)=p若傳送無錯(cuò)誤，則理想觀察者向校正裝置為0。例2.7.2有一個(gè)二元信源，輸出0和1兩種符號：。每秒信源發(fā)出10000個(gè)符號，信號通過有噪聲對稱信道，其差錯(cuò)率為1%，求信宿收到的信息速率。連續(xù)有噪信道的熵速率研究一種最常用和重要的信道，稱為高斯白噪聲加性波形信道。其輸入和輸

6、出信號是隨機(jī)過程和，信道的噪聲是加性高斯白噪聲，所謂加性，即下式成立： y(t)=x(t)+n(t) (2.7.1)連續(xù)信源的最大熵是與限定條件有關(guān)的，而沒有絕對的最大熵。這里設(shè)輸入信號的平均功率受限為，信道的通帶是寬度為的矩形，信道中的干擾噪聲平均功率為，信源與噪聲的共熵為：H(X,n)=H(X)+H(n/X) (2.7.2)現(xiàn)在來看信宿端接收信號的概率分布。由于是加性干擾，則根據(jù)式（）接收的消息是發(fā)送消息與噪聲之和，所以對于任何給定的X,Y的分布規(guī)律與n是一樣的，即Y 的概率分布也是高斯分布，即：p(y/x)=p(n/x)連續(xù)有噪信道的信道容量如果固定信道，并設(shè)法使傳信率最大化，則此時(shí)的最

7、大熵速率就定義為信道容量，即： (2.7.3)現(xiàn)在的問題是信源或信宿端的幅度概率分布應(yīng)為何種分布，才能使式（）達(dá)最大值。現(xiàn)在來計(jì)算信道容量，設(shè)發(fā)送信號平均功率為P，信道中噪聲平均功率為N，由于是加性干擾，所以接受信號的平均功率為P+N。前面已經(jīng)知道固定，信道容量C就等于的最大化，在平均功率受限的前提下，接收信號Y為高斯分布時(shí)，H(Y)有最大值，由于高斯白噪聲n是高斯分布，故由Y和N合成的輸入信號也一定是高斯分布，所以在信源X為高斯分布或信宿端的Y為高斯分布時(shí)，H(Y)取得最大值。如果信道帶寬如前所述為W，則采樣率為2W，可以計(jì)算的最大值： (2.7.5) (2.7.6)式（）和（）就是有名的山農(nóng)公式，是信息論中最重要的公式，根據(jù)山農(nóng)公式可以得出重要的結(jié)論：1平均功率受限的高斯白噪聲連續(xù)信道，其信道容量與信道帶寬以及功率噪聲比有關(guān)，其值越大，信道容量越大。2平均功率受限的高斯白噪聲連續(xù)信道，只有在輸入信號幅度為高斯分布時(shí)，傳信率才能達(dá)到理論最大值，即等于信道