4-第四講-信道容量及其計算

第四講

4－1信道容量

4－2信道容量的計算方法信道容量及其計算2023最新整理收集do

somethingYXa1=0pp1-p1=b2a2=10=b11-p1、常見的簡單DMC離散信道：二元對稱信道

（DSC）：輸入符號X取值于{0,1}，輸出符號取值于{0,1}，傳遞概率為

4－1信道容量二元刪除信道（BEC）：輸入符號X取值于{0,1}，輸出符號取值于{0,2,1}，傳遞概率為01q1-p1-qp120010？21刪除信道的必要性2、信道容量定義信息傳輸率：信道中平均每個符號所能傳送的信息量。

R=I(X;Y)=H(X)-H(X|Y)（bit/符號）

有時我們需要關心單位時間內(nèi)（一般為秒為單位）平均傳輸?shù)男畔⒘?，若平均傳輸一個符號需要t秒，則信道每秒平均傳輸?shù)男畔⒘繛椋ㄋ俾剩㊣（X；Y）是輸入隨機變量的概率分布的上凸函數(shù)，所以對于固定的信道，總存在一種信源分布，使傳輸每個符號平均獲得的信息量最大，也就是說，每一個固定信道都有一個最大的信息傳輸率。

信道容量定義為信道中每個符號所能傳遞的最大信息量，也就是最大I(X；Y)值。此時輸入的概率分布稱為最佳輸入分布。

信道容量C與輸入信源的概率無關（C只對應著一種信源概率分布，即最佳概率分布），它只是信道傳輸概率的函數(shù)（不同的轉移概率對應不同的信道），只與信道的統(tǒng)計特性有關，所以信道容量是完全描述信道特性的參量。

信道容量表示了信道傳送信息的最大能力，這個量在信息論研究中有重要意義。編碼定理將證明：傳送的信息量R必須小于信道容量C，否則傳送過程中將會造成信息損失；若R<C，就可以通過編碼方法保證將全部信息幾乎無誤地傳送倒收端。4－2信道容量的計算（1）、對稱信道的容量對稱信道：信道矩陣的每一行都是由同一概率分布的不同排列組成，并且每一列也是同一元素集的不同的排列組成。

1/31/31/61/61/31/31/61/6行列1/21/31/61/61/31/21/31/61/2行列而以下兩個矩陣不是對稱的，而是準對稱的。（行對稱而不是列對稱）1/31/31/61/61/31/31/61/6二元對稱信道的容量：

例：0.70.10.20.20.10.7對于對稱信道由于信道是對稱的，上邊的條件熵與x無關，所以

對于對稱信道，輸入符號的概率分布為等概時，輸出符號也一定是等概的。

例：(P95－例3.5)輸出符號集個數(shù)（2）、準對稱信道的容量

準對稱信道：信道矩陣（列）的子陣是對稱矩陣。定理：達到準對稱離散信道信道容量的輸入分布為等概分布。r是輸入個數(shù)，n是不相交子集數(shù)，Nk是行之和，Mk是列之和解：達到信道容量的輸入分布為等概分布。此時輸出分布為：例：求二元對稱刪除信道的C。（例3.8中特例）1-qqq1-q012（與公式計算的結果相同）此時平均互信息就是信道容量此例題可作為后面：一般信道容量充分必要條件定理的例子。該定理說明：只要信源每個符號對于輸出端Y提供相同的互信息（概率為零的除外），則此時平均互信息就是信道容量。定理：一般離散信道的平均互信息I(X;Y)達到極大值的充要條件是：輸入概率矢量滿足

其中是信道輸入x=k時，關于信道輸出一個字母的平均互信息，即（3）、一般DMC容量的計算

一般信道容量的計算方法（拉格朗日乘子法）定理1：如果信道的輸入隨機序列為通過信道傳輸，接收到的隨機序列為若信道是無記憶的，即滿足

則（4）、擴展信道的信道容量證明：設信道輸入輸出序列X和Y的一個取值為因為信道是無記憶的：

另一方面

這里用到（全概率公式）定理2：如果信道的輸入隨機序列為通過信道傳輸，接收到的隨機序列為若信源是無記憶的，即滿足

則所以，如果信道和信源都是無記憶的，則（5）、信道的組合并聯(lián)信道：兩個或更多個信道并行，同時分別傳送；信道1p(j|k)信道2p(j’|k’)定理：獨立并行信道的容量為各分信道容量之和。級聯(lián)信道：信道1的輸出作為信道2的