4-第四講-信道容量及其計(jì)算

第四講

4－1信道容量

4－2信道容量的計(jì)算方法信道容量及其計(jì)算2023最新整理收集do

somethingYXa1=0pp1-p1=b2a2=10=b11-p1、常見的簡單DMC離散信道：二元對稱信道

（DSC）：輸入符號X取值于{0,1}，輸出符號取值于{0,1}，傳遞概率為

4－1信道容量二元?jiǎng)h除信道（BEC）：輸入符號X取值于{0,1}，輸出符號取值于{0,2,1}，傳遞概率為01q1-p1-qp120010？21刪除信道的必要性2、信道容量定義信息傳輸率：信道中平均每個(gè)符號所能傳送的信息量。

R=I(X;Y)=H(X)-H(X|Y)（bit/符號）

有時(shí)我們需要關(guān)心單位時(shí)間內(nèi)（一般為秒為單位）平均傳輸?shù)男畔⒘?，若平均傳輸一個(gè)符號需要t秒，則信道每秒平均傳輸?shù)男畔⒘繛椋ㄋ俾剩㊣（X；Y）是輸入隨機(jī)變量的概率分布的上凸函數(shù)，所以對于固定的信道，總存在一種信源分布，使傳輸每個(gè)符號平均獲得的信息量最大，也就是說，每一個(gè)固定信道都有一個(gè)最大的信息傳輸率。

信道容量定義為信道中每個(gè)符號所能傳遞的最大信息量，也就是最大I(X；Y)值。此時(shí)輸入的概率分布稱為最佳輸入分布。

信道容量C與輸入信源的概率無關(guān)（C只對應(yīng)著一種信源概率分布，即最佳概率分布），它只是信道傳輸概率的函數(shù)（不同的轉(zhuǎn)移概率對應(yīng)不同的信道），只與信道的統(tǒng)計(jì)特性有關(guān)，所以信道容量是完全描述信道特性的參量。

信道容量表示了信道傳送信息的最大能力，這個(gè)量在信息論研究中有重要意義。編碼定理將證明：傳送的信息量R必須小于信道容量C，否則傳送過程中將會造成信息損失；若R<C，就可以通過編碼方法保證將全部信息幾乎無誤地傳送倒收端。4－2信道容量的計(jì)算（1）、對稱信道的容量對稱信道：信道矩陣的每一行都是由同一概率分布的不同排列組成，并且每一列也是同一元素集的不同的排列組成。

1/31/31/61/61/31/31/61/6行列1/21/31/61/61/31/21/31/61/2行列而以下兩個(gè)矩陣不是對稱的，而是準(zhǔn)對稱的。（行對稱而不是列對稱）1/31/31/61/61/31/31/61/6二元對稱信道的容量：

例：0.70.10.20.20.10.7對于對稱信道由于信道是對稱的，上邊的條件熵與x無關(guān)，所以

對于對稱信道，輸入符號的概率分布為等概時(shí)，輸出符號也一定是等概的。

例：(P95－例3.5)輸出符號集個(gè)數(shù)（2）、準(zhǔn)對稱信道的容量

準(zhǔn)對稱信道：信道矩陣（列）的子陣是對稱矩陣。定理：達(dá)到準(zhǔn)對稱離散信道信道容量的輸入分布為等概分布。r是輸入個(gè)數(shù)，n是不相交子集數(shù)，Nk是行之和，Mk是列之和解：達(dá)到信道容量的輸入分布為等概分布。此時(shí)輸出分布為：例：求二元對稱刪除信道的C。（例3.8中特例）1-qqq1-q012（與公式計(jì)算的結(jié)果相同）此時(shí)平均互信息就是信道容量此例題可作為后面：一般信道容量充分必要條件定理的例子。該定理說明：只要信源每個(gè)符號對于輸出端Y提供相同的互信息（概率為零的除外），則此時(shí)平均互信息就是信道容量。定理：一般離散信道的平均互信息I(X;Y)達(dá)到極大值的充要條件是：輸入概率矢量滿足

其中是信道輸入x=k時(shí)，關(guān)于信道輸出一個(gè)字母的平均互信息，即（3）、一般DMC容量的計(jì)算

一般信道容量的計(jì)算方法（拉格朗日乘子法）定理1：如果信道的輸入隨機(jī)序列為通過信道傳輸，接收到的隨機(jī)序列為若信道是無記憶的，即滿足

則（4）、擴(kuò)展信道的信道容量證明：設(shè)信道輸入輸出序列X和Y的一個(gè)取值為因?yàn)樾诺朗菬o記憶的：

另一方面

這里用到（全概率公式）定理2：如果信道的輸入隨機(jī)序列為通過信道傳輸，接收到的隨機(jī)序列為若信源是無記憶的，即滿足

則所以，如果信道和信源都是無記憶的，則（5）、信道的組合并聯(lián)信道：兩個(gè)或更多個(gè)信道并行，同時(shí)分別傳送；信道1p(j|k)信道2p(j’|k’)定理：獨(dú)立并行信道的容量為各分信道容量之和。級聯(lián)信道：信道1的輸出作為信道2的