信息論03課件

信源 編碼器 信道 譯碼器 信宿 信息傳輸系統(tǒng)示意圖 信道是重要的信息傳輸通道 研究信道就是研究它能夠傳輸?shù)淖畲笮畔⒘?離散信道及其信道容量 信道的數(shù)學模型及分類平均互信息 與平均條件互信息信道容量 及其一般計算方法獨立并聯(lián)信道及其信道容量信源與信道的匹配 1 信道的數(shù)學模型及分類 信道的分類 離散信道的數(shù)學模型 信道 三種信道 1 無干擾 無噪 信道 2 有干擾無記憶信道 3 有干擾有記憶信道 無記憶信道的充要條件 單符號離散信道的數(shù)學模型 信道的傳遞概率 轉移概率 且滿足 二元對稱信道 BSC 用矩陣來表示 且滿足 離散信道傳遞矩陣 接收到輸出符號 后 輸入符號 的平均不確定性為 信道疑義度 2 平均互信息及平均條件互信息 平均互信息 對于單個事件 互信息與輸入 輸出信號熵的關系 維拉圖 損失熵 噪聲熵 平均條件互信息 信道1 信道2 已知z的條件下 接收到y(tǒng)后獲得關于x的條件互信息 已知y z的條件下 總共獲得關于x的互信息 同樣 求統(tǒng)計平均 可得 例題 四個等概率分布的消息被送入一個二元無記憶對稱信道進行傳送 通過編碼使而BSC信道如圖所示 試問輸入是和輸出第一個符號是0的互信息是多少 如果知道第二個符號也是0 這時帶來多少附加信息量 輸入是和輸出符號是0的互信息 所以 比特 第二個符號是0帶來的附加信息量是 而 因為信道是無記憶信道 所以 比特 例題 設信源 通過一干擾信道 接收符號為 信道傳遞概率如圖所示 求 信源中事件和分別含有的自信息 2 收到消息后 獲得的關于的信息量 3 信源和信源的信息熵 4 信道疑義度和噪聲熵 5 收到信息后獲得的平均互信息 1 事件含有的自信息 比特 事件含有的自信息 比特 2 互信息公式 所以可得 則 比特 比特 比特 比特 3信源與的信息熵 比特 符號 比特 符號 4信道疑義度 而 可得 比特 符號 比特 符號 噪聲熵 5收到信息后獲得的平均互信息 比特 符號 平均互信息的特性 1平均互信息的非負性 2平均互信息的極值性 3平均互信息的交互性 對稱性 4平均互信息的凸狀性 a 平均互信息是輸入信源的概率分布的型凸函數(shù) b 平均互信息是信道傳遞概率分布的型凸函數(shù) 3 3信道容量及其計算方法 信道容量就是信道的最大信息傳輸率 平均每個符號所能傳送的信息量 物理意義 信道傳輸?shù)淖畲笮畔⒘?只與信道的統(tǒng)計特性有關 對應的輸入概率分布稱為最佳輸入分布 離散無噪 無損信道的的信道容量 對于無噪無損信道 互信息 信道容量 對于有噪無損信道 信道容量 對于無噪有損信道 信道容量 互信息 互信息 損失熵 噪聲熵 對稱離散信道的信道容量 對稱離散信道 信道矩陣中每一行都是由同一集的諸元素的不同排列組成 并且每一列也都是由集的諸元素不同排列組成 即信道矩陣中每一行是另一行的置換 以及每一列是另一列的置換 信道容量 對于對稱離散信道 當輸入符號達到等概率分布時 則輸出符號也一定是等概率分布 所以 例題 某對稱離散信道的信道矩陣為 其信道容量為 比特 符號 準對稱信道的信道容量 若信道矩陣的列可以劃分成若干個互不相交的子集 即 由為列組成的矩陣是對稱矩陣 則稱信道矩陣所對應的信道為準對稱信道 信道容量 其中 為子矩陣的個數(shù) 例題 設信道傳遞矩陣為 可計算得 信道容量為 一般離散信道的信道容量 一般離散信道的平均互信息達到極大值 即等于信道容量 的充要條件是輸入概率分布滿足 對所有其 對所有其 就是所求的信道容量 其中 設離散信道如圖所示 輸入符號集為 輸出符號集為 信道矩陣為 試求信道的信道容量 例題 假設輸入概率分布為 因此信道容量 比特 符號 離散無記憶擴展信道及其信道容量 對于離散無記憶信道 輸入符號集 輸出符號集 信道矩陣為 則此信道的離散無記憶擴展信道可以表示為 滿足 所以 離散無記憶擴展信道的信道容量 當信源也是無記憶時 信道1 信道2 信道3 N個獨立并聯(lián)信道的聯(lián)合概率 聯(lián)合平均互信息 信道容量 獨立并聯(lián)信道及其信道容量 串聯(lián)信道的互信息和數(shù)據(jù)處理定理 信道1 信道2 對于串聯(lián)信道 每一級輸出矢量只取決于它的輸入 而與更前面的輸入無關 則有 串聯(lián)信道的信道容量為 信源與信道的匹配 信道剩余度 信道相對剩余度 小結 信道的分類 離散信道的數(shù)學模型