第4章單符號離散信道

第4章單符號離散信道離散信道的數(shù)學(xué)模型條件信息量及平均條件信息量其它相關(guān)信息量交互信息量條件交互信息量平均交互信息量平均交互信息量非負性平均交互信息量的極值性信道容量的一般計算方法幾種無噪聲信道的信道容量幾種對稱信道的信道容量1)轉(zhuǎn)移概率模型信道確定，則轉(zhuǎn)移概率確定。反之，轉(zhuǎn)移概率確定，則信道確定。第1節(jié)離散信道的數(shù)學(xué)模型1、平穩(wěn)無記憶離散信道的數(shù)學(xué)模型2)轉(zhuǎn)移概率矩陣模型信道確定，則轉(zhuǎn)移概率矩陣確定。反之，轉(zhuǎn)移概率矩陣確定，則信道確定。第1節(jié)離散信道的數(shù)學(xué)模型3)狀態(tài)轉(zhuǎn)移圖模型信道確定，則狀態(tài)轉(zhuǎn)移圖確定。反之，狀態(tài)轉(zhuǎn)移圖確定，則信道確定。第1節(jié)離散信道的數(shù)學(xué)模型例：在通信工程，通常使用二進制刪除信道。(輸入符號集{0,1}，輸出符號集{0,?,1})1)轉(zhuǎn)移概率模型第1節(jié)離散信道的數(shù)學(xué)模型3)狀態(tài)轉(zhuǎn)移圖模型p1-p1-pp2)轉(zhuǎn)移概率矩陣模型第1節(jié)離散信道的數(shù)學(xué)模型例：在通信工程，通常使用二進制對稱信道。(輸入符號集{0,1}，輸出符號集{0,1})1)轉(zhuǎn)移概率模型第1節(jié)離散信道的數(shù)學(xué)模型3)狀態(tài)轉(zhuǎn)移圖模型2)轉(zhuǎn)移概率矩陣模型第1節(jié)離散信道的數(shù)學(xué)模型p1-p1-pp第1節(jié)離散信道的數(shù)學(xué)模型2、平穩(wěn)馬爾可夫信道的數(shù)學(xué)模型平穩(wěn)就是與什么時候傳輸沒有關(guān)系，無記憶就是與前面?zhèn)鬏數(shù)姆枦]有關(guān)系。而馬爾可夫信道是有記憶的，只是記憶長度很短。例如有這樣一個信道，信源發(fā)送的符號集{0，1}，010101010101011、幾種概率及其關(guān)系第2節(jié)條件自信量及平均條件自信量信宿符號的概率分布信源符號的概率分布，也稱作先驗概率信道的轉(zhuǎn)移概率聯(lián)合概率分布后驗概率第2節(jié)條件自信量及平均條件自信量第2節(jié)條件自信量及平均條件自信量A已知接收為有yj的條件下，對發(fā)送為xi的不確定性。2、條件自信量1)、定義2)、物理意義例：某一無記憶信源的符號集為{0,1}，已知，。信道轉(zhuǎn)移概率矩陣為第2節(jié)條件自信量及平均條件自信量第2節(jié)條件自信量及平均條件自信量分析：第2節(jié)條件自信量及平均條件自信量第2節(jié)條件自信量及平均條件自信量第2節(jié)條件自信量及平均條件自信量第2節(jié)條件自信量及平均條件自信量第2節(jié)條件自信量及平均條件自信量3、平均條件自信量1)、定義信源平均條件自信量疑義度equivocation信源的條件熵例：P166T1求(1)信源X中的符號a1和a2分別含有多少信息量通過一個信道，信道的輸出隨機變量Y的符號集為，信道的矩陣設(shè)信源第2節(jié)條件自信量及平均條件自信量(2)信源X和信宿Y的信息熵第2節(jié)條件自信量及平均條件自信量信道疑義度H(X/Y)和噪聲熵H(Y/X)第2節(jié)條件自信量及平均條件自信量第2節(jié)條件自信量及平均條件自信量第3節(jié)其它相關(guān)信息量第3節(jié)其它相關(guān)信息量第3節(jié)其它相關(guān)信息量第3節(jié)其它相關(guān)信息量1、信源、信道及信宿1)信源2)信道

第4節(jié)平穩(wěn)無記憶信道的交互信息量3)信宿

第4節(jié)平穩(wěn)無記憶信道的交互信息量2、交互信息量的定義

第4節(jié)平穩(wěn)無記憶信道的交互信息量物理意義：接收到y(tǒng)j前后信源發(fā)符號xi的不確定性的改變

yj中包含的關(guān)于xi的信息量

第4節(jié)平穩(wěn)無記憶信道的交互信息量4、交互信息量的三種數(shù)學(xué)表述

第4節(jié)平穩(wěn)無記憶信道的交互信息量5、互信量與條件自信量、自信量的關(guān)系及互信量的意義

第4節(jié)平穩(wěn)無記憶信道的交互信息量含義：1)從yj中獲取的關(guān)于xi的信息量從xi中獲取的關(guān)于yj的信息量

第4節(jié)平穩(wěn)無記憶信道的交互信息量

第4節(jié)平穩(wěn)無記憶信道的交互信息量6、討論:1)如果xi和yj統(tǒng)計無關(guān),即P(xi|yj)=P(xi)則有：I(xi;yj)=02)如果xi由yj唯一確定,即P(xi|yj)=1,則有I(xi;yj)=I(xi)3)當(dāng)0P(xi|yj)<P(xi)時,則有I(xi;yj)<04)當(dāng)1P(xi|yj)>P(xi),則有I(xi;yj)>0

第4節(jié)平穩(wěn)無記憶信道的交互信息量設(shè)信源通過一個信道，信道的輸出隨機變量Y的符號集為，信道的矩陣求收到消息后獲取關(guān)于a1,a2的交互信息量

第4節(jié)平穩(wěn)無記憶信道的交互信息量方法一：

第4節(jié)平穩(wěn)無記憶信道的交互信息量

第4節(jié)平穩(wěn)無記憶信道的交互信息量

第4節(jié)平穩(wěn)無記憶信道的交互信息量方法二：

第4節(jié)平穩(wěn)無記憶信道的交互信息量

第4節(jié)平穩(wěn)無記憶信道的交互信息量已知從符號B中獲取關(guān)于符號A的信息量是1比特，當(dāng)符號A的先驗概率(priorprobability)P(A)為下列各值時，分別計算收到B后推測A的后驗概率(posteriorprobability)應(yīng)是多少。

第4節(jié)平穩(wěn)無記憶信道的交互信息量1、串接信道模型

第5節(jié)條件交互信息量設(shè)信道1的輸入符號集為輸出符號集為設(shè)信道2的輸入符號集為輸出符號集為信道信道1信道2輸入符號

第5節(jié)條件交互信息量2、概率關(guān)系1)邊緣分布關(guān)系

第5節(jié)條件交互信息量2)條件概率分布關(guān)系

第5節(jié)條件交互信息量

第5節(jié)條件交互信息量3、條件互信量1)定義

第5節(jié)條件交互信息量

第5節(jié)條件交互信息量2)同理：

第5節(jié)條件交互信息量P？例：已知無失真信源編碼信源消息、消息編碼及每一消息對應(yīng)的碼字如下表所示信源消息a1a2a3a4a5a6a7a8碼字000001010011100101110111消息概率1/41/41/81/81/161/161/161/16求接收消息a4的碼字中第一、二、三符號后分別接收到的信息量

第5節(jié)條件交互信息量

第5節(jié)條件交互信息量1)、從第一個符號0中獲取的關(guān)于消息a4的信息量

第5節(jié)條件交互信息量2)、在已知第一個符號為0的條件下，從第二個符號1中獲取的關(guān)于消息a4的信息量

第5節(jié)條件交互信息量3)、在已知第一個符號為0且第二個符號為1的條件下，從第三個符號1中獲取的關(guān)于消息a4的信息量所以從三個符號中得到的關(guān)于a4的信息量的和為：

第5節(jié)條件交互信息量4、條件交互信息量

第5節(jié)條件交互信息量

第5節(jié)條件交互信息量1、定義意義：信道平均每傳遞一個符號所傳遞的信息量。單位：比特/傳遞一個符號第6節(jié)平均交互信息量2、平均交互信息量的三種表達形式第6節(jié)平均交互信息量第6節(jié)平均交互信息量第6節(jié)平均交互信息量平均交互信息量信宿平均條件自信量信宿的條件熵反向疑義度噪聲熵信源熵信源平均自信量信宿平均自信量信宿熵后驗共熵第6節(jié)平均交互信息量信源信道信源熵H(X)：代表平均每個信源符號所攜帶的信息量平均互信量I(X;Y)：代表信道平均每傳輸一個符號所傳遞的信息量信源條件熵H(X/Y)：代表信道平均每傳輸一個符號所損失的信息量3、意義第6節(jié)平均交互信息量信源信道反向信道信源熵H(Y)：代表平均每個信源符號所攜帶的信息量反向信道平均互信量I(X;Y)：代表信道平均每傳輸一個符號所傳遞的信息量反向信道信源條件熵H(Y/X)：代表反向信道平均每傳輸一個符號所損失的信息量第6節(jié)平均交互信息量1、非負性證明第7節(jié)平均交互信息量的非負性第7節(jié)平均交互信息量的非負性2、I(X;Y)＝0的條件當(dāng)X與Y統(tǒng)計獨立時，I(X;Y)＝0驗證：第7節(jié)平均交互信息量的非負性若：X與Y統(tǒng)計獨立，即即則有第7節(jié)平均交互信息量的非負性第7節(jié)平均交互信息量的非負性設(shè)信源通過一個信道，信道的輸出隨機變量Y的符號集為，信道的矩陣(2)收到消息后獲取關(guān)于a1,a2的交互信息量求(1)信源X中的符號a1和a2分別含有多少信息量第7節(jié)平均交互信息量的非負性(3)信源X和信宿Y的信息熵(4)信道疑義度H(X/Y)和噪聲熵H(Y/X)(5)接收到消息Y后獲得的平均交互信息量第7節(jié)平均交互信息量的非負性第7節(jié)平均交互信息量的非負性第7節(jié)平均交互信息量的非負性第7節(jié)平均交互信息量的非負性第7節(jié)平均交互信息量的非負性第8節(jié)平均交互信息量的極值性第8節(jié)平均交互信息量的極值性第8節(jié)平均交互信息量的極值性第8節(jié)平均交互信息量的極值性如果轉(zhuǎn)移概率矩陣中每一列只有一個非零元素，疑義度等于0第8節(jié)平均交互信息量的極值性發(fā)散性無噪聲信道第8節(jié)平均交互信息量的極值性第8節(jié)平均交互信息量的極值性若轉(zhuǎn)移概率矩陣中每行只有一個非零元素1,則噪聲熵為0第8節(jié)平均交互信息量的極值性歸并性無噪聲信道第8節(jié)平均交互信息量的極值性一般無噪聲信道第8節(jié)平均交互信息量的極值性設(shè)輸入符號集為：X={x1,x2,…xr}

輸出符號集為：Y={y1,y2,…ys}.

信道轉(zhuǎn)移概率：P(yj|xi).1、基本條件2、平均交互信息量第9節(jié)信道容量及其一般算法說明：1)平均交互信息量代表信道平均每傳遞一個符號所傳遞的信息量2)平均交互信息量是信源(先驗概率)和信道(轉(zhuǎn)移概率)的函數(shù)。如果信道固定，則平均交互信息量由先驗概率唯一確定。3、信道容量的定義及物理意義在信道指定的條件下，平均互信量的最大值稱為該信道的容量。記做：第9節(jié)信道容量及其一般算法意義：信道平均每傳遞一個符號最多傳遞多少信息量說明：滿足信道容量的信源概率分布可能不唯一。其中：4、單位第9節(jié)信道容量及其一般算法5、計算信道容量的一般方法假設(shè)第9節(jié)信道容量及其一般算法時信道達到其容量，則構(gòu)造拉哥朗日函數(shù)：第9節(jié)信道容量及其一般算法第9節(jié)信道容量及其一般算法對上式進一步化簡需要先求平均互信量對pi的偏導(dǎo)。在求信道容量時，信道確定，即轉(zhuǎn)移概率確定，因此將其作為常量。所以因為第9節(jié)信道容量及其一般算法第9節(jié)信道容量及其一般算法即第9節(jié)信道容量及其一般算法定義公式化簡得到比較有用的公式11）在公式1中，轉(zhuǎn)移概率已知，需要求出p1,p2,…,pr和λ共r+1個量，等式一共有r+1個。若這些等式相互獨立，則有唯一的一組解，即只有概率滿足此條件時平均互信量才達到最大值。若有部分等式相關(guān)，則有很多組解，此時說明達到信道容量的信源概率可以有很多種分布。第9節(jié)信道容量及其一般算法說明：2）將可行的一組信源概率分布代入到平均互信量公式，即可得到信道容量。3）實際計算時還是比較復(fù)雜，嘗試進一步簡化在公式1中，將前一個等式的兩邊同時乘以pi并對i求和因為左式＝右式，所以公式1可以表示為：第9節(jié)信道容量及其一般算法等式可化簡為：第9節(jié)信道容量及其一般算法令：討論：第9節(jié)信道容量及其一般算法如果第一次計算結(jié)果不滿足，怎么辦？？？？1一般無噪聲信道第10節(jié)幾種無噪聲信道的信道容量2發(fā)散性無噪聲信道信道容量3歸并性無噪聲信道信道容量第10節(jié)幾種無噪聲信道的信道容量1、強對稱信道的信道容量1)強對稱信道的定義若單符號離散信道的輸入符號集為:X={a1,a2,…,ar}，輸出符號集為:Y={a1,a2,…,ar}。且信道轉(zhuǎn)移概率為第11節(jié)幾種對稱信道的信道容量信源符號與信道符號集相同，發(fā)送符號與接收符號相同的概率為1－ε，出錯的概率為ε，且各種出錯情況的概率同。第11節(jié)幾種對稱信道的信道容量2)強對稱信道的噪聲熵第11節(jié)幾種對稱信道的信道容量第11節(jié)幾種對稱信道的信道容量3)強對稱信道