微分熵與平均互信息.ppt

第8章 微分熵與平均互信息,信息如何度量？,8.1 微分熵,1、單符號連續(xù)信源,定義,信源發(fā)出的消息為單一符號，這些符號隨機(jī)取值于一個(gè)連續(xù)域,表示,連續(xù)型隨機(jī)變量X,隨機(jī)變量X的取值x為信源發(fā)出的消息,例1,例2,概率密度函數(shù)p(x)如圖所示,2、熵與微分熵,x落在第i個(gè)區(qū)域的概率,根據(jù)中值定理,熵,微分熵,消息x所對應(yīng)概率密度函數(shù)p(x)對數(shù)負(fù)值的數(shù)學(xué)期望，用h(X)表示,定義,表示,微分熵不能作為連續(xù)信源的信息度量,定義微分熵的目的,微分熵差具有信息度量的意義 連續(xù)信源的微分熵與離散信源的熵在形式上統(tǒng)一,均勻信源的微分熵,例3,高斯信源的微分熵,例4,不具有非負(fù)性,例如，當(dāng)b-a1時(shí)，均勻分布信源的微分熵, 嚴(yán)格上凸性,3、微分熵的主要性質(zhì)和最大微分熵定理,平均功率受限下的最大微分熵定理,連續(xù)信源一般討論特定限制條件下的最大微分熵,最常用的限制條件平均功率受限均值為0且方差受限,設(shè)p(x)是任意概率密度函數(shù)，但,8.2 聯(lián)合微分熵與條件微分熵,信源發(fā)出的消息為有限或可數(shù)的符號序列，符號序列中任何時(shí)刻的符號都隨機(jī)取值于同一個(gè)連續(xù)域,1、多符號連續(xù)信源,定義,表示,連續(xù)型隨機(jī)變量序列X1X2Xn,例1,例2,2、聯(lián)合微分熵與條件微分熵,聯(lián)合微分熵消息x1x2xn所對應(yīng)聯(lián)合概率密度函數(shù)p(x1x2xn)對數(shù)負(fù)值的數(shù)學(xué)期望，用h(X1X2Xn)表示,定義,表示,條件微分熵消息x1x2xn所對應(yīng)條件概率密度函數(shù)p(xk/x1xk-1)對數(shù)負(fù)值的數(shù)學(xué)期望，用h(Xk/X1Xk-1)表示 其中1kn,定義,表示,3、微分熵的鏈?zhǔn)椒▌t,4、聯(lián)合微分熵的界,8.3 平均互信息,1、單符號連續(xù)信道,定義,對應(yīng)于單符號連續(xù)信源和單符號連續(xù)信宿的信道,表示,信源連續(xù)型隨機(jī)變量X 信宿連續(xù)型隨機(jī)變量Y,隨機(jī)變量X的取值x為信源發(fā)出的消息,隨機(jī)變量Y的取值y為信宿收到的消息,p(y/x)為信道轉(zhuǎn)移概率密度函數(shù),2、噪聲熵與噪聲微分熵,x落在第i個(gè)區(qū)域基礎(chǔ)上信道轉(zhuǎn)移概率密度函數(shù)p(y/xi)如圖所示 i=1,2, ,N,y/xi落在第j個(gè)區(qū)域的信道轉(zhuǎn)移概率,根據(jù)中值定理,噪聲熵,噪聲微分熵,信源消息x信宿消息y所對應(yīng)信道轉(zhuǎn)移概率密度函數(shù)p(y/x)對數(shù)負(fù)值的數(shù)學(xué)期望，用h(Y/X)表示,定義,表示,3、平均互信息,信宿消息y所對應(yīng)概率密度函數(shù)p(y)與信源消息x信宿消息y所對應(yīng)信道轉(zhuǎn)移概率密度函數(shù)p(y/x)比值對數(shù)負(fù)值的數(shù)學(xué)期望，用I(X;Y)表示,定義,表示,微分熵不能作為信息度量，平均互信息微分熵差，具有信息度量的意義,以信宿為參考，利用信宿的微分熵和信道的噪聲微分熵來度量信道中傳輸?shù)钠骄畔⒘?以信源為參考，利用信源的微分熵和信道的損失微分熵來度量信道中傳輸?shù)钠骄畔⒘?4、平均互信息的主要性質(zhì), 對稱性, 非負(fù)性, 嚴(yán)格凸性,信道固定時(shí)，I(X;Y)對于信源概率密度函數(shù)p(x)嚴(yán)格上凸 信源固定時(shí)，I(X;Y)對于信道轉(zhuǎn)移概率密度函數(shù)p(y/x)嚴(yán)格下凸,8.4 聯(lián)合平均互信息與條件平均互信息,1、多符號連續(xù)信道,定義,對應(yīng)于多符號連續(xù)信源和多符號連續(xù)信宿的信道,表示,信源連續(xù)型隨機(jī)變量序列X1X2Xn 信宿連續(xù)型隨機(jī)變量序列Y1Y2Yn,p(y1y2yn/x1