信息論第五講1

1、2022-6-301(1)Markov鏈串聯(lián)信道關(guān)系鏈串聯(lián)信道關(guān)系(作業(yè)作業(yè))DMC1DMC2XYZ定理定理: 對(duì)于所有滿足對(duì)于所有滿足p(x,y,z)0的的(x,y,z)，);();,(ZYIZYXI當(dāng)且僅當(dāng)當(dāng)且僅當(dāng)p(z/x,y)=p(z/y)時(shí)，即滿足馬爾可夫鏈時(shí)時(shí)，即滿足馬爾可夫鏈時(shí),等式成立。等式成立。從從Z中獲得中獲得X,Y的信息量總是大于等于從的信息量總是大于等于從Z中獲得的中獲得的Y的信息量。的信息量。2022-6-302說明：說明：p(y/x)為為DMC1的信道轉(zhuǎn)移概率；的信道轉(zhuǎn)移概率；p(z/y)為為DMC2的信道轉(zhuǎn)移概率；的信道轉(zhuǎn)移概率；p(z/x,y)為串聯(lián)信道的信道轉(zhuǎn)

2、移概率；為串聯(lián)信道的信道轉(zhuǎn)移概率；p(z/x,y) =p(z/y)，說明說明DMC2的輸出只取決于的輸出只取決于DMC2的輸入，這個(gè)串聯(lián)信道的輸入，這個(gè)串聯(lián)信道具有馬爾可夫鏈性質(zhì)。具有馬爾可夫鏈性質(zhì)。I(X,Y;Z)由輸出狀態(tài)由輸出狀態(tài)Z中得到的關(guān)于聯(lián)合狀態(tài)中得到的關(guān)于聯(lián)合狀態(tài)(X,Y)的信息量。的信息量。I(Y;Z)由輸出狀態(tài)由輸出狀態(tài)Z中得到的關(guān)于狀態(tài)中得到的關(guān)于狀態(tài)Y的信息量。的信息量。2022-6-303)(),/(log)()/(log);,();(zpyxzpEzpyzpEZYXIZYI),/()/(logyxzpyzpExyzyxzpyzpzyxp),/()/(log),(I(Y

3、;Z)=H(Y)-H(Y/Z)=H(Z)-H(Z/Y)=I(Z;Y)()/(log)/(1log)(1log)/()(zpyzpEyzpEzpEYZHZH2022-6-304DMC1DMC2XYZ同理：同理： 對(duì)于所有滿足對(duì)于所有滿足p(x,y,z)0的的(x,y,z)，);();,(ZXIZYXI當(dāng)且僅當(dāng)當(dāng)且僅當(dāng)p(z/x,y)=p(z/x)時(shí)，等式成立。時(shí)，等式成立。從從Z中獲得中獲得X,Y的信息量總是大于等于從的信息量總是大于等于從Z中獲得的中獲得的X的信息量。的信息量。2022-6-305根據(jù)根據(jù): :I(X;Z)=H(X)-H(X/Z)=H(Z)-H(Z/X)=I(Z;Y)(),/(

4、log)()/(log);,();(zpyxzpEzpxzpEZYXIZXI),/()/(logyxzpxzpExyzyxzpxzpzyxp),/()/(log),(xyzyxzpxzpzyxp),/()/(),(log2022-6-30601log)/(),(logxyzxzpyxp)(),/(log)()/(log);,();(zpyxzpEzpxzpEZYXIZXI);();,(ZXIZYXI即即:當(dāng)當(dāng)p(z/x,y)=p(z/x)時(shí)，等式成立。時(shí)，等式成立。說明信道說明信道1是一種無失真的變換。是一種無失真的變換。2022-6-307(2) 數(shù)據(jù)處理定理數(shù)據(jù)處理定理p(y/x)p(z/

5、xy)XYZ定理：定理：若若X,Y,Z為離散隨機(jī)變量，并且構(gòu)成一個(gè)馬爾為離散隨機(jī)變量，并且構(gòu)成一個(gè)馬爾可夫鏈，則有：可夫鏈，則有：I(X;Z)I(X;Y)I(X;Z)I(Y;Z)證明證明2:如果滿足馬爾可夫鏈，即如果滿足馬爾可夫鏈，即p(z/xy)=p(z/y)。則串。則串聯(lián)信道定理中的等號(hào)成立。聯(lián)信道定理中的等號(hào)成立。2022-6-308p(y/x)p(z/xy)XYZI(X,Y;Z)=I(Y;Z)同時(shí)在串聯(lián)信道定理中還有：同時(shí)在串聯(lián)信道定理中還有：I(X,Y;Z)I(X;Z)因此得到因此得到:I(X;Z)I(Y;Z)同樣可以證明同樣可以證明I(X;Z)I(X;Y)2022-6-309(3)

6、 數(shù)據(jù)處理定理推廣數(shù)據(jù)處理定理推廣信源編碼器譯碼器信道UXYV),.,(21kUUUU ),.,(21nXXXX ),.,(21nYYYY ),.,(21kVVVV 這是一個(gè)通信系統(tǒng)基本模型。這是一個(gè)通信系統(tǒng)基本模型。其中的其中的U，X，Y，V為離散隨機(jī)矢量。為離散隨機(jī)矢量。2022-6-3010對(duì)于一個(gè)實(shí)際通信系統(tǒng)來說，對(duì)于一個(gè)實(shí)際通信系統(tǒng)來說， U，X，Y，V構(gòu)成的構(gòu)成的離散隨機(jī)矢量序列形成一個(gè)馬爾可夫鏈。也就是說離散隨機(jī)矢量序列形成一個(gè)馬爾可夫鏈。也就是說他們滿足：他們滿足：)/(),/(xypuxyp)/(),/(yvpyxvp這是山農(nóng)信息理論對(duì)通信系統(tǒng)模型的一個(gè)基本假設(shè)。這是山農(nóng)信息

7、理論對(duì)通信系統(tǒng)模型的一個(gè)基本假設(shè)。信源編碼器譯碼器信道UXYV2022-6-3011信源編碼器譯碼器信道UXYV這是山農(nóng)信息理論對(duì)通信系統(tǒng)模型的一個(gè)基本假設(shè)。這是山農(nóng)信息理論對(duì)通信系統(tǒng)模型的一個(gè)基本假設(shè)。根據(jù)根據(jù)數(shù)據(jù)處理定理數(shù)據(jù)處理定理可以得到：可以得到：);();(YXIVXI);();(YUIVUI);();(VXIVUI);();(YXIVUI2022-6-3012);();(YXIVUI說明：說明：q信息的處理，例如編碼，譯碼等，只能損失信息的處理，例如編碼，譯碼等，只能損失信息，不能增加信息。信息，不能增加信息。q只有當(dāng)信息處理是一一對(duì)應(yīng)時(shí)，等號(hào)成立。只有當(dāng)信息處理是一一對(duì)應(yīng)時(shí)，等號(hào)

8、成立。q這一點(diǎn)在理論上是正確的，但是為了有效并這一點(diǎn)在理論上是正確的，但是為了有效并可靠的傳輸信息，數(shù)據(jù)處理還是必要的。可靠的傳輸信息，數(shù)據(jù)處理還是必要的。信源編碼器譯碼器信道UXYV2022-6-3013(4)多符號(hào)信源多符號(hào)信源離散隨機(jī)矢量離散隨機(jī)矢量xxpxpXH)(1log)()(),()/()()/()(),(XYIXYHYHYXHXHYXI2022-6-30142.7.4 信源的剩余度信源的剩余度關(guān)于離散信源熵的總結(jié)：關(guān)于離散信源熵的總結(jié)：1) 實(shí)際信源一般是非平穩(wěn)的、有記憶、隨機(jī)序列信實(shí)際信源一般是非平穩(wěn)的、有記憶、隨機(jī)序列信源；其極限熵是不存在的；源；其極限熵是不存在的；2)

9、解決的方法是假設(shè)其為離散平穩(wěn)隨機(jī)序列信源，解決的方法是假設(shè)其為離散平穩(wěn)隨機(jī)序列信源，極限熵存在，但求解困難；極限熵存在，但求解困難；3) 進(jìn)一步假設(shè)其為進(jìn)一步假設(shè)其為m階階Markov信源，其信源熵用極信源，其信源熵用極限熵限熵H m+1近似；近似；4) 再進(jìn)一步假設(shè)為一階再進(jìn)一步假設(shè)為一階Markov信源，用其極限熵信源，用其極限熵H1+1(X2/X1) 來近似；來近似；5) 最簡(jiǎn)化的信源是離散無記憶信源，最簡(jiǎn)化的信源是離散無記憶信源，其熵為其熵為H(x)=H1 (X);6) 最后可以假定為等概的離散無記憶信源，最后可以假定為等概的離散無記憶信源，其熵為其熵為H0(X)=logn；2022-

10、6-3015它們之間的關(guān)系可以表示為：它們之間的關(guān)系可以表示為：logn=H0(X)H1(X)H1+1(X)H 2+1(X)H m+1(X)H離散有記憶信源的記憶長(zhǎng)度越長(zhǎng)，信源熵越?。浑x散有記憶信源的記憶長(zhǎng)度越長(zhǎng)，信源熵越??；而獨(dú)立且等概的信源，熵最大。而獨(dú)立且等概的信源，熵最大。例例英文字母信源：英文字母信源：26個(gè)字母加個(gè)字母加1個(gè)空格符個(gè)空格符H0=log27=4.76 bit (等概)H1=4.02 bit （不等概）H1+1=3.32 bit （一階M-信源）H2+1=3.1 bit （二階M-信源）H=1.4 bit 2022-6-3016剩余度：剩余度：用來衡量由于信源內(nèi)部的消息

11、狀態(tài)的相關(guān)性和分用來衡量由于信源內(nèi)部的消息狀態(tài)的相關(guān)性和分布性，使其熵減少的程度稱為剩余度。布性，使其熵減少的程度稱為剩余度。相對(duì)熵：相對(duì)熵：= H/H0 =H(X)/Hmax(X) =(實(shí)際信源熵)/(離散信源最大熵) 內(nèi)熵內(nèi)熵(信息熵差信息熵差)：= H0- H =H(X)-Hmax(X)=（最大熵）-（實(shí)際信源熵）剩余度：剩余度：EHHH XHX110()()max2022-6-3017 連續(xù)信源熵與信道容量連續(xù)信源熵與信道容量上一章我們討論的是離散信源，實(shí)際應(yīng)用中還有一類信源稱為上一章我們討論的是離散信源，實(shí)際應(yīng)用中還有一類信源稱為連續(xù)信源，這種信源的時(shí)間和取值都是連續(xù)的，例如語音信號(hào)

12、連續(xù)信源，這種信源的時(shí)間和取值都是連續(xù)的，例如語音信號(hào)，電視圖像信號(hào)都是連續(xù)信號(hào)。，電視圖像信號(hào)都是連續(xù)信號(hào)。時(shí)間離散狀態(tài)連續(xù)的信源熵可以用連續(xù)信源熵表示，時(shí)間離散狀態(tài)連續(xù)的信源熵可以用連續(xù)信源熵表示，相當(dāng)于一個(gè)連續(xù)隨機(jī)變量。相當(dāng)于一個(gè)連續(xù)隨機(jī)變量。而時(shí)間連續(xù)的信源，為一個(gè)隨機(jī)過程，只要信號(hào)頻譜而時(shí)間連續(xù)的信源，為一個(gè)隨機(jī)過程，只要信號(hào)頻譜有限，則可以根據(jù)采樣定理，將其變?yōu)闀r(shí)間離散信源。有限，則可以根據(jù)采樣定理，將其變?yōu)闀r(shí)間離散信源。這里我們只討論單變量連續(xù)信源，即時(shí)間離散狀態(tài)連這里我們只討論單變量連續(xù)信源，即時(shí)間離散狀態(tài)連續(xù)的連續(xù)信源。續(xù)的連續(xù)信源。2022-6-30183.1連續(xù)信源的熵連

13、續(xù)信源的熵3.1.1 連續(xù)信源熵的定義連續(xù)信源熵的定義連續(xù)信源的狀態(tài)概率用概率密度來表示。連續(xù)信源的狀態(tài)概率用概率密度來表示。如果連續(xù)隨機(jī)變量X，取值為實(shí)數(shù)域R，其概率密度函數(shù)為p(x)，則Rdxxp1)(如果取值為有限實(shí)數(shù)域a,b，則這時(shí)X的概率分布函數(shù)為：Rdxxp1)(1)(1) 1(xdxxpxXPxF2022-6-3019連續(xù)信源的數(shù)學(xué)模型連續(xù)信源的數(shù)學(xué)模型X：R(或a,b)P(X)：p(x)badxxp1)(連續(xù)信源熵的表達(dá)式連續(xù)信源熵的表達(dá)式利用離散信源熵的概念來定義連續(xù)信源熵，首先看一個(gè)再a,b取間的連續(xù)隨機(jī)變量，如圖 首先把X的取值區(qū)間a,b分割為n個(gè)小區(qū)間，小區(qū)間寬度為：=

14、(b-a)/n根據(jù)概率分布為概率密度函數(shù)曲線的區(qū)間面積的關(guān)系，X取值為xi的概率為：Pi=p(xi).2022-6-3020這樣可以得到離散信源Xn的信源空間為：)(.)()(: ,2211nnnxpxxpxxpxPX且有：當(dāng)n趨無窮時(shí)，baninnindxxpxipPi1)()(limlim11按離散信源熵的定義：可得離散信源Xn的熵：niniiinxipxipPPXH11)(log)(log)(ninixipxipxip11)(log)(log)(log)(log)(xipxip2022-6-3021當(dāng)趨于0，n趨于無窮時(shí)，離散隨機(jī)變量Xn將接近于連續(xù)隨機(jī)變量X，這時(shí)可以得到連續(xù)信源的熵為

15、：其中：連續(xù)信源的熵定義為：ninncxipxipXHXH10log)(log)(lim)(lim)()(XHloglim)(log)(0badxxpxpbadxxpxpXH)(log)()(2022-6-3022連續(xù)信源熵為一個(gè)相對(duì)熵，其值為絕對(duì)熵減去一個(gè)連續(xù)信源熵為一個(gè)相對(duì)熵，其值為絕對(duì)熵減去一個(gè)無窮大量。無窮大量。H(X)=Hc(X)-連續(xù)信源有無窮多個(gè)狀態(tài)，因此根據(jù)連續(xù)信源有無窮多個(gè)狀態(tài)，因此根據(jù)SHANNON熵熵的定義必然為無窮大。的定義必然為無窮大。連續(xù)信源的熵不等于一個(gè)消息狀態(tài)具有的平均信息連續(xù)信源的熵不等于一個(gè)消息狀態(tài)具有的平均信息量。其熵是有限的，而信息量是無限的。量。其熵是

16、有限的，而信息量是無限的。連續(xù)信源熵不具有非負(fù)性，可以為負(fù)值。連續(xù)信源熵不具有非負(fù)性，可以為負(fù)值。盡管連續(xù)信源的絕對(duì)熵為一個(gè)無窮大量，但信息論的主要問題是信息傳輸問題，連續(xù)信道的輸入輸出都是連續(xù)變量，當(dāng)分析其交互信息量時(shí)是求兩個(gè)熵的差，當(dāng)采用相同的量化過程時(shí)，兩個(gè)無窮大量將被抵消，不影響分析。2022-6-3023連續(xù)信源的疑義度：則平均交互信息量為： I(X,Y)=H(X)-H(X/Y)dxdyyxpyxpYXH)/(log),()/(3.1.2 幾種連續(xù)信源的熵幾種連續(xù)信源的熵均勻分布的連續(xù)信源熵均勻分布的連續(xù)信源熵設(shè)一維連續(xù)隨機(jī)變量X的取值區(qū)間是a,b，在a,b中的概率密度函數(shù)是axbx

17、bxaabxp,01)(2022-6-3024這種連續(xù)信源稱為均勻分布的連續(xù)信源。其熵為：這時(shí)可以看到：當(dāng)(b-a)1時(shí)，H(X)0，即H(X)不具有熵函數(shù)的非負(fù)性，因?yàn)镠(X)是相對(duì)熵，相對(duì)熵可以為負(fù)值，但絕對(duì)熵仍然為正值。)log(1log1)(log)()(abdxababdxxpxpXHbaba高斯分布的連續(xù)信源熵高斯分布的連續(xù)信源熵設(shè)一維隨機(jī)變量X的取值范圍是整個(gè)實(shí)數(shù)R，概率密度函數(shù)為：2)(exp21)(222mxxp2022-6-3025其中，m是隨機(jī)變量X的均值2是隨機(jī)變量X的方差當(dāng)均值m=0時(shí)，方差2就是隨機(jī)變量的平均功率，dxxxpxEm)(dxxpmxmXE)()()(2

18、22dxxpxP)(22022-6-3026這個(gè)信源稱為高斯分布的連續(xù)信源，其數(shù)學(xué)模型為：2)(exp21)(: )(: ,222mxxpRXPXPX1)(dxxp這時(shí)可以得到高斯連續(xù)信源的熵為：dxmxxpdxxpxpXH2)(exp21log)()(log)()(2222222log21212log21212logedxmxxpdxxp2222)()(21log)(2022-6-3027指數(shù)分布的連續(xù)信源熵指數(shù)分布的連續(xù)信源熵設(shè)一隨機(jī)變量X的取值取間為0，其概率密度函數(shù)為)0(1)(xeaxpax則稱為指數(shù)分布的連續(xù)信源。其中常數(shù)a為隨機(jī)變量X的均值。即adxeaxdxxxpmXEax00

19、1)(指數(shù)分布的連續(xù)信源的熵為dxeaeadxxpxpXHaxax1log1)(log)()(00aedxxeadxeaaaxaxlog1log1002022-6-30283.2 3.2 連續(xù)信源的最大熵連續(xù)信源的最大熵3.2.1 連續(xù)信源的最大熵連續(xù)信源的最大熵為了求出連續(xù)信源的最大熵，將利用數(shù)學(xué)中的變分法的方法來求解。連續(xù)信源的熵為：其基本約束條件為：其它約束條件為：dxxpxpXH)(log)()(1)(dxxp22( , )bax p dxK33( , )bax p dxK2022-6-3029建立輔助函數(shù)：其中有：根據(jù)極值的條件有：及m個(gè)約束方程，可以確定最大熵和所對(duì)應(yīng)的信源概率密度

20、分布p(x)。 11 , ( )( , )( , ).( , )mmF x p xf x p dxx p dxx p dx )(log)(),(xpxppxf0),(ppxF2022-6-3030輸出幅度受限時(shí)的最大熵（瞬時(shí)功率受限）輸出幅度受限時(shí)的最大熵（瞬時(shí)功率受限）其基本條件為：|x|v，x2S，這時(shí)對(duì)應(yīng)只有一個(gè)約束方程，vvdxxp1)(01)(log1 ),(1),(),(1xpppxppxfppxF可以得到：11)(; 11)(logexpxp2022-6-3031這里的對(duì)數(shù)為以e為底，由約束方程可得：Svxpvedxevv2121)(;21; 11111結(jié)論：對(duì)于瞬時(shí)功率受限的連

21、續(xù)信源，在假定結(jié)論：對(duì)于瞬時(shí)功率受限的連續(xù)信源，在假定信源狀態(tài)為獨(dú)立時(shí)，當(dāng)概率密度分布為常數(shù)時(shí)，信源狀態(tài)為獨(dú)立時(shí)，當(dāng)概率密度分布為常數(shù)時(shí)，信源具有最大熵。其最大熵為：信源具有最大熵。其最大熵為：vdxvvXHvv2log21log21)(max2022-6-3032輸出平均功率受限時(shí)的最大熵輸出平均功率受限時(shí)的最大熵推導(dǎo)：這時(shí)的約束條件為：22)(; 1)(dxxpxdxxp可知：)(),();(),();(log)(),(221xpxpxxppxxpxppxf221),(; 1),();(log1 ),(xppxppxxpppxf2022-6-3033由極值條件：12120fppp 0)(l

22、og1 221xxp可得：1)(log221xxp2211)(xeexp2022-6-3034將其代入約束條件,可得：12211dxeex2212221)(dxexedxxpxx得到：得到連續(xù)信源獲得最大熵時(shí)的概率密度函數(shù)：21;211221e22221)(xexp2022-6-3035這是一個(gè)均值為0的高斯分布。其最大熵為：dxxxpdxxpXHe)2)(21)log()(22dxexdxexxe22222222212212logneteee;2log212log2022-6-3036如果平均功率為N=2; 則有biteNneteNXHee2log443. 1;2log)(max結(jié)論：（最大

23、熵定理）結(jié)論：（最大熵定理）對(duì)于輸出平均功率受限的連續(xù)信源，在假設(shè)對(duì)于輸出平均功率受限的連續(xù)信源，在假設(shè)狀態(tài)相互獨(dú)立時(shí)，當(dāng)其概率密度函數(shù)為高斯?fàn)顟B(tài)相互獨(dú)立時(shí)，當(dāng)其概率密度函數(shù)為高斯分布時(shí)，具有最大熵。其最大熵值隨功率分布時(shí)，具有最大熵。其最大熵值隨功率N N的的增加而增加。增加而增加。2022-6-30373.2.2 連續(xù)信源的熵功率連續(xù)信源的熵功率對(duì)于平均功率受限的連續(xù)信源，當(dāng)信源為高斯分布對(duì)于平均功率受限的連續(xù)信源，當(dāng)信源為高斯分布時(shí)有最大熵，如果信源不是高斯分布，則信源熵將時(shí)有最大熵，如果信源不是高斯分布，則信源熵將小于最大熵。小于最大熵。熵功率則用來描述連續(xù)信源熵的剩余熵功率則用來描述

24、連續(xù)信源熵的剩余度度。即說明信源是可以改造的程度。即說明信源是可以改造的程度。一個(gè)平均功率為一個(gè)平均功率為N的非高斯分布的連續(xù)信源的熵功率的非高斯分布的連續(xù)信源的熵功率等于與其有同樣熵的高斯信源的平均功率等于與其有同樣熵的高斯信源的平均功率。當(dāng)非高斯連續(xù)信源與高斯信源具有相同熵時(shí)，那非當(dāng)非高斯連續(xù)信源與高斯信源具有相同熵時(shí)，那非高斯信源的平均功率一定大于高斯信源的功率。高斯信源的平均功率一定大于高斯信源的功率。當(dāng)非高斯連續(xù)信源與高斯信源具有相同平均功率時(shí)當(dāng)非高斯連續(xù)信源與高斯信源具有相同平均功率時(shí)，那非高斯信源的熵一定小于高斯信源的熵。，那非高斯信源的熵一定小于高斯信源的熵。2022-6-30

25、38平均功率為N的非高斯信源的熵功率為： （“目標(biāo)功率目標(biāo)功率”）NeXHXHeN2log)()(maxNeeXHN2)(2NeeNXHN)(221非高斯信源：高斯信源：( )NNHxmax( )NHx當(dāng)時(shí)； 一定有：當(dāng)時(shí)； 一定有：max( )( )NHxHxNNNNmax( )( )NHxHx2022-6-30393.2.3 連續(xù)信源的共熵和條件熵連續(xù)信源的共熵和條件熵同離散信源相似，連續(xù)信源也可定義其共熵和條件熵，其基本關(guān)系為：dxdyyxpyxpYXH),(log),(),(dxdyxypyxpXYH)/(log),()/(dxdyyxpyxpYXH)/(log),()/( H(X,Y

26、)=H(X)+H(Y/X)=H(Y)+H(X/Y) H(X,Y)H(X)+H(Y) H(X/Y)H(X) H(Y/X)H(Y)2022-6-30403.3 連續(xù)有噪聲信道的信道容量連續(xù)有噪聲信道的信道容量3.3.1 連續(xù)信道的平均交互信息量連續(xù)信道的平均交互信息量設(shè)信道輸入的隨機(jī)變量X的取值為a,b，信道輸出隨機(jī)變量Y的取值為a,b，信道轉(zhuǎn)移概率為p(y/x), (axb,ayb)，如圖3-2所示。2022-6-3041其連續(xù)信道的平均交互信息量為：I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)其中熵函數(shù)的表達(dá)式：badxxpxpXH)(log)()( )(log)()(bady

27、ypypYHbabadxdyyxpyxpYXH ),(log),(),(babadxdyyxpyxpYXH )/(log),()/(babadxdyxypyxpXYH )/(log),()/(2022-6-3042可知：I(X,Y)0；即平均交互信息量為非負(fù)值，當(dāng)X，Y相互獨(dú)立時(shí)，p(x,y)=p(x)p(y)，I(X,Y)=0。同時(shí)有：I(X,Y)=I(Y,X)與離散信道情況相似，有相應(yīng)的概率關(guān)系：p(x,y)=p(x)p(y/x)=p(y)p(x/y)babadxxypxpdxyxpyp)/()(),()(badxxypxpxypxpypyxpyxp)/()()/()()(),()/(20

28、22-6-30433.3.2 連續(xù)信道的熵速率與信道容量連續(xù)信道的熵速率與信道容量熵速率熵速率在一個(gè)高斯白噪聲高斯白噪聲連續(xù)信道中，接收隨機(jī)變量Y為發(fā)送消息狀態(tài)X于噪聲n之和。即為加性高斯白噪聲（加性高斯白噪聲（GAWN）信道）信道，關(guān)系如圖所示。2022-6-3044定義：定義：接收熵速率為（不考慮符號(hào)速率，r=1）首先考慮X,nX,n的聯(lián)合熵，由于X X與n n相互獨(dú)立。即。所以有：聯(lián)合熵（等于獨(dú)立熵之和）)/()()/()(),(XYHYHYXHXHYXIrR)()/(nHXnH)()()/()(),(nHXHXnHXHnXH2022-6-3045注意：注意：由于Y=X+n，有p(x,n

29、)=p(x)p(n)，即X與n獨(dú)立，并且有：對(duì)于給定的xi, p(y/x)=p(n/x)=p(n) 因?yàn)閅=X+n；且x與n獨(dú)立。所以有),()()()/()(),(nxpnpxpxypxpyxp2022-6-3046山農(nóng)公式說明山農(nóng)公式說明加性高斯白噪聲信道的輸入信號(hào)X與噪聲n相加得到輸出的接收信號(hào)Y，如圖所示。根據(jù)概率論的相關(guān)知識(shí)，如果X為N維隨機(jī)變量，Y為N維隨機(jī)變量，并且X與Y有函數(shù)關(guān)系，Yi=gi(X); Xi=fi(Y); (如Y=X+n)，則他們的聯(lián)合概率密度函數(shù)存在關(guān)系：)(),.,(),.,(2121YXJxxxpyyypNXNY2022-6-3047其中J為雅可比行列式。N

30、NNNNNNNYfYfYfYfYfYfYfYfYfYYYXXXYXJ.),.,(),.,()(2122221112112121對(duì)于加性高斯白噪聲信道，坐標(biāo)變換為：X=X (f1)；n=Y-X (f2)。),(),(),(YXnXJnxpyxp11011),(YnYXXnXXYXnXJ2022-6-3048因此： （X與n相互獨(dú)立）另外：則：最終得到：)()(),(),(npxpnxpyxp)/()(),(xypxpyxp)()(),()(),()/(npxpnxpxpyxpxyp)()/(nHXYH2022-6-3049就是說：加性高斯白噪聲連續(xù)信道的條件概率密度函數(shù)p(y/x)就是噪聲n的概

31、率密度函數(shù)p(n)，這是加性高斯噪聲信道的一個(gè)重要特征。則有: )()/()/(nHXnHXYH)/()()()()/()(),(YXHYHnHXHXYHXHYXH可得：)()()/()(),(nHYHYXHXHYXI熵速率為：R=H(X)-H(X/Y)=H(Y)-H(n)結(jié)論：在連續(xù)有噪聲信道上，接收熵速率等于接收得總信結(jié)論：在連續(xù)有噪聲信道上，接收熵速率等于接收得總信息速率息速率H(Y)減去噪聲信息速率減去噪聲信息速率H(n)。2022-6-3050信道容量（信道容量（Shannon公式）公式）與離散信道的信道容量的概念一樣，在連續(xù)信道中，對(duì)與離散信道的信道容量的概念一樣，在連續(xù)信道中，對(duì)

32、于給定的信道于給定的信道p(y/x)，最大的接收熵速率為信道容量。，最大的接收熵速率為信道容量。)()(max),(max)()(nHYHYXICxpxp當(dāng)考慮到隨機(jī)變量當(dāng)考慮到隨機(jī)變量X的符號(hào)速率為的符號(hào)速率為r時(shí)：時(shí)：)()(max),(max)()(nHYHrYXIrCxpxp已知已知X與與n相互獨(dú)立，則相互獨(dú)立，則H(n)與與p(x)無關(guān)。無關(guān)。)( )(max)(nHYHrCxp2022-6-3051三點(diǎn)假設(shè)：三點(diǎn)假設(shè)：信道為加性高斯白噪聲信道，功率譜均勻，平均信道為加性高斯白噪聲信道，功率譜均勻，平均功率為功率為N。信道帶寬滿足信號(hào)頻譜要求，為信道帶寬滿足信號(hào)頻譜要求，為W，符號(hào)速

33、率為，符號(hào)速率為r=2W。信源為平均功率受限，信號(hào)功率為信源為平均功率受限，信號(hào)功率為P。由于由于Y=X+n。為了使。為了使H(Y)為最大，為最大，Y應(yīng)為高斯分布。應(yīng)為高斯分布。若若Y為高斯分布，同時(shí)已知為高斯分布，同時(shí)已知n為高斯分布，則為高斯分布，則X也應(yīng)為高斯也應(yīng)為高斯分布。分布。(Y=X+n)由此得知：對(duì)于高斯白噪聲信道，當(dāng)信源為高斯分布時(shí)，由此得知：對(duì)于高斯白噪聲信道，當(dāng)信源為高斯分布時(shí)，接收熵速率為最大。接收熵速率為最大。2022-6-3052推導(dǎo)：設(shè)Y為在接收端的一個(gè)平均功率受限的信源，功率為P+N；則有：)(2log )(2log2)(maxNPeWNPeWYHree若把信道噪

34、聲看成一個(gè)平均功率為N的噪聲源，則有：)2(log)( eNWnHe這樣由信道容量的關(guān)系式可得：)1 (log)( )(maxmaxNPWnHYHrRCe這樣就得到了Shannon公式公式, 單位為net/s。)1 (logNPWCe2022-6-3053Shannon公式的理解：公式的理解： 在加性高斯信道上，其信道容量在加性高斯信道上，其信道容量C與信號(hào)帶與信號(hào)帶寬寬W和信號(hào)噪聲功率比和信號(hào)噪聲功率比P/N有關(guān)。有關(guān)。 在加性高斯信道上，當(dāng)信源信號(hào)為高斯分布在加性高斯信道上，當(dāng)信源信號(hào)為高斯分布時(shí)，信道熵速率等于信道容量。時(shí)，信道熵速率等于信道容量。 對(duì)于連續(xù)信源來說，高斯白噪聲信道危害最

35、對(duì)于連續(xù)信源來說，高斯白噪聲信道危害最大，因?yàn)榇?，因?yàn)镠(n)大使熵速率大使熵速率R減小。減小。 本公式給出了信道容量的理論極限值，目前本公式給出了信道容量的理論極限值，目前還很難實(shí)現(xiàn)，因?yàn)樾旁床豢赡転楦咚狗植?。還很難實(shí)現(xiàn)，因?yàn)樾旁床豢赡転楦咚狗植肌?信道容量的計(jì)算比較復(fù)雜，一些簡(jiǎn)單情況下信道容量的計(jì)算比較復(fù)雜，一些簡(jiǎn)單情況下是可以計(jì)算的。是可以計(jì)算的。2022-6-30543-3-3 Shannon公式的參數(shù)互換公式的參數(shù)互換由Shannon公式可知：（注意：這時(shí)的單位可以為比特，因?yàn)樗莾蓚€(gè)熵函數(shù)之差，不同單位的信道容量表達(dá)式是相同的。）sbitNPWC/)1 (log2如果考慮通信時(shí)間為

36、T，在T秒鐘傳輸?shù)目偟男畔⒘繛椋篵itsNPTWTCIT)1log( 保持總的信息量不變，保持總的信息量不變，T、W、P/N之間的互換關(guān)系。之間的互換關(guān)系。當(dāng)信噪比當(dāng)信噪比P/N一定時(shí)：一定時(shí)：WT，TW，當(dāng)傳輸時(shí)間當(dāng)傳輸時(shí)間T一定時(shí)：一定時(shí)：WP/N，WP/N，當(dāng)帶寬當(dāng)帶寬W一定時(shí)：一定時(shí)：TP/N，TP/N，2022-6-30553.4 關(guān)于連續(xù)信源熵和山農(nóng)公式11連續(xù)信源的剩余度連續(xù)信源的剩余度平均功率為N的非高斯信源的熵為HN(X)；令則HN(X)的熵功率為： 是HN(X)的熵功率。 是這個(gè)非高斯信源的剩余度。NeXHXHeN2log)()(maxNeeXHN2)(2NeeNXHN)(

37、221N)(NN 2022-6-305622關(guān)于信道噪聲關(guān)于信道噪聲在通信系統(tǒng)中，我們把來自各方面的噪聲都集中在一起，在通信系統(tǒng)中，我們把來自各方面的噪聲都集中在一起，認(rèn)為都是從信道加入的。實(shí)際系統(tǒng)的噪聲分為外部噪聲和認(rèn)為都是從信道加入的。實(shí)際系統(tǒng)的噪聲分為外部噪聲和內(nèi)部噪聲。外部噪聲又分為人為噪聲（火花）和自然噪聲內(nèi)部噪聲。外部噪聲又分為人為噪聲（火花）和自然噪聲（大氣噪聲）。內(nèi)部噪聲包括熱噪聲（電子熱運(yùn)動(dòng)）和散（大氣噪聲）。內(nèi)部噪聲包括熱噪聲（電子熱運(yùn)動(dòng)）和散粒噪聲（器件中電流起伏）。粒噪聲（器件中電流起伏）。按噪聲性質(zhì)對(duì)信道進(jìn)行分類：按噪聲性質(zhì)對(duì)信道進(jìn)行分類：高斯噪聲信道；高斯噪聲信道；

38、白噪聲信道；白噪聲信道；高斯白噪聲信道；高斯白噪聲信道；有色噪聲信道有色噪聲信道； 2022-6-305733高斯噪聲信道高斯噪聲信道信道中的噪聲為高斯分布（正態(tài)分布）的平穩(wěn)、各態(tài)歷經(jīng)的隨機(jī)過程。其幅度值的概率密度函數(shù)為高斯分布。內(nèi)部噪聲的熱噪聲和散粒噪聲都是高斯噪聲。高斯噪聲的一維概率密度函數(shù)為：2)(exp21)(222mxxp44白噪聲信道白噪聲信道白噪聲信道就是信道中的噪聲為白噪聲過程，白噪聲是一種平穩(wěn)、各態(tài)歷經(jīng)的隨機(jī)過程。它的功率譜密度在整個(gè)頻域上為均勻分布，也就是說功率譜密度為常數(shù)。)(2)(0NPn2022-6-3058白噪聲幅度值的概率密度函數(shù)為任意的。其中的N0為單邊功率譜密度（工程上譜的范圍），N0/2為雙邊功率譜密度（數(shù)學(xué)上的譜的范圍），單位為W/Hz?？梢钥吹桨自肼暤南嚓P(guān)函數(shù)為沖擊函數(shù)。)(2)(2)(00NRNPnn嚴(yán)格地講，白噪聲只是一個(gè)理想化的數(shù)學(xué)模型，實(shí)際上不可能存在，但是由于它的簡(jiǎn)單和方便，是設(shè)計(jì)和分析的有力工具。電子系統(tǒng)內(nèi)部噪聲的熱噪聲和散粒噪聲