信息論知識(shí)點(diǎn)

1、每接收一條消息所獲得的平均信息量。信息婿H(X)的性質(zhì)和定理：非負(fù)性;最大信息婿定理 H(X) log2 n lnx稱性 H(X)=Hp(x1),p(x2),p(xn)=概率，與消息的取值無關(guān)；確定性:嚴(yán)格上凸性；lnxx- 1x- 1單符號(hào)離散信源中各消息等概率出現(xiàn)時(shí)，具有最大:W;對(duì)- p(xi)log2 p(xi)與信源的總體結(jié)構(gòu)有關(guān)而不在乎個(gè)別消息的i 1H(0,1)=0 ;擴(kuò)展性信息的主要特性：普遍性、可度量性、相對(duì)獨(dú)立性、可傳輸性、可存儲(chǔ)性、可共享性、時(shí)效性通信系統(tǒng)對(duì)信息傳輸?shù)囊螅河行砸灰粋鬏數(shù)拿恳粭l消息攜帶盡可能多的信息量或單位時(shí)間內(nèi)傳輸盡可能多的信息量可靠性一一信源提供的消

2、息經(jīng)傳輸后，盡可能準(zhǔn)確、不失真地被信宿接受并再現(xiàn)保密性 信源的分類：一方面分為離散信源和連續(xù)信源，另一方面分為無記憶信源和有記憶信源。消息中所包含的不確定性的成分才是信息，因此，不確定性的成分越大，或者說出現(xiàn)的概率越小，信息量就越大。 離散信源輸出xi所包含的信息量用I(xi)來表示并將其稱為xi的自信息量，xi的自信息量的定義式 為：I(x ) = -log 2 p(xi )自信息量的性質(zhì)：I(xi)是隨機(jī)量；I(xi)是非負(fù)值；I(xi)是p(xi)的單調(diào)遞減函數(shù)。必然發(fā)生的事件不存在任何不確定性，故不含有任何信息量。聯(lián)合自信息量：I(xi yj) = - log2 p(xi yj)條件自

3、信息量：I(xi/yj) = -log2 p(xi/yj )在已知yj的條件下，發(fā)生xi所帶來的信息量。I(yj/xi) = -log2 p(yj/xi )在已知xi的條件下，發(fā)生yj所帶來的信息量。聯(lián)合自信息量與條件自信息量關(guān)系：I(xi yj)=I(xi/yj)+I(yj)=I(yj/xi)+I(xi)自信息量反映的是一個(gè)隨機(jī)事件出現(xiàn)某種結(jié)果所包含的信息量，自信息量具有隨機(jī)變量的性質(zhì)。單符號(hào)離散信源的信息:W：將離散信源所有自信息量的數(shù)學(xué)期望用H(X)來表示并稱其為信源的信息;W,也叫香農(nóng)航信息婿的定義為：H(X)= EI(xi)=、 p(xi)I(xi)= -、 p(xi)log2 p(

4、xi)i 4i =4。H(X)反映信H(X)不等于信息婿的單位是比特/符號(hào)(bit/symbol)。信息婿是仄整體出發(fā)對(duì)一個(gè)離散信源信息量的度量 源每發(fā)出一條消息所提供的平均信息量，不反映信源發(fā)出某條特定消息的信息量一般情況下，可加性H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) N維信息婿的鏈?zhǔn)椒▌tFI(X,X Xsl- FI(Xa)+lhXjdX,)+114XuX.X；;極值性 H(X/Y) H(X);H(Y/X) H(Y)單符號(hào)離散如果信源每次發(fā)出的消息都是單一符號(hào)，而這些符號(hào)的取值是有限或可數(shù)的，則稱這種信源為 信源。如果信源每次發(fā)出的消息都是有限或可數(shù)的符號(hào)序列，而這些符

5、號(hào)都取值于同一個(gè)有限或可數(shù)的集 合，則稱這種信源為多符號(hào)離散信源。H = KmXJ1 1、可以證明,N維離散平穩(wěn)信源的嫡率(平均符號(hào)嫡)Hn(XiX2Xn)=/ (X氏XJ EH (X1)當(dāng)Nf00時(shí)，平均符號(hào)！W取極限值，稱之為極限1W ,用心表小，即極限婿Hs存在且= tim離散無記憶信源X的N次擴(kuò)展信源的婿就是單符號(hào)離散信源X的婿的N倍：H(XN)=NH(X)Hn (X N)qH (XN) =H (X)該信源的極限燧為N如果離散平穩(wěn)信源發(fā)出的符號(hào)只與前面已經(jīng)發(fā)出的m(N)個(gè)符號(hào)相關(guān)，則稱該信源為 m階馬爾科夫信源。馬爾科夫信源是離散平穩(wěn)有限記憶信源， m是馬爾科夫信源的記憶長度，m階馬爾

6、科夫信源發(fā)出的符號(hào)序列可看成長度為m+1的一段段符號(hào)序列。n元m階馬爾科夫信源狀態(tài)轉(zhuǎn)移圖有 nm個(gè)狀態(tài)p J極限燧計(jì)算-I i根據(jù)馬爾科夫鏈的遍歷(各態(tài)歷經(jīng))定理:六 p(sj)的求取問題N次擴(kuò)展信源碼率R=L/N (N次擴(kuò)展)編碼效率H (XN) NH (X)L-H (X) H(X)= L/N=-R-無失真信源編碼定理：離散信源的嫡為H(X),對(duì)N次擴(kuò)展信源進(jìn)行二進(jìn)制不等長信源編碼，一定存在一種 無失真編碼方法，構(gòu)成單義可譯碼，當(dāng)N足夠大時(shí)，使得碼率 H(X)&R H(X)離散信源的婿為H(X),對(duì)N次擴(kuò)展信源進(jìn)行異前置碼編碼，碼率R H(X)異前置碼的漸近最優(yōu)性編碼效率n,-R-i一取從提

7、高傳輸效率的角度，碼率越接近燧率越好離散信源的婿為H(X),對(duì)N次擴(kuò)展信源進(jìn)行異前置碼編碼，對(duì)任意給定的 0,當(dāng)N足夠大，碼率R=j”仇洱 = 陋制言合勺 心j平均互信息也稱為交互其單位是比特/符號(hào)(bit/symbol)。平均互信息(交互靖)的物理意義：I(X;Y) =H(Y)-H(Y/X) 平均互信息量是發(fā)送X前后關(guān)于Y的不確定度減少量，即由 X獲得的關(guān)于丫的平均互信息量，條件 H(Y/X) 是信道所給出的平均“信息”量，通常稱為噪聲婿或信道散布度；I(X;Y)=H(X)-H(X/Y)平均互信息量是收到Y(jié)前后關(guān)于X的不確定度減少量,即由丫獲得的關(guān)于X的平均互信息量,條件 H(X/Y)也是信

8、道所給出 的平均“信息”量，通常稱為損失婿，也稱為信道疑義度。I(X;Y)=H(X)+H(Y)-H(XY)平均互信息量等于通信前后整個(gè)系統(tǒng)不確定度減少量，該式是利用信源發(fā)出的信息燧、信宿接收到的信息燧和與信道特性相關(guān)的聯(lián)合燧來估計(jì)交互;W。平均互信息的性質(zhì)和定理： I(Y；X)的對(duì)稱性：I(Y;X)=I(X;Y) I(Y;X)的非負(fù)性：H(Y/X) H(Y) I(Y;X)= H(Y)-H(Y/ X)0I(Y;X)的極值性：I(Y;X)=H(Y)-H(Y / X) H(Y); I(Y;X)=H(X)-H(X/ Y) & H(X)I(Y;X) 的凸函數(shù)性：當(dāng)信道固定時(shí)，I(Y;X)是信源概率分布P

9、(X)的嚴(yán)格上凸函數(shù)；當(dāng)信源固定時(shí)，I(Y;X)是信道 轉(zhuǎn)移概率分布P(Y/X)的嚴(yán)格下凸函數(shù)。數(shù)據(jù)處理定理|一而小產(chǎn)I(X;Z) I(X;Y) I(X;Z) 1爆出兒信道剩余度=1-R/C2球出C =1j求出j=L2,網(wǎng) 網(wǎng)由3/ = 網(wǎng)電)1V八j j = lN-m求出出川工,11m = n強(qiáng)對(duì)稱信道(均勻信道)學(xué)月強(qiáng)對(duì)稱信道的信息傳輸率可達(dá)最大，其信道容量為對(duì)稱彳mi (行、列可排列)當(dāng)口時(shí)，對(duì)稱信道的信息傳輸率可達(dá)最大,準(zhǔn)對(duì)稱信道(行可排列、列不可排列)由、C 二豚 m + qj 唯 qj其信道容量為二口當(dāng)時(shí)，C-mJ(y)lo!iPjy)-l(q /q：.q J產(chǎn)-叫燈(，)晚 Pk

10、SI+fqikyq12二進(jìn)制刪除信道I _l(*XdYJl)=HX1：Yj+ll*;YjYj+l|*;YjXJ；)|一平均互信息的鏈?zhǔn)椒▌t如果記一維離散無記憶信道的信道容量為C,則其N次擴(kuò)展信道的信道容量為.您N次擴(kuò)展信道的信道容量為C,進(jìn)行二進(jìn)制信道編碼，只要 信息傳輸率RC當(dāng)N足夠大時(shí)，平均譯碼錯(cuò)誤概率PeC無論N多大，平均譯碼錯(cuò)誤概率 Pe 信道編碼定理又叫香農(nóng)第二定理，該定理從理論上證明了 譯碼錯(cuò)誤概率任意小的理想糾錯(cuò)編碼的存在性。信道容量C是信息傳輸率的上界一一香農(nóng)界，如果信息傳輸率超過這個(gè)界限一定會(huì)出錯(cuò)。線性分組碼；線性分組碼通常采用前向糾錯(cuò)，可表示為(n,k),其中n為碼字長度，

11、k為信息位長度，校驗(yàn)位長度為m=n-ko碼距(漢明距離)d碼重(漢明重量) w最小碼距d min線性分組碼(n,k)能檢e個(gè)錯(cuò)誤并能糾t個(gè)錯(cuò)誤的充要條件是因此，最簡單的能檢1個(gè)錯(cuò)誤并 能糾1個(gè)錯(cuò)誤的線性分組碼(n,k)的d.之3校驗(yàn)矩陣mx n秩為m的矩陣H Hr, = &、其中ri為第i個(gè)接收碼字，以n列向量表示,si為第i個(gè)接收 碼字的誤碼標(biāo)志 2n之口kxn生成矩陣G校驗(yàn)矩陣H與生成矩陣 維間滿足HG=d編碼匕二(；，其 中xi為第i個(gè)碼字的信息，以k列向量表示3重復(fù)碼的最小碼距為 3能檢驗(yàn)并改正1位bit錯(cuò)，5重復(fù)碼最小碼距為5能校驗(yàn)并改正2位bit錯(cuò)連續(xù)信源：連續(xù)信源的絕對(duì)燧微分靖(

12、相對(duì)嫡)不能反映連續(xù)信源的平均不確定度。 上與離散信源信息燧統(tǒng)一；燧差具有信息測(cè)度的意義。(1)均勻分布連續(xù)信源的微分婿P (x) =1/(b-a) a Tl*dTU“.NTE”掠POm定義微分嫡的目的：在形式 x b Hc(X)=log2 (b-a)(2)高斯分布連續(xù)信源的微分婿”I3下 * *1 川、Hhff* 日ri j,Hc(x)= Lee (21T Q 2)(3)指數(shù)分布連續(xù)信源的微分燃1的肉Hc(x)=log2 emlog 21 2兒 e (T/微分婿的性質(zhì)及最大微分婿定理微分婿不具有非負(fù)性微分婿的可加性最大微分婿定理連續(xù)信源沒有一般意義下的最大婿，只有限制條件下的最大婿。取值范圍

13、受限：均勻分布的連續(xù)信源具有最大婿，即限取值范圍的最大婿定理Hc(X) log(b-a),axwb;平均功率受限：均值為零、方差等于該平均功率的高斯分布的連續(xù)信源具有最大麻即均值受限：均值等于該限定值的指數(shù)分布的連續(xù)信源具有最大麻 即限均值的最大婿定理Hc(X) log(em), 0 &x0;Ic(Y;X) 0可由定義并利用不等式lnx x-1證明平均互信息具有對(duì)稱性Ic(X;Y)=Ic(Y;X)平均互信息具有凸函數(shù)性當(dāng)信道固定時(shí)，Ic(Y;X)是信源概率密度函數(shù)p(x)的上凸函數(shù)；當(dāng)信源固定時(shí)，Ic(Y;X)是信道轉(zhuǎn)移概率密度函數(shù)p(y/x)的下凸函數(shù)。數(shù)據(jù)處理定理WT | Ic(X;Z)

14、Ic(X;Y);Ic(X;Z) Ic(Y;Z)將平均互信息Ic(X;Y)理解為單符號(hào)連續(xù)信道的信息傳輸率R,即R=Ic(X;Y)信道容量C= maxR= maxIc(X;Y)加性連續(xù)信道及信道容量:(1)加性連續(xù)信道：噪聲對(duì)輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加，即飛輸入X的概率密度函數(shù)為p(x),輸出Y的概率密度函數(shù)為 p(y),噪聲N的概率密度函數(shù)為p(n)。當(dāng)X和N相互獨(dú)立時(shí)，加性連續(xù)信道的轉(zhuǎn)移概率密度函數(shù) p(y/x)=p(n)。加性連續(xù)信道的信道容量：Hc(Y/X)=Hc(N) .需、；1= %niTLZHaN)!(2兀=221.210g 2( 2兀 ePN)如果噪聲N是均值為0、

15、方差為植=PN的高斯噪聲，輸入X滿足均值為零、方差為 移=R的高斯分布,則稱該加性信道為高斯加性信道。明高斯加性信道的輸出Y也滿足均值為0,方差為的高斯分布，且222OY = 0X +6，如輸入X的平均功率被限定為 PX ，已知噪聲N的平均功率為PN ,輸出丫的平均功率Py=oY=oX+ /=Px+PN根據(jù)限平均功率的最大婿定理，當(dāng)輸出丫為均值等于零、方差0丫等于PY的高斯分布時(shí)具有最大麻即嘿山叫+響工*)一如小叫1|P 4- I11p、C. = Lo自一=-心目 I + P-、 Py高斯加性信道的信道容量： 工 2P.其中2為信噪比Pn當(dāng)信道的頻帶為(0,W)時(shí)，將信道的一次傳輸看成是一次采

16、樣，根據(jù)采樣定理，采樣率為2W可保證不失真。 TOC o 1-5 h z 11p不失真的一次傳輸所需時(shí)間為1/2W,相應(yīng)的最大信息傳輸速率4F屈(香農(nóng)公式)PN為高斯加性噪聲的單邊功率譜密度。香農(nóng)公式說明：當(dāng)最大信息傳輸速率一定時(shí)，增大信道的帶寬，N。=W也 WPI*PX可以降低對(duì)信噪功率比的要求。當(dāng)信道的頻帶很寬，即SCT-NWlJi(l + ,x)高斯加性信道N次擴(kuò)展信道的最大信息傳輸速率P、平均失真度：(1)失真度定義非負(fù)函數(shù)d(xi,yj)為失真度。n元信源X經(jīng)過信道對(duì)應(yīng)m元信宿i=1,2,n；j=1,2,m 稱全部nXm個(gè)失真度組成的矩陣為失真矩陣： n行m列D (2)平均失真度 片

17、即風(fēng)M廣自小腳小泗小嗎3)保真度準(zhǔn)則- 平均失真度不大于給定的允許失真 D D棄 信息率失真函數(shù)的定義：當(dāng)信源 p(xi)固定，調(diào)整信道p(yj/xi)，凡滿足保真度準(zhǔn)則 DED的數(shù)據(jù)處理信道，稱為D失真許可的實(shí)驗(yàn)信道。實(shí)驗(yàn)信道的集合11n = 一 ，、-，一，一, RfD)= min R= min l(X;Y)定義保真度準(zhǔn)則下的最小信息傳輸率為信息率失真函數(shù)。腳” IMP. 叫小信息率失真函數(shù)的性質(zhì)和定義域 ：R(D)具有非負(fù)性R(D)是D的下凸函數(shù) R(D)是D的單調(diào)遞減連續(xù)函數(shù)信息率失真函數(shù)的定義域：由于允許失真 D是平均失真度D的上界，故允許失真 D的給定范圍受限于平均失真度D的可能取

18、值。I1信息率失真函數(shù) R(D)的大致曲線為：需孫2產(chǎn)嗯其小.咻幽 當(dāng)D =Dmin=0,即不允許任何失真時(shí) R(D)=H(X)根據(jù)R(D)的性質(zhì)可知，當(dāng) D =Dmax時(shí)，R(D)=0;如果 D Dmax,同樣 R(D) =0將率失真函數(shù)的計(jì)算步驟整理如下：由1 = %P(I田刈11卬求含5的, j = 12泗由1 =收時(shí)/聞外”求的的出浦=12也II求含5的刖力，即)=j =以澗(4南心|即然的口,出川山“皿工,)口4工隊(duì)咆產(chǎn)如同ii 1必n進(jìn)制(n元)等概率信源，若失真矩陣：言息率失真函數(shù)R(D)對(duì)應(yīng)的實(shí)驗(yàn)信道的轉(zhuǎn)移概率分aa9 B B0afD _根據(jù)限平均功率的最大胸定理，Y=y條件下

19、的微分嫡”33工訊、廳加曲”必信道疑義度在滿足保真度準(zhǔn)則 D D的條件下工叼 L(x；y)= x)_il(x 八產(chǎn),哨訪11)一,“血=2呵 17,R|D)= inf IjXiY) K(l)|=n( ) 1-23-找到信道使得/ 有 2D考慮反向加性信道N并設(shè)噪聲N是均值為0,方差為D的高斯變量。對(duì)于 丫和N相互獨(dú)立的反向高斯加性信道，可以證明 p(x/y)=p(n),從而由信息率失真函數(shù)的下凸性和單調(diào)遞減性，可知S力可改祗1嗝：dW dl)布為:其信息率失真函數(shù)：g% 中-%Dx|p-| 由出=一 20a信源等概率分布時(shí):aa):=I.：:，+ I D I r e ，l I |，I，_，.,I + n - l)r(2) N次擴(kuò)展信源的信息率失真函數(shù)D = ：pl)曲 J【打)=當(dāng)a =1時(shí)，失真矩陣(漢明失真矩陣 信源等概率分布時(shí)：其中m =G=w，)mind 宿,” =1()= j= 1 2,n】ii )n uia a= f p(y