信息科學基礎2015fis

1、第4離散信源的無第4離散信源的無錯編1對于信源來說有兩個重要問題1）如何計信源輸出的信息2）如何有效地表示源的輸出第1個問題可通過熵來計對于信源來說有兩個重要問題1）如何計信源輸出的信息2）如何有效地表示源的輸出第1個問題可通過熵來計算，信信源信息源（Information 編譯信信消息信號2消息：當信源的輸出連同語義學上的意義消息：當信源的輸出連同語義學上的意義一加以理解時稱為消息。稿信號：當信源的輸出只被看作是隨時間、空f(x, yt) ，則稱其信源的分（1）從取值上可以將信源進行如下分類3（或獨立）信源、（或非獨立信源、平穩(wěn)信源、非平穩(wěn)信源信源馬爾可夫信源（）等4（3）一般總以離散信源為

2、主要研究對象且將信源的輸出看作一個抽象符號的序（3）一般總以離散信源為主要研究對象且將信源的輸出看作一個抽象符號的序信源編編碼：一個信源字母序一個容易輸?shù)姆柎a字母序列源字母序碼字母序如ASCII碼uu1u2cc1c25編從理論上講，編碼實現(xiàn)的是字母序列到碼字序列從理論上講，編碼實現(xiàn)的是字母序列到碼字序列。為了便于應用，編碼只能將列分組后按一定順序依次逐步完成根據(jù)不同的分組方式及其隨后關系以不同的結(jié)構(gòu)碼，如分組碼、樹碼源字（）定長定長變長定長定長變變長變6樹碼輸出的字母不僅僅由樹碼輸出的字母不僅僅由當前輸?shù)脑醋帜笡Q定，還可能與以前的源字母或關系可以用樹圖清楚地信源編碼目的：使信號能夠更加有效地

3、傳輸信冗余度壓縮編碼無失信源編熵壓縮編碼在一定的失真容許7無信源的等同分割的獨立同分布隨機NX (x1,x2,xN 的可無信源的等同分割的獨立同分布隨機NX (x1,x2,xN 的可視作離散信源的一個長度為出序列。根據(jù)信源的N性P(X)P(xi該序列的自信NNI(X)logP(X)logP(xi)I(xi于是每個符號的平均信息量I(X1NI(xi IN (X) NNi8設信J (S,S a1,a2,aKPp(a1), p(a2), p(aK 考慮設信J (S,S a1,a2,aKPp(a1), p(a2), p(aK 考慮自信息函I(x) log p(x) p(a1), p(a2), KKEI

4、(x)p(ai)I(ai)p(ai)logp(ai) H(SKVarI(x) p(a )I(a )H(S2iiKp(a )log p(a ) H (S22ii考慮隨機向量并根據(jù)信源的I(xi1NN(X)IN1NN(X)EI(x ) H(SNi1NVarI(xi)VarIN (X)NN9根據(jù)切)VarIN (XP( (X)H(SN根據(jù)切)VarIN (XP( (X)H(SN2(N )2X) 依概率此式表明，當N 趨向于無窮大時I 。這性質(zhì)蘊涵了所謂的信源的漸斂于H (S 等同分割性（AEP）定義4.2.1X 是離散信源上的一個隨變量，N為一個自然數(shù)，則稱集T(N,)X (x1,x2,xN ):H

5、(S) IN (X)H(S)為輸出長度為N 的 典型序列集合，這N1I(xiIN (X) X 為輸出長度為N 的 典型序列集合，這N1I(xiIN (X) X NN，0定理4.2.1 對于給定的信JlimP(T(N,)N不等式所得到的不本定，N 充分大時，幾乎所有信源輸型序列出現(xiàn)的概率可推論4.2.1X x1x2,xN T(N,，。2N(H(S) P(X)2N(H(S)推論4.2.2 當N 充分大時，典型序列的數(shù)(1)2N (H (S) T推論4.2.2 當N 充分大時，典型序列的數(shù)(1)2N (H (S) T(N,) 2N(H(S)滿即證：由XT(N,1 2N(H (S)P(X)P(X)XT

6、(N,XST(N,)2N(H(S)從而T(N, 2N (H (S)，另一方面，當N 充分大時P (N,) 1XT(N,則1 2N(H(S)P(X)XT(N, T(N,) 2N(H(S)T(N, 因T(N,) (1)2N(H(S)T(N, 因T(N,) (1)2N(H(S)從。 2NH (S從兩個推論可知，離散信源的輸出序和中每個T(N,。T (N, 可分割為：T(N, 列出現(xiàn)的概率近似一樣，且總和趨向于1。 類典型序列集也稱為高概率集，型列集合稱為低概率集。這種分割特性被稱漸近等同分割性(AEP)注意：（1）個型序列出現(xiàn)的概率不一比典型序列出現(xiàn)的概率小型序列總概率小,但其數(shù)目不一定小例投擲硬幣

7、，正面出現(xiàn)的概率，p出現(xiàn)的概1 ，X x1, N表次試驗結(jié)果序表示正例投擲硬幣，正面出現(xiàn)的概率，p出現(xiàn)的概1 ，X x1, N表次試驗結(jié)果序表示正NN出現(xiàn)的次數(shù)，P(X) pN(0)(1 p)NN1N(X) log P(X N N(0) log p 1 N(0)log(1 NN由大數(shù)定理N時，N(0N ，N(0) (注意：H(S HPIN (XH(即充分大時，平次出現(xiàn)正面N(1 N出。并且每個典型序列出現(xiàn)的概p近似N (1p當p時，全的序X0 出現(xiàn)的概率 pNp (1 pp近似N (1p當p時，全的序X0 出現(xiàn)的概率 pNp (1 p)N(1p)P(X0)(1 這個特殊的序列顯然是型序列，其現(xiàn)

8、的概率大于典型序列出現(xiàn)的概率p0.4，此時Hp0.81N充分大時令N，T(100,2NH(X) 但，所以典型序列僅，故絕S多數(shù)型序4.2.2 定長編設信源的字母集及其概率分布為A4.2.2 定長編設信源的字母集及其概率分布為Aa1,a2,aK Pp1, p2,pK則定長編碼示意圖如下A a1,a2,aK B b1,b2,bJ X x1x2,xN Y y1y2,yM P(X) P(xi NNH(X)P(X) P(xi NNH(X)H(xi) NH(S信源A,P) H成長為N MB。則對于任 N M logJ H(P)NPe。信源信源輸2NH(P)p(X) 2NH(P)設典型序列集合TX (N , )中序列的個數(shù)，P(TX (N,) 11T2NH(P)所以得T 2NH(P)根據(jù)定理中的條件，則MlogJ NH(P)則JM 2NH(P)TM 剛好是長為M 的碼字的總數(shù)。這說明典而J序列集合中的每一個序列至少對應一個碼M 剛好是長為M 的碼字的總數(shù)。