信息論與編碼課程總結(jié)

1、信息論與編碼課程總結(jié)08信息（）班 0807011039 趙傳來信息論是人們?cè)陂L(zhǎng)期通信工程的實(shí)踐中，由通信技術(shù)與概率論、隨機(jī)過程和數(shù)理統(tǒng)計(jì)相結(jié)合而逐步發(fā)展起來的一門科學(xué)。緒論首先引出信息的概念，進(jìn)而討論信息論這一科學(xué)的研究對(duì)象、目的和內(nèi)容，并簡(jiǎn)述本學(xué)科的發(fā)展歷史、現(xiàn)狀和動(dòng)向。經(jīng)總結(jié)有以下知識(shí)點(diǎn)。信息是指各個(gè)事物運(yùn)動(dòng)的狀態(tài)及狀態(tài)變化的方式。消息是指包括信息的語言、文字和圖像等。信號(hào)是消息的物理體現(xiàn)，為了在信道上傳輸消息，就必須把消息加載到具有某種物理特性的信號(hào)上去。信號(hào)是信息的載荷子或載體。信息的基本概念在于它的不確定性，任何已確定的事物都不含有信息。信息的特12）信息是能使認(rèn)識(shí)主3）信息可以產(chǎn)

2、生，也可4）信息是可以量度的，信息量有多少的差別。編碼問題可分解為 3 類：信源編碼、信道編碼、加密編碼。 。在緒論之后，我們徐誒了 信源與信息熵的基本概念，了解了什么是無記憶信源。信源發(fā)出的序列的統(tǒng)計(jì)性質(zhì)與時(shí)間的推移無關(guān)，是平穩(wěn)的隨機(jī)序列。當(dāng)信源的記憶長(zhǎng)度為 m+1時(shí)，該時(shí)刻發(fā)出的符號(hào)與前 m個(gè)符號(hào)有關(guān)聯(lián)性，而與更前面的符號(hào)無關(guān)，這種有記憶信源叫做 m 階馬爾可夫信源。若上述條件概率與時(shí)間起點(diǎn)無關(guān)，則信源輸出的符號(hào)序列可看成齊次馬爾可夫鏈，這樣的信源叫做齊次馬爾可夫信源。之后學(xué)習(xí)了信息熵有關(guān)的計(jì)算，定義具有概率為( )的p xiI(x)logp(x)符號(hào) 的自信息量為x。自信息量具 有下列特

3、性：（1）：iiip(x )1,I(x )0(x )0,I(x ) 3）非負(fù)性（4）單調(diào)遞減性（ 5）（2） p（iiii可加性。信源熵是在平均意義上來表征信源的總體特征，它是信源 X的 函數(shù)，(X) p(x )log p(x )一 般 寫 成 H （ X 信 源 熵 ： H條 件 熵 ：，iiip x y 聯(lián)合熵 H X YH(X |Y) p(x,y ( | )p x y( | ) ( , )log ( , )p x y ，ijijijijijij聯(lián) 合 熵 與 熵 及 條 件 熵 的 關(guān) 系 ：H(X,Y) H(X)HY | X) H(X)H(X |Y)?；バ畔?p(y |x )p(y |

4、x ) p(x )p(y |x )logI(X;Y) p(x ,y )log的性質(zhì)：i jijp(y )p(y )ijijii,jjj非負(fù)性，對(duì)稱性，確定性，極值性。接下來接觸到信道，知道了信道的分類，根據(jù)用戶數(shù)可以分為，單用戶和多用戶；根據(jù)輸入端和輸出端可以分為無反饋和反饋信道；根據(jù)信道參數(shù)與時(shí)間可以分為固定參數(shù)和時(shí)變參數(shù)；根據(jù)信道受噪聲種類分為隨機(jī)差錯(cuò)信道和突發(fā)差錯(cuò)信道根據(jù)輸入輸出信號(hào)的特點(diǎn)分為離散信道，連續(xù)信道，半離散半連續(xù)，波形信道。學(xué)習(xí)了信道容量的相關(guān)計(jì)算，信道容量 maxI(X;Y)含義，表p(a )i征信道能傳輸?shù)淖畲笮畔⒘?，或者信道的最大傳輸能力。以上是信息論部分的知識(shí)，下面就

5、進(jìn)入到編碼的部分，我們首先接觸到時(shí)是信源編碼的相關(guān)概念。分組碼 :將信源消息分成若干組，即符號(hào)序列 x，ix (x ,x , ,x , ,x ) ， 序 列 中 的 每 個(gè) 符 號(hào) 取 自 符 號(hào) 集 A ，ii2ili1Lxix a ,a ,a , ,a , a 。而每個(gè)符號(hào)序列依照固定的碼表映射一個(gè)碼字l123iny，這樣的碼稱為分組碼，也叫快碼。碼可以分為固定長(zhǎng)度碼和變長(zhǎng)碼； 分組i碼又分為奇異碼和非奇異碼；若信源符號(hào)和碼字是一一對(duì)應(yīng)的，該碼為非奇異碼，反之為奇異碼。非奇異碼又分為非唯一可譯碼和唯一可譯碼；任意有限長(zhǎng)的碼元序列，只能被唯一分割成一個(gè)個(gè)碼字，稱唯一可譯碼；值得注意的是奇異碼

6、不是唯一可譯碼，而非奇異碼中有唯一可譯碼和非唯一可譯碼。唯一可譯碼又分為非即時(shí)碼和即時(shí)碼；接收端收到一個(gè)完整的碼字后，不能立即譯碼，還需等下一個(gè)碼字開始接受后才能判斷是否可以譯碼，稱為非即時(shí)碼，即時(shí)碼又稱非延時(shí)碼，任意一個(gè)碼字都不是其他碼字的前綴部分，叫異前綴碼。唯一n可譯碼 m 1。定長(zhǎng)編碼定理：由 L 個(gè)符號(hào)組成的、每個(gè)符號(hào)Kii1K的熵為 H ()的無記憶平穩(wěn)信源符號(hào)序列可用 個(gè)符號(hào)L（）,X ,X , ,X , ,XL12lLY,Y , ,Y , ,Y ( 每 個(gè) 符 號(hào) 有 m 種 可 能 值 ) 進(jìn) 行 定 長(zhǎng) 編 碼 。 對(duì) 任 意12kKLK則當(dāng) 足夠大時(shí)，必可使譯碼差錯(cuò)小于

7、； m H (X)+ ,LLLLK當(dāng)時(shí)，譯碼差錯(cuò)一定是有限值。當(dāng) 足夠大時(shí)，譯碼幾乎必Lm H LLLH 定出錯(cuò)。然后學(xué)習(xí)了如何計(jì)算編碼效率，編碼效率：其中 H (X),LKLLLmH 為平均符號(hào)熵。 最佳編碼效率：, 單個(gè)符號(hào)變長(zhǎng)編碼定理：，LH L若離散無記憶信源的符號(hào)熵為 每個(gè)信源符號(hào)用 m 進(jìn)制碼元進(jìn)行變長(zhǎng)編H,碼，一定存在一種無失真編碼方法，其碼字平均長(zhǎng)度K 滿足下列不等式H(X)H(X)K K +1 平均輸出信息率為 K logm碼字平均長(zhǎng)度：.。LlogmlogmLnk pkn pk 及 信源符號(hào)的平均碼長(zhǎng)：i i碼字平均長(zhǎng)度： Ki iLi1i1KK logm。LLn p(a

8、K然后了解了集中常見的編碼方法。費(fèi)諾編碼：平均碼長(zhǎng) K，iii1H(X)K 為碼長(zhǎng)；信息傳輸速率：R哈夫曼編碼：把信源符號(hào)xiiK出現(xiàn)的概率 按由大到小的順序排列；(2)對(duì)兩個(gè)概率最小的符號(hào)分別標(biāo)“ 0”pi和“1 (3)將這個(gè)新的輔助符號(hào)與其他符號(hào)一起重新按概率大小順序排列；跳到第 2 步，直到出現(xiàn)概率相加為 1為止；(5)用線將符號(hào)連接起來，得到一個(gè)碼樹，樹的 m個(gè)端點(diǎn)對(duì)應(yīng) m 個(gè)信源符號(hào)；6)從最后一個(gè)概率為 1 的節(jié)點(diǎn)開始，沿著碼樹分別到達(dá)每個(gè)信源符號(hào)，將一路遇到的“0”和“1”順序排列起來，就是對(duì)應(yīng)端點(diǎn)的信源符號(hào)的碼字。最后學(xué)習(xí)了信道的糾錯(cuò)編碼，糾錯(cuò)碼分類：從功能角度，分為檢錯(cuò)碼和糾錯(cuò)碼；從對(duì)信息序列的處理方法，分為分組碼和卷積碼；從碼元與原始信息的關(guān)系，分為線性碼和非線性碼。噪聲均化的三種方法：增加碼長(zhǎng) N，卷積，交錯(cuò)。基底不是唯一的，生成矩陣也就不是唯一的。非系統(tǒng)碼的生產(chǎn)矩陣可以通過運(yùn)算轉(zhuǎn)變?yōu)橄到y(tǒng)形式，此過程叫系統(tǒng)化。與任何一個(gè)（ n,k）分組線性碼的碼空間 C 相對(duì)應(yīng)，一定存在一個(gè)對(duì)偶空間 D.空間的 n-k 個(gè)基底排列起來可構(gòu)成一個(gè)（n-k） n 矩陣，將這個(gè)矩陣稱為碼空間 C 的校驗(yàn)矩陣 H.。線性碼的任意碼字 c 一定正交于其對(duì)偶碼的任意一個(gè)碼字，也必定H矢量