信息論與編碼課程總結(jié)

1、信息論與編碼信息論與編碼這門(mén)課程給我?guī)Я撕苌羁痰母惺?。信息論是人?lèi)在通信工程實(shí)踐之中總結(jié)發(fā)展而來(lái)的，它主要由通信技術(shù)、概率論、隨機(jī)過(guò)程、數(shù)理統(tǒng)計(jì)等相結(jié)合而形成。它主要研究如何提高信息系統(tǒng)的可靠性、有效性、保密性和認(rèn)證性，以使信息系統(tǒng)最優(yōu)化。學(xué)習(xí)這門(mén)課程之后，我學(xué)到了很多知識(shí)，總結(jié)之后，主要有以下幾個(gè)方面：首先是基本概念。信息是指各個(gè)事物運(yùn)動(dòng)的狀態(tài)及狀態(tài)變化的方式。消息是指包括信息的語(yǔ)言、文字和圖像等。信號(hào)是消息的物理體現(xiàn)，為了在信道上傳輸消息，就必須把消息加載到具有某種物理特性的信號(hào)上去。信號(hào)是信息的載荷子或載體。信息的基本概念在于它的不確定性，任何已確定的事物都不含有信息。信息的特征：（1）

2、接收者在收到信息之前，對(duì)其內(nèi)容是未知的。（2）信息是能使認(rèn)識(shí)主體對(duì)某一事物的未知性或不確定性減少的有用知識(shí)。（3）信息可以產(chǎn)生，也可以消失，同時(shí)信息可以被攜帶、存儲(chǔ)及處理。（4）信息是可以量度的，信息量有多少的差別。編碼問(wèn)題可分解為3類(lèi)：信源編碼、信道編碼、加密編碼。接下來(lái)，學(xué)習(xí)信源，重點(diǎn)研究信源的統(tǒng)計(jì)特性和數(shù)學(xué)模型，以及各類(lèi)離散信源的信息測(cè)度熵及其性質(zhì)，從而引入信息理論的一些基本概念和重要結(jié)論。本章內(nèi)容是香農(nóng)信息論的基礎(chǔ)。重點(diǎn)要掌握離散信源的自信息，信息熵（平均自信息量），條件熵，聯(lián)合熵的的概念和求法及其它們之間的關(guān)系，離散無(wú)記憶的擴(kuò)展信源的信息熵。另外要記住信源的數(shù)學(xué)模型。通過(guò)學(xué)習(xí)信源與信

3、息熵的基本概念，了解了什么是無(wú)記憶信源。信源發(fā)出的序列的統(tǒng)計(jì)性質(zhì)與時(shí)間的推移無(wú)關(guān)，是平穩(wěn)的隨機(jī)序列。當(dāng)信源的記憶長(zhǎng)度為m+1時(shí)，該時(shí)刻發(fā)出的符號(hào)與前m個(gè)符號(hào)有關(guān)聯(lián)性，而與更前面的符號(hào)無(wú)關(guān)，這種有記憶信源叫做m階馬爾可夫信源。若上述條件概率與時(shí)間起點(diǎn)無(wú)關(guān)，則信源輸出的符號(hào)序列可看成齊次馬爾可夫鏈，這樣的信源叫做齊次馬爾可夫信源。之后學(xué)習(xí)了信息熵有關(guān)的計(jì)算，定義具有概率為的符號(hào)的自信息量為：。自信息量具有下列特性：（1）（2）（3）非負(fù)性（4）單調(diào)遞減性（5）可加性。信源熵是在平均意義上來(lái)表征信源的總體特征，它是信源X的 函數(shù)，一般寫(xiě)成H（X）。信源熵：，條件熵：聯(lián)合熵，聯(lián)合熵H(X,Y)與熵H(

4、X)及條件熵H(Y|X)的關(guān)系：?；バ畔? 。熵的性質(zhì)：非負(fù)性，對(duì)稱(chēng)性，確定性，極值性。接下來(lái)接觸到信道，知道了信道的分類(lèi)，根據(jù)用戶數(shù)可以分為，單用戶和多用戶；根據(jù)輸入端和輸出端可以分為無(wú)反饋和反饋信道；根據(jù)信道參數(shù)與時(shí)間可以分為固定參數(shù)和時(shí)變參數(shù)；根據(jù)信道受噪聲種類(lèi)分為隨機(jī)差錯(cuò)信道和突發(fā)差錯(cuò)信道根據(jù)輸入輸出信號(hào)的特點(diǎn)分為離散信道，連續(xù)信道，半離散半連續(xù)，波形信道。學(xué)習(xí)了信道容量的相關(guān)計(jì)算，信道容量C=含義，表征信道能傳輸?shù)淖畲笮畔⒘浚蛘咝诺赖淖畲髠鬏斈芰?。以上是信息論部分的知識(shí)，下面就進(jìn)入到編碼的部分，我們首先接觸到時(shí)是信源編碼的相關(guān)概念。分組碼:將信源消息分成若干組，即符號(hào)序列，序列中的

5、每個(gè)符號(hào)取自符號(hào)集A，。而每個(gè)符號(hào)序列依照固定的碼表映射一個(gè)碼字，這樣的碼稱(chēng)為分組碼，也叫快碼。碼可以分為固定長(zhǎng)度碼和變長(zhǎng)碼； 分組碼又分為奇異碼和非奇異碼；若信源符號(hào)和碼字是一一對(duì)應(yīng)的，該碼為非奇異碼，反之為奇異碼。非奇異碼又分為非唯一可譯碼和唯一可譯碼；任意有限長(zhǎng)的碼元序列，只能被唯一分割成一個(gè)個(gè)碼字，稱(chēng)唯一可譯碼；值得注意的是奇異碼不是唯一可譯碼，而非奇異碼中有唯一可譯碼和非唯一可譯碼。唯一可譯碼又分為非即時(shí)碼和即時(shí)碼；接收端收到一個(gè)完整的碼字后，不能立即譯碼，還需等下一個(gè)碼字開(kāi)始接受后才能判斷是否可以譯碼，稱(chēng)為非即時(shí)碼，即時(shí)碼又稱(chēng)非延時(shí)碼，任意一個(gè)碼字都不是其他碼字的前綴部分，叫異前綴

6、碼。唯一可譯碼的充要條件：。定長(zhǎng)編碼定理：由L個(gè)符號(hào)組成的、每個(gè)符號(hào)的熵為的無(wú)記憶平穩(wěn)信源符號(hào)序列（）,可用個(gè)符號(hào)(每個(gè)符號(hào)有m種可能值)進(jìn)行定長(zhǎng)編碼。對(duì)任意,則當(dāng)L足夠大時(shí)，必可使譯碼差錯(cuò)小于；當(dāng)時(shí)，譯碼差錯(cuò)一定是有限值。當(dāng)L足夠大時(shí)，譯碼幾乎必定出錯(cuò)。然后學(xué)習(xí)了如何計(jì)算編碼效率，編碼效率：,其中為平均符號(hào)熵。 最佳編碼效率：，單個(gè)符號(hào)變長(zhǎng)編碼定理：若離散無(wú)記憶信源的符號(hào)熵為,每個(gè)信源符號(hào)用m進(jìn)制碼元進(jìn)行變長(zhǎng)編碼，一定存在一種無(wú)失真編碼方法，其碼字平均長(zhǎng)度滿足下列不等式.平均輸出信息率為。 碼字平均長(zhǎng)度：10碼字平均長(zhǎng)度：及 信源符號(hào)的平均碼長(zhǎng)：。然后了解了集中常見(jiàn)的編碼方法。費(fèi)諾編碼：平均

7、碼長(zhǎng)，為碼長(zhǎng)；信息傳輸速率：。哈夫曼編碼：把信源符號(hào)(i=1,2,m)出現(xiàn)的概率按由大到小的順序排列；(2)對(duì)兩個(gè)概率最小的符號(hào)分別標(biāo)“0”和“1”，然后把這兩個(gè)概率相加作為一個(gè)新的輔助符號(hào)的概率；(3)將這個(gè)新的輔助符號(hào)與其他符號(hào)一起重新按概率大小順序排列；(4)跳到第2步，直到出現(xiàn)概率相加為1為止；(5)用線將符號(hào)連接起來(lái)，得到一個(gè)碼樹(shù)，樹(shù)的m個(gè)端點(diǎn)對(duì)應(yīng)m個(gè)信源符號(hào)；6)從最后一個(gè)概率為1的節(jié)點(diǎn)開(kāi)始，沿著碼樹(shù)分別到達(dá)每個(gè)信源符號(hào)，將一路遇到的“0”和“1”順序排列起來(lái)，就是對(duì)應(yīng)端點(diǎn)的信源符號(hào)的碼字。最后學(xué)習(xí)了信道的糾錯(cuò)編碼，糾錯(cuò)碼分類(lèi)：從功能角度，分為檢錯(cuò)碼和糾錯(cuò)碼；從對(duì)信息序列的處理方法

8、，分為分組碼和卷積碼；從碼元與原始信息的關(guān)系，分為線性碼和非線性碼。噪聲均化的三種方法：增加碼長(zhǎng)N，卷積，交錯(cuò)?；撞皇俏ㄒ坏?，生成矩陣也就不是唯一的。非系統(tǒng)碼的生產(chǎn)矩陣可以通過(guò)運(yùn)算轉(zhuǎn)變?yōu)橄到y(tǒng)形式，此過(guò)程叫系統(tǒng)化。與任何一個(gè)（n,k）分組線性碼的碼空間C相對(duì)應(yīng)，一定存在一個(gè)對(duì)偶空間D.空間的n-k個(gè)基底排列起來(lái)可構(gòu)成一個(gè)（n-k）n矩陣，將這個(gè)矩陣稱(chēng)為碼空間C的校驗(yàn)矩陣H.。線性碼的任意碼字c一定正交于其對(duì)偶碼的任意一個(gè)碼字，也必定正交于校驗(yàn)矩陣H的任意一個(gè)行矢量，即,0為零矩陣，若，則c為碼字，反之，則不是碼字。校驗(yàn)矩陣的定義。信息論與編碼是一門(mén)比較有難度的課程，接觸的知識(shí)點(diǎn)比較廣，比較全，先行課程也比較多。通過(guò)學(xué)習(xí)這門(mén)課程，我加深了對(duì)基本概念的