信息論與編碼基礎(chǔ)-大學(xué)課件-

信息論與編碼基礎(chǔ)

Information

Theory

andcode

techniques緒論信息與編碼編碼的分類與作用信息論與編碼技術(shù)的發(fā)展及應(yīng)用授課內(nèi)容要求及評分標(biāo)準(zhǔn)§1

信息與編碼什么是信息？信息是消息中有意義的那一部分內(nèi)容消息、信息與信號的關(guān)系信息蘊(yùn)涵于消息之中，信號是消息的表現(xiàn)形式編碼：是為了提高通信或計(jì)算機(jī)存儲系統(tǒng)的有效性、可靠性或安全性（或其他目的）對消息進(jìn)行的某種變換。信息論：研究信息及其度量、信道容量、編碼所能達(dá)到的理論極限等內(nèi)容的學(xué)科，又稱為通信的數(shù)學(xué)理論，對通信具有重大的指導(dǎo)作用。信息的概念信息是信息論中最基本、最重要的概念，既抽象又復(fù)雜信息在日常生活中被認(rèn)為是“消息”、“知識”、

“情報(bào)”等“信息”不同于消息（在現(xiàn)代信息論形成之前，信息一直被看作是通信中消息的同義詞，沒有嚴(yán)格的數(shù)學(xué)含義），消息是表現(xiàn)形式，信息是實(shí)質(zhì)；“信息”不同于情報(bào)，情報(bào)的含義比“信息”窄的多，一般只限于特殊的領(lǐng)域，是一類特殊的信息；信息不同于信號，信號是承載消息的物理量；信息不同于知識，知識是人們根據(jù)某種目的,從自然界收集得來的數(shù)據(jù)中整理、概括、提取得到的有價值的信息，是一種高層次的信息。消息：用文字等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運(yùn)動和主觀思維活動的狀態(tài)表達(dá)出來。知識：一種具有普遍和概括性質(zhì)的高層次的信息，以實(shí)踐為基礎(chǔ)，通過抽象思維，對客觀事物規(guī)律性的概括。情報(bào)：是人們對于某個特定對象所見、所聞、所理解而產(chǎn)生的知識。它們之間有著密切聯(lián)系但不等同，信息的含義更深刻、廣泛就狹義而言，在通信中對信息的表達(dá)分為三個層次：信號、消息、信息。信號：是信息的物理表達(dá)層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實(shí)體，可測量、可描述、可顯示。消息：(或稱為符號)是信息的數(shù)學(xué)表達(dá)層，它雖不是一個物理量，但是可以定量地加以描述，它是具體物理信號的進(jìn)一步數(shù)學(xué)抽象，可將具體物理信號抽象為兩大類型：離散(數(shù)字)消息，一組未知量，可用隨機(jī)序列來描述

X=(X1…Xi…Xn)連續(xù)(模擬)消息，未知量，它可用隨機(jī)過程來描述：

X(t,ω)·信息：它是更高層次哲學(xué)上的抽象，是信號與消息的更高表達(dá)層次?！?/p>

信息、消息和信號是既有區(qū)別又有聯(lián)系的三個不同的概念。消息中包含信息，是信息的載體。信號攜帶著消息，它是消息的運(yùn)載工具。信息可認(rèn)為是由具體的物理信號、數(shù)學(xué)描述的消息的內(nèi)涵，即信號具體載荷的內(nèi)容、消息描述的含義。而信號則是抽象信息在物理層表達(dá)的外延；消息則是抽象信息在數(shù)學(xué)層表達(dá)的外延。同一信息，可以采用不同的信號形式(比如文字、語言圖象等)來載荷；同一信息，也可以采用不同的數(shù)學(xué)表達(dá)形式(比如離散或連續(xù))來定量描述。同一信號形式，比如“0”與“1”可以表達(dá)不同形式的信息，比如無與有、斷與通、低與高(電平)等等。·

什么是信息關(guān)于信息的科學(xué)定義，到目前為止，國內(nèi)外已有不下百余種流行的說法，它們都是從不同的側(cè)面和不同的層次來揭示信息的本質(zhì)的。1928年，哈特萊(R．V．L

Hartley)在《信息傳輸》一文中提出：發(fā)信者所發(fā)出的信息，就是他在通信符號表中選擇符號的具體方式局限性：定義不涉及到信息的價值和具體內(nèi)容，只考慮選擇的方式。即使考慮選擇的方法，但沒有考慮各種可能選擇方法的統(tǒng)計(jì)特性?！?/p>

1948年，維納(N．Wiener)在《控制論--動物和機(jī)器中通信與控制問題》一書中，指出：“信息是信息，不是物質(zhì)，也不是能量”。將“信息”上升到“最基本概念”的位置。后來，維納在《人有人的用處》一書中提出：“信息是人們適應(yīng)外部世界并且使這種適應(yīng)反作用于外部世界的過程中，同外部世界進(jìn)行互相交換的內(nèi)容的名稱?！薄?/p>

局限性：把信息與物質(zhì)、能量混同起來。所以，維納關(guān)于信息的定義是不確切的?！?/p>

1948年，香農(nóng)（C.E.Shannon）發(fā)表了一篇著名的論文，“通信的數(shù)學(xué)理論”。他從研究通信系統(tǒng)傳輸?shù)膶?shí)質(zhì)出發(fā)，對信息作了科學(xué)的定義，并進(jìn)行了定性和定量的描述。信息是事物運(yùn)動狀態(tài)或存在方式的不確定性的描述。相結(jié)合逐步發(fā)展而形成的一門新興科學(xué)奠基人：美國數(shù)學(xué)家香農(nóng)（C.E.Shannon）1948年“通信的數(shù)學(xué)理論”信息論通信技術(shù)概率論

隨機(jī)過程數(shù)理統(tǒng)計(jì)對信息論的研究內(nèi)容一般有以下三種理解。狹義信息論（經(jīng)典信息論）：主要研究信息的測度、信道容量以及信源和信道編碼理論等問題。這部分內(nèi)容是信息論的基礎(chǔ)理論，又稱為香農(nóng)信息論。一般信息論（通信理論）：主要是研究信息傳輸和處理問題，除了香農(nóng)理論外，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計(jì)檢測和估計(jì)理論、調(diào)制理論以及信息處理理論等。廣義信息論：廣義信息論不僅包括上述兩方面的內(nèi)容，而且包括所有與信息有關(guān)的領(lǐng)域，如模式識別、計(jì)算機(jī)翻譯、心理學(xué)、遺傳學(xué)、語言學(xué)等等?！?/p>

信息論是一門應(yīng)用概率論、隨機(jī)過程、數(shù)理統(tǒng)計(jì)和近代代數(shù)的方法，來研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的學(xué)科。它的主要目的是提高信息系統(tǒng)的可靠性、有效性、保密性和認(rèn)證性，以便達(dá)到系統(tǒng)最優(yōu)化；它的主要內(nèi)容(或分支)包括香農(nóng)理論、編碼理論、維納理論、檢測和估計(jì)理論、信號設(shè)計(jì)和處理理論、調(diào)制理論、隨機(jī)噪聲理論和密碼學(xué)理論等。本課程討論香農(nóng)信息理論及編碼理論信息論發(fā)展簡史與現(xiàn)狀信息論是在長期的通信工程實(shí)踐和理論研究的基礎(chǔ)上發(fā)展起來的。一、簡史現(xiàn)代信息論實(shí)際上是從20世紀(jì)20年代奈奎斯特和哈特萊的工作開始的。1924年奈奎斯特(H．Nyquist)的“影響電報(bào)速率因素的確定”一文，1928年哈特萊(R．V．Hartley)的“信息傳輸”一文研究了通信系統(tǒng)傳輸信息的能力，并給出了信息度量的方法1946年柯切爾尼柯夫的學(xué)位論文“起伏噪聲下的潛在抗干擾理論”，根據(jù)最小錯誤概率準(zhǔn)則和最小均方誤差準(zhǔn)則研究了離散和連續(xù)信道的最佳接收問題1948年香農(nóng)的權(quán)威性長文“通信的數(shù)學(xué)理論”，討論了信源和信道特性，1949年香農(nóng)“噪聲中的通信”，上述兩篇文章奠定了現(xiàn)代信息論的理論基礎(chǔ)此后，在基本理論和實(shí)際應(yīng)用方面，信息論都得到了巨大的發(fā)展信息論研究現(xiàn)狀在香農(nóng)理論基礎(chǔ)上給出的最佳噪聲通信系統(tǒng)模型近年來正在成為現(xiàn)實(shí)；在噪聲中信號過濾與檢測基礎(chǔ)上發(fā)展起來的信號檢測理論和抗干擾編碼基礎(chǔ)上發(fā)展起來的編碼理論已成為現(xiàn)代信息論的兩個重要分支；此外，模糊信息處理、相對信息處理、主觀信息處理、智能信息處理、自動化信息控制等大量嶄新課題的研究也相繼展開，使信息理論的面貌一新，并將大大促進(jìn)信息科學(xué)的發(fā)展。通信系統(tǒng)模型信源信源編碼器信道編碼器調(diào)制器信道解調(diào)器信宿信源譯碼器信道譯碼器干擾源編碼信道·

信源：產(chǎn)生消息和消息序列的來源。消息可以是離散的，也可以是連續(xù)的（數(shù)據(jù)、文字、語言、圖像），通常信源的消息序列是隨

機(jī)發(fā)生的，因此要用隨機(jī)變量來描述?！?編碼的分類與作用·

編碼器：把消息變換成適合于信道傳輸?shù)男盘?。信源編碼器：將信源的輸出進(jìn)行適當(dāng)?shù)淖儞Q，以提高信息傳輸?shù)挠行?。信道編碼器：對信源編碼器的輸出進(jìn)行變換，用增加多余度的方法提高信道的抗干擾能力，以提高信息傳輸?shù)目煽啃?。調(diào)制器：將信道編碼器輸出的數(shù)字序列變換為振幅、頻率或相位受到調(diào)制控制的形式，以適合在信道中進(jìn)行較長距離的傳輸。信道：信號由發(fā)送端傳輸?shù)浇邮斩说拿浇?。典型的傳輸信道有明線、電纜、高頻無線信道、微波通道和光纖通道等；典型的存儲媒介有磁芯、磁鼓、磁盤、磁帶等。干擾源：對傳輸信道或存儲媒介構(gòu)成干擾的來源的總稱干擾和噪聲往往具有隨機(jī)性，所以信道的特征也可以用概率空間來描述；而噪聲源的統(tǒng)計(jì)特性又是劃分信道的依據(jù)。干擾可以分為兩類：1）加性干擾，它是由外界原因產(chǎn)生的隨機(jī)干擾，它與信道中傳送的信號的統(tǒng)計(jì)特性無關(guān)因而信道的輸出是輸入和干擾的疊加；2）乘性干擾：信道的輸出信號可看成輸入信號和一個時變參量相乘的結(jié)果。解調(diào)器：從載波中提取信號，是調(diào)制的逆過程信道譯碼器：利用信道編碼時所提供的多余度，檢查或糾正數(shù)字序列中的錯誤。信源譯碼器：把經(jīng)過信道譯碼器核對過的信息序列轉(zhuǎn)換成適合接收者接收的信息形式。信宿：消息傳送的對象（人或機(jī)器）。?

在通信系統(tǒng)中形式上傳輸?shù)氖窍?，但?shí)質(zhì)上傳輸?shù)氖切畔?。消息只是表達(dá)信息的工具、載荷信息的客體。顯然，在通信中被利用的(亦即攜帶信息的)實(shí)際客體是不重要的，而重要的是信息。?

通信的結(jié)果是消除或部分消除不確定性從而獲得信息。信源(source) 信宿(sink)信道(channel) 編碼器(encode譯碼器(decoder) 調(diào)制器(modulator)

解調(diào)器(demodulator)加密（Encrypt）

解密（Decrypt）信源編碼(source)-提高有效性(提高傳信率,或節(jié)省存儲空間)信道編碼(channel

coding)-提高抗干擾能力,減低誤碼率(也可用于減少發(fā)射功率,或增大傳輸距離)保密編碼-提高保密度,防止被竊聽或惡意修改編碼所面臨的問題信息論與編碼之間的關(guān)系編碼導(dǎo)致了信息論，而信息論又為編碼提供了理論的指導(dǎo)（指出編碼所能達(dá)到的理論極限）?？煽啃?/p>

使信源發(fā)出的消息經(jīng)過信道傳輸以后，盡可能準(zhǔn)確地、不失真地再現(xiàn)于接收端。有效性

經(jīng)濟(jì)性好，即用盡可能短的時間和盡可能少的設(shè)備來傳送—定數(shù)量的信息。保密性

隱蔽和保護(hù)通信系統(tǒng)中傳送的消息，使它只能被授權(quán)接收者獲取，而不能被未授權(quán)者接收和理解。認(rèn)證性

接收者能正確判斷所接收的消息的正確性，驗(yàn)證消息的完整性，而不是偽造的和被竄改的。有效性、可靠性、保密性和認(rèn)證性四者構(gòu)成現(xiàn)代通信系統(tǒng)對信息傳輸?shù)娜嬉蟆！?信息論與編碼技術(shù)的發(fā)展及應(yīng)用理論的建立：發(fā)展：狹義信息論→廣義信息論，單用戶信息論→多用戶信息論數(shù)據(jù)壓縮、文本壓縮、語音壓縮、圖象壓縮漢明碼→線性分組碼（CRC碼、BCH碼、RS碼等）→卷積碼→T