第1章信息論與編碼第1章

1、 信息論與編碼信息論與編碼Information Theory and codingInformation Theory and coding 信息系信息系1402/03/041402/03/04班班學習目的及意義l最簡單的通信系統(tǒng)信信源源信信道道信信宿宿信源熵信源熵l信源包含多少信息？l信道中傳輸?shù)氖鞘裁葱问?？l信道能傳送多少信息？l信宿接收到的信息是否正確？編碼編碼信道容量信道容量檢糾錯檢糾錯概概 論論l 信息的分類信息的分類l信息論的起源、發(fā)展及研究內容信息論的起源、發(fā)展及研究內容信息論創(chuàng)始人：信息論創(chuàng)始人：C.E.Shannon(C.E.Shannon(香農香農) )美國科學家美國科學

2、家概概 論論 科學和科學和、科學一起被稱為科學一起被稱為當代文明的當代文明的“”。 一位美國科學家說過：一位美國科學家說過：“沒有物質的世沒有物質的世界是虛無的世界；沒有能源的世界是死寂的界是虛無的世界；沒有能源的世界是死寂的世界；沒有信息的世界是混亂的世界。世界；沒有信息的世界是混亂的世界?！?信息的存在花朵開放時的花朵開放時的，它可以引來昆蟲為它可以引來昆蟲為其授粉；其授粉； 成熟的水果會產生香味，誘來動物，動物食后為其成熟的水果會產生香味，誘來動物，動物食后為其傳播種子，傳播種子，；藥有苦味，讓人難以吞咽藥有苦味，讓人難以吞咽，；聽老師講課可以得到許多知識，聽老師講課可以得到許多知識，。

3、 信息的存在總之，信息處處存在，人的眼、耳、鼻、總之，信息處處存在，人的眼、耳、鼻、舌、身都能感知信息。舌、身都能感知信息。視覺視覺 嗅覺嗅覺味覺味覺聽覺聽覺觸覺觸覺信息的存在 1928年,美國數(shù)學家哈 特 萊 (Hartley)在貝爾系統(tǒng)電話雜志上發(fā)表了一篇題為信息傳輸?shù)恼撐?。他認為“信息是選擇的自由度”。 ？信息究竟是什么呢？事隔20年， 另一位美國數(shù)學家香農 (C. E. Shannon) 在貝爾系統(tǒng)電話雜志發(fā)表了題為通信的數(shù)學理論的長篇論文。他創(chuàng)立了信息論，但是卻沒有給出信息的確切定義,他認為 美國數(shù)學家、控制論的主要奠基美國數(shù)學家、控制論的主要奠基人人維納維納(Wiener(Wien

4、er）在在19501950年出版年出版 的的控制論與社會控制論與社會中寫到：“信息既不是物質又不是能量，信息就是信息”。這句話起初受到批評和嘲笑。它揭示了信息的特質：即信息是獨立于物質和能量之外存在于客觀世界的第三要素。 同時考慮事物運動狀態(tài)及其變化同時考慮事物運動狀態(tài)及其變化方式的方式的外在形式、內在含義和效用價值的認識外在形式、內在含義和效用價值的認識論層次信息。論層次信息。語法信息語義信息語用信息全 信 息信息的重要性質：信息的重要性質： 可壓縮性可壓縮性 可擴散性可擴散性 可替代性可替代性 可共享性可共享性 時效性時效性 存在的普遍性存在的普遍性 有序性有序性相對性相對性 可度量性可度

5、量性 可擴充性可擴充性 可存儲、傳輸與攜帶性可存儲、傳輸與攜帶性 信號、消息與信息區(qū)別與聯(lián)系在中對信息的表達分為三個層次：信號信號、消息消息、信息信息。信號：是信息的物理表達層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實體，可測量、可描述、可顯示。消息：(或稱為符號)是信息的數(shù)學表達層，它雖不是一個物理量，但是可以定量地加以描述，它是具體物理信號的進一步數(shù)學抽象，可將具體物理信號抽象為兩大類型：1) 離散(數(shù)字)消息，是一組未知量，可用隨機序列來描述：U=(U1UlUL)2) 連續(xù)(模擬)消息，也是未知量，它可用隨機過程來描述：U(t,)信息：它是更高層次哲學上的抽象，是信號

6、與消息的更高表達層次。三個層次中，信號最具體，信息最抽象。它們三者之間的關系是哲學上的內涵與外延的關系。通信中的信息含義？信號、消息與信息區(qū)別與聯(lián)系關系：關系：信息信息-可以認為是具體的物理信號、數(shù)學描述的消息的內涵，即信號具體載荷的內容、消息描述的含義。信號信號-則是抽象信息在物理層表達的外延；消息消息-則是抽象信息在數(shù)學層表達的外延。l同一信息，可以采用不同的信號形式(比如文字、語言、圖象等)來載荷；l同一信息，也可以采用不同的數(shù)學表達形式(比如離散或連續(xù))來定量描述；l同一信號形式，比如“0”與“1”可以表達不同形式的信息，比如無與有、斷 與通、低與高(電平)等等。 情報、知識是特點的信

7、息，但不等于信息的全體。情報、知識是特點的信息，但不等于信息的全體。通信中的信息含義？信息消息信號區(qū)別與聯(lián)系：l消息是指擔負著傳送信息任務的單個符號或符號序列。包括文本、數(shù)據(jù)、語言、圖形和圖像等。是具體的。l信號是消息的物理體現(xiàn)，為了在信道上傳輸消息，就必須把消息加載到具有某種物理特征的信號上去。是物理的。l信息是消息中的未知成分（不確定性），或者說是消息中的有用成分。是抽象的。l通信系統(tǒng)傳輸?shù)氖峭ㄐ畔到y(tǒng)傳輸?shù)氖切盘栃盘枺盘柺切盘柺窍⑾⒌妮d體，的載體，消息中的未知成分是消息中的未知成分是信息信息。信息的直觀認識1信道上傳送的是隨機變量的值信道上傳送的是隨機變量的值。l這就是說，我們在收到

8、消息之前，并不知道消息的內容。否則消息是沒有必要發(fā)送的。 l消息隨機變量有一個概率分布。 l消息隨機變量的一個可能取值就稱為一個事件。 信息的直觀認識2 事件發(fā)生的概率越小，此事件含有的信息量就越事件發(fā)生的概率越小，此事件含有的信息量就越大。（不太可能發(fā)生的事件竟然發(fā)生了，令人震大。（不太可能發(fā)生的事件竟然發(fā)生了，令人震驚）驚）l例事件“中國足球隊5：0力克韓國足球隊” 此事件含有的信息量大大。（小概率事件發(fā)生了，事件信息量大）l例事件“中國足球隊0：1負于韓國足球隊” 此事件有的信息量小小。（大概率事件發(fā)生了，事件信息量?。┬畔⒌闹庇^認識3 消息隨機變量的隨機性越大，此消息隨機變消息隨機變量

9、的隨機性越大，此消息隨機變量含有的信息量就越大。量含有的信息量就越大。l例消息隨機變量X=“中國足球隊與巴西足球隊比賽的結果” 則消息隨機變量X含有的信息量小。l例消息隨機變量Y=“意大利足球隊與德國足球隊比賽的結果” 則消息隨機變量Y含有的信息量大。信息的直觀認識4 兩個消息隨機變量的相互依賴性越大，它們的兩個消息隨機變量的相互依賴性越大，它們的互信息量就越大互信息量就越大。l例X=呼和浩特明日平均氣溫, Y=包頭明日平均氣溫，Z=北京明日平均氣溫，W=紐約明日平均氣溫。 則X與Y互信息量大， X與Z互信息量小得多， X與W互信息量幾乎為0 。 按照信息的作用按照信息的作用有用無用干擾1工業(yè)

10、農業(yè)軍事政治科技文化經濟市場管理 按照信息的應用部門按照信息的應用部門 2信息的分類語聲圖象文字數(shù)據(jù)計算 按照信息的來源按照信息的來源3連續(xù)連續(xù)離散離散半連續(xù)半連續(xù) 按照攜帶信息的信號的性質按照攜帶信息的信號的性質 4信息的分類 香農信息論香農信息論主要討論的是語法信息中主要討論的是語法信息中的的概率信息概率信息，本書也以概率信息為主要研，本書也以概率信息為主要研究對象。究對象。 在人類歷史的長河中，信息傳輸和傳播手段經歷了五次重大變革：語言的產生。語言的產生。文字的產生。文字的產生。印刷術的發(fā)明。印刷術的發(fā)明。 電報、電話的發(fā)明。電報、電話的發(fā)明。 計算機技術與通信技術相結計算機技術與通信技

11、術相結 合，促進了網絡通信的發(fā)展。合，促進了網絡通信的發(fā)展。12345信息論的起源、發(fā)展及研究內容信息論的起源、發(fā)展及研究內容信源信道信宿噪聲源信源編碼加密信道編碼調制器解調器信道譯碼解密信源譯碼通信系統(tǒng)模型通信系統(tǒng)模型 香農信息論信源熵信源熵信道容量信道容量率失真函數(shù)率失真函數(shù)信源編碼信源編碼信道編碼信道編碼密碼密碼香農信息論香農信息論2香農信息論的科學體系香農信息論香農信息論傳輸理論傳輸理論壓縮理論壓縮理論保密理論保密理論無噪聲無噪聲有噪聲有噪聲有失真信源編碼有失真信源編碼無失真信源編碼無失真信源編碼率失真理論率失真理論等長編碼定理等長編碼定理變長編碼定理變長編碼定理壓縮編碼壓縮編碼Sha

12、nnon(1949) (1959)Gallager(1968)Berger(1969)Shannon(1948) McMillan(1953)Shannon(1948) McMillan(1956)最優(yōu)碼構成最優(yōu)碼構成信道編碼定理信道編碼定理碼構成碼構成Huffman碼碼(1952)Fano碼碼算術碼算術碼(1976,1982)LZ碼碼(1977,1978)MH碼碼(1977)糾錯碼糾錯碼代數(shù)編碼代數(shù)編碼卷積碼卷積碼Hamming(1950)Elias(1955)Viterbi(1967)網絡信道網絡信道網絡信息理論網絡信息理論Shannon(1948)Feinstein(1954)Galla

13、ger(1965)Cover(1975)Shannon(1961)Cover(1972)網絡最佳碼網絡最佳碼保密系統(tǒng)的保密系統(tǒng)的信息理論信息理論保密碼保密碼Shannon(1949) Diffie和和Hellmen(1976)公開密鑰公開密鑰圖圖1.4 香農信息論的科學體系香農信息論的科學體系l香農定義信息的出發(fā)點是假定事物狀態(tài)可以用一個經典集合論為基礎的概率模型來描述。實際存在的某些事物運動狀態(tài)要尋找一個合適的概率模型往往是非常困難的。某些情況下，這一模型不一定存在。l香農定義信息的度量沒有考慮收信者的主觀性和主觀意義，也撇開了信息的具體含義、具體用途、重要程度和引起的后果等因素。這就與實際

14、情況不完全一致。 香農信息的定義和度量是科學的，能反映信息的某些本質；但卻是有缺陷的、有局限的。這樣，它的適用范圍會受到嚴重影響。 香農信息論的缺陷信息論研究的對象、目的和內容(1) 信息論研究的對象和目的l研究對象：信息論是一門應用概率論、隨機過程、數(shù)理統(tǒng)計和近世代數(shù)的方法，來研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的工程學科。 信息論研究的對象、目的和內容(1) 信息論研究的對象和目的l研究目的：它的主要目的是提高信息系統(tǒng)的可靠性、有效性和安全性以便達到系統(tǒng)最優(yōu)化。 信息論研究的對象、目的和內容(2) 信息論研究的內容l信息論基礎：也稱狹義信息論/經典信息論/香農信息論。主要研究信息測度、信道容量、信息率失真函數(shù)，與這三個概念相對應的香農三定理，信源編碼，信道編碼。l一般信息論：主要研究信息傳輸和處理問題。除香農基本理論之外，還包括噪聲理論、信號濾波和預測、統(tǒng)計檢測和估計理論、調制理論。后一部分內容以維納為代表。 總之，人們研究信息論的目的是為了總之，人們研究信息論的