信息論與編碼第一章信息論基礎(chǔ)新

1、第一章 緒論2022/7/291提綱信息的概念信息論的研究思路、目的和內(nèi)容概率回顧2022/7/2921.1 信息的概念世人談及信息，遠非今日起。 據(jù)新辭海考證，一千多年前唐代詩人李中暮春懷故人中有“夢斷美人沉信息，日空長路倚樓臺”的詩句，這恐怕是最早關(guān)于信息的文字記載。人們與信息打交道的歷史與自身一樣悠久，人類從誕生起，一直與信息打交道。利用指南針獲取方向信息；利用烽火告警加快信息傳輸?shù)乃俣龋焕梦淖?、紙張和印刷術(shù)實現(xiàn)信息的存貯；利用望遠鏡、顯微鏡擴展信息感受器官；利用算盤、計算機增強信息處理能力當今人們生活在信息的海洋中，“信息”一詞人人皆知。但它的含義到底是指什么？2022/7/293如

2、果將信息作為一個相對廣義的概念，大致可從三個方面來理解?！靶畔ⅰ弊鳛橥ㄐ诺南砝斫狻靶畔ⅰ笔亲鳛檫\算的內(nèi)容而明確起來的“信息”是作為人類感知的來源而存在的2022/7/294（1）“信息”作為通信的消息來理解在此意義下，信息可理解為人們在交流與通信時所要告訴對方的某種內(nèi)容，如消息、情報、知識等。朋友的信件與電話、電臺的天氣預(yù)報、球賽的電視轉(zhuǎn)播等等，都是交流和通信的一方要告訴另一方的消息。日常生活中人們常稱之為“信息”。如何理解信息和消息呢？2022/7/295信息與消息的區(qū)別與聯(lián)系以文字、語聲、圖象等載體把客觀物質(zhì)運動和主觀思維活動的狀態(tài)表達出來就成為消息，消息是表達信息的工具從通信的觀點出

3、發(fā)，構(gòu)成消息的各種物理現(xiàn)象具有兩個條件：一是能為通信雙方所理解二是可以傳遞。2022/7/296這種任意兩點間的通信，或消息在其間的流通情況，歸納為以下最簡模型。信源信道信宿發(fā)布 流通 通道 接收信息的流通與交換離不開通信，沒有信息和信息的交流，整個世界就會變?yōu)橐粋€沉寂、僵死的世界。對人類社會來說，沒有信息的交流是不可思議的。 通信系統(tǒng)中形式上傳輸?shù)氖窍?，實質(zhì)上傳輸?shù)氖切畔?，消息中包含信息，消息是信息的載體。2022/7/297（2）“信息”是作為運算的內(nèi)容而明確起來在此意義下，“信息”是進行運算和處理所需要的條件、內(nèi)容和結(jié)果，并常常表現(xiàn)為數(shù)字、數(shù)據(jù)、圖表和曲線等形式。例如：價目表反映商品價

4、值信息；車速表反映行駛速度信息，萬用表，示波器等。2022/7/298信息的處理離不開計算機，與計算機科學(xué)與技術(shù)密切相關(guān)。計算機某種過程輸出信息輸入信息誤差補充信息2022/7/299（3）“信息”是作為人類感知的來源而存在人類不斷地從外部世界取得有用的信息，加以分析、歸納和處理，得到對其規(guī)律性的認識，從而改造世界。信息是人類自身進化的一個基本條件，通過信息器官從自然界取得信息并利用它來強化自己，戰(zhàn)勝自然。生物如不能從外部感知信息，就不可能適當?shù)卣{(diào)整自己的狀態(tài)，改善與外部世界的關(guān)系來適應(yīng)這種變化，不能避免被淘汰的厄運。從外界攝取信息和利用信息的能力是一切生物得以生存的必要條件，生物越高級，攝取

5、和利用信息的本領(lǐng)越高超。2022/7/2910小結(jié)信息與人類的關(guān)系密切作為通信的消息，我們通過書信、電話、電報、電視、音樂等與之接觸，與人交往。作為運算和處理對象的信息，我們也也極其頻繁地同它打交道，觀察大量的事物，接收和處理大量的數(shù)據(jù)。作為感知來源的信息，更是人人與之形影不離，感覺器官無時無刻不在感受信息，大腦不停地思維著。人類在信息的海洋中生存和發(fā)展，信息滲透在人類活動的一切環(huán)節(jié)之中。如何定義信息呢？ 2022/7/2911信息的定義這里列舉幾個具有代表性文獻對信息的注釋。辭海：“信息是指對消息接受者來說預(yù)先不知道的報道”；美國韋伯詞典：“用來通信的事實，在觀察中得到的數(shù)據(jù)、新聞和知識”；

6、英國牛津字典：“談?wù)摰氖虑?、新聞和知識”；日本廣辭苑：“所觀察事物的知識”。應(yīng)該說這些注釋還沒有完全揭示信息的本質(zhì)。2022/7/2912信息論與控制論的創(chuàng)始人之一，美國已故著名數(shù)學(xué)家諾伯特維納說：“信息就是我們在適應(yīng)外部世界和控制外部世界的過程中，同外部世界進行交換的內(nèi)容的名稱”“信息就是信息，既不是物質(zhì)，也不是能量”，即所述的內(nèi)容指的是人類從外部世界所攝取的另一類內(nèi)容，這就是關(guān)于事物運動變化著的狀態(tài)及其規(guī)律，“信息是關(guān)于事物運動千差萬別的狀態(tài)和規(guī)律的知識”。2022/7/29131948年，美國數(shù)學(xué)家、信息論的創(chuàng)始人香農(nóng)在題為“通訊的數(shù)學(xué)理論”的論文中指出：信息是事物運動狀態(tài)或存在方式的不

7、確定性的描述。信息如何測度呢？如何知道獲得的信息量的多少呢？由香農(nóng)的定義可知：信息量與不確定消除的程度有關(guān)，消除了多少不確定性，就獲得了多少信息。不確定性的大小如何度量呢？不確定性隨機性概率論2022/7/2914例1：天氣預(yù)報10月份，北京天氣，經(jīng)常出現(xiàn)的天氣：晴間多云、晴、多云其次：多云轉(zhuǎn)陰、陰、陰有小雨最后：小雪、大雪的概率很低聽天氣預(yù)報前，我們可以大概猜出天氣的情況：晴間多云、晴、多云如果預(yù)報講是：晴間多云、晴、多云，與我們的猜測一致，所消除的不確定性小，獲得的信息量也小如果預(yù)報講是：小雪。與我們的猜測差距很大，所消除的不確定性大，我們獲得的信息量大2022/7/2915例2：假設(shè)甲、

8、乙兩個布袋各裝有完全相同的球100個，甲袋內(nèi)紅、白球各50個，乙袋內(nèi)紅、白、藍、黑各25個?，F(xiàn)隨意從甲袋中摸出一球，是紅球的概率為：1/2現(xiàn)隨意從乙袋中摸出一球，是紅球的概率為：1/4那么，“從甲袋從摸出紅球”比“從乙袋從摸出紅球”的確定性要大，不確定性要小，2022/7/2916因此：不確定性大小與可能發(fā)生的消息數(shù)目及各消息發(fā)生的概率有關(guān)概率越小，不確定性越大，獲得的信息量越多反之，如果某一事物或某一狀態(tài)發(fā)生的概率為1，即預(yù)料中肯定的事件，不確定性接近0.既然不確定性可以度量，那么信息也是可以度量的，以概率論為基礎(chǔ)，香農(nóng)給出了關(guān)于信息的定義和度量(第二、三章)。2022/7/2917我國學(xué)者

9、鐘義信教授在本體論層次對信息的定義：信息是事物運動的狀態(tài)和方式，就是關(guān)于事物運動的千差萬別的狀態(tài)和方式的知識三個層次: 信號,物理表達層; 消息,數(shù)學(xué)表達層; 信息,哲學(xué)表達層.2022/7/29181.2 信息論信息論是應(yīng)用近代數(shù)理統(tǒng)計方法來研究信息傳輸和處理的科學(xué)。它是在長期的通信工程和信息處理的實踐中，和概率論、隨機過程及數(shù)理統(tǒng)計這些數(shù)學(xué)學(xué)科相結(jié)合而發(fā)展起來的一門科學(xué)。 代表人物：美國數(shù)學(xué)家、信息論的創(chuàng)始人香農(nóng)：香農(nóng)信息論開辟了通信科學(xué)的新紀元，為整個信息科學(xué)的形成和發(fā)展奠定了極其重要的理論基礎(chǔ)。 2022/7/2919香農(nóng)研究思路（信息論的三大理論支柱）非決定論觀點決定論觀點：拉普控斯

10、的決定論 ，只承認必然性，排斥、否認偶然性。必然性寓于偶然性之中，采用概率統(tǒng)計的方法作為分析通信問題的數(shù)學(xué)工具形式化假說在輸出端將發(fā)送端發(fā)送的信號（符號）形式上復(fù)制出來也就同時復(fù)現(xiàn)了輸入端的語義內(nèi)容抓住主要矛盾，跨出用數(shù)學(xué)方法描述和度量信息的關(guān)鍵一步 不確定性：通信的本質(zhì)：“不知”到“知” ，消除 “不確定性” ，接收者所得到的信息量，在數(shù)量上等于通信前后“不確定性”的消除量 不確定性與“多種結(jié)果的可能性”相關(guān)聯(lián)，在數(shù)學(xué)上“可能性”以概率來度量 。2022/7/2920研究的對象 信息論研究的對象是消息傳輸系統(tǒng)。由于消息含有信息，亦稱為信息傳輸系統(tǒng)，簡稱通信系統(tǒng)。人們通過消息的傳輸和處理過程來

11、研究信息傳輸和處理過程中的共同規(guī)律。廣義的通信系統(tǒng)指所有的信息流通系統(tǒng)，不單指電話、FAX，E-mail之類，還包括生物有機體的遺傳系統(tǒng)，神經(jīng)系統(tǒng)，甚至人類社會的管理系統(tǒng)等。 通信的基本問題是在彼時彼地精確地或近似地再現(xiàn)此時此地發(fā)出的消息。 2022/7/2921通信系統(tǒng)的統(tǒng)計模型：這個模型包括以下五個部分：信源：產(chǎn)生消息和消息序列的源。 信源的輸出是消息，消息指某一具體事例，它不是信息本身，但攜帶信息，消息是信息的表達者編碼器：編碼是從消息到信號的過程，譯碼則為逆過程。信號攜帶消息，是消息的負荷者。在實際通信系統(tǒng)中，通常包括調(diào)制、發(fā)射等各種變換。編碼的目的是提高信息傳輸?shù)挠行院涂煽啃?，分?/p>

12、信源編碼和信道編碼兩種，分別對原始消息進行適當?shù)奶幚怼?編碼器信源編碼器，提高傳輸效率信道編碼器，提高傳輸可靠性2022/7/2922信道：信道是信息傳輸和存儲的媒介，如雙餃線、光纖、空間等。 注意：噪聲源，這里是考慮噪聲對通信系統(tǒng)影響的一種簡化模型。它將各種干擾和噪聲都等效地折合成信道干擾。 譯碼器：譯碼是編碼的逆變換，分為信道譯碼和信源譯碼。信宿：信宿是消息的接收者，接收消息的人和機器。2022/7/2923研究的目的 尋找信息傳輸過程中應(yīng)遵循的規(guī)律，用于指導(dǎo)通信系統(tǒng)的設(shè)計，使其具有更高的可靠性和有效性。所謂可靠性高，即通信接收端重現(xiàn)的消息失真盡量小。所謂有效性高，即信息傳輸?shù)臅r間短，經(jīng)濟效果好，設(shè)備簡單。2022/7/2924研究的內(nèi)容基礎(chǔ) 信息論：信息的測度、信道容量，信源和信道編碼理論等，香農(nóng)基本理論工程信息論:香農(nóng)+維納 信息論香農(nóng)：信源到信宿之間的全過程優(yōu)化，重點是編碼理論維納：接收端，注意研究如何把受干擾的信號恢復(fù)、提取，主要是線性濾波理論、統(tǒng)計檢測與