信息論發(fā)展史和展望 蒲鶴升

1、信息論發(fā)展史和展望蒲鶴升(020150802)一、信息論定義信息論，顧名思義是一門研究信息的處理和傳輸的科學；即用概率論與數理統(tǒng)計方法來 探究信息的度量、傳遞和變換規(guī)律的一門學科。它主要是研究通訊和控制系統(tǒng)中普遍存在著 信息傳遞的共同規(guī)律以及研究最佳解決信息的獲限、度量、變換、儲存和傳遞等問題的基礎 理論。信息論將信息的傳遞作為一種統(tǒng)計現(xiàn)象來考慮，給出了估算通信信道容量的方法，信 息傳輸和信息壓縮是信息論研究中的兩大領域，這兩個方面又由信息傳輸理論、信源一信道 隔離定理相互聯(lián)系。信息是系統(tǒng)傳輸和處理的對象，它載荷于語言、文字、圖像、數據等之 中。這就是現(xiàn)代信息論的出發(fā)點。二、狹義與廣義狹義的信

2、息論是應用數理統(tǒng)計方法來研究信息處理和信息傳遞的科學，它研究存在于通 訊和控制系統(tǒng)中普遍存在著的信息傳遞的共同規(guī)體，以及如何提高各信息傳輸系統(tǒng)的有效性 和可能性的一門通訊理論。狹義信息論是申農氏于1948年創(chuàng)立的，其主要內容就是研究信 源、信宿、傳遞及編碼問題，因此它主要應用于通訊工作。后來信息論發(fā)展很快，將申農氏 信息論的觀點做為研究一切問題的理論，即廣義信息論。信息論是建立在信息基礎上的理論， 所謂信息，即人類憑借感覺器官感知的周圍一切變化，都可稱作信息。三、相關人物貢獻20世紀通信技術的發(fā)展推動了信息理論的研究.美國科學家H.Nyquist于1924年解釋 了信號帶寬和信息速率之間的關系

3、美國科學家L.V.R.Hartley于1928年開始研究通信系統(tǒng)傳輸信息的能力，給出了信息 的度量方法美國科學家C.E.Shannon于1948年發(fā)表的著名 論文通信的數學理論A Mathematical Theory of Communication 奠定了信息論的理論基礎四、各發(fā)展階段第一階段：1948年貝爾研究所的香農在題為通訊的數學理論的論文中系統(tǒng)地提出 了關于信息的論述，創(chuàng)立了信息論.第二階段：20世紀50年代，信息論向各門學科發(fā)起沖擊；60年代信息論進入一個消化、 理解的時期，在已有的基礎上進行重大建設的時期.研究重點是信息和信源編碼問題.第三階段：到70年代，由于數字計算機的廣泛

4、應用，通訊系統(tǒng)的能力也有很大提高，如 何更有效地利用和處理信息，成為日益迫切的問題.人們越來越認識到信息的重要性，認識到 信息可以作為與材料和能源一樣的資源而加以充分利用和共享.信息的概念和方法已廣泛滲 透到各個科學領域，它迫切要求突破申農信息論的狹隘范圍，以便使它能成為人類各種活動 中所碰到的信息問題的基礎理論,從而推動其他許多新興學科進一步發(fā)展.詳細進程：1921年美國奈奎斯特和德國的開夫曼爾證實了卡松的理論。1928年，哈特萊發(fā)表了信息傳輸，首先提出了消息是代碼、符號、序列，而不是內 容本身，這就排除了主觀的成分，實現(xiàn)了概念上的突破。他還第一次提出了信息量的概念， 并企圖用數字公式加以描

5、述，為信息的傳遞找到了理論根據，對于信息論的創(chuàng)立起到促進作 用。1938年美國人莫爾斯發(fā)明了高效率編碼電報法，人類終于找到了比較先進的遞訊工具。1940年二次大戰(zhàn)中，由于通訊在軍事上的重要意義，美國人申農開始從事信息論的研 究。1945年波特發(fā)表了聲音的可視圖形。1947年他又與柯普等人著可視語言，為此信息論的創(chuàng)立條件日臻成熟。1948年申農發(fā)表通訊的數學理論。從而宣告信息論的創(chuàng)立。申農信息論的主要內容 是研究信源、信宿、信道及編碼問題。戰(zhàn)后，由于通訊事業(yè)的需要和電子技術的飛速發(fā)展， 促進了信息論的進一步發(fā)展，許多國家的學者對此進行了大量的研究工作，并卓有成就。由 于信息論的成就，給許多學科帶

6、來了希望之光，人們試圖應用信息的基本理論解決諸如組織 化、語義化、聽覺、神經學、生理學、心理學中一些難以解決的問題。1950年在英國倫敦召開了信息論會議，收到論文20多篇，其中有6篇是關于信息論在 心理學和神經生理學的應用。1951年美國無線電工程學會承認了信息論這門新學科，建立了信息論學組。1955年在倫敦舉行的第三屆信息論會議上，已涉及到解剖學、動物保健學、神經生理 學、神經精神學、心理學。1956年申農氏對信息論的發(fā)展前途說：“對于像心理學、經濟學 等一些領域，信息論的許多概念會有用的。”50年代英國人EC切爾利還對信息做了歷史性的考察，發(fā)表了信息理論史和人 類遞訊二文。50年代是信息論

7、向各門科學沖擊的時期，法國旅美物理學家L.布里淵把信 息學推廣到物理學領域，他發(fā)表的生命熱力學和控制論認為：“為了能把類似的概念可 靠地應用于有關生命和智力的基本問題上，除了舊的古典的物理熵概念外，還需要一些大膽的新的推廣和概括?！?956年他又出版了科學與信息論，力圖把信息與具體物理過程聯(lián)系起來，把信息熵 與熱力學熵直接聯(lián)系起來，并提出“信息的負熵原理”，認為信息與負熵等價。1979年卡克根據這一原理對人腎化學自穩(wěn)態(tài)功能的效率進行探討，得出了較切實際的 數值。60年代是在信息論已有的基礎上，進行重大建設時期，研究的重點是信息和信源編碼 問題，這一時期把信息論推廣應用于生物學，神經生理方面的是

8、美國的艾什比，他指出“信 息論在本質上是組合論的一個分支，它的本質基本上是一種數數。60年代人們把信息分成 狹義信息論、一般信息論和廣義信息論三種。70年代由于數字計算機的廣泛應用，通訊系統(tǒng)的能力也有很大提高，如何更有效地利 用和處理信息，成為日益迫切的問題，人們越來越認識到信息的重要性。信息的概念和方法 已廣泛滲透到各個科學領域，它迫切要求突破申農信息論的狹隘范圍，以便推動許多新興學 科的進一步發(fā)展。70年代在信息傳輸方面取得了新進展，出現(xiàn)了幾類新信況下的信源和信 道編碼定理。伯格寫了一本相當完整的專論信源和編碼的書。在語義問題和有效性方面，1971年高艾斯等提出“有效信息概念”。1978年經復爾馬等人的修正可加性基礎上，推廣為非可加性的“廣義有效信息。還有 卡爾納普等提出的“語義信息”、哥廷格爾的“無概率信息”、杰馬里的“相對信息”等等。1965年查德提出模糊數學后，有人在模糊集合論基礎上建立起“熵”和信息的概念， 進一步試圖建立“模糊信息論”，還有人根據計算機中的信息問題，設想建立“算法信息論”。 在自然科學和哲學界，有人把信息作為基本的參量來研究，他們認為形式、結構，關系及類 似的東西，比物質和能量更為基本些，而這些差異結構和關系正是用信息來表征的。五、未來展望近十年來的進展，