通信系統(tǒng)模型課件

第一章引論1謝謝欣賞2019-7-13第一章引論1謝謝欣賞2019-7-13課程概況目的：了解學習信息論的作用、方法與意義，對信息論的研究方法和成果有廣泛的基本認識，學會應用，為進一步研究打下基礎特點：以信息理論為中心，區(qū)別與“信源編碼”、“信道編碼”以概念和物理意義為主結合通信系統(tǒng)實際應用2謝謝欣賞2019-7-13課程概況目的：2謝謝欣賞2019-7-13參考書目Cover,ElementsofInformationTheoryMcElice,TheTheoryofInformation&Coding

Proakis,DigitalCommunication

林舒，差錯控制編碼，第二版3謝謝欣賞2019-7-13參考書目Cover,ElementsofInforma其它有關事項講課:（概念、方法）自學:（數(shù)學推導、定理證明）考試：基本概念，基本計算。微課：分組進行微課制作，上傳至網(wǎng)絡，評分聯(lián)系方式：歡迎提出各種問題、意見和建議4謝謝欣賞2019-7-13其它有關事項講課:（概念、方法）4謝謝欣賞2019-7-13第一章引論1.1通信系統(tǒng)模型1.2信息論研究的中心問題及發(fā)展5謝謝欣賞2019-7-13第一章引論1.1通信系統(tǒng)模型5謝謝欣賞2019-7-11.1通信系統(tǒng)模型6謝謝欣賞2019-7-131.1通信系統(tǒng)模型6謝謝欣賞2019-7-13通信系統(tǒng)模型信源編碼器信道譯碼器信宿干擾源7謝謝欣賞2019-7-13通信系統(tǒng)模型信源編碼器信道譯碼器信宿干擾源7謝謝欣賞2019通信系統(tǒng)模型進一步細分信源信源編碼器信道編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿等效離散信道等效離散信源等效信宿信道編碼器信道譯碼器8謝謝欣賞2019-7-13通信系統(tǒng)模型進一步細分信源信源信道調(diào)制器信干擾源解調(diào)器信道信各部件功能信源產(chǎn)生消息的源，消息可以是文字，語言，圖像?？梢噪x散，可以連續(xù)。隨機發(fā)生。研究的主要問題是消息的統(tǒng)計特性和產(chǎn)生信息的速率編碼器信源編碼器：對信源輸出進行變換，求得有效性信道編碼器：對信源編碼輸出變換，提高抗干擾性調(diào)制器：將信道編碼輸出變成適合信道傳輸?shù)姆绞?謝謝欣賞2019-7-13各部件功能信源9謝謝欣賞2019-7-13各部件功能信道信號從發(fā)端傳到接收端的介質(zhì)干擾源系統(tǒng)各部分引入的干擾，包括衰落，多徑，碼間干擾，非線性失真，加性噪聲，主要是統(tǒng)計特性信道的中心問題是研究信道的統(tǒng)計特性和傳信能力，即信道容量10謝謝欣賞2019-7-13各部件功能信道10謝謝欣賞2019-7-13各部件功能譯碼器編碼器的逆變換中心問題是研究各種可實現(xiàn)的解調(diào)和譯碼方法信宿信息的接收者11謝謝欣賞2019-7-13各部件功能譯碼器11謝謝欣賞2019-7-13信息、信息科學與信息論什么是信息？Inform—information“某人被通知或告知的內(nèi)容、情報、消息”－－牛津英文字典廣義的信息———信息的形式、內(nèi)容－－最廣泛意義

技術術語的信息－－表達信息所用的形式或載體－－具體但無確切定義統(tǒng)計信息－－信息表達形式中統(tǒng)計方面的性質(zhì)－－明確定義的科學名詞－－與內(nèi)容無關、獨立于形式12謝謝欣賞2019-7-13信息、信息科學與信息論什么是信息？Inform—inform信息、信息科學與信息論IT---計算機所涉及的各種各樣的技術－－優(yōu)點：籠統(tǒng)、不明確適應－種類繁多、不斷發(fā)展統(tǒng)一的、全面的、高層次的什么是信息技術？13謝謝欣賞2019-7-13信息、信息科學與信息論IT---什么是信息技術？13謝謝欣信息、信息科學與信息論出現(xiàn)于圖書館學－－研究圖書文獻的檢索計算機出現(xiàn)后－－新的含義不同國家－－含義不盡相同發(fā)展和長遠的觀點－－能與信息技術相對應的基礎科學什么是信息科學？14謝謝欣賞2019-7-13信息、信息科學與信息論出現(xiàn)于圖書館學－－研究圖書文獻的檢索什信息、信息科學與信息論信息論－統(tǒng)計信息理論四十年代末期C.E.Shannon，以客觀概率信息為研究對象，從通信的信息傳輸問題中總結和開拓出來的理論。統(tǒng)計信息理論局限性－－不能解決一些問題如：人工智能中啟發(fā)式搜索和學習發(fā)展的觀點－－信息科學所不可缺少的理論基石什么是信息理論？15謝謝欣賞2019-7-13信息、信息科學與信息論信息論－統(tǒng)計信息理論什么是信息理論？1信息、信息科學與信息論在通信中對信息的表達分為三個層次：信號、消息、信息。信號：是信息的物理表達層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實體，可測量、可描述、可顯示。消息：是信息的載體，相對具體的概念，如語言，文字，數(shù)字，圖像信息：它是更高層次哲學上的抽象，是信號與消息的更高表達層次?？梢远康拿枋?。信息、物質(zhì)和能量是構成一切系統(tǒng)的三大要素。三個層次中，信號最具體，信息最抽象。它們?nèi)咧g的關系是哲學上的內(nèi)涵與外延的關系。通信中的信息含義？16謝謝欣賞2019-7-13信息、信息科學與信息論在通信中對信息的表達分為三個層次：信號1.2信息論研究的中心問題和發(fā)展17謝謝欣賞2019-7-131.2信息論研究的中心問題和發(fā)展17謝謝欣賞2019-7-Shannon信息論的基本任務1948年shannon發(fā)表了“通信的數(shù)學理論”奠定了信息論理論基礎基本任務是設計有效而可靠的通信系統(tǒng)可靠是要使信源發(fā)出的消息經(jīng)過傳輸后，盡可能準確地、不失真地再現(xiàn)在接收端有效是用盡可能短的時間和盡可能少的設備來傳輸一定量的消息18謝謝欣賞2019-7-13Shannon信息論的基本任務1948年shannon發(fā)表了信息論的研究內(nèi)容狹義信息論（經(jīng)典信息論）研究信息測度，信道容量以及信源和信道編碼理論一般信息論研究信息傳輸和處理問題，除經(jīng)典信息論外還包括噪聲理論，信號濾波和預測，統(tǒng)計檢測和估值理論，調(diào)制理論，信息處理理論和保密理論廣義信息論除上述內(nèi)容外，還包括自然和社會領域有關信息的內(nèi)容，如模式識別，計算機翻譯，心理學，遺傳學，神經(jīng)生理學19謝謝欣賞2019-7-13信息論的研究內(nèi)容狹義信息論（經(jīng)典信息論）19謝謝欣賞2019信息論的研究內(nèi)容統(tǒng)計信息論—Shannon信息論—本課程的主要內(nèi)容主要研究通信系統(tǒng)的數(shù)學描述與定量分析，研究系統(tǒng)的最優(yōu)狀態(tài)與優(yōu)化理論，即研究通信系統(tǒng)理論上的潛在能力與數(shù)學上的極限情況。它是以存在性研究為主體，又稱它為數(shù)學信息論。研究內(nèi)容：1)

信源的描述，信息的定量度量、分析與計算。2)

信道的描述，信道傳輸?shù)亩慷攘俊⒎治雠c計算。3）信源、信道與通信系統(tǒng)之間的統(tǒng)計匹配，以及通信系統(tǒng)的優(yōu)化。

——Shannon的三個編碼定理。信息論誕生五十年來，至今，仍然是指導通信技術發(fā)展的理論基礎，是創(chuàng)新新通信體制的源泉。20謝謝欣賞2019-7-13信息論的研究內(nèi)容統(tǒng)計信息論—Shannon信息論—本課程的主信息論的研究內(nèi)容工程信息論以工程為背景，主要研究通信系統(tǒng)中各部分的最佳工作規(guī)律，與最佳設計原則，它以構造性為主體，以工程上技術問題為主。研究內(nèi)容主要包括：信源編、譯碼理論及其設計構造方法；信道編、譯碼理論及其設計構造方法；最佳調(diào)制與解調(diào)理論與實現(xiàn)；最佳檢測、估值與最佳接收理論與實現(xiàn)；檢測、估值、濾波理論最佳信息處理理論、方法與算法；均衡、模式識別、人工智能、隨機控制……21謝謝欣賞2019-7-13信息論的研究內(nèi)容工程信息論21謝謝欣賞2019-7-13狹義信息論體系結構Shannon信息論壓縮理論有失真編碼無失真編碼等長編碼定理Shannon1948McMillan1953變長編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡信息理論糾錯碼編碼調(diào)制理論網(wǎng)絡最佳碼22謝謝欣賞2019-7-13狹義信息論體系結構Shannon信息論壓縮理論有失真編碼無失信息論發(fā)展簡史電磁理論和電子學理論對通信理論技術發(fā)展起重要的促進作用1820－1830年，法拉第發(fā)現(xiàn)電磁感應莫爾斯1832－1835建立電報系統(tǒng)。1876年Bell發(fā)明電話1864麥克斯韋預言電磁波存在，1888年赫茲驗證該理論1895年馬可尼發(fā)明了無線電通信微波電子管導致微波通信系統(tǒng)，微波雷達系統(tǒng)激光技術使通信進入光通信時代23謝謝欣賞2019-7-13信息論發(fā)展簡史電磁理論和電子學理論對通信理論技術發(fā)展起重要的信息論發(fā)展簡史1832年莫爾斯電碼對shannon編碼理論的啟發(fā)1885年凱爾文研究了一條電纜的極限傳信速率1922年卡遜對調(diào)幅信號的頻譜結構進行研究1924年奈奎斯特證明了信號傳輸速率和帶寬成正比1928年Hartley提出信息量定義為可能消息量的對數(shù)1939年Dudley發(fā)明聲碼器1940維納將隨機過程和數(shù)理統(tǒng)計引入通信與控制系統(tǒng)24謝謝欣賞2019-7-13信息論發(fā)展簡史1832年莫爾斯電碼對shannon編碼理論的信息論發(fā)展簡史Claude.E.Shannon的兩篇論文–Shannon信息論

1948年----信息時代的里程碑!“AMathematicalTheoryinCommunication”–Shannon第一、二定理

1959年“Codingtheoremsforadiscretesourcewithafidelitycriterion”.–Shannon第三定理25謝謝欣賞2019-7-13信息論發(fā)展簡史Claude.E.Shannon的兩篇論文信息論發(fā)展簡史1952年Fano證明了Fano不等式，給出了shannon信道編碼逆定理的證明1957，Wolfowitz，1961Fano，1968Gallager給出信道編碼定理的簡介證明并描述了碼率，碼長和錯誤概率的關系，1972年Arimoto和Blahut發(fā)明了信道容量的迭代算法1956McMillan證明了Kraft不等式。1952年Fano碼，Huffman碼。1976Rissanen算術編碼，1977，78Ziv和Lempel的LZ算法26謝謝欣賞2019-7-13信息論發(fā)展簡史1952年Fano證明了Fano不等式，給出了信息論發(fā)展簡史1950年漢明碼，1960年卷積碼的概率譯碼，Viterbi譯碼，1982年Ungerboeck編碼調(diào)制技術，1993年Turbo編譯碼技術1959年，Shannon提出率失真函數(shù)和率失真信源編碼定理1961年，Shannon的“雙路通信信道”開拓了網(wǎng)絡信息論的研究，目前是非常活躍的研究領域。27謝謝欣賞2019-7-13信息論發(fā)展簡史1950年漢明碼，1960年卷積碼的概率譯碼，信源編碼1948年以后，信源編碼

Huffman,FanoCode(1950);

波形編碼：PCM,DM,DPCM;

語音參量編碼;

圖象編碼：DCT,幀間預測插值,運動補償

數(shù)據(jù)壓縮編碼

語音編碼標準

圖象編碼標準28謝謝欣賞2019-7-13信源編碼1948年以后，信源編碼28謝謝欣賞2019-7-1信息論發(fā)展簡史與現(xiàn)狀－－

信息論方法的應用及其取得的成果語音信號壓縮：64Kbps----100bps----(極限）降低信息傳輸所需的功率29謝謝欣賞2019-7-13信息論發(fā)展簡史與現(xiàn)狀－－

信息論方法的應用及其取得的成果語音ClaudeE.Shannon著名信息論和編碼學者

Dr.RichardBlahut

在

Shannon塑像的落成典禮上這樣評價Shannon：

在我看來，兩三百年之后，當人們回過頭來看我們這個時代的時候，他們可能不會記得誰曾是美國總統(tǒng)，他們也不會記得誰曾是影星或搖滾歌星，但是仍然會知曉Shannon的名字，學校里仍然會講授信息論。C.E.Shannon30謝謝欣賞2019-7-13ClaudeE.Shannon著名信息論和編碼學者C.31謝謝欣賞2019-7-1331謝謝欣賞2019-7-13歡迎提出各種問題、意見和建議是否學過信息論、信源編碼或信道編碼，程度如何？希望重點講什么？希望哪些可以簡略？希望增加哪些內(nèi)容？對授課方式有什么意見和建議？32謝謝欣賞2019-7-13歡迎提出各種問題、意見和建議是否學過信息論、信源編碼或信道編33謝謝欣賞2019-7-1333謝謝欣賞2019-7-13第一章引論34謝謝欣賞2019-7-13第一章引論1謝謝欣賞2019-7-13課程概況目的：了解學習信息論的作用、方法與意義，對信息論的研究方法和成果有廣泛的基本認識，學會應用，為進一步研究打下基礎特點：以信息理論為中心，區(qū)別與“信源編碼”、“信道編碼”以概念和物理意義為主結合通信系統(tǒng)實際應用35謝謝欣賞2019-7-13課程概況目的：2謝謝欣賞2019-7-13參考書目Cover,ElementsofInformationTheoryMcElice,TheTheoryofInformation&Coding

Proakis,DigitalCommunication

林舒，差錯控制編碼，第二版36謝謝欣賞2019-7-13參考書目Cover,ElementsofInforma其它有關事項講課:（概念、方法）自學:（數(shù)學推導、定理證明）考試：基本概念，基本計算。微課：分組進行微課制作，上傳至網(wǎng)絡，評分聯(lián)系方式：歡迎提出各種問題、意見和建議37謝謝欣賞2019-7-13其它有關事項講課:（概念、方法）4謝謝欣賞2019-7-13第一章引論1.1通信系統(tǒng)模型1.2信息論研究的中心問題及發(fā)展38謝謝欣賞2019-7-13第一章引論1.1通信系統(tǒng)模型5謝謝欣賞2019-7-11.1通信系統(tǒng)模型39謝謝欣賞2019-7-131.1通信系統(tǒng)模型6謝謝欣賞2019-7-13通信系統(tǒng)模型信源編碼器信道譯碼器信宿干擾源40謝謝欣賞2019-7-13通信系統(tǒng)模型信源編碼器信道譯碼器信宿干擾源7謝謝欣賞2019通信系統(tǒng)模型進一步細分信源信源編碼器信道編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿等效離散信道等效離散信源等效信宿信道編碼器信道譯碼器41謝謝欣賞2019-7-13通信系統(tǒng)模型進一步細分信源信源信道調(diào)制器信干擾源解調(diào)器信道信各部件功能信源產(chǎn)生消息的源，消息可以是文字，語言，圖像?？梢噪x散，可以連續(xù)。隨機發(fā)生。研究的主要問題是消息的統(tǒng)計特性和產(chǎn)生信息的速率編碼器信源編碼器：對信源輸出進行變換，求得有效性信道編碼器：對信源編碼輸出變換，提高抗干擾性調(diào)制器：將信道編碼輸出變成適合信道傳輸?shù)姆绞?2謝謝欣賞2019-7-13各部件功能信源9謝謝欣賞2019-7-13各部件功能信道信號從發(fā)端傳到接收端的介質(zhì)干擾源系統(tǒng)各部分引入的干擾，包括衰落，多徑，碼間干擾，非線性失真，加性噪聲，主要是統(tǒng)計特性信道的中心問題是研究信道的統(tǒng)計特性和傳信能力，即信道容量43謝謝欣賞2019-7-13各部件功能信道10謝謝欣賞2019-7-13各部件功能譯碼器編碼器的逆變換中心問題是研究各種可實現(xiàn)的解調(diào)和譯碼方法信宿信息的接收者44謝謝欣賞2019-7-13各部件功能譯碼器11謝謝欣賞2019-7-13信息、信息科學與信息論什么是信息？Inform—information“某人被通知或告知的內(nèi)容、情報、消息”－－牛津英文字典廣義的信息———信息的形式、內(nèi)容－－最廣泛意義

技術術語的信息－－表達信息所用的形式或載體－－具體但無確切定義統(tǒng)計信息－－信息表達形式中統(tǒng)計方面的性質(zhì)－－明確定義的科學名詞－－與內(nèi)容無關、獨立于形式45謝謝欣賞2019-7-13信息、信息科學與信息論什么是信息？Inform—inform信息、信息科學與信息論IT---計算機所涉及的各種各樣的技術－－優(yōu)點：籠統(tǒng)、不明確適應－種類繁多、不斷發(fā)展統(tǒng)一的、全面的、高層次的什么是信息技術？46謝謝欣賞2019-7-13信息、信息科學與信息論IT---什么是信息技術？13謝謝欣信息、信息科學與信息論出現(xiàn)于圖書館學－－研究圖書文獻的檢索計算機出現(xiàn)后－－新的含義不同國家－－含義不盡相同發(fā)展和長遠的觀點－－能與信息技術相對應的基礎科學什么是信息科學？47謝謝欣賞2019-7-13信息、信息科學與信息論出現(xiàn)于圖書館學－－研究圖書文獻的檢索什信息、信息科學與信息論信息論－統(tǒng)計信息理論四十年代末期C.E.Shannon，以客觀概率信息為研究對象，從通信的信息傳輸問題中總結和開拓出來的理論。統(tǒng)計信息理論局限性－－不能解決一些問題如：人工智能中啟發(fā)式搜索和學習發(fā)展的觀點－－信息科學所不可缺少的理論基石什么是信息理論？48謝謝欣賞2019-7-13信息、信息科學與信息論信息論－統(tǒng)計信息理論什么是信息理論？1信息、信息科學與信息論在通信中對信息的表達分為三個層次：信號、消息、信息。信號：是信息的物理表達層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實體，可測量、可描述、可顯示。消息：是信息的載體，相對具體的概念，如語言，文字，數(shù)字，圖像信息：它是更高層次哲學上的抽象，是信號與消息的更高表達層次?？梢远康拿枋?。信息、物質(zhì)和能量是構成一切系統(tǒng)的三大要素。三個層次中，信號最具體，信息最抽象。它們?nèi)咧g的關系是哲學上的內(nèi)涵與外延的關系。通信中的信息含義？49謝謝欣賞2019-7-13信息、信息科學與信息論在通信中對信息的表達分為三個層次：信號1.2信息論研究的中心問題和發(fā)展50謝謝欣賞2019-7-131.2信息論研究的中心問題和發(fā)展17謝謝欣賞2019-7-Shannon信息論的基本任務1948年shannon發(fā)表了“通信的數(shù)學理論”奠定了信息論理論基礎基本任務是設計有效而可靠的通信系統(tǒng)可靠是要使信源發(fā)出的消息經(jīng)過傳輸后，盡可能準確地、不失真地再現(xiàn)在接收端有效是用盡可能短的時間和盡可能少的設備來傳輸一定量的消息51謝謝欣賞2019-7-13Shannon信息論的基本任務1948年shannon發(fā)表了信息論的研究內(nèi)容狹義信息論（經(jīng)典信息論）研究信息測度，信道容量以及信源和信道編碼理論一般信息論研究信息傳輸和處理問題，除經(jīng)典信息論外還包括噪聲理論，信號濾波和預測，統(tǒng)計檢測和估值理論，調(diào)制理論，信息處理理論和保密理論廣義信息論除上述內(nèi)容外，還包括自然和社會領域有關信息的內(nèi)容，如模式識別，計算機翻譯，心理學，遺傳學，神經(jīng)生理學52謝謝欣賞2019-7-13信息論的研究內(nèi)容狹義信息論（經(jīng)典信息論）19謝謝欣賞2019信息論的研究內(nèi)容統(tǒng)計信息論—Shannon信息論—本課程的主要內(nèi)容主要研究通信系統(tǒng)的數(shù)學描述與定量分析，研究系統(tǒng)的最優(yōu)狀態(tài)與優(yōu)化理論，即研究通信系統(tǒng)理論上的潛在能力與數(shù)學上的極限情況。它是以存在性研究為主體，又稱它為數(shù)學信息論。研究內(nèi)容：1)

信源的描述，信息的定量度量、分析與計算。2)

信道的描述，信道傳輸?shù)亩慷攘?、分析與計算。3）信源、信道與通信系統(tǒng)之間的統(tǒng)計匹配，以及通信系統(tǒng)的優(yōu)化。

——Shannon的三個編碼定理。信息論誕生五十年來，至今，仍然是指導通信技術發(fā)展的理論基礎，是創(chuàng)新新通信體制的源泉。53謝謝欣賞2019-7-13信息論的研究內(nèi)容統(tǒng)計信息論—Shannon信息論—本課程的主信息論的研究內(nèi)容工程信息論以工程為背景，主要研究通信系統(tǒng)中各部分的最佳工作規(guī)律，與最佳設計原則，它以構造性為主體，以工程上技術問題為主。研究內(nèi)容主要包括：信源編、譯碼理論及其設計構造方法；信道編、譯碼理論及其設計構造方法；最佳調(diào)制與解調(diào)理論與實現(xiàn)；最佳檢測、估值與最佳接收理論與實現(xiàn)；檢測、估值、濾波理論最佳信息處理理論、方法與算法；均衡、模式識別、人工智能、隨機控制……54謝謝欣賞2019-7-13信息論的研究內(nèi)容工程信息論21謝謝欣賞2019-7-13狹義信息論體系結構Shannon信息論壓縮理論有失真編碼無失真編碼等長編碼定理Shannon1948McMillan1953變長編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡信息理論糾錯碼編碼調(diào)制理論網(wǎng)絡最佳碼55謝謝欣賞2019-7-13狹義信息論體系結構Shannon信息論壓縮理論有失真編碼無失信息論發(fā)展簡史電磁理論和電子學理論對通信理論技術發(fā)展起重要的促進作用1820－1830年，法拉第發(fā)現(xiàn)電磁感應莫爾斯1832－1835建立電報系統(tǒng)。1876年Bell發(fā)明電話1864麥克斯韋預言電磁波存在，1888年赫茲驗證該理論1895年馬可尼發(fā)明了無線電通信微波電子管導致微波通信系統(tǒng)，微波雷達系統(tǒng)激光技術使通信進入光通信時代56謝謝欣賞2019-7-13信息論發(fā)展簡史電磁理論和電子學理論對通信理論技術發(fā)展起重要的信息論發(fā)展簡史1832年莫爾斯電碼對shannon編碼理論的啟發(fā)1885年凱爾文研究了一條電纜的極限傳信速率1922年卡遜對調(diào)幅信號的頻譜結構進行研究1924年奈奎斯特證明了信號傳輸速率和帶寬成正比1928年Hartley提出信息量定義為可能消息量的對數(shù)1939年Dudley發(fā)明聲碼器1940維納將隨機過程和數(shù)理統(tǒng)計引入通信與控制系統(tǒng)57謝謝欣賞2019-7-13信息論發(fā)展簡史1832年莫爾斯電碼對shannon編碼理論的信息論發(fā)展簡史Claude.E.Shannon的兩篇論文–Shannon信息論

1948年----信息時代的里程碑!“AMathematicalTheoryinCommunication”–Shannon第一、二定理

1959年“Codingtheoremsforadiscretesourcewithafidelitycriterion”.–Shannon第三定理58謝謝欣賞2019-7-13信息論發(fā)展簡史Claude.E.Shannon的兩篇論文信息論發(fā)展簡史1952年Fano證明了Fano不等式，給出了shannon信道編碼逆定理的證明1957，Wolfowitz，1961Fano，1968Gallager給出信道編碼定理的簡介證明并描述了碼率，碼長和錯誤概率的關系，1972年Arimot