通信系統(tǒng)模型課件

第一章引論1謝謝欣賞2019-7-13課程概況目的：了解學(xué)習(xí)信息論的作用、方法與意義，對信息論的研究方法和成果有廣泛的基本認(rèn)識，學(xué)會應(yīng)用，為進(jìn)一步研究打下基礎(chǔ)特點(diǎn)：以信息理論為中心，區(qū)別與“信源編碼”、“信道編碼”以概念和物理意義為主結(jié)合通信系統(tǒng)實(shí)際應(yīng)用2謝謝欣賞2019-7-13參考書目Cover,ElementsofInformationTheoryMcElice,TheTheoryofInformation&Coding

Proakis,DigitalCommunication

林舒，差錯控制編碼，第二版3謝謝欣賞2019-7-13其它有關(guān)事項(xiàng)講課:（概念、方法）自學(xué):（數(shù)學(xué)推導(dǎo)、定理證明）考試：基本概念，基本計(jì)算。微課：分組進(jìn)行微課制作，上傳至網(wǎng)絡(luò)，評分聯(lián)系方式：歡迎提出各種問題、意見和建議4謝謝欣賞2019-7-13第一章引論1.1通信系統(tǒng)模型1.2信息論研究的中心問題及發(fā)展5謝謝欣賞2019-7-131.1通信系統(tǒng)模型6謝謝欣賞2019-7-13通信系統(tǒng)模型信源編碼器信道譯碼器信宿干擾源7謝謝欣賞2019-7-13通信系統(tǒng)模型進(jìn)一步細(xì)分信源信源編碼器信道編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿等效離散信道等效離散信源等效信宿信道編碼器信道譯碼器8謝謝欣賞2019-7-13各部件功能信源產(chǎn)生消息的源，消息可以是文字，語言，圖像?？梢噪x散，可以連續(xù)。隨機(jī)發(fā)生。研究的主要問題是消息的統(tǒng)計(jì)特性和產(chǎn)生信息的速率編碼器信源編碼器：對信源輸出進(jìn)行變換，求得有效性信道編碼器：對信源編碼輸出變換，提高抗干擾性調(diào)制器：將信道編碼輸出變成適合信道傳輸?shù)姆绞?謝謝欣賞2019-7-13各部件功能信道信號從發(fā)端傳到接收端的介質(zhì)干擾源系統(tǒng)各部分引入的干擾，包括衰落，多徑，碼間干擾，非線性失真，加性噪聲，主要是統(tǒng)計(jì)特性信道的中心問題是研究信道的統(tǒng)計(jì)特性和傳信能力，即信道容量10謝謝欣賞2019-7-13各部件功能譯碼器編碼器的逆變換中心問題是研究各種可實(shí)現(xiàn)的解調(diào)和譯碼方法信宿信息的接收者11謝謝欣賞2019-7-13信息、信息科學(xué)與信息論什么是信息？Inform—information“某人被通知或告知的內(nèi)容、情報(bào)、消息”－－牛津英文字典廣義的信息———信息的形式、內(nèi)容－－最廣泛意義

技術(shù)術(shù)語的信息－－表達(dá)信息所用的形式或載體－－具體但無確切定義統(tǒng)計(jì)信息－－信息表達(dá)形式中統(tǒng)計(jì)方面的性質(zhì)－－明確定義的科學(xué)名詞－－與內(nèi)容無關(guān)、獨(dú)立于形式12謝謝欣賞2019-7-13信息、信息科學(xué)與信息論IT---計(jì)算機(jī)所涉及的各種各樣的技術(shù)－－優(yōu)點(diǎn)：籠統(tǒng)、不明確適應(yīng)－種類繁多、不斷發(fā)展統(tǒng)一的、全面的、高層次的什么是信息技術(shù)？13謝謝欣賞2019-7-13信息、信息科學(xué)與信息論出現(xiàn)于圖書館學(xué)－－研究圖書文獻(xiàn)的檢索計(jì)算機(jī)出現(xiàn)后－－新的含義不同國家－－含義不盡相同發(fā)展和長遠(yuǎn)的觀點(diǎn)－－能與信息技術(shù)相對應(yīng)的基礎(chǔ)科學(xué)什么是信息科學(xué)？14謝謝欣賞2019-7-13信息、信息科學(xué)與信息論信息論－統(tǒng)計(jì)信息理論四十年代末期C.E.Shannon，以客觀概率信息為研究對象，從通信的信息傳輸問題中總結(jié)和開拓出來的理論。統(tǒng)計(jì)信息理論局限性－－不能解決一些問題如：人工智能中啟發(fā)式搜索和學(xué)習(xí)發(fā)展的觀點(diǎn)－－信息科學(xué)所不可缺少的理論基石什么是信息理論？15謝謝欣賞2019-7-13信息、信息科學(xué)與信息論在通信中對信息的表達(dá)分為三個層次：信號、消息、信息。信號：是信息的物理表達(dá)層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實(shí)體，可測量、可描述、可顯示。消息：是信息的載體，相對具體的概念，如語言，文字，數(shù)字，圖像信息：它是更高層次哲學(xué)上的抽象，是信號與消息的更高表達(dá)層次?？梢远康拿枋?。信息、物質(zhì)和能量是構(gòu)成一切系統(tǒng)的三大要素。三個層次中，信號最具體，信息最抽象。它們?nèi)咧g的關(guān)系是哲學(xué)上的內(nèi)涵與外延的關(guān)系。通信中的信息含義？16謝謝欣賞2019-7-131.2信息論研究的中心問題和發(fā)展17謝謝欣賞2019-7-13Shannon信息論的基本任務(wù)1948年shannon發(fā)表了“通信的數(shù)學(xué)理論”奠定了信息論理論基礎(chǔ)基本任務(wù)是設(shè)計(jì)有效而可靠的通信系統(tǒng)可靠是要使信源發(fā)出的消息經(jīng)過傳輸后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端有效是用盡可能短的時(shí)間和盡可能少的設(shè)備來傳輸一定量的消息18謝謝欣賞2019-7-13信息論的研究內(nèi)容狹義信息論（經(jīng)典信息論）研究信息測度，信道容量以及信源和信道編碼理論一般信息論研究信息傳輸和處理問題，除經(jīng)典信息論外還包括噪聲理論，信號濾波和預(yù)測，統(tǒng)計(jì)檢測和估值理論，調(diào)制理論，信息處理理論和保密理論廣義信息論除上述內(nèi)容外，還包括自然和社會領(lǐng)域有關(guān)信息的內(nèi)容，如模式識別，計(jì)算機(jī)翻譯，心理學(xué)，遺傳學(xué)，神經(jīng)生理學(xué)19謝謝欣賞2019-7-13信息論的研究內(nèi)容統(tǒng)計(jì)信息論—Shannon信息論—本課程的主要內(nèi)容主要研究通信系統(tǒng)的數(shù)學(xué)描述與定量分析，研究系統(tǒng)的最優(yōu)狀態(tài)與優(yōu)化理論，即研究通信系統(tǒng)理論上的潛在能力與數(shù)學(xué)上的極限情況。它是以存在性研究為主體，又稱它為數(shù)學(xué)信息論。研究內(nèi)容：1)

信源的描述，信息的定量度量、分析與計(jì)算。2)

信道的描述，信道傳輸?shù)亩慷攘?、分析與計(jì)算。3）信源、信道與通信系統(tǒng)之間的統(tǒng)計(jì)匹配，以及通信系統(tǒng)的優(yōu)化。

——Shannon的三個編碼定理。信息論誕生五十年來，至今，仍然是指導(dǎo)通信技術(shù)發(fā)展的理論基礎(chǔ)，是創(chuàng)新新通信體制的源泉。20謝謝欣賞2019-7-13信息論的研究內(nèi)容工程信息論以工程為背景，主要研究通信系統(tǒng)中各部分的最佳工作規(guī)律，與最佳設(shè)計(jì)原則，它以構(gòu)造性為主體，以工程上技術(shù)問題為主。研究內(nèi)容主要包括：信源編、譯碼理論及其設(shè)計(jì)構(gòu)造方法；信道編、譯碼理論及其設(shè)計(jì)構(gòu)造方法；最佳調(diào)制與解調(diào)理論與實(shí)現(xiàn)；最佳檢測、估值與最佳接收理論與實(shí)現(xiàn)；檢測、估值、濾波理論最佳信息處理理論、方法與算法；均衡、模式識別、人工智能、隨機(jī)控制……21謝謝欣賞2019-7-13狹義信息論體系結(jié)構(gòu)Shannon信息論壓縮理論有失真編碼無失真編碼等長編碼定理Shannon1948McMillan1953變長編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術(shù)碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡(luò)信息理論糾錯碼編碼調(diào)制理論網(wǎng)絡(luò)最佳碼22謝謝欣賞2019-7-13信息論發(fā)展簡史電磁理論和電子學(xué)理論對通信理論技術(shù)發(fā)展起重要的促進(jìn)作用1820－1830年，法拉第發(fā)現(xiàn)電磁感應(yīng)莫爾斯1832－1835建立電報(bào)系統(tǒng)。1876年Bell發(fā)明電話1864麥克斯韋預(yù)言電磁波存在，1888年赫茲驗(yàn)證該理論1895年馬可尼發(fā)明了無線電通信微波電子管導(dǎo)致微波通信系統(tǒng)，微波雷達(dá)系統(tǒng)激光技術(shù)使通信進(jìn)入光通信時(shí)代23謝謝欣賞2019-7-13信息論發(fā)展簡史1832年莫爾斯電碼對shannon編碼理論的啟發(fā)1885年凱爾文研究了一條電纜的極限傳信速率1922年卡遜對調(diào)幅信號的頻譜結(jié)構(gòu)進(jìn)行研究1924年奈奎斯特證明了信號傳輸速率和帶寬成正比1928年Hartley提出信息量定義為可能消息量的對數(shù)1939年Dudley發(fā)明聲碼器1940維納將隨機(jī)過程和數(shù)理統(tǒng)計(jì)引入通信與控制系統(tǒng)24謝謝欣賞2019-7-13信息論發(fā)展簡史Claude.E.Shannon的兩篇論文–Shannon信息論

1948年----信息時(shí)代的里程碑!“AMathematicalTheoryinCommunication”–Shannon第一、二定理

1959年“Codingtheoremsforadiscretesourcewithafidelitycriterion”.–Shannon第三定理25謝謝欣賞2019-7-13信息論發(fā)展簡史1952年Fano證明了Fano不等式，給出了shannon信道編碼逆定理的證明1957，Wolfowitz，1961Fano，1968Gallager給出信道編碼定理的簡介證明并描述了碼率，碼長和錯誤概率的關(guān)系，1972年Arimoto和Blahut發(fā)明了信道容量的迭代算法1956McMillan證明了Kraft不等式。1952年Fano碼，Huffman碼。1976Rissanen算術(shù)編碼，1977，78Ziv和Lempel的LZ算法26謝謝欣賞2019-7-13信息論發(fā)展簡史1950年漢明碼，1960年卷積碼的概率譯碼，Viterbi譯碼，1982年Ungerboeck編碼調(diào)制技術(shù)，1993年Turbo編譯碼技術(shù)1959年，Shannon提出率失真函數(shù)和率失真信源編碼定理1961年，Shannon的“雙路通信信道”開拓了網(wǎng)絡(luò)信息論的研究，目前是非?；钴S的研究領(lǐng)域。27謝謝欣賞2019-7-13信源編碼1948年以后，信源編碼

Huffman,FanoCode(1950);

波形編碼：PCM,DM,DPCM;

語音參量編碼;

圖象編碼：DCT,幀間預(yù)測插值,運(yùn)動補(bǔ)償

數(shù)據(jù)壓縮編碼

語音編碼標(biāo)準(zhǔn)

圖象編碼標(biāo)準(zhǔn)28謝謝欣賞2019-7-13信息論發(fā)展簡史與現(xiàn)狀－－

信息論方法的應(yīng)用及其取得的成果語音信號壓縮：64Kbps----100bps----(極限）降低信息傳輸所需的功率29謝謝欣賞2019-7-13ClaudeE.Shannon著名信息論和編碼學(xué)者

Dr.RichardBlahut

在

Shannon塑像的落成典禮上這樣評價(jià)Shannon：

在我看來，兩三百年之后，當(dāng)人們回過頭