《信息論》教案設(shè)計

貴州理工學(xué)院

教4dL案

2017?2018學(xué)年第2學(xué)期

學(xué)院（部、中心）

課程名稱

專業(yè)、年級、班級

主講教師

教案編寫說明

教案又稱課時授課計劃，是任課教師的教學(xué)實(shí)施方案。任課教師應(yīng)根據(jù)專業(yè)

的培養(yǎng)方案，緊扣教學(xué)大綱，認(rèn)真分析教學(xué)內(nèi)容，切合學(xué)生實(shí)際，提前編寫設(shè)計

好每門課程每個章、節(jié)或主題的全部教學(xué)活動。教案編寫說明如下：

1、編號：按施教的順序標(biāo)明序號（每堂課一個序號）。

2、教學(xué)時數(shù)：指完成一個授課題目所用教學(xué)時間。理論課通常以學(xué)時數(shù)為

單位（一般2學(xué)時），而實(shí)踐課則以學(xué)時數(shù)，天數(shù)或周數(shù)為單位。

3、教學(xué)課型表示所授課程的類型，請?jiān)诶碚撜n、實(shí)驗(yàn)課、習(xí)題課、實(shí)踐課

及其它欄內(nèi)選擇打“J”。

4、題目：標(biāo)明章、節(jié)或主題。

5、教學(xué)目的要求。

6、教學(xué)重點(diǎn)、難點(diǎn)。

5、教學(xué)方式和手段。

6、教學(xué)過程（含復(fù)習(xí)舊課、引入新課、組織教學(xué)、啟發(fā)思維等將授課的

內(nèi)容按邏輯層次，有序設(shè)計編排。本部分不同專業(yè)的授課可有自己的特色。

7、討論、思考題和作業(yè)。

8、參考資料：列出參考書籍、有關(guān)資料。

9、日期的填寫系指本堂課授課的時間。

授課教案應(yīng)根據(jù)專業(yè)技術(shù)領(lǐng)域發(fā)展、教學(xué)要求變化、學(xué)生實(shí)際水平，以及教

師以往教學(xué)的課后小結(jié)、批注等進(jìn)行補(bǔ)充、修改或重寫，以保持教學(xué)內(nèi)容的先進(jìn)

性和適用性。請妥善保存各階段的教案，并配合好學(xué)院的教學(xué)檢查和歸檔等工作。

貴州理工學(xué)院教案

編號：1

課時安排：2學(xué)時教學(xué)課型：理論課■實(shí)驗(yàn)課口習(xí)題謀口實(shí)踐課□其它口

題目（教學(xué)章、節(jié)或主題）：

第一章緒論

教學(xué)目的要求（分掌握、熟悉、了解三個層次）:

1、了解什么是信息，信息論的發(fā)展過程

2、熟悉信息論的應(yīng)用及成果

教學(xué)重點(diǎn)、難點(diǎn)：

重點(diǎn)：信息論的應(yīng)用及成果，通信系統(tǒng)的基本模型

難點(diǎn)：信息論的應(yīng)用及成果，通信系統(tǒng)的基本模型

教學(xué)方式和手段：

以講授為主。

教學(xué)過程：（含復(fù)習(xí)上節(jié)內(nèi)容、引入新課、中間組織教學(xué)以及如何啟發(fā)思維等）

§1信息的概念

信息這一概念是在人類社會互通倩報的實(shí)踐過程中產(chǎn)生的。信息在發(fā)展過程中主要經(jīng)歷了五次

大的革命：

1、聲音、手勢及語言；

2、文字符號進(jìn)入人類社會；

3、印刷術(shù)提供了新的信息活動手段：增大了信息的傳播范圍：

4、電磁波開始傳播信息：加快了傳播速度；

5、計算機(jī)與通信的完美結(jié)合。

推動信息革命和信息技術(shù)發(fā)展的三項(xiàng)技術(shù)：

/微電子技術(shù)一信息技術(shù)的“細(xì)胞”

/通信技術(shù)一信息技術(shù)的神經(jīng)

/計算機(jī)技術(shù)一信息技術(shù)的大腦

信息科學(xué)是一門綜合性學(xué)科，它是研究信息及其運(yùn)動規(guī)律的科學(xué)。其內(nèi)容包括：信息的本質(zhì)及

其度量，信息的產(chǎn)生、獲取、傳播、處理和施效的規(guī)律。研究的目的是擴(kuò)展人類獲取和利用信息的

能力。

信息技術(shù)是運(yùn)用信息科學(xué)的研究成果來解決生產(chǎn)實(shí)際問題，包括：

/感測技術(shù)（信息獲取）

/通信技術(shù)（信息傳輸）

/計算機(jī)技術(shù)（信息處理）

/自動控制技術(shù)（信息施效）

信息產(chǎn)業(yè)是專門從事信息生產(chǎn)、傳播、出售和服務(wù)的產(chǎn)業(yè)，包括：信息技術(shù)設(shè)備制造、信息服

務(wù)等。

■信息的定義

我國學(xué)者鐘義信教授對信息的定義為：信息就是在事物運(yùn)動的狀態(tài)和方式，就是關(guān)于事物運(yùn)動

的千差萬別的狀態(tài)和方式的認(rèn)識。

信息是事物的狀態(tài)和狀態(tài)變化的方式。

1、信息是無形的

2、信息是可共享的

3、信息是可擴(kuò)充的

4、信息是可以度量的

分析通信過程，通信的目的不外有兩種情形：一是自己有某種形式的信息要告訴對方，同時估

計對方既會對這種信息感到興趣，而又尚不知道這個信息。也就是說，上方在關(guān)于這個信息的知識

上存在著不確定性；另一種情況是，自己有某種疑問要向?qū)Ψ皆儐?，而且估計對方能夠解答自己?/p>

疑問。在前一種情況下，如果估計對方已經(jīng)了解所欲告之的消息，就沒有必要通信了；在后一種情

況，如果自己沒有疑問，當(dāng)然就不必詢問了。

這里所謂"疑問''、"不知道”，就是一種知識上的“不確定性”，即對某個事情的若干種可能結(jié)果，

或?qū)δ硞€問題的若干可能答案，不能做出明確的判斷。

因此可以把作為“通信的消息”來理解的“狹義信息”，看作（或明確定義）為種用來消除通信對方

知識上的“不確定性”的東西。引伸出一個十分重要而關(guān)鍵的結(jié)論：接收者收到某一消息后所獲得的

信息，可以用接收者在通信前后“不確定性”的消除量來度量。簡而言之，接收者所得到的信息量，

在數(shù)量上等于通信前后“不確定性”的消除量（或減少量）。這就是信息理論中度量信息的基本觀點(diǎn)。

那么，很自然地接著要問這樣一個問題：這就氈，“不確定性''本身是否可度量？是否可用數(shù)學(xué)

方法來表示呢？而不確定性是與“多種結(jié)果的可能性”相聯(lián)系的，在數(shù)學(xué)上這些“可能性”正是以概率來

度量的。概率大，即“可能性”大；概率小，“可能性”小。顯然“可能性”大，即意味“不確定性”?。弧翱?/p>

能性”小，即意味“不確定性”大?？梢?，“不確定性”與概率的大小存在著一定的聯(lián)系，“不確定性”應(yīng)

該是概率的某一函數(shù)；那么，“不確定性”的消除量（減少量），也就是狹義信息量，也一定可由概率的

某一函數(shù)表示。這樣就完全解決了作為“通信的消息”來理解的“狹義信息”的度量問題。

這個問題先放在這，我們到底用什么樣的數(shù)學(xué)公式來度量信息，這個公式是否是唯一的？以及

如何度量？這是我們下一步要解決的疑問。

§2信息論的研究對象、目的和內(nèi)容

信息論的奠基人一香農(nóng)

“通信的基本問題就是在一點(diǎn)重新準(zhǔn)確地或近似地再現(xiàn)另一點(diǎn)所選擇的消息”。

這是數(shù)學(xué)家香農(nóng)（ClaudeE.Shanon）在他的驚世之著《通信的數(shù)學(xué)理論》中的一句銘言。正是

沿著這一思路他應(yīng)用數(shù)理統(tǒng)計的方法來研究通信系統(tǒng)，從而創(chuàng)立了影響深遠(yuǎn)的信息論。

香農(nóng)，1816年生于美國密執(zhí)安州的加洛德。在大學(xué)中他就表現(xiàn)出了對數(shù)理問題的高度敏感。他

的碩士論文就是關(guān)于布爾代數(shù)在邏輯開關(guān)理論中的應(yīng)用。后來他就職于貝爾電話研究所。在這個世

界上最大的通信公司（美國電話電報公司）的研究基地里，他受著前輩的工作的啟示，其中最具代

表性的是《貝爾系統(tǒng)技術(shù)雜志》上所披露的奈奎斯特的《影響電報速率的一些因素》和哈特萊的《信

息的傳輸》。正是他們最早研究了通信系統(tǒng)的信息傳輸能力，第一次提出了信息量的概念，并試圖用

教學(xué)公式予以描述。

香農(nóng)則創(chuàng)造性地繼承了他們的事業(yè)，在信息論的領(lǐng)域中鉆研了8年之久，終于在1948年也在《貝

爾系統(tǒng)技術(shù)雜志》上發(fā)表了244頁的長篇論著，這就是上面提到的那篇《通信的數(shù)學(xué)理論》。次年，

他又在同一雜志上發(fā)表了另一篇名著《噪聲下的通信》。在這兩篇文章中，他解決了過去許多懸而未

決的問題：經(jīng)典地闡明了通信的基本問題，提出了通信系統(tǒng)的模型，給出了信息量的數(shù)學(xué)表達(dá)式，

解決了信道容量、信源統(tǒng)計特性、信源編碼、信道編碼等有關(guān)精確地傳送通信符號的基本技術(shù)問題。

兩篇文章成了現(xiàn)在信息論的寞基著作。而香農(nóng)，也一嗚驚人，成了這門新興學(xué)科的奠基人。那時，

他才不過剛剛?cè)鲱^。

那么信息論的研究對象、目的和內(nèi)容具體是什么呢？

信息論的研究對象、目的和內(nèi)容

信息論或稱為通信的數(shù)學(xué)理論，是應(yīng)用近代數(shù)理統(tǒng)計方法研究信息的度量、傳輸、存儲、交換

與處理的一門科學(xué)。它是通信理論中的基礎(chǔ)理論。信息論研究的主要問題是在通信系統(tǒng)設(shè)計中如何

實(shí)現(xiàn)信息傳輸、存儲和處理的有效性和可靠性。

傳輸系統(tǒng)的模型

主要幾個部分：

/信源編碼、信源譯碼解決了信息傳輸?shù)挠行浴?/p>

/信道編碼、信道譯碼解決了信息傳輸?shù)目煽啃浴?/p>

/加密編碼、解密譯碼限制了信息傳輸?shù)墓蚕?，增加了保密性?/p>

信息傳輸系統(tǒng)的要求

/可靠性：可靠性高，就是要使信源發(fā)出的消息經(jīng)過信道傳輸以后，盡可能準(zhǔn)確地、不失真

地再現(xiàn)在接收端。如何來提高可靠性呢？

/有效性：有效性高，就是用盡可能短的時間和盡可能少的設(shè)備來傳送一定數(shù)量的信息。如

何提高有效性呢？

/保密性：保密性高，就是陷蔽和保護(hù)通信系統(tǒng)中傳送的消息，使它只能被授權(quán)接收者獲取,

而不能被未授權(quán)者接收和理解。如何獲取保密性？

,認(rèn)證性：是指接收者能正確判斷所接收消息的正確性，驗(yàn)證消息的完整性，而不是偽造的

和被篡改的。

信源和信宿

信源：產(chǎn)生消息的源。消息可以是文字、語言、圖像等。它可以是離散序列，也可以是連續(xù)形

式，但都是隨機(jī)發(fā)生的，即在未收到這些消息之前不可能確切地知道它們的內(nèi)容。這些消息可以用

隨機(jī)變量或隨機(jī)過程來描述。信源研究的主要內(nèi)容是消息的統(tǒng)計特性和信源產(chǎn)生信息的速率。

信宿：消息傳送過程中的接收者，即接收消息的人或物。信宿和信源可處于不同的地點(diǎn)或存在

于不同時刻。例如：遠(yuǎn)古時代的文字。

信道

信道；把載荷消息的信號從發(fā)射端傳到接收端的媒質(zhì)或通道，是包括收發(fā)設(shè)備在內(nèi)的物理設(shè)施。

在狹義的通信系統(tǒng)中，實(shí)際信道有架空明線、電纜、波導(dǎo)、光纖、無線電波傳播空間等。對廣義的

通信系統(tǒng)來說，信道還可以是其他傳輸媒介。

信道中存在干擾源。實(shí)際干擾可以分成以下兩大類：

1、加性干擾。由外界引入的隨機(jī)干擾，如天電干擾以及設(shè)備內(nèi)部噪聲，它們與信道的輸入信號

統(tǒng)計無關(guān)。信道的輸出是輸入信號和干擾的和。

2、乘性干擾。信號在傳播過程中由于物理?xiàng)l件的變化引起信號參量的隨機(jī)變化而構(gòu)成的干擾。

此時信道的輸出信號是輸入信號與某些隨機(jī)參量相乘的結(jié)果。

研究信道的中心課題是它的統(tǒng)計特性和傳輸能力。

編碼部分

編碼部分：將信源發(fā)出的消息變換成適于信道傳送的信號的設(shè)備。在此回答前面的三個問題：1、

信源編碼器：在一定的準(zhǔn)則下，對信源輸出的消息進(jìn)行適當(dāng)?shù)淖儞Q和處理，其目的在于提高信息傳

輸?shù)男省?、糾錯編碼器：對信源編碼器的輸出進(jìn)行變換，用以提高對于信道抗干擾能力，亦即提

高信息傳輸?shù)目煽啃浴?、調(diào)制器。調(diào)制器是將糾錯編碼器的輸出變成適合于信道要求的信號形式。

是通信系統(tǒng)要研究的主要內(nèi)容，通信原理研究的內(nèi)容。

譯碼部分

譯碼：編碼的逆變換。它要從受干擾的信號中最人限度地提取出有關(guān)信源輸出消息的信息，井

盡可能地復(fù)現(xiàn)信源的輸出。譯碼器可分為：信源譯碼器和信道譯碼器。信道譯碼器又包括：糾錯譯

碼器和解調(diào)器。

譯碼部分的輸出送給信宿，完成通信過程。

§2.3信息論的內(nèi)容

■狹義信息論（香農(nóng)基本理論）

在信息可以度量的基礎(chǔ)上，對如何有效、可靠地傳遞信息進(jìn)行研窕的科學(xué)，涉及信息度量、信

息特性、信息傳輸速率、信道容量、干擾對信息傳輸?shù)挠绊懙取?/p>

■一般信息論（通信理論）

主要研究信息傳輸和處理問題。除香農(nóng)理論外，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計檢測

和估計理論、調(diào)制理論、抗干擾理論、信號處理理論以及保密理論。

■廣義信息論（信息科學(xué)）

不僅包含上述內(nèi)容，還包括所有與信息有關(guān)的自然和社會領(lǐng)域，具有更廣泛的研究內(nèi)容。

§2.4信息論的形成與發(fā)展

1924年奈奎斯特解釋了信號帶寬和信息率（傳遞信息的速率）之間的關(guān)系：如果以一個確定的

速率來傳輸電報信號，就需要一定的帶寬。將信息率和帶寬聯(lián)系起來了。1928年哈特萊引入了非統(tǒng)

計（等概率事件）信息量概念。提出信息量等于可能消息數(shù)的對數(shù)。1936年達(dá)得利提出在傳輸過程

中增大帶寬可以增強(qiáng)抑制干擾的能力。根據(jù)這一思想，提出了寬頻移的頻率調(diào)制方法。

20世紀(jì)40年代初期，由于軍事上的需要，維納在研究防空火炮的控制問題時，提出了《平穩(wěn)

時間序列的外推、內(nèi)插與平滑及其工程應(yīng)用》的論文。他把隨機(jī)過程和數(shù)理統(tǒng)計的觀點(diǎn)引入通信和

控制系統(tǒng)中來，揭示了信息傳輸和處理過程的統(tǒng)計本質(zhì)。這種統(tǒng)計觀點(diǎn)的引入使得信息論產(chǎn)生質(zhì)的

飛躍。他還利用早在20世紀(jì)30年代初他本人提出的“廣義諧波分析理論”對信息系統(tǒng)中隨機(jī)過程

進(jìn)行譜分析。這就使通信系統(tǒng)的理論研究引起了質(zhì)的飛躍，取得了突破性進(jìn)展。

1948年香農(nóng)在貝爾系統(tǒng)技術(shù)雜志上發(fā)表了兩篇有關(guān)“通信的數(shù)學(xué)理論”的文章。在這兩篇論文

中，他用概率測度和數(shù)理統(tǒng)計的方法，系統(tǒng)地討論了通信的基本問題，得出了幾個重要的而帶有普

遍意義的結(jié)論，并由此奠定了現(xiàn)代信息論的基礎(chǔ)。

從20世紀(jì)50年代開始，信息論在學(xué)術(shù)界引起巨大的反響。1951年美國IRE成立了信息論組。

1955年正式出版了信息論匯刊。在此期間，一些科學(xué)家（包括香農(nóng)本人）做了大量工作，發(fā)表了許

多重要文章。他們將香農(nóng)已得到的數(shù)學(xué)結(jié)論作了進(jìn)一步的嚴(yán)格論證和推廣。

信息論中無失真信源編碼部分的發(fā)展：

香農(nóng)在1948年論文中提出無失真信源編碼定理，也給出了簡單的編碼方法（香農(nóng)編碼）。麥克

米倫于1956年首先證明了唯一可譯變長碼的克拉夫特不等式。對于無失真編碼的研究具有重要的意

義。1952年費(fèi)諾提出了費(fèi)諾碼。1952年霍夫曼首先構(gòu)造了一種霍夫曼編碼方法，并證明了它是最佳

碼。早期的傳真采用霍夫曼編碼方法。

1968年，埃利斯發(fā)展了香農(nóng)一費(fèi)諾碼，提出了算術(shù)編碼的初步思路。1976年里斯桑內(nèi)給出和發(fā)

展了算術(shù)編碼。1982年他和蘭登一起將算術(shù)編碼系統(tǒng)化，并省去了乘法運(yùn)算，更為簡化，易于實(shí)現(xiàn)。

通用信源編碼算法一LZ碼是1977年由齊弗和蘭佩爾提出的。1978年他們又提出了改進(jìn)算法，

并證明此方法可達(dá)到信源的端值。1990年貝爾等在LZ算法基礎(chǔ)上又作了一系列變化和改進(jìn)。LZ碼

己廣泛應(yīng)用于文本的數(shù)據(jù)壓縮中。

信息論中信道編碼一糾錯碼理論的發(fā)展：

60年代，信道編碼技術(shù)有了較大發(fā)展，使它成為信息論的一個重要分支一糾錯碼理論。

1950年出現(xiàn)漢明碼，把代數(shù)方法引入到糾錯碼的研究，形成了代數(shù)編碼理論。但代數(shù)編碼的漸

進(jìn)性很差，不能夠?qū)崿F(xiàn)香農(nóng)信道編碼定理所指出的結(jié)果。I960年左右提出了卷積碼的概率譯碼，形

成一系列概率譯碼理論。

幾十年來，相繼出現(xiàn)的很多編碼方法，其性能與香農(nóng)限相差很遠(yuǎn)，以致人們認(rèn)為香農(nóng)限是不可

能達(dá)到的。

1993年C.Berrou等人提出的Turbo碼的并行級聯(lián)卷積碼，性能非常接近香農(nóng)限，同時復(fù)雜度較

低可以實(shí)現(xiàn)，為信道編碼領(lǐng)域帶來一場革命。

限失真信源編碼的發(fā)展：

有一定失真的信源編碼稱限失真信源編碼，它的研究比信道編碼和無失真信源編碼晚約十年。

香農(nóng)在1948年論文中已體現(xiàn)出關(guān)于率失真函數(shù)的思想。1959年香農(nóng)發(fā)表了“保真度準(zhǔn)則下的離散信

源編碼定理”，首先提出了信息率失真函數(shù)及信息率失真信源編碼定理。從此，發(fā)展成為信息率失真

編碼理論。

1971年伯格爾給出更一般信源的率失真編碼定理。

率失真信源編碼理論是信源編碼的核心問題，是頻帶壓縮、數(shù)據(jù)壓縮的理論基礎(chǔ)。信息量過大

一定要進(jìn)行壓縮。

網(wǎng)絡(luò)信息論的發(fā)展：

1961年香農(nóng)發(fā)表的論文《雙路通信信道》開拓了多用戶理論的研究。隨著衛(wèi)星通信、計算機(jī)通

信網(wǎng)絡(luò)的迅速發(fā)展，多用戶理論的研究取得了許多突破性進(jìn)展。

從20世紀(jì)70年代以后，人們從經(jīng)典的香農(nóng)單向通信的信息論推廣到多用戶信息理論。多用戶

信息理論成為當(dāng)前信息論的中心研究課題之一。

板書設(shè)計:

討論、思考題、作業(yè):

參考資料：

信息論基礎(chǔ)與應(yīng)用趙生妹電子工業(yè)出版社

編號：2

學(xué)時8|教學(xué)課型：理論課■實(shí)驗(yàn)課口習(xí)題課口實(shí)踐課□其它〕

手或主題）：

息牖

r掌握、熟悉、了解三個層次）：

E率論基礎(chǔ)知識

木源信息楠的計算方法

含義與計算方法

含義與計算方法

習(xí)上節(jié)內(nèi)容、引入新課、中間組織教學(xué)以及如何啟發(fā)思維等）

】平均自信息量

三事件發(fā)生前有不確定性，在事件發(fā)生時有驚訝度，在事件發(fā)生后有信息量。當(dāng)一個概率很低的隨機(jī)事件發(fā)生，我們就會感到非常1

;息的過程就是其不確定性縮減的過程。隨機(jī)事件包含的信息與其不確定性緊密相關(guān)。上節(jié)課中講過，在統(tǒng)計分析中，使用概率作二

;：隨機(jī)事件包含信息的度量應(yīng)是其概率的函數(shù)。

「所包含的信息量與其發(fā)生的概率有什么樣的關(guān)系呢？

*

J自信息量定義為該事件發(fā)生概率的對數(shù)的負(fù)值。

1.,/

—]=-log〃（看）

陽）

E取決于對數(shù)選取的底。當(dāng)對數(shù)的底取2時，比特（bit）；以e為底時，奈特（nat）；以10為底時，哈特（hart）。三者之間的轉(zhuǎn)換3

二1.433b\\Hart=log210?3.322b"

時，/(再)=0確定事件信息量為0

)時，/(x,.)=oo概率為。的事件帶來極大的信息量

因?yàn)楦怕适?-1之間的隨機(jī)數(shù)

0)的單調(diào)遞減函數(shù)

機(jī)量，/(再)是元的函數(shù)，也是一個隨機(jī)變量，沒有確定的值。

:個信源的不確定性嗎？

卜么量來反映呢？

【量一熠

[一個概率空間來描述：JX凡,當(dāng)，…再，….

P(X)」[〃(為

京的狀態(tài)空間，為一個離散集，表示了隨機(jī)事件的狀態(tài)數(shù)：P(X)是隨機(jī)事件各種可能狀態(tài)的概率分布，且ZP(X)=I，即狀態(tài)是:

p(x)｝。

一信息熠定義

乏量/(X,)的數(shù)學(xué)期望定義為平均自信息量：

q

0]=芯[-log〃(4)]=〃(巧)logp(巧)

i=l

言息量即X的信息端，簡稱端。數(shù)值上與平均不確定度相同，含義不同。平均不確定性的含義：集X的平均自信息量表示集X中;

H定集X中出現(xiàn)一個事件平均所需的信息量；

"X中每出現(xiàn)一個事件平均給出的信息量。

號的計算和物理含義。

概率矢量尸=(Pl，P2,…,中的各分量的次序任意變更時，燧值不變。該性質(zhì)說明信源的烙僅與信源總體的統(tǒng)計特性有關(guān)。

(X)=H[p(x1),p(x2p(xj]=一￡pUJlogp(xf)>0

?=i

1條件是當(dāng)且僅當(dāng)對某i,Pi=1,其余的p?=0(攵=i)。即確知信源的信源病等于零。(非負(fù)性對于離散信源的嫡是正確的，但是,

忖即為燧的確定性：”(1,0)=7/(1,0,0)=//(1,0,0,0)=...="(1,0,…0)=0

；“2他，P2,…，乙一&￡)="辰，〃2,…，夕』

【有q個事件，另一個集合X，有q+1個事件，但X和X，集的差別只是多了一個概率接近于零的事件，則兩個集的牖值一樣。換言;

E率相比很小時，它對集合的端值的貢獻(xiàn)可以忽略不計。

L變量X、Y,它們不是相互獨(dú)立的，則二維隨機(jī)變量（X,Y）的嫡等于X的無條件燃加上當(dāng)X已給定時Y的條件概率定義的燧的2

〃21，Pl；PlP22，…，P2Pm2；PnPln?PnPin，…，P”Pmn）

??，P“）+XPiH加（Pli'PPmi）

i=\

知七條件下，力的條件概率；5>產(chǎn)1也20;（對一切i）。

r=l

tx,Y相互統(tǒng)計獨(dú)立時，則有：

Pl?Pl?,???〃”）+Hm（%，%'…'q”t）

=log72,其中n是集合X的元素數(shù)目。在離散情況下，集合X中的各事件等概率發(fā)生時，端達(dá)到極大值。這一

nnn

:的數(shù)目n越多，其嫡值就越大。對數(shù)函數(shù)的單調(diào)上升性。

q）是概率分布（P1,〃2,…，Pq）的嚴(yán)格上凸函數(shù)。

凸函數(shù)定義為：設(shè)/（X）=/（再.，天，…%〃）為一多元函數(shù)。若對儀任意一個小于1的正數(shù)a（0va<l）以及函多

\意兩個矢量X2有

J->/[aX,+（\-a）X2]>af（X1）+（\-a）f（X2）

1.0p

則稱f（X）為定義域上的上凸函數(shù)。如是大于，則為嚴(yán)格上凸函數(shù)。

I+（1-a）X?卜4（XJ+（1-a）f（X2）

1域上的下凸函數(shù)（Cup型函數(shù)）。如是小于，則為嚴(yán)格下凸函數(shù)。

§2聯(lián)合自信息量和聯(lián)合燧

上的元素（毛為）的聯(lián)合自信息量定義為：I（x,）=-logp（Xiyy）0式中（工力）為積事件（聯(lián)合隨機(jī)事件），〃（毛刀）為元素（匕）：

時，/（七力）二一1。8〃（七力）二一108[，（再）〃（力）]=/（再）+/（力）。即兩個隨機(jī)事件相互獨(dú)立時，同時發(fā)生得到的自信息量，等二

I信息量之和。

每對元素的自信息量的概率加權(quán)平均值定義為聯(lián)合熔。

P（為匕）/（七幾）

E為一個隨機(jī)事件求其平均不確定性。根據(jù)聯(lián)合自信息量的定義，聯(lián)合嫡又可定義為："（x,y）=-2〃（七力）108〃（七匕）。

XY

§3條件自信息量和條件嫡

gXY中，對事件七和力，事件看在事件力發(fā)生的條件下的條件自信息量定義為：7（x,.Iy7）=-logp（xi\yj）.〃（茗I%）是條彳

卜的概率。由于每個隨機(jī)事件的條件概率都處于0~1范圍內(nèi)，所以條件自信息量均為非負(fù)值。

二間的關(guān)系：

聯(lián)合自信息量、條件自信息量都滿足非負(fù)性和單調(diào)遞減性。

機(jī)變量，其值隨著變量巧和力的變化而變化。

如下關(guān)系式：

；〃（巧）。（巧⑺一/（巧）+/（匕1七）

JML）P（￡1匕）=/（%）+?項(xiàng)1%）

條件自信息量I（x|y）的概率加權(quán)平均值定義為條件端。其定義式為：

p（xy）I（y\x）：聯(lián)合集XY中，集Y相對于集X的條件炳。還可寫成〃（丫|X）=〃（冷'）108（>?幻。

XY

二求和中要用聯(lián)合俄率進(jìn)行加權(quán)平均？

/〃

=-演）bg（力I項(xiàng)）表示前面?個消息符號給定時，乂=為，信源輸出下一個消息符號的平均不確定性。由于給定不同的

j=i

l（Y\X=xf）是一個隨機(jī)變量。故應(yīng)求出H（Y\X=X,）的統(tǒng)計平均值：

1〃

匚p（xi）H（Y\X=X,.）=XP?）P（y"項(xiàng)）logbjI項(xiàng)）

=1r=lj=l

。平均自信息量

?一?>聯(lián)合牖

■——>條件嫡

§4互信息量和平均互信息

量

XY

「消息集X,Y表示信宿接收的符號消息集合，各自的概率空間為：和。當(dāng)接收端收到集合Y中的一個消息符號）

_p（x）J|_p（r）_

t生的概率就變成條件概率p（xi|為），即后驗(yàn)概率。

、消息后，所獲得的信息量等于收到消息前后不確定程度的減少量。不確定程度減少的原因，是由于收到消息前后概率空間的概率/

，重新估計天的發(fā)生。收信者從不確定到比較確定或完全確定，依賴于所獲得的信息量?？梢灾庇^地將它定義為：I（信息量）=不

）后，所獲得的信息量為/Llog—^-log—\一

，（再），（茗舊）

，信息量隨光臉概率的增加而減少，隨后驗(yàn)概率的增加而增加。

：道看成關(guān)閉，可以認(rèn)為輸入隨機(jī)變量X和輸出隨機(jī)變量Y之間沒有任何關(guān)聯(lián)關(guān)系，即X、Y統(tǒng)計獨(dú)立。根據(jù)概率的性質(zhì)，輸入端t

-p{xi）p（y,）,有光臉不確定度/'（芍匕）-log（。

輸入隨機(jī)變量X和輸出隨機(jī)變量Y之間由信道的統(tǒng)計特性相聯(lián)系。輸入端出現(xiàn)再和輸出端出現(xiàn)）

匕I巧）=P（X）P（x/匕），則有后驗(yàn)不確定度尸（五為）=log—―

〃（巧兄）

i道的信息量等于通信前后不確定度的差，即為帶來關(guān)于七的信息量：

xy）-T（x）=1

ijlogJ-log

P（七）P（匕）〃（七匕）

）??1711

——=log------------=log--------+log------------log------------

力）p（%）〃（七）〃（匕）p（x，x）

：,）+，（匕）一/（為力），其中i=1,2，…刀;，=1,2,…”。

.為自信息量減去條件自信息量的差。

>gP（x,）+logp（￡1匕）=/（再）一/（七|力）

、不確定度之差，是不確定度被消除的部分，代表已經(jīng)確定的東西。實(shí)際是從力得到的關(guān)于匕的信息量。即等于先驗(yàn)的不確定性減去

,對力的互信息量為：

叱/：'）=/（%）-/（力I七）6=12…箱,j=1,2,...，㈤

My」）

（引匕）=/（力;七）

「為零

統(tǒng)計獨(dú)立時，互信息量為零：/（七;x）=0。這表示不能從觀測力獲得關(guān)于另一個事件七的任何信息。反之亦然。

「正可負(fù)

cl匕）大于先驗(yàn)概率M8）時，互信息量，（%;當(dāng)）大于零，為正值?；バ畔⒘繛檎馕吨录Φ某霈F(xiàn)有助于肯定事件目的出

討匕）小于先驗(yàn)概率P（巧）時，互信息量/（七;匕）小于零，為負(fù)值?；バ畔⒘繛樨?fù)是不利的，原因是由于信道干擾使估計變得更）

1件之間的互信息量小于其中任一事件的自信息量

-^\二/（七）；Z（y,|x,）＜log—i—=/（y）

P（W）M%）

I：/（￡）是為了確定事件看的出現(xiàn)所必須提供的信息量，也是任何其它事件所能提供的關(guān)『事件X,.的最大信息量。

信息量

二,由為提供的關(guān)于集X的平均條件互信息量等于由匕所提供的互信息量/（王；力）在整個X中以p（xi|匕）后驗(yàn)概率加權(quán)的平均

:P&I力）/（七；％）=SP5|X）log

CY上的平均條件互信息量有/（X;yy）＞0,等號成立當(dāng)且僅當(dāng)X集中的各個天都與事件V,相互獨(dú)立。

!、量表示觀測到力后獲得的關(guān)于集X的平均信息量。

志一個隨機(jī)變量，琬力的變化而變化，因此，不能作為信道中流通信息量的整體測度。

J性質(zhì)

（X；r）＞0,當(dāng)且僅當(dāng)X與Y相互獨(dú)立時，等號成立。即如果X與Y相互獨(dú)立，它們之間相互不能提供任何信息。

懷爾性）：/（x；r）=z（r；x）

從集Y中獲得關(guān)于x的信息量等于從集x中獲得關(guān)于Y的信息量。集x和集

7（x；r）=/（r；xi=o,它意味著不能從一個集獲得關(guān)于另一個集的任何信息。

平均互信息和各類烙的關(guān)系

7（x；r）=H（x）-H（xm

z（x；r）=H（y）-H（y|x）

”（y）—“（xy）集x和Y統(tǒng)計獨(dú)立時，，（x；y）=o,得到/（x；y）max="（x）+a（r）。

j物理含義

」H（X/Y）之差。因?yàn)镠（X）是符號集合X的埼或不確定度，而H（X/Y）是當(dāng)Y已知時X的不確定度，可見“Y已知”這件事使X的不確

所獲得的關(guān)于X的信息量是I（X;Y）。這可以看成是信源符號集合X,信宿符號集合Y,平均互信息量I（X;Y）表示在有擾離散信道上

I量等于信宿對信源符號不確定度的平均減少量。

）、疑義度：

）表示在己知輸出Y的條件下輸入X的剩余不確定性，即信道損失。

（X；y）與條件牖H（X|Y）的關(guān)系可看出，/（X；y）等于輸入平均信息量”（X）減去信道榻失，它反映了信道傳輸信息的能力。最二

）、散布度：

i作在有擾離散信道上傳遞消息時，唯一地確定接受符號y所需要的平均信息量H（Y）,減去當(dāng)信源消息已知時確定接受符號y仍f

7X）可認(rèn)為是唯一地確定信道噪聲所需要的平均信息量。

/（項(xiàng)），這表明，當(dāng)后驗(yàn)概率pCW力）=1（即收到輸出符號切，推測輸入符號制的概率為1）時，收到力即可確切無誤地收到輸入符工

后取耳本身含有的全部信息量，即疝的自信息量1（x1）.

8全解除了關(guān)于X的不確定度，所獲得的信息就是X的不確定度或烯。也可以看成是無擾信道，由于沒有噪聲，疑義度H（X/Y）為:

=H（Y）o

P（M）

:概率〃（升/力）等于先驗(yàn)概率P（xi），所以后驗(yàn)概率與先驗(yàn)概率的比值等于1，即有“毛;刀）二0。

概率〃（七/刀）等于先驗(yàn)概率p（xi）時，收到力后對信源發(fā)"的不定度等于收到W前對信源發(fā)富的不定度，收到力?后并沒有減少對

二我的信息量。

（x；y）＜w（x）；/（x；y）＜H（y）

1芭）給定時，/（x；y）是信源概率分布M巧）的上凸函數(shù)。

，信道容量的定義：c=max/（x；y）

。（芍）

給定時，/（x；y）是信道傳遞概率分布p（匕/七）的二凸函數(shù)。

，率失真函數(shù)的定義：火（o）=min?x；y）

§5數(shù)據(jù)處理中信息的變化

,Y,Z）上的平均互信息量

中，在給定人的條件下，為與力之間的互信息量定義為條件互信息量。其定義為：/(%;y/z?)=log必業(yè)包

p(x{|z?)

還存在Xj與力Z?之間的互信息量，其定義式為：

〃(巧I匕Z4)

0g------——

，(再)

J:

咤p"'I匕)]

〃(毛)〃(巧1%)

=/(引匕)+/?；z&|y)

PGI刀)

事件丁產(chǎn)上出現(xiàn)后所提供的有關(guān)天的信息量/(七；刀/)等于事件力出現(xiàn)后所提供的有關(guān)血的信息量/(七；x)加上在給定事件為I

的信息量。

,Y,Z)上的平均互信息量有：

+I(X;Z/Y)

+I(Z;X/Y)

Y)=I(X;Z)+I(X;Y/Z)

I的變化

_______________________z

一級處理-L_^第二級處理_____>

;Z)+I(Y;Z/X)和I(X,Y;Z)=I(Y;Z)+I(X;Z/Y)可得：

(X;Z/Y)-I(Y;Z/X)

FX與Z相互獨(dú)立，即I(X;Z/Y)=0,且I(X;Y/Z)和I(Y;Z/X)均非負(fù)，則有：I(X;ZKI(Y;Z)I(X;Z)<I(X;Y)

，過多級處理時，隨著處理級數(shù)的增多，輸入消息和輸出消息之間的平均互信息量趨于變小。數(shù)據(jù)處理定理；數(shù)據(jù)的處理過程中只:

I,即信息不增性。

§6各種嫡的性質(zhì)

息牖、條件埔的關(guān)系

X)+H(Y\X)=H(Y)+H(XIY)

\Y)=H(Y)-H(Y\X)

KN)=H(Xl^H(X2\Xi)+...+H(XN\XlX2..XN)

思燧的關(guān)系

x)+w(r)

5f)v)<H(X1)+//(X2)+...+//(XjV)

信燧的關(guān)系：H(Y\X)<H(Y)

:,Y上的各種端

yiXi0-_______

二x)W

00一

X2

00二

X3

0.10

M3

0.050.10莖

0.050A*5

、符號集X=*],工2，與，44，%)，輸出符號集y二(M，丁2，53，54)，如圖所示。

；概率、后驗(yàn)概率

p(y,)=0.25+0.10=0.35,

0.30=0.40p[y2)=0.30+0.05=0.35,

0.10=0.15pi)3)=010+0.05+0.05=0.2,

0.10=0.15p()〃)=01°，p(x)=0.05

■翳”機(jī))=鬻5=|

*2%)二0.30=60.30_3

p(y\x2)=

。(力)0.35"7'20.40—4

1010.1020.10

p(yX-,)=---=一,p(x\y)=------=1

20-2,330,153440.10

1020.1020.101

p32IM)P(M工2)=------=—

153一().35-7'120.404

0510.0510.051

—9p(u1/)聯(lián)&)=。.2。=4

357一0.15一3,

0510.051,.0.05

-9p(%ly):P(%與)=----=1

1533—0.20-4'3570.05

片和信息端

:Zpg%)log(p(4%)

Y

5-0.101og0.10-0.30log0.30-0.05log0.05

-0.05log0.05-0.10log0.10-0.05log0.05=2.665

2〃?%)log(P(4)

：5-0.101og0.40-0.30log0.40-0.05log0.15

-0.05log0.15-0.101og0.15-0.05log0.05=2.066

:P(xjj)bg(P&j)

5-0.101og0.35-0.30log0.35-0.05log0.35

-0.05log0.20-0.101og0.10-0.05log0.20=1.856

H(x|y)=-ZZP?M)log

X酹YP(M")

,)g2!^2d_ojolog1/4-0.30log3/4-0.05log1/3-0.10log2/3-0.05log1/3-0.10log2/3

t>/k)==-0.25log5/7-0.10log2/7-0.30log

P(xt)

-0.101ogl/2-0.051og1/4-0.05logl/

65<H(X)+H(Y)=2.066+1.856

X)+H(X|Y)=H(Y)+H(Y\X)

i

65..…H(X)=2.066=1.856

?09....7/(/|X)=0.600

65<3.922=H(X)+//(r)

=2.066+1.856=3.922

7)=1.856+0.809=2.665

X)=2.066+0.600=2.666

”(X,Y)=H(Y)+H(X|Y)="(X)4-H(Y\X)

H(XIY)<H(X)

；散集之間的平均互信息量，首先定義了在一個事件發(fā)生條件下，給出的另一個離散事件集的平均條件互信息量。

i息量的基礎(chǔ)上，定義了一個離散集合對另一個離散集的平均互信息量。

】信息蠟與平均互信息量之間的關(guān)系，并給出了反映這種關(guān)系的維拉圖。

。均互信息的性質(zhì)。

編號：3

課時安排：8學(xué)時|教學(xué)課型：理論課■實(shí)驗(yàn)課口習(xí)題課口實(shí)踐課口￡豆

題目（教學(xué)章、節(jié)或主題）：

第三章信道與信道容量

教學(xué)目的要求（分掌握、熟悉、了解三個層次）：

1、掌握信道容量的計算方法

教學(xué)重點(diǎn)、難點(diǎn)：

重點(diǎn)：信道容量的含義和計算方法

難點(diǎn)：信道容量的含義和計算方法

教學(xué)方式和手段：

以講授為主。

教學(xué)過程：（含復(fù)習(xí)上節(jié)內(nèi)容、引入新課、中間組織教學(xué)以及如何啟發(fā)思維等）

§1信源的數(shù)學(xué)模型及其分類

■概述

信源：信息的來源，是產(chǎn)生消息（符號）、時間離散的消息序列（符號序列）以及時間連續(xù)的消

息的來源。信息論中，用隨機(jī)變量X、隨機(jī)矢量X和隨機(jī)過程｛X（e,t）｝分別表示產(chǎn)生消息、消息序列

和時間連續(xù)消息的信源。

主要解決的問題：

■如何描述信源？（數(shù)學(xué)模型）

■如何定量描述信源輸出信息的能力？

■怎樣有效地表示信源輸出的消息？（信源編碼）

對信源的分類主要基于兩方面的考慮：

一是信源消息取值的集合以及消息取值時刻的集合，由此可分為離散信源、連續(xù)信源或數(shù)字信

源、模擬信源（波形信源）

二是信源消息的統(tǒng)計特性，由此可分為無記憶信源、有記憶信源、平穩(wěn)信源、非平穩(wěn)信源、高

斯信源、馬爾可夫信源等。

實(shí)際中經(jīng)常是它們的組合，如離散無記憶信源等。

無記憶

單個符號

、有記憶

離散

信源‘無記憶

多個符號

有記憶

連續(xù)

無記憶信源：信源發(fā)出的消息符號間彼此是統(tǒng)計獨(dú)立的，并且他們具有相同的概率分布，且N

維隨機(jī)矢量的聯(lián)合概率分布為：

〃（x）=np（xk=%）=n“%

i=1,2,2—1,2,??.,7V

稱為離散無記憶信源。同樣，若N維隨機(jī)矢量中X每個變量是連續(xù)隨機(jī)變量，且相互獨(dú)立,

則X的聯(lián)合概率密度函數(shù)為p(X)=立2人，這種信源叫連續(xù)型無記憶信源。

有記憶信源：信源發(fā)出的符號間是彼此相互依存和關(guān)聯(lián)的。通常用聯(lián)合概率或條件概率來描述

這種關(guān)聯(lián)性。按記憶長度劃分有：有限記憶信源(馬爾可夫信源)；無限記憶信源。

M階馬爾卡夫信源

m階馬爾可夫信源：信源記憶長度為m+1,即信源每次發(fā)出的符號僅與前面m個符號有關(guān)，與

更前面的符號無關(guān)。用條件概率描述為：

X

P（xi\x7l—1,2Xj.?）=尸（士|毛_[,項(xiàng)_2,…，i-

其中m為階數(shù)。當(dāng)m=l時，為一階馬爾可夫信源，此時條件概率轉(zhuǎn)化成狀態(tài)轉(zhuǎn)移概率

P.==ai|Xf_1=a0

時齊遍歷馬爾可夫信源

時齊性：轉(zhuǎn)移概率與時間起點(diǎn)無關(guān)。遍歷性：當(dāng)轉(zhuǎn)移步數(shù)足夠大時，轉(zhuǎn)移概率與起始狀態(tài)武官,

即達(dá)到平穩(wěn)分布。

時齊遍歷馬爾可夫信源；同時滿足時齊性和遍歷性。

混合信源

按信源輸出時間和取值劃分：時間連續(xù)、取值連續(xù)或隨機(jī)的，稱之為隨機(jī)波形信源，表示為X⑴。

輸出既有連續(xù)分量又有離散分量，稱之為混合信源。

■信源的數(shù)學(xué)模型

隨機(jī)變量X：

離散信源：輸出的消息數(shù)有限。

p（x,）＞0,Z=l,2,...^

Xx\

PpUi）P（%2）...P（%）

連續(xù)信源：可能輸出的消息數(shù)是無限的或不可數(shù)的。:=S'：),其中P(x)為連續(xù)隨機(jī)變

量X的概率密度函數(shù)，(a,b)為X的存在域，且p(x)20Jp(x)dr=1。

a

隨機(jī)序列X

隨機(jī)序列即多符號信源的數(shù)學(xué)模型一N重離散概率空間：

~X~\F...a(/N

_Pj-〃(％)M%)…P9qN)

X=〈Xk，k=123,..”｝為隨機(jī)序列

XkeA=IA=1,2，…,N

其中VN

aieA,j=1,2,…,q

AN=/=1,2,…,q;k=1,2,

非平穩(wěn)信源：

馬爾可夫信源：輸出的隨機(jī)序列X中各隨機(jī)變量之間有依賴關(guān)系，但記憶長度有限，并滿足馬

爾可夫鏈的條件式。

平穩(wěn)信源：

面散平穩(wěn)信源：輸出的隨機(jī)序列X中每個隨機(jī)變量取值是離散的，并且隨機(jī)矢量X的各維概率

分布不隨時間平移而改變。

離散無記憶信源的N次擴(kuò)展信源：輸出的平穩(wěn)隨機(jī)序列X中各隨機(jī)變量統(tǒng)計獨(dú)立。每個隨機(jī)變

量再取值于同一概率空間。每N個符號一組，等效為一個新的信源。

有限記憶信源：輸出的平穩(wěn)隨機(jī)序列X中各隨機(jī)變量之間有依賴關(guān)系，記憶長度有限。

隨機(jī)過程｛X⑴｝:

隨機(jī)波形信源：信源輸出的消息是時間(或空間)上和取值上都是連續(xù)的函數(shù)。

§2離散無記憶信源

§2.1單個符號離散無記憶信源

設(shè)信源x輸出符號集X=(卬々，…，當(dāng))，q為消息符號個數(shù)，每個符號發(fā)生的概率為

同七)之=aPG)=1,如消息符號彼此互不相關(guān)，則稱X為離散無記憶信源。前

1=1

述基本是單個符號離散信源。

回顧：消息與不確定度、不確定度與自信息量的關(guān)系；自信息量與信源墻

§2.2多符號離散無記憶信源一一離散無記憶序列

X

設(shè)X是一個離散無記憶信源，其概率空間,其中q為信源符號個

Pix}

數(shù)，Pi=P（X=a?i=12...,q,

則X的N次擴(kuò)展信源X"是具有q.個消息符號的離散無記憶信源，其概率空間為

XN

其中：XN=(X,XN),q=%4…”

P(〃)p(q)p(a2)...p(a/)

a.￡A=(%4???％)，R=12…，N,p(4)=P(XN=q)=n〃4。即積事件是N長的隨機(jī)序列,

其中每個隨機(jī)變量有q個消息符號，且每個消息統(tǒng)計獨(dú)立。

§2.3離散序列的烯

■定義

長度為L的離散無記憶序列信源X=（Xi,X2,...,Xu...,XL）,序列中的單個符號變量Xie

==

{X],X2,…,Xn}。P（XXt）=P（X]=,X2^i2?,?,?X[,=%）

根據(jù)燃的定義，可得序列燧為：

/nnn

”（x）=-Zpa）i°gMM=，％，…也）iogp（z，…%）

p(x=xj=M%，%，…%)=p(七)p(//玉)…。(軟/五J

信源無記憶時p（x=%,）=p（xii9