信息論基礎(chǔ)自信息量

信息論基礎(chǔ)自信息量第1頁，課件共48頁，創(chuàng)作于2023年2月（1）信息是可以識別的（2）信息的載體是可以轉(zhuǎn)換的（3）信息是可以存貯的（4）信息是可以傳遞的（5）信息是可以加工的（6）信息是可以共享的信息具有以下特征第2頁，課件共48頁，創(chuàng)作于2023年2月1.1自信息

通信系統(tǒng)模型信源的分類概率論基礎(chǔ)信息的可度量性自信息熵第3頁，課件共48頁，創(chuàng)作于2023年2月信源：產(chǎn)生消息和消息序列的來源。通常信源的消息序列是隨機(jī)發(fā)生的，因此要用隨機(jī)變量來描述。通信系統(tǒng)模型第4頁，課件共48頁，創(chuàng)作于2023年2月編碼器：把消息變換成適合于信道傳輸?shù)男盘?。信源編碼器：將信源的輸出進(jìn)行適當(dāng)?shù)淖儞Q，以提高信息傳輸?shù)挠行?。信道編碼器：對信源編碼器的輸出進(jìn)行變換，用增加多余度的方法提高信道的抗干擾能力，以提高信息傳輸?shù)目煽啃?。通信系統(tǒng)模型第5頁，課件共48頁，創(chuàng)作于2023年2月調(diào)制器：將信道編碼器輸出的數(shù)字序列變換為振幅、頻率或相位受到調(diào)制控制的形式，以適合在信道中進(jìn)行較長距離的傳輸。通信系統(tǒng)模型第6頁，課件共48頁，創(chuàng)作于2023年2月解調(diào)器：從載波中提取信號，是調(diào)制的逆過程

MODEM通信系統(tǒng)模型第7頁，課件共48頁，創(chuàng)作于2023年2月信道：信號由發(fā)送端傳輸?shù)浇邮斩说拿浇?。典型的傳輸信道有電纜、高頻無線信道光纖通道等；典型的存儲媒介有磁芯、磁盤、磁帶等。通信系統(tǒng)模型第8頁，課件共48頁，創(chuàng)作于2023年2月干擾源：對傳輸信道或存儲媒介構(gòu)成干擾的來源的總稱。干擾和噪聲往往具有隨機(jī)性，所以信道的特征也可以用概率空間來描述；通信系統(tǒng)模型第9頁，課件共48頁，創(chuàng)作于2023年2月信道譯碼器：利用信道編碼時所提供的多余度，檢查或糾正數(shù)字序列中的錯誤。信源譯碼器：把經(jīng)過信道譯碼器核對過的信息序列轉(zhuǎn)換成適合接收者接收的信息形式。通信系統(tǒng)模型第10頁，課件共48頁，創(chuàng)作于2023年2月信宿：消息傳送的對象

（人或機(jī)器）。通信系統(tǒng)模型第11頁，課件共48頁，創(chuàng)作于2023年2月在通信系統(tǒng)中形式上傳輸?shù)氖窍ⅲ珜嵸|(zhì)上傳輸?shù)氖切畔?。消息只是表達(dá)信息的工具、載荷信息的客體。顯然，在通信中被利用的(亦即攜帶信息的)實際客體是不重要的，而重要的是信息。通信的結(jié)果是消除或部分消除不確定性從而獲得信息。通信系統(tǒng)模型第12頁，課件共48頁，創(chuàng)作于2023年2月信源的分類按照信源發(fā)出的消息在時間上和幅度上的分布情況可將信源分成離散信源和連續(xù)信源兩大類

{信源離散信源連續(xù)信源第13頁，課件共48頁，創(chuàng)作于2023年2月連續(xù)信源連續(xù)信源是指發(fā)出在時間和幅度上都是連續(xù)分布的連續(xù)消息（模擬消息）的信源，如語言、圖像、圖形等都是連續(xù)消息。

離散信源離散信源是指發(fā)出在時間和幅度上都是離散分布的離散消息的信源，如文字、數(shù)字、數(shù)據(jù)等符號都是離散消息。

信源的分類第14頁，課件共48頁，創(chuàng)作于2023年2月{離散無記憶信源離散有記憶信源{{發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源離散信源信源的分類離散無記憶信源所發(fā)出的各個符號是相互獨立的，發(fā)出的符號序列中的各個符號之間沒有統(tǒng)計關(guān)聯(lián)性，各個符號的出現(xiàn)概率是它自身的先驗概率。離散有記憶信源所發(fā)出的各個符號的概率是有關(guān)聯(lián)的。第15頁，課件共48頁，創(chuàng)作于2023年2月{離散無記憶信源離散有記憶信源{{發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源離散信源信源的分類信源每次只發(fā)出一個符號代表一個消息；信源每次發(fā)出一組含二個以上符號的符號序列代表一個消息。第16頁，課件共48頁，創(chuàng)作于2023年2月{離散無記憶信源離散有記憶信源{{發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源離散信源信源的分類用信源發(fā)出的一個符號序列的整體概率（即聯(lián)合概率）反映有記憶信源的特征某一個符號出現(xiàn)的概率只與前面一個或有限個符號有關(guān)，而不依賴更前面的那些符號第17頁，課件共48頁，創(chuàng)作于2023年2月?

符號

的先驗概率：

一個離散信源發(fā)出的各個符號消息的集合為

，它們的概率分別為

，

為符號

的先驗概率。

知識回顧--概率論基礎(chǔ)第18頁，課件共48頁，創(chuàng)作于2023年2月,

顯然有

通常把它們寫到一起，稱為概率空間：

?

概率空間知識回顧--概率論基礎(chǔ)第19頁，課件共48頁，創(chuàng)作于2023年2月設(shè)X取值{x1,x2,…,xi,…,xn}，

Y取值{y1,y2,…,yj,…,ym}，則＊聯(lián)合概率p(xiyj)——X取值xi

,Y取值yj同時成立的概率＊條件概率p(yj/xi)——X取值xi

條件下,Y取值yj的概率＊條件概率p(xi/yj)——Y取值yj條件下,X取值xi的概率知識回顧--概率論基礎(chǔ)第20頁，課件共48頁，創(chuàng)作于2023年2月[性質(zhì)]知識回顧--概率論基礎(chǔ)第21頁，課件共48頁，創(chuàng)作于2023年2月1.1自信息

通信系統(tǒng)模型信源的分類概率論基礎(chǔ)信息的可度量性自信息熵第22頁，課件共48頁，創(chuàng)作于2023年2月通信系統(tǒng)模型{離散無記憶信源離散有記憶信源{{發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源離散信源第23頁，課件共48頁，創(chuàng)作于2023年2月,

其中

離散無記憶信源—數(shù)學(xué)模型集合X中，包含該信源包含的所有可能輸出的消息，集合P中包含對應(yīng)消息的概率密度，各個消息的輸出概率總和應(yīng)該為1。第24頁，課件共48頁，創(chuàng)作于2023年2月〉1）中國女子乒乓球隊奪取亞運會冠軍。2）中國男子足球隊奪取世界杯賽冠軍。信息的可度量性（1）既然不確定性的大小能夠度量，所以信息是可以度量的某一事物狀態(tài)的不確定性的大小，與該事物可能出現(xiàn)的不同狀態(tài)數(shù)目以及各狀態(tài)出現(xiàn)的概率大小有關(guān)第25頁，課件共48頁，創(chuàng)作于2023年2月設(shè)有12枚同值硬幣，其中有一枚為假幣，且只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕?，F(xiàn)采用天平比較左右兩邊輕重的方法來測量（因無砝碼）。為了在天平上稱出哪一枚是假幣，試問至少必須稱多少次？信息的可度量性（2）第26頁，課件共48頁，創(chuàng)作于2023年2月討論題一般的方法是，在天平的兩端各放一個硬幣：如果平衡，則都不是假幣；如果不平衡，則有一個是假幣，再與別的任一硬幣比較。第27頁，課件共48頁，創(chuàng)作于2023年2月將12枚硬幣平分為3堆；在天平的兩端各放一堆：如果平衡，則假幣在剩余一堆；通過這步操作，可消除一些不確定性，獲得一定的信息量：

存在的不確定性是的函數(shù)：前存在的不確定性是的函數(shù)：后討論題第28頁，課件共48頁，創(chuàng)作于2023年2月信息量的直觀定義：收到某消息獲得的信息量=不確定性減少的量=（收到該消息前關(guān)于某事件的不確定性）-

（收到該消息后關(guān)于某事件的不確定性）

<事件的發(fā)生所提供的信息>討論題第29頁，課件共48頁，創(chuàng)作于2023年2月特殊情況：①發(fā)生概率為1的必然事件，無不確定性；②發(fā)生概率為0的不可能事件，確定性無限大③獨立事件發(fā)生包含的信息量為各事件信息量的和。信息的可度量性（3）某事件發(fā)生所含有的信息量應(yīng)是該事件發(fā)生先驗概率的函數(shù)：xi的自信息第30頁，課件共48頁，創(chuàng)作于2023年2月（3）當(dāng)時（4）當(dāng)時（5）兩個獨立事件的聯(lián)合信息量應(yīng)等于它們分別的信息量之和。(2)應(yīng)是先驗概率的單調(diào)遞減函數(shù)，即當(dāng)時根據(jù)客觀事實和人們的習(xí)慣概念，應(yīng)滿足以下條件：自信息(1)非負(fù)性：第31頁，課件共48頁，創(chuàng)作于2023年2月根據(jù)上述條件可以從數(shù)學(xué)上證明這種函數(shù)形式是對數(shù)函數(shù)，即：有兩個含義：1、當(dāng)事件發(fā)生前，表示該事件發(fā)生的不確定性；2、當(dāng)事件發(fā)生后，標(biāo)是該事件所提供的信息量．自信息第32頁，課件共48頁，創(chuàng)作于2023年2月

自信息量的單位取決于對數(shù)所取的底，若以2為底，單位為比特，以e為底，單位為奈特，以10為底，單位為哈特,通常取比特為單位。自信息第33頁，課件共48頁，創(chuàng)作于2023年2月例題（1）設(shè)有12枚同值硬幣，其中有一枚為假幣，且只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕。現(xiàn)采用天平比較左右兩邊輕重的方法來測量（因無砝碼）。為了在天平上稱出哪一枚是假幣，試問至少必須稱多少次？

（用信息論方法證明）第34頁，課件共48頁，創(chuàng)作于2023年2月設(shè)“在12枚同值硬幣中，某一枚為假幣’這事件為a。其出現(xiàn)的概率為設(shè)“假幣重量比真幣重量重，或輕’這事件為b。其出現(xiàn)的概率為

事件a,b的不確定性為

要發(fā)現(xiàn)某假幣并知其比真幣重還是輕所需的信息量是消除這兩事件的不確定性。這兩事件是統(tǒng)計獨立事件．所以所需獲得的信息量

例題（1）--解答第35頁，課件共48頁，創(chuàng)作于2023年2月而在天平上稱—次能判斷出三鐘情況：重、輕和相等。這三種情況是等概率的

所以，天平測一次能獲得的信息量(即消除的不確定性)為則至少必須稱的次數(shù)為例題（1）--解答第36頁，課件共48頁，創(chuàng)作于2023年2月如果你在不知道今天是星期幾的情況下問你的朋友“明天是星期幾?”則答案中含有多少信息量?如果你在已知今天是星期四的情況下提出同樣的問題．則答案中你能獲得多少信息量？(假設(shè)已知星期一至星期日的排序)例題（2）第37頁，課件共48頁，創(chuàng)作于2023年2月設(shè)事件A知道今天是星期幾的悄況下，問明天是星期幾的答案；事件B為已知今天是星期四的情況，問明天是星期幾的答案。則從而，從事件A中獲得的信息量從事件B中獲得的信息量由此可看出，必然事件出現(xiàn)的概率為1，從中獲得的信息量為零。例題（2）--解答第38頁，課件共48頁，創(chuàng)作于2023年2月設(shè)天氣預(yù)報有兩種消息，晴天和雨天，出現(xiàn)的概率分別為1/4和3/4，我們分別用來表示晴天，以來表示雨天，則我們的信源模型如下：例題（3）第39頁，課件共48頁，創(chuàng)作于2023年2月一個以等概率出現(xiàn)的二進(jìn)制碼元（0，1）所包含的自信息量為：

I（0）=I（1）=-log2（1/2）=log22=1bit

若是一個m位的二進(jìn)制數(shù)，因為該數(shù)的每一位可從0,1兩個數(shù)字中任取一個，因此有2m個等概率的可能組合。所以I=-log2(1/2m)=mbit，就是需要m比特的信息來指明這樣的二進(jìn)制數(shù)。

例題（4）第40頁，課件共48頁，創(chuàng)作于2023年2月某電子廠共能生產(chǎn)四種儀器A,B,C,D、其中，A因技術(shù)落后停產(chǎn)了，B占全部產(chǎn)量的20％，C占30％，D占50％。有兩個消息“現(xiàn)在完成1臺儀器B”，和“現(xiàn)在完成1臺儀器C”，試確定哪一種消息提供的信息量大些?其中有什么規(guī)律?例題（5）第41頁，課件共48頁，創(chuàng)作于2023年2月解：因為以及消息提供的信息量與其出現(xiàn)概率倒數(shù)的對數(shù)成正比，所以，即”現(xiàn)在完成一臺儀器B”提供的信息量大于”現(xiàn)在完成一臺儀器C”提供的信息量。規(guī)律：

(1)出現(xiàn)概率為零的消息可略去。

(2)概