信息的概念與測量

1、信息的概念與測量2022/9/1第1頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一1.信息的界定對客觀世界中各種事物的變化和特征的反映；客觀事物之間相互作用和聯(lián)系的表征；客觀事物經(jīng)過感知和認(rèn)識后的再現(xiàn)；減少不確定性的一種客觀存在和能動過程。2022/9/1第2頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一2. 信息的性質(zhì)（characteristics，properties，or natures of information）普遍性：信息充滿于客觀世界，人類存在于信息的汪洋大海之中，即事事有信息，時時有信息，處處有信息。寄載性：信息必須要依附在一定的實物上。動態(tài)性：信息的內(nèi)

2、容和數(shù)量是不斷變化的。客觀性：信息存在的客觀性，主觀信息（決策、判斷、指令、計劃、目標(biāo)等）也有客觀實際背景2022/9/1第3頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一傳遞性：也稱轉(zhuǎn)移性，是指信息可在空間上從某一地點(diǎn)轉(zhuǎn)移到另一地點(diǎn)，或在時間上從某一時刻保存到另一時刻。（通信理論）時效性：脫離了母體的信息因不再能反映母體的新的運(yùn)動狀態(tài)及其狀態(tài)變化方式，其效用將會降低，乃至完全喪失。（軍事情報、網(wǎng)絡(luò)新聞、試題答案等）不完全性：任何有關(guān)客觀事物運(yùn)動狀態(tài)及其變化方式的認(rèn)識都不可能包攬無余，在實際工作中人們所獲得和運(yùn)用的信息不可能絕對完整。可偽性：人在一定的條件下，可以按照自己的意志來生產(chǎn)

3、、儲存和傳播假冒偽劣信息.（諸葛亮“空城計” 、草船借箭）2022/9/1第4頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一滯后性：信息是事物運(yùn)動的狀態(tài)及其狀態(tài)變化的方式，因此，先有事物，后有信息。共享性：指同一內(nèi)容的信息，可在相同的時間、相同或不同的地點(diǎn)，不同的時間、相同或不同的地點(diǎn)，為多個使用者所獲取、掌握、占有和使用。（與物質(zhì)、能量資源的比較，競爭性關(guān)系）價值的不定性: 同樣的信息對于不同的使用者可能有不同的價值，同量的不同類型的信息，對于不同的使用者也不一定有相同的價值。因此，信息價值是信息對使用者有用程度的量度。（信息的效用）2022/9/1第5頁，共37頁，2022年，5

4、月20日，0點(diǎn)58分，星期一例：首批氣象經(jīng)紀(jì)人現(xiàn)身上海 買賣氣象信息商品 越來越多的商家開始“看天吃飯”，尤其是冷飲、空調(diào)、服裝等“天氣敏感廠家”。據(jù)上海中心氣象臺信息市場部介紹，僅2007年1-6月，上海市已經(jīng)有100多家企業(yè)與氣象部門簽署了相關(guān)協(xié)議，要求提供氣象服務(wù)。據(jù)不完全統(tǒng)計，上海市2008一年的氣象服務(wù)產(chǎn)值就在五千萬元左右。討論：該例子體現(xiàn)了信息的哪些特征？2022/9/1第6頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一案例討論：案例：啤酒和尿布的故事美國加州沃爾瑪超市連鎖店發(fā)現(xiàn):在下班后前來購買嬰兒尿布的顧客多數(shù)是男性，他們往往也同時購買啤酒。原因？分析得知，通常周末購

5、買尿布的是男士，他們在完成了太太交給的任務(wù)后，經(jīng)常會順便買一些啤酒。 處理：重新布置了貨架，啤酒類商品、嬰兒尿布、土豆片之類的佐酒小食品、男士們?nèi)粘Ｉ钣闷肪徒贾?。結(jié)果：上述幾種商品的銷量幾乎馬上成倍增長。啟示：1.對信息進(jìn)行決策分析的重要性！2.要養(yǎng)成善于收集信息的習(xí)慣，訓(xùn)練自己的信息處理能力 2022/9/1第7頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一3.信息的分類按信息的生成領(lǐng)域：自然信息、機(jī)器信息和社會信息按照信息的流動方向：縱向信息、橫向信息和網(wǎng)狀信息。見下頁圖。(結(jié)合組織的信息流)按照信息的利用對象和作用層次，可將信息劃分為戰(zhàn)略信息、戰(zhàn)術(shù)信息和業(yè)務(wù)信息2022/9

6、/1第8頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一縱向信息橫向信息網(wǎng)狀信息2022/9/1第9頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一按照信息的加工深度，可以將信息劃分為一次信息、二次信息和三次信息 一次信息一般是指社會實踐活動過程中產(chǎn)生的原始論文、報告、記錄等。 二次信息是在對一次信息進(jìn)行加工的基礎(chǔ)上產(chǎn)生的一類信息，如書目、索引、目錄、題錄、文摘和簡介等。 三次信息是在一次信息和二次信息的基礎(chǔ)上經(jīng)過研究者的綜合、分析而產(chǎn)生的信息，常見的有綜述、述評、年度總結(jié)、進(jìn)展報告、數(shù)據(jù)手冊、調(diào)查報告等。討論：您所接觸到的不同信息分別屬于哪一類呢？2022/9/1第10頁，共

7、37頁，2022年，5月20日，0點(diǎn)58分，星期一按照信息的時間狀態(tài)，可以將信息劃分為歷史信息、現(xiàn)狀信息和預(yù)測信息按照信息是否已經(jīng)被量化，可以將信息劃分為定量信息和定性信息 按照信息反映和描述的客觀事物的范圍，可以將信息劃分為宏觀信息和微觀信息按照信息的獲取方式，可以將信息劃分為直接信息和間接信息按照信息的內(nèi)容是否與現(xiàn)實事物相符，可以將其劃分為真實信息和虛假信息 。2022/9/1第11頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一前饋信息和反饋信息現(xiàn)場控制前饋控制反饋控制執(zhí)行過程輸入輸出信息流向糾正措施反饋控制是根據(jù)最終結(jié)果產(chǎn)生的偏差信息來指導(dǎo)將來的行動。前饋控制是利用所能得到的最

8、新信息，進(jìn)行認(rèn)真、反復(fù)的預(yù)測，把計劃所要達(dá)到的目標(biāo)同預(yù)測相比較，并采取措施修改計劃，以使預(yù)測與計劃目標(biāo)相吻合。 常見的反饋信息和前饋信息有哪些？2022/9/1第12頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一4.信息的質(zhì)量信息質(zhì)量的定義 信息質(zhì)量是指信息對事物運(yùn)動狀態(tài)和方式的反映、描述的真實性或準(zhǔn)確性。真實性則是指信息的來源是否可靠；準(zhǔn)確性是指信息的內(nèi)容與實際情況是否相符。 2022/9/1第13頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一信息的質(zhì)量指標(biāo).信息模糊度: 也稱乏晰度，是指描述、表示客觀事物的狀態(tài)及其狀態(tài)變化的方式時，出現(xiàn)的沒有精確規(guī)定的界限，以致表達(dá)不清

9、楚、意思模糊。.如：自然語言中的“好、高、大”2022/9/1第14頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一.信息多余度:信息中含有的某類（些）信息的量的多余程度；與真正要表達(dá)的內(nèi)容無關(guān)或無用成分的量的多余程度；信息中無效成分的相對含量.信息密集度:指信息中有效成分的相對含量。用較少的符號表達(dá)較多的信息內(nèi)容，可稱為信息的密集度越大。2022/9/1第15頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一 5. 信息的度量(P.43) 怎么度量信息首先分析一下問題的認(rèn)識過程1.對一問題毫無了解，對它的認(rèn)識是不確定的2. 通過各種途徑獲得信息，逐漸消除不確定性 3. 對這一問

10、題非常的了解，不確定性很小黑箱不確定度A灰箱不確定度B白箱不確定度C信息I信息II對于系統(tǒng)，可以利用守恒關(guān)系有 A+I=B，得I=B-A?？捎孟淮_定性的多少 來度量信息！ 2022/9/1第16頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一幾個例子：例 當(dāng)你要到大會堂去找某一個人時，甲告訴你兩條消息：（1）此人不坐在前十排，（2）他也不坐在后十排；乙只告訴你一條消息：此人坐在第十五排。問誰提供的信息量大？乙雖然只提供了一條消息，但這一條消息對此人在什么位置上這一不確定性消除得更多，所以后者包含的信息量應(yīng)比前者提供的兩條消息所包含的總信息量更大例 假如在盛夏季節(jié)氣象臺突然預(yù)報“明天

11、無雪”的消息。在明天是否下雪的問題上，根本不存在不確定性，所以這條消息包含的信息量為零。 2022/9/1第17頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一是否存在信息量的度量公式？ 基于前面的觀點(diǎn)，美國貝爾實驗室的學(xué)者香農(nóng)（Shannon）應(yīng)用概率論知識和邏輯方法推導(dǎo)出了信息量的計算公式 In his words I just wondered how things were put together.Claude Elwood Shannon (April 30, 1916 - February 24, 2001) has been called the father of i

12、nformation theory. 2022/9/1第18頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一5.1 概率（probability）及其計算 概率是表示事件發(fā)生可能性大小的一個數(shù)。如果用X表示事件，則它的概率可用P（X）來表示。 P（X）=1，表示事件X肯定會發(fā)生。 P（X）=0，表示事件X肯定不會發(fā)生。事件發(fā)生的概率滿足:2022/9/1第19頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一例一個不透明的袋子中裝有100個球，其中紅球99個，白球一個。假定球的大小、形狀、質(zhì)量完全一樣，則求： 1、隨意從袋子中摸到一個白球（記為事件A）的概 率是多少？ 2、隨意從

13、袋子中摸到一個紅球（記為事件B）的概率是多少？P（A）=1/100 P（B）=99/1002022/9/1第20頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一5.2 信息量與可能性（probability）可能性可用概率來表示概率與可能性間的關(guān)系是： 可能性= 概率可能性與信息量間的關(guān)系為： 可能性= 信息量概率可表示信息量：概率= 信息量信息量是概率的遞減函數(shù)2022/9/1第21頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一5.3 信息量與不確定性假如你從未來過華政，也沒有看過或聽過任何有關(guān)華政的介紹，那么華政對你來說就是一個“未知數(shù)”，存在著所謂“不確定性”（unce

14、rtainty）當(dāng)你考取華政并來此報到學(xué)習(xí)后，就能通過耳聞目睹、接觸交談，了解華政的具體情況“信息”“信息”將幫你逐漸解開頭腦中的疑團(tuán)，消除你對“華政”認(rèn)識的不確定性，并由不確定性變成較為確定或確定。如獲得的“信息”越多，你對“華政”的了解就越全面。不確定性的變化程度能反映你所獲取的信息量的多少。只要能量度不確定性及其變化程度，就可量度信息。2022/9/1第22頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一不確定性，亦稱不肯定性、不定性，是指人腦 對客觀事件能否發(fā)生的一種近似把握在簡單的通信（如打電話、寫信、面談等）過 程中，它表現(xiàn)為以下的形式： 告訴B一件事 打電話：A B B的

15、頭腦中存在不確定性，因為他不知道A 要告訴他的事件內(nèi)容 向B打聽一件事 打電話：A BA的頭腦中存在不確定性，因為他不知道B要告訴他的事件內(nèi)容 2022/9/1第23頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一不確定性的大小在數(shù)學(xué)中可用隨機(jī)事件發(fā)生的概率表示，隨機(jī)事件發(fā)生與否或者隨機(jī)變量的取值在事先是不確定的，其不確定性的大小在人們直覺中的反映就是： 就單個事件而言，小概率事件發(fā)生的可能性很小，但它一旦發(fā)生變成確定的，則由此而產(chǎn)生的從不確定性到確定性的變化幅度就大；2022/9/1第24頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一概率為1的事件，其發(fā)生不足為奇，因此其不

16、確定性的變化為0，表示確定事件發(fā)生得不到任何信息;概率為0的事件，永遠(yuǎn)不會發(fā)生，若真的發(fā)生了，則是從確定的發(fā)生到確定的不發(fā)生的最大變化，這將是不確定性變化的最大值，可視為無窮大。兩個獨(dú)立的隨機(jī)事件的不確定性是相互獨(dú)立的，它們的不確定性變化也是相互獨(dú)立的。故兩者的不確定性變化幅度為其各自的不確定性變化幅度之和。2022/9/1第25頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一 設(shè)Xi，Xj 為隨機(jī)事件，P（Xi）為Xi 發(fā)生的先驗概率，H(Xi)為Xi發(fā)生與否的不確定性到確定性的變化量，則可將上述三條用數(shù)學(xué)語言表示為：1. H(Xi)是先驗概率P（Xi）的單調(diào)遞減函數(shù)，即 當(dāng) P(X

17、i)P(Xj)時，H(Xi) H(Xj)；2. P(Xi)=1時，H（Xi）=0；P(Xi)=0時, H(Xi)= ；3. 如果Xi與Xj相互獨(dú)立，那么 H（XiXj）= H（Xi） + H（Xj）2022/9/1第26頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一申農(nóng)證明了滿足上述三個條件的函數(shù)具有對數(shù)的形式：若取c =1，則H（Xi）=- log a P（Xi）上述公式描述隨機(jī)事件Xi不確定程度的變化量。在該公式中，如不作特別說明，一般都把a(bǔ)取作2，此時信息量的單位為比特。2022/9/1第27頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一5.4 自信息量所謂自信息量是

18、指信息源（事物）X發(fā)出某一消息Xi時所含的信息量，消息不同，自信息量也不同。 如已知事件Xi已經(jīng)發(fā)生，則定義該消息中所包含的信息量（即自信息量）為： H（Xi）= Xi的不確定性的變化量= - log a P（Xi） 前面導(dǎo)出的公式實際上是自信息量計算公式。2022/9/1第28頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一- log a P（Xi）的含義是： 在事件發(fā)生之前，表示Xi發(fā)生與否的不確定性； 如已知事件Xi已發(fā)生，則表示Xi所含有或所提供的信息量。 2022/9/1第29頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一例計算上例中兩個事件的信息量。隨意從袋子中摸

19、到一個白球這一事件（狀態(tài)）的信息量。 H（白球）=-log2 （1/100）6.64（比特）隨意從袋子中摸到一個紅球這一事件（狀態(tài)）的信息量。 H（紅球）=-log2 （99/100）0.014（比特）2022/9/1第30頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一例3 若估計在一次國際象棋比賽中謝軍獲得冠軍的可能性為0.1（記為事件A），而在另一次國際象棋比賽中她得到冠軍的可能性為0.9（記為事件B）。試分別計算當(dāng)你得知她獲得冠軍時，從這兩個事件中獲得的信息量各為多少？ H（A）= - log2 （0.1） 3.32（比特） H（B）= - log2 （0.9） 0.152（比

20、特）2022/9/1第31頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一 5.5 統(tǒng)計信息量（平均自信息量） 如果事物X具有n種獨(dú)立的可能狀態(tài)（結(jié)果）為X1 ， X2， ，Xn，每一狀態(tài)出現(xiàn)的概率分別為P（X1），P（X2），P（Xn），當(dāng)然有： 2022/9/1第32頁，共37頁，2022年，5月20日，0點(diǎn)58分，星期一人們注意的是整個系統(tǒng)的統(tǒng)計特性，當(dāng)信源各個消息的出現(xiàn)概率相互統(tǒng)計獨(dú)立時，這種信源稱為無記憶信源。無記憶信源的平均自信息量定義為各消息自信息量的概率加權(quán)平均值，表示用以消除這個事物的不確定性所需要的信息量。即統(tǒng)計信息量H(X)定義為：H(X)的表達(dá)式與統(tǒng)計物理學(xué)中的熱熵具有相類似的形式，在概念上二者也有相同之處，故借用熵這個詞