信息的概念與測量

信息的概念與測量2023/3/13第一頁，共三十七頁，2022年，8月28日1.信息的界定對客觀世界中各種事物的變化和特征的反映；客觀事物之間相互作用和聯(lián)系的表征；客觀事物經(jīng)過感知和認識后的再現(xiàn)；減少不確定性的一種客觀存在和能動過程。2023/3/13第二頁，共三十七頁，2022年，8月28日2.信息的性質(zhì)（characteristics，properties，ornaturesofinformation）普遍性：信息充滿于客觀世界，人類存在于信息的汪洋大海之中，即事事有信息，時時有信息，處處有信息。寄載性：信息必須要依附在一定的實物上。動態(tài)性：信息的內(nèi)容和數(shù)量是不斷變化的?？陀^性：信息存在的客觀性，主觀信息（決策、判斷、指令、計劃、目標等）也有客觀實際背景2023/3/13第三頁，共三十七頁，2022年，8月28日傳遞性：也稱轉(zhuǎn)移性，是指信息可在空間上從某一地點轉(zhuǎn)移到另一地點，或在時間上從某一時刻保存到另一時刻。（通信理論）時效性：脫離了母體的信息因不再能反映母體的新的運動狀態(tài)及其狀態(tài)變化方式，其效用將會降低，乃至完全喪失。（軍事情報、網(wǎng)絡(luò)新聞、試題答案等）不完全性：任何有關(guān)客觀事物運動狀態(tài)及其變化方式的認識都不可能包攬無余，在實際工作中人們所獲得和運用的信息不可能絕對完整?？蓚涡裕喝嗽谝欢ǖ臈l件下，可以按照自己的意志來生產(chǎn)、儲存和傳播假冒偽劣信息.（諸葛亮“空城計”、草船借箭） 2023/3/13第四頁，共三十七頁，2022年，8月28日滯后性：信息是事物運動的狀態(tài)及其狀態(tài)變化的方式，因此，先有事物，后有信息。共享性：指同一內(nèi)容的信息，可在相同的時間、相同或不同的地點，不同的時間、相同或不同的地點，為多個使用者所獲取、掌握、占有和使用。（與物質(zhì)、能量資源的比較，競爭性關(guān)系）價值的不定性:

同樣的信息對于不同的使用者可能有不同的價值，同量的不同類型的信息，對于不同的使用者也不一定有相同的價值。因此，信息價值是信息對使用者有用程度的量度。（信息的效用）2023/3/13第五頁，共三十七頁，2022年，8月28日例：首批氣象經(jīng)紀人現(xiàn)身上海買賣氣象信息商品

越來越多的商家開始“看天吃飯”，尤其是冷飲、空調(diào)、服裝等“天氣敏感廠家”。據(jù)上海中心氣象臺信息市場部介紹，僅2007年1-6月，上海市已經(jīng)有100多家企業(yè)與氣象部門簽署了相關(guān)協(xié)議，要求提供氣象服務(wù)。據(jù)不完全統(tǒng)計，上海市2008一年的氣象服務(wù)產(chǎn)值就在五千萬元左右。討論：該例子體現(xiàn)了信息的哪些特征？2023/3/13第六頁，共三十七頁，2022年，8月28日案例討論：案例：啤酒和尿布的故事美國加州沃爾瑪超市連鎖店發(fā)現(xiàn):在下班后前來購買嬰兒尿布的顧客多數(shù)是男性，他們往往也同時購買啤酒。原因？分析得知，通常周末購買尿布的是男士，他們在完成了太太交給的任務(wù)后，經(jīng)常會順便買一些啤酒。處理：重新布置了貨架，啤酒類商品、嬰兒尿布、土豆片之類的佐酒小食品、男士們?nèi)粘Ｉ钣闷肪徒贾?。結(jié)果：上述幾種商品的銷量幾乎馬上成倍增長。啟示：1.對信息進行決策分析的重要性！2.要養(yǎng)成善于收集信息的習慣，訓練自己的信息處理能力

2023/3/13第七頁，共三十七頁，2022年，8月28日3.信息的分類按信息的生成領(lǐng)域：自然信息、機器信息和社會信息按照信息的流動方向：縱向信息、橫向信息和網(wǎng)狀信息。見下頁圖。(結(jié)合組織的信息流)按照信息的利用對象和作用層次，可將信息劃分為戰(zhàn)略信息、戰(zhàn)術(shù)信息和業(yè)務(wù)信息2023/3/13第八頁，共三十七頁，2022年，8月28日縱向信息橫向信息網(wǎng)狀信息2023/3/13第九頁，共三十七頁，2022年，8月28日按照信息的加工深度，可以將信息劃分為一次信息、二次信息和三次信息

一次信息一般是指社會實踐活動過程中產(chǎn)生的原始論文、報告、記錄等。

二次信息是在對一次信息進行加工的基礎(chǔ)上產(chǎn)生的一類信息，如書目、索引、目錄、題錄、文摘和簡介等。

三次信息是在一次信息和二次信息的基礎(chǔ)上經(jīng)過研究者的綜合、分析而產(chǎn)生的信息，常見的有綜述、述評、年度總結(jié)、進展報告、數(shù)據(jù)手冊、調(diào)查報告等。討論：您所接觸到的不同信息分別屬于哪一類呢？2023/3/13第十頁，共三十七頁，2022年，8月28日按照信息的時間狀態(tài)，可以將信息劃分為歷史信息、現(xiàn)狀信息和預測信息按照信息是否已經(jīng)被量化，可以將信息劃分為定量信息和定性信息

按照信息反映和描述的客觀事物的范圍，可以將信息劃分為宏觀信息和微觀信息按照信息的獲取方式，可以將信息劃分為直接信息和間接信息按照信息的內(nèi)容是否與現(xiàn)實事物相符，可以將其劃分為真實信息和虛假信息。2023/3/13第十一頁，共三十七頁，2022年，8月28日前饋信息和反饋信息現(xiàn)場控制前饋控制反饋控制執(zhí)行過程輸入輸出信息流向糾正措施反饋控制是根據(jù)最終結(jié)果產(chǎn)生的偏差信息來指導將來的行動。前饋控制是利用所能得到的最新信息，進行認真、反復的預測，把計劃所要達到的目標同預測相比較，并采取措施修改計劃，以使預測與計劃目標相吻合。

常見的反饋信息和前饋信息有哪些？2023/3/13第十二頁，共三十七頁，2022年，8月28日4.信息的質(zhì)量信息質(zhì)量的定義

信息質(zhì)量是指信息對事物運動狀態(tài)和方式的反映、描述的真實性或準確性。真實性則是指信息的來源是否可靠；準確性是指信息的內(nèi)容與實際情況是否相符。

2023/3/13第十三頁，共三十七頁，2022年，8月28日信息的質(zhì)量指標

.信息模糊度:也稱乏晰度，是指描述、表示客觀事物的狀態(tài)及其狀態(tài)變化的方式時，出現(xiàn)的沒有精確規(guī)定的界限，以致表達不清楚、意思模糊。.如：自然語言中的“好、高、大”2023/3/13第十四頁，共三十七頁，2022年，8月28日.信息多余度:信息中含有的某類（些）信息的量的多余程度；與真正要表達的內(nèi)容無關(guān)或無用成分的量的多余程度；信息中無效成分的相對含量.信息密集度:指信息中有效成分的相對含量。用較少的符號表達較多的信息內(nèi)容，可稱為信息的密集度越大。2023/3/13第十五頁，共三十七頁，2022年，8月28日

5.

信息的度量(P.43)

怎么度量信息首先分析一下問題的認識過程1.對一問題毫無了解，對它的認識是不確定的2.通過各種途徑獲得信息，逐漸消除不確定性

3.對這一問題非常的了解，不確定性很小黑箱不確定度A灰箱不確定度B白箱不確定度C信息I信息II對于系統(tǒng)，可以利用守恒關(guān)系有A+I=B，得I=B-A?？捎孟淮_定性的多少來度量信息！2023/3/13第十六頁，共三十七頁，2022年，8月28日幾個例子：例

當你要到大會堂去找某一個人時，甲告訴你兩條消息：（1）此人不坐在前十排，（2）他也不坐在后十排；乙只告訴你一條消息：此人坐在第十五排。問誰提供的信息量大？乙雖然只提供了一條消息，但這一條消息對此人在什么位置上這一不確定性消除得更多，所以后者包含的信息量應(yīng)比前者提供的兩條消息所包含的總信息量更大例

假如在盛夏季節(jié)氣象臺突然預報“明天無雪”的消息。在明天是否下雪的問題上，根本不存在不確定性，所以這條消息包含的信息量為零。2023/3/13第十七頁，共三十七頁，2022年，8月28日是否存在信息量的度量公式？基于前面的觀點，美國貝爾實驗室的學者香農(nóng)（Shannon）應(yīng)用概率論知識和邏輯方法推導出了信息量的計算公式Inhiswords"Ijustwonderedhowthingswereputtogether."ClaudeElwoodShannon(April30,1916-February24,2001)hasbeencalled"thefatherofinformationtheory".2023/3/13第十八頁，共三十七頁，2022年，8月28日5.1概率（probability）及其計算

概率是表示事件發(fā)生可能性大小的一個數(shù)。如果用X表示事件，則它的概率可用P（X）來表示。

●

P（X）=1，表示事件X肯定會發(fā)生。

●

P（X）=0，表示事件X肯定不會發(fā)生。事件發(fā)生的概率滿足:2023/3/13第十九頁，共三十七頁，2022年，8月28日[例]一個不透明的袋子中裝有100個球，其中紅球99個，白球一個。假定球的大小、形狀、質(zhì)量完全一樣，則求：

1、隨意從袋子中摸到一個白球（記為事件A）的概率是多少？

2、隨意從袋子中摸到一個紅球（記為事件B）的概率是多少？ P（A）=1/100 P（B）=99/1002023/3/13第二十頁，共三十七頁，2022年，8月28日5.2信息量與可能性（probability）●可能性可用概率來表示●概率與可能性間的關(guān)系是：可能性↑=>概率↑●可能性與信息量間的關(guān)系為：可能性↑=>信息量↓●概率可表示信息量：概率↑=>信息量↓●信息量是概率的遞減函數(shù)2023/3/13第二十一頁，共三十七頁，2022年，8月28日5.3信息量與不確定性●假如你從未來過華政，也沒有看過或聽過任何有關(guān)華政的介紹，那么華政對你來說就是一個“未知數(shù)”，存在著所謂“不確定性”（uncertainty）●當你考取華政并來此報到學習后，就能通過耳聞目睹、接觸交談，了解華政的具體情況——“信息”●“信息”將幫你逐漸解開頭腦中的疑團，消除你對“華政”認識的不確定性，并由不確定性變成較為確定或確定。如獲得的“信息”越多，你對“華政”的了解就越全面?！舨淮_定性的變化程度能反映你所獲取的信息量的多少。◆只要能量度不確定性及其變化程度，就可量度信息。2023/3/13第二十二頁，共三十七頁，2022年，8月28日●不確定性，亦稱不肯定性、不定性，是指人腦對客觀事件能否發(fā)生的一種近似把握●在簡單的通信（如打電話、寫信、面談等）過程中，它表現(xiàn)為以下的形式：

告訴B一件事

打電話：A B

B的頭腦中存在不確定性，因為他不知道A要告訴他的事件內(nèi)容

向B打聽一件事 打電話：A BA的頭腦中存在不確定性，因為他不知道B要告訴他的事件內(nèi)容

2023/3/13第二十三頁，共三十七頁，2022年，8月28日◆不確定性的大小在數(shù)學中可用隨機事件發(fā)生的概率表示，隨機事件發(fā)生與否或者隨機變量的取值在事先是不確定的，其不確定性的大小在人們直覺中的反映就是：就單個事件而言，小概率事件發(fā)生的可能性很小，但它一旦發(fā)生變成確定的，則由此而產(chǎn)生的從不確定性到確定性的變化幅度就大；2023/3/13第二十四頁，共三十七頁，2022年，8月28日概率為1的事件，其發(fā)生不足為奇，因此其不確定性的變化為0，表示確定事件發(fā)生得不到任何信息;概率為0的事件，永遠不會發(fā)生，若真的發(fā)生了，則是從確定的發(fā)生到確定的不發(fā)生的最大變化，這將是不確定性變化的最大值，可視為無窮大。兩個獨立的隨機事件的不確定性是相互獨立的，它們的不確定性變化也是相互獨立的。故兩者的不確定性變化幅度為其各自的不確定性變化幅度之和。2023/3/13第二十五頁，共三十七頁，2022年，8月28日

設(shè)Xi，Xj

為隨機事件，P（Xi）為Xi發(fā)生的先驗概率，H(Xi)為Xi發(fā)生與否的不確定性到確定性的變化量，則可將上述三條用數(shù)學語言表示為：1.H(Xi)是先驗概率P（Xi）的單調(diào)遞減函數(shù)，即當P(Xi)＞P(Xj)時，H(Xi)＜H(Xj)；2.P(Xi)=1時，H（Xi）=0；

P(Xi)=0時,H(Xi)=∝；3.如果Xi與Xj相互獨立，那么H（Xi∩Xj）=H（Xi）+H（Xj）2023/3/13第二十六頁，共三十七頁，2022年，8月28日申農(nóng)證明了滿足上述三個條件的函數(shù)具有對數(shù)的形式：若取c=1，則H（Xi）=-logaP（Xi）上述公式描述隨機事件Xi不確定程度的變化量。在該公式中，如不作特別說明，一般都把a取作2，此時信息量的單位為比特。2023/3/13第二十七頁，共三十七頁，2022年，8月28日5.4自信息量

●所謂自信息量是指信息源（事物）X發(fā)出某一消息Xi時所含的信息量，消息不同，自信息量也不同?！袢缫阎录i已經(jīng)發(fā)生，則定義該消息中所包含的信息量（即自信息量）為：H（Xi）=Xi的不確定性的變化量=-logaP（Xi）前面導出的公式實際上是自信息量計算公式。2023/3/13第二十八頁，共三十七頁，2022年，8月28日-logaP（Xi）的含義是：

◆在事件發(fā)生之前，表示Xi發(fā)生與否的不確定性；◆如已知事件Xi已發(fā)生，則表示Xi所含有或所提供的信息量。

2023/3/13第二十九頁，共三十七頁，2022年，8月28日[例]計算上例中兩個事件的信息量。㈠隨意從袋子中摸到一個白球這一事件（狀態(tài)）的信息量。H（白球）=-log2（1/100）≈6.64（比特）㈡隨意從袋子中摸到一個紅球這一事件（狀態(tài)）的信息量。H（紅球）=-log2（99/100）≈0.014（比特）2023/3/13第三十頁，共三十七頁，2022年，8月28日[例3]

若估計在一次國際象棋比賽中謝軍獲得冠軍的可能性為0.1（記為事件A），而在另一次國際象棋比賽中她得到冠軍的可能性為0.9（記為事件B）。試分別計算當你得知她獲得冠軍時，從這兩個事件中獲得的信息量各為多少？H（A）=-log2（0.1）≈3.32（比特）H（B）=-log2（0.9）≈0.152（比特）2023/3/13第三十一頁，共三十七頁，2022年，8月28日

5.5統(tǒng)計信息量（平均自信息量）

如果事物X具有n種獨立的可能狀態(tài)（結(jié)果）為X1，X2，……，Xn，每一狀態(tài)出現(xiàn)的概率分別為P（X1），P（X2），……，P（Xn），當然有：

2023/3/13第三十二頁，共三十七頁，2022年，8月28日人們注意的是整個系統(tǒng)的統(tǒng)計特性，當信源各個消息的出現(xiàn)概率相互統(tǒng)計獨立時，這種信源稱為無記憶信源。無記憶信源的平均自信息量定義為各消息自信息量的概率加權(quán)平均值，表示用以消除這個事物的不確定性所需要的信息量。即統(tǒng)計信息量H(X)定義為：H(X)的表達式與統(tǒng)計物理學中的熱熵具有相類似的形式，在概念上二者也有相同之處，故借用熵這個詞把H(X)稱為集合X的信息熵，簡稱熵。

2023/3/13第三十三頁，共三十七頁，2022年，8月28日●如信息源發(fā)出的消息有幾種可能性，則其輸出一個消息