信息工程概論課件 第三講 信息的定量描述

第3講信息的定量描述這里關(guān)心的概率信息是特指狀態(tài)性質(zhì)為離散、狀態(tài)數(shù)目為有限、狀態(tài)劃分為明晰、狀態(tài)變化方式服從概率規(guī)律的信息。常用這樣的符號(hào)體系：X表示一個(gè)試驗(yàn)，X=（xi|i=1，…，n）表示這一試驗(yàn)所有可能狀態(tài)的集合，P=（pi|i=1，…，n）表示這些可能狀態(tài)出現(xiàn)的概率的集合，（X，P）=（xi,pi|i=1，…，n）稱為這一試驗(yàn)的概率空間。于是，概率空間就把事物運(yùn)動(dòng)的狀態(tài)及其變化的方式刻畫出來(lái)了。它是描述概率信息的基本方法。3.1語(yǔ)法信息的描述 -概率型語(yǔ)法信息的描述

信息科學(xué)導(dǎo)論假定有一個(gè)隨機(jī)試驗(yàn)X，它有n種可能的試驗(yàn)結(jié)果（狀態(tài)），分別為x1，…，xn。在觀察這一試驗(yàn)之前，觀察者已經(jīng)先驗(yàn)地知道這些狀態(tài)出現(xiàn)的概率分別是p1，…，pn。這些概率稱為先驗(yàn)概率。3.1語(yǔ)法信息的描述 -概率型語(yǔ)法信息的描述

但是，在觀察試驗(yàn)的實(shí)際結(jié)果之后發(fā)現(xiàn)，這n個(gè)可能的狀態(tài)的出現(xiàn)概率卻變成了,這些概率稱為后驗(yàn)概率。于是，就可以寫出觀察前后概率空間的變換：概率空間的變換式的整體就可以用來(lái)描述觀察者的實(shí)得信息。信息科學(xué)導(dǎo)論在大多數(shù)實(shí)際的試驗(yàn)場(chǎng)合，后驗(yàn)概率分布（pi|i=1,…，n）是一個(gè)0-1型分布，即若用一個(gè)專門的符號(hào)來(lái)表示這種0-1型的后驗(yàn)分布，則概率空間的變換式可以寫為 (X,P)?(X,)3.1語(yǔ)法信息的描述 -概率型語(yǔ)法信息的描述

信息科學(xué)導(dǎo)論當(dāng)觀察者對(duì)于X的出現(xiàn)概率沒有任何先驗(yàn)知識(shí)的時(shí)候，就只能假定這n個(gè)狀態(tài)出現(xiàn)的概率都相等，即；p=1/n，i=l，…，n。若用符號(hào)P0來(lái)表示這種均勻型的先驗(yàn)概率分布，則上式又可以變?yōu)? (X,P0)?(X,)3.1語(yǔ)法信息的描述 -概率型語(yǔ)法信息的描述

上式表示：在觀察試驗(yàn)之前，觀察者對(duì)試驗(yàn)結(jié)果一無(wú)所知；觀察之后，結(jié)果唯一確定。這時(shí)觀察者獲得了最大的實(shí)得信息量。反之，若有=P0

，則觀察者的實(shí)得信息量為零。信息科學(xué)導(dǎo)論偶發(fā)信息是由半隨機(jī)試驗(yàn)提供的。半隨機(jī)試驗(yàn)的可能狀態(tài)也是隨機(jī)發(fā)生的，只是它們發(fā)生的規(guī)律不能用概率分布來(lái)描述，因?yàn)檫@類試驗(yàn)是偶爾發(fā)生的，而不是大量地重復(fù)發(fā)生的，不存在統(tǒng)計(jì)穩(wěn)定性。3.1語(yǔ)法信息的描述 -偶發(fā)型語(yǔ)法信息的描述

假定有某個(gè)隨機(jī)試驗(yàn)X，它有N個(gè)可能的狀態(tài)：X1，…，XN。作為試驗(yàn)的結(jié)局，一般總有一個(gè)狀態(tài)會(huì)實(shí)際發(fā)生。在觀察之前，根據(jù)推斷，觀察者認(rèn)為x1發(fā)生的可能度為q1，…，xn發(fā)生的可能度為qn。顯然，與概率的情形類似，應(yīng)有信息科學(xué)導(dǎo)論但是，實(shí)際觀察的結(jié)果，各種可能狀態(tài)發(fā)生的可能度卻是，…，。其中，某。其余=0,。q1，…，qn稱為觀察者關(guān)于X的先驗(yàn)可能度分布，用符號(hào)Q表示，而…，稱為試驗(yàn)X的后驗(yàn)可能度分布，用符號(hào)Q*表示。3.1

語(yǔ)法信息的描述 -偶發(fā)型語(yǔ)法信息的描述

有時(shí)也把可能度叫做主觀概率、經(jīng)驗(yàn)概率、形式概率或主觀置信度。信息科學(xué)導(dǎo)論和概率信息類似，定義（X，Q）和（X，Q*）分別為半隨機(jī)試驗(yàn)的先驗(yàn)可能度空間和后驗(yàn)可能度空間，并且用它們來(lái)描述偶發(fā)信息。例如，觀察半隨機(jī)試驗(yàn)X的過(guò)程中所獲得的實(shí)得信息，可用下式來(lái)描述：3.1語(yǔ)法信息的描述 -偶發(fā)型語(yǔ)法信息的描述

信息科學(xué)導(dǎo)論確定型信息是指由確定試驗(yàn)所提供的信息。而所謂確定型試驗(yàn)，是指具有確定的試驗(yàn)機(jī)構(gòu)，但初始條件和環(huán)境條件具有動(dòng)態(tài)或時(shí)變性的試驗(yàn)。下圖所示的簡(jiǎn)單RLC電路，其中U（t）是電路的激勵(lì)電源。3.1語(yǔ)法信息的描述 -確定型語(yǔ)法信息的描述

信息科學(xué)導(dǎo)論由電工學(xué)的理論知道，這個(gè)電路的運(yùn)動(dòng)狀態(tài)及其變化方式（行為）可以由一個(gè)二階微分方程來(lái)描述.這樣，只要給定初始條件，就可以唯一地確定它在未來(lái)時(shí)刻t的狀態(tài)和狀態(tài)變化方式。所以，這是一個(gè)確定型的試驗(yàn)系統(tǒng)。3.1語(yǔ)法信息的描述 -確定型語(yǔ)法信息的描述

信息科學(xué)導(dǎo)論如果已知某個(gè)系統(tǒng)的各種狀態(tài)以及狀態(tài)之間的轉(zhuǎn)移方式，那么也可以用圖論的方法來(lái)表示這些狀態(tài)和狀態(tài)變化方式（即信息）。3.1語(yǔ)法信息的描述 -確定型語(yǔ)法信息的描述

A–種子狀態(tài)；B–植物狀態(tài)；C–開花狀態(tài)；D–已授粉的植物狀態(tài)；E–未授粉的植物狀態(tài)；F–種子的死亡狀態(tài)。信息科學(xué)導(dǎo)論數(shù)據(jù)表格、公式曲線等等也可以用來(lái)表示確定型信息。如，考慮如下一個(gè)確定型決策問(wèn)題：假設(shè)某單位需要購(gòu)買某種產(chǎn)品45000個(gè)，已知該種產(chǎn)品有四處供應(yīng)來(lái)源，所購(gòu)買的這些產(chǎn)品要分別送到三個(gè)不同的倉(cāng)庫(kù)點(diǎn)，列出各個(gè)倉(cāng)庫(kù)的容量和各個(gè)供應(yīng)點(diǎn)可以供應(yīng)的產(chǎn)品數(shù)量以及價(jià)格、運(yùn)輸費(fèi)等數(shù)據(jù)。要求確定具體的采購(gòu)方案，使所付出的總費(fèi)用最少。3.1語(yǔ)法信息的描述 -確定型語(yǔ)法信息的描述

信息科學(xué)導(dǎo)論庫(kù)存容量費(fèi)用一號(hào)庫(kù)10000二號(hào)庫(kù)15000三號(hào)庫(kù)20000供應(yīng)數(shù)量供應(yīng)點(diǎn)A8000C11=3.00元C12=3.00元C13=4.50元供應(yīng)點(diǎn)B12000C21=4.80元C22=3.20元C23=5.00元供應(yīng)點(diǎn)C11000C31=6.00元C32=4.00元C33=5.50元供應(yīng)點(diǎn)D14000C41=5.30元C42=4.10元C43=6.00元用表格來(lái)表示確定型信息3.1語(yǔ)法信息的描述 -確定型語(yǔ)法信息的描述

信息科學(xué)導(dǎo)論那么，我們就可以列出下列公式來(lái)表示所給出的信息：目標(biāo)信息為約束信息為3.3語(yǔ)法信息的描述 -確定型語(yǔ)法信息的描述

信息科學(xué)導(dǎo)論模糊信息的描述涉及到模糊集合的概念。模糊集合是這樣一種集合，它的各個(gè)元素的隸屬度（對(duì)集合性質(zhì)的滿足程度）是模糊的。例如，“遠(yuǎn)大于1的正實(shí)數(shù)集”就是模糊集，它的元素包括大于1的所有正實(shí)數(shù)，而這些元素滿足性質(zhì)“遠(yuǎn)大于1”的程度是模糊的：“10”以上的正實(shí)數(shù)的滿足程度為1，“5”的滿足的程度可能只有一半左右，而“2”的滿足程度卻只有零點(diǎn)幾。但它們都“在一定程度上”具有“遠(yuǎn)大于1”這一性質(zhì)。因此，如果把這個(gè)模糊隸屬度用圖形畫出來(lái)，就可以得到下圖所示的情形。3.1語(yǔ)法信息的描述 -模糊型語(yǔ)法信息的描述信息科學(xué)導(dǎo)論3.1語(yǔ)法信息的描述 -模糊型語(yǔ)法信息的描述上圖曲線稱為模糊集的隸屬度分布曲線,它表明：集合論域內(nèi)各元“屬于”該集合的程度。百分之百地屬于該集合的元的隸屬度為1，完全不屬于該集合的元的隸屬度為0，其它則為中間情況。信息科學(xué)導(dǎo)論集合的示性函數(shù)（即隸屬度）分布曲線是具有突變跳躍的曲線，如圖所示。3.1語(yǔ)法信息的描述 -模糊型語(yǔ)法信息的描述信息科學(xué)導(dǎo)論一種規(guī)范的模糊集定義可以表述如下。所謂給定了論域U上的一個(gè)模糊子集X是指：對(duì)于任意uU，都指定了某個(gè)數(shù)，叫做u對(duì)于X的隸屬度。這個(gè)映射叫做X的隸屬度函數(shù)。3.1語(yǔ)法信息的描述 -模糊型語(yǔ)法信息的描述可以用模糊集隸屬度曲線來(lái)描述模糊事物的“運(yùn)動(dòng)的狀態(tài)及其變化方式”。我們把模糊集元所具有的隸屬度記為f，第i個(gè)元的隸屬度記為fi，整個(gè)模糊集上的隸屬度分布則記為F。需要注意，與概率的情況不同，這里的隸屬度不滿足歸一化的要求，即

信息科學(xué)導(dǎo)論與概率空間的概念相類似，可以把模糊試驗(yàn)X和它的隸屬度分布F所組成的序?qū)Γ╔，F(xiàn)）稱為模糊事件的隸屬度空間。3.1語(yǔ)法信息的描述 -模糊型語(yǔ)法信息的描述若用符號(hào)F表示試驗(yàn)前的隸屬度分布，F(xiàn)*表示試驗(yàn)后的隸屬度分布，那么就描述了一個(gè)模糊試驗(yàn)所提供的模糊信息。在理想試驗(yàn)的場(chǎng)合，經(jīng)過(guò)試驗(yàn)，模糊性可以被完全消除。這時(shí)，F(xiàn)*的元只取0或1，即

這時(shí)的隸屬度分布記為。它實(shí)際上已經(jīng)蛻化成為一個(gè)普通集的示性函數(shù)。信息科學(xué)導(dǎo)論我們可以采用指稱邏輯的概念來(lái)處理事物運(yùn)動(dòng)狀態(tài)及其變化方式的含義表征問(wèn)題。3.2語(yǔ)義信息的描述參量采用指稱邏輯的概念來(lái)處理狀態(tài)含義的表征問(wèn)題，可以設(shè)置一個(gè)“狀態(tài)邏輯真實(shí)度”參量，記為t，它應(yīng)當(dāng)滿足0≤t≤1

及

信息科學(xué)導(dǎo)論具體來(lái)說(shuō)，如果某事物X具有N個(gè)可能的運(yùn)動(dòng)狀態(tài)：{xn,n=1，…，N}。記狀態(tài)xn的邏輯真實(shí)度為tn，可以建立一個(gè)關(guān)于事物X的邏輯真實(shí)度空間，記為3.2語(yǔ)義信息的描述參量其中稱為X的邏輯真實(shí)度廣義分布?！皬V義”所指，是因?yàn)閠n的總和不一定歸一，即有符號(hào)“”表示“可能大于、小于或等于1，而不是必然等于1”。信息科學(xué)導(dǎo)論類似地，我們也可以采用效用度的概念來(lái)處理事物運(yùn)動(dòng)狀態(tài)及其變化方式的價(jià)值表征的問(wèn)題。3.3語(yǔ)用信息的描述參量采用效用度的概念來(lái)處理狀態(tài)價(jià)值的表征問(wèn)題，在這里就是要解決事物各種運(yùn)動(dòng)狀態(tài)對(duì)主體的價(jià)值大小的描述。于是，可以設(shè)置一個(gè)“狀態(tài)效用度”參量，記為u，它應(yīng)當(dāng)滿足

0≤u≤1及

信息科學(xué)導(dǎo)論其中稱為X的效用度廣義分布?！皬V義”所指，也是因?yàn)閡n，的總和不一定歸一，即有

3.3語(yǔ)用信息的描述參量信息科學(xué)導(dǎo)論對(duì)于某個(gè)事物X，若它有N種可能的狀態(tài){xn，n=1，…，N}；又若在觀察試驗(yàn)之前它的先驗(yàn)參量分別為cn（表征狀態(tài)變化方式的形式）、tn（邏輯真實(shí)度）和un（效用度），相應(yīng)的先驗(yàn)廣義分布為C、T和U，而在觀察試驗(yàn)之后，它的后驗(yàn)廣義分布為C*、T*和U*，那么，與觀察事物X相關(guān)的語(yǔ)法信息、語(yǔ)義信息和語(yǔ)用信息過(guò)程就可以分別描述為

3.3全信息的描述信息科學(xué)導(dǎo)論通常，我們把用邏輯真實(shí)度空間和效用度空間描述的語(yǔ)義信息和語(yǔ)用信息分別稱為單純語(yǔ)義信息和單純語(yǔ)用信息，相應(yīng)的邏輯真實(shí)度和效用度也分別稱為單純邏輯真實(shí)度和單純效用度。3.3全信息的描述但是，正如前面所指出的，語(yǔ)義信息須以語(yǔ)法信息為基礎(chǔ)，語(yǔ)用信息須以語(yǔ)義和語(yǔ)法信息為基礎(chǔ)。這樣就有必要進(jìn)一步引出綜合邏輯真實(shí)度和綜合效用度的概念，以及與此相應(yīng)的綜合邏輯真實(shí)度空間和綜合效用度空間的概念。利用這些概念，可以建立對(duì)于綜合語(yǔ)義信息和綜合語(yǔ)用信息的描述。信息科學(xué)導(dǎo)論給定事物X，假設(shè)它有N個(gè)可能的運(yùn)動(dòng)狀態(tài){xn，n=1，…，N}，每個(gè)狀態(tài)的變化方式的形式化因素用參量cn來(lái)表征，在概率性事件場(chǎng)合，cn就是概率pn，在偶發(fā)性事件場(chǎng)合，cn就是可能度qn，在模糊事件場(chǎng)合，cn就是隸屬fn；又若各個(gè)狀態(tài)的單純邏輯真實(shí)度為tn，單純效用度為un，那么，X的綜合邏輯真實(shí)度、綜合邏輯真實(shí)度空間、綜合效用度、綜合效用度空間就可以分別定義如下.3.3全信息的描述信息科學(xué)導(dǎo)論綜合邏輯真實(shí)度：綜合邏輯真實(shí)度