第四章不確定性推理-課件

第四章不確定性推理第四章不確定性推理1本章內(nèi)容不確定性推理中的基本問題證據(jù)理論概率方法主觀Bayes方法4163可信度方法5不確定性推理方法分類2本章內(nèi)容不確定性推理中的基本問題證據(jù)理論概率方法主觀Baye24.1不確定性推理中的基本問題

要實現(xiàn)對不確定性知識的處理，必須要解決不確定知識的表示問題，不確定信息的計算問題，以及不確定性表示和計算的語義解釋問題。1．表示問題1、知識不確定性的表示2、證據(jù)的不確定性表示2.計算問題1、不確定性的傳遞算法2、結(jié)論不確定性的合成3、組合證據(jù)的不確定性算法3.語義問題1、知識的不確定性度量2、證據(jù)的不確定性度量4.1不確定性推理中的基本問題要實現(xiàn)34.2不確定性推理方法分類1、模型方法

特點:把不確定的證據(jù)和不確定的知識分別與某種度量標(biāo)準(zhǔn)對應(yīng)起來，并且給出更新結(jié)論不確定性的算法，從而構(gòu)成了相應(yīng)的不確定性推理的模型。非數(shù)值方法是指出數(shù)值方法外的其他各種處理不確定性的方法,它采用集合來描述和處理不確定性，而且滿足概率推理的性質(zhì)。非數(shù)值方法數(shù)值方法是對不確定性的一種定量表示和處理方法。數(shù)值方法4.2不確定性推理方法分類1、模型方法非數(shù)值方法4數(shù)值方法分類2、模糊推理1、基于概率的方法

對于數(shù)值方法，按其依據(jù)的理論不同又可分為以下兩類：

4.2不確定性推理方法分類數(shù)值方法分類2、模糊推理1、基于概率的方法對于數(shù)值方54.2不確定性推理方法分類

純概率方法雖然有嚴(yán)密的理論依據(jù)，但它通常要求給出事件的先驗概率和條件概率，而這些數(shù)據(jù)又不易獲得，因此其應(yīng)用受到了限制。為了解決這這個問題，人們在概率理論的基礎(chǔ)上發(fā)展起來了一些新的方法及理論:

1、主觀Bayes方法2、可信度方法3、證據(jù)理論它是PROSPECTOR專家系統(tǒng)中使用的不確定推理模型，是對Bayes公式修正后形成的一種不確定推理方法。它是MYCIN專家系統(tǒng)中使用的不確定推理模型，它以確定性理論為基礎(chǔ)，方法簡單、易用。它通過定義信任函數(shù)、似然函數(shù)，把知道和不知道區(qū)別開來。4.2不確定性推理方法分類純概率方法雖然有嚴(yán)密的理64.2不確定性推理方法分類2、控制方法

特點:通過識別領(lǐng)域中引起不確定性的某些特征及相應(yīng)的控制策略來限制或減少不確定性對系統(tǒng)產(chǎn)生的影響，這類方法沒有處理不確定性的統(tǒng)一模型，其效果極大地依賴于控制策略。相關(guān)性制導(dǎo)回溯

機緣控制

啟發(fā)式搜索

4.2不確定性推理方法分類2、控制方法相關(guān)性制導(dǎo)回溯機7

設(shè)有如下產(chǎn)生式規(guī)則：IFETHENH其中，E為前提條件，H為結(jié)論，具有隨機性。根據(jù)概率論中條件概率的含義，我們可以用條件概率表示上述產(chǎn)生式規(guī)則的不確定性程度，即表示為在證據(jù)出現(xiàn)的條件下，結(jié)論H成立的確定性程度。對于復(fù)合條件 E=E1AND

E2AND…AND

En可以用條件概率作為在證據(jù)出現(xiàn)時結(jié)論的確定程度。4.3概率方法4.3.1經(jīng)典概率方法設(shè)有如下產(chǎn)生式規(guī)則：4.3概率方法4.3.1經(jīng)典84.3概率方法4.3.2Bayes定理設(shè)為一些事件，互不相交，P(Bi)>0，i=1,2,…,n，且則對于

有，(4.3.1)Bayes公式容易由條件概率的定義、乘法公式和全概率公式得到。在Bayes公式中，P(Bi)稱為先驗概率，而P(Bi|A)稱為后驗概率，也就是條件概率。4.3概率方法4.3.2Bayes定理設(shè)94.3概率方法4.3.3逆概率方法的基本思想1．單個證據(jù)的情況如果用產(chǎn)生式規(guī)則IFETHENHi

i＝1,2,,n其中前提條件E

代替Bayes公式中B，用Hi代替公式中的Ai就可得到

i＝1,2,,n(4.3.2)

這就是說，當(dāng)已知結(jié)論Hi

的先驗概率，并且已知結(jié)論Hi(i=1,2,…）成立時前提條件E

所對應(yīng)的證據(jù)出現(xiàn)的條件概率P(E|Hi)，就可以用上式求出相應(yīng)證據(jù)出現(xiàn)時結(jié)論Hi

的條件概率P(Hi|E)。4.3概率方法4.3.3逆概率方法的基本思想1．單個證據(jù)104.3概率方法例子:求P(肺炎|咳嗽)可能比較困難，但統(tǒng)計P(咳嗽|肺炎)可能比較容易(因為要上醫(yī)院)假設(shè)P(肺炎)=1|10000，而P(咳嗽)=1|10，90%的肺炎患者都咳嗽，P(咳嗽|肺炎)=0.9,則

P(肺炎|咳嗽)=

4.3概率方法例子:求P(肺炎|咳嗽)可能比較困難，但統(tǒng)計114.3概率方法修正因子(1)可以將前面的逆概率公式寫成

這說明先驗概率P(H)可以通過方括號部分(作為修正因子)修正為后驗概率P(H|E)(證據(jù)E為真時H的后驗概率)在上面的例子中，醫(yī)生認(rèn)為一個人得肺炎的可能性為萬分之一，一旦發(fā)現(xiàn)患者咳嗽，就將調(diào)整為萬分之九4.3概率方法修正因子(1)可以將前面的逆概率公式寫成124.3概率方法修正因子(2)將E看作證據(jù)，先驗概率P(E)越小，且H為真時E的條件概率P(E|H)越大，則修正因子所起作用越大在上例中，如果P(咳嗽)=0.0001|P(咳嗽|肺炎)=0.9999|

P(肺炎)不變則P(肺炎|咳嗽)=0.9999，遠(yuǎn)遠(yuǎn)超過原來的萬分之九4.3概率方法修正因子(2)將E看作證據(jù)，先驗概率P(E)134.3概率方法2．多個證據(jù)的情況對于有多個證據(jù)和多個結(jié)論并且每個證據(jù)都以一定程度支持結(jié)論的情況，上面的式子可進(jìn)一步擴充為

(4.3.3)

4.3概率方法2．多個證據(jù)的情況對于有多個證據(jù)14例已知：求：P(H1|E1E2），P(H2|E1E2），P(H3|E1E2）解：同理可得：P(H2|E1E2）=0.52，P(H3|E1E2）=0.03例已知：求：P(H1|E1E2），P(H2|E1E2），15逆概率公式的優(yōu)點是它有較強的理論背景和良好的數(shù)學(xué)特征，當(dāng)證據(jù)及結(jié)論彼此獨立時計算的復(fù)雜度比較低。其缺點是要求給出結(jié)論的先驗概率及證據(jù)的條件概率，盡管有些時候比相對容易得到，但總的來說，要想得到這些數(shù)據(jù)仍然是一件相當(dāng)困難的工作。另外，Bayes公式的應(yīng)用條件是很嚴(yán)格的，它要求各事件互相獨立等，如若證據(jù)間存在依賴關(guān)系，就不能直接使用這個方法。4.3概率方法4.3.4逆概率方法的優(yōu)缺點逆概率公式的優(yōu)點是它有較強的理論背景和良好的數(shù)學(xué)特征164.4主觀Bayes方法4.4.1知識不確定性的表示在主觀Bayes方法中，知識是用產(chǎn)生式規(guī)則表示的，具體形式為

IFETHEN(LS，LN)H(P(H))其中（1）E

是該知識的前提條件。它既可以是一個簡單條件，也可以是復(fù)合條件。（2）H是結(jié)論。P(H)是H

的先驗概率，它指出在沒有任何證據(jù)情況下的結(jié)論H為真的概率，即H的一般可能性。其值由領(lǐng)域?qū)＜腋鶕?jù)以往的實踐及經(jīng)驗給出。（3）（LS，LN）為規(guī)則強度。其值由領(lǐng)域?qū)＜医o出。LS，LN相當(dāng)于知識的靜態(tài)強度。LS=P(E|H)|P(E|﹁H)LN=P(﹁E|H)|P(﹁E|﹁H)

4.4主觀Bayes方法4.4.1知識不確定性的表示174.4主觀Bayes方法4.4.1知識不確定性的表示引入概率的相對量度[定義]幾率函數(shù)： 稱為H的幾率函數(shù)或先驗幾率，取值范圍[0,

)由此反過來有

[定義]條件幾率： 4.4主觀Bayes方法4.4.1知識不確定性的表示引入184.4主觀Bayes方法4.4.1知識不確定性的表示后驗幾率和先驗幾率的關(guān)系：例子：O(晴天|冬天早晨有霧)=4.2，如果冬天早晨有霧，則該天為晴天的可能性是非晴天可能性的4.2倍由幾率定義、條件幾率定義和條件概率公式可以推得后驗幾率和先驗幾率的關(guān)系：則可得下述關(guān)系：

O(H|E)=LS*O(H) O(H|﹁E)=LN*O(H)

4.4主觀Bayes方法4.4.1知識不確定性的表示后驗194.4主觀Bayes方法4.4.1知識不確定性的表示對LS和LN的約束對于LS和LN有如下約束要求：二者都是非負(fù)的，并且滿足即LS和LN不是獨立取值，均大于0；不可以E支持H的同時

E也支持H，即LS和LN不可同時大于1，也不可同時小于1.4.4主觀Bayes方法4.4.1知識不確定性的表示對L204.4主觀Bayes方法4.4.3不確定性的傳遞算法主觀Bayes推理過程是：根據(jù)證據(jù)E的概率P(E)，利用規(guī)則的LS和LN，把結(jié)論的先驗概率P(H)更新為后驗概率P(H|E)或P(?H|E)，因而也稱為概率傳播。4.4主觀Bayes方法4.4.3不確定性的傳遞算法主觀214.4主觀Bayes方法4.4.2證據(jù)不確定性的表示若以O(shè)(A)或P(A)表示證據(jù)A的不確定性，則轉(zhuǎn)換公式是：

4.4主觀Bayes方法4.4.2證據(jù)不確定性的表示224.4主觀Bayes方法4.4.3不確定性的傳遞算法1．證據(jù)肯定存在的情況在證據(jù)E肯定存在時，把先驗幾率O(H)更新為后驗幾率O(H|E)的計算公式為

(4.4.1)如果將上式換成概率，就可得到

(4.4.2)

這是把先驗概率P(H)更新為后驗概率P(H|E)的計算公式。4.4主觀Bayes方法4.4.3不確定性的傳遞算法1．234.4主觀Bayes方法2．證據(jù)肯定不存在的情況在證據(jù)E肯定不存在時，把先驗幾率O(H)更新為后驗幾率O(H|﹁E)的計算公式為

(4.4.3)如果將上式換成概率，就可得到

(4.4.4)

這是把先驗概率P(H)更新為后驗概率P(H|﹁E)的計算公式。4.4主觀Bayes方法2．證據(jù)肯定不存在的情況244.4主觀Bayes方法3．證據(jù)不確定的情況在證據(jù)不確定的情況下，不能再用上面的公式計算后驗概率，而要用杜達(dá)等人1976年證明了的公式

(4.4.5)

來計算。4.4主觀Bayes方法3．證據(jù)不確定的情況25下面分四種情況討論這個公式(4.4.5)：（1）當(dāng)P(E|S)=1時，，此時式(4.4.5)變成這就是證據(jù)肯定存在的情況。（2）當(dāng)P(E|S)=0時，，此時式(4.4.5)變成這就是證據(jù)肯定不存在的情況。4.4主觀Bayes方法下面分四種情況討論這個公式(4.4.5)：4.4主觀Bay26（3）當(dāng)P(E|S)=P(E)時，表示E與S無關(guān)，利用全概率公式將公式(4.4.5)變?yōu)椋?）當(dāng)P(E|S)為其它值時，通過分段線性插值就可得計算P(H|S)的公式

該公式稱為EH公式或UED公式。4.4主觀Bayes方法（3）當(dāng)P(E|S)=P(E)時，表示E與S無關(guān)，利用全概率270

P(E)1P(E|S)P(H|S)P(H|E)P(H)P(H|~E)0P(E)1284．組合證據(jù)的情況（1）當(dāng)組合證據(jù)是多個單一證據(jù)的合取時，即E=E1andE2and…andEn時，如果已知則

P(E|S)=min{}（2）當(dāng)組合證據(jù)E是多個單一證據(jù)的析取時，即E=E1orE2or…orEn時，如果已知則，

P(E|S)=max{}“非”運算用下式計算

4.4主觀Bayes方法4．組合證據(jù)的情況4.4主觀Bayes方法29若有n條知識都支持相同的結(jié)論，而且每條知識的前提條件所對應(yīng)的證據(jù)都有相應(yīng)的觀察與之對應(yīng)，此時只要先對每條知識分別求出然后就可運用下述公式求出4.4主觀Bayes方法4.4.4結(jié)論不確定性的合成算法若有n條知識都支持相同的結(jié)論，而且每條知識的4.4主30

4.4主觀Bayes方法例2設(shè)有如下知識R1：IFATHEN(20，1)B1(0.03)R2：IFB1THEN(300，0.0001)B2(0.01)求：P(B2|A)的值是多少？

解:（1）由于A必發(fā)生，由R1得（2）由于B1不是必發(fā)生的，所以需作插值處理。設(shè)4.4.5例子4.4主觀Bayes方法例2設(shè)有如下知識解:（1）31

4.4主觀Bayes方法當(dāng)時，有，所以在此區(qū)間插值。由于4.4主觀Bayes方法當(dāng)時，有，所以在此區(qū)間插值。324.4主觀Bayes方法解：

依R1，P1（B）＝0.03 O（B1）＝0.03/(1-0.03)=0.030927 O(B1|A1)=LS×O(B1)=20×0.030927=0.61855 P(B1|A1)=0.61855/(1+0.61855)=0.382

使用規(guī)則R1后，B1的概率從0.03上升到0.382

4.4.5例子3例3證據(jù)A1，A2必然發(fā)生，且P（B1）＝0.03規(guī)則如下：R1：A1→B1LS=20LN=1;R2：A2→B1LS=300 LN=1求B1的更新值。4.4主觀Bayes方法解：4.4.5例3證據(jù)334.4主觀Bayes方法依R2：O(B1|A1A2)=300×O(B1|A1)=185.565 P(B1|A1A2)=185.565/(1+185.565)=0.99464

使用規(guī)則R2后，B1的概率從0.382上升到0.994644.4主觀Bayes方法依R2：O(B1|A1A2)=30344.4主觀Bayes方法解： 由于B1不確定，所以討論其前項證據(jù)的影響，用插值法。1）當(dāng)A必然發(fā)生時，依R1，P（B1）＝0.03 O（B1）＝0.03/(1-0.03)=0.030927 O(B1|A1)=LS×O(B1)=20×0.030927=0.61855 P(B1|A1)=0.61855/(1+0.61855)=0.382

2）當(dāng)P(B1|A1)=1時，P(B2|B1)=P(B2|A)=LS*P(B2)/（(LS-1）*P(B2)+1)=0.75188

4.4.5例子例4證據(jù)A必然發(fā)生，且P（B1）＝0.03，P(B2)=0.01規(guī)則如下：R1：A→B1LS=20LN=1;R2：B1→B2LS=300 LN=0.0001求B2的更新值。4.4主觀Bayes方法解：4.4.5例4證據(jù)A必353）A對B1沒影響，P(B1|A1)=P(B1)=0.03時，由已知P(B2)=0.01最后進(jìn)行插值：P(B1|A)>P(B1), P(B2|A)=0.01+(0.75188-0.01)(1-0.03)/(0.382-0.03)=0.33）A對B1沒影響，P(B1|A1)=P(B1)=0.36

主觀Bayes方法的主要優(yōu)點如下：（1）主觀Bayes方法中的計算公式大多是在概率論的基礎(chǔ)上推導(dǎo)出來的，具有較堅實的理論基礎(chǔ)。（2）知識的靜態(tài)強度LS及LN是由領(lǐng)域?qū)＜腋鶕?jù)實驗經(jīng)驗給出的，這就避免了大量的數(shù)據(jù)統(tǒng)計工作。另外，它既用LS指出了證據(jù)E對結(jié)論H的支持程度，又用LN指出了E對H的必要性程度，這就比較全面地反映了證據(jù)與結(jié)論間因果關(guān)系，符合現(xiàn)實世界中某些領(lǐng)域的實際情況，使推出的結(jié)論有較準(zhǔn)確的確定性。4.4主觀Bayes方法4.4.6主觀Bayes方法的主要優(yōu)缺點主觀Bayes方法的主要優(yōu)點如下：4.4主觀Bayes37（3）主觀Bayes方法不僅給出了在證據(jù)肯定存在或肯定不存在情況下由H的先驗概率更新為后驗概率的方法，而且還給出了在證據(jù)不確定情況下更新先驗概率為后驗概率的方法。另外，由其推理過程可以看出，它確實實現(xiàn)了不確定性的逐級傳遞。因此，可以說主觀Bayes方法是一種比較實用且較靈活的不確定性推理方法。

它的主要缺點如下（1）要求領(lǐng)域?qū)＜以诮o出知識的同時給出H的先驗概率P(H)，這是比較困難的。（2）Bayes方法中關(guān)于事件間獨立性的要求使主觀Bayes方法的應(yīng)用受到了限制。4.4主觀Bayes方法（3）主觀Bayes方法不僅給出了在證據(jù)肯定存在或肯定不存在38所謂可信度就是在實際生活中根據(jù)自己的經(jīng)驗對某一事物或現(xiàn)象進(jìn)行觀察，判斷相信其為真得程度。例如，張三昨天沒有上課，他的理由是肚子疼，就此理由而言，聽話的人可能完全相信，也可能完全不相信，也可能在某種程度上相信，這與張三平時的表現(xiàn)和人們對他的話相信程度有關(guān)。這里的相信程度就是我們說的可信度?？尚哦纫卜Q為確定性因子。4.5可信度方法4.5.1可信度的概念所謂可信度就是在實際生活中根據(jù)自己的經(jīng)驗對某一事4.39在以產(chǎn)生式作為知識表示的專家系統(tǒng)MYCIN中，用以度量知識和證據(jù)的不確定性。

顯然，可信度具有較大的主觀性和經(jīng)驗性，其準(zhǔn)確性是難以把握的。但是，對于某一具體領(lǐng)域而言，由于該領(lǐng)域的專家具有豐富的專業(yè)知識和實踐經(jīng)驗，要給出該領(lǐng)域知識的可信度還是完全有可能的。另外，人工智能所面臨的問題，通常都較難用精確的數(shù)學(xué)模型進(jìn)行描述，而且先驗概率及條件概率的確定也比較困難，因此用可信度來表示知識及證據(jù)的不確定性仍然不失為一種可行的方法。4.5可信度方法在以產(chǎn)生式作為知識表示的專家系統(tǒng)MYCIN中，用404.5可信度方法4.5.2C---F模型C-F模型是基于可信度表示的不確定性推理的基本方法，其他可信度方法都是在此基礎(chǔ)上發(fā)展起來的。1．知識不確定性的表示2．證據(jù)不確定性的表示3．組合證據(jù)不確定性的算法4．不確定性的傳遞算法5．結(jié)論不確定性的合成算法4.5可信度方法4.5.2C---F模型C-F414.5可信度方法4.5.3可信度方法應(yīng)用舉例已知

R1：IFA1THENB1CF(B1,A1)=0.8；

R2:IFA2THENB1

CF(B1,A2)=0.5；

R3:IFB1∧A3THENB2CF(B2,B1∧A3)=0.8;初始證據(jù)為A1,A2,A3的可信度CF均設(shè)為1，即,CF(A1)=CF(A2)=CF(A3)=1,對B1,B2一無所知,求CF(B1)和CF(B2)。例4.5.14.5可信度方法4.5.3可信度方法應(yīng)用舉例已424.5可信度方法解:由于對B1,B2一無所知，所以使用合成算法進(jìn)行計算。由題意得到推理網(wǎng)絡(luò)如下圖所示。B2B1A3A1A24.5可信度方法解:由于對B1,B2一無所知，所以434.5可信度方法(1)對于知識,分別計算(2)利用合成算法計算的綜合可信度(3)計算的可信度，這時，作為的證據(jù)，其可信度已由前面計算出來。CF()=0.9，而的可信度為初始制定的1。由規(guī)則和公式(4.5.1)得到所以，所求得的，的可信度更新值分別為4.5可信度方法(1)對于知識,分別計算444.6證據(jù)理論4.6.1基本概念證據(jù)理論假設(shè)有一個不變的兩兩相斥的完備元素集合U，如下圖所示，這里U為例如,U={三輪車，汽車，火車}U={赤，橙，黃，綠，青，藍(lán)，紫}U={馬，牛，羊，雞，狗，兔}圖4.4證據(jù)理論說明圖4.6證據(jù)理論4.6.1基本概念證據(jù)理論假設(shè)454.6證據(jù)理論4.6.2D-S理論證據(jù)理論是用集合表示命題的。設(shè)D是變量x所有可能取值的集合，且D中的元素是互斥的，在任一時刻x都取D中的某一個元素為值，則稱D為x的樣本空間。在證據(jù)理論中，D的任何一個子集A都對應(yīng)于一個關(guān)于x的命題，稱該命題為“x的值在A中”。證據(jù)理論中，為了描述和處理不確定性，引入了概率分配函數(shù)、信任函數(shù)及似然函數(shù)等概念。4.6證據(jù)理論4.6.2D-S理論證據(jù)理論是46設(shè)D為樣本空間，領(lǐng)域內(nèi)的命題都用D的子集表示，則概率分配函數(shù)（FunctionofProbabilityAssignment）定義如下。定義4.6.1設(shè)函數(shù)M：,且滿足則稱M是上的概率分配函數(shù)，M(A)稱為A的基本概率函數(shù)（FunctionofBasicProbabilityAssignment），即對于樣本空間D的任一子集都分配一個概率值。4.6證據(jù)理論1、概率分配函數(shù)設(shè)D為樣本空間，領(lǐng)域內(nèi)的命題都用D的子集表示，則概率47定義4.6.2設(shè)函數(shù)Bel：,且

（）則稱為命題A的信任函數(shù)（FunctionofBelief）,即命題A的信任函數(shù)值，就是A的所有子集的基本概率分配函數(shù)之和，用來表示對A的總信任。Bel函數(shù)又稱為下限函數(shù)，以Bel（A）表示對命題A為真的信任程度。4.6證據(jù)理論2.信任函數(shù)定義4.6.2設(shè)函數(shù)Bel：48似然函數(shù)（PlausibleFunction）又稱為不可駁斥函數(shù)或上限函數(shù)，下面給出它的定義。定義4.6.3似然函數(shù):,且

（）

命題A的似然函數(shù)值就是所有與A相交的子集的基本概率分配函數(shù)之和，用來表示不否定A的信任度。4.6證據(jù)理論3.似然函數(shù)似然函數(shù)（PlausibleFunction）又稱49因為，所以即由于表示對A為真的信任程度，表示對A為非假的信任程度，因此可分別稱和為對A信任程度的下限和上限，記作4.6證據(jù)理論4．信任函數(shù)與似然函數(shù)的關(guān)系因為50有時對同樣的證據(jù)會得出兩個不同的概率分配函數(shù)。例如，對于樣本空間，從不同的來源可分別得到如下兩個概率分配函數(shù)：

此時需要對它們進(jìn)行組合，德普斯特提出的組合方法可對這兩個概率分配函數(shù)進(jìn)行正交和運算。4.6證據(jù)理論5．概率分配函數(shù)的正交和有時對同樣的證據(jù)會得出兩個不同的概率分配函數(shù)。例如，514.6證據(jù)理論設(shè)是兩個概率分配函數(shù)，則其正交和為

其中，。如果,則正交和M也是一個概率分配函數(shù)；如果K＝0,則不存在正交和M，稱矛盾。

定義4.6.44.6證據(jù)理論設(shè)是兩個概率分配524.6證據(jù)理論定義4.6.5對于多個概率分配函數(shù)，如果它們可以組合，則也可通過正交和運算將它們組合為一個概率分配函數(shù)，其定義如下。設(shè)是n個概率分配函數(shù)，則其正交和為其中，。4.6證據(jù)理論定義4.6.5對于多個概率分配函數(shù)534.6證據(jù)理論定義4.6.56．類概率函數(shù)除了可以利用區(qū)間(Bel(A)和)表示A的不確定性以外，還可以用A的類概率函數(shù)表示A的不確定性。定義4.6.6命題A的類概率函數(shù)為

其中，分別是A及D中元素的個數(shù)。具有如下性質(zhì)：4.6證據(jù)理論定義4.6.56．類概率函數(shù)除了可544.6證據(jù)理論4.6.3知識的不確定性的表示在該模型中，不確定性知識用如下的產(chǎn)生式規(guī)則表示：IFETHENCF={}其中，（1）E為前提條件，它是樣本空間D的子集。E既可以是簡單條件，也可以是用AND或OR連接起來的復(fù)合條件。（2）H是結(jié)論，它用樣本空間中的子集表示，是該子集中的元素。（3）CF是可信度因子，用集合形式表示，其中，用來指出的可信度，與一一對應(yīng),應(yīng)滿足如下條件4.6證據(jù)理論4.6.3知識的不確定性的表示在554.6證據(jù)理論4.6.4證據(jù)的不確定性的表示不確定性證據(jù)E的確定性用CER(E)表示。對于初始證據(jù)，其確定性由用戶給出；當(dāng)用前面推理所得結(jié)論作為當(dāng)前推理的證據(jù)時，其確定性由推理得到。CER(E)的取值范圍為。1．組合證據(jù)不確定性的算法當(dāng)組合證據(jù)是多個證據(jù)的合取，即時，則E的確定性CER(E)為當(dāng)組合證據(jù)是多個證據(jù)的析取，即時，則E的確定性CER(E)為4.6證據(jù)理論4.6.4證據(jù)的不確定性的表示不564.6證據(jù)理論2．不確定性的傳遞算法1）如果只有一條知識支持結(jié)論H，即IFETHEN結(jié)論H的確定性通過下述步驟求出。對于上述知識，H的概率分配函數(shù)規(guī)定為這樣便求得M(H)。4.6證據(jù)理論2．不確定性的傳遞算法574.6證據(jù)理論2）如果有兩條知識支持同一結(jié)論，即IFTHENIFTHEN結(jié)論H的確定性通過下述步驟求出。首先分別對每一條知識求出概率分配函數(shù)：然后再用公式對求正交和，從而得到H的概率分配函數(shù)M。4.6證據(jù)理論2）如果有兩條知識支持同一結(jié)論，即584.6證據(jù)理論3）如果有n條知識都支持同一結(jié)論H，則用公式

對求其正交和，從而得到H的概率分配函數(shù)M。最后求出4.6證據(jù)理論3）如果有n條知識都支持同一結(jié)論H594.6證據(jù)理論4）按如下公式求出H的確定性CER(H)CER(H)=MD(H|E)×f(H)其中，MD(H|E)是知識的前提條件與相應(yīng)證據(jù)E的匹配度，定義為MD(H|E)這樣，就對一條知識或者多條有相同結(jié)論的知識求出了結(jié)論的確定性。如果該結(jié)論不是最終結(jié)論，即它又要作為另一條知識的證據(jù)繼續(xù)進(jìn)行推理，則重復(fù)上述過程就可得到新的結(jié)論及其確定性。如此反復(fù)運用該過程，就可推出最終結(jié)論及它的確定性。4.6證據(jù)理論4）按如下公式求出H的確定性CER604.6證據(jù)理論4.6.5例子例4.6.1已知計算CER(B)。解先計算組合證據(jù)的正確性再計算結(jié)論的分配函數(shù)M({b1},{b2})=(0.6×0.3,0.6×0.5)=(0.18,0.3)4.6證據(jù)理論4.6.5例子例4.6.1已知614.6證據(jù)理論4.6.5例子得到結(jié)論的信任函數(shù)隨之有而對于D的其他子集的M值均賦予0。得到結(jié)論的似然函數(shù)

最后得到4.6證據(jù)理論4.6.5例子得到結(jié)論的信任函數(shù)624.6證據(jù)理論4.6.6證據(jù)理論的主要優(yōu)缺點最后需要說明的是，當(dāng)D中的元素很多時，信任函數(shù)Bel及正交和等的運算將是相當(dāng)復(fù)雜的，工作量很大，這是由于需要窮舉D的所有子集，而子集的數(shù)量是的緣故。另外，證據(jù)理論要求D中的元素是互斥的，這一點在許多應(yīng)用領(lǐng)域也難以做到。為解決這些問題，巴尼特提出了一種方法，運用這種方法可以降低計算的復(fù)雜性并解決互斥的問題。該方法的基本思想是把D劃分為若干組，每組只包含相互排斥的元素，稱為一個辨別框，求解問題時，只需在各自的辨別框上考慮概率分配的影響。4.6證據(jù)理論4.6.6證據(jù)理論的主要優(yōu)缺點最634.6證據(jù)理論證據(jù)理論的優(yōu)點是它只需滿足比概率論更弱的公理系統(tǒng)，能處理由“不知道”所引起的不確定性，由于D的子集可以是多個元素的集合，因而知識的結(jié)論部分可以是更一般的假設(shè)，這就便于領(lǐng)域?qū)＜覐牟煌恼Z義層次上表達(dá)他們的知識，不必被限制在由單元素所表示的最明確的層次上。在應(yīng)用證據(jù)理論時需要注意的是合理地劃分辨別框及有效地控制計算的復(fù)雜性等。4.6證據(jù)理論證據(jù)理論的優(yōu)點是它只需滿足比概率論64654.7貝葉斯信念網(wǎng)

定義：貝葉斯信念網(wǎng)（簡稱貝葉斯網(wǎng)）表示一組變量的聯(lián)合概率分布是一個有向無環(huán)圖(DAG)隨機變量集組成網(wǎng)絡(luò)節(jié)點，變量可離散或連續(xù)連接節(jié)點對的有向邊組成邊集合每節(jié)點yi都有一個條件概率分布表：P(yi|Parents(yi))，量化其父節(jié)點對該節(jié)點的影響654.7貝葉斯信念網(wǎng)定義：65貝葉斯信念網(wǎng)的表示貝葉斯信念網(wǎng)的表示66條件概率表每個節(jié)點旁的條件概率表(簡稱CPT)中的值對應(yīng)一個條件事件的概率如P(A|B,E)=0.94=P(A|Burglary∧

Earthquake)條件事件是父節(jié)點取值的一個可能組合每行的概率之和應(yīng)該為1一個具有k個布爾父節(jié)點的布爾變量的條件概率表中有2k個獨立的可指定的概率(注意概率值是獨立的)沒有父節(jié)點的節(jié)點的概率只有1行/為先驗概率條件概率表每個節(jié)點旁的條件概率表(簡稱CPT)中的值對應(yīng)一個67貝葉斯網(wǎng)絡(luò)的語義對聯(lián)合概率分布的表示對條件依賴性語句集合的編碼兩種觀點等價，前者幫助我們理解如何構(gòu)造網(wǎng)絡(luò)，后者則幫助我們設(shè)計推理過程。貝葉斯網(wǎng)絡(luò)的語義對聯(lián)合概率分布的表示6869貝葉斯信念網(wǎng)的表示（2）貝葉斯信念網(wǎng)表示的全聯(lián)合概率計算公式如下：

69貝葉斯信念網(wǎng)的表示（2）貝葉斯信念網(wǎng)表示的全聯(lián)合概率計算69貝葉斯信念網(wǎng)的語義公式計算示例：

試計算：報警器響了，但既沒有盜賊闖入，也沒有發(fā)生地震，同時John和Mary都給你打電話的概率。解：

P(J=T,M=T,A=T,B=F,E=F)=P(J=T|A=T)P(M=T|A=T)P(A=T|B=F,E=F)P(B=F)P(E=F)=0.9*0.7*0.001*0.999*0.998=0.00062=0.062%貝葉斯信念網(wǎng)的語義公式計算示例：試計算：報警器響了，但既沒70貝葉斯網(wǎng)絡(luò)的特性：作為對域的一種完備而無冗余的表示，貝葉斯網(wǎng)絡(luò)比全聯(lián)合概率分布緊湊得多BN的緊湊性是局部結(jié)構(gòu)化(Locallystructured,也稱稀疏,Sparse)系統(tǒng)一個非常普遍特性的實例BN中每個節(jié)點只與數(shù)量有限的其它節(jié)點發(fā)生直接的相互作用假設(shè)有n個隨機變量，每個隨機變量受至多k（k<n)個其他隨機變量的影響，則指定每個條件概率表所需信息至多為2k個數(shù)據(jù)，整個網(wǎng)絡(luò)可以由不超過n2k個數(shù)據(jù)完全描述。貝葉斯網(wǎng)絡(luò)的特性：作為對域的一種完備而無冗余的表示，貝葉斯71參數(shù)復(fù)雜性問題貝葉斯信念網(wǎng)表示的聯(lián)合概率計算公式：全聯(lián)合概率計算公式：參數(shù)復(fù)雜性問題貝葉斯信念網(wǎng)表示的聯(lián)合概率計算公式：全聯(lián)合概率72參數(shù)復(fù)雜性問題

5個二元變量全聯(lián)合概率計算公式共32個參數(shù),需定義31個參數(shù).BBN的聯(lián)合概率計算公式共20個參數(shù),需定義10個參數(shù)參數(shù)復(fù)雜性問題5個二元變量73參數(shù)復(fù)雜性問題假設(shè)節(jié)點數(shù)n=30,每節(jié)點有5個父節(jié)點，則BN需30x25=960個數(shù)據(jù)，而全聯(lián)合概率分布需要230=10億個！參數(shù)復(fù)雜性問題假設(shè)節(jié)點數(shù)n=30,每節(jié)點有5個父節(jié)點，則B74貝葉斯網(wǎng)絡(luò)的構(gòu)造原則：

首先，添加“根本原因”節(jié)點然后，加入受它們直接影響的變量依次類推，直到葉節(jié)點，即對其它變量沒有直接因果影響的節(jié)點兩節(jié)點間的有向邊的取舍原則：更高精度概率的重要性與指定額外信息的代價的折衷“因果模型”比“診斷模型”需要更少的數(shù)據(jù)，且這些數(shù)據(jù)也更容易得到貝葉斯網(wǎng)絡(luò)的構(gòu)造原則：首先，添加“根本原因”節(jié)點75貝葉斯網(wǎng)絡(luò)中的條件獨立關(guān)系：

給定父節(jié)點，一個節(jié)點與它的非后代節(jié)點是條件獨立的給定一個節(jié)點的父節(jié)點、子節(jié)點以及子節(jié)點的父節(jié)點——馬爾可夫覆蓋(Markovblanket)，這個節(jié)點和網(wǎng)絡(luò)中的所有其它節(jié)點是條件獨立的貝葉斯網(wǎng)絡(luò)中的條件獨立關(guān)系：給定父節(jié)點，一個節(jié)點與它的非后76【說明】：給定節(jié)點X的父節(jié)點U1...Um，節(jié)點X與它的非后代節(jié)點（即Zij）是條件獨立的。U1UmXZ1jZnjY1Yn【說明】：U1UmXZ1jZnjY1Yn77【說明】：給定馬爾可夫覆蓋（藍(lán)色的區(qū)域），節(jié)點X和網(wǎng)絡(luò)中所有其它節(jié)點都是條件獨立的。U1UmXZ1jZnjY1Yn【說明】：U1UmXZ1jZnjY1Yn78貝葉斯網(wǎng)絡(luò)建立貝葉斯網(wǎng)絡(luò)的目的有了網(wǎng)絡(luò)?？梢蕴岢鰡栴}：P(問題|證據(jù))，如：P(吸煙|肺癌）進(jìn)行概率推理與謂詞邏輯有相似之處。如：患?。ㄎ鼰?，肺癌）在某些場合下有有效的推理方法。有一些工具包。一般情況下是很困難的，原因不是所有的CPT表都能夠得到網(wǎng)絡(luò)結(jié)構(gòu)大且復(fù)雜NP-hard推理我們要做的是，將問題正確的表示為合理的網(wǎng)絡(luò)形式，選用適合的算法。貝葉斯網(wǎng)絡(luò)建立貝葉斯網(wǎng)絡(luò)的目的7980貝葉斯信念網(wǎng)的推理可以用貝葉斯網(wǎng)在給定其他變量的觀察值時推理出某些目標(biāo)變量的值由于所處理的是隨機變量，所以一般不會賦予目標(biāo)變量一個確切的值真正需要推理的是目標(biāo)變量的概率分布，它指定了在給予其他變量的觀察值條件下，目標(biāo)變量取每一個可能值的概率在網(wǎng)絡(luò)中所有其他變量都確切知道的情況下，這一推理步驟很簡單一般來說，貝葉斯網(wǎng)絡(luò)可用于在知道某些變量的值或分布時計算網(wǎng)絡(luò)中另一部分變量的概率分布80貝葉斯信念網(wǎng)的推理可以用貝葉斯網(wǎng)在給定其他變量的觀察值時80貝葉斯網(wǎng)絡(luò)的精確推理概率推理系統(tǒng)中的基本任務(wù)：計算被查詢變量的后驗概率設(shè)X為待查詢變量/e為觀察到的證據(jù)(已知)/E={E1…Em}證據(jù)變量集合/Y={Y1…Yn}既非證據(jù)也非查詢變量的集合(也稱隱變量)全部變量集合={X}∪E∪Y推理的任務(wù)是：求后驗概率P(X|e)貝葉斯網(wǎng)絡(luò)的精確推理概率推理系統(tǒng)中的基本任務(wù)：計算被查詢變量81貝葉斯網(wǎng)絡(luò)的精確推理以防盜警報為例，已知證據(jù)JohnCalls=True/MaryCalls=True求出現(xiàn)盜賊的概率：P(B|JohnCalls=T,M=F)貝葉斯網(wǎng)絡(luò)的精確推理以防盜警報為例，已知證據(jù)JohnCall82貝葉斯網(wǎng)絡(luò)的精確推理在貝葉斯網(wǎng)絡(luò)中可通過計算條件概率的乘積并求和來回答查詢。

P(X|e)=P(X,e)=yP(X,e,y)

而P(X,e,y)可寫成條件概率乘積的形式。貝葉斯網(wǎng)絡(luò)的精確推理在貝葉斯網(wǎng)絡(luò)中可通過計算條件概率的乘積并83（1）通過枚舉進(jìn)行推理BurglaryEarthquakeMaryCallsJohnCallsAlarm

BEP(A)

tttfftff0.950.940.290.001

AP