第四章不確定性推理-課件

第四章不確定性推理第四章不確定性推理1本章內(nèi)容不確定性推理中的基本問(wèn)題證據(jù)理論概率方法主觀Bayes方法4163可信度方法5不確定性推理方法分類2本章內(nèi)容不確定性推理中的基本問(wèn)題證據(jù)理論概率方法主觀Baye24.1不確定性推理中的基本問(wèn)題

要實(shí)現(xiàn)對(duì)不確定性知識(shí)的處理，必須要解決不確定知識(shí)的表示問(wèn)題，不確定信息的計(jì)算問(wèn)題，以及不確定性表示和計(jì)算的語(yǔ)義解釋問(wèn)題。1．表示問(wèn)題1、知識(shí)不確定性的表示2、證據(jù)的不確定性表示2.計(jì)算問(wèn)題1、不確定性的傳遞算法2、結(jié)論不確定性的合成3、組合證據(jù)的不確定性算法3.語(yǔ)義問(wèn)題1、知識(shí)的不確定性度量2、證據(jù)的不確定性度量4.1不確定性推理中的基本問(wèn)題要實(shí)現(xiàn)34.2不確定性推理方法分類1、模型方法

特點(diǎn):把不確定的證據(jù)和不確定的知識(shí)分別與某種度量標(biāo)準(zhǔn)對(duì)應(yīng)起來(lái)，并且給出更新結(jié)論不確定性的算法，從而構(gòu)成了相應(yīng)的不確定性推理的模型。非數(shù)值方法是指出數(shù)值方法外的其他各種處理不確定性的方法,它采用集合來(lái)描述和處理不確定性，而且滿足概率推理的性質(zhì)。非數(shù)值方法數(shù)值方法是對(duì)不確定性的一種定量表示和處理方法。數(shù)值方法4.2不確定性推理方法分類1、模型方法非數(shù)值方法4數(shù)值方法分類2、模糊推理1、基于概率的方法

對(duì)于數(shù)值方法，按其依據(jù)的理論不同又可分為以下兩類：

4.2不確定性推理方法分類數(shù)值方法分類2、模糊推理1、基于概率的方法對(duì)于數(shù)值方54.2不確定性推理方法分類

純概率方法雖然有嚴(yán)密的理論依據(jù)，但它通常要求給出事件的先驗(yàn)概率和條件概率，而這些數(shù)據(jù)又不易獲得，因此其應(yīng)用受到了限制。為了解決這這個(gè)問(wèn)題，人們?cè)诟怕世碚摰幕A(chǔ)上發(fā)展起來(lái)了一些新的方法及理論:

1、主觀Bayes方法2、可信度方法3、證據(jù)理論它是PROSPECTOR專家系統(tǒng)中使用的不確定推理模型，是對(duì)Bayes公式修正后形成的一種不確定推理方法。它是MYCIN專家系統(tǒng)中使用的不確定推理模型，它以確定性理論為基礎(chǔ)，方法簡(jiǎn)單、易用。它通過(guò)定義信任函數(shù)、似然函數(shù)，把知道和不知道區(qū)別開(kāi)來(lái)。4.2不確定性推理方法分類純概率方法雖然有嚴(yán)密的理64.2不確定性推理方法分類2、控制方法

特點(diǎn):通過(guò)識(shí)別領(lǐng)域中引起不確定性的某些特征及相應(yīng)的控制策略來(lái)限制或減少不確定性對(duì)系統(tǒng)產(chǎn)生的影響，這類方法沒(méi)有處理不確定性的統(tǒng)一模型，其效果極大地依賴于控制策略。相關(guān)性制導(dǎo)回溯

機(jī)緣控制

啟發(fā)式搜索

4.2不確定性推理方法分類2、控制方法相關(guān)性制導(dǎo)回溯機(jī)7

設(shè)有如下產(chǎn)生式規(guī)則：IFETHENH其中，E為前提條件，H為結(jié)論，具有隨機(jī)性。根據(jù)概率論中條件概率的含義，我們可以用條件概率表示上述產(chǎn)生式規(guī)則的不確定性程度，即表示為在證據(jù)出現(xiàn)的條件下，結(jié)論H成立的確定性程度。對(duì)于復(fù)合條件 E=E1AND

E2AND…AND

En可以用條件概率作為在證據(jù)出現(xiàn)時(shí)結(jié)論的確定程度。4.3概率方法4.3.1經(jīng)典概率方法設(shè)有如下產(chǎn)生式規(guī)則：4.3概率方法4.3.1經(jīng)典84.3概率方法4.3.2Bayes定理設(shè)為一些事件，互不相交，P(Bi)>0，i=1,2,…,n，且則對(duì)于

有，(4.3.1)Bayes公式容易由條件概率的定義、乘法公式和全概率公式得到。在Bayes公式中，P(Bi)稱為先驗(yàn)概率，而P(Bi|A)稱為后驗(yàn)概率，也就是條件概率。4.3概率方法4.3.2Bayes定理設(shè)94.3概率方法4.3.3逆概率方法的基本思想1．單個(gè)證據(jù)的情況如果用產(chǎn)生式規(guī)則IFETHENHi

i＝1,2,,n其中前提條件E

代替Bayes公式中B，用Hi代替公式中的Ai就可得到

i＝1,2,,n(4.3.2)

這就是說(shuō)，當(dāng)已知結(jié)論Hi

的先驗(yàn)概率，并且已知結(jié)論Hi(i=1,2,…）成立時(shí)前提條件E

所對(duì)應(yīng)的證據(jù)出現(xiàn)的條件概率P(E|Hi)，就可以用上式求出相應(yīng)證據(jù)出現(xiàn)時(shí)結(jié)論Hi

的條件概率P(Hi|E)。4.3概率方法4.3.3逆概率方法的基本思想1．單個(gè)證據(jù)104.3概率方法例子:求P(肺炎|咳嗽)可能比較困難，但統(tǒng)計(jì)P(咳嗽|肺炎)可能比較容易(因?yàn)橐厢t(yī)院)假設(shè)P(肺炎)=1|10000，而P(咳嗽)=1|10，90%的肺炎患者都咳嗽，P(咳嗽|肺炎)=0.9,則

P(肺炎|咳嗽)=

4.3概率方法例子:求P(肺炎|咳嗽)可能比較困難，但統(tǒng)計(jì)114.3概率方法修正因子(1)可以將前面的逆概率公式寫(xiě)成

這說(shuō)明先驗(yàn)概率P(H)可以通過(guò)方括號(hào)部分(作為修正因子)修正為后驗(yàn)概率P(H|E)(證據(jù)E為真時(shí)H的后驗(yàn)概率)在上面的例子中，醫(yī)生認(rèn)為一個(gè)人得肺炎的可能性為萬(wàn)分之一，一旦發(fā)現(xiàn)患者咳嗽，就將調(diào)整為萬(wàn)分之九4.3概率方法修正因子(1)可以將前面的逆概率公式寫(xiě)成124.3概率方法修正因子(2)將E看作證據(jù)，先驗(yàn)概率P(E)越小，且H為真時(shí)E的條件概率P(E|H)越大，則修正因子所起作用越大在上例中，如果P(咳嗽)=0.0001|P(咳嗽|肺炎)=0.9999|

P(肺炎)不變則P(肺炎|咳嗽)=0.9999，遠(yuǎn)遠(yuǎn)超過(guò)原來(lái)的萬(wàn)分之九4.3概率方法修正因子(2)將E看作證據(jù)，先驗(yàn)概率P(E)134.3概率方法2．多個(gè)證據(jù)的情況對(duì)于有多個(gè)證據(jù)和多個(gè)結(jié)論并且每個(gè)證據(jù)都以一定程度支持結(jié)論的情況，上面的式子可進(jìn)一步擴(kuò)充為

(4.3.3)

4.3概率方法2．多個(gè)證據(jù)的情況對(duì)于有多個(gè)證據(jù)14例已知：求：P(H1|E1E2），P(H2|E1E2），P(H3|E1E2）解：同理可得：P(H2|E1E2）=0.52，P(H3|E1E2）=0.03例已知：求：P(H1|E1E2），P(H2|E1E2），15逆概率公式的優(yōu)點(diǎn)是它有較強(qiáng)的理論背景和良好的數(shù)學(xué)特征，當(dāng)證據(jù)及結(jié)論彼此獨(dú)立時(shí)計(jì)算的復(fù)雜度比較低。其缺點(diǎn)是要求給出結(jié)論的先驗(yàn)概率及證據(jù)的條件概率，盡管有些時(shí)候比相對(duì)容易得到，但總的來(lái)說(shuō)，要想得到這些數(shù)據(jù)仍然是一件相當(dāng)困難的工作。另外，Bayes公式的應(yīng)用條件是很嚴(yán)格的，它要求各事件互相獨(dú)立等，如若證據(jù)間存在依賴關(guān)系，就不能直接使用這個(gè)方法。4.3概率方法4.3.4逆概率方法的優(yōu)缺點(diǎn)逆概率公式的優(yōu)點(diǎn)是它有較強(qiáng)的理論背景和良好的數(shù)學(xué)特征164.4主觀Bayes方法4.4.1知識(shí)不確定性的表示在主觀Bayes方法中，知識(shí)是用產(chǎn)生式規(guī)則表示的，具體形式為

IFETHEN(LS，LN)H(P(H))其中（1）E

是該知識(shí)的前提條件。它既可以是一個(gè)簡(jiǎn)單條件，也可以是復(fù)合條件。（2）H是結(jié)論。P(H)是H

的先驗(yàn)概率，它指出在沒(méi)有任何證據(jù)情況下的結(jié)論H為真的概率，即H的一般可能性。其值由領(lǐng)域?qū)＜腋鶕?jù)以往的實(shí)踐及經(jīng)驗(yàn)給出。（3）（LS，LN）為規(guī)則強(qiáng)度。其值由領(lǐng)域?qū)＜医o出。LS，LN相當(dāng)于知識(shí)的靜態(tài)強(qiáng)度。LS=P(E|H)|P(E|﹁H)LN=P(﹁E|H)|P(﹁E|﹁H)

4.4主觀Bayes方法4.4.1知識(shí)不確定性的表示174.4主觀Bayes方法4.4.1知識(shí)不確定性的表示引入概率的相對(duì)量度[定義]幾率函數(shù)： 稱為H的幾率函數(shù)或先驗(yàn)幾率，取值范圍[0,

)由此反過(guò)來(lái)有

[定義]條件幾率： 4.4主觀Bayes方法4.4.1知識(shí)不確定性的表示引入184.4主觀Bayes方法4.4.1知識(shí)不確定性的表示后驗(yàn)幾率和先驗(yàn)幾率的關(guān)系：例子：O(晴天|冬天早晨有霧)=4.2，如果冬天早晨有霧，則該天為晴天的可能性是非晴天可能性的4.2倍由幾率定義、條件幾率定義和條件概率公式可以推得后驗(yàn)幾率和先驗(yàn)幾率的關(guān)系：則可得下述關(guān)系：

O(H|E)=LS*O(H) O(H|﹁E)=LN*O(H)

4.4主觀Bayes方法4.4.1知識(shí)不確定性的表示后驗(yàn)194.4主觀Bayes方法4.4.1知識(shí)不確定性的表示對(duì)LS和LN的約束對(duì)于LS和LN有如下約束要求：二者都是非負(fù)的，并且滿足即LS和LN不是獨(dú)立取值，均大于0；不可以E支持H的同時(shí)

E也支持H，即LS和LN不可同時(shí)大于1，也不可同時(shí)小于1.4.4主觀Bayes方法4.4.1知識(shí)不確定性的表示對(duì)L204.4主觀Bayes方法4.4.3不確定性的傳遞算法主觀Bayes推理過(guò)程是：根據(jù)證據(jù)E的概率P(E)，利用規(guī)則的LS和LN，把結(jié)論的先驗(yàn)概率P(H)更新為后驗(yàn)概率P(H|E)或P(?H|E)，因而也稱為概率傳播。4.4主觀Bayes方法4.4.3不確定性的傳遞算法主觀214.4主觀Bayes方法4.4.2證據(jù)不確定性的表示若以O(shè)(A)或P(A)表示證據(jù)A的不確定性，則轉(zhuǎn)換公式是：

4.4主觀Bayes方法4.4.2證據(jù)不確定性的表示224.4主觀Bayes方法4.4.3不確定性的傳遞算法1．證據(jù)肯定存在的情況在證據(jù)E肯定存在時(shí)，把先驗(yàn)幾率O(H)更新為后驗(yàn)幾率O(H|E)的計(jì)算公式為

(4.4.1)如果將上式換成概率，就可得到

(4.4.2)

這是把先驗(yàn)概率P(H)更新為后驗(yàn)概率P(H|E)的計(jì)算公式。4.4主觀Bayes方法4.4.3不確定性的傳遞算法1．234.4主觀Bayes方法2．證據(jù)肯定不存在的情況在證據(jù)E肯定不存在時(shí)，把先驗(yàn)幾率O(H)更新為后驗(yàn)幾率O(H|﹁E)的計(jì)算公式為

(4.4.3)如果將上式換成概率，就可得到

(4.4.4)

這是把先驗(yàn)概率P(H)更新為后驗(yàn)概率P(H|﹁E)的計(jì)算公式。4.4主觀Bayes方法2．證據(jù)肯定不存在的情況244.4主觀Bayes方法3．證據(jù)不確定的情況在證據(jù)不確定的情況下，不能再用上面的公式計(jì)算后驗(yàn)概率，而要用杜達(dá)等人1976年證明了的公式

(4.4.5)

來(lái)計(jì)算。4.4主觀Bayes方法3．證據(jù)不確定的情況25下面分四種情況討論這個(gè)公式(4.4.5)：（1）當(dāng)P(E|S)=1時(shí)，，此時(shí)式(4.4.5)變成這就是證據(jù)肯定存在的情況。（2）當(dāng)P(E|S)=0時(shí)，，此時(shí)式(4.4.5)變成這就是證據(jù)肯定不存在的情況。4.4主觀Bayes方法下面分四種情況討論這個(gè)公式(4.4.5)：4.4主觀Bay26（3）當(dāng)P(E|S)=P(E)時(shí)，表示E與S無(wú)關(guān)，利用全概率公式將公式(4.4.5)變?yōu)椋?）當(dāng)P(E|S)為其它值時(shí)，通過(guò)分段線性插值就可得計(jì)算P(H|S)的公式

該公式稱為EH公式或UED公式。4.4主觀Bayes方法（3）當(dāng)P(E|S)=P(E)時(shí)，表示E與S無(wú)關(guān)，利用全概率270

P(E)1P(E|S)P(H|S)P(H|E)P(H)P(H|~E)0P(E)1284．組合證據(jù)的情況（1）當(dāng)組合證據(jù)是多個(gè)單一證據(jù)的合取時(shí)，即E=E1andE2and…andEn時(shí)，如果已知?jiǎng)t

P(E|S)=min{}（2）當(dāng)組合證據(jù)E是多個(gè)單一證據(jù)的析取時(shí)，即E=E1orE2or…orEn時(shí)，如果已知?jiǎng)t，

P(E|S)=max{}“非”運(yùn)算用下式計(jì)算

4.4主觀Bayes方法4．組合證據(jù)的情況4.4主觀Bayes方法29若有n條知識(shí)都支持相同的結(jié)論，而且每條知識(shí)的前提條件所對(duì)應(yīng)的證據(jù)都有相應(yīng)的觀察與之對(duì)應(yīng)，此時(shí)只要先對(duì)每條知識(shí)分別求出然后就可運(yùn)用下述公式求出4.4主觀Bayes方法4.4.4結(jié)論不確定性的合成算法若有n條知識(shí)都支持相同的結(jié)論，而且每條知識(shí)的4.4主30

4.4主觀Bayes方法例2設(shè)有如下知識(shí)R1：IFATHEN(20，1)B1(0.03)R2：IFB1THEN(300，0.0001)B2(0.01)求：P(B2|A)的值是多少？

解:（1）由于A必發(fā)生，由R1得（2）由于B1不是必發(fā)生的，所以需作插值處理。設(shè)4.4.5例子4.4主觀Bayes方法例2設(shè)有如下知識(shí)解:（1）31

4.4主觀Bayes方法當(dāng)時(shí)，有，所以在此區(qū)間插值。由于4.4主觀Bayes方法當(dāng)時(shí)，有，所以在此區(qū)間插值。324.4主觀Bayes方法解：

依R1，P1（B）＝0.03 O（B1）＝0.03/(1-0.03)=0.030927 O(B1|A1)=LS×O(B1)=20×0.030927=0.61855 P(B1|A1)=0.61855/(1+0.61855)=0.382

使用規(guī)則R1后，B1的概率從0.03上升到0.382

4.4.5例子3例3證據(jù)A1，A2必然發(fā)生，且P（B1）＝0.03規(guī)則如下：R1：A1→B1LS=20LN=1;R2：A2→B1LS=300 LN=1求B1的更新值。4.4主觀Bayes方法解：4.4.5例3證據(jù)334.4主觀Bayes方法依R2：O(B1|A1A2)=300×O(B1|A1)=185.565 P(B1|A1A2)=185.565/(1+185.565)=0.99464

使用規(guī)則R2后，B1的概率從0.382上升到0.994644.4主觀Bayes方法依R2：O(B1|A1A2)=30344.4主觀Bayes方法解： 由于B1不確定，所以討論其前項(xiàng)證據(jù)的影響，用插值法。1）當(dāng)A必然發(fā)生時(shí)，依R1，P（B1）＝0.03 O（B1）＝0.03/(1-0.03)=0.030927 O(B1|A1)=LS×O(B1)=20×0.030927=0.61855 P(B1|A1)=0.61855/(1+0.61855)=0.382

2）當(dāng)P(B1|A1)=1時(shí)，P(B2|B1)=P(B2|A)=LS*P(B2)/（(LS-1）*P(B2)+1)=0.75188

4.4.5例子例4證據(jù)A必然發(fā)生，且P（B1）＝0.03，P(B2)=0.01規(guī)則如下：R1：A→B1LS=20LN=1;R2：B1→B2LS=300 LN=0.0001求B2的更新值。4.4主觀Bayes方法解：4.4.5例4證據(jù)A必353）A對(duì)B1沒(méi)影響，P(B1|A1)=P(B1)=0.03時(shí)，由已知P(B2)=0.01最后進(jìn)行插值：P(B1|A)>P(B1), P(B2|A)=0.01+(0.75188-0.01)(1-0.03)/(0.382-0.03)=0.33）A對(duì)B1沒(méi)影響，P(B1|A1)=P(B1)=0.36

主觀Bayes方法的主要優(yōu)點(diǎn)如下：（1）主觀Bayes方法中的計(jì)算公式大多是在概率論的基礎(chǔ)上推導(dǎo)出來(lái)的，具有較堅(jiān)實(shí)的理論基礎(chǔ)。（2）知識(shí)的靜態(tài)強(qiáng)度LS及LN是由領(lǐng)域?qū)＜腋鶕?jù)實(shí)驗(yàn)經(jīng)驗(yàn)給出的，這就避免了大量的數(shù)據(jù)統(tǒng)計(jì)工作。另外，它既用LS指出了證據(jù)E對(duì)結(jié)論H的支持程度，又用LN指出了E對(duì)H的必要性程度，這就比較全面地反映了證據(jù)與結(jié)論間因果關(guān)系，符合現(xiàn)實(shí)世界中某些領(lǐng)域的實(shí)際情況，使推出的結(jié)論有較準(zhǔn)確的確定性。4.4主觀Bayes方法4.4.6主觀Bayes方法的主要優(yōu)缺點(diǎn)主觀Bayes方法的主要優(yōu)點(diǎn)如下：4.4主觀Bayes37（3）主觀Bayes方法不僅給出了在證據(jù)肯定存在或肯定不存在情況下由H的先驗(yàn)概率更新為后驗(yàn)概率的方法，而且還給出了在證據(jù)不確定情況下更新先驗(yàn)概率為后驗(yàn)概率的方法。另外，由其推理過(guò)程可以看出，它確實(shí)實(shí)現(xiàn)了不確定性的逐級(jí)傳遞。因此，可以說(shuō)主觀Bayes方法是一種比較實(shí)用且較靈活的不確定性推理方法。

它的主要缺點(diǎn)如下（1）要求領(lǐng)域?qū)＜以诮o出知識(shí)的同時(shí)給出H的先驗(yàn)概率P(H)，這是比較困難的。（2）Bayes方法中關(guān)于事件間獨(dú)立性的要求使主觀Bayes方法的應(yīng)用受到了限制。4.4主觀Bayes方法（3）主觀Bayes方法不僅給出了在證據(jù)肯定存在或肯定不存在38所謂可信度就是在實(shí)際生活中根據(jù)自己的經(jīng)驗(yàn)對(duì)某一事物或現(xiàn)象進(jìn)行觀察，判斷相信其為真得程度。例如，張三昨天沒(méi)有上課，他的理由是肚子疼，就此理由而言，聽(tīng)話的人可能完全相信，也可能完全不相信，也可能在某種程度上相信，這與張三平時(shí)的表現(xiàn)和人們對(duì)他的話相信程度有關(guān)。這里的相信程度就是我們說(shuō)的可信度?？尚哦纫卜Q為確定性因子。4.5可信度方法4.5.1可信度的概念所謂可信度就是在實(shí)際生活中根據(jù)自己的經(jīng)驗(yàn)對(duì)某一事4.39在以產(chǎn)生式作為知識(shí)表示的專家系統(tǒng)MYCIN中，用以度量知識(shí)和證據(jù)的不確定性。

顯然，可信度具有較大的主觀性和經(jīng)驗(yàn)性，其準(zhǔn)確性是難以把握的。但是，對(duì)于某一具體領(lǐng)域而言，由于該領(lǐng)域的專家具有豐富的專業(yè)知識(shí)和實(shí)踐經(jīng)驗(yàn)，要給出該領(lǐng)域知識(shí)的可信度還是完全有可能的。另外，人工智能所面臨的問(wèn)題，通常都較難用精確的數(shù)學(xué)模型進(jìn)行描述，而且先驗(yàn)概率及條件概率的確定也比較困難，因此用可信度來(lái)表示知識(shí)及證據(jù)的不確定性仍然不失為一種可行的方法。4.5可信度方法在以產(chǎn)生式作為知識(shí)表示的專家系統(tǒng)MYCIN中，用404.5可信度方法4.5.2C---F模型C-F模型是基于可信度表示的不確定性推理的基本方法，其他可信度方法都是在此基礎(chǔ)上發(fā)展起來(lái)的。1．知識(shí)不確定性的表示2．證據(jù)不確定性的表示3．組合證據(jù)不確定性的算法4．不確定性的傳遞算法5．結(jié)論不確定性的合成算法4.5可信度方法4.5.2C---F模型C-F414.5可信度方法4.5.3可信度方法應(yīng)用舉例已知

R1：IFA1THENB1CF(B1,A1)=0.8；

R2:IFA2THENB1

CF(B1,A2)=0.5；

R3:IFB1∧A3THENB2CF(B2,B1∧A3)=0.8;初始證據(jù)為A1,A2,A3的可信度CF均設(shè)為1，即,CF(A1)=CF(A2)=CF(A3)=1,對(duì)B1,B2一無(wú)所知,求CF(B1)和CF(B2)。例4.5.14.5可信度方法4.5.3可信度方法應(yīng)用舉例已424.5可信度方法解:由于對(duì)B1,B2一無(wú)所知，所以使用合成算法進(jìn)行計(jì)算。由題意得到推理網(wǎng)絡(luò)如下圖所示。B2B1A3A1A24.5可信度方法解:由于對(duì)B1,B2一無(wú)所知，所以434.5可信度方法(1)對(duì)于知識(shí),分別計(jì)算(2)利用合成算法計(jì)算的綜合可信度(3)計(jì)算的可信度，這時(shí)，作為的證據(jù)，其可信度已由前面計(jì)算出來(lái)。CF()=0.9，而的可信度為初始制定的1。由規(guī)則和公式(4.5.1)得到所以，所求得的，的可信度更新值分別為4.5可信度方法(1)對(duì)于知識(shí),分別計(jì)算444.6證據(jù)理論4.6.1基本概念證據(jù)理論假設(shè)有一個(gè)不變的兩兩相斥的完備元素集合U，如下圖所示，這里U為例如,U={三輪車，汽車，火車}U={赤，橙，黃，綠，青，藍(lán)，紫}U={馬，牛，羊，雞，狗，兔}圖4.4證據(jù)理論說(shuō)明圖4.6證據(jù)理論4.6.1基本概念證據(jù)理論假設(shè)454.6證據(jù)理論4.6.2D-S理論證據(jù)理論是用集合表示命題的。設(shè)D是變量x所有可能取值的集合，且D中的元素是互斥的，在任一時(shí)刻x都取D中的某一個(gè)元素為值，則稱D為x的樣本空間。在證據(jù)理論中，D的任何一個(gè)子集A都對(duì)應(yīng)于一個(gè)關(guān)于x的命題，稱該命題為“x的值在A中”。證據(jù)理論中，為了描述和處理不確定性，引入了概率分配函數(shù)、信任函數(shù)及似然函數(shù)等概念。4.6證據(jù)理論4.6.2D-S理論證據(jù)理論是46設(shè)D為樣本空間，領(lǐng)域內(nèi)的命題都用D的子集表示，則概率分配函數(shù)（FunctionofProbabilityAssignment）定義如下。定義4.6.1設(shè)函數(shù)M：,且滿足則稱M是上的概率分配函數(shù)，M(A)稱為A的基本概率函數(shù)（FunctionofBasicProbabilityAssignment），即對(duì)于樣本空間D的任一子集都分配一個(gè)概率值。4.6證據(jù)理論1、概率分配函數(shù)設(shè)D為樣本空間，領(lǐng)域內(nèi)的命題都用D的子集表示，則概率47定義4.6.2設(shè)函數(shù)Bel：,且

（）則稱為命題A的信任函數(shù)（FunctionofBelief）,即命題A的信任函數(shù)值，就是A的所有子集的基本概率分配函數(shù)之和，用來(lái)表示對(duì)A的總信任。Bel函數(shù)又稱為下限函數(shù)，以Bel（A）表示對(duì)命題A為真的信任程度。4.6證據(jù)理論2.信任函數(shù)定義4.6.2設(shè)函數(shù)Bel：48似然函數(shù)（PlausibleFunction）又稱為不可駁斥函數(shù)或上限函數(shù)，下面給出它的定義。定義4.6.3似然函數(shù):,且

（）

命題A的似然函數(shù)值就是所有與A相交的子集的基本概率分配函數(shù)之和，用來(lái)表示不否定A的信任度。4.6證據(jù)理論3.似然函數(shù)似然函數(shù)（PlausibleFunction）又稱49因?yàn)?，所以即由于表示?duì)A為真的信任程度，表示對(duì)A為非假的信任程度，因此可分別稱和為對(duì)A信任程度的下限和上限，記作4.6證據(jù)理論4．信任函數(shù)與似然函數(shù)的關(guān)系因?yàn)?0有時(shí)對(duì)同樣的證據(jù)會(huì)得出兩個(gè)不同的概率分配函數(shù)。例如，對(duì)于樣本空間，從不同的來(lái)源可分別得到如下兩個(gè)概率分配函數(shù)：

此時(shí)需要對(duì)它們進(jìn)行組合，德普斯特提出的組合方法可對(duì)這兩個(gè)概率分配函數(shù)進(jìn)行正交和運(yùn)算。4.6證據(jù)理論5．概率分配函數(shù)的正交和有時(shí)對(duì)同樣的證據(jù)會(huì)得出兩個(gè)不同的概率分配函數(shù)。例如，514.6證據(jù)理論設(shè)是兩個(gè)概率分配函數(shù)，則其正交和為

其中，。如果,則正交和M也是一個(gè)概率分配函數(shù)；如果K＝0,則不存在正交和M，稱矛盾。

定義4.6.44.6證據(jù)理論設(shè)是兩個(gè)概率分配524.6證據(jù)理論定義4.6.5對(duì)于多個(gè)概率分配函數(shù)，如果它們可以組合，則也可通過(guò)正交和運(yùn)算將它們組合為一個(gè)概率分配函數(shù)，其定義如下。設(shè)是n個(gè)概率分配函數(shù)，則其正交和為其中，。4.6證據(jù)理論定義4.6.5對(duì)于多個(gè)概率分配函數(shù)534.6證據(jù)理論定義4.6.56．類概率函數(shù)除了可以利用區(qū)間(Bel(A)和)表示A的不確定性以外，還可以用A的類概率函數(shù)表示A的不確定性。定義4.6.6命題A的類概率函數(shù)為

其中，分別是A及D中元素的個(gè)數(shù)。具有如下性質(zhì)：4.6證據(jù)理論定義4.6.56．類概率函數(shù)除了可544.6證據(jù)理論4.6.3知識(shí)的不確定性的表示在該模型中，不確定性知識(shí)用如下的產(chǎn)生式規(guī)則表示：IFETHENCF={}其中，（1）E為前提條件，它是樣本空間D的子集。E既可以是簡(jiǎn)單條件，也可以是用AND或OR連接起來(lái)的復(fù)合條件。（2）H是結(jié)論，它用樣本空間中的子集表示，是該子集中的元素。（3）CF是可信度因子，用集合形式表示，其中，用來(lái)指出的可信度，與一一對(duì)應(yīng),應(yīng)滿足如下條件4.6證據(jù)理論4.6.3知識(shí)的不確定性的表示在554.6證據(jù)理論4.6.4證據(jù)的不確定性的表示不確定性證據(jù)E的確定性用CER(E)表示。對(duì)于初始證據(jù)，其確定性由用戶給出；當(dāng)用前面推理所得結(jié)論作為當(dāng)前推理的證據(jù)時(shí)，其確定性由推理得到。CER(E)的取值范圍為。1．組合證據(jù)不確定性的算法當(dāng)組合證據(jù)是多個(gè)證據(jù)的合取，即時(shí)，則E的確定性CER(E)為當(dāng)組合證據(jù)是多個(gè)證據(jù)的析取，即時(shí)，則E的確定性CER(E)為4.6證據(jù)理論4.6.4證據(jù)的不確定性的表示不564.6證據(jù)理論2．不確定性的傳遞算法1）如果只有一條知識(shí)支持結(jié)論H，即IFETHEN結(jié)論H的確定性通過(guò)下述步驟求出。對(duì)于上述知識(shí)，H的概率分配函數(shù)規(guī)定為這樣便求得M(H)。4.6證據(jù)理論2．不確定性的傳遞算法574.6證據(jù)理論2）如果有兩條知識(shí)支持同一結(jié)論，即IFTHENIFTHEN結(jié)論H的確定性通過(guò)下述步驟求出。首先分別對(duì)每一條知識(shí)求出概率分配函數(shù)：然后再用公式對(duì)求正交和，從而得到H的概率分配函數(shù)M。4.6證據(jù)理論2）如果有兩條知識(shí)支持同一結(jié)論，即584.6證據(jù)理論3）如果有n條知識(shí)都支持同一結(jié)論H，則用公式

對(duì)求其正交和，從而得到H的概率分配函數(shù)M。最后求出4.6證據(jù)理論3）如果有n條知識(shí)都支持同一結(jié)論H594.6證據(jù)理論4）按如下公式求出H的確定性CER(H)CER(H)=MD(H|E)×f(H)其中，MD(H|E)是知識(shí)的前提條件與相應(yīng)證據(jù)E的匹配度，定義為MD(H|E)這樣，就對(duì)一條知識(shí)或者多條有相同結(jié)論的知識(shí)求出了結(jié)論的確定性。如果該結(jié)論不是最終結(jié)論，即它又要作為另一條知識(shí)的證據(jù)繼續(xù)進(jìn)行推理，則重復(fù)上述過(guò)程就可得到新的結(jié)論及其確定性。如此反復(fù)運(yùn)用該過(guò)程，就可推出最終結(jié)論及它的確定性。4.6證據(jù)理論4）按如下公式求出H的確定性CER604.6證據(jù)理論4.6.5例子例4.6.1已知計(jì)算CER(B)。解先計(jì)算組合證據(jù)的正確性再計(jì)算結(jié)論的分配函數(shù)M({b1},{b2})=(0.6×0.3,0.6×0.5)=(0.18,0.3)4.6證據(jù)理論4.6.5例子例4.6.1已知614.6證據(jù)理論4.6.5例子得到結(jié)論的信任函數(shù)隨之有而對(duì)于D的其他子集的M值均賦予0。得到結(jié)論的似然函數(shù)

最后得到4.6證據(jù)理論4.6.5例子得到結(jié)論的信任函數(shù)624.6證據(jù)理論4.6.6證據(jù)理論的主要優(yōu)缺點(diǎn)最后需要說(shuō)明的是，當(dāng)D中的元素很多時(shí)，信任函數(shù)Bel及正交和等的運(yùn)算將是相當(dāng)復(fù)雜的，工作量很大，這是由于需要窮舉D的所有子集，而子集的數(shù)量是的緣故。另外，證據(jù)理論要求D中的元素是互斥的，這一點(diǎn)在許多應(yīng)用領(lǐng)域也難以做到。為解決這些問(wèn)題，巴尼特提出了一種方法，運(yùn)用這種方法可以降低計(jì)算的復(fù)雜性并解決互斥的問(wèn)題。該方法的基本思想是把D劃分為若干組，每組只包含相互排斥的元素，稱為一個(gè)辨別框，求解問(wèn)題時(shí)，只需在各自的辨別框上考慮概率分配的影響。4.6證據(jù)理論4.6.6證據(jù)理論的主要優(yōu)缺點(diǎn)最634.6證據(jù)理論證據(jù)理論的優(yōu)點(diǎn)是它只需滿足比概率論更弱的公理系統(tǒng)，能處理由“不知道”所引起的不確定性，由于D的子集可以是多個(gè)元素的集合，因而知識(shí)的結(jié)論部分可以是更一般的假設(shè)，這就便于領(lǐng)域?qū)＜覐牟煌恼Z(yǔ)義層次上表達(dá)他們的知識(shí)，不必被限制在由單元素所表示的最明確的層次上。在應(yīng)用證據(jù)理論時(shí)需要注意的是合理地劃分辨別框及有效地控制計(jì)算的復(fù)雜性等。4.6證據(jù)理論證據(jù)理論的優(yōu)點(diǎn)是它只需滿足比概率論64654.7貝葉斯信念網(wǎng)

定義：貝葉斯信念網(wǎng)（簡(jiǎn)稱貝葉斯網(wǎng)）表示一組變量的聯(lián)合概率分布是一個(gè)有向無(wú)環(huán)圖(DAG)隨機(jī)變量集組成網(wǎng)絡(luò)節(jié)點(diǎn)，變量可離散或連續(xù)連接節(jié)點(diǎn)對(duì)的有向邊組成邊集合每節(jié)點(diǎn)yi都有一個(gè)條件概率分布表：P(yi|Parents(yi))，量化其父節(jié)點(diǎn)對(duì)該節(jié)點(diǎn)的影響654.7貝葉斯信念網(wǎng)定義：65貝葉斯信念網(wǎng)的表示貝葉斯信念網(wǎng)的表示66條件概率表每個(gè)節(jié)點(diǎn)旁的條件概率表(簡(jiǎn)稱CPT)中的值對(duì)應(yīng)一個(gè)條件事件的概率如P(A|B,E)=0.94=P(A|Burglary∧

Earthquake)條件事件是父節(jié)點(diǎn)取值的一個(gè)可能組合每行的概率之和應(yīng)該為1一個(gè)具有k個(gè)布爾父節(jié)點(diǎn)的布爾變量的條件概率表中有2k個(gè)獨(dú)立的可指定的概率(注意概率值是獨(dú)立的)沒(méi)有父節(jié)點(diǎn)的節(jié)點(diǎn)的概率只有1行/為先驗(yàn)概率條件概率表每個(gè)節(jié)點(diǎn)旁的條件概率表(簡(jiǎn)稱CPT)中的值對(duì)應(yīng)一個(gè)67貝葉斯網(wǎng)絡(luò)的語(yǔ)義對(duì)聯(lián)合概率分布的表示對(duì)條件依賴性語(yǔ)句集合的編碼兩種觀點(diǎn)等價(jià)，前者幫助我們理解如何構(gòu)造網(wǎng)絡(luò)，后者則幫助我們?cè)O(shè)計(jì)推理過(guò)程。貝葉斯網(wǎng)絡(luò)的語(yǔ)義對(duì)聯(lián)合概率分布的表示6869貝葉斯信念網(wǎng)的表示（2）貝葉斯信念網(wǎng)表示的全聯(lián)合概率計(jì)算公式如下：

69貝葉斯信念網(wǎng)的表示（2）貝葉斯信念網(wǎng)表示的全聯(lián)合概率計(jì)算69貝葉斯信念網(wǎng)的語(yǔ)義公式計(jì)算示例：

試計(jì)算：報(bào)警器響了，但既沒(méi)有盜賊闖入，也沒(méi)有發(fā)生地震，同時(shí)John和Mary都給你打電話的概率。解：

P(J=T,M=T,A=T,B=F,E=F)=P(J=T|A=T)P(M=T|A=T)P(A=T|B=F,E=F)P(B=F)P(E=F)=0.9*0.7*0.001*0.999*0.998=0.00062=0.062%貝葉斯信念網(wǎng)的語(yǔ)義公式計(jì)算示例：試計(jì)算：報(bào)警器響了，但既沒(méi)70貝葉斯網(wǎng)絡(luò)的特性：作為對(duì)域的一種完備而無(wú)冗余的表示，貝葉斯網(wǎng)絡(luò)比全聯(lián)合概率分布緊湊得多BN的緊湊性是局部結(jié)構(gòu)化(Locallystructured,也稱稀疏,Sparse)系統(tǒng)一個(gè)非常普遍特性的實(shí)例BN中每個(gè)節(jié)點(diǎn)只與數(shù)量有限的其它節(jié)點(diǎn)發(fā)生直接的相互作用假設(shè)有n個(gè)隨機(jī)變量，每個(gè)隨機(jī)變量受至多k（k<n)個(gè)其他隨機(jī)變量的影響，則指定每個(gè)條件概率表所需信息至多為2k個(gè)數(shù)據(jù)，整個(gè)網(wǎng)絡(luò)可以由不超過(guò)n2k個(gè)數(shù)據(jù)完全描述。貝葉斯網(wǎng)絡(luò)的特性：作為對(duì)域的一種完備而無(wú)冗余的表示，貝葉斯71參數(shù)復(fù)雜性問(wèn)題貝葉斯信念網(wǎng)表示的聯(lián)合概率計(jì)算公式：全聯(lián)合概率計(jì)算公式：參數(shù)復(fù)雜性問(wèn)題貝葉斯信念網(wǎng)表示的聯(lián)合概率計(jì)算公式：全聯(lián)合概率72參數(shù)復(fù)雜性問(wèn)題

5個(gè)二元變量全聯(lián)合概率計(jì)算公式共32個(gè)參數(shù),需定義31個(gè)參數(shù).BBN的聯(lián)合概率計(jì)算公式共20個(gè)參數(shù),需定義10個(gè)參數(shù)參數(shù)復(fù)雜性問(wèn)題5個(gè)二元變量73參數(shù)復(fù)雜性問(wèn)題假設(shè)節(jié)點(diǎn)數(shù)n=30,每節(jié)點(diǎn)有5個(gè)父節(jié)點(diǎn)，則BN需30x25=960個(gè)數(shù)據(jù)，而全聯(lián)合概率分布需要230=10億個(gè)！參數(shù)復(fù)雜性問(wèn)題假設(shè)節(jié)點(diǎn)數(shù)n=30,每節(jié)點(diǎn)有5個(gè)父節(jié)點(diǎn)，則B74貝葉斯網(wǎng)絡(luò)的構(gòu)造原則：

首先，添加“根本原因”節(jié)點(diǎn)然后，加入受它們直接影響的變量依次類推，直到葉節(jié)點(diǎn)，即對(duì)其它變量沒(méi)有直接因果影響的節(jié)點(diǎn)兩節(jié)點(diǎn)間的有向邊的取舍原則：更高精度概率的重要性與指定額外信息的代價(jià)的折衷“因果模型”比“診斷模型”需要更少的數(shù)據(jù)，且這些數(shù)據(jù)也更容易得到貝葉斯網(wǎng)絡(luò)的構(gòu)造原則：首先，添加“根本原因”節(jié)點(diǎn)75貝葉斯網(wǎng)絡(luò)中的條件獨(dú)立關(guān)系：

給定父節(jié)點(diǎn)，一個(gè)節(jié)點(diǎn)與它的非后代節(jié)點(diǎn)是條件獨(dú)立的給定一個(gè)節(jié)點(diǎn)的父節(jié)點(diǎn)、子節(jié)點(diǎn)以及子節(jié)點(diǎn)的父節(jié)點(diǎn)——馬爾可夫覆蓋(Markovblanket)，這個(gè)節(jié)點(diǎn)和網(wǎng)絡(luò)中的所有其它節(jié)點(diǎn)是條件獨(dú)立的貝葉斯網(wǎng)絡(luò)中的條件獨(dú)立關(guān)系：給定父節(jié)點(diǎn)，一個(gè)節(jié)點(diǎn)與它的非后76【說(shuō)明】：給定節(jié)點(diǎn)X的父節(jié)點(diǎn)U1...Um，節(jié)點(diǎn)X與它的非后代節(jié)點(diǎn)（即Zij）是條件獨(dú)立的。U1UmXZ1jZnjY1Yn【說(shuō)明】：U1UmXZ1jZnjY1Yn77【說(shuō)明】：給定馬爾可夫覆蓋（藍(lán)色的區(qū)域），節(jié)點(diǎn)X和網(wǎng)絡(luò)中所有其它節(jié)點(diǎn)都是條件獨(dú)立的。U1UmXZ1jZnjY1Yn【說(shuō)明】：U1UmXZ1jZnjY1Yn78貝葉斯網(wǎng)絡(luò)建立貝葉斯網(wǎng)絡(luò)的目的有了網(wǎng)絡(luò)。可以提出問(wèn)題：P(問(wèn)題|證據(jù))，如：P(吸煙|肺癌）進(jìn)行概率推理與謂詞邏輯有相似之處。如：患?。ㄎ鼰煟伟┰谀承﹫?chǎng)合下有有效的推理方法。有一些工具包。一般情況下是很困難的，原因不是所有的CPT表都能夠得到網(wǎng)絡(luò)結(jié)構(gòu)大且復(fù)雜NP-hard推理我們要做的是，將問(wèn)題正確的表示為合理的網(wǎng)絡(luò)形式，選用適合的算法。貝葉斯網(wǎng)絡(luò)建立貝葉斯網(wǎng)絡(luò)的目的7980貝葉斯信念網(wǎng)的推理可以用貝葉斯網(wǎng)在給定其他變量的觀察值時(shí)推理出某些目標(biāo)變量的值由于所處理的是隨機(jī)變量，所以一般不會(huì)賦予目標(biāo)變量一個(gè)確切的值真正需要推理的是目標(biāo)變量的概率分布，它指定了在給予其他變量的觀察值條件下，目標(biāo)變量取每一個(gè)可能值的概率在網(wǎng)絡(luò)中所有其他變量都確切知道的情況下，這一推理步驟很簡(jiǎn)單一般來(lái)說(shuō)，貝葉斯網(wǎng)絡(luò)可用于在知道某些變量的值或分布時(shí)計(jì)算網(wǎng)絡(luò)中另一部分變量的概率分布80貝葉斯信念網(wǎng)的推理可以用貝葉斯網(wǎng)在給定其他變量的觀察值時(shí)80貝葉斯網(wǎng)絡(luò)的精確推理概率推理系統(tǒng)中的基本任務(wù)：計(jì)算被查詢變量的后驗(yàn)概率設(shè)X為待查詢變量/e為觀察到的證據(jù)(已知)/E={E1…Em}證據(jù)變量集合/Y={Y1…Yn}既非證據(jù)也非查詢變量的集合(也稱隱變量)全部變量集合={X}∪E∪Y推理的任務(wù)是：求后驗(yàn)概率P(X|e)貝葉斯網(wǎng)絡(luò)的精確推理概率推理系統(tǒng)中的基本任務(wù)：計(jì)算被查詢變量81貝葉斯網(wǎng)絡(luò)的精確推理以防盜警報(bào)為例，已知證據(jù)JohnCalls=True/MaryCalls=True求出現(xiàn)盜賊的概率：P(B|JohnCalls=T,M=F)貝葉斯網(wǎng)絡(luò)的精確推理以防盜警報(bào)為例，已知證據(jù)JohnCall82貝葉斯網(wǎng)絡(luò)的精確推理在貝葉斯網(wǎng)絡(luò)中可通過(guò)計(jì)算條件概率的乘積并求和來(lái)回答查詢。

P(X|e)=P(X,e)=yP(X,e,y)

而P(X,e,y)可寫(xiě)成條件概率乘積的形式。貝葉斯網(wǎng)絡(luò)的精確推理在貝葉斯網(wǎng)絡(luò)中可通過(guò)計(jì)算條件概率的乘積并83（1）通過(guò)枚舉進(jìn)行推理BurglaryEarthquakeMaryCallsJohnCallsAlarm

BEP(A)

tttfftff0.950.940.290.001

AP