湘潭大學(xué) 人工智能課件 非經(jīng)典推理 part 2

1、Artificial Intelligence (AI)人工智能人工智能第三章：非經(jīng)第三章：非經(jīng)典推理典推理內(nèi)容提要1.1.經(jīng)典推理和非經(jīng)典推理經(jīng)典推理和非經(jīng)典推理2.2.不確定性推理不確定性推理3.3.概率推理概率推理4.4.主觀貝葉斯方法主觀貝葉斯方法5.5.可信度方法可信度方法主觀貝葉斯方法v使用概率推理方法求結(jié)論使用概率推理方法求結(jié)論Hi在存在證據(jù)在存在證據(jù)E時(shí)的條件時(shí)的條件概率概率P(Hi|E) ，需要給出結(jié)論，需要給出結(jié)論Hi的先驗(yàn)概率的先驗(yàn)概率P(Hi)及及證據(jù)證據(jù)E的條件概率的條件概率 P(E|Hi)。這對(duì)于實(shí)際應(yīng)用是不這對(duì)于實(shí)際應(yīng)用是不容易做到的容易做到的。vDuda 和和

2、Hart 等人在貝葉斯公式的基礎(chǔ)上，于等人在貝葉斯公式的基礎(chǔ)上，于1976年提出主觀貝葉斯方法，建立了不精確推理年提出主觀貝葉斯方法，建立了不精確推理的模型，并把它成功地應(yīng)用于的模型，并把它成功地應(yīng)用于PROSPECTOR專專家系統(tǒng)（家系統(tǒng)（PROSPECTOR是國際上著名的一個(gè)用是國際上著名的一個(gè)用于勘察固體礦的專家系統(tǒng)）。于勘察固體礦的專家系統(tǒng)）。主觀貝葉斯方法1. 知識(shí)不確定性的表示知識(shí)不確定性的表示2. 證據(jù)不確定性的表示證據(jù)不確定性的表示3. 組合證據(jù)不確定性的計(jì)算組合證據(jù)不確定性的計(jì)算4. 不確定性的更新不確定性的更新5. 主觀貝葉斯方法的推理過程主觀貝葉斯方法的推理過程主觀貝葉斯

3、方法1. 知識(shí)不確定性的表示知識(shí)不確定性的表示2. 證據(jù)不確定性的表示證據(jù)不確定性的表示3. 組合證據(jù)不確定性的計(jì)算組合證據(jù)不確定性的計(jì)算4. 不確定性的更新不確定性的更新5. 主觀貝葉斯方法的推理過程主觀貝葉斯方法的推理過程知識(shí)不確定性的表示v在主觀在主觀Bayes方法中，知識(shí)是用產(chǎn)生式表示的，其方法中，知識(shí)是用產(chǎn)生式表示的，其形式為：形式為： IF E THEN (LS, LN) H E表示規(guī)則前提條件，它既可以是一個(gè)簡單條表示規(guī)則前提條件，它既可以是一個(gè)簡單條件，也可以是用件，也可以是用AND或或OR把多個(gè)簡單條件連把多個(gè)簡單條件連接起來的復(fù)合條件。接起來的復(fù)合條件。H是結(jié)論，用是結(jié)論，

4、用P(H)表示表示H的的先驗(yàn)概率先驗(yàn)概率，它指出沒，它指出沒有任何專門證據(jù)的情況下結(jié)論有任何專門證據(jù)的情況下結(jié)論H為真的概率，為真的概率，其值由領(lǐng)域?qū)＜腋鶕?jù)以往的實(shí)踐經(jīng)驗(yàn)給出。其值由領(lǐng)域?qū)＜腋鶕?jù)以往的實(shí)踐經(jīng)驗(yàn)給出。主觀貝葉斯方法LS是規(guī)則的充分性度量。是規(guī)則的充分性度量。用于指出用于指出E對(duì)對(duì)H的支的支持程度，取值范圍為持程度，取值范圍為0,+)，其定義為：，其定義為：LN是規(guī)則的必要性度量。是規(guī)則的必要性度量。用于指出用于指出E對(duì)對(duì)H為真為真的必要程度，即的必要程度，即E對(duì)對(duì)對(duì)對(duì)H的支持程度。取值范的支持程度。取值范圍為圍為0,+)，其定義為：，其定義為：(|)(|)P E HLSP EH(

5、|)1(|)(|)1(|)PE HP E HLNPEHP EH主觀貝葉斯方法由本由本Bayes公式可知：公式可知：兩式相除得：兩式相除得：(|)()(|)( )(|)()(|)( )P E HP HP H EP EP EHPHPH EP E( |)( |)(| )(| )( )()P E HPPHPHPHH EHEPELS主觀貝葉斯方法為討論方便，下面引入為討論方便，下面引入幾率函數(shù)幾率函數(shù) ：可見，可見，X的幾率等于的幾率等于X出現(xiàn)的概率與出現(xiàn)的概率與X不出現(xiàn)的概率之不出現(xiàn)的概率之比，比， O(X) 與與P(X)的變化一致的變化一致，且有：，且有：即把取值為即把取值為0,1的的P(X)放大為

6、取值為放大為取值為0,+)的的O(X)(1)()()()()(XPXPXOXPXPXO或1)( if0)( if0)(XPXPXO主觀貝葉斯方法因此得到關(guān)于因此得到關(guān)于LS的公式：的公式： E對(duì)對(duì)H的支持程度的支持程度同理得到關(guān)于同理得到關(guān)于LN的公式：的公式： E對(duì)對(duì)H的支持程度的支持程度(|)()()(|)(|)=(|(|)()P E HLSPP HEO HEPHEP HO HPHEH(|()(|)(|)(|)()()|)PE HPLNPEHO HP HEPHHO HEPHE主觀貝葉斯方法當(dāng)當(dāng)LS1時(shí)，時(shí)，O(H|E)O(H)，說明，說明E支持支持H。 LS越大，越大，E對(duì)對(duì)H的支持越充分

7、。的支持越充分。 當(dāng)當(dāng)LS=1時(shí)，時(shí)，O(H|E)=O(H)，說明，說明E對(duì)對(duì)H沒有影響。沒有影響。 當(dāng)當(dāng)LS1時(shí)，時(shí)，O(H|E)1時(shí)，時(shí)，O(H|E)O(H)，說明，說明E支持支持H。LN越大，越大，E對(duì)對(duì)H為真的支持就越強(qiáng)。為真的支持就越強(qiáng)。 當(dāng)當(dāng)LN=1時(shí)，時(shí)，O(H|E)=O(H)，說明，說明E對(duì)對(duì)H沒有影響。沒有影響。 當(dāng)當(dāng)LN1時(shí)，時(shí)，O(H|E)1且且LN1 p LS1 p LS=LN=1 證明：證明： LS1 P(E|H)/P(E|H)1 P(E|H) P(E|H) 1-P(E|H) 1-P(E|H) P(E|H) P(E|H) P(E|H) /P(E|H) 1 LN 1同理

8、可證明、同理可證明、 ，證明略，證明略主觀貝葉斯方法1. 知識(shí)不確定性的表示知識(shí)不確定性的表示2. 證據(jù)不確定性的表示證據(jù)不確定性的表示3. 組合證據(jù)不確定性的計(jì)算組合證據(jù)不確定性的計(jì)算4. 不確定性的更新不確定性的更新5. 主觀貝葉斯方法的推理過程主觀貝葉斯方法的推理過程證據(jù)不確定性的表示v在主觀在主觀Bayes方法中，證據(jù)方法中，證據(jù)E的不精確性是用其的不精確性是用其概率概率或或幾率幾率來表示的。概率與幾率之間的關(guān)系為：來表示的。概率與幾率之間的關(guān)系為： v在實(shí)際應(yīng)用中，若證據(jù)在實(shí)際應(yīng)用中，若證據(jù)E是不可以直接觀測的，則需是不可以直接觀測的，則需要由用戶根據(jù)觀察要由用戶根據(jù)觀察S給出給出P

9、(E|S)，即，即動(dòng)態(tài)強(qiáng)度動(dòng)態(tài)強(qiáng)度。用。用P(E|S)描述證據(jù)描述證據(jù)E的不確定性的不確定性 。v由于主觀給定由于主觀給定P(E|S)有所困難，所以實(shí)際中可以用有所困難，所以實(shí)際中可以用可可信度信度C(E|S)代替代替P(E|S)。0 ( )( ) 1( )(0,)EP EO EEP EE當(dāng) 為假當(dāng) 為真當(dāng) 非真也非假( )( )1( )O EP EO E證據(jù)不確定性的表示v在在PROSPECTOR中中C(E|S)取整數(shù)：取整數(shù)：-5,.,5C(E|S)=-5表示在觀測表示在觀測S下證據(jù)下證據(jù)E肯定不存在肯定不存在P(E|S)=0C(E|S)= 5表示在觀測表示在觀測S下證據(jù)下證據(jù)E肯定存在肯

10、定存在P(E|S)=1C(E|S)= 0表示表示S與與E無關(guān)無關(guān),即即:P(E|S)= P(E) C(E|S)與與P(E|S)的對(duì)應(yīng)關(guān)系如下（分段線性插值）：的對(duì)應(yīng)關(guān)系如下（分段線性插值）：( | )( ) (5( | )0( | ) 55(| )( ) (5( | )5( | ) 05C E SP EC E SC E SP E SP EC E SC E S 55 ( | )( ) ( )( | ) 11( )(| )( | )( )0( | )( )( )P E SP EP EP E SP EC E SP E SP EP E SP EP E主觀貝葉斯方法1. 知識(shí)不確定性的表示知識(shí)不確定性的

11、表示2. 證據(jù)不確定性的表示證據(jù)不確定性的表示3. 組合證據(jù)不確定性的計(jì)算組合證據(jù)不確定性的計(jì)算4. 不確定性的更新不確定性的更新5. 主觀貝葉斯方法的推理過程主觀貝葉斯方法的推理過程組合證據(jù)不確定性的計(jì)算v證據(jù)的基本組合方式包括證據(jù)的基本組合方式包括合取合取和和析取析取兩種兩種合?。汉先。寒?dāng)組合證據(jù)是多個(gè)單一證據(jù)的合?。寒?dāng)組合證據(jù)是多個(gè)單一證據(jù)的合取：E = E1 AND E2 AND AND En則：則：P(E|S)=min P(E1|S), P(E2|S), ,P(En|S)析?。何鋈。寒?dāng)組合證據(jù)是多個(gè)單一證據(jù)的析?。寒?dāng)組合證據(jù)是多個(gè)單一證據(jù)的析?。?E = E1 OR E2 OR OR

12、 En 則：則：P(E|S)=maxP(E1|S),P(E2|S),P(En|S)主觀貝葉斯方法1. 知識(shí)不確定性的表示知識(shí)不確定性的表示2. 證據(jù)不確定性的表示證據(jù)不確定性的表示3. 組合證據(jù)不確定性的計(jì)算組合證據(jù)不確定性的計(jì)算4. 不確定性的更新不確定性的更新5. 主觀貝葉斯方法的推理過程主觀貝葉斯方法的推理過程不確定性的更新根據(jù)證據(jù)根據(jù)證據(jù)E在觀察在觀察S下的條下的條件概率件概率P(E|S) 以及以及LS和和LN的值，把的值，把H的的先驗(yàn)幾率先驗(yàn)幾率O(H)或或先驗(yàn)概率先驗(yàn)概率P(H)更新為更新為后驗(yàn)幾率后驗(yàn)幾率O(H| S)或或后后驗(yàn)概率驗(yàn)概率P(H| S) 。v當(dāng)證據(jù)不確定時(shí)，需要當(dāng)

13、證據(jù)不確定時(shí)，需要使用使用Duda等給出的公式等給出的公式計(jì)計(jì)算后驗(yàn)概率算后驗(yàn)概率： P(H|S) = P(H|E)P(E|S)+P(H|E)P(E|S)不確定性的更新1. 證據(jù)證據(jù)E肯定為真：肯定為真： p P(E|S)=1， P(E|S)=0， P(H|S) = P(H|E)2. 證據(jù)證據(jù)E肯定為假：肯定為假：p P(E|S)=0， P(E|S)=1， P(H|S) = P(H|E)3. 證據(jù)證據(jù)E既非為真又非為假：既非為真又非為假： 0P(E|S)P(E1)，使，使用用EH式的后半部分，得式的后半部分，得P(H1|S1)為：為：1111111111()()( (|)()1()(0.167

14、0.091)0.091(0.760.6)1 0.60(.1 1(|2|)P HP HP ESP EP EHPEPHS111111()(|)(1)() 12 0.0910.167(2 1) 0.091 1LSP HP HELSP H主觀貝葉斯方法的推理過程v 計(jì)算計(jì)算P (H1 | (S1 AND S2) 由于由于r2的前件是的前件是E1、E2的合取關(guān)系，且已的合取關(guān)系，且已 P(E1|S1)=0.76，P(E2|S2)=0.68 則則: P(E2|S2)P(E2)，還使用，還使用EH公式的后半部分，公式的后半部分，得得P(H1|S2)為：為：1211222212()()( (|)()1()(0

15、.9090.091)0.091(0.680.6)0.2551 0.6)(|)(|P HP HP ESP EP EHPEPHS211221()(|)(1)() 1100 0.0910.909(100 1) 0.091 1LSP HP HELSP H主觀貝葉斯方法的推理過程v (3) 計(jì)算計(jì)算P (H1 | S1, S2) 要計(jì)算要計(jì)算P(H1 | S1, S2)需要先根據(jù)如下公式計(jì)算需要先根據(jù)如下公式計(jì)算O(H1 | S1, S2) 其中其中, O(H1 | S1), O(H1 | S2)和和O(H1)可以分別根據(jù)可以分別根據(jù)P(H1 | S1), P(H1 | S2)和和P(H1)計(jì)算得到：計(jì)

16、算得到：1111211112(|)(|,)0.1380.3420.10.()()(4720.10.1()|)O HO HO HO HO HSOS SHS111111(|)0.121(|)0.1381(|)1 0.121P HSO HSP HS主觀貝葉斯方法的推理過程v (3) 計(jì)算計(jì)算P (H1 | S1, S2) 最后根據(jù)最后根據(jù)O(H1 | S1, S2)的值計(jì)算的值計(jì)算P(H1 | S1, S2)111()0.091()0.11()1 0.091P HO HP H121212(|)0.255(|)0.3421(|)1 0.255P HSO HSP HS112112112(|,)0.472

17、(|,)0.3211(|,)10.472O HS SP HS SO HS S主觀貝葉斯方法的推理過程v (4) 計(jì)算計(jì)算P(H2|S1,S2) 對(duì)于規(guī)則對(duì)于規(guī)則r3 ，H1相當(dāng)于已知事實(shí)，相當(dāng)于已知事實(shí)，H2為結(jié)論。將為結(jié)論。將H2的先驗(yàn)的先驗(yàn)概率概率P(H2)更新為在更新為在H1下的后驗(yàn)概率下的后驗(yàn)概率P(H2|H1): 由于由于P(H1|S1,S2) =0.321 P(H1)，使用，使用EH式的后半部分，得式的后半部分，得到在當(dāng)前觀察到在當(dāng)前觀察S1、S2下下H2的后驗(yàn)概率的后驗(yàn)概率P(H2|S1,S2):322132()200 0.01(|)0.669(1)() 1(200 1) 0.01 1LSP HP HHLSP H212212221211(|)()(|,)() (|,)()1()0.6690.010.01(0.321 0.091)0.1771 0.091P HHP HP HS SP HP HS SP HP H將將S1,S2看做觀看做觀察察S，將，將H1看看做證據(jù)做證據(jù)EP(H2) = 0.01, 后驗(yàn)概率提高了后驗(yàn)概率提高了16倍多！倍多！主觀貝葉斯方法的推理過程p 主觀主觀Bayes方法中的計(jì)算公式大多是在概率論的基礎(chǔ)上推導(dǎo)出來方法中的計(jì)算公式大多是在概率論的基礎(chǔ)上推導(dǎo)出來的，具有較堅(jiān)實(shí)的理論基礎(chǔ)。的，具有較堅(jiān)實(shí)的理論基礎(chǔ)。p 知識(shí)的靜態(tài)強(qiáng)度知識(shí)的靜態(tài)強(qiáng)度LS及及L