人工智能第五章不確定性推理

人工智能第五章不確定性推理第一頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五第五章不確定性推理概述概率論基礎(chǔ)Bayes網(wǎng)絡(luò)主觀Bayes方法確定性方法證據(jù)理論第二頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概述一個(gè)人工智能系統(tǒng)，由于知識(shí)本身的不精確和不完全，常采用非標(biāo)準(zhǔn)邏輯意義下的不確定性推理方法和非單調(diào)推理方法。對(duì)于不確定推理來(lái)說，不精確性如何描述以及如何傳播是主要問題。對(duì)于非單調(diào)推理來(lái)說，如何提出合理的假設(shè)以及矛盾的處理是主要問題。第三頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五不確定推理方法是70年代提出并加以研究的，實(shí)際的人工智能系統(tǒng)采用的不確定推理常是不夠嚴(yán)謹(jǐn)?shù)模心芙鉀Q些問題，符合人類專家的直覺，在概率上也可給出某種解釋。Shortliffe等人1975年結(jié)合MYCIN系統(tǒng)的建立提出了確定性理論。Duda等人1976年結(jié)合PROSPECTOR系統(tǒng)給出了主觀概率法。DempsterShafer1976年提出證據(jù)理論。Zadeh1978年提出了可能性理論，1983年提出了模糊邏輯。Bundy1984年提出了關(guān)聯(lián)值計(jì)算。Cohen1985年討論一種非數(shù)值方法稱作批注理論。Nilsson1986年提出概率邏輯。Pearl等人1986年信任網(wǎng)絡(luò)。概述第四頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概述不確定推理知識(shí)庫(kù)是人工智能系統(tǒng)的核心，而知識(shí)庫(kù)中的知識(shí)既有規(guī)律性的一般原理，又有大量的不完全的專家經(jīng)驗(yàn)知識(shí)，這樣的知識(shí)不可避免的帶有模糊性、隨機(jī)性、不可靠或不知道等不確定因素。一般地說，不確定性是來(lái)自知識(shí)的客觀現(xiàn)實(shí)和知識(shí)的主觀認(rèn)識(shí)水平。不確定性是人們思維過程中經(jīng)常出現(xiàn)的一種心理狀態(tài)，人們?cè)谌粘Ｉ钪幸幚泶罅康牟淮_定性問題?，F(xiàn)實(shí)世界上幾乎沒有什么事情是完全確定的，處理不確定性的目的是希望得到對(duì)某一命題的精確判斷。第五頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概述不精確思維并非專家的習(xí)慣或愛好所至，而是客觀現(xiàn)實(shí)的要求。很多原因?qū)е峦唤Y(jié)果推理所需的信息不完備背景知識(shí)不足信息描述模糊信息中含有噪聲規(guī)劃是模糊的推理能力不足解題方案不唯一在人類的知識(shí)和思維行為中，精確性只是相對(duì)的，不精確性才是絕對(duì)的。知識(shí)工程需要各種適應(yīng)不同類的不精確性特點(diǎn)的不精確性知識(shí)描述方法和推理方法。第六頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概述-表示的3方面問題不確定問題的數(shù)學(xué)模型一個(gè)問題的代數(shù)模型是由論域、運(yùn)算和公理組成的。依這種觀點(diǎn)，我們希望所引入的各種不確定推理方法應(yīng)符合某種代數(shù)結(jié)構(gòu)，如在某種意義下構(gòu)成半群（在不確定性值域上，對(duì)不確定性度量的合成運(yùn)算來(lái)說，具有封閉性并滿足結(jié)合律），甚至反過來(lái)把這種結(jié)構(gòu)做為建立一種不確定推理方法的必要條件。以這種觀點(diǎn)建立的不確定問題模型必須說明不確定知識(shí)的表示、計(jì)算和語(yǔ)義解釋這三個(gè)方面。第七頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概述-表示的3方面問題不確定問題的數(shù)學(xué)模型表示的3方面問題表示問題指的是采用什么方法描述不確定性，這是解決不確定推理的關(guān)鍵一步。通常有數(shù)值表示和非數(shù)值的語(yǔ)義表示方法，兩者都不完善。數(shù)值表示便于計(jì)算、比較，再考慮到定性的非數(shù)值描述才能較好的解決不確定問題。如對(duì)規(guī)則A→B和命題（事實(shí)）A分別以f(B，A)和C(A)來(lái)表示不確定性度量。第八頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五基于概率的方法依據(jù)概率論的有關(guān)理論發(fā)展起來(lái)的方法模糊推理

依據(jù)模糊理論發(fā)展起來(lái)的方法(1)數(shù)值方法(1)數(shù)值方法概述-表示的3方面問題第九頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五

純概率方法雖然有嚴(yán)密的理論依據(jù)，但它通常要求給出事件的先驗(yàn)概率和條件概率，而這些數(shù)據(jù)又不易獲得，因此其應(yīng)用受到了限制。為了解決這個(gè)問題，人們?cè)诟怕世碚摰幕A(chǔ)上發(fā)展起來(lái)了一些新的方法及理論。（3）證據(jù)理論:它通過定義信任函數(shù)、似然函數(shù)，把知道和不知道區(qū)別開來(lái)。（2）可信度方法:它是MYCIN專家系統(tǒng)中使用的不確定推理模型，它以確定性理論為基礎(chǔ)，方法簡(jiǎn)單、易用。（1）主觀Bayes方法:它是PROSPECTOR專家系統(tǒng)中使用的不確定推理模型，是對(duì)Bayes公式修正后形成的一種不確定推理方法。概述-表示的3方面問題第十頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概述-表示的3方面問題計(jì)算問題不確定性的傳播和更新。也是獲取新信息的過程。例如：

(1)已知C(A)和f(B,A)，如何計(jì)算A→B結(jié)論的C(B)。

(2)A的度量C1(A)已知，又從另一個(gè)規(guī)則得C2(A）時(shí)，如何確定C(A)。

(3)C(A1∧A2)，C(A1∨A1)等如何由C(A1)和C(A2)來(lái)計(jì)算。當(dāng)然初始命題的不確定性度量的獲得也是重要的，這常常是主觀確定的由有關(guān)領(lǐng)域的專家給出。第十一頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五不確定性推理例子例如，對(duì)于如下的推理過程：R1：A2∧A3→B1R2：A1∨A2→B2R3：B1→BR4：B2→B

在描述這些規(guī)則時(shí)，采用的都是不確定性知識(shí)表示方式。第十二頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五推理樹結(jié)果圖

用推理樹表示如圖：第十三頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概述-表示的3方面問題語(yǔ)義問題如何解釋表示和計(jì)算的含義，目前多用概率方法。如：f（B，A）可理解為當(dāng)前提A為真時(shí)結(jié)論B為真的一種影響程度，C（A）可理解為A為真的程度。特別關(guān)心的是f（B，A）的特殊值的意義：

1）A(T)→B(T)，f（B，A）=? 2）A(T)→B(F)，f（B，A）=? 3）B獨(dú)立于A，f（B，A）=?

第十四頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概述-表示的3方面問題

對(duì)C（A）關(guān)心的是其在特殊狀態(tài)下的意義：

1）A為TRUE，C（A）=?

2）A為FALSE，C（A）=?

3）對(duì)A一無(wú)所知時(shí)，C(A)=?

其中，T：True，F(xiàn)：False第十五頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五1．表示問題（1）知識(shí)不確定性的表示（2）證據(jù)的不確定性表示2．計(jì)算問題（1）不確定性的傳遞算法（2）結(jié)論不確定性的合成（3）組合證據(jù)的不確定性算法3．語(yǔ)義問題(1)知識(shí)的不確定性度量，需要定義在三個(gè)典型情況下的取值。(2)對(duì)于證據(jù)的不確定性度量，需要定義在三個(gè)典型情況下的取值。要實(shí)現(xiàn)對(duì)不確定性知識(shí)的處理，必須要解決不確定知識(shí)的表示問題，不確定信息的計(jì)算問題，以及不確定性表示和計(jì)算的語(yǔ)義解釋問題。概述-表示的3方面問題第十六頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概述-分類

不確定性推理方法可分為形式化方法和非形式化方法。形式化方法：有邏輯法、新計(jì)算法和新概率法。邏輯法邏輯法是非數(shù)值方法，采用多值邏輯和非單調(diào)邏輯來(lái)處理不確定性。傳統(tǒng)的有基于概率理論的貝葉斯網(wǎng)絡(luò)等。第十七頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概述-分類新計(jì)算法新計(jì)算法認(rèn)為概率法不足以描述不確定性，從而出現(xiàn)了證據(jù)理論（也叫Dempster－Shafter，D-S方法），確定性方法（CF法）以及模糊邏輯方法。新概率法新概率法試圖在傳統(tǒng)的概率論框架內(nèi)，采用新的計(jì)算方法以適應(yīng)不確定性描述。非形式化方法：是指啟發(fā)性方法，對(duì)不確定性沒有給出明確的概念。

第十八頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五

不確定推理方法：工程方法、控制方法和并行確定性法。工程法將問題簡(jiǎn)化為忽略哪些不確定性因素。控制法利用控制策略來(lái)消除不確定性的影響，如啟發(fā)式的搜索方法。通過識(shí)別領(lǐng)域中引起不確定性的某些特征及相應(yīng)的控制策略來(lái)限制或減少不確定性對(duì)系統(tǒng)產(chǎn)生的影響，這類方法沒有處理不確定性的統(tǒng)一模型，其效果極大地依賴于控制策略。概述-分類第十九頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五并行確定性法把不確定性的推理分解為兩個(gè)相對(duì)獨(dú)立的過程：

1）不計(jì)不確定性采用標(biāo)準(zhǔn)邏輯進(jìn)行推理；

2）對(duì)第一個(gè)過程的結(jié)論加以不確定性的度量。前一過程決定信任什么，后一過程決定對(duì)它的信任程度。概述-分類第二十頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五第五章不確定性推理概述概率論基礎(chǔ)Bayes網(wǎng)絡(luò)主觀Bayes方法確定性方法證據(jù)理論第二十一頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五第五章不確定性推理概述概率論基礎(chǔ)Bayes網(wǎng)絡(luò)主觀Bayes方法確定性方法證據(jù)理論第二十二頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概率論基礎(chǔ)概率論是研究隨機(jī)現(xiàn)象中數(shù)量規(guī)律的科學(xué)。所謂隨機(jī)現(xiàn)象是指在相同的條件下重復(fù)進(jìn)行某種實(shí)驗(yàn)時(shí)，所得實(shí)驗(yàn)結(jié)果不一定完全相同且不可預(yù)知的現(xiàn)象。眾所周知的是擲硬幣的實(shí)驗(yàn)。人工智能所討論的不確定性現(xiàn)象，雖然不完全是隨機(jī)的過程，但是實(shí)踐證明，采用概率論的思想方法考慮能夠得到較好的結(jié)果。在這節(jié)中我們簡(jiǎn)單給出概率論的基本概念和貝葉斯定理。

第二十三頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概率論基礎(chǔ)（隨機(jī)事件）隨機(jī)實(shí)驗(yàn)：隨機(jī)實(shí)驗(yàn)是一個(gè)可觀察結(jié)果的人工或自然的過程，其產(chǎn)生的結(jié)果可能不止一個(gè)，且不能事先確定會(huì)產(chǎn)生什么結(jié)果。

樣本空間：樣本空間是一個(gè)隨機(jī)實(shí)驗(yàn)的全部可能出現(xiàn)的結(jié)果的集合，通常記作Ω，Ω中的點(diǎn)（即一個(gè)可能出現(xiàn)的實(shí)驗(yàn)結(jié)果）成為樣本點(diǎn)，通常記作ω。隨機(jī)事件：隨機(jī)事件是一個(gè)隨機(jī)實(shí)驗(yàn)的一些可能結(jié)果的集合，是樣本空間的一個(gè)子集。常用大寫字母A,B,C,…表示。

第二十四頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概率論基礎(chǔ)（事件間的關(guān)系與運(yùn)算）兩個(gè)事件A與B可能有以下幾種特殊關(guān)系：包含：若事件B發(fā)生則事件A也發(fā)生，稱“A包含B”，或“B含于A”，記作AB或BA。等價(jià)：若AB且BA，即A與B同時(shí)發(fā)生或同時(shí)不發(fā)生，則稱A與B等價(jià)，記作A=B?；コ猓喝鬉與B不能同時(shí)發(fā)生，則稱A與B互斥，記作：對(duì)立：若A與B互斥，且必有一個(gè)發(fā)生，則稱A與B對(duì)立，記作A=~B或B=~A，又稱A為B的余事件，或B為A的余事件。任意兩個(gè)事件不一定會(huì)是上述幾種關(guān)系中的一種。

第二十五頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概率論基礎(chǔ)（事件間的關(guān)系與運(yùn)算）設(shè)A，B，A1，A2，…An為一些事件，它們有下述的運(yùn)算：交：記C=“A與B同時(shí)發(fā)生”，稱為事件A與B的交，C={ω|ω∈A且ω∈B}，記作或C=AB。類似地用表示事件“n個(gè)事件A1,A2,…An同時(shí)發(fā)生”。并：記C=“A與B中至少有一個(gè)發(fā)生”，稱為事件A與B的并，C={ω|ω∈A或ω∈B}，記作。第二十六頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概率論基礎(chǔ)（事件間的關(guān)系與運(yùn)算）

類似地用表示事件“n個(gè)事件A1,A2,…An中至少有一個(gè)發(fā)生”。差：記C=“A發(fā)生而B不發(fā)生”，稱為事件A與B的差，C={ω|ω∈A但ω∈B}，記作C=A\B或C=A-B。求余：第二十七頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概率論基礎(chǔ)（運(yùn)算的性質(zhì)）事件的運(yùn)算有以下幾種性質(zhì)：交換率：結(jié)合律：分配律：摩根率：事件計(jì)算的優(yōu)先順序?yàn)椋呵笥?、交、差和并?/p>

第二十八頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概率論基礎(chǔ)（概率定義）定義：設(shè)Ω為一個(gè)隨機(jī)實(shí)驗(yàn)的樣本空間，對(duì)Ω上的任意事件A，規(guī)定一個(gè)實(shí)數(shù)與之對(duì)應(yīng)，記為P(A)，滿足以下三條基本性質(zhì)，稱為事件A發(fā)生的概率：

若二事件AB互斥，即AB=φ，則

以上三條基本規(guī)定是符合常識(shí)的。

第二十九頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概率論基礎(chǔ)（概率性質(zhì)）定義：設(shè){An,n=1,2,…}為一組有限或可列無(wú)窮多個(gè)事件，兩兩不相交，且，則稱事件族{An,n=1,2,…}為樣本空間Ω的一個(gè)完備事件族，又若對(duì)任意事件B有BAn=An或φ,n=1,2,…，則稱{An,n=1,2,…}為基本事件族。完備事件族與基本事件族有如下的性質(zhì)：定理：若{An,n=1,2,…}為一完備事件族，則，且對(duì)于一事件B有有若{An,n=1,2,…}為一基本事件族，則第三十頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概率論基礎(chǔ)（統(tǒng)計(jì)概率性質(zhì)）對(duì)任意事件A，有。必然事件Ω的概率P(Ω)=1，不可能事件φ的概率P(φ)=0。對(duì)任意事件A，有。設(shè)事件A1，A2，…An（k≤n）是兩兩互不相容的事件，即有，則設(shè)A，B是兩事件，則，

第三十一頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概率論基礎(chǔ)（條件概率）定義：設(shè)A，B為事件且P(A)>0，稱

為事件A已發(fā)生的條件下，事件B的條件概率，P(A)在概率推理中稱為邊緣概率。簡(jiǎn)稱P(B|A)為給定A時(shí)B發(fā)生的概率。P(AB)稱為A與B的聯(lián)合概率。有聯(lián)合概率公式：第三十二頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概率論基礎(chǔ)（條件概率性質(zhì)）

，若，則乘法公式：

全概率公式：設(shè)A1，A2，…An互不相交，，且，則對(duì)于任意事件A有第三十三頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概率論基礎(chǔ)（貝葉斯定理）設(shè)A，B1，B2，…，Bn為一些事件，P(A)>0，B1，B2，…，Bn互不相交，P(Bi)>0,i=1,2,…,n，且，則對(duì)于k=1,2,…,n，有:

貝葉斯公式容易由條件概率的定義、乘法公式和全概率公式得到。在貝葉斯公式中，P(Bi),i=1,2,…,n稱為先驗(yàn)概率，而P(Bi|A)i=1,2,…,n稱為后驗(yàn)概率也是條件概率。

第三十四頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五概率論基礎(chǔ)（幾率函數(shù)

）幾率函數(shù)

幾率函數(shù)定義為：它表示x的出現(xiàn)概率與不出現(xiàn)概率之比，顯然隨P(x)的加大O(x)也加大，而且當(dāng)P(x)=0時(shí)，有O(x)＝0當(dāng)P(x)=0.5時(shí)，有O(x)＝1當(dāng)P(x)=1時(shí)，有O(x)＝∞于是，取值于[0,1]的P(x)被放大為取值于[0,∞]的O(x)。

第三十五頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五第五章不確定性推理概述概率論基礎(chǔ)Bayes網(wǎng)絡(luò)主觀Bayes方法確定性方法證據(jù)理論第三十六頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五第五章不確定性推理概述概率論基礎(chǔ)Bayes網(wǎng)絡(luò)主觀Bayes方法確定性方法證據(jù)理論第三十七頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)二十世紀(jì)八十年代貝葉斯網(wǎng)絡(luò)（BayesNetwork）成功地應(yīng)用于專家系統(tǒng)，成為表示不確定性專家知識(shí)和推理的一種流行的方法。基于貝葉斯方法的貝葉斯網(wǎng)絡(luò)是一種適應(yīng)性很廣的手段和工具，具有堅(jiān)實(shí)的數(shù)學(xué)理論基礎(chǔ)。在綜合先驗(yàn)信息（領(lǐng)域知識(shí)）和數(shù)據(jù)樣本信息的前提下，還可避免只使用先驗(yàn)信息可能帶來(lái)的主觀偏見。雖然很多貝葉斯網(wǎng)絡(luò)涉及的學(xué)習(xí)問題是NP難解的。但是，由于已經(jīng)有了一些成熟的近似解法，加上一些限制后計(jì)算可大為簡(jiǎn)化，很多問題可以利用近似解法求解。第三十八頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)方法的不確定性表示基本上是保持了概率的表示方式，可信度計(jì)算也是概率計(jì)算方法，只是在實(shí)現(xiàn)時(shí)，各具體系統(tǒng)根據(jù)應(yīng)用背景的需要采用各種各樣的近似計(jì)算方法。推理過程稱為概率推理。因此，貝葉斯網(wǎng)絡(luò)沒有其它確定性推理方法擁有的確定性表示、計(jì)算、語(yǔ)義解釋等問題。本節(jié)只介紹貝葉斯網(wǎng)絡(luò)的基本概念和簡(jiǎn)單的推理方法。第三十九頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（事件的獨(dú)立性）獨(dú)立：如果X與Y相互獨(dú)立，則

P(X,Y)=P(X)P(Y)P(X|Y)=P(X)條件獨(dú)立：如果在給定Z的條件下，X與Y相互獨(dú)立，則

P(X|Y,Z)=P(X|Z)

實(shí)際中，條件獨(dú)立比完全獨(dú)立更重要。第四十頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（聯(lián)合概率）聯(lián)合概率：P(X1,X2,…,XN)二值，則有2N可能的值，其中2N-1個(gè)獨(dú)立。不是二值哪？如果相互獨(dú)立：

P(X1,X2,…,XN)=P(X1)P(X2)…P(XN)條件概率：

P(X1,X2,…,XN)=P(X1|X2,…,XN)P(X2,…,XN)

迭代表示：

P(X1,X2,…,XN)=P(X1)P(X2|X1)P(X3|X2X1)…P(XN|XN-1,…,X1)=P(XN)P(XN-1|XN)P(XN-2|XN-1XN)…P(X1|X2,…,XN)

實(shí)際應(yīng)用中就是利用條件獨(dú)立性的性質(zhì)簡(jiǎn)化網(wǎng)絡(luò)復(fù)雜性的。第四十一頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（基本概念）貝葉斯網(wǎng)絡(luò)：一系列變量的聯(lián)合概率分布的圖形表示。一個(gè)表示變量之間的相互依賴關(guān)系的數(shù)據(jù)結(jié)構(gòu)；圖論與概率論的結(jié)合。第四十二頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（因果關(guān)系網(wǎng)絡(luò)）假設(shè)：命題S(smoker)：該患者是一個(gè)吸煙者命題C(coalMiner)：該患者是一個(gè)煤礦礦井工人命題L(lungCancer)：他患了肺癌命題E(emphysema)：他患了肺氣腫由專家給定的假設(shè)可知，命題S對(duì)命題L和命題E有因果影響，而C對(duì)E也有因果影響。命題之間的關(guān)系可以描繪成因果關(guān)系網(wǎng)。每一個(gè)結(jié)點(diǎn)代表一個(gè)證據(jù)，每一條弧代表一條規(guī)則（假設(shè)），連接結(jié)點(diǎn)的弧表達(dá)了有規(guī)則給出的，結(jié)點(diǎn)間的直接因果關(guān)系。第四十三頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（因果關(guān)系圖例）其中，結(jié)點(diǎn)S、C是結(jié)點(diǎn)L和E的父結(jié)點(diǎn)或稱雙親結(jié)點(diǎn)，同時(shí)，L、E也稱為是S和C的子結(jié)點(diǎn)或稱后代結(jié)點(diǎn)。SCEL因果關(guān)系圖例

第四十四頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（貝葉斯網(wǎng)絡(luò)）貝葉斯網(wǎng)就是一個(gè)在弧的連接關(guān)系上加入連接強(qiáng)度的因果關(guān)系網(wǎng)絡(luò)。第四十五頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（圖例）

貝葉斯網(wǎng)絡(luò)圖例無(wú)環(huán)圖和指定概率值P(A),P(B),P(B|AC),

P(E|C),P(D|C),P(F|E),P(G|DEF)BADEFCG第四十六頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（圖例）非貝葉斯網(wǎng)絡(luò)圖例

BADCEGF第四十七頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（定義）兩個(gè)部分貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)圖，這是一個(gè)有向無(wú)環(huán)圖（DAG:DirectedAcyclicGraph），其中圖中的每個(gè)結(jié)點(diǎn)代表相應(yīng)的變量。當(dāng)有向弧由結(jié)點(diǎn)A指向結(jié)點(diǎn)B時(shí)，則稱：A是B的父結(jié)點(diǎn)；B是A的子結(jié)點(diǎn)。結(jié)點(diǎn)和結(jié)點(diǎn)之間的條件概率表（ConditionalProbabilityTable,CPT），也就是一系列的概率值，表示了局部條件概率分布。P(node|parents)。目的：由證據(jù)得出原因發(fā)生的概率。即觀察到P(Y)，求P(X|Y)。第四十八頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（如何構(gòu)造）貝葉斯網(wǎng)絡(luò)的構(gòu)造過程如下：確定為建立網(wǎng)絡(luò)模型有關(guān)的變量及其解釋。建立一個(gè)表示條件獨(dú)立斷言的有向無(wú)環(huán)圖。指派局部概率分布p(xi|pai)。其中，pai表示變量xi的父結(jié)點(diǎn)集。第四十九頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（如何構(gòu)造）貝葉斯網(wǎng)絡(luò)的構(gòu)造過程如下：選擇變量，生成結(jié)點(diǎn)從左至右（從上到下），排列結(jié)點(diǎn)填充網(wǎng)絡(luò)連接弧，表示結(jié)點(diǎn)之間的關(guān)系得到條件概率關(guān)系表?xiàng)l件概率表示的概率網(wǎng)絡(luò)有時(shí)叫“BeliefNets”第五十頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（計(jì)算）有向非循環(huán)圖是各個(gè)結(jié)點(diǎn)變量關(guān)系傳遞的合理表達(dá)形式。條件概率的引入使得計(jì)算較之全連接網(wǎng)絡(luò)有了大大的簡(jiǎn)化。CPT表相對(duì)比較容易得到。有時(shí)可以用某種概率分布表示，需要做的只是計(jì)算表示的參數(shù)。第五十一頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（計(jì)算續(xù)）簡(jiǎn)單的聯(lián)合概率可以直接從網(wǎng)絡(luò)關(guān)系上得到。如：

P(X,Y)=P(X)P(Y|X)

又如：

P(X,Y,Z)=P(X)P(Y)P(Z|X,Y)XYP(X)P(Y|X)XZYP(X)P(Z|Y,X)P(Y)第五十二頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（例）CPT表為：P(S)=0.4P(C)=0.3P(E|S,C)=0.9P(E|S,~C)=0.3P(E|~S,C)=0.5貝葉斯網(wǎng)絡(luò)實(shí)例圖P(E|~S,~C)=0.1。

SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.9第五十三頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（例續(xù)）上圖例中的聯(lián)合概率密度為由圖可知：

E與L在S條件下獨(dú)立，所以

P(E|S,C,L)＝

P(E|S,C)L與C在S,E條件下獨(dú)立，所以

P(L|S,C)=P(L|S)第五十四頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（例續(xù)）C與S在E條件下獨(dú)立，所以

P(C|S)=P(C)以上三條等式的正確性，可以從貝葉斯網(wǎng)的條件獨(dú)立屬性：每個(gè)變量與它在圖中的非繼承結(jié)點(diǎn)在概率上是獨(dú)立的推出。同樣，從后面給出的D分離的定義的特性中也可以得到相同的結(jié)論。簡(jiǎn)化后的聯(lián)合概率密度為，

顯然，簡(jiǎn)化后的公式比原始的數(shù)學(xué)公式更加簡(jiǎn)單明了，計(jì)算復(fù)雜度低很多。如果原貝葉斯網(wǎng)中的條件獨(dú)立語(yǔ)義數(shù)量較多，這種減少更加明顯。第五十五頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（獨(dú)立）獨(dú)立P(X,Y)=P(X)P(Y)P(X|Y)=P(X)P(Y|X)=P(Y)獨(dú)立時(shí)求解可以直接在網(wǎng)絡(luò)圖上求第五十六頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（條件獨(dú)立）對(duì)于X,Y,E:X與Y在給定E的條件下獨(dú)立P(X|Y,E)=P(X|E)P(Y|X,E)=P(Y|E)多個(gè)變量組：d分離（d-separate）P(X1,X2,…,Xn|Y1,Y2,…,Ym,E1,E2,…,Ep)=P(X1,X2,…,Xn|E1,E2,…,Ep)如果一組結(jié)點(diǎn)X在給定E的條件下，從Xi到Y(jié)j的每一條通路都被即Ekd分離，則稱X獨(dú)立于另一組結(jié)點(diǎn)Y(結(jié)點(diǎn)組Ed分離X與Y)。第五十七頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（D分離）圖中有三個(gè)結(jié)點(diǎn)S，L，E。L（結(jié)果）影響S（起因），S影響E（另一個(gè)結(jié)果）。如果給定原因S后，L并不能告訴我們有關(guān)E的更多事情。即對(duì)于S，L和E是相對(duì)獨(dú)立的，那么在計(jì)算S和L的關(guān)系時(shí)就不用過多地考慮E，將會(huì)大大減少計(jì)算復(fù)雜度。稱S能D分離L和E。D分離是一種尋找條件獨(dú)立的有效方法。

SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.9第五十八頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（D分離-串行）網(wǎng)絡(luò)連接中結(jié)點(diǎn)間關(guān)系Linear

串行連接中，事件X通過事件Z影響事件Y，反之事件Y也是通過事件Z影響事件X。但是，如果原因證據(jù)Z是給定的，X并不能給Y更多的東西，或者說，從X那里得到更多的信息。此時(shí)稱，如果Z是已知的，那么通道就被阻塞，X和Y就是獨(dú)立的了。則稱X和Y是被Z結(jié)點(diǎn)D分離的。

XZY第五十九頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（D分離(分叉連接)）Diverging如果，父結(jié)點(diǎn)Z是已知的，沒有更多的信息能夠通過Z影響到所有子結(jié)點(diǎn)。同理，父結(jié)點(diǎn)Z是已知時(shí)，子結(jié)點(diǎn)X,…,N是相互獨(dú)立的。稱子結(jié)點(diǎn)X,…,N是被Z結(jié)點(diǎn)D分離的。

NYXZ。。。第六十頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（D分離(匯集連接)）匯集(Converging)如果不從父結(jié)點(diǎn)得到推斷，子結(jié)點(diǎn)Z就一無(wú)所知，那么，父結(jié)點(diǎn)是相互獨(dú)立的，它們之間沒有相互影響。如果，某事件影響了Z，那么，各個(gè)父結(jié)點(diǎn)就不是相互獨(dú)立的了。該事件可以直接影響Z，也可以通過它的后代結(jié)點(diǎn)影響Z。這種現(xiàn)象稱作條件依存。總之，如果子結(jié)點(diǎn)有了變化，或子結(jié)點(diǎn)的后代結(jié)點(diǎn)發(fā)生變化，信息是可以通過匯集連接傳播的。

ZNYX。。。第六十一頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（D分離(條件依存)）

事件e直接影響結(jié)點(diǎn)Z事件e影響結(jié)點(diǎn)Z的后代結(jié)點(diǎn)

ZNYX。。。eZNYX。。。LMe第六十二頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（D分離(定義)）對(duì)于給定的結(jié)點(diǎn)集ε，如果對(duì)貝葉斯網(wǎng)中的結(jié)點(diǎn)Vi和Vj之間的每個(gè)無(wú)向路徑（即不考慮DAG圖中弧的方向性的路徑），在路徑上都有某個(gè)結(jié)點(diǎn)Vb，如果有屬性：Vb在ε中，且路徑上的兩條弧都以Vb為尾（即弧在Vb處開始（出發(fā)），分叉連接）Vb在ε中，路徑上的一條弧以Vb為頭，一條以Vb為尾（串行連接）Vb和它的任何后繼都不在ε中，路徑上的兩條弧都以Vb為頭（即弧在Vb處結(jié)束，匯集連接，但沒有后代結(jié)點(diǎn)），則稱Vi和Vj被Vb結(jié)點(diǎn)阻塞。第六十三頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（D分離(定義)）如果Vi和Vj被證據(jù)集合ε中的任意結(jié)點(diǎn)阻塞，則稱Vi和Vj是被ε集合D分離，結(jié)點(diǎn)Vi和Vj條件獨(dú)立于給定的證據(jù)集合ε，可形式化表示為：，

或

,第六十四頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（D分離(圖示)）

第六十五頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（定義）條件獨(dú)立：如具有以上三個(gè)屬性之一，就說結(jié)點(diǎn)Vi和Vj條件獨(dú)立于給定的結(jié)點(diǎn)集ε。阻塞：給定證據(jù)集合ε，當(dāng)上述條件中的任何一個(gè)滿足時(shí)，就說Vb阻塞相應(yīng)的那條路徑。D分離：如果Vi和Vj之間所有的路徑被阻塞，就叫證據(jù)集合ε可以D分離Vi和Vj第六十六頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（D分離(例1)）ZXYZX、Y獨(dú)立X、Y條件獨(dú)立YesYesXYZX、Y獨(dú)立X、Y條件獨(dú)立YesNoXYZX、Y獨(dú)立X、Y條件獨(dú)立YesNoXYZX、Y獨(dú)立X、Y條件獨(dú)立NoYesXYX、Y獨(dú)立X、Y條件獨(dú)立NoNo第六十七頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（D分離(例2)）ZXYX—草濕Y—彩虹Z—下雨P(guān)(X,Y)≠P(X)P(Y)P(X|Y,Z)=P(X,Z)ZXYX—下雨Y—灑水Z—草濕P(X,Y）=P(X)P(Y)P(X|Y,Z))=P(X,Z)第六十八頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（D分離(例3)）X—草濕Y—灑水者Z—彩虹W—長(zhǎng)蟲P(X,Y)=P(X)P(Y)P(X|Y,Z)=P(X|Z)XZWYX—草濕Y—灑水者Z—彩虹W—長(zhǎng)蟲P(X,Y)≠P(X)P(Y)P(X|Y,Z)≠P(X|Z)XZWY第六十九頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（推理）建立貝葉斯網(wǎng)絡(luò)的目的有了網(wǎng)絡(luò)?？梢蕴岢鰡栴}：P(問題|證據(jù))，如：P(吸煙|肺癌）進(jìn)行概率推理與謂詞邏輯有相似之處。如：患病（吸煙，肺癌）在某些場(chǎng)合下有有效的推理方法。有一些工具包。一般情況下是很困難的，原因：不是所有的CPT表都能夠得到網(wǎng)絡(luò)結(jié)構(gòu)大且復(fù)雜NP-hard推理我們要做的是，將問題正確的表示為合理的網(wǎng)絡(luò)形式，選用適合的算法。第七十頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（推理續(xù)）在貝葉斯網(wǎng)中有三種重要的推理模式，因果推理（由上向下推理），診斷推理（自底向上推理）和辯解。因果規(guī)則：XCauseYwithsomeprobability診斷規(guī)則：YisevidenceofXwithsomeprobability因果推理：GivencauseC,determineP(Query|C)診斷推理：GivenevidenceE,determineP(Query|E)第七十一頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（推理續(xù)）推理需求：P(X|Y)診斷推理是從效果到起因證據(jù)是一些征兆：X是起因，Y是征兆因果推理是從起因到效果證據(jù)是一些起因：X是征兆，Y是起因解釋歷史

X和Y是起因，Z是兩個(gè)起因的征兆。這時(shí)可以用一個(gè)起因Y解釋另一個(gè)起因X。第七十二頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（推理例）下雨、草濕、灑水P(X)P(Y)下雨草濕Query:P(X|Y)P(X)P(Y)草濕下雨Query:P(X|Y)P(X)P(Z|X,Y)下雨草濕Query:P(X|Y,Z)andP(X|Z)P(Y)灑水第七十三頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（因果推理例）讓我們通過實(shí)例來(lái)說明因果推理得過程。給定患者是一個(gè)吸煙者（S），計(jì)算他患肺氣腫（E）的概率P(E|S)。S稱作推理的證據(jù)，E叫詢問結(jié)點(diǎn)。首先，我們尋找E的另一個(gè)父結(jié)點(diǎn)（C），并進(jìn)行概率擴(kuò)展

P(E|S)=P(E,C|S)+P(E,~C|S);

即，吸煙的人得肺氣腫的概率為吸煙得肺氣腫又是礦工的人的概率與吸煙得肺氣腫不是礦工的人的概率之和，也就是全概率公式。需要尋找該表達(dá)式的雙親結(jié)點(diǎn)的條件概率，重新表達(dá)聯(lián)合概率（指P(E,C|S)，P(E,~C|S)）。第七十四頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五

P(E,C|S)＝P(E,C,S)/P(S)

＝P(E|C,S)*P(C,S)/P(S)(貝葉斯定理)

＝P(E|C,S)*P(C|S)(反向利用貝葉斯定理)

同理可以得出P(E,~C|S)＝P(E|~C,S)*P(~C|S)。得：P(E|S)=P(E|C,S)*P(C|S)+P(E|~C,S)*P(~C|S);在圖中，C和S并沒有雙親關(guān)系，符合條件獨(dú)立條件：

P(C|S)=P(C),

P(~C|S)=P(~C),

由此可得：

P(E|S)=P(E|S,C)*P(C)+P(E|~C,S)*P(~C)

如果采用概述中的例題數(shù)據(jù)，則有

P(E|S)＝0.9*0.3+0.3*(1-0.3)=0.48

貝葉斯網(wǎng)絡(luò)（因果推理例）第七十五頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（因果推理例）從這個(gè)例子中，不難得出這種推理的主要操作：

1）按照給定證據(jù)的V和它的所有雙親的聯(lián)合概率，重新表達(dá)給定證據(jù)的詢問結(jié)點(diǎn)的所求條件概率。

2）回到以所有雙親為條件的概率，重新表達(dá)這個(gè)聯(lián)合概率。

3）直到所有的概率值可從CPT表中得到，推理完成。第七十六頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（診斷推理例）同樣以概述中的例題為例，我們計(jì)算“不得肺氣腫的不是礦工”的概率P(~C|~E),即在貝葉斯網(wǎng)中，從一個(gè)子結(jié)點(diǎn)計(jì)算父結(jié)點(diǎn)的條件概率。也即從結(jié)果推測(cè)一個(gè)起因，這類推理叫做診斷推理。使用Bayes公式就可以把這種推理轉(zhuǎn)換成因果推理。

P(~C|~E)＝P(~E|~C)*P(~C)/P(~E)，

從因果推理可知

P(~E|~C)=P(~E,S|~C)+P(~E,~S|~C)

=P(~E|S,~C)*P(S)+P(~E|~S,~C)*P(~S)

=(1-0.3)*0.4+(1-0.10)*(1-0.4)=0.82;

由此得：

P(~C|~E)＝P(~E|~C)*P(~C)/P(~E)(貝葉斯公式)

＝0.82*(1-0.3)/P(~E)

＝0.574/P(~E)第七十七頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（診斷推理例）同樣的，

P(C|~E)＝P(~E|C)*P(C)/P(~E)

＝0.34*0.3/P(~E)

＝0.102/P(~E)

由于全概率公式：

P(~C|~E)+P(C|~E)＝1

代入可得

P(~E)=0.676

所以，P(~C|~E)＝0.849

這種推理方式主要利用Bayes規(guī)則轉(zhuǎn)換成因果推理。第七十八頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（辯解

）如果我們的證據(jù)僅僅是～E（不是肺氣腫），象上述那樣，我們可以計(jì)算～C患者不是煤礦工人的概率。但是如果也給定～S（患者不是吸煙者），那么～C也應(yīng)該變得不確定。這種情況下，我們說～S解釋～E，使～C變得不確定。這類推理使用嵌入在一個(gè)診斷推理中的因果推理。

沿著這個(gè)思路計(jì)算上式。第七十九頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五貝葉斯網(wǎng)絡(luò)（推理自學(xué)）《ArtificialIntelligence:ANewSynthesis》Nils.J.Nilsson,機(jī)械工業(yè)出版社，1999

ProbabilisticInferenceinPolytrees(p.332)第八十頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五第五章不確定性推理概述概率論基礎(chǔ)Bayes網(wǎng)絡(luò)主觀Bayes方法確定性方法證據(jù)理論第八十一頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五第五章不確定性推理概述概率論基礎(chǔ)Bayes網(wǎng)絡(luò)主觀Bayes方法確定性方法證據(jù)理論第八十二頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法(概述）R.O.Duda等人于1976年提出了一種不確定性推理模型。在這個(gè)模型中，他們稱推理方法為主觀Bayes方法，并成功的將這種方法應(yīng)用于地礦勘探系統(tǒng)PROSPECTOR中。在這種方法中，引入了兩個(gè)數(shù)值（LS，LN），前者體現(xiàn)規(guī)則成立的充分性，后者則表現(xiàn)了規(guī)則成立的必要性，這種表示既考慮了事件A的出現(xiàn)對(duì)其結(jié)果B的支持，又考慮了A的不出現(xiàn)對(duì)B的影響。第八十三頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法(概述）在Prospector的探礦系統(tǒng)的研究過程中提出的。 原有貝葉斯公式只考慮A出現(xiàn)對(duì)B的影響，沒有考慮A不出現(xiàn)的影響。貝葉斯規(guī)則：當(dāng)B為n個(gè)互不相容事件的集合時(shí)，貝葉斯公式可寫為：第八十四頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法(概述）Bayes定理給出了一種用先驗(yàn)概率P(A|B)，求后驗(yàn)概率P(B|A)的方法。例如用A代表發(fā)燒，B代表感冒，顯然，求發(fā)燒的人中有多少人是感冒了的概率P(B|A)要比求因感冒而發(fā)燒的概率P(A|B)困難得多。第八十五頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法(概述）規(guī)則的不確定性對(duì)規(guī)則A→B的不確定性度量f（B，A）以因子（LS，LN）來(lái)描述：

表示A為真時(shí)，對(duì)B的影響。（規(guī)則成立的充分性）表示A為假時(shí)，對(duì)B的影響。（規(guī)則成立的必要性）（確定性理論中沒有考慮這點(diǎn)）第八十六頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法(概述）實(shí)際應(yīng)用中概率值不可能求出，所以采用的都是專家給定的LS,LN值。從LS，LN的數(shù)學(xué)公式不難看出，LS表征的是A的發(fā)生對(duì)B發(fā)生的影響程度，而LN表征的是A的不發(fā)生對(duì)B發(fā)生的影響程度。第八十七頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法（規(guī)則的不確定性）幾率函數(shù)O(X)O(X)稱為先驗(yàn)幾率。表示證據(jù)X的出現(xiàn)概率和不出現(xiàn)的概率之比，顯然O(X)是P(X)的增函數(shù)，且有：當(dāng) P(X)＝0，有O(X)＝0當(dāng) P(X)＝0.5，有O(X)＝1當(dāng) P(X)＝1，有O(X)＝∞由此可見，幾率函數(shù)實(shí)際上表示了證據(jù)X的不確定性。相應(yīng)有， 稱為后驗(yàn)幾率。

第八十八頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法（規(guī)則的不確定性）O(X)的性質(zhì)P(X)=0時(shí),O(X)=0 假P(X)=0.5時(shí),O(X)=1P(X)=1時(shí),O(X)=∞ 真O(X)與LN，LS的關(guān)系O(B|A)=LS?O(B)O(B|~A)=LN?O(B)第八十九頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法（規(guī)則的不確定性），且必須滿足：第九十頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法（規(guī)則的不確定性）且必須滿足：LS、LN≥０，不獨(dú)立。LS、LN不能同時(shí)＞１或＜１LS、LN可同時(shí)＝1第九十一頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法（證據(jù)A的不確定性）P(A)或O(A)表示證據(jù)A的不確定性第九十二頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法（推理計(jì)算1）由于是不確定性推理，所以必須討論證據(jù)發(fā)生的各種可能性。A必出現(xiàn)時(shí)：O(B|A)=LS?O(B)O(B|~A)=LN?O(B)

若需要概率時(shí)：第九十三頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法（推理計(jì)算2）A不確定時(shí)：即P(A)1（1976年的算法）向前看一步A’，A’

為與A有關(guān)的所有觀察

P(B|A’)=P(B|A)P(A|A’)+P(B|～A)P(～A|A’)P(A|A’)=1時(shí)，證據(jù)A必然出現(xiàn)

P(A|A’)=0時(shí)，證據(jù)A必然不出現(xiàn)LN代替上式的LS，P(A|A’)=P(A)時(shí)，(A’對(duì)A無(wú)影響)，由上式

P(B|A’)=P(B)(3)第九十四頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法（推理計(jì)算2）P(A|A’)與P(B|A’)坐標(biāo)系上的三點(diǎn)：

總之是找一些P(A|A’)與P(B|A’)的相關(guān)值，兩點(diǎn)也可以做曲線（或折線、直線）。由差值法從線上得到其它點(diǎn)的結(jié)果，具體過程可參考教科書。第九十五頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法（推理計(jì)算2）插值計(jì)算公式：第九十六頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五線性插值圖

第九十七頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法（推理計(jì)算3）兩個(gè)證據(jù)時(shí)：

第九十八頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法（推理計(jì)算2）互相獨(dú)立證據(jù)導(dǎo)出同一假設(shè)：第九十九頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五例題（1）已知：P(A)=1,P(B1)=0.04,P(B2)=0.02 R1:A→B1LS=20LN=1 R2:B1→B2LS=300LN=0.001計(jì)算：P(B2|A)。分析：當(dāng)使用規(guī)則R2時(shí)，證據(jù)B1并不是確定的發(fā)生了，即P(B1)≠1，因此要采用插值方法。解：先依照A必然發(fā)生，由定義和R1得：

O(B1)=P(B1)/(1-P(B1)=0.04/(1-0.04)=0.0417第一百頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五例題（1） O(B1|A)=LS*O(B1)=0.83 P(B1|A)=O(B1|A)/(1+O(B1|A)=0.83/(1+0.83)=0.454然后假設(shè)P(B1|A)=1,計(jì)算：

O(B2)=P(B2)/(1-P(B2)=0.02P(B2|B1)=LS*O(B2)/(1+LS*O(B2))=300*0.02/(300*0.02+1)=0.857最后進(jìn)行插值：P(B1|A)>P(B1),P(B2)=0.02，P(B1)=0.04（已知）, P(B2|A)=0.02+(0.857-0.02)(0.454-0.04)/(1-0.04)=0.38第一百零一頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五例題（2）已知：證據(jù)A1，A2必然發(fā)生，且P（B1）＝0.03

規(guī)則如下：R1：A1→B1LS=20LN=1;R2：A2→B1LS=300 LN=1求B1的更新值。解： 依R1，P1（B）＝0.03 O（B1）＝0.03/(1-0.03)=0.030927第一百零二頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五例題（2） O(B1|A1)=LS×O(B1)=20×0.030927=0.61855 P(B1|A1)=0.61855/(1+0.61855)=0.382

使用規(guī)則R1后，B1的概率從0.03上升到0.382

依R2：O(B1|A1A2)=300×O(B1|A1)=185.565 P(B1|A1A2)=185.565/(1+185.565)=0.99464

使用規(guī)則R2后，B1的概率從0.382上升到0.99464第一百零三頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五主觀貝葉斯方法主觀Bayes方法的評(píng)價(jià)優(yōu)點(diǎn)：計(jì)算方法直觀、明了。缺點(diǎn)：要求Bj相互無(wú)關(guān)（實(shí)際不可能）。P(A|B’)與P(Bi)很難計(jì)算。應(yīng)用困難。第一百零四頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五第五章不確定性推理概述概率論基礎(chǔ)Bayes網(wǎng)絡(luò)主觀Bayes方法確定性方法證據(jù)理論第一百零五頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五第五章不確定性推理概述概率論基礎(chǔ)Bayes網(wǎng)絡(luò)主觀Bayes方法確定性方法證據(jù)理論第一百零六頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五確定性方法（可信度方法）MYCIN系統(tǒng)研制過程中產(chǎn)生的不確定推理方法,第一個(gè)采用了不確定推理邏輯，70年代很有名。提出該方法時(shí)應(yīng)遵循的原則不采用嚴(yán)格的統(tǒng)計(jì)理論。使用的是一種接近統(tǒng)計(jì)理論的近似方法。用專家的經(jīng)驗(yàn)估計(jì)代替統(tǒng)計(jì)數(shù)據(jù)盡量減少需要專家提供的經(jīng)驗(yàn)數(shù)據(jù)，盡量使少量數(shù)據(jù)包含多種信息。新方法應(yīng)適用于證據(jù)為增量式地增加的情況。專家數(shù)據(jù)的輕微擾動(dòng)不影響最終的推理結(jié)論。第一百零七頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五理論基礎(chǔ)以定量法為工具，比較法為原則的相對(duì)確認(rèn)理論。采用此方法的MYCIN系統(tǒng)的診斷結(jié)果不是只給出一個(gè)最可信結(jié)論及其可信度，而是給出可信度較高的前幾位，供人們比較選用。規(guī)則規(guī)則的不確定性度量證據(jù)（前提）的不確定性度量。推理計(jì)算。確定性方法第一百零八頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五規(guī)則(規(guī)則的不確定性度量）在邏輯推理過程中，常常以A→B表示規(guī)則。其中：A表示前提，可以是一些命題的析取或和??；B表示結(jié)論或推論，是在前提A下的直接邏輯結(jié)果。在精確邏輯推理中，通常只有真假的描述：若A真，則B也必為真。但在不確定推理過程中，通常要考慮的是A為真時(shí)對(duì)B為真的支持程度，甚至還考慮A為假（不發(fā)生）時(shí)對(duì)B為真的支持程度。為此，引入規(guī)則的不確定性度量。第一百零九頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五規(guī)則(規(guī)則的不確定性度量）規(guī)則

A→B，可信度表示為CF(B,A)。第一百一十頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五

規(guī)則(規(guī)則的不確定性度量）CF(B,A)表示的意義證據(jù)為真時(shí)相對(duì)于P(～B)=1-P(B)來(lái)說，A對(duì)B為真的支持程度。即A發(fā)生便支持B發(fā)生。此時(shí)CF(B,A)≥0?；颍鄬?duì)于P(B)來(lái)說，A對(duì)B為真的不支持程度。即A發(fā)生不支持B發(fā)生。此時(shí)CF(B,A)<0。結(jié)論-1≤CF(B,A)≤1第一百一十一頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五規(guī)則(規(guī)則的不確定性度量）CF(B,A)的特殊值：CF(B,A)=1，前提真，結(jié)論必真CF(B,A)=-1，前提真，結(jié)論必假CF(B,A)=0，前提真假與結(jié)論無(wú)關(guān)實(shí)際應(yīng)用中CF(B,A)的值由專家確定，并不是由P(B|A),P(B)計(jì)算得到的。第一百一十二頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五規(guī)則(證據(jù)的不確定性度量）證據(jù)A的可信度表示為CF(A)

同樣有：-1≤CF(A)≤1特殊值：CF(A)=1， 前提肯定真

CF(A)=-1， 前提肯定假

CF(A)=0， 對(duì)前提一無(wú)所知CF(A)＞0，表示A以CF(A)程度為真

CF(A)＜0，表示A以CF(A)程度為假第一百一十三頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五規(guī)則(推理計(jì)算

1）“與”的計(jì)算：

A1

∧A2

→B CF(A1

∧A2)=min{CF(A1),CF(A2)}“或”的計(jì)算： A1

∨A2

→B CF(A1

∨A2)=max{CF(A1),CF(A2)}“非”的計(jì)算：

CF(～A

)=-CF(A

)由A，

A→B，求

B：

CF(B)=CF(A

)·CF(B,A

) (CF(A

)＜0時(shí)可以不算即為“0”)第一百一十四頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五規(guī)則(推理計(jì)算

2）合成，由兩條規(guī)則求出再合并（A2

→B；A2

→B

）：

由CF１(B)、CF２(B)，求CF(B)

第一百一十五頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五規(guī)則(推理計(jì)算3）更新，由CF(A)、A→B、CF(B,A

)、CF(B)，求

B：當(dāng)A必然發(fā)生，CF(A)=1時(shí)：第一百一十六頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五規(guī)則(推理計(jì)算4）當(dāng)A不必然發(fā)生，CF(A)<1時(shí)：0<CF(A)<1，用CF(A)CF(B,A)代替CF(A)=1時(shí)的CF(B,A)即可。CF(A)<0，規(guī)則AB不可使用，即此計(jì)算不必進(jìn)行。（如MYCIN系統(tǒng)CF(A)0.2就認(rèn)為是不可使用的。其目的是使專家數(shù)據(jù)經(jīng)輕微擾動(dòng)不影響最終結(jié)果。）第一百一十七頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五規(guī)則(推理計(jì)算－改進(jìn)）注意：以上公式不滿足組合交換性，即，N證據(jù)A1…AN通過規(guī)則R1…RN作用于B。在使用上式逐一計(jì)算時(shí)，計(jì)算結(jié)果與各條規(guī)則采用的順序有關(guān)。解決方法：異號(hào)時(shí)從定義上改進(jìn)第一百一十八頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五例題已知：R1：A1→B1 CF（B1，A1）＝0.8 R2：A2→B1 CF（B1，A2）＝0.5 R3：B1∧A3→B2 CF（B2，B1∧A3）＝0.8 CF（A1）＝CF（A2）＝CF（A3）＝1；

CF（B1）=CF（B2）=0；計(jì)算CF（B1）、CF（B2）本題可圖示為第一百一十九頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五解：依規(guī)則R1，CF（B1|A1）＝CF（B1）＋CF（B1，A1）（1－CF（B1））＝0.8，即更新后CF（B1）＝0.8依規(guī)則R2：CF（B1|A2）＝CF（B1）＋CF（B1，A2）（1－CF（B1））＝0.9

更新后CF（B1）＝0.9第一百二十頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五依R3，先計(jì)算

CF（B1∧A3）＝min（CF（A3），CF（B1））＝0.9

由于CF（B1∧A3）<1，CF（B2|B1∧A3）=CF（B2）+CF（B1∧A3）×CF(B2，B1∧A3)×（1-CF（B2））=0+0.9×0.8(1-0)=0.72答：更新后的可信度分別是：CF（B1）＝0.9，CF（B2）＝0.72第一百二十一頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五規(guī)則(推理計(jì)算）評(píng)論可信度方法的宗旨不是理論上的嚴(yán)密性，而是處理實(shí)際問題的可用性。不可一成不變地用于任何領(lǐng)域，甚至也不能適用于所有科學(xué)領(lǐng)域。推廣至一個(gè)新領(lǐng)域時(shí)必須根據(jù)情況修改。第一百二十二頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五第五章不確定性推理概述概率論基礎(chǔ)Bayes網(wǎng)絡(luò)主觀Bayes方法確定性方法證據(jù)理論第一百二十三頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五第五章不確定性推理概述概率論基礎(chǔ)Bayes網(wǎng)絡(luò)主觀Bayes方法確定性方法證據(jù)理論第一百二十四頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五證據(jù)理論(EvidentTheory)概述證據(jù)的不確定性規(guī)則的不確定性推理計(jì)算第一百二十五頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五證據(jù)理論(EvidentTheory)概述由Dempster首先提出，并由他的學(xué)生Shafer發(fā)展起來(lái)，也稱D-S理論。在專家系統(tǒng)的不精確推理中已得到廣泛的應(yīng)用。（也用在模式識(shí)別中）證據(jù)理論中引入了信任函數(shù)，它滿足概率論弱公理。在概率論中，當(dāng)先驗(yàn)概率很難獲得，但又要被迫給出時(shí)，用證據(jù)理論能區(qū)分不確定性和不知道的差別。所以它比概率論更合適于專家系統(tǒng)推理方法。當(dāng)概率值已知時(shí)，證據(jù)理論就成了概率論。因此，概率論是證據(jù)理論的一個(gè)特例，有時(shí)也稱證據(jù)論為廣義概率論。第一百二十六頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五證據(jù)理論(預(yù)備知識(shí))集合論 樸素集合論體系 公理集合論體系表示：

A,B,C集合；a,b,c集合中的元素

aA:a為A中元素，a屬于A aA:a不是A中元素，a不屬于A

列舉法：A={a,b,c};

描述法：C={x|P(x)}，具有性質(zhì)P的集合第一百二十七頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五證據(jù)理論(預(yù)備知識(shí)（性質(zhì)）)集合中的元素是各不相同的集合中的元素不規(guī)定順序集合的兩種表示方法有時(shí)可以相互轉(zhuǎn)換 如：A={2,4,6,…} A={x|x>0且x為偶數(shù)}第一百二十八頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五證據(jù)理論(預(yù)備知識(shí)（定義）)子集定義：若B中的每個(gè)元素都是A中的元素，則稱B是A的子集。也稱A包含B或B含于A，記作BA，其符號(hào)化形式為

BAx(xBxA)

若B不是A的子集，則記作BA，其符號(hào)化形式為

BAx(xBxA)相等定義：若A包含B且B包含A，則稱A與B相等,記作A=B，即

A=Bx(xBxA)真命題：AA若AB且AB，則BA若AB且BC，則AC第一百二十九頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五證據(jù)理論(預(yù)備知識(shí)（定義）)真子集定義：若A為B的子集，且AB，則稱A為B的真子集，或B真包含A，記作AB。即

ABABAB全集定義：如果限定所討論的集合都是某一集合的子集，則稱該集合為全集。常記作E。第一百三十頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五證據(jù)理論(預(yù)備知識(shí)（定義）)空集定義：不擁有任何元素的集合稱為空集合，簡(jiǎn)稱空集，記作。定理：空集是一切集合的子集。推論：空集是唯一的。第一百三十一頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五證據(jù)理論(預(yù)備知識(shí)（定義）)冪集定義：稱由A的所有子集組成的集合為A的冪集。記作：2A求冪集：設(shè)A={a,b,c} 0元子集為：

1元子集為：{a},,{c} 2元子集為：{a,b},{a,c,},{b,c} 3元子集為：{a,b,c}=A A的冪集={,{a},,{c},{a,b},{a,c,},{b,c},{a,b,c}}定理：A的元素個(gè)數(shù)|A|=n（n為自然數(shù)），則|2A|=2n。第一百三十二頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五證據(jù)理論(預(yù)備知識(shí)（運(yùn)算）)并記定義：稱A與B的所有元素組成的集合為A與B的并集。記作AB，稱為并運(yùn)算符。AB的描述表示

AB={x|xA

∨

xB} A1,A2,…An為n個(gè)集合，

A1

A2

…

An={x|i(1inxAi},

簡(jiǎn)記為：第一百三十三頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五證據(jù)理論(預(yù)備知識(shí)（運(yùn)算）)交集定義：稱A與B的公共元素組成的集合為A與B的交集。記作AB，稱為交運(yùn)算符。AB的描述表示

AB={x|xAxB} A1,A2,…An為n個(gè)集合，

A1

A2…

An={x|i(1inxAi},

簡(jiǎn)記為： 第一百三十四頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五證據(jù)理論(預(yù)備知識(shí)（運(yùn)算）)互不相交定義：若AB=，稱A，B是不交的，設(shè)

A1,A2,…可數(shù)個(gè)集合，若對(duì)任意ij，均有Ai

Aj=，則稱A1,A2,…

是互不相交的。 第一百三十五頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五證據(jù)理論(預(yù)備知識(shí)（恒等式）)等冪率：AA=A;AA=A交換率：AB=BA;AB=BA結(jié)合率：(AB)C=A(BC); (AB)C=A(BC)分配率：A(BC)=(AB)(BC) A(BC)=(AB)(BC)摩根率：～(AB)=～A～

B

～(AB)=～A～B

第一百三十六頁(yè)，共一百五十五頁(yè)，編輯于2023年，星期五證據(jù)理論(預(yù)