貝葉斯網絡簡介

1、貝葉斯網絡詹敏貝葉斯網絡n貝葉斯網絡貝葉斯網絡(Bayesian Network)是20世紀80年代發(fā)展起來的，由Judea Pearl(朱迪亞佩爾)于1986年提出。n貝葉斯網絡起源于貝葉斯統(tǒng)計分析理論，它是概率論和圖論相結合的產物。n貝葉斯網絡是一種描述不確定性知識和推理問題的方法。q文本分類（如：垃圾郵件的過濾）q醫(yī)學診斷q.2貝葉斯網絡n1、引例、引例n2、貝葉斯概率基礎、貝葉斯概率基礎n3、貝葉斯網絡概述、貝葉斯網絡概述n4、貝葉斯網絡的預測、診斷和訓練、貝葉斯網絡的預測、診斷和訓練q4.1 貝葉斯網絡的預測貝葉斯網絡的預測q4.2 貝葉斯網絡的診斷貝葉斯網絡的診斷q4.3 貝葉斯網

2、絡的訓練貝葉斯網絡的訓練n5、貝葉斯網絡的優(yōu)越性、貝葉斯網絡的優(yōu)越性31、引例、引例n一個有關概率推理的例子。n圖中有六個結點：q參加晚會(Party, PT)q宿醉(Hangover, HO)q頭疼(Headache, HA)q患腦瘤(Brain tumor, BT)q有酒精味(Smell alcohol, SA)qX射線檢查呈陽性(Pos Xray, PX)PartyHangoverBrain TumorHeadacheSmell AlcoholPos Xray41、引例、引例n一個有關概率推理的例子。n圖中有五條連線：qPTHOqHOSAqHOHAqBTHAqBTPXPartyHango

3、verBrain TumorHeadacheSmell AlcoholPos Xray51、引例、引例n參加晚會后，第二天呼吸中有酒精味的可能性有多大？n如果頭疼，患腦瘤的概率有多大？n如果參加了晚會，并且頭疼，那么患腦瘤的概率有多大？n.PartyHangoverBrain TumorHeadacheSmell AlcoholPos Xray這些問題都可通過貝葉斯網絡加以解決。這些問題都可通過貝葉斯網絡加以解決。6n先驗概率先驗概率：根據(jù)歷史資料或主觀判斷所確定的各種事件發(fā)生的概率。n先驗概率可分為兩類：q客觀先驗概率客觀先驗概率：是指利用過去的歷史資料計算得：是指利用過去的歷史資料計算得到

4、的概率到的概率(如：在自然語言處理中，從語料庫中統(tǒng)如：在自然語言處理中，從語料庫中統(tǒng)計詞語的出現(xiàn)頻率計詞語的出現(xiàn)頻率客觀先驗概率客觀先驗概率)；q主觀先驗概率主觀先驗概率：是指在無歷史資料或歷史資料不是指在無歷史資料或歷史資料不全的時候，只能憑借人們的主觀經驗來判斷取得全的時候，只能憑借人們的主觀經驗來判斷取得的概率的概率。2、貝葉斯概率基礎、貝葉斯概率基礎7n后驗概率后驗概率：是指利用貝葉斯公式，結合調查貝葉斯公式，結合調查等方式等方式獲取了新的附加信息，對先驗概率修正后得到的更符合實際的概率。n條件概率條件概率：是指當條件事件條件事件發(fā)生后，該事件發(fā)生的概率。2、貝葉斯概率基礎、貝葉斯概率

5、基礎)()()|()|(BPAPABPBAP條件概率的計算可以通過兩個事件各自發(fā)生條件概率的計算可以通過兩個事件各自發(fā)生的概率，以及相反方向的條件概率得到。的概率，以及相反方向的條件概率得到。83、貝葉斯網絡概述、貝葉斯網絡概述n貝葉斯網絡貝葉斯網絡是描述隨機變量（事件）之間依賴關系的一種圖形模式，是一種可用來進行推理的模型。n貝葉斯網絡通過有向圖有向圖的形式來表示隨機變量間的因果關系因果關系，并通過條件概率條件概率將這種因果關系量化。PartyHangoverBrain TumorHeadacheSmell AlcoholPos Xray93、貝葉斯網絡概述、貝葉斯網絡概述n一個貝葉斯網絡由

6、網絡結構網絡結構和條件概率表條件概率表兩部分組成。q網絡結構網絡結構是一個有向無環(huán)圖有向無環(huán)圖，由若干結點結點和有向有向弧弧組成。103、貝葉斯網絡概述、貝葉斯網絡概述n一個貝葉斯網絡由網絡結構網絡結構和條件概率表條件概率表兩部分組成。q條件概率表條件概率表：是指網絡中的每個結點都有一個條件概率表，用于表示其父結點對該結點的影響。當網絡中的某個結點沒有父結點時，該結點的條件概率表就是該結點的先驗概率先驗概率。11n貝葉斯網絡的3個重要議題：q貝葉斯網絡預測貝葉斯網絡預測：是指已知一定的原因，利用貝葉斯網絡進行計算，求出由原因導致結果的概率。q貝葉斯網絡診斷貝葉斯網絡診斷：是指已知發(fā)生了某些結果

7、，根據(jù)貝葉斯網絡推理出造成該結果發(fā)生的原因以及發(fā)生的概率。q貝葉斯網絡學習貝葉斯網絡學習(訓練訓練)：是指利用現(xiàn)有數(shù)據(jù)對先驗知識進行修正的過程，每一次學習都對貝葉斯網絡的先驗概率進行調整，使得新的貝葉斯網絡更能反映數(shù)據(jù)中所蘊含的知識。3、貝葉斯網絡概述、貝葉斯網絡概述124、貝葉斯網絡的預測、診斷和訓練、貝葉斯網絡的預測、診斷和訓練n此處將以下圖為例，分別介紹貝葉斯網絡的預測預測、診斷診斷和訓練訓練。PartyHangoverBrain TumorHeadacheSmell AlcoholPos Xray預測預測和和診斷診斷需要需要已知網絡結構和已知網絡結構和圖中每個結點的圖中每個結點的條件概

8、率表。條件概率表。訓練訓練需要先建立需要先建立網絡結構，再計網絡結構，再計算每個結點的條算每個結點的條件概率表。件概率表。134、貝葉斯網絡的預測、診斷和訓練、貝葉斯網絡的預測、診斷和訓練n為了使用貝葉斯網絡進行預測預測和診斷診斷，假設網絡已經訓練好，即：網絡中的所有先驗概率和條件概率全部已知。n圖中Party和Brain Tumor兩個結點是原因結點，沒有連線以它們?yōu)榻K點。它們的無條件概率無條件概率如下表所示：q該表中給出了這兩個事件發(fā)生的概率：PT發(fā)生的概率是0.2，不發(fā)生的概率是0.8；BT發(fā)生的概率是0.001，不發(fā)生的概率是0.999。 P(PT)P(BT)True0.2000.00

9、1False0.8000.999144、貝葉斯網絡的預測、診斷和訓練、貝葉斯網絡的預測、診斷和訓練n另外，網絡中的條件概率條件概率如下所示：P(HO|PT)P(HO|PT)PT=TruePT=TruePT=FalsePT=FalseTrue0.7000False0.3001.000P(SA|HO)P(SA|HO)HO=TrueHO=TrueHO=FalseHO=FalseTrue0.8000.100False0.2000.900P(PX|BT)P(PX|BT)BT=TrueBT=TrueBT=FalseBT=FalseTrue0.9800.010False0.0200.990154、貝葉斯網絡

10、的預測、診斷和訓練、貝葉斯網絡的預測、診斷和訓練n另外，網絡中的條件概率條件概率如下所示：P(HA|HO,BT)P(HA|HO,BT)HO=TrueHO=TrueBT=True BT=FalseBT=True BT=FalseHO=FalseHO=FalseBT=True BT=FalseBT=True BT=FalseTrueTrue0.990 0.7000.900 0.020FalseFalse0.010 0.3000.100 0.980164.1 貝葉斯網絡的預測貝葉斯網絡的預測n對于貝葉斯網絡的預測預測，可分為以下兩種情況：q在已知某些原因結點原因結點的情況下，可以預測結果結點結果結點

11、的概率。n例：參加晚會情況下，頭疼發(fā)生的概率。q在不知任何結點信息的情況下，可以預測網絡中某個結果結點結果結點發(fā)生的概率。n例：即使不知道任何結點發(fā)生與否的信息，仍然可以計算結點HA發(fā)生的概率。n貝葉斯網絡的預測預測是一個“自頂向下自頂向下”的過程。174.1 貝葉斯網絡的預測貝葉斯網絡的預測n為了描述方便，對于任何一個結點Point：qP(+Point)表示Point發(fā)生的概率qP(-Point)表示Point不發(fā)生的概率18n例1：計算結點HA的概率。PartyHangoverBrain TumorHeadacheSmell AlcoholPos Xray4.1 貝葉斯網絡的預測貝葉斯網絡

12、的預測n例1：計算結點HA的概率。n【解】根據(jù)全概率公式全概率公式，可得 P(+HA) = P(+BT,+HO)*P(+HA|+BT,+HO)+ P(+BT,-HO)*P(+HA|+BT,-HO)+ P(-BT,+HO)*P(+HA|-BT,+HO)+ P(-BT,-HO)*P(+HA|-BT,-HO) P(HA|HO,BT)P(HA|HO,BT)HO=TrueHO=TrueBT=True BT=FalseBT=True BT=FalseHO=FalseHO=FalseBT=True BT=FalseBT=True BT=FalseTrueTrue0.990 0.7000.900 0.020F

13、alseFalse0.010 0.3000.100 0.980194.1 貝葉斯網絡的預測貝葉斯網絡的預測n例1：計算結點HA的概率。n【解】根據(jù)全概率公式全概率公式，可得 P(+HA) =P(+BT)P(+HO)*0.99 + P(+BT)P(-HO)*0.9 + P(-BT)P(+HO)*0.7 + P(-BT)P(-HO)*0.02 = 0.116P(HA|HO,BT)P(HA|HO,BT)HO=TrueHO=TrueBT=True BT=FalseBT=True BT=FalseHO=FalseHO=FalseBT=True BT=FalseBT=True BT=FalseTrueTr

14、ue0.990 0.7000.900 0.020FalseFalse0.010 0.3000.100 0.980204.1 貝葉斯網絡的預測貝葉斯網絡的預測n例1：計算結點HA的概率。n【解】根據(jù)全概率公式全概率公式，可得 P(-HA) = 1-P(+HA) = 0.884n【解釋】在沒有任何誘因的情況下，頭疼發(fā)生的概率是0.116，不頭疼的概率是0.884。n采用上述方式，可以計算貝葉斯網絡中所有結點的概率這個過程通常發(fā)生在貝葉斯網絡的訓練階段獲得結點的概率。214.1 貝葉斯網絡的預測貝葉斯網絡的預測預測算法預測算法n輸入輸入：給定貝葉斯網絡B（包括網絡結構m個結點以及某些結點間的連線、原

15、因結點到中間結點的條件概率或聯(lián)合條件概率），給定若干個原因結點發(fā)生與否的事實向量F（或者稱為證據(jù)向量）；給定待預測的某個結點t。n輸出輸出：結點t發(fā)生的概率。（1）把證據(jù)向量輸入到貝葉斯網絡B中；（2）對于B中的每一個沒處理過的結點n，如果它具有發(fā)生的事實（證據(jù)），則標記它為已經處理過；否則繼續(xù)下面的步驟； （3）如果它的所有父結點中有一個沒有處理過，則不處理這個結點；否則，繼續(xù)下面的步驟；（4）根據(jù)結點n的所有父結點的概率以及條件概率或聯(lián)合條件概率計算結點n的概率分布，并把結點n標記為已處理；（5）重復步驟（2）（4）共m次。此時，結點t的概率分布就是它的發(fā)生/不發(fā)生的概率。算法結束。224

16、.2 貝葉斯網絡的診斷貝葉斯網絡的診斷n貝葉斯網絡的診斷診斷與貝葉斯網絡的預測正好相反，即：它是在已知結果結點結果結點發(fā)生的情況下，來推斷條件結點條件結點發(fā)生的概率。n貝葉斯網絡的診斷診斷是一個“自底向上自底向上”的過程。234.2 貝葉斯網絡的診斷貝葉斯網絡的診斷n例1：計算已知X光檢查呈陽性的情況下，患腦瘤的概率。PartyHangoverBrain TumorHeadacheSmell AlcoholPos Xray244.2 貝葉斯網絡的診斷貝葉斯網絡的診斷n例1：計算已知X光檢查呈陽性的情況下，患腦瘤的概率。n【解】根據(jù)條件概率公式條件概率公式，可得 P(+BT | +PX) = P

17、(+PX | +BT)*P(+BT)/P(+PX) = 0.98*0.001/P(+PX)P(PX|BT)BT=TrueBT=FalseTrue0.9800.010False0.0200.990 P(PT)P(BT)True0.2000.001False0.8000.99925由：P(AB)=P(A|B)*P(B)得到 P(A|B)=P(AB)/P(B)而：P(AB)=P(B|A)*P(A)所以：P(A|B)=P(AB)/P(B) =P(B|A)*P(A)/P(B)4.2 貝葉斯網絡的診斷貝葉斯網絡的診斷n例1：計算已知X光檢查呈陽性的情況下，患腦瘤的概率。n【解】根據(jù)全概率公式全概率公式，可

18、得 P(+PX)=P(+PX|+BT)*P(+BT)+P(+PX|-BT)*P(-BT) = 0.980*0.001+0.010*0.999 0.011P(PX|BT)BT=TrueBT=FalseTrue0.9800.010False0.0200.990 P(PT)P(BT)True0.2000.001False0.8000.999264.2 貝葉斯網絡的診斷貝葉斯網絡的診斷n例1：計算已知X光檢查呈陽性的情況下，患腦瘤的概率。n【解】根據(jù)條件概率公式條件概率公式，可得 P(+BT | +PX) = P(+PX | +BT)*P(+BT)/P(+PX) = 0.98*0.001/P(+PX)

19、 = 0.98*0.001/0.011 0.089n【解釋】當X光檢查呈陽性的情況下，患腦瘤的概率是0.089（概率是較低的）。274.2 貝葉斯網絡的診斷貝葉斯網絡的診斷診斷算法診斷算法n輸入輸入：給定貝葉斯網絡B（包括網絡結構m個結點以及某些結點間的連線、原因結點到中間結點的條件概率或聯(lián)合條件概率），給定若干個結果結點發(fā)生與否的事實向量F（或者稱為證據(jù)向量）；給定待診斷的某個結點t。n輸出輸出：結點t發(fā)生的概率。（1）把證據(jù)向量輸入到貝葉斯網絡B中；（2）對于B中的每一個沒處理過的結點n，如果它具有發(fā)生的事實（證據(jù)），則標記它為已經處理過；否則繼續(xù)下面的步驟；（3）如果它的所有子結點中有一

20、個沒有處理過，則不處理這個結點；否則，繼續(xù)下面的步驟；（4） 根據(jù)節(jié)點n所有子結點的概率以及條件概率或聯(lián)合條件概率，根據(jù)條件概率公式，計算結點n的概率分布，并把結點n標記為已處理；（5）重復步驟（2）（4）共m次。此時，原因結點t的概率分布就是它的發(fā)生/不發(fā)生的概率。算法結束。284.3 貝葉斯網絡的建立和訓練貝葉斯網絡的建立和訓練n貝葉斯網絡的建立：q首先，要把實際問題中的事件抽象為網絡中的結點n每個結點必須有明確的意義，至少有是、非兩個狀態(tài)或者多個狀態(tài)，并且這些狀態(tài)在概率意義上是完備的完備的和互斥的互斥的。294.3 貝葉斯網絡的建立和訓練貝葉斯網絡的建立和訓練n貝葉斯網絡的建立：q其次，

21、在兩個或多個結點之間的建立連線。n基本原則：有明確因果關系的結點之間應建立連線，沒有明確因果關系的結點之間盡量不要建立連線。n可采用相關性分析方法相關性分析方法（如：Pearson相關系數(shù)）來確定結點之間是否應該有連線。n注意：在兩個結點之間建立連線時，要防止環(huán)的出現(xiàn)，因為貝葉斯網絡必須是無環(huán)圖。304.3 貝葉斯網絡的建立和訓練貝葉斯網絡的建立和訓練n貝葉斯網絡的訓練訓練：是指通過歷史數(shù)據(jù)獲得貝葉斯網絡中各結點的概率以及結點之間條件概率的過程。n結點的概率結點的概率（先驗概率）q假設結點P有m個狀態(tài)P1, P2, ., Pm，則結點P在第i個狀態(tài)下的概率P(Pi)為： 總的數(shù)據(jù)條數(shù)總的數(shù)據(jù)條數(shù)出現(xiàn)的數(shù)據(jù)條數(shù)出現(xiàn)的數(shù)據(jù)條數(shù)iiPPP 314.3 貝葉斯網絡的建立和訓練貝葉斯網絡的建立和訓練n貝葉斯網絡的訓練訓練：是指通過歷史數(shù)據(jù)獲得貝葉斯網絡中各結點的概率以及結點之間條件概率的過程。n結點間的條件概率結點間的條件概率q假設PS表示結點P的一個狀態(tài)，QS表示結點Q的一個狀態(tài)，則PS發(fā)