比較簡(jiǎn)單的貝葉斯網(wǎng)絡(luò)總結(jié)

1、貝葉斯網(wǎng)絡(luò)是一系列變量的聯(lián)合概率分布的圖形表示。一般包含兩個(gè)部分，一個(gè)就是貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)圖，這是一個(gè)有向無環(huán)圖（DAG）,其中圖中的每個(gè)節(jié)點(diǎn)代表相應(yīng)的變量，節(jié)點(diǎn)之間的連接關(guān)系代表了貝葉斯網(wǎng)絡(luò)的條件獨(dú)立語義。另一部分,就是節(jié)點(diǎn)和節(jié)點(diǎn)之間的 條件概率表（CPT），也就是一系列的概率值。如果一個(gè)貝葉斯網(wǎng)絡(luò)提供了 足夠的條件概率 值，足以計(jì)算任何給定的聯(lián)合概率，我們就稱，它是可計(jì)算的，即可推理的。首先從一個(gè)具體的實(shí)例醫(yī)療診斷的例子）來說明貝M斯網(wǎng)絡(luò)的構(gòu)造。歡迎共閱命題S (m0ker）:該患者1是一個(gè)吸煙者命題C(0 al M in1 -e r ）:該患者是一.個(gè)煤礦礦井工人命題L (ung1Can

2、c -.e r )他患了肺癌命題E (m phy s e m a ):他患了肺氣腫假設(shè)命題S對(duì)命題L和命題E有因果影響，對(duì)E也有因果影響而C0命題之間的關(guān)系可以描繪成如右示的因果關(guān)系網(wǎng)因此，貝葉斯網(wǎng)有時(shí)也叫因果網(wǎng)，因?yàn)榭梢詫⑦B接結(jié)點(diǎn)的弧認(rèn)為是表達(dá)了直接的因果關(guān)系。吸煙者礦工圖中表達(dá)了貝葉斯網(wǎng)的兩個(gè)要素：其一為貝葉斯網(wǎng)的結(jié)構(gòu)，也就是各節(jié)點(diǎn)的繼承關(guān)系，其二就是 條件概率表CPT。若一個(gè)貝葉斯網(wǎng)可計(jì)算，則這兩個(gè)條件缺一不可。貝葉斯網(wǎng)由一個(gè)有向無環(huán)圖（DAG ）及描述頂點(diǎn)之間的概率表組成。其中每個(gè)頂點(diǎn)對(duì)應(yīng)一個(gè)隨機(jī)變量。這個(gè)圖表達(dá)了分布的一系列有條件獨(dú)立屬性： 在給定了父親節(jié)點(diǎn)的狀態(tài)后，每個(gè)變量與它在圖

3、中的非繼承節(jié)點(diǎn)在概率上是獨(dú)立的。 該圖抓住了概率分布的定性結(jié)構(gòu)，并被開發(fā)來做高效推I決策貝葉斯網(wǎng)絡(luò)能表示任意概率分布的同時(shí)，它們?yōu)檫@些能用簡(jiǎn)單結(jié)構(gòu)表示的分布提供了可計(jì)算 '勢(shì)假設(shè)對(duì)于頂點(diǎn)xi，其雙親節(jié)點(diǎn)集為 x 1, x 2Pai，每個(gè)變量 的聯(lián)合xi的條件概率 P（刈Pai）概率分布可如。則頂點(diǎn)集合下計(jì)算：占八、該等式暗示了早先給定的圖結(jié)構(gòu)有條件獨(dú)立語義。它說明貝葉斯網(wǎng)絡(luò)所表示的聯(lián)合分布作為些單獨(dú)的局部交互作用模型的結(jié)果具有因式分解的表示形式。包含網(wǎng)葉斯網(wǎng)從貝葉斯網(wǎng)的實(shí)例圖中，我們不僅看到一個(gè)表示因果關(guān)系的結(jié)點(diǎn)圖，還看到了貝葉斯網(wǎng)中的每個(gè) 變量的條件概率表（CPT）。因此一個(gè)完整的隨

4、機(jī)變量集合的概率的完整說明不僅包含這些變量的 貝推導(dǎo)過程:P (S,C,L,E)=P(E|S,C,L)* P(L|S,C)* P(C|S)* P(S)（貝葉斯定理）)_，EC ) = P ( L I ° S )由貝葉斯定IP (承節(jié)點(diǎn)在概率上,是獨(dú)立的。相比原始的數(shù)學(xué)公式：P ( S , C , L ,1E) = P ( E I S :1CL)* P (L I S,C ) * P ( C IS ) * P ( S )可以從貝葉斯網(wǎng)的條件獨(dú)立屬性推出:以上三條等式的正確性,每個(gè)變量與它在圖中的非繼推程導(dǎo)過再由貝葉斯定顯然，簡(jiǎn)化后的公式更加簡(jiǎn)單明了，計(jì)算復(fù)雜度低很多。如果原貝葉斯網(wǎng)中的條

5、件獨(dú)立語義量 較 多， 這 種 減 少 更 加 明 顯貝葉斯網(wǎng)絡(luò)是一系列變量的聯(lián)合概率分布的圖形表示。這種表示法最早被用來對(duì)專家的不確 定知識(shí)編碼，今天它們?cè)诂F(xiàn)代專家系統(tǒng)、診斷引擎和決策支持系統(tǒng)中發(fā)揮了關(guān)鍵作用。貝葉斯網(wǎng)絡(luò)使基于概率的推理和最佳決策成為可能。的一個(gè)被經(jīng)常提起的優(yōu)點(diǎn)是它們具有形式的概率語義并且能作為存在于人類頭腦中的知識(shí)結(jié)構(gòu)的 自然映像。這有助于知識(shí)在概率分布方面的編碼和解釋，網(wǎng) 的 推 理 模 式在貝葉斯網(wǎng)中有三種重要的推理模式，因果推理辯（由上向下推理），診斷推理（自底向上推理） 解讓我們通過概述的實(shí)例來說明因果推理得過程。給定患者疋 （E ）的曰個(gè)吸煙者P （ E I S

6、）。S 稱作推理的證據(jù)，S）,計(jì)算他患肺氣 叫詢問結(jié)點(diǎn)。尋找 E的另一個(gè)父結(jié)點(diǎn)（C ），進(jìn)行概率擴(kuò)展P ( E , C I S ) +' P (CIS);人 的 概 率 之 和概 率 公 式 。即，吸煙的人得肺氣腫的概率為吸煙得肺氣腫又是礦工的人的概率與吸煙得肺氣腫不是礦工 是P( E I S)=P( Ei|,S) * P( C|S);?公式解同理可以得=P (EIC,S)* P(C,S) / P (S ）（貝葉斯定理）需要尋找該表達(dá)式的雙親結(jié)點(diǎn)的在圖中，C 和 SP(EIC,S)* P(CIS)(反向利用貝葉斯定理）CIS)的導(dǎo)過程條件概率,重新表達(dá)聯(lián)合概率（指P（E,CIS）并沒有

7、雙親關(guān)系，符合條件,P(E,CIS)。獨(dú)立條件：P ( C I S )CIS)P (E| S ) = P (E|S,C)* P(C) + P(E| C , S ) * P (C )如果采用概述中的例題數(shù)據(jù)，則有P(E|S)=0. 9*0. 3+0. 3* (1 - 0. 3) = 0. 48從這個(gè)例子中，不難得出這種推理的主要操作：1 )按照給定證據(jù)的V和它的所有雙親的聯(lián)合概率, 率重新表達(dá)給定證據(jù)的詢問結(jié)點(diǎn)的所求條件回到以所有雙親為重新表達(dá)這個(gè)聯(lián)合概直到所有的概率表中得到，推理完同樣以概述中的例題為例，我們計(jì)算 網(wǎng)中，從一個(gè)子結(jié)點(diǎn)計(jì)算父結(jié)點(diǎn)的 使用 Bayes 公式"不得肺氣腫的不

8、是礦工"的概率P(C|E),即在貝葉斯 條件概率。也即從結(jié)果推測(cè)一個(gè)起因，這類推理叫做診斷推理。 就可以把這種推理轉(zhuǎn)換成因果推理。E | S , C ) * P(+ P (C ) * P (S1-0.3)*貝葉斯公式P (C | E ) = P (E推理方式E （不是肺氣腫），象上述那樣，我們可以計(jì)算C患者不是煤礦工IS （患者不是吸煙者），那么C也應(yīng)該變得不確定。這種情況下，則轉(zhuǎn)換丨成如果我們的證據(jù)僅僅是人的概率。但是如果也給定我們說S解釋E，使C變得不確定。這類推理使用嵌入在一個(gè)診斷推理中的因果推理。貝葉斯規(guī)則的使用,步驟是辯解過程作為思考題，讀者可以沿著這個(gè)思路計(jì)算上式。在這個(gè)

9、過程中, 中一個(gè) I重要的在本節(jié)最開始的貝葉斯網(wǎng)圖中，有三個(gè)這樣的結(jié)點(diǎn)：S, L, E。從直觀來說,L的知識(shí)（結(jié)果） 會(huì)影響S的知識(shí)（起因），S會(huì)影響E的知識(shí)（另一個(gè)結(jié)果）。因此，在計(jì)算推理時(shí)必須考慮的相 關(guān)因素非常多，大大影響了算法的計(jì)算復(fù)雜度，甚至可能影響算法的可實(shí)現(xiàn)性。但是如果給定原因 S，L并不能告訴我們有關(guān)E的更多事情。即對(duì)于S，L和E是相對(duì)獨(dú)立的，那么在計(jì)算 S和L的 關(guān)系時(shí)就不用過多地考慮E,將會(huì)大大減少計(jì)算復(fù)雜度。這種情況下，我們稱S能D分離L和E。 D 分離是一種尋找條件獨(dú)立的有效方法。如下圖，對(duì)于給定的結(jié)點(diǎn)集£，如果對(duì)貝葉斯網(wǎng)中的結(jié)點(diǎn) Vi和Vj之間的每個(gè)無向路徑

10、，在路上 有 某 個(gè) 結(jié) 點(diǎn) V b ， 如 果 有 屬 性： ?1 ） Vb在£中，且路徑上的兩條弧都以Vb為尾（即弧在 Vb處開始（出發(fā)）即使使用了 D分離，一般地講，在貝葉斯網(wǎng)中，概率推理仍是 NP難題。然而，有些簡(jiǎn)化能在一個(gè)叫Polytree的重要網(wǎng)絡(luò)分類中使用。一個(gè) Polytree網(wǎng)是一個(gè)DAG，在該DAG的任意兩個(gè)結(jié)點(diǎn)間，順著弧的每一個(gè)方向只有一條路徑。如圖就是一個(gè)典型的Polytree。2 ） V b在 £中，路徑上的一條弧以V b為頭，一條以V b為尾3） Vb和它的任何后繼都不在 £中，路徑上的兩條弧都以Vb為頭（即弧在 Vb處結(jié)束）則 稱 V

11、 i 和 Vb 結(jié) 點(diǎn) 阻 塞占八、結(jié)論：如果Vi和Vj被證據(jù)集合條件£中的任意結(jié)點(diǎn)阻塞，貝U稱 獨(dú)Vi和Vj是被據(jù)集£集合D分離,合表示為P _(無向路徑：DAG圖是有向圖，所以其中的路徑也應(yīng)該是有向路徑，這里所指的無向路徑是不慮 D A G 圖 中 的 方 向 性 時(shí) 的 路 徑條件獨(dú)立：如具有以上三個(gè)屬性之一，就說結(jié)點(diǎn)Vi和Vj條件獨(dú)立于給定的結(jié)點(diǎn)集£o阻塞：給定證據(jù)集合 £，當(dāng)上述條件中的任何一個(gè)滿足時(shí)，就說Vb阻塞相應(yīng)的那條路徑。D分離：如果Vi和Vj之間所有的路徑被阻塞，就叫證據(jù)集合£可以D分離Vi和Vj注意：在論及路徑時(shí)，是不考慮方向的；在論及 "頭"和"尾"時(shí), 的含義 是箭頭方向（有向弧）的終止點(diǎn)，"尾"的含義是箭頭方則必須考慮弧的方向。 向（有向弧）的起始 點(diǎn)。"頭"回到最開始的醫(yī)療診斷實(shí)例：為簡(jiǎn)單起見，選擇證據(jù)集合£為單個(gè)結(jié)點(diǎn)集合。對(duì)于給定的結(jié)點(diǎn)S，結(jié)點(diǎn)E阻塞了結(jié)點(diǎn)C和結(jié)點(diǎn)L之間的路徑，因此有I（ C ,L | S ）C和L是條件獨(dú)立的, 成 立。而對(duì)于給定結(jié)點(diǎn) E，S和L之間找不到阻塞結(jié)點(diǎn)。因此，S和L不是條件獨(dú)立的。D分離