基于clementine的數(shù)據(jù)挖掘第九講

1、分類預(yù)測：貝葉斯網(wǎng)絡(luò)主要內(nèi)容貝葉斯方法概述貝葉斯網(wǎng)絡(luò)概述TAN貝葉斯網(wǎng)絡(luò)Markov毯網(wǎng)絡(luò)貝葉斯方法概述貝葉斯方法是一種研究不確定性問題的決策方法通過貝葉斯概率描述不確定性引進效用函數(shù)（Utility Function）選擇使期望效用最大的最優(yōu)決策貝葉斯概率一種主觀概率：對事物發(fā)生概率的主觀估計主觀概率取決于先驗知識的正確性和后驗知識的豐富性貝葉斯方法概述貝葉斯概率首先,用先于數(shù)據(jù)的概率描述最初的不確定性然后,將其和試驗數(shù)據(jù)相結(jié)合，產(chǎn)生一個后于數(shù)據(jù)的修訂了的概率不確定性必須用概率來描述，不確定性的表述必須與概率論的運算規(guī)則相結(jié)合貝葉斯公式事件A與事件B獨立事件A與事件B不獨立貝葉斯方法概述貝葉

2、斯公式P(A)稱為先驗概率;P(B|A)為條件概率，通常為似然函數(shù);P(A|B)為后驗概率后驗概率可看做一種簡化的效用函數(shù)最大后驗概率假設(shè)是貝葉斯決策的依據(jù)樸素貝葉斯分類方法樸素貝葉斯分類法目標：分類前提：輸入變量條件獨立數(shù)據(jù)說明：設(shè)有n個輸入變量，記為X1 , X2 , , Xn輸入變量集合變量Xi有ri個可能取值輸出變量Y，有k個可能取值樸素貝葉斯分類方法基本思路因為：輸入變量條件獨立：后驗概率：最后，根據(jù)最大后驗概率原則，輸出變量應(yīng)預(yù)測為k個后驗概率中最大概率值對應(yīng)的類別樸素貝葉斯分類方法參數(shù)估計：極大似然估計核心計算給定輸出變量條件下的輸入變量聯(lián)合概率由于最壞情況下可有n！種排列方式，

3、計算復(fù)雜度較高貝葉斯網(wǎng)絡(luò)概述貝葉斯網(wǎng)絡(luò)也稱貝葉斯信念網(wǎng)絡(luò)（20世紀80年代Lauritzen，Spiegelhalter）最初用于人工智能中專家系統(tǒng)的知識表示以因果關(guān)系圖的形式，展現(xiàn)專家知識中各因素的內(nèi)在因果關(guān)系這里貝葉斯網(wǎng)絡(luò)的意義是因果關(guān)系的展示貝葉斯網(wǎng)絡(luò)應(yīng)用于數(shù)據(jù)挖掘領(lǐng)域概述：貝葉斯網(wǎng)絡(luò)的組成貝葉斯網(wǎng)絡(luò)的組成:網(wǎng)絡(luò)結(jié)構(gòu)S、參數(shù)集合S由節(jié)點和有向弧線組成，有向無環(huán)圖S表示分類型隨機變量 之間的獨立和條件獨立關(guān)系數(shù)值型隨機變量，Clementine進行5分位分組每個節(jié)點分別與分類型變量Xi一一對應(yīng)每條弧線代表變量之間存在依賴關(guān)系。如果節(jié)點之間沒有弧線連接，表示它們條件獨立節(jié)點Xi 的父節(jié)點記為

4、 Pai，父節(jié)點的取值集合概述：貝葉斯網(wǎng)絡(luò)的組成參數(shù)集合：給定父節(jié)點下的條件概率集合。Xi的參數(shù)集合為性別和年齡段間沒有弧線，表示兩變量在給定父節(jié)點下條件獨立概述：貝葉斯網(wǎng)絡(luò)的分類分類預(yù)測的依據(jù)：貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)S和參數(shù)集合核心：計算聯(lián)合概率如果在給定Y條件下，變量X1和X2是條件獨立的，對X1、X2、Y的任何取值都有與除父節(jié)點外的其他變量條件獨立只需依據(jù)網(wǎng)絡(luò)結(jié)構(gòu)和局部概率集合，可直接計算聯(lián)合概率，進而實現(xiàn)分類預(yù)測概述：貝葉斯網(wǎng)絡(luò)的分類例：樸素貝葉斯網(wǎng)絡(luò)預(yù)測性別（X1）為1，年齡段（X2）為A:樸素貝葉斯不涉及網(wǎng)絡(luò)結(jié)構(gòu)S的學(xué)習(xí)，只需估計節(jié)點參數(shù)集合TAN貝葉斯網(wǎng)絡(luò)TAN（Tree Augemen

5、ted Naive Bayes）貝葉斯網(wǎng)絡(luò)是樸素貝葉斯網(wǎng)絡(luò)的一種拓展（Friedman等，1996）網(wǎng)絡(luò)放寬了樸素貝葉斯網(wǎng)絡(luò)中輸入變量條件獨立的假設(shè)所有輸入節(jié)點與輸出變量間節(jié)點都有弧線連接輸入變量之間存在弧線每個輸入變量節(jié)點最多允許兩個父節(jié)點Xi到Xj之間有向弧線的含義TAN貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)目的：哪些輸入變量之間可存在有向弧線最大權(quán)重跨度樹（Maximal Weighted Spanning Tree） 1968，Chow和Liu算法的改進步驟：第一，計算輸入變量對Xi和Xj的條件互信息條件互信息的值越小，變量Xi和變量Xj的相關(guān)性越弱，值越大，表示相關(guān)性越強TAN貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)第二

6、，依次找到與變量Xi具有最大條件互信息的變量Xj，并以無向弧線連接節(jié)點Xi和Xj，得到最大權(quán)重跨度樹第三，將無向弧線轉(zhuǎn)為有向弧線。即任選一個輸入變量節(jié)點作為根節(jié)點，所有弧線方向朝外第四，輸出變量節(jié)點作為父節(jié)點與所有輸入變量節(jié)點相連TAN貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)選擇哪個輸入節(jié)點作為根節(jié)點是無關(guān)緊要的。盡管最終的網(wǎng)絡(luò)結(jié)構(gòu)有所差異，但表示的聯(lián)合概率分布是一致的TAN貝葉斯網(wǎng)絡(luò)參數(shù)的估計采用貝葉斯方法參數(shù)的先驗概率、似然函數(shù)、參數(shù)的后驗概率先驗概率是基于先驗概率分布的后驗概率是基于數(shù)據(jù)對先驗概率的修正。由先驗分布函數(shù)決定的后驗分布應(yīng)與先驗分布同屬一分布族如果網(wǎng)絡(luò)中節(jié)點變量均為二分類，節(jié)點參數(shù)集合中的每個參

7、數(shù)為“成功”的概率，服從二項分布參數(shù)的先驗概率分布應(yīng)選用二項分布的共軛分布TAN貝葉斯網(wǎng)絡(luò)參數(shù)的估計指數(shù)分布族包括二項分布、多項分布、正態(tài)分布、Poisson分布、Beta分布、Dirichlet分布，為共軛分布參數(shù)的先驗分布可選用Beta標準Beta描述在01區(qū)間上取值的概率密度（關(guān)于概率的概率分布）為Gamma函數(shù)和稱為超參數(shù)01之間超參數(shù)不同取值下的概率密度TAN貝葉斯參數(shù)的估計先驗分布為Beta分布，似然函數(shù)為二項分布的似然函數(shù)，參數(shù)的后驗分布也服從Beta分布n為“成功”次數(shù)，N為“實驗”次數(shù)參數(shù)的期望：TAN貝葉斯網(wǎng)絡(luò)參數(shù)的估計若節(jié)點變量為具有ri個類別的多分類變量，參數(shù)的先驗分布

8、可選用Dirichlet分布后驗分布參數(shù)k的最終估計值為后驗分布的期望TAN貝葉斯網(wǎng)絡(luò)參數(shù)的估計超參數(shù)：很小的正數(shù)節(jié)點Xi取類別k時，超參數(shù)為：為本節(jié)點的類別數(shù)與父節(jié)點所有類別的組合個數(shù)TAN貝葉斯網(wǎng)絡(luò)參數(shù)的估計貝葉斯方法將未知參數(shù)看成隨機變量，傳統(tǒng)統(tǒng)計方法是將參數(shù)看成常量貝葉斯方法將參數(shù)取值的不確定性用P()表示首先根據(jù)以往對參數(shù)的知識，確定參數(shù)的先驗概率然后利用樣本數(shù)據(jù)對先驗概率進行修正參數(shù)的最終估計值是參數(shù)后驗分布的期望Markov毯網(wǎng)絡(luò)輸入變量未必對輸出變量的分類預(yù)測都有貢獻Markov毯網(wǎng)絡(luò)的特點輸出變量不一定為根節(jié)點輸入變量和輸出變量具有完全相同的“地位”馬爾科夫毯變量對于節(jié)點Xi

9、 ，其父節(jié)點、子節(jié)點以及子節(jié)點的父節(jié)點，都屬于節(jié)點Xi的馬爾科夫毯變量Markov毯網(wǎng)絡(luò)馬爾科夫毯變量例：樸素貝葉斯網(wǎng)絡(luò)，輸出變量的馬爾科夫毯變量是所有輸入變量輸入、輸出變量的馬爾科夫毯變量應(yīng)是與其有顯著相關(guān)的變量分類預(yù)測將基于輸出變量的馬爾科夫毯變量的聯(lián)合概率，而非全體輸入變量Markov毯網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)確定網(wǎng)絡(luò)結(jié)構(gòu)S：尋找各變量的馬爾科夫毯變量對于節(jié)點Xi，不在其馬爾科夫毯變量范圍內(nèi)的變量，是與變量Xi條件獨立的變量：獨立性檢驗條件獨立檢驗：卡方檢驗和條件卡方檢驗檢驗統(tǒng)計量服從個自由度的卡方分布Markov毯網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)條件獨立檢驗：對數(shù)似然率檢驗和條件對數(shù)似然率檢驗Markov毯網(wǎng)絡(luò)結(jié)

10、構(gòu)的學(xué)習(xí)設(shè)I(Xi , Xj)為變量對Xi和Xj獨立檢驗的概率P-值，I(Xi , Xj ,S)為給定變量S條件下，變量對Xi和Xj條件獨立檢驗的概率P-值。結(jié)構(gòu)學(xué)習(xí)步驟：第一，起始結(jié)構(gòu)S是一個完全連接的無向網(wǎng)絡(luò)第二，如果I(Xi , Xj)大于指定的顯著性水平，則刪除節(jié)點Xi和節(jié)點Xj間的連接弧線第三，對每個節(jié)點Xi，在其剩余弧線中，尋找是否存在I(Xi , Xj , S)大于顯著性水平。如果存在，則刪除節(jié)點Xi和節(jié)點Xj間的連接弧線第四，將無向弧線轉(zhuǎn)換為有向弧線Markov毯網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)Markov毯網(wǎng)絡(luò)的分類預(yù)測 為Y的父節(jié)點集合，計算輸出變量及其馬爾科夫毯變量的聯(lián)合概率例：對性別=1,年齡=A,收入=1,學(xué)歷=B的預(yù)測Y收入性別年齡C為常量，表示并非輸入變量X集合中的所有變量都參與計算，其值不影響計算結(jié)果貝葉斯網(wǎng)路應(yīng)用以Students.xls為例，目標：