樸素貝葉斯分類(第九章)_第1頁
樸素貝葉斯分類(第九章)_第2頁
樸素貝葉斯分類(第九章)_第3頁
樸素貝葉斯分類(第九章)_第4頁
樸素貝葉斯分類(第九章)_第5頁
已閱讀5頁,還剩30頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、樸素貝葉斯分類第九章1. 定義 ABAB條件概率若 是全集,A、B是其中的事件(子集),P表示事件發(fā)生的概率,則 ()(|)( )P ABP A BP B為事件B發(fā)生后A發(fā)生的概率。則有,0)(且,為事件,設ABPCBA()( ) () ().P ABCP A P B A P C AB( )0,()() ( )() ( ).P AP ABP B A P AP A B P B設則有乘法定理注:當P(AB)不容易直接求得時,可考慮利用P(A)與P(B|A)的乘積或P(B)與P(A|B)的乘積間接求得。則有,0)(且121nAAAP,2,個事件為,設推廣21nnAAAn乘法定理的推廣)()()()(

2、)(12121312121nnnAAAAPAAAPAAPAPAAAP12001212,1, ,1,2, ;2,.nijnnEB BBEB Bi jnBBBB BB 定義設為試驗 的樣本空間為的一組事件 若則稱為樣本空間的一個劃分1. 集合(樣本空間)的劃分1B2B3BnB1nB二、全概率公式2. 全概率公式全概率公式1211221,()0(1,2, ),()(|)()(|)()(|)()()(|)ninnniiEAEBBBP BinP AP A BP BP A BP BP A BP BP B P A B定義 設為試驗 的樣本空間為 的事件為的一個劃分 且則圖示A1B2B3B1nBnB證明12.

3、nABABAB化整為零各個擊破12()nAAABBB 1122( )() ( |)() ( |)() ( |)nnP AP B P A BP B P A BP B P A B說明 全概率公式的主要用途在于它可以將一個復雜事件的概率計算問題,分解為若干個簡單事件的概率計算問題,最后應用概率的可加性求出最終結果.A1B2B3B1nBnB例1 有一批同一型號的產品,已知其中由一廠生產的占 30% , 二廠生產的占 50% , 三廠生產的占 20%, 又知這三個廠的產品次品率分別為2% , 1%, 1%,問從這批產品中任取一件是次品的概率是多少設事件 A 為“任取一件為次品”,.3 ,2 ,1,廠的產

4、品任取一件為為事件iiBi123,BBB 解. 3 , 2 , 1, jiBBji由全概率公式得, 2 . 0)(, 5 . 0)(, 3 . 0)(321 BPBPBP112233( )() ()() ()() ().P AP B P ABP B P ABP B P AB.013. 02 . 001. 05 . 001. 03 . 002. 0 ,01. 0)(,01. 0)(,02. 0)(321 BAPBAPBAP112233( )() ()() ()() ()P AP B P ABP B P ABP B P AB故故30%20%50%2%1%1%AB1B2B3貝葉斯公式121,( )0

5、,()0(1,2, ),(/) ()(|),1,2, .(|) ()niiiinjjjEAEB BBP AP BinP A B P BP BAinP A BP B定義設為試驗 的樣本空間為 的事件為的一個劃分 且則Bayes公式的意義 假設導致事件A發(fā)生的“原因”有Bi (i=1,2,n) 個。它們互不相容。 現(xiàn)已知事件A確已經發(fā)生了,若要估計它是由“原因”Bi所導致的概率,則可用Bayes公式求出. 即可從結果分析原因.證明(| ) ()()( )iiiP A B P BP B AP A.,2 ,1ni1() (|)() (|)iinjjjP B P A BP B P A B( )0,()(

6、) ( )() ( ).P AP ABP B A P AP A B P B設則有乘法定理:1122()()(|)()(|)()(|)nnP AP B P A BP BP A BP BP A B.:10.020.1520.010.8030.030.05,.(1),;某 電 子 設 備 制 造 廠 所 用 的 元 件 是 由 三 家 元件 制 造 廠 提 供 的 根 據(jù) 以 往 的 記 錄 有 以 下 的 數(shù) 據(jù)元 件 制 造 廠次 品 率提 供 元 件 的 份 額設 這 三 家 工 廠 的 產 品 在 倉 庫 中 是 均 勻 混 合 的 且無 區(qū) 別 的 標 志在 倉 庫 中 隨 機 地 取 一

7、 只 元 件求 它 是 次 品 的概 率例2 貝葉斯公式的應用(2),.在倉庫中隨機地取一只元件 若已知取到的是次品為分析此次品出自何廠 求此次品出由三家工廠生產的概率分別是多少解,取到的是一只次品表示設A.家工廠提供的所取到的產品是由第表示i3 ,2 ,1(iBi,的一個劃分是樣本空間,則321BBB0.05,)P(B0.80,)P(B0.15,)P(B且321.03. 0)(,01. 0)(,02. 0)(321 BAPBAPBAP(1) 由全概率公式得)()()()()()()(332211BPBAPBPBAPBPBAPAP .0125. 0 (2) 由貝葉斯公式得)()()()(111

8、APBPBAPABP 0125. 015. 002. 0 .24. 0 ,64. 0)()()()(222 APBPBAPABP.12. 0)()()()(333 APBPBAPABP.家工廠的可能性最大2故這只次品來自第由以往的數(shù)據(jù)分析得到的概率, 叫做先驗概率.而在得到信息之后再重新加以修正的概率 叫做后驗概率.先驗概率與后驗概率貝葉斯分類 貝葉斯分類器是一個統(tǒng)計分類器。它們能夠預測類別所屬的概率,如:一個數(shù)據(jù)對象屬于某個類別的概率。貝葉斯分類器是基于貝葉斯定理而構造出來的。 對分類方法進行比較的有關研究結果表明:簡單貝葉斯分類器(稱為基本貝葉斯分類器)在分類性能上與決策樹和神經網絡都是可

9、比的。 在處理大規(guī)模數(shù)據(jù)庫時,貝葉斯分類器已表現(xiàn)出較高的分類準確性和運算性能。20貝葉斯分類 定義:設X是類標號未知的數(shù)據(jù)樣本。設H為某種假定,如數(shù)據(jù)樣本X屬于某特定的類C。對于分類問題,我們希望確定P(H|X),即給定觀測數(shù)據(jù)樣本X,假定H成立的概率。貝葉斯定理給出了如下計算P(H|X)的簡單有效的方法: P(H)是先驗概率,或稱H的先驗概率。P(X|H)代表假設H成立的情況下,觀察到X的概率。 P(H| X )是后驗概率,或稱條件X下H的后驗概率。)()()|()|(XPHPHXPXHP21貝葉斯分類 先驗概率泛指一類事物發(fā)生的概率,通常根據(jù)歷史資料或主觀判斷,未經實驗證實所確定的概率。

10、而后驗概率涉及的是某個特定條件下一個具體的事物發(fā)生的概率22貝葉斯分類 例如:P(x1)=0.9: x1-為正常細胞的概率0.9(先驗概率) P(x2)=0.1: x2-為異常細胞的概率0.1(先驗概率) 對某個具體的對象y,P(x1|y):表示y的細胞正常的概率是0.82(后驗概率) P(x2|y):表示y的細胞異常的概率是0.18(后驗概率)樸素貝葉斯分類 樸素貝葉斯分類的工作過程如下: (1) 每個數(shù)據(jù)樣本用一個n維特征向量X= x1,x2,xn表示,分別描述對n個屬性A1,A2,An樣本的n個度量。 (2) 假定有m個類C1,C2,Cm,給定一個未知的數(shù)據(jù)樣本X(即沒有類標號),分類器

11、將預測X屬于具有最高后驗概率(條件X下)的類。也就是說,樸素貝葉斯分類將未知的樣本分配給類Ci(1im)當且僅當P(Ci|X) P(Cj|X),對任意的j=1,2,m,ji。這樣,最大化P(Ci|X)。其P(Ci|X)最大的類Ci稱為最大后驗假定。根據(jù)貝葉斯定理)()()|()|(XPCPCXPXCPiii24樸素貝葉斯分類(續(xù)) (3)由于P(X)對于所有類為常數(shù),只需要P(X|Ci)*P(Ci)最大即可。 如果Ci類的先驗概率未知,則通常假定這些類是等概率的,即P(C1)=P(C2)=P(Cm),因此問題就轉換為對P(X|Ci)的最大化(P(X|Ci)常被稱為給定Ci時數(shù)據(jù)X的似然度,而使

12、P(X|Ci)最大的假設Ci稱為最大似然假設)。 否則,需要最大化P(X|Ci)*P(Ci)。注意,類的先驗概率可以用P(Ci)=si/s計算,其中si是類Ci中的訓練樣本數(shù),而s是訓練樣本總數(shù)。25樸素貝葉斯分類(續(xù)) (4)給定具有許多屬性的數(shù)據(jù)集,計算P(X|Ci)的開銷可能非常大。為降低計算P(X|Ci)的開銷,可以做類條件獨立的樸素假定。 給定樣本的類標號,假定屬性值相互條件獨立,即在屬性間,不存在依賴關系。這樣)|()|(1inkkiCxPCXP聯(lián)合概率分布()( ) ( )P ABP A P B26樸素貝葉斯分類(續(xù)) ( 5 ) 對 未 知 樣 本X分 類 , 也 就 是 對

13、每 個 類Ci, 計 算P(X|Ci)*P(Ci)。 樣本X被指派到類Ci,當且僅當P(Ci|X) P(Cj|X),1jm,ji,換言之,X被指派到其P(X|Ci)*P(Ci)最大的類。 “打網球”的決定No.天氣氣溫濕度風類別1晴熱高無N2晴熱高有N3多云熱高無P4雨適中高無P5雨冷正常無P6雨冷正常有N7多云冷正常有PNo.天氣氣溫濕度風類別8晴適中高無N9晴冷正常無P10雨適中正常無P11晴適中正常有P12多云適中高有P13多云熱正常無P14雨適中高有N之前用ID3算法求解的一個例子No.天氣氣溫濕度風類別1晴熱高無N2晴熱高有N3多云熱高無P4雨適中高無P5雨冷正常無P6雨冷正常有N7

14、多云冷正常有PNo.天氣氣溫濕度風類別8晴適中高無N9晴冷正常無P10雨適中正常無P11晴適中正常有P12多云適中高有P13多云熱正常無P14雨適中高有N實例統(tǒng)計結果天氣溫度濕度有風打網球 P N PN PN PNPN晴 2/93/5熱 2/92/5高 3/94/5否 6/92/59/145/14云 4/90/5暖 4/92/5正常 6/91/5是 3/93/5雨 3/92/5涼 3/91/5統(tǒng)計結果天氣 E1溫度 E2濕度 E3有風 E4打網球 P N PN PN PNPN晴 2/93/5熱 2/92/5高 3/94/5否 6/92/59/145/14云 4/90/5暖 4/92/5正常 6

15、/91/5是 3/93/5雨 3/92/5涼 3/91/5對下面的情況做出決策:天氣溫度濕度有風打網球晴涼高是?統(tǒng)計結果天氣 E1溫度 E2濕度 E3有風 E4打網球 D P N PN PN PNPN晴 2/93/5熱 2/92/5高 3/94/5否 6/92/59/145/14云 4/90/5暖 4/92/5正常 6/91/5是 3/93/5雨 3/92/5涼 3/91/5對下面的情況做出決策:天氣溫度濕度有風打網球晴涼高是?模型:決策:?(| )(| )P D no EP D yes E()(|) ()(|)( )( )P DEP E D P DP D EP EP E貝葉斯公式:E為第二個

16、表中的取值、分別計算D=yes/no的概率1234EEEEE統(tǒng)計結果天氣 E1溫度 E2濕度 E3有風 E4打網球 D P N PN PN PNPN晴 2/93/5熱 2/92/5高 3/94/5否 6/92/59/145/14云 4/90/5暖 4/92/5正常 6/91/5是 3/93/5雨 3/92/5涼 3/91/5對下面的情況做出決策:天氣溫度濕度有風打網球晴涼高是?12341234()(|) ()(|)( )( )(|) ()( )(|) (|) (|) (|) ()( )P DEP E D P DP yes EP EP EP EEEEyes P yesP EP Eyes P Ey

17、es P Eyes P Eyes P yesP E()(|) ()(|)( )( )P DEP E D P DP D EP EP E233390.0053999914(|)( )( )P yes EP EP E233390.00539999 14(|)( )( )P yes EP EP E 已經計算出:3 14350.02065555 14(|)( )( )P no EP EP E 同理可計算:(|)(|)1P yes EP no E利用公式:(|)20.5% (|)79.5%P yes EP no E最后得到:(|)(|) P yes EP no E不去打球決策:天氣 E1溫度 E2濕度 E3有風 E4打網球 D P N PN PN PNPN晴 2/93/5熱 2/92/5高 3/95/5否 6/92/59/145/14云 4/90/5暖 4/92/5正

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論