第2章貝葉斯決策理論

第二章貝葉斯決策理論第一頁，共二十七頁。2.1最小錯誤率準(zhǔn)則第二頁，共二十七頁。各種概率及其關(guān)系先驗概率：后驗概率：類條件概率：貝葉斯公式：第三頁，共二十七頁。兩個類別，一維特征第四頁，共二十七頁。兩類問題的錯誤率觀察到特征x時作出判別的錯誤率：兩類問題最小錯誤率判別準(zhǔn)則：第五頁，共二十七頁。多類問題最小錯誤率判別x屬于ωi的錯誤率：判別準(zhǔn)則：則：第六頁，共二十七頁。貝葉斯最小錯誤率準(zhǔn)則Bayes判別準(zhǔn)則：，則第七頁，共二十七頁。貝葉斯分類器的錯誤率估計第八頁，共二十七頁。例2.1對一大批人進(jìn)行癌癥普查，設(shè)ω1類代表患癌癥，ω2類代表正常人。已知先驗概率：

以一個化驗結(jié)果作為特征x:{陽性，陰性}，患癌癥的人和正常人化驗結(jié)果為陽性的概率分別為：

現(xiàn)有一人化驗結(jié)果為陽性，問此人是否患癌癥？第九頁，共二十七頁。2.2最小平均風(fēng)險準(zhǔn)則貝葉斯分

類器問題的提出:有c個類別ω1,ω2,...,

ωc,將ωi類的樣本判別為ωj類的代價為λij。將未知模式x判別為ωj類的平均風(fēng)險：第十頁，共二十七頁。最小平均風(fēng)險判別準(zhǔn)則利用Bayes公式，構(gòu)造判別函數(shù)：第十一頁，共二十七頁。貝葉斯分類器第十二頁，共二十七頁。例2.2

對一大批人進(jìn)行癌癥普查，設(shè)ω1類代表患癌癥，ω2類代表正常人。已知先驗概率：

以一個化驗結(jié)果作為特征x:{陽性，陰性}，患癌癥的人和正常人化驗結(jié)果為陽性的概率分別為： 判別代價：λ11=0,λ22=0,λ12=100,λ21=25

現(xiàn)有一人化驗結(jié)果為陽性，問此人是否患癌癥？第十三頁，共二十七頁。2.3貝葉斯分類器的其它版本先驗概率P(ωi)未知：極小化極大準(zhǔn)則；約束一定錯誤率（風(fēng)險）：Neyman-Pearson準(zhǔn)則；某些特征缺失的決策：連續(xù)出現(xiàn)的模式之間統(tǒng)計相關(guān)的決策：第十四頁，共二十七頁。2.4正態(tài)分布的貝葉斯分類器單變量正態(tài)分布密度函數(shù)（高斯分布）：第十五頁，共二十七頁。多元正態(tài)分布函數(shù)第十六頁，共二十七頁。正態(tài)分布的判別函數(shù)貝葉斯判別函數(shù)可以寫成對數(shù)形式：類條件概率密度函數(shù)為正態(tài)分布時：第十七頁，共二十七頁。情況一：判別函數(shù)可以寫成：此分類器稱為距離分類器，判別函數(shù)可以用待識模式x與類別均值μi之間的距離表示：第十八頁，共二十七頁。情況二：判別函數(shù)可以寫成：可以簡化為： 稱為線性分類器第十九頁，共二十七頁。線性分類器兩類問題，1維特征，先驗概率相同時：第二十頁，共二十七頁。線性分類器兩類問題，高維特征，先驗概率相同時：第二十一頁，共二十七頁。線性分類器兩類問題，1維特征，先驗概率不同時：第二十二頁，共二十七頁。線性分類器兩類問題，高維特征，先驗概率不同時：第二十三頁，共二十七頁。情況三：任意判別函數(shù)可以寫成：判別函數(shù)為二次判別函數(shù)，分類界面為2次曲線（面）。第二十四頁，共二十七頁。二次分類曲線第二十五頁，共二十七頁。二次分類曲面第二十六頁，共二十七頁。內(nèi)容總結(jié)第二章貝葉斯決策理論。對一大批人進(jìn)行癌癥普查，設(shè)ω1類代表患癌癥，ω2類代表正常人。以一個化驗結(jié)果作為特征x:{陽性，陰性}，患癌癥的人和正常人化驗結(jié)果為陽性的概率分別為：。2.2最小平均風(fēng)險準(zhǔn)則貝葉斯分

類器。判別代價：λ11=0,λ22=0,λ12=100,λ21=25。連續(xù)出現(xiàn)的模式之間統(tǒng)計相關(guān)的決策：。此分類器稱為距離分類器，判別函數(shù)可以用待識模式x與類別均值μi之間的距離表示：。兩類問題，1