貝葉斯判別Fisher判別法課件

第二節(jié)貝葉斯判別

Fisher判別法貝葉斯判別法是通過計算被判樣本x屬于k個總體的條件概率P（n/x),n=1,2…..k.比較k個概率的大小，將樣本判歸為來自出現(xiàn)概率最大的總體（或歸屬于錯判概率最小的總體）的判別方法。一、最大后驗概率準(zhǔn)則

設(shè)有k個總體且總體的概率密度為，樣本x來自的先驗概率為滿足．利用貝葉斯理論，x屬于的后驗概率（即當(dāng)樣本x已知時，它屬于的概率為：最大后驗概率判別準(zhǔn)則：例7：設(shè)有，和三個類，欲判別某樣本屬于哪一類．已知現(xiàn)利用后驗概率準(zhǔn)則計算屬于各組的后驗概率：

例8：辦公室新來了一個雇員小王，小王是好人還是壞人大家都在猜測。按人們主觀意識，一個人是好人或壞人的概率均為0.5。壞人總是要做壞事，好人總是做好事，偶爾也會做一件壞事，一般好人做好事的概率為0.9，壞人做好事的概率為0.2，一天，小王做了一件好事，小王是好人的概率有多大，你現(xiàn)在把小王判為何種人。

Bayes公式：特別，總體服從正態(tài)分布的情形則判給。上式兩邊取對數(shù)并去掉與i無關(guān)的項，則等價的判別函數(shù)為：

問題轉(zhuǎn)化為若，則判。則判別函數(shù)退化為：令

問題轉(zhuǎn)化為若，則判。當(dāng)協(xié)方差陣相等

令問題轉(zhuǎn)化為若，則判。當(dāng)先驗概率相等，完全成為距離判別法。判別準(zhǔn)則1：后驗概率最大即判斷x來自后驗概率最大的總體例9：下表是某金融機構(gòu)客戶的個人資料，這些資料對一個金融機構(gòu)來說，對于客戶信用度的了解至關(guān)重要，因為利用這些資料，可以挖掘出許多的信息，建立客戶的信用度評價體系。所選變量為：

x1:月收入

x2：月生活費支出

x3：虛擬變量，住房的所有權(quán)，自己的為“1”，租用的“0”

x4：目前工作的年限

x5：前一個工作的年限

x6：目前住所的年限

x7：前一個住所的年限

X8:家庭贍養(yǎng)的人口數(shù)

X9：信用程度，“5”的信用度最高，“1”的信用度最低。二、最小平均誤判準(zhǔn)則：錯判損失最小概念作判別函數(shù)

【定義】（平均錯判損失）用P(j/i)表示將來自總體Gi的樣品錯判到總體Gj的條件概率。C(j/i)表示相應(yīng)錯判所造成的損失。則平均錯判損失為：使ECM最小的分劃，是Bayes判別分析的解。

【定理】若總體G1，G2，，Gk的先驗概率為且相應(yīng)的密度函數(shù)為，樣本來自而誤判為的損失為，則劃分的Ｂayes解為：

其中

最小錯判損失準(zhǔn)則的含義是：當(dāng)抽取了一個未知總體的樣品值x，要判別它屬于那個總體，只要先計算出k個按先驗概率加權(quán)的誤判平均損失然后比較其大小，選取其中最小的，則判定樣品屬于該總體。例：設(shè)先驗概率、誤判損失及概率密度如下：試用貝葉斯判別法將樣本x0判到G1、G2、G3中的一個?？紤]與不考慮誤判損失的結(jié)果如何？1、考慮誤判損失：誤判到G1的平均損失為ECM1＝0.55*0.46*0+0.15*1.5*400+0.30*0.70*100＝誤判到G2的平均損失為ECM2＝0.55*0.46*20+0.15*1.5*0+0.30*0.70*50＝誤判到G3的平均損失為ECM3＝0.55*0.46*80+0.15*1.5*200+0.30*0.70*0＝其中ECM2最小，故將x0判別到G2。2、不考慮誤判損失：將x0判別到G1的條件概率為：

P（G1/x0)=(0.55*0.46)/(0.55*0.46+0.15*1.5+0.30*0.70)=將x0判別到G2的條件概率為：

P（G2/x0)=(0.15*1.5)/(0.55*0.46+0.15*1.5+0.30*0.70)=將x0判別到G3的條件概率為：

P（G3/x0)=(0.30*0.70)/(0.55*0.46+0.15*1.5+0.30*0.70)=

其中P（G1/x0)取值最大，故將x0判別到G1。4.4費歇爾(Fisher)判別所謂Fisher判別法，就是用投影的方法將k個不同總體在p維空間上的點盡可能分散，同一總體內(nèi)的各樣本點盡可能的集中。用方差分析的思想則可構(gòu)建一個較好區(qū)分各個總體的線性判別法例：考慮只有兩個（預(yù)測）變量的判別分析問題。假定這里只有兩類。數(shù)據(jù)中的每個觀測值是二維空間的一個點。見圖（下一張幻燈片）。這里只有兩種已知類型的訓(xùn)練樣本。其中一類有38個點（用“o”表示），另一類有44個點（用“*”表示）。按照原來的變量（橫坐標(biāo)和縱坐標(biāo)），很難將這兩種點分開。于是就尋找一個方向，也就是圖上的虛線方向，沿著這個方向朝和這個虛線垂直的一條直線進行投影會使得這兩類分得最清楚?？梢钥闯觯绻蚱渌较蛲队?，判別效果不會比這個好。這種首先進行投影的判別方法就是Fisher判別法。一、兩個總體的費歇（Fisher）判別法

旋轉(zhuǎn)坐標(biāo)軸至總體單位盡可能分開的方向，此時分類變量被簡化為一個X不能使總體單位盡可能分開的方向u能使總體單位盡可能分開的方向（一）基本思想設(shè)有A、B兩個總體，分別有個歷史樣本數(shù)據(jù)，每個樣本有P個觀測指標(biāo)，每個樣本可看作P維空間中的一點。Fisher借助于方差分析的思想構(gòu)造一個線性判別函數(shù)：其中，判別系數(shù)的選擇應(yīng)使得y值滿足：(1)A類和B類的樣本點群盡可能遠(yuǎn)離；(2)同一類的樣本點盡可能集中。（二）Fisher兩類判別的計算步驟：1、輸入歷史數(shù)據(jù)，計算和2、計算3、解方程組，求出，建立判別函數(shù)4、對新樣本作判別（1）將新樣本p個觀測值帶入判別函數(shù)，求出y值（2）確定臨界值分別將兩類總體樣本的判別函數(shù)之均值求加權(quán)平均值作為臨界值。5、作出判別（1）（2）(三)判別效果的檢驗：1、總體差異的顯著性檢驗。2、各判別變量的重要性檢驗。二、多個總體的Fisher判別法(一)判別函數(shù)

Fisher判別法實際上是致力于尋找一個最能反映組和組之間差異的投影方向，即尋找線性判別函數(shù)，設(shè)有個總體，分別有均值向量，,…,和協(xié)方差陣,分別各總體中得到樣品：第i個總體的樣本均值向量

綜合的樣本均值向量

第i個總體樣本組內(nèi)離差平方和

綜合的組內(nèi)離差平方和組間離差平方和如果判別分析是有效的，則所有的樣品的線性組合滿足組內(nèi)離差平方和小，而組間離差平方和大。則而所對應(yīng)的特征向量即。Fisher樣品判別函數(shù)是然而，如果組數(shù)k太大，討論的指標(biāo)太多，則一個判別函數(shù)是不夠的，這時需要尋找第二個，甚至第三個線性判別函數(shù)其特征向量構(gòu)成第二個判別函數(shù)的系數(shù)。類推得到m(m<k)個線性函數(shù)。關(guān)于需要幾個判別函數(shù)得問題，需要累計判別效率達(dá)到85％以上，即有設(shè)為B相對于E得特征根，則以m個線性判別函數(shù)得到的函數(shù)值為新的變量，再進行距離判別。判別規(guī)則：則設(shè)yi(X)為第i個線性判別函數(shù)，，4.5變量選擇和逐步判別法向后剔除開始時，所有變量都在模型中。每一步，在Wilks的統(tǒng)計量的準(zhǔn)則下對模型中判別能力貢獻(xiàn)最小的變量剔除。當(dāng)所有余下的變量都達(dá)到留在模型中的標(biāo)準(zhǔn)時，向后剔除過程停止。逐步選擇開始時如同向前選擇一樣，模型中沒有變量，每一步都被檢查。如果在Wilks的準(zhǔn)則下統(tǒng)計量對模型的判別能力貢獻(xiàn)最小的變量達(dá)不到留在模型中的標(biāo)準(zhǔn)，它就被剔除。否則，不在模型中對模型的判別能力貢獻(xiàn)最大的變量被選入模型。當(dāng)模型中的所有變量都達(dá)