判別分析培訓(xùn)講解課件

判別分析實(shí)例1：某醫(yī)院對(duì)若干個(gè)健康人和心肌梗塞病人的心電圖作了對(duì)比分析，結(jié)合專(zhuān)業(yè)知識(shí)，找出了區(qū)分兩者的一些指標(biāo)（X1、X2、X3）。隨機(jī)抽取10名健康人和6名病人（作為例子，僅抽取了16個(gè)樣品）。目的：通過(guò)心電圖指標(biāo)，判斷某個(gè)體歸屬于健康人還是心肌梗塞病人實(shí)例1資料(g=1:健康人，g=2：病人gkx1x2x311436.7049.592.3212290.6730.022.46………19292.5626.072.16110276.8416.602.9121510.4767.641.7322510.4162.711.58……………26515.7084.591.75判別分析實(shí)例P51例1：根據(jù)X1-X7值判別某病人疾病類(lèi)型：卡他性？蜂窩組織炎？壞疽性？腹膜炎？判別分析概念有N個(gè)分別屬于1、2、…G的不同類(lèi)別樣品，每個(gè)樣品具有X1、X2、…Xm個(gè)指標(biāo)，按照一定原則，擬合判別函數(shù)，用以判別新樣品的類(lèi)別的多元統(tǒng)計(jì)分析方法。1936年R.A.Fisher首次提出，隨著計(jì)算機(jī)的發(fā)展而被廣泛應(yīng)用。判別分析遵循的原則隨機(jī)化對(duì)每一待判的個(gè)體X，建立一組概率函數(shù)，λ1(X),λ2(X),…λg(X),λi(X)≥0,且∑λi(X)=1。將具有觀測(cè)值X（x1,x2,…xm)的個(gè)體以概率λi(X)化歸到第i個(gè)總體。非隨機(jī)化由個(gè)體X的一切可能值構(gòu)成樣本空間S，將S劃分為g個(gè)互相排斥的區(qū)域ω1、ω2…ωg，若某個(gè)體觀測(cè)值X（X1、X2、…Xm)落在ωi中，則將該個(gè)體判屬第i總體判別分析分類(lèi)按個(gè)體屬性（歸屬類(lèi)別）數(shù)量：兩類(lèi)判別多類(lèi)判別按判別指標(biāo)（X）性質(zhì)計(jì)數(shù)資料判別計(jì)量資料判別：一般判別逐步判別判別分析資料預(yù)處理對(duì)于計(jì)量資料判別，需對(duì)少數(shù)計(jì)數(shù)資料進(jìn)行量化。對(duì)于計(jì)數(shù)資料判別，需對(duì)少數(shù)計(jì)量資料轉(zhuǎn)換成等級(jí)資料判別分析本教學(xué)講解內(nèi)容計(jì)數(shù)資料最大似然法判別分析計(jì)量資料兩類(lèi)Fisher判別分析計(jì)量資料多類(lèi)Bayes判別分析計(jì)數(shù)資料最大似然法判別分析資料要求判別指標(biāo)全部或大部分是定性和（或）等級(jí)指標(biāo)，如有少量定量指標(biāo)，則轉(zhuǎn)換成等級(jí)指標(biāo)。M個(gè)判別指標(biāo)X1、X2、…Xm彼此獨(dú)立。計(jì)數(shù)資料最大似然法判別分析步驟收集具有明確歸屬類(lèi)別個(gè)體的一批判別指標(biāo)，X1、X2…Xmg，判別指標(biāo)符合最大似然法資料要求；求各個(gè)類(lèi)別下各判別指標(biāo)出現(xiàn)各種表現(xiàn)的條件概率，以相應(yīng)頻率估計(jì)；建立似然函數(shù)，判斷個(gè)體所屬類(lèi)別（P513.1）判別效果評(píng)價(jià)計(jì)數(shù)資料最大似然法判別分析實(shí)例P51例1計(jì)數(shù)資料最大似然法判別分析注意事項(xiàng)最大似然法建立在獨(dú)立事件的概率乘法定理基礎(chǔ)上，各判別指標(biāo)間必須相互獨(dú)立；歸屬類(lèi)別g（1,2…g）間必須互斥；用頻率估計(jì)條件概率，因此，樣本量要足夠大；對(duì)歸屬類(lèi)別的判斷具有相對(duì)性，當(dāng)兩似然函數(shù)Li與Lj接近，結(jié)論需慎重。計(jì)量資料兩類(lèi)Fisher判別分析設(shè)有N個(gè)樣品，分別歸屬于2個(gè)類(lèi)別，N=n1+n2，m個(gè)判別指標(biāo)為X1、X2…Xm，據(jù)此，按一定原則建立線性判別函數(shù)，并對(duì)新樣品進(jìn)行判別的多元統(tǒng)計(jì)分析方法。判別函數(shù)：Z=C1X1+C2X2+…+CmXm，Ci：判別系數(shù)，反映Xi對(duì)判別分類(lèi)作用的方向和大小，Xi變化1個(gè)單位，Z變化Ci

個(gè)單位，Ci>0，Xi增加，Z增加，Ci<0，Xi增加，Z減少。計(jì)量資料兩類(lèi)Fisher判別分析Fisher準(zhǔn)則求Fisher判別函數(shù)的判別系數(shù)Vi的方法稱Fisher準(zhǔn)則，即：

2個(gè)總體中每個(gè)個(gè)體的Z值在Z軸上相應(yīng)于1點(diǎn)（也可理解為，X1、X2…Xm的m維空間中的1點(diǎn)，把它們投影到1個(gè)方向Z軸上），要使2個(gè)Z總體均數(shù)的差別盡可能大，而各Z總體內(nèi)的方差盡可能小，即不同總體的Z值點(diǎn)盡可能分開(kāi)，相同總體的Z值點(diǎn)盡可能靠近。計(jì)量資料兩類(lèi)Fisher判別分析內(nèi)容由n1個(gè)第1類(lèi)樣品與n2個(gè)第2類(lèi)樣品的m個(gè)判別指標(biāo)的觀測(cè)值擬合Fisher判別函數(shù)；確定第1類(lèi)與第2類(lèi)分界值Z分界；對(duì)擬合的Fisher判別函數(shù)進(jìn)行假設(shè)檢驗(yàn)；對(duì)于有統(tǒng)計(jì)學(xué)意義的判別函數(shù)，計(jì)算各判別指標(biāo)Xi對(duì)判別函數(shù)的貢獻(xiàn)率，計(jì)算標(biāo)準(zhǔn)化判別系數(shù)并對(duì)其進(jìn)行假設(shè)檢驗(yàn)。計(jì)量資料兩類(lèi)Fisher判別分析---實(shí)例實(shí)例1資料(g=1:健康人，g=2：病人gkx1x2x311436.7049.592.3212290.6730.022.46………19292.5626.072.16110276.8416.602.9121510.4767.641.7322510.4162.711.58……………26515.7084.591.75第一步---求WijX1、X2、X3的類(lèi)內(nèi)離均差平方和或積和

X1的類(lèi)內(nèi)離均差平方為w11,X1與X2的類(lèi)內(nèi)離均差積和為w12j=1J=2J=3i=139003.20757259.4848-91.3392i=21865.5859-17.9574i=30.6604第二步-----求判別系數(shù)∑mj=1.wijCj

=(N-2)(xi1-xi2)i=1,2,…m39003.2075C1+7259.4848C2-91.3392C3=(16-2)(337.0820-464.5117)7259.4848C1+1865.5859C2-17.9574C3=(16-2)(34.7990-60.1617)-91.3392C1-17.9574C2+0.6604C3=(16-2)(2.3860-1.7883)第二步-----求判別系數(shù)C1=-0.0188,C2=-0.0274,C3=9.3252判別函數(shù)為：

Z=-0.0188X1-0.0274X2+9.3252X3第二步-----2類(lèi)的分界值

1、2類(lèi)的均值分別為：Zg=∑mi=1CiXig,g=1,2Z1=-0.0188*337.0820-0.0274*34.7990+9.3252*2.3860=14.9593Z2=-0.0188*464.5117-0.0274*60.1617+9.3252*1.7883=6.2950第二步----2類(lèi)的分界值

2、Z分界=（Z1+Z2）/2=（14.9593+6.2950）/2=10.6272Z分界可根據(jù)事前概率、據(jù)研究目的確定的兩類(lèi)錯(cuò)判的損失比值進(jìn)行調(diào)整。調(diào)整的Z分界=（Z1+Z2）/2+ln(p1/p2)

Z2

Z分界Z1第三步----Fisher判別函數(shù)的F檢驗(yàn)前提條件：2個(gè)總體符合多元正態(tài)分布且協(xié)方差相等H0：2個(gè)總體相同H1：2個(gè)總體不相同F(xiàn)~F（m,N-m-1)F>F0.05(3,12),P<0.05,所擬合的判別函數(shù)有統(tǒng)計(jì)學(xué)意義。第三步----Fisher判別函數(shù)的F檢驗(yàn)

第三步----Fisher判別函數(shù)的F檢驗(yàn)F~F（m,n1+n2-m-1)本例D2=8.6643，F(xiàn)=9.28F>F0.05(3,12),P<0.05,所擬合的判別函數(shù)有統(tǒng)計(jì)學(xué)意義。第四步各判別指標(biāo)對(duì)判別函數(shù)的貢獻(xiàn)率Xi的貢獻(xiàn)率=Ci(Xi1-Xi2)/D2*100%x1的貢獻(xiàn)率=-0.0188(337.0820-464.5117)/8.6643*100%=27.65%x2的貢獻(xiàn)率=8.02%x3的貢獻(xiàn)率=64.33%第四步求標(biāo)準(zhǔn)化判別系數(shù)：Ci‘=CiSiSi2：2類(lèi)合并方差，

Si2=wii/(N-2),i=1,2,…,mC1‘=C1S1=-0.0188*39003.2075/14=-0.9923C2‘=-0.3163C3‘=2.0254第五步---檢驗(yàn)判別函數(shù)的實(shí)際判別效果

回代檢驗(yàn)交叉檢驗(yàn)刀切法檢驗(yàn)第五步---檢驗(yàn)判別函數(shù)的實(shí)際判別效果回代檢驗(yàn)：將擬合判別函數(shù)的所有樣品（訓(xùn)練樣品）值代入判別函數(shù)，得Z值，通過(guò)Z與Z分界比較判別樣品所屬類(lèi)別；

Z2

Z分界Z1第五步---檢驗(yàn)判別函數(shù)的實(shí)際判別效果Z≥Z分界，判為第1類(lèi)Z＜Z分界，判為第2類(lèi)判別類(lèi)別實(shí)際類(lèi)別121ab2cd第五步---檢驗(yàn)判別函數(shù)的實(shí)際判別效果回代檢驗(yàn)缺點(diǎn)回代檢驗(yàn)是針對(duì)訓(xùn)練樣本進(jìn)行的檢驗(yàn)，因此，樣本的2個(gè)兩類(lèi)錯(cuò)判率是相應(yīng)總體率的偏低估計(jì)。第五步---檢驗(yàn)判別函數(shù)的實(shí)際判別效果交叉檢驗(yàn)將收集的樣品隨機(jī)分成2份（2份樣品數(shù)最好相等），一份作訓(xùn)練樣本用以擬合判別函數(shù)；另一份作為檢驗(yàn)判別效果的樣品。

2個(gè)兩類(lèi)錯(cuò)判率是相應(yīng)總體率的無(wú)偏估計(jì)缺點(diǎn)：要求樣本含量大。第五步---檢驗(yàn)判別函數(shù)的實(shí)際判別效果刀切法檢驗(yàn)：也稱舍一法檢驗(yàn)。當(dāng)樣本含量小時(shí)，將N個(gè)訓(xùn)練樣品編號(hào)1、2…N，按序號(hào)從1到N每次去掉一個(gè)樣品，以其余N-1個(gè)樣品擬和判別函數(shù)，用以判別所去掉的那個(gè)樣品的類(lèi)別。2個(gè)兩類(lèi)錯(cuò)判率是相應(yīng)總體率的近似無(wú)偏估計(jì)第五步---判別新樣品類(lèi)別預(yù)報(bào)新樣品類(lèi)別將不知類(lèi)別的新樣品X（X1、X2…Xm）代入判別函數(shù)，求Z，Z≥Z分界，判為第1類(lèi)Z＜Z分界，判為第2類(lèi)此外還可計(jì)算樣品X歸屬于第1類(lèi)與第2類(lèi)的概率。P（1/X）=1/（1+exp(z+z分界）)P（2/X）=1-P（1/X）Fisher判別小結(jié)---關(guān)于總體分布的假設(shè)關(guān)于總體分布的假設(shè)：Fisher在1936年導(dǎo)出兩類(lèi)判別函數(shù)時(shí)，對(duì)總體分布未作任何假設(shè)，因此就擬合Fisher判別函數(shù)、定分界值和判別分類(lèi)，總體分布可任意。后來(lái)，發(fā)展到對(duì)Fisher判別函數(shù)作F檢驗(yàn)，理論上導(dǎo)出樣品歸屬2類(lèi)的概率，和總體的2個(gè)兩類(lèi)錯(cuò)判率，這就要求2個(gè)總體符合多元正態(tài)分布，且協(xié)方差矩陣相同。Fisher判別小結(jié)---判別函數(shù)與回歸方程應(yīng)變量不同：回歸方程中Y是一個(gè)實(shí)測(cè)的正態(tài)隨機(jī)變量，判別函數(shù)中Z是m個(gè)判別指標(biāo)Xi加權(quán)的綜合判別指標(biāo)計(jì)量資料多類(lèi)Bayes判別分析基本原理按非隨機(jī)化判別準(zhǔn)則，由個(gè)體X的一切可能值構(gòu)成樣本空間S，將S劃分為g個(gè)互相排斥的區(qū)域ω1、ω2…ωg，若某個(gè)體觀測(cè)值X（X1、X2、…Xm)落在ωi中，則將該個(gè)體判屬第i總體計(jì)量資料多類(lèi)Bayes判別分析判別原則錯(cuò)分損失盡可能小計(jì)量資料多類(lèi)Bayes判別分析判別函數(shù)Z(1)=C0(1)+C1(1)X1+C2(1)X2+…+Cm(1)XmZ(2)=C0(2)+C1(2)X1+C2(2)X2+…+Cm(2)Xm…………………..Z(g)=C0(g)+C1(g)X1+C2(g)X2+…+Cm(g)Xm將待判樣品X1、X2、…Xm帶入求出Z(1)、Z(2)、…Z(m),,，如Z(i)最大，則將新樣品判為第i類(lèi)Bayes判別分析步驟計(jì)算類(lèi)內(nèi)離差陣Wij：與Fisher判別類(lèi)似計(jì)算類(lèi)內(nèi)離差陣的逆矩陣Wij-1求解判別系數(shù)：公式見(jiàn)教材P55--3.7、3.8判別函數(shù)的假設(shè)檢驗(yàn)判別效果檢驗(yàn)：回代、交叉、刀切新樣品類(lèi)別判定Bayes判別分析步驟---判別函數(shù)的假設(shè)檢驗(yàn)多個(gè)分類(lèi)函數(shù)對(duì)多類(lèi)判別效果