判別分析PPT課件

1、1 判別分析內(nèi)容 * 第一節(jié) Fisher判別 第二節(jié) 最大似然判別法 第三節(jié) Bayes公式判別法 *第四節(jié) Bayes判別 *第五節(jié) 逐步判別 * 第六節(jié) 判別分析中應(yīng)注意的問(wèn)題 (補(bǔ)充:SPSS統(tǒng)計(jì)軟件的操作和結(jié)果)*重點(diǎn)：判別分析概念、應(yīng)用、結(jié)果解釋、注意的問(wèn)題。第1頁(yè)/共74頁(yè)2 概 述 對(duì)事物分類(lèi)，以便給予不同的處理。 但事物的分類(lèi)常需要多個(gè)指標(biāo)，判別分析是通過(guò)多變量對(duì)事物進(jìn)行分類(lèi)方法。 醫(yī)學(xué)中的分類(lèi)問(wèn)題:疾病的預(yù)測(cè) 預(yù)測(cè)病人的預(yù)后(好或差),提出早期治療方法,降低嚴(yán)重后果。 第2頁(yè)/共74頁(yè)3例: 新生兒缺氧缺血性腦病(HIE)預(yù)后（山東某醫(yī)院,2004年）判別指標(biāo): 生后1 分

2、鐘阿氏評(píng)分(X1) 、窒息復(fù)蘇時(shí)間(X2 ) 、驚厥持續(xù)天數(shù)(X3 ) 、急性期CT 改變(X4) 及治療3 天后原始反射情況(X5). 求得判別值Z = 77, 以Z 77 作為預(yù)后不良的標(biāo)準(zhǔn). 不良預(yù)后:腦性癱瘓, 嚴(yán)重智能低下第3頁(yè)/共74頁(yè)4疾病診斷： 對(duì)疾病的診斷，確定進(jìn)一步的治療。 例：判別分析在糖尿病周?chē)窠?jīng)病變?cè)缙谠\斷中的應(yīng)用（廣州南方醫(yī)院內(nèi)分泌科，2004年） 管理和經(jīng)濟(jì)學(xué)上分類(lèi)： 對(duì)研究單位分類(lèi)，判別所屬類(lèi)別，為管理者制定政策提供依據(jù)。 例: 根據(jù)經(jīng)濟(jì)指標(biāo),人均收入、人均工農(nóng)產(chǎn)值、人均消費(fèi)水平等判斷不同地區(qū)經(jīng)濟(jì)發(fā)展程度類(lèi)型。第4頁(yè)/共74頁(yè)5 事物分類(lèi)的統(tǒng)計(jì)方法 主要有判別

3、分析和聚類(lèi)分析 判別分析：事物的分類(lèi)是清楚的，目的是通過(guò)已知分類(lèi)建立判別函數(shù),預(yù)測(cè)新的觀察對(duì)象所屬類(lèi)別。 聚類(lèi)分析：事物分類(lèi)不清楚，分幾類(lèi)不清楚，目的希望將事物進(jìn)行分類(lèi)（探索性研究）。第5頁(yè)/共74頁(yè)6判別分析的特點(diǎn) 用途：通過(guò)數(shù)據(jù)建立判別方程,對(duì)研究事物進(jìn)行分類(lèi)和預(yù)測(cè)。 對(duì)資料要求： 要求建立方程的觀察對(duì)象分類(lèi)（y）已經(jīng)明確（用金標(biāo)準(zhǔn)確定），收集建模對(duì)象（訓(xùn)練樣本）的m個(gè)變量（x）建立判別方程。第6頁(yè)/共74頁(yè)7判別分析建模的方法根據(jù)自變量（x）資料性質(zhì)：p 自變量（x）為計(jì)量數(shù)據(jù)： Fisher判別、Bayes判別（SPSS、SAS統(tǒng)計(jì)軟件可實(shí)現(xiàn)）。p 自變量（x） 為定性數(shù)據(jù)： 最大似然

4、判別法、Bayes公式判別（統(tǒng)計(jì)軟件不能自動(dòng)實(shí)現(xiàn)）。第7頁(yè)/共74頁(yè)8 1.建立判別函數(shù)(方程) 2.規(guī)定判別（分類(lèi)）準(zhǔn)則 判別新個(gè)體為某類(lèi) 3.評(píng)價(jià)判別方程的效果 第8頁(yè)/共74頁(yè)9 第一節(jié) Fisher判別 一 、兩類(lèi)判別1.Fisher判別(典則判別 canonical discriminant) 用已知類(lèi)別(A或B)研究對(duì)象的x1, x2 xm指標(biāo),建立判別方程(z): 方程中系數(shù)c為判別系數(shù),c1, c2 cm，1 122.mmzc xc xc x(18-1)第9頁(yè)/共74頁(yè)10Fisher判別的原理正常人冠心病人22ABABZZSSz1z2Z第10頁(yè)/共74頁(yè)11 Fisher方差

5、分析的思想 準(zhǔn)則：尋找組間變異(類(lèi)間均數(shù))/ 組內(nèi)變異的比值最大化. 1 122.mmzc xc xc x22ABABZZSS22BABAsszz英國(guó)統(tǒng)計(jì)學(xué)家FisherR A 爵士(18901962)第11頁(yè)/共74頁(yè)12 通過(guò)解下列距陣得到判別系數(shù)(c)mmmmmmmmmmDCSCSCSDCSCSCSDCSCSCS.22112222212111212111(18-3)Sij為第i指標(biāo)和第j個(gè)指標(biāo)的合并協(xié)方差1 122.mmzc xc xc x類(lèi)間均數(shù)差值第12頁(yè)/共74頁(yè)132.建立判別規(guī)則和判別值（Zc）2BAczzz(18-5)cicicizzzzzz判為A類(lèi)判為B類(lèi)判為任意一類(lèi)第13

6、頁(yè)/共74頁(yè)14例:講義表18-1兩類(lèi)疾病 22例患者三項(xiàng)指標(biāo)觀察結(jié)果編號(hào) 類(lèi)別(y) x1 x2 x31 A 23 8 0 2 A -1 9 -2 3 A -10 5 013 B 9 -5 114 B 2 -1 - 1 15 B 17 -6 - 1第14頁(yè)/共74頁(yè)157 . 2 , 8 . 5, 3 . 28 . 5, 2 .38, 3 .203 . 2, 3 .20, 3 .175,33,32,31232221131211ssssssssss計(jì)算步驟:1.計(jì)算各類(lèi)均數(shù)和合并(A、B)的協(xié)方差距陣(S)第15頁(yè)/共74頁(yè)16變量的合并方差和協(xié)方差1)(1)(2211221112BBBBBA

7、AAAAnxxxxnxxxxs1)(1)(21121111BBBAAAnxxnxxs2)(xxlxx)(yyxxlxy第16頁(yè)/共74頁(yè)172.解正規(guī)方程得出判別系數(shù)C27 . 28 . 53 . 298 . 52 .383 .2073 . 23 .203 .175321321321CCCCCCCCC318. 0,225. 0,07. 0321CCC1230.070.2250.318zxxx 類(lèi)間均數(shù)差值第17頁(yè)/共74頁(yè)183.計(jì)算判別界值Zc722. 1,428. 1BAzz1230.070.2250.318zxxx 將各類(lèi)每個(gè)個(gè)體的變量值代入判別方程，得到zi，得到zA和zB的均數(shù).00

8、4. 02)722. 1(428. 12BAczzz預(yù)測(cè): 某病人測(cè)定了x1、x2、x3值，代入方程z，計(jì)算的z-0.004，為A類(lèi)。第18頁(yè)/共74頁(yè)19例:表18-1兩類(lèi)疾病 22例患者三項(xiàng)指標(biāo)預(yù)測(cè)結(jié)果類(lèi)別 x1 x2 x3 z值 判別結(jié)果A 23 8 0 0.19 AA -1 9 -2 2.73 AA -10 5 0 1.83 AB 9 -5 1 -2.07 B B 2 -1 -1 -0.05 AB 17 -6 -1 -2.22 Bz-0.004，為A類(lèi)第19頁(yè)/共74頁(yè)20二、判別效果的評(píng)價(jià)用誤判率評(píng)價(jià):類(lèi)的例數(shù)類(lèi)的例數(shù)判為BABAp)/(類(lèi)的例數(shù)類(lèi)的例數(shù)判為ABABp)/(BAAB誤

9、判為 類(lèi)類(lèi)的例數(shù)總誤判率類(lèi)類(lèi)的例數(shù)第20頁(yè)/共74頁(yè)21表18-1資料回顧性判別效果評(píng)價(jià)原分類(lèi) 判別分類(lèi) A B 合計(jì)A 10 2 12B 2 8 10合計(jì) 12 10 22第A類(lèi)誤判率=2/12=16.6%第B類(lèi)誤判率=2/10=20.0%方程總誤判率=4/22=18.2%第21頁(yè)/共74頁(yè)221.確定研究的目的: 收集指標(biāo)與建立判別分析目的一致(從專(zhuān)業(yè)考慮)2.統(tǒng)計(jì)檢驗(yàn)建模數(shù)據(jù)的要求: 檢驗(yàn)判別變量的區(qū)別能力 數(shù)據(jù)滿足正態(tài)和協(xié)方差齊性3.建立判別方程,評(píng)價(jià)判別效果。4.模型結(jié)果解釋和預(yù)測(cè)。 SPSS統(tǒng)計(jì)軟件的判別分析與結(jié)果 (Fisher判別或典則判別)第22頁(yè)/共74頁(yè)23第23頁(yè)/共7

10、4頁(yè)24第24頁(yè)/共74頁(yè)25 講義18-1實(shí)例分析 SPSS統(tǒng)計(jì)軟件結(jié)果 變量判別能力的考察和統(tǒng)計(jì)描述Group Statistics-3.000015.326741212.0004.00005.274291212.000-1.00001.705611212.0004.000010.121481010.000-5.00007.133641010.0001.00001.563471010.000.181813.404462222.000-.09097.577592222.000-.09091.900102222.000X1X2X3X1X2X3X1X2X3類(lèi)別1.002.00TotalMeanS

11、td. DeviationUnweightedWeightedValid N (listwise)表1第25頁(yè)/共74頁(yè)26各變量在類(lèi)間的單因素統(tǒng)計(jì)檢驗(yàn) （F檢驗(yàn)） 單變量檢驗(yàn)提示： X2和x3在區(qū)別不同類(lèi)別人群有統(tǒng)計(jì)學(xué)意義。Tests of Equality of Group Means.9291.525120.231.63411.566120.003.7128.081120.010X1X2X3Wilks LambdaFdf1df2Sig.表2第26頁(yè)/共74頁(yè)27檢驗(yàn)建模數(shù)據(jù)變量的變異在類(lèi)間是否齊性？協(xié)方差的Boxs M檢驗(yàn)Test Results10.8591.50862613.311.

12、172Boxs MApprox.df1df2Sig.FTests null hypothesis of equal population covariance matrices.本例p0.05,滿足齊性條件.表3第27頁(yè)/共74頁(yè)28 兩總體方差不齊距離示意z1z2第28頁(yè)/共74頁(yè)29建立判別規(guī)則和判別值（Zc）2BAczzz(18-5)cicicizzzzzz判為A類(lèi)判為B類(lèi)判為任意一類(lèi)第29頁(yè)/共74頁(yè)30 Eigenvalues.859a100.0100.0.680Function1Eigenvalue% of VarianceCumulative %CanonicalCorrelat

13、ionFirst 1 canonical discriminant functions were used in theanalysis.a. Wilks Lambda.53811.4663.009Test of Function(s)1Wilks LambdaChi-squaredfSig.表4和表5反映建立判別方程提取信息量.和有無(wú)統(tǒng)計(jì)意義表4表5第30頁(yè)/共74頁(yè)31 典型判別函數(shù)（canonical discriminant function)Canonical Discriminant Function Coefficients.040-.127.179-.002X1X2X3(Con

14、stant)1FunctionUnstandardized coefficients0.020.4 1 0.127 20.179 3zxxx 根據(jù)表6系數(shù)建立判別方程表6第31頁(yè)/共74頁(yè)32表7提供了各變量對(duì)判別分類(lèi)的重要性。Standardized CanonicalDiscriminant Function Coefficients.523-.782.295X1X2X31Function表7系數(shù)的絕對(duì)值反映重要性第32頁(yè)/共74頁(yè)33 評(píng)價(jià)判別效果Classification Resultsa10212281083.316.7100.020.080.0100.0類(lèi)別1.002.001.0

15、02.00Count%Original1.002.00Predicted GroupMembershipTotal81.8% of original grouped cases correctly classified.a. 表8靈敏度特異度第33頁(yè)/共74頁(yè)34 軟件給出判別結(jié)果和判別值第34頁(yè)/共74頁(yè)35目前判別分析效果評(píng)價(jià)方法1.回顧性評(píng)價(jià): 將原始數(shù)據(jù)帶入判別方程得誤判率評(píng)價(jià).2.前瞻性: 將原始數(shù)據(jù)分為0.85(訓(xùn)練樣本)建立判別方程和0.15(驗(yàn)證樣本).計(jì)算誤判率(要求例數(shù)較多)。3.誤判率總誤判率低于0.2,認(rèn)為判別函數(shù)可用.第35頁(yè)/共74頁(yè)36 例：世界經(jīng)濟(jì)統(tǒng)計(jì)研究(19

16、95年)人文指數(shù) 反映國(guó)家綜合水平國(guó)家國(guó)家類(lèi)別類(lèi)別期望壽命期望壽命識(shí)字率識(shí)字率GDP美國(guó)美國(guó)1.0076.0099.005374.00日本日本1.0079.5099.005359.00訓(xùn)練樣本訓(xùn)練樣本瑞士瑞士1.0078.0099.005372.00阿根廷阿根廷1.0072.1095.905242.00阿聯(lián)酋阿聯(lián)酋1.0073.8077.705370.00保加利亞保加利亞2.0071.2093.004250.00古巴古巴2.0075.3094.903412.00巴拉圭巴拉圭2.0070.0091.203390.00格魯吉亞格魯吉亞2.0072.8099.002300.00南非南非2.0062.

17、9080.603799.00中國(guó)中國(guó)2.0068.5079.301950.00待判樣本待判樣本羅馬尼亞羅馬尼亞2.0069.9096.902840.00希臘希臘1.0077.6093.805233.00哥倫比亞哥倫比亞1.0069.3090.305158.00第36頁(yè)/共74頁(yè)37 第二節(jié) 最大似然法判別適用于定性指標(biāo)的兩類(lèi)和多類(lèi)判別.似然函數(shù)方程: Xm: x1,x2.m個(gè)判別變量.Yk: y1,y2 .k個(gè)類(lèi)型例數(shù). S :個(gè)體為某種狀態(tài)(條件).)/ )()./ )()/ )(21klkklklkysxpysxpysxpp (18-7)第37頁(yè)/共74頁(yè)38第38頁(yè)/共74頁(yè)39表18-

18、3 5668例不同型闌尾炎癥狀發(fā)生頻率%變量 癥狀 卡他性 蜂窩炎 壞疽 腹膜炎 Sl Y1 Y2 Y3 Y4X1 右下 57 34 35 21腹痛 下腹 15 13 12 27部位 上 腹 12 35 35 34 臍周 12 10 9 6 全腹 4 8 9 12X2 惡心 (-)(-) 73 33 8 13嘔吐 (+)(-) 16 30 37 22 (+) 11 37 55 65第39頁(yè)/共74頁(yè)40例：對(duì)某個(gè)新個(gè)體做判別（講義388頁(yè)）癥狀與體征 變量 某病例的癥狀腹疼部位 x1 右下腹嘔吐 x2 有排便 x3 正常腹部壓痛 x4 右下部腹部肌防御 x5 有體溫 x6 36.6白細(xì)胞 x7

19、 23.7(單位)第40頁(yè)/共74頁(yè)41某病例根據(jù)最大似然法和判別規(guī)則00015. 057. 010. 0.65. 021. 00047. 061. 018. 0.55. 034. 00018. 028. 032. 0.37. 034. 00017. 008. 061. 008. 095. 072. 011. 057. 04321pppp該病例預(yù)測(cè)為第3類(lèi) - 壞疽型該法主要得到 表18-3條件概率,要求例數(shù)較多.第41頁(yè)/共74頁(yè)42 第三節(jié) Bayes公式判別法Bayes基本思想:是利用已知先驗(yàn)概率，去推證將要發(fā)生的后驗(yàn)概率。Bayes公式:1l12l2lmg1l12l2lmk=1() (

20、)/) ()/)()/)(/ )() ()/) ()/)()/)KkkmkkKkkmkP YP X SY P XSYP XSYP YaP YP X SY P XSYP XSY()kp y: 第K類(lèi)的先驗(yàn)概率,在事件中的比例.第42頁(yè)/共74頁(yè)43表18-3 5668例不同型闌尾炎 不同型 所占 各類(lèi)先驗(yàn)概率 闌尾炎 構(gòu)成% 估計(jì) 卡他性 20 20 蜂窩炎 50 50 壞疽 25 25 腹膜炎 5 5 合計(jì) 100 100()kp y第43頁(yè)/共74頁(yè)44 判別規(guī)則: 計(jì)算個(gè)體a在 Sij的條件下,屬于k類(lèi)的后驗(yàn)概率,其中概率最大的p, 判個(gè)體為第k類(lèi)。例:18-2 見(jiàn)講義390頁(yè)10.2 0

21、.57 0.11 0.72 0.95 0.08 0.61 0.080.000033p 10.000030(/ )0.0150.000033 0.00090.0011750.000075p ya 2(/ )0.412p ya 3(/ )0.538p ya 4(/ )0.034p ya 結(jié)果與前法相同第44頁(yè)/共74頁(yè)45 第四節(jié) Bayes判別 主要計(jì)量數(shù)據(jù)的兩類(lèi)或多類(lèi)判別. bayes判別的思想： 基于bayes準(zhǔn)則，假定已知各類(lèi)出現(xiàn)的先驗(yàn)概率P（Yk），且各類(lèi)變量近似服從多元正態(tài)分布，獲得bayes判別函數(shù)。計(jì)算各個(gè)體出現(xiàn)的后驗(yàn)概率進(jìn)行判別。第45頁(yè)/共74頁(yè)46 Bayes判別方程假如要判

22、別G類(lèi),其判別方程為:mmGGGmmmmxcxcxccpyxcxcxccpyxcxcxccpy.ln.ln.ln111101111022211110111已知各類(lèi)的先驗(yàn)概率Gp第46頁(yè)/共74頁(yè)47如先驗(yàn)概率未知,假定:建立各類(lèi)的判別方程 yGmmGGmmmmxcxcxccyxcxcxccyxcxcxccy.1111011110211111011（18-9）gPK1其中C為判別系數(shù)。系數(shù)c的與fisher計(jì)算相同.第47頁(yè)/共74頁(yè)48Bayes判別規(guī)則gtclckkyyyyp1)exp()exp(預(yù)測(cè)方法:1.將個(gè)體判為YG值中最大的類(lèi).2. 計(jì)算個(gè)體各類(lèi)后驗(yàn)概率,判為概率最大類(lèi).兩方法結(jié)果

23、等價(jià)(公式18-13)第48頁(yè)/共74頁(yè)49Bayes判別對(duì)數(shù)據(jù)的要求1.各類(lèi)建立方程的m個(gè)自變量(指標(biāo))近似服從正態(tài)分布、各類(lèi)協(xié)方差距陣相同。2.最好有各類(lèi)別的先驗(yàn)概率.無(wú)可用各類(lèi)樣本的頻率代替.第49頁(yè)/共74頁(yè)50例 表18-4 3個(gè)疾病分類(lèi)的4個(gè)指標(biāo)數(shù)據(jù)第50頁(yè)/共74頁(yè)511、計(jì)算各指標(biāo)的均數(shù)和合并協(xié)方差陣49.149252.10206.14118.79152.102662.26836.1395.2906.141836.13388.15356.64188.79195.29356.6446.2074S X1 X2 X3 X42. 按講義公式18-11計(jì)算出各系數(shù)C第51頁(yè)/共74頁(yè)52

24、3. 按講義公式18-12計(jì)算常數(shù)項(xiàng)C0 先驗(yàn)概率假定:311)()()221gypypyP（mjkjJKkkXCypC1021)(lg第52頁(yè)/共74頁(yè)53例18-4 Bayes判別方程43366. 137202. 424568.1710396. 0094.19044140. 1366. 42097.1810448. 053.1994582. 135492. 4241.1910739. 051.223321xxxxyxxxxyxxxxy應(yīng)用: 將個(gè)體的m個(gè)變量值代入上面3個(gè)判別式,個(gè)體歸為最大y值類(lèi).見(jiàn)表18-4.第53頁(yè)/共74頁(yè)54表18-4 3個(gè)疾病分類(lèi)數(shù)據(jù)與判別結(jié)果后驗(yàn)概率后驗(yàn)概率X

25、1X2X3X4原分類(lèi)原分類(lèi)1類(lèi)類(lèi)2類(lèi)類(lèi)3類(lèi)類(lèi)判別結(jié)果判別結(jié)果6.0-11.519901.981.018.0001-11.0-18.525-363.000.140.860390.2-17.01732.002.547.4512-4.0-15.013541.969.030.0011第54頁(yè)/共74頁(yè)55表18-6 回顧性判別效果評(píng)價(jià)原分類(lèi) 判別分類(lèi) 1 2 3 合計(jì)1 6 1 0 72 0 4 0 43 1 0 5 6合計(jì) 7 5 5 17第1類(lèi)誤判率=1/7=14.2%第3類(lèi)誤判率=1/6=16.7%方程總誤判率=2/17=11.76%第55頁(yè)/共74頁(yè)56 第五節(jié) 逐步判別該方法目的： 選取具有

26、判別效能的指標(biāo)建立判別函數(shù)，使判別函數(shù)簡(jiǎn)潔，判別效果穩(wěn)定?；静襟E:與多元回歸相似.第56頁(yè)/共74頁(yè)57 逐步判別方法的思想 通過(guò)類(lèi)內(nèi)離均差平方和(W)與總離差平方和(T) 比值 （Wilks 統(tǒng)計(jì)量）篩選具有判別效能的指標(biāo)建立判別方程. rrrTw(18-14)11grgNFFF r指變量個(gè)數(shù)第57頁(yè)/共74頁(yè)58步驟與方法1.設(shè)定變量選入方程和剔除方程的界值 進(jìn)入界值F,常用=0.05, 0.1, 0.2 剔除界值F，常用=22.篩選步驟（見(jiàn)講義395頁(yè))本例：=0.2，=0.3結(jié)果見(jiàn)講義第58頁(yè)/共74頁(yè)5911129042.470.97296520.28wT 222215.43800

27、.99215.4612wT 333373.26190.66558.2353wT 44420894.860.744328070.23wT 見(jiàn)395頁(yè)的W和T距陣第59頁(yè)/共74頁(yè)60717. 32031766. 066. 0111grgNF第二步，X4選入，F(xiàn)=5.714第三步，X2選入，F(xiàn)=2.192第四步，X3剔除，F(xiàn)=0.1174.方程內(nèi)選入X4、X2，建立方程結(jié)果見(jiàn)396頁(yè).74. 314, 2 ,05. 0F第60頁(yè)/共74頁(yè)61SPSS統(tǒng)計(jì)軟件的逐步判別分析與結(jié)果 (Bayes判別法)第61頁(yè)/共74頁(yè)62逐步判別分析第62頁(yè)/共74頁(yè)63選入和剔除方程的概率用0.2和0.3第63頁(yè)

28、/共74頁(yè)64 Bayes逐步判別部分結(jié)果Variables Entered/RemovedX3.6693.469214.000.060X4.3684.213426.000.009X2.2753.623624.000.011X3.2815.770426.000.002Step1234EnteredRemovedStatisticStatisticdf1df2Sig.Exact FWilks LambdaVariables in the Analysis1.000.060.736.010.744.736.021.669.422.891.281.106.023.518.077.175.368.13

29、4.0001.000.134.002.744X3X3X4X3X4X2X4X2Step1234ToleranceSig. ofF toRemoveWilksLambda變量在方程內(nèi)的情況第64頁(yè)/共74頁(yè)65Classification Function Coefficients-9.865-8.474-7.740.953.801.721-101.487-74.926-62.765X2X4(Constant)1.002.003.00GFishers linear discriminant functions123101.489.8652 20.9533 474.928.4737 20.8009 462.767.7397 20.7215 4yxxyxxyxx Bayes判別函數(shù)方程第65頁(yè)/共74頁(yè)66表18-7