應(yīng)用多元統(tǒng)計(jì)ch5.1課件

1、 第五章 判別分析 判別分析是用于判斷樣品所屬類型的一種統(tǒng)計(jì)分析方法. 在生產(chǎn)、科研和日常生活中經(jīng)常遇到如何根據(jù)觀測(cè)到的數(shù)據(jù)資料對(duì)所研究的對(duì)象進(jìn)行判別歸類的問(wèn)題. 例如:在醫(yī)學(xué)診斷中,一個(gè)病人肺部有陰影,醫(yī)生要判斷他是肺結(jié)核、肺部良性腫瘤還是肺癌.這里肺結(jié)核病人、良性瘤病人、肺癌病人組成三個(gè)總體,病人來(lái)源于這三個(gè)總體之一,判別分析的目的是通過(guò)測(cè)得病人的指標(biāo)(陰影的大小,邊緣是否光滑,體溫多少)來(lái)判斷他應(yīng)該屬哪個(gè)總體(即判斷他生什么病).1 在氣象學(xué)中,由氣象資料判斷明天是陰天還是晴天, 是有雨還是無(wú)雨. 在市場(chǎng)預(yù)測(cè)中,由調(diào)查資料判斷下季度(或下個(gè)月)產(chǎn)品是暢銷、平常或滯銷. 股票持有者根據(jù)某種

2、股票近期的變化情況判斷此種股票價(jià)格下一周是上升還是下跌. 在環(huán)境科學(xué)中,由氣象條件,污染濃度等判斷該地區(qū)是屬嚴(yán)重污染,一般污染還是無(wú)污染. 在地質(zhì)勘探中,由巖石標(biāo)本的多種特征判斷地層的地質(zhì)年代,是有礦還是無(wú)礦,是富礦還是貧礦. 在體育運(yùn)動(dòng)中,由運(yùn)動(dòng)員的多項(xiàng)運(yùn)動(dòng)指標(biāo)來(lái)判定游泳運(yùn)動(dòng)員的苗子是適合練蛙泳,仰泳還是自由泳等 第五章 判別分析2 判別分析是應(yīng)用性很強(qiáng)的一種多元統(tǒng)計(jì)方法,已滲透到各個(gè)領(lǐng)域.但不管是哪個(gè)領(lǐng)域,判別分析問(wèn)題都可以這樣描述: 設(shè)有k個(gè)m維總體G1,G2,Gk,其分布特征已知(如已知分布函數(shù)分別為F1(x),F2(x),Fk(x)，或知道來(lái)自各個(gè)總體的訓(xùn)練樣本).對(duì)給定的一個(gè)新樣品

3、X,我們要判斷它來(lái)自哪個(gè)總體. 在進(jìn)行判別歸類時(shí),由假設(shè)的前提,判別的依據(jù)及處理的手法不同,可得出不同判別方法.如距離判別,Bayes判別,Fisher判別或典型判別,逐步判別,序貫判別等. 本章介紹幾個(gè)常用的判別方法. 第五章 判別分析35.1 距離判別法 距離判別的基本思想是: 樣品和哪個(gè)總體距離最近,就判它屬哪個(gè)總體. 距離判別也稱為直觀判別法. 我們?cè)诰唧w討論距離判別法之前,應(yīng)給出合理的距離的定義.45.1 距離判別法 馬氏距離 已知有兩個(gè)類G1和G2，比如G1是設(shè)備A生產(chǎn)的產(chǎn)品，G2是設(shè)備B生產(chǎn)的同類產(chǎn)品.設(shè)備A的產(chǎn)品質(zhì)量高(如考察指標(biāo)為耐磨度X)，其平均耐磨度1=80,反映設(shè)備精度

4、的方差2(1)=0.25;設(shè)備B的產(chǎn)品質(zhì)量稍差，其平均耐磨度2=75,反映設(shè)備精度的方差2(2)=4.今有一產(chǎn)品X0，測(cè)得耐磨度x0=78，試判斷該產(chǎn)品是哪一臺(tái)設(shè)備生產(chǎn)的? 直觀地看， x0 與1(設(shè)備A)的絕對(duì)距離近些，按距離最近的原則是否應(yīng)把該產(chǎn)品X0 判斷為設(shè)備A生產(chǎn)的?55.1 距離判別法 馬氏距離 設(shè)備B生產(chǎn)的產(chǎn)品質(zhì)量較分散，出現(xiàn)x0為78的可能性仍較大； 而設(shè)備A生產(chǎn)的產(chǎn)品質(zhì)量較集中，出現(xiàn)x0為78的可能性較小. 判X0為設(shè)備B的產(chǎn)品更合理. 這種相對(duì)于分散性的距離就是本節(jié)介紹的馬氏距離.75.1 距離判別法馬氏距離 一般地,我們假設(shè)G1的分布為N(1),21),G2的分布為 N(

5、2),22),則利用相對(duì)距離的定義,可以找出分界點(diǎn)*(不妨設(shè) (2)(1),當(dāng)(2)x(1)時(shí),令而按這種距離最近的判別準(zhǔn)則為：85.1 距離判別法 馬氏距離 定義5.1.1(馬氏距離) 設(shè)總體G為m維總體(考察m個(gè)指標(biāo))，均值向量為=(1,2 , ,m)，協(xié)方差陣為=(ij)，則樣品X=(x1,x2,xm)與總體G的馬氏距離定義為105.1 距離判別法 多總體樣本特征量 設(shè)有k個(gè)總體Gi(i=1,k),已知來(lái)自Gi (i=1,.,k) 的訓(xùn)練樣本為:其中ni是取自Gi的樣品個(gè)數(shù),則均值向量i的估計(jì)量為115.1 距離判別法 多總體樣本特征量 總體Gi的協(xié)方差陣i的估計(jì)Si為并稱St為組內(nèi)協(xié)差

6、陣.稱為組內(nèi)離差陣,125.1 距離判別法 兩總體判別:1=2 時(shí)的判別方法 最直觀的想法是分別計(jì)算樣品X到兩個(gè)總體的距離d21(X)和d22(X) (或記為d2(X,G1)和d2(X,G2) )，并按距離最近準(zhǔn)則判別歸類,即判別準(zhǔn)則為： 判X G1 , 當(dāng)d2(X,G1) d2(X,G2)時(shí), 待判, 當(dāng)d2(X,G1) = d2(X,G2)時(shí). 這里的距離指馬氏距離.利用馬氏距離的定義及兩總體協(xié)差陣相等的假設(shè)，可以簡(jiǎn)化馬氏距離的計(jì)算公式.145.1 距離判別法 兩總體判別: 1=2 時(shí)的判別方法 對(duì)給定樣品X，為比較X到各總體的馬氏距離，只須計(jì)算Yi(X ) :155.1 距離判別法兩總體

7、判別: 1=2 時(shí)的判別方法若考察這兩個(gè)馬氏距離之差,經(jīng)計(jì)算可得: 175.1 距離判別法兩總體判別: 1=2 時(shí)的判別方法即185.1 距離判別法兩總體判別: 1=2 時(shí)的判別方法則判別準(zhǔn)則還可以寫為： 判XG1, 當(dāng)W(X)0時(shí), 判XG2, 當(dāng)W(X)0時(shí) 待判, 當(dāng)W(X)=0時(shí). W(X)是X的線性函數(shù),即 W(X)=a(X-X*) =Y1(X)-Y2(X) ,其中a=S-1(X(1) - X(2) ),W(X)也稱為線性判別函數(shù),a為判別系數(shù).195.1 距離判別法 兩總體判別: 1=2 時(shí)的判別方法 W(X)把m維空間Rm劃分為叁部分: D1=X:W(X)0, D2 =X:W(X

8、)0, D0=X:W(X)=0.則D1 , D2 , D0 是Rm的一個(gè)劃分. 顯然,判別方法的最終結(jié)果是得到Rm中的一 個(gè)劃分.由判別函數(shù)W(X)得到劃分D1 , D2 , D0 當(dāng)樣品X落入D1 時(shí)判XG1, 當(dāng)樣品X落入D2時(shí),判XG2 , 當(dāng)樣品X落入D0時(shí), 待判205.1 距離判別法 兩總體判別: 1=2 時(shí)的判別方法 例如m=2時(shí),直線W(X)=0把平面分為兩個(gè)區(qū)域D1,和D2. W(X)=0D1=X =(x1 , x2 ) :W(X)0D2 =X =(x1 , x2 ) :W(X)0時(shí), 或者 判XG2, 當(dāng)W(X)0時(shí), 待判, 當(dāng)W(X)=0時(shí). 判XG2, 當(dāng)W(X)0時(shí)

9、.255.1 距離判別法 兩總體判別: 12 時(shí)的判別方法分界點(diǎn)*把區(qū)間(2,1)分為兩部分: D1=1 x *和 D2=2 x*時(shí), 判XG2, 當(dāng)2 x*時(shí), 275.1 距離判別法 應(yīng)用例子5.1.1 解一 A盆地和B盆地看作兩個(gè)不同的總體，并假定兩總體協(xié)差陣相等.本例中變量個(gè)數(shù)m=4, 兩類總體各有5個(gè)訓(xùn)練樣品(n1= n2=5),另有8個(gè)待判樣品. 用SAS/STAT軟件中的DISCRIM過(guò)程進(jìn)行判別歸類. (1)首先用DATA步生成SAS數(shù)據(jù)集D511. SAS程序如下：285.1 距離判別法 應(yīng)用例子5.1.1 data d511; input x1-x4 group $; ca

10、rds;13.85 2.79 7.80 49.60 A22.31 4.67 12.31 47.80 A28.82 4.63 16.18 62.15 A15.29 3.54 7.50 43.20 A28.79 4.90 16.12 58.10 A 2.18 1.06 1.22 20.60 B 3.85 0.80 4.06 47.10 B11.40 0.00 3.50 0.00 B 3.66 2.42 2.14 15.10 B12.10 0.00 5.68 0.00 B 8.85 3.38 5.17 26.10 .28.60 2.40 1.20 127.0 .20.70 6.70 7.60 30.

11、20 . 7.90 2.40 4.30 33.20 . 3.19 3.20 1.43 9.90 .12.40 5.10 4.43 24.60 .16.80 3.40 2.31 31.30 .15.00 2.70 5.02 64.00 .;proc print data=d511;run;29(2) 調(diào)用DISCRIM過(guò)程對(duì)含鉀和不含鉀的A、B兩類盆地的10個(gè)樣品特征測(cè)量值用距離判別的方法，建立線性判別函數(shù)，并對(duì)已知類別的樣品和待判樣品進(jìn)行判別歸類.proc discrim data=d511 simple wcov pcov wsscp psscp distance list; class g

12、roup; var x1-x4; run;5.1 距離判別法 應(yīng)用例子5.1.130方法2：data ds511; input x1-x4 group $; cards;13.85 2.79 7.80 49.60 A22.31 4.67 12.31 47.80 A28.82 4.63 16.18 62.15 A15.29 3.54 7.50 43.20 A28.79 4.90 16.12 58.10 A 2.18 1.06 1.22 20.60 B 3.85 0.80 4.06 47.10 B11.40 0.00 3.50 0.00 B 3.66 2.42 2.14 15.10 B12.10 0.00 5.68 0.00 B;5.1 距離判別法 應(yīng)用例子5.1.131data d511test; input x1-x4 group $; cards; 8.85 3.38 5.17 26.10 .28.60 2.40 1.20 127.0 .20.70 6.70 7.60 30.20 . 7.90 2.40 4.30 33.20 . 3.19 3.20 1.43 9.90 .12.40 5.10 4.43 24