第判別分析演示文稿

當(dāng)前1頁，總共67頁。（優(yōu)選）第判別分析當(dāng)前2頁，總共67頁。把這類問題用數(shù)學(xué)語言來表達(dá)，可以敘述如下：設(shè)有k個(gè)m維總體（或類別）G1，G2，…，Gk，(1)、它們的分布特征已知，已知分布函數(shù)分別為F1(x)，F(xiàn)2(x)，…，F(xiàn)k(x)；

(2)、或知道來自各總體的樣本（訓(xùn)練樣本）。對(duì)給定的一個(gè)新樣本X（檢測(cè)樣本），判斷X來自哪一個(gè)總體（類）。當(dāng)前3頁，總共67頁。

判別分析內(nèi)容很豐富，方法很多。判斷分析按判別的總體數(shù)來區(qū)分，有兩個(gè)總體判別分析和多總體判別分析；按區(qū)分不同總體所用的數(shù)學(xué)模型來分，有線性判別和非線性判別；按判別時(shí)所處理的變量方法不同，有逐步判別和序貫判別等。判別分析可以從不同角度提出問題，因此有不同的判別準(zhǔn)則，如馬氏距離最小準(zhǔn)則、Fisher準(zhǔn)則、平均損失最小準(zhǔn)則、最小平方準(zhǔn)則、最大似然準(zhǔn)則、最大概率準(zhǔn)則等等，按判別準(zhǔn)則的不同又提出多種判別方法。本章僅介紹常用的幾種判別分析方法：距離判別法、Fisher判別法、Bayes判別法和逐步判別法。當(dāng)前4頁，總共67頁。第二節(jié)距離判別法距離判別的基本思想樣本與哪一類總體的距離最近，就判別它屬于哪一類總體。當(dāng)前5頁，總共67頁。第二節(jié)距離判別法一馬氏距離的概念二距離判別三判別分析的實(shí)質(zhì)

當(dāng)前6頁，總共67頁。已知，兩類，是設(shè)備A生產(chǎn)的產(chǎn)品，質(zhì)量高，平均耐磨程度為，設(shè)備精度的方差；是設(shè)備B生產(chǎn)的產(chǎn)品，質(zhì)量稍差，。現(xiàn)有一產(chǎn)品X，測(cè)得其耐磨度，試判斷該產(chǎn)品是哪一臺(tái)設(shè)備生產(chǎn)的？當(dāng)前7頁，總共67頁。一、馬氏距離的概念

當(dāng)前8頁，總共67頁。圖5.1當(dāng)前9頁，總共67頁。當(dāng)前10頁，總共67頁。為此，我們引入一種由印度著名統(tǒng)計(jì)學(xué)家馬哈拉諾比斯（Mahalanobis,1936）提出的“馬氏距離”的概念。當(dāng)前11頁，總共67頁。二、距離判別

1、兩個(gè)總體的距離判別問題問題：設(shè)有協(xié)方差矩陣∑相等的兩個(gè)總體G1和G2，其均值 分別是1和

2，對(duì)于一個(gè)新的樣品X，要判斷它來自哪個(gè)總體。一般的想法是計(jì)算新樣品X到兩個(gè)總體的馬氏距離D2（X，

G1）和D2（X，G2），并按照如下的判別規(guī)則進(jìn)行判斷這個(gè)判別規(guī)則的等價(jià)描述為：求新樣品X到G1的距離與到G2

的距離之差，如果其值為正，X屬于G2；否則X屬于G1。當(dāng)前12頁，總共67頁。首先考慮

時(shí)的判別方法當(dāng)前13頁，總共67頁。

當(dāng)前14頁，總共67頁。

當(dāng)前15頁，總共67頁。

當(dāng)前16頁，總共67頁。這里我們應(yīng)該注意到：當(dāng)前17頁，總共67頁。當(dāng)前18頁，總共67頁。2、多個(gè)總體的距離判別當(dāng)前19頁，總共67頁。三、判別分析的實(shí)質(zhì)我們知道，判別分析就是希望利用已經(jīng)測(cè)得的變量數(shù)據(jù)，找出一種判別函數(shù)，使得這一函數(shù)具有某種最優(yōu)性質(zhì)，能把屬于不同類別的樣本點(diǎn)盡可能地區(qū)別開來。為了更清楚的認(rèn)識(shí)判別分析的實(shí)質(zhì)，以便能靈活的應(yīng)用判別分析方法解決實(shí)際問題，我們有必要了解“劃分”這樣概念。設(shè)D1，D2，…，Dk是m維空間Rm的k個(gè)子集，如果它們互不相交，且它們的和集為Rm，則稱D1，

D2，…，Dk為Rm的一個(gè)劃分。這時(shí)判別準(zhǔn)則可以采用如下方法：當(dāng)前20頁，總共67頁。

這樣我們將會(huì)發(fā)現(xiàn)，判別分析問題實(shí)質(zhì)上就是在某種意義上，以最優(yōu)的性質(zhì)對(duì)m維空間Rm構(gòu)造一個(gè)“劃分”，這個(gè)“劃分”就構(gòu)成了一個(gè)判別規(guī)則。這一思想將在后面的各節(jié)中經(jīng)常出現(xiàn)。當(dāng)前21頁，總共67頁。第三節(jié)貝葉斯（Bayes）判別法一

Bayes判別的基本思想

二

Bayes判別的基本方法

當(dāng)前22頁，總共67頁。從上節(jié)看距離判別法雖然簡單，便于使用。但是該方法也有它明顯的不足之處。 第一，判別方法與各總體出現(xiàn)的概率的大小無關(guān)； 第二，判別方法沒有考慮錯(cuò)判所造成的損失。

Bayes判別法就是為了解決這些問題而提出的一種判別方法。Bayes判別的基本思想當(dāng)前23頁，總共67頁。先驗(yàn)概率先驗(yàn)概率是一種權(quán)重(比例)。所謂“先驗(yàn)”是指先于我們判斷決策之前。先驗(yàn)概率的賦值方法：

1、利用歷史資料及經(jīng)驗(yàn)進(jìn)行估計(jì)；

2、利用訓(xùn)練樣本中各類樣品占的比例估計(jì)；

3、假定k個(gè)總體各自出現(xiàn)的概率相同，即1/k;先驗(yàn)概率當(dāng)前24頁，總共67頁。在馬氏距離的基礎(chǔ)上，進(jìn)一步考慮先驗(yàn)概率及各組內(nèi)協(xié)方差陣的不同，定義樣品X到各總體的廣義平方距離為其中廣義平方距離當(dāng)前25頁，總共67頁。廣義平方距離判別準(zhǔn)則：

當(dāng)前26頁，總共67頁。Bayes判別準(zhǔn)則一、最大后驗(yàn)準(zhǔn)則辦公室新來了一個(gè)雇員小王，小王是好人還是壞人大家都在猜測(cè)。按人們主觀意識(shí)，一個(gè)人是好人或壞人的概率均為0.5。壞人總是要做壞事，好人總是做好事，偶爾也會(huì)做一件壞事，一般好人做好事的概率為0.9，壞人做好事的概率為0.2，一天，小王做了一件好事，小王是好人的概率有多大，你現(xiàn)在把小王判為何種人。當(dāng)前27頁，總共67頁。當(dāng)前28頁，總共67頁。當(dāng)前29頁，總共67頁。

設(shè)有總體，具有概率密度函數(shù)。并且根據(jù)以往的統(tǒng)計(jì)分析，知道出現(xiàn)的概率為。即當(dāng)樣本發(fā)生時(shí)，求他屬于某類的概率。由貝葉斯公式計(jì)算后驗(yàn)概率，有：判別規(guī)則則判給。當(dāng)前30頁，總共67頁。二、最小平均損失準(zhǔn)則

設(shè)有總體，具有概率密度函數(shù)并且根據(jù)以往的統(tǒng)計(jì)分析，知道出現(xiàn)的概率為，其中又D1，D2，…，Dk是Rm的一個(gè)劃分，判別法則為：當(dāng)樣品X落入Di時(shí)，則判

關(guān)鍵的問題是尋找D1，D2，…，Dk劃分，這個(gè)劃分應(yīng)該使平均錯(cuò)判損失最小。

當(dāng)前31頁，總共67頁。錯(cuò)判概率：P(j|i;D)

用P(j|i;D)表示由判別法D判別歸類時(shí)，將來自總體Gi的樣品錯(cuò)判到總體Gj的概率。顯然

用L(j|i;D)表示由判別法D判別歸類時(shí)，將來自總體Gi的樣品錯(cuò)判到總體Gj所造成的損失。錯(cuò)判損失：L(j|i;D)錯(cuò)判概率和錯(cuò)判損失的估計(jì)！當(dāng)前32頁，總共67頁。

當(dāng)前33頁，總共67頁。

當(dāng)前34頁，總共67頁。定義：如果有判別法D*，使得D*帶來的平均損失g(D*)達(dá)到最小，即則稱判別法D*符合貝葉斯判別準(zhǔn)則，或稱D*為貝葉斯判別的解當(dāng)前35頁，總共67頁。

定理：設(shè)有k的總體，已知的聯(lián)合密度函數(shù)為，先驗(yàn)概率為，錯(cuò)判損失為，則貝葉斯判別的解為其中它表示把樣品X判歸的平均損失。當(dāng)前36頁，總共67頁。

當(dāng)前37頁，總共67頁。

當(dāng)前38頁，總共67頁。

當(dāng)前39頁，總共67頁。第四節(jié)費(fèi)歇（Fisher）判別法一

Fisher判別的基本思想

二

Fisher判別函數(shù)的構(gòu)造

三線性判別函數(shù)的求法當(dāng)前40頁，總共67頁。Fisher判別法是1936年提出來的，該方法的主要思想是通過將多維數(shù)據(jù)投影到某個(gè)方向上，投影的原則是將總體與總體之間盡可能的放開，然后再選擇合適的判別規(guī)則，將新的樣品進(jìn)行分類判別。當(dāng)前41頁，總共67頁。一、Fisher判別的基本思想

當(dāng)前42頁，總共67頁。二、Fisher判別函數(shù)的構(gòu)造

1、針對(duì)兩個(gè)總體的情形

當(dāng)前43頁，總共67頁。

2、針對(duì)多個(gè)總體的情形

當(dāng)前44頁，總共67頁。

當(dāng)前45頁，總共67頁。三、線性判別函數(shù)的求法

當(dāng)前46頁，總共67頁。

當(dāng)前47頁，總共67頁。

當(dāng)前48頁，總共67頁。這里值得注意的是，本書有幾處利用極值原理求極值時(shí)，只給出了不要條件的數(shù)學(xué)推導(dǎo)，而有關(guān)充分條件的論證省略了，因?yàn)樵趯?shí)際問題中，往往根據(jù)問題本身的性質(zhì)就能肯定有最大值（或最小值），如果所求的駐點(diǎn)只有一個(gè)，這時(shí)就不需要根據(jù)極值存在的充分條件判定它是極大還是極小而就能肯定這唯一的駐點(diǎn)就是所求的最大值（或最小值）。為了避免用較多的數(shù)學(xué)知識(shí)或數(shù)學(xué)上的推導(dǎo)，這里不追求數(shù)學(xué)上的完整性。

當(dāng)前49頁，總共67頁。當(dāng)前50頁，總共67頁。第五節(jié)實(shí)例分析與計(jì)算機(jī)實(shí)現(xiàn)這一節(jié)我們利用SPSS對(duì)Fisher判別法和Bayes判別法進(jìn)行計(jì)算機(jī)實(shí)現(xiàn)。為研究某地區(qū)人口死亡狀況，已按某種方法將15個(gè)已知地區(qū)樣品分為3類，指標(biāo)含義及原始數(shù)據(jù)如下。試建立判別函數(shù)，并判定另外4個(gè)待判地區(qū)屬于哪類？

X1

：0歲組死亡概率

X

4：55歲組死亡概率

X

2

：1歲組死亡概率

X5

：80歲組死亡概率

X

3

：10歲組死亡概率X6

：平均預(yù)期壽命當(dāng)前51頁，總共67頁。表4.1各地區(qū)死亡概率表當(dāng)前52頁，總共67頁。

(一)操作步驟

1.在SPSS窗口中選擇Analyze→Classify→Discriminate，調(diào)出判別分析主界面，將左邊的變量列表中的“group”變量選入分組變量中，將—變量選入自變量中，并選擇Enterindependentstogether單選按鈕，即使用所有自變量進(jìn)行判別分析。圖4.2判別分析主界面當(dāng)前53頁，總共67頁。

2.點(diǎn)擊DefineRange按鈕，定義分組變量的取值范圍。本例中分類變量的范圍為1到3，所以在最小值和最大值中分別輸入1和3。單擊Continue按鈕，返回主界面。

3.單擊Statistics…按鈕，指定輸出的描述統(tǒng)計(jì)量和判別函數(shù)系數(shù)。選中FunctionCoefficients欄中的Fisher’s和Unstandardized。這兩個(gè)選項(xiàng)的含義如下：Fisher’s：給出Bayes判別函數(shù)的系數(shù)。（注意：這個(gè)選項(xiàng)不是要給出Fisher判別函數(shù)的系數(shù)。這個(gè)復(fù)選框的名字之所以為Fisher’s，是因?yàn)榘磁袆e函數(shù)值最大的一組進(jìn)行歸類這種思想是由Fisher提出來的。這里極易混淆，請(qǐng)讀者注意辨別。）Unstandardized：給出未標(biāo)準(zhǔn)化的Fisher判別函數(shù)（即典型判別函數(shù)）的系數(shù)（SPSS默認(rèn)給出標(biāo)準(zhǔn)化的Fisher判別函數(shù)系數(shù)）。當(dāng)前54頁，總共67頁。單擊Continue按鈕，返回主界面。圖4.3Statistics子對(duì)話框當(dāng)前55頁，總共67頁。

4.單擊Classify…按鈕，定義判別分組參數(shù)和選擇輸出結(jié)果。選擇Display欄中的Casewiseresults，輸出一個(gè)判別結(jié)果表，包括每個(gè)樣品的判別分?jǐn)?shù)、后驗(yàn)概率、實(shí)際組和預(yù)測(cè)組編號(hào)等。其余的均保留系統(tǒng)默認(rèn)選項(xiàng)。單擊Continue按鈕。圖4.4Classify…子對(duì)話框當(dāng)前56頁，總共67頁。

5.單擊Save按鈕，指定在數(shù)據(jù)文件中生成代表判別分組結(jié)果和判別得分的新變量，生成的新變量的含義分別為：Predictedgroupmembership：存放判別樣品所屬組別的值；

Discriminantscores：存放Fisher判別得分的值，有幾個(gè)典型判別函數(shù)就有幾個(gè)判別得分變量；Probabilitiesofgroupmembership：存放樣品屬于各組的Bayes后驗(yàn)概率值。將對(duì)話框中的三個(gè)復(fù)選框均選中，單擊Continue按鈕返回。當(dāng)前57頁，總共67頁。

6.返回判別分析主界面，單擊OK按鈕，運(yùn)行判別分析過程。圖4.5Save子對(duì)話框當(dāng)前58頁，總共67頁。 （二）主要運(yùn)行結(jié)果解釋

1.StandardizedCanonicalDiscriminantFunctionCoefficients（給出標(biāo)準(zhǔn)化的典型判別函數(shù)系數(shù)）標(biāo)準(zhǔn)化的典型判別函數(shù)是由標(biāo)準(zhǔn)化的自變量通過Fisher判別法得到的，所以要得到標(biāo)準(zhǔn)化的典型判別得分，代入該函數(shù)的自變量必須是經(jīng)過標(biāo)準(zhǔn)化的。

2.CanonicalDiscriminantFunctionCoefficients（給出未標(biāo)準(zhǔn)化的典型判別函數(shù)系數(shù)）未標(biāo)準(zhǔn)化的典型判別函數(shù)系數(shù)由于可以將實(shí)測(cè)的樣品觀測(cè)值直接代入求出判別得分，所以該系數(shù)使用起來比標(biāo)準(zhǔn)化的系數(shù)要方便一些。見表4.2（a）。當(dāng)前59頁，總共67頁。由此表可知，兩個(gè)Fisher判別函數(shù)分別為：實(shí)際上兩個(gè)函數(shù)式計(jì)算的是各觀測(cè)值在各個(gè)維度上的坐標(biāo)，這樣就可以通過這兩個(gè)函數(shù)式計(jì)算出各樣品觀測(cè)值的具體空間位置。當(dāng)前60頁，總共67頁。表4.2（a）未標(biāo)準(zhǔn)化的典型判別函數(shù)系數(shù)當(dāng)前61頁，總共67頁。

3.FunctionsatGroupCentroids（給出組重心處的Fisher判別函數(shù)值）如表4.2(b)所示，實(shí)際上為各類別重心在空間中的坐標(biāo)位置。這樣，只要在前面計(jì)算出各觀測(cè)值的具體坐標(biāo)位置后，再計(jì)算出它們分別離各重心的距離，就可以得知它們的分類了。表4.2（b）組重心處的Fisher判別函數(shù)值當(dāng)前62頁，總共67頁。

4.ClassificationFunctionCoefficients（給出Bayes判別函數(shù)系數(shù)）