第十講Modeler分類預(yù)測(cè)：判別分析

1、分類預(yù)測(cè)：判別分析判別分析的一般內(nèi)容 判別分析是一種實(shí)現(xiàn)統(tǒng)計(jì)分類的分析方法 例如：不同類型客戶的預(yù)測(cè)應(yīng)用 特點(diǎn)： 數(shù)據(jù)中包含用于預(yù)測(cè)的判別變量(自變量)，其類型可以為定距，也可以為定類 數(shù)據(jù)中包含已知所屬類別的類別變量(因變量)，為定類型 判別分析可以根據(jù)已有數(shù)據(jù)，確定分類與判別變量之間的數(shù)量關(guān)系，建立判別函數(shù)，并可通過判別函數(shù)實(shí)現(xiàn)對(duì)未知數(shù)據(jù)類別的判定和預(yù)測(cè)判別分析的一般內(nèi)容 判別分析與聚類分析的不同點(diǎn)： 聚類分析中的類別是未知的，完全通過數(shù)據(jù)來確定 判別分析，通過對(duì)已知類別的“訓(xùn)練樣本”的學(xué)習(xí)，建立判別準(zhǔn)則，具有“預(yù)測(cè)”意義 判別分析方法的劃分： 根據(jù)類數(shù)：兩組判別分析、多組判別分析 根據(jù)數(shù)

2、學(xué)模型：線性判別、非線性判別 根據(jù)判別準(zhǔn)則：距離判別法、Fisher判別法、Bayes判別法距離判別 設(shè)有來自k2個(gè)總體的k組樣本，每組樣本有ni(i=1,2,.k)個(gè)關(guān)于X1，X2，Xp個(gè)輸入(判別)變量的觀察值(p k) 將n個(gè)樣本數(shù)據(jù)看成p維空間中的點(diǎn)，計(jì)算出每個(gè)類別的中心(分類均值) 分別計(jì)算任一樣本點(diǎn)到各個(gè)類別中心的馬氏距離 根據(jù)距離最近的原則，距離哪個(gè)中心近，則屬于哪個(gè)類距離判別 假設(shè)有兩個(gè)總體G1和G2,從第一個(gè)總體中抽取n個(gè)樣本，從第二個(gè)總體中抽取m個(gè)樣本，每個(gè)樣本有p個(gè)判別變量 (1), (2), (1), (2)分別為G1和G2的均值向量和協(xié)差陣,則點(diǎn)X到Gi的馬氏距離定義

3、為:21 )()()(),()(1)()(2,iXXGXDiiii為什么用馬氏距離？距離判別 根據(jù)D(X,G1)、D(X,G2)判斷： 如果D(X,G1)D(X,G2),則:XG1 如果D(X,G2)0,則:XG1 如果W(X)0, 相應(yīng)的特征向量為v1,vr. 則判別函數(shù)為：yi(x)=vix (= ax)記pi為第I個(gè)判別函數(shù)的判別能力(效率), 有：m個(gè)判別函數(shù)的判別能力為：最大的值為方程|B-l lE|=0的最大特征根l l11iirhhpll使a Baa Ea111mimiirihhpllFisher判別-基本計(jì)算 如果y空間是一維的，則只需要計(jì)算判別閾值y0，并將新樣本的判別得分與

4、閾值進(jìn)行比較即可得到判別結(jié)果 通常y空間不是一維的，需要在y維空間中建立基于距離判別的判別函數(shù) 對(duì)新樣本，求出它們離各個(gè)類別中心的距離，依據(jù)判別函數(shù)，判別屬于哪個(gè)類別-4-20246-4-3-2-101232122110nnynynyBayes判別 在先驗(yàn)概率的基礎(chǔ)上，利用判別函數(shù)所提供的信息對(duì)先驗(yàn)概率進(jìn)行調(diào)整，最后得到某個(gè)樣本屬于哪個(gè)類別的概率估計(jì) 首先，計(jì)算樣本點(diǎn)X屬于總體Gi（i=1,2,k）的概率 然后，根據(jù)k個(gè)概率值的大小決策，樣本點(diǎn)X應(yīng)屬于概率最大的類別（總體）)|(XGpiBayes判別 第一，計(jì)算先驗(yàn)概率 ，設(shè)k個(gè)總體G1,G2,Gk的先驗(yàn)概率分別為q1,q2,qk 第二，計(jì)算

5、樣本似然，即在總體Gi（i=1,2,k）中抽到樣本X的概率 例如： 輸入變量服從多元正態(tài)分布，且各總體協(xié)差陣相等，則在總體G1中抽到樣本X的概率為)(iGp)|(iGXp)()()(21exp2|1)|()1(1)1(1XXGXp21exp2|1)|(211DGXp21exp2|1)|(222DGXpBayes判別 第三，計(jì)算樣本屬于總體Gi（i=1,2,k）的概率)|(XGpikiGXpqGXpqXGpkjjjiii,.2 , 1,)|()|()|(1kiDqDqXGpkjjjiii,.2 , 1,)2/exp()2/exp()|(12222/1ln)|(iiiDqxGp21 )()()()

6、,()(1)()(2,iXXGXDiiii判別分析的應(yīng)用示例 采用一份某商學(xué)院招收MBA學(xué)生的數(shù)據(jù)：大學(xué)平均學(xué)分績(jī)（X1）、管理才能得分（X2）以及錄取結(jié)果（Y，1表示錄取，2不錄取，3待定）判別分析的應(yīng)用示例-準(zhǔn)備工作 均值檢驗(yàn) 原假設(shè)：某輸入變量各總體的均值無顯著差異 操作：Means：輸出輸入變量的均值、方差等基本描述統(tǒng)計(jì)量；Univariate ANOVAS，進(jìn)行Wilks均值檢驗(yàn)SSTSSEWilksl 判別分析的應(yīng)用示例-準(zhǔn)備工作 方差齊性檢驗(yàn)：直接觀測(cè) Matrix框下：Within-groups correlation；Within-groups covariance；Sepa

7、rate-groups covariance判別分析的應(yīng)用示例-結(jié)果解讀 Fisher判別函數(shù) 判別函數(shù)(選擇Fishers選項(xiàng)) 原始變量對(duì)新空間中樣本點(diǎn)位置確定的貢獻(xiàn)程度Canonical Discriminant Function Coefficients4.086-1.831.007.014-15.595-1.470大學(xué)平均成績(jī)管理才能評(píng)分(Constant)12FunctionUnstandardized coefficientsStandardized Canonical DiscriminantFunction Coefficients.913-.409.449.895大學(xué)平均成

8、績(jī)管理才能評(píng)分12Function212211014. 0831. 1470. 1007. 0086. 4595.15xxyxxyFunctions at Group Centroids2.368.241-2.403.321-.236-.633錄取結(jié)果錄取不錄取待定12FunctionUnstandardized canonical discriminantfunctions evaluated at group means判別分析的應(yīng)用示例-結(jié)果解讀 判別能力檢驗(yàn) 哪個(gè)判別函數(shù)更重要iieigenvalueWilks11lWilks Lambda.165146.7104.000.84513.

9、7731.000Test of Function(s)1 through 22Wilks LambdaChi-squaredfSig.Eigenvalues4.110a95.795.7.897.184a4.3100.0.394Function12Eigenvalue% of VarianceCumulative %CanonicalCorrelationFirst 2 canonical discriminant functions were used in theanalysis.a. kiGXpqGXpqXGpkjjjiii,.2 , 1,)|()|()|(1 Bayes判別Classification Function Coefficients70.25550.61661.215.152.120.121-163.901-89.717-119.397大學(xué)平均成績(jī)管理才能評(píng)分(Constant)錄取不錄取待定錄取結(jié)果Fishers linear discriminant functionsPrior Probab