試驗(yàn)1Fisher線性判別試驗(yàn)

1、實(shí)驗(yàn)1Fisher線性判別實(shí)驗(yàn)一、實(shí)驗(yàn)?zāi)康膽?yīng)用統(tǒng)計(jì)方法解決模式識(shí)別問題的困難之一是維數(shù)問題，低維特征空間的分類問題一般比高維空間的分類問題簡單。因此，人們力圖將特征空間進(jìn)行降維，降維的一個(gè)基本思路是將d維特征空間投影到一條直線上，形成一維空間，這在數(shù)學(xué)上比較容易實(shí)現(xiàn)。問題的關(guān)鍵是投影之后原來線性可分的樣本可能變?yōu)榫€性不可分。一般對(duì)于線性可分的樣本，總能找到一個(gè)投影方向，使得降維后樣本仍然線性可分。如何確定投影方向使得降維以后，樣本不但線性可分，而且可分性更好(即不同類別的樣本之間的距離盡可能遠(yuǎn)，同一類別的樣本盡可能集中分布)，就是Fisher線性判別所要解決的問題。本實(shí)驗(yàn)通過編制程序讓初學(xué)者能

2、夠體會(huì)Fisher線性判別的基本思路，理解線性判別的基本思想，掌握Fisher線性判別問題的實(shí)質(zhì)。二、實(shí)驗(yàn)要求1、改寫例程，編制用Fisher線性判別方法對(duì)三維數(shù)據(jù)求最優(yōu)方向W的通用函數(shù)。2、對(duì)下面表1-1樣本數(shù)據(jù)中的類別31和2計(jì)算最優(yōu)方向W3、畫出最優(yōu)方向W的直線，并標(biāo)記出投影后的點(diǎn)在直線上的位置。表1-1Fisher線性判別實(shí)驗(yàn)數(shù)據(jù)類別3】CD2樣本K1r2x3X1x2x314).4D.58O.OR9O&L6-0.0142-031D,27-0.04IJ0,4830.0550.0350.44-041DJ24-0J5).530.0110,0470451.4SD.470.0340.28035.

3、3,160.17D.690.1-0.39-0.480.117-0.011D.550.34-0.0790.148-027D.610.12-0.3Lo.222.29-0.065良4910.0012LI1.24610-0J2D.0540.06?0.18-0.110.494、選擇決策邊界，實(shí)現(xiàn)新樣本xx1=(-0.7,0.58,0.089),xx2=(0.047,-0.4,1.04)的分類。5、提高部分(可做可不做)：設(shè)某新類別33數(shù)據(jù)如表1-2所示，用自己的函數(shù)求新類別33分別和31、32分類的投影方向和分類閾值。表1-2新類別樣本數(shù)據(jù)類別樣本xIx2x3I1.58L325.K20.67I.5H-4

4、.7831.041,0L634-1.492.IS5-0.411.21-4.73GL.393.612.8771.21.4-I.S9g-0.921.44-3.229133-4.3K10-0.760.841邱三、部分參考例程及其說明求取數(shù)據(jù)分類的Fisher投影方向的程序如下：其中w為投影方向。clear%Removesallvariablesfromtheworkspace.clc%Clearsthecommandwindowandhomesthecursor.%w1類訓(xùn)練樣本，10組，每組為行向量。w1=-0.4,0.58,0.089;-0.31,0.27,-0.04;-0.38,0.055,-

5、0.035;-0.15,0.53,0.011;-0.35,0.47,0.034;.0.17,0.69,0.1;-0.011,0.55,-0.18;-0.27,0.61,0.12;-0.065,0.49,0.0012;-0.12,0.054,-0.063;%w2類訓(xùn)練樣本，10組，每組為行向量。w2=0.83,1.6,-0.014;1.1,1.6,0.48;-0.44,-0.41,0.32;0.047,-0.45,1.4;0.28,0.35,3.1;.-0.39,-0.48,0.11;0.34,-0.079,0.14;-0.3,-0.22,2.2;1.1,1.2,-0.46;0.18,-0.11

6、,-0.49;xx1=-0.7,0.58,0.089;%測試數(shù)據(jù)xx1,為列向量。xx2=0.047,-0.4,1.04;%測試數(shù)據(jù)xx2,為列向量。s1=cov(w1,1);%w1類樣本類內(nèi)離散度矩陣m1=mean(w1);%w1類樣本均值向量，為列向量s2=cov(w2,1);%w2類樣本類內(nèi)離散度矩陣m2=mean(w2);%w2類樣本均值向量，為列向量sw=s1+s2;%總類內(nèi)離散度矩陣w=inv(sw)*(m1-m2);%投影方向y0=(w*m1+w*m2)/2;%閾值y0figure(1)fori=1:10plot3(w1(i,1),w1(i,2),w1(i,3),r*)holdonbo)plot3(w2(i,1),w2(i,2),w2(i,3),endz1=w*w1;z2=w*w2;figure(2)fori=1:10plot3(z1(i)*w(1),z1(i)*w(2),z1(i)*w(3),holdonplot3(z2(i)*w(1),z2(i)*w(2),z2(i)*w(3),endholdoffrx)bp)y1=w*xx1;ify1y0fprintf(elsefprintf(endy2=w*xx2;ify2y0fprintf(elsefprintf(end測試數(shù)據(jù)xx1屬于w1類n);測試數(shù)據(jù)xx1屬于