Fisher分類算法

1、實(shí)驗(yàn)二用身高與或體重?cái)?shù)據(jù)進(jìn)行性別分類得實(shí)驗(yàn)一、實(shí)驗(yàn)?zāi)康? ）加深對(duì)F isher線性判別方法原理得理解與認(rèn)識(shí)2 ）掌握Fis h e r線性判別方法得設(shè)計(jì)方法二、實(shí)驗(yàn)數(shù)據(jù)訓(xùn)練樣本集FAMALE、TXT 50個(gè)女生得身高、體重?cái)?shù)據(jù)MALE、TX T50個(gè)男生得身高、體重?cái)?shù)據(jù)測(cè)試樣本集t es t 1、t x t 3 5個(gè)同學(xué)得身高、體重、性別數(shù)據(jù)（1 5個(gè)女生、20個(gè)男生）test2、txt 3 0 0個(gè)同學(xué)得身高、體重、性別數(shù)據(jù)（50個(gè)女生、250個(gè)男生）三、實(shí)驗(yàn)內(nèi)容試驗(yàn)直接設(shè)計(jì)線性分類器得方法，與基于概率密度估計(jì)得貝葉斯分類器進(jìn)行比較。同時(shí)采用身高與體重?cái)?shù)據(jù)作為特征，用Fi s h er線性

2、判別方法求分類器，將該分類器應(yīng)用到訓(xùn)練與測(cè)試樣本，考察訓(xùn)練與測(cè)試錯(cuò)誤情況.將訓(xùn)練樣本與求得得決策邊界畫到圖上同時(shí)把以往用B a yes方法求得得分類器（例如 ：最小錯(cuò)誤率Bayes分類器）也畫到圖上，比較結(jié)果得異同。四、原理簡(jiǎn)述、程序流程圖1、 Fisher 線性判別方法首先求各類樣本均值向量,然后求各個(gè)樣本得來內(nèi)離散度矩陣，再求出樣本得總類內(nèi)離散度,根據(jù)公式求出把X 投影到 Y 得最好得投影方向。再求出一維Y 空間中各類樣本均值,其中，本次實(shí)驗(yàn)得分界閾值我們用如下方法得到：,最后，將測(cè)試樣本中得值代入，求出 y,并將其與y0來進(jìn)行比較來分類。2、流程圖求各類產(chǎn)本均值向量矩障二鼾二間向維y空間

3、投盛-維空閶樣本 均值乘職閾信網(wǎng)火策判斷計(jì)算律美樓水的曾誤率五、實(shí)驗(yàn)結(jié)果1、錯(cuò)誤率表格男生錯(cuò)誤個(gè)數(shù)女生錯(cuò)誤個(gè)數(shù)總錯(cuò)誤男生錯(cuò)誤率女生錯(cuò)誤率總錯(cuò)誤率2 722 91 0、8%4 %9、6 7%841 21 6 %8%1 2 %分析：用訓(xùn)練樣本得到得分類器測(cè)試測(cè)試樣本時(shí)錯(cuò)誤率低，測(cè)試結(jié)果較好，但測(cè)試訓(xùn)練樣本時(shí),其錯(cuò)誤率較高，測(cè)試結(jié)果不好。2、Fishe r判別方法圖像X分析：從圖中我們可以直觀得瞧出對(duì)訓(xùn)練樣本Fisher判別比最大似然 B a yes判別效果更好。六、總結(jié)與分析本次實(shí)驗(yàn)使我們對(duì)加深Fisher判別法得理解。通過兩種分類方法得比較，我們對(duì)于同一種可以有很多不同得分類方法，各個(gè)分類方法各

4、有優(yōu)劣，所以我們更應(yīng)該熟知這些已經(jīng)得到充分證明得方法，在這些方法得基礎(chǔ)上通過自己得理解，創(chuàng)造出更好得分類方法。所以模式識(shí)別還有很多更優(yōu)秀得算法等著我們?nèi)W(xué)習(xí)。七、附錄1、 f i s her、 mfunction w, y 0 =fi shcr(AA, BB ) A= A A 'B=B B'k1,l 1 =s i z e (A);k2, 1 2 = s ize (B);M 1 = s um (AA);M 1 =M 1 'M 1 =M1/l1; %男生均值向量M2=sum(BB );M2 = M2'M 2 = M 2/l 2 ;%女生均值向量S 1=z e r o

5、 s (k1,k1); %建立矩陣S2= z e r o s(k2, k2);for i =1 ： 11S仁S1+ (A (:,i) M1)* (A (:, i ) M 1)、/ ); %男生得類內(nèi)離散度矩陣endfor i = 1 ： 12S2=S2+(B (:, i)-M2 ) * ( (B(:,i) M2)、');女生得類內(nèi)離散度矩陣endSw = 0、5*Sl+0、5*S2; %總類內(nèi)離散度矩陣，先驗(yàn)概率0、5w=i n v(S w ) * (M1 M2) ; %兩列wT=w' ;%wTM就是使Fish er準(zhǔn)則函數(shù)JF(w)取極大值時(shí)得解，也就就是d維X空間到1 維

6、Y 空間得最好得投影方向for i= 1 ： l1Y1(i尸wT (1, 1) *A(1,i)+wT(1 , 2) * A( 2 , i) ;%求出二維男生樣本集映射到一維時(shí)得量endf or i= 1 ： l 2Y 2 ( i ) =wT( 1 , 1 ) * B( 1 ,i) + wT(1 , 2) *B ( 2 , i); %求出二維女生樣本集映射到一維時(shí)得量endm 1 =sum(Y 1 ) / l1;m2=sum (Y2) / l 2 ;y0=( 1 1*m1 + l 2 * m2) / (l1+l2);2、 d e te rmi n e> m%用f ishe r線性判別函數(shù)來

7、判斷clcc l e ar al lA1 A2= te xtscan L MALE、tx yj % f%V );B1 B2 = tex tscan ( ' EE MAL E、tx t ', / % f % f ');AA =A1 A 2 ;BB = B1 B2;w , y 0 = f i she r (AA, B B);wT = w'girl = 0;boy =0 ;bad = 0;e rrorgir 1= 0;err o rboy = 0;e r ror = 0;e rrorgir 1 rat e = 0;er r o r b oyr a te = 0 ;e

8、rr o r r ate = 0 ;T 1 T2= textsca n( ' test2tx t ', '%f%f%*sQ;TT = T 1 T2; T = TTk 3 l3 = s ize (T );for k = 1 ： 50y ( k ) = wT*T(: , k) if y(k ) >y 0errorgirl = erro rg i rl+1;else if y ( k ) y 0girl = g i r l+1 ;el s ebad = bad + 1;en dendendf or k = 5 1:30 0y (k) = wT*T(: , k);i f

9、y(k) >y0boy = b o y +1 ;e 1 se i f y (k)<y0e r ro r bo y = er r or boy+1 ;e lsebad = bad+1;en den dende r rorgirl;err o rboy;bad;girl = er r orboy+ g irl ;boy = b oy+err o r g i rl;er r or = error g i rl+errorboy;error g ir 1 rate = err orgirl/50 ;erro rboy r ate = error b o y / 25 0 ;erro r r

10、a t e = e rro r/l3;3、 h ua t u、mA1 A2 = t e xt r e ad('MAL E、txt',' 煩 V);B1 B 2 = tex tread (/ FEMAL E、txt/，/ %f%f);AA = A1 A 2 ;BB= Bl B 2;A=AA'B= BB，;k1 ,門=si ze(A);k 2,l2 =size(B);w, y0=fisher (AA,BB);for i=1:l1x = A (1, i);y=A (2,i); % x就是身高，y就是體重plo t (x, y/R、/);hol d o n endfor

11、 i=1 ： 12x=B(1 ， i);y=B ( 2,i) ;pl o t ( x ,y, 'G、;)h o Id onenda1=min(A ( 1,:) ) ； %男生身高最小值a 2= m ax(A (1,:) )；%男生身局最大值b1 = m in ( B( 1 , : ); %女生身高最小值 b2=max(B (1,: ); %女生身高最大值 a3=min(A (2 ,：) ;%男生體重最小值 a4=max(A(2, :) ;%男生體重最大值 b3 =m i n (B (2, :) ;%女生體重最小值 b4=max( B( 2,： ) ;女生體重最大值if a 1 <

12、b1a= a 1;elsea=b1; % a就是所有人中身高最小值 endif a2>b2b= a 2;elseb =b2; %b就是所有人中身高最大值 endif a3Vb 3c=a 3 ;e 1 sec= b3; % c就是所有人中體重最小值 endi f a4> b 4d= a 4 ;elsed= b 4; % d為所有人中體重最大值 endx= a :0、0 1 :b;y =(y o x*w( 1,1)/w (2, i)；pl o t ( x , y/B，)； hold on；%身高體重相關(guān),判別測(cè)試樣本手動(dòng)先驗(yàn)概率P1=0、5;P2 =0、5;FA=B;MA = A;a=

13、 cov (FA，) * l length (FA) 1 ) /le n gth (FA);b =co v (MA') * (1 ength ( MA)-1)/lengt h (MA);W1=- 1/2* i n v(a);W2= 1/2 * inv(b);Ave1=(su m (FA，)/l e ng t h(FA)'A v e2= (sum (MA，)/lengt h (MA)'w1=inv (a)*Avel;w 2=in v ( b) * Ave2;w 1 0=-1/2*Ave1 / * i n v ( a )*Ave 1 1 /2*log(det(a ) )+lo g ( P1);w20=- 1 /2