模式識(shí)別大作業(yè)1

模式識(shí)別大作業(yè)--fisher線性判別和近鄰法學(xué)號(hào)：021151**姓名：**任課教師:張**I.Fisher線性判別A.fisher線性判別簡(jiǎn)述在應(yīng)用統(tǒng)計(jì)方法解決模式識(shí)別的問題時(shí)，一再碰到的問題之一是維數(shù)問題．在低維空間里解析上或計(jì)算上行得通的方法，在高維里往往行不通．因此，降低維數(shù)就成為處理實(shí)際問題的關(guān)鍵．我們考慮把維空間的樣本投影到一條直線上，形成一維空間，即把維數(shù)壓縮到一維．這樣，必須找一個(gè)最好的，易于區(qū)分的投影線．這個(gè)投影變換就是我們求解的解向量．B.fisher線性判別的降維和判別1．線性投影與Fisher準(zhǔn)那么函數(shù)各類在維特征空間里的樣本均值向量：，(1)通過變換映射到一維特征空間后，各類的平均值為：，(2)映射后，各類樣本“類內(nèi)離散度”定義為：，(3)顯然，我們希望在映射之后，兩類的平均值之間的距離越大越好，而各類的樣本類內(nèi)離散度越小越好。因此，定義Fisher準(zhǔn)那么函數(shù)：(4)使最大的解就是最正確解向量，也就是Fisher的線性判別式。2．求解從的表達(dá)式可知，它并非的顯函數(shù)，必須進(jìn)一步變換。：，,依次代入上兩式，有：，(5)所以：(6)其中：(7)是原維特征空間里的樣本類內(nèi)離散度矩陣，表示兩類均值向量之間的離散度大小，因此，越大越容易區(qū)分。將(4.5-6)和(4.5-2)代入(4.5-4)式中：(8)其中：，(9)因此：(10)顯然：(11)稱為原維特征空間里，樣本“類內(nèi)離散度”矩陣。是樣本“類內(nèi)總離散度”矩陣。為了便于分類，顯然越小越好，也就是越小越好。將上述的所有推導(dǎo)結(jié)果代入表達(dá)式：可以得到：其中，是一個(gè)比例因子，不影響的方向，可以刪除，從而得到最后解：(12)就使取得最大值，可使樣本由維空間向一維空間映射，其投影方向最好。是一個(gè)Fisher線性判斷式.這個(gè)向量指出了相對(duì)于Fisher準(zhǔn)那么函數(shù)最好的投影線方向。C.算法流程圖左圖為算法的流程設(shè)計(jì)圖。II.近鄰法近鄰法線簡(jiǎn)述K最近鄰(k-NearestNeighbor，KNN)分類算法，是一個(gè)理論上比擬成熟的方法，也是最簡(jiǎn)單的機(jī)器學(xué)習(xí)算法之一。該方法的思路是：如果一個(gè)樣本在特征空間中的k個(gè)最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個(gè)類別，那么該樣本也屬于這個(gè)類別。KNN算法中，所選擇的鄰居都是已經(jīng)正確分類的對(duì)象。該方法在定類決策上只依據(jù)最鄰近的一個(gè)或者幾個(gè)樣本的類別來決定待分樣本所屬的類別。KNN方法雖然從原理上也依賴于極限定理，但在類別決策時(shí)，只與極少量的相鄰樣本有關(guān)。由于KNN方法主要靠周圍有限的鄰近的樣本，而不是靠判別類域的方法來確定所屬類別的，因此對(duì)于類域的交叉或重疊較多的待分樣本集來說，KNN方法較其他方法更為適合。將與測(cè)試樣本最近鄰樣本的類別作為決策的結(jié)果。對(duì)一個(gè)類別問題，每類有個(gè)樣本,，那么第類的判別函數(shù)為：(1)因此，最近鄰決策規(guī)那么：假設(shè)(2)那么決策III.實(shí)驗(yàn)仿真實(shí)驗(yàn)設(shè)計(jì)：實(shí)驗(yàn)內(nèi)容對(duì)以下數(shù)據(jù)進(jìn)行判別。在每一類里面隨機(jī)選一半作為訓(xùn)練樣本，另一半作為測(cè)試樣本。來判別屬于第一類的是否都正確，屬于第二類中是否都屬于第二類。文件名類別數(shù)維數(shù)樣本數(shù)Sonar.xls260208Wdbc.data230569用fisher判別法和對(duì)這兩組數(shù)據(jù)進(jìn)行判別。B.代碼設(shè)計(jì)1.fisher判別%%clc,clear;M=xlsread('E:\power\專業(yè)課程\大作業(yè)們\sonar.xls');%讀取數(shù)據(jù)sum1=0;sum2=0;foriii=1:10[aa,bb]=size(M);num1=1;num2=1;forn=1:aaifM(n,bb)==1Data1(num1,:)=(M(n,1:bb-1));num1=num1+1;elseData2(num2,:)=(M(n,1:bb-1));num2=num2+1;endendd1=Data1(randsample([1:num1-1],floor(num1/2)),:);d2=Data2(randsample([1:num2-1],floor(num2/2)),:);m1=mean(d1);m2=mean(d2);S1=zeros(bb-1,bb-1);forii=1:floor(num1/2)S1=S1+(d1(ii,:)-m1)'*(d1(ii,:)-m1);endS2=zeros(bb-1,bb-1);forii=1:floor(num2/2)S2=S2+(d2(ii,:)-m2)'*(d2(ii,:)-m2);endSw=S1+S2;w=inv(Sw)*(m1-m2)';forii=1:floor(num1/2)dd1(ii)=w'*d1(ii,:)';endforii=1:floor(num2/2)dd2(ii)=w'*d2(ii,:)';endmm1=mean(dd1')';mm2=mean(dd2')';yo=(mm1+mm2)/2;forii=1:208y=w'*M(ii,1:bb-1)';if(y>=yo)result(ii)=1;elseify<yoresult(ii)=2;%else%result(ii)=4;endenderr=M(:,61)-result';err1=err(1:num1-1);err2=err(num1:aa);ErrRate1=sum(abs(err1))/(num1-1);sum1=sum1+ErrRate1;ErrRate2=sum(abs(err2))/(num2-1);sum2=sum2+ErrRate2;endcorrectrate1=1-sum1/10correctrate2=1-sum2/10figure(1)holdonplot(dd1,'^');plot(dd2,'*')figure(2)holdonplot(d1,'^');plot(d2,'*')近鄰法%對(duì)wdbc數(shù)據(jù)求解clc;clear;M=csvread('E:\power\專業(yè)課程\大作業(yè)們\wdbc.csv');[aa,bb]=size(M);%求行數(shù)(aa),求列數(shù)(bb)sum1=0;sum2=0;foriii=1:10num1=1;num2=1;forn=1:aaifM(n,1)==1Data1(num1,:)=M(n,2:bb);%按行抽取數(shù)據(jù)num1=num1+1;elseData2(num2,:)=M(n,2:bb);%抽取數(shù)據(jù)num2=num2+1;endendvector1=randsample([1:num1-1],floor(num1/2));vector2=randsample([1:num2-1],floor(num2/2));d1=Data1(vector1,:);%取一半的數(shù)據(jù)d2=Data2(vector2,:);forii=1:aamin1=inf;%初始化min1為最小值forjj=1:floor(num1/2)x=norm(M(ii,2:bb)-d1(jj,:));if(x<min1)min1=x;endend%訓(xùn)練樣本和第一組樣本比擬min2=inf;forjj=1:floor(num2/2)x=norm(M(ii,2:bb)-d2(jj,:));if(x<min2)min2=x;endend%訓(xùn)練樣本和第二組樣本比擬%找出最短歐氏距離ifmin1<min2result(ii,1)=1;elseresult(ii,1)=2;endendcounter1=0;counter2=0;forii=1:aaifM(ii,1)-result(ii,1)==-1counter1=counter1+1;elseifM(ii,1)-result(ii,1)==1counter2=counter2+1;endendcorrectrate1=1-abs(counter1)/aa;%第一類錯(cuò)分到第二類(第一類被判別為第一類)correctrate2=1-counter2/aa;%第二類錯(cuò)分到第一類(第二類被判別為第二類)correctrate1sum1=correctrate1+sum1;sum2=correctrate2+sum2;endcorrectrate1=sum1/10correctrate2=sum2/10C.實(shí)驗(yàn)結(jié)果及分析1〕sonar數(shù)據(jù)fisher判別圖1,sonar數(shù)據(jù)的fisher判別識(shí)別率分析：隨機(jī)在第一類里面選取一半的數(shù)據(jù)作為訓(xùn)練樣本，然后與全部的數(shù)據(jù)進(jìn)行作差比擬，看剩下的原本屬于第一類的樣本是否也屬于第一類，假設(shè)測(cè)試樣本仍然屬于第一類，就計(jì)數(shù)得到正確率；假設(shè)不為第一類，那么計(jì)數(shù)得到錯(cuò)誤率。在sonar樣本中，用fisher判別得到的上組數(shù)據(jù)的識(shí)別率如上圖。識(shí)別率的上下意味著原本分類的正確程度。這就說明原本這兩類數(shù)據(jù)的給出已經(jīng)分的較開。圖2,sonar數(shù)據(jù)fisher判別的降維分類圖上圖是sonar六十維度的數(shù)據(jù)經(jīng)過降維得到的二維圖像，可以很明顯的看出，在第二類里面有一個(gè)‘*’被錯(cuò)分。而w*也可以清晰的看出他的大致范圍。我不太會(huì)把他們投影到一條一線上，像網(wǎng)上得到的那種圖，但是用這個(gè)圖也可以清晰的看出他的劃分程度。近鄰法圖3,sonar數(shù)據(jù)的近鄰法識(shí)別率分析：近鄰法同樣是在兩類里面選取一半的數(shù)據(jù)作為實(shí)驗(yàn)樣本，另一半作為測(cè)試樣本，過程是用測(cè)試的樣本與第一類里的實(shí)驗(yàn)樣本和第二類里的實(shí)驗(yàn)樣本分別做歐氏距離。假設(shè)用第一類的測(cè)試樣本中的一個(gè)數(shù)據(jù)做測(cè)試，假設(shè)與第一類中得到的歐式距離最近那么劃分為第一類，同時(shí)也證明了原來劃分是正確的；假設(shè)與第二類中的得到的歐式距離最近那么劃分為第二類，計(jì)數(shù)它為錯(cuò)誤的劃分。近鄰法得到的識(shí)別率比fisher得到的識(shí)別率高，這也說明了近鄰法比fisher更優(yōu)。2.wdbc數(shù)據(jù)1〕fisher判別圖4,wdbc數(shù)據(jù)的fisher判別識(shí)別率Wdbc是30維度的數(shù)據(jù)測(cè)試結(jié)果如上圖。得到的識(shí)別率相對(duì)較高。圖