fisher算法及其matlab實(shí)現(xiàn)

1、Fisher判別法講解以及matlab代碼實(shí)現(xiàn)兩類的線形判別問(wèn)題可以看作是把所有樣本都投影到一個(gè)方向上，然后在這個(gè)一維空間中確定一個(gè)分類的閾值。過(guò)這個(gè)預(yù)置點(diǎn)且與投影方向垂直的超平面就是兩類的分類面。第一個(gè)問(wèn)題，如何確定投影方向？這里只討論兩類分類的問(wèn)題訓(xùn)練樣本集是X=x1,x2.xn,每個(gè)樣本是一個(gè)d維.一一,11一1222向量，其中第一類w1=X1,X2.Xn1,第二類w2=X1,X2.Xn2o我們要尋求一個(gè)投影方向w（w也是一個(gè)d維向量），投影以后樣本變成：yi=WTXi（y是一個(gè)標(biāo)量），i=1.n在原樣本空間中，類均值為:（ps.mi是一個(gè)d*1的矩陣，假設(shè)每個(gè)維度是一個(gè)變量值，mi中的

2、每一維度就是這些變量值的均值，如下圖所示：第一類樣本第一類樣本第一類均值第一類均值xlz2ml身高身高150160155體重體重809587.5圖1特別注明：有些例子給的矩陣是這樣的:地點(diǎn)地點(diǎn)樣品號(hào)樣品號(hào)水體水體底泥底泥ASPbASPb甲地甲地12.797.813.8549.624.6712.3122.3147.834.6316.8128.8262.1543.5一5815.2943.254.916.1228.2958.7miXjniXjwii=1,2（一共兩類的均值）乙地乙地1L061.222.1820.620.84.063.8527.1303.51L4042.414.37.933.255.1

3、4.4322.454.6圖2這里的單個(gè)樣本是1*d的矩陣，要注意計(jì)算的時(shí)候?qū)⑵滢D(zhuǎn)置，不然套用日sher算法公式的時(shí)候就會(huì)發(fā)現(xiàn)最后得到的矩陣維數(shù)不對(duì)。定義各類類內(nèi)的離散度矩陣為：(類內(nèi)離散度矩陣其實(shí)就是類協(xié)方差矩陣，類在多于一個(gè)樣本，且樣本維度1時(shí)是一個(gè)矩陣)S一(Xj_mi)(Xj-mi)TXjwi(因?yàn)?，Xj是一個(gè)d*1的矩陣，也可稱作d維向量，甲也是一個(gè)d*1的矩陣,所以最后得到的S一定是一個(gè)d*d的矩陣)(在用matlab計(jì)算的時(shí)候直接用cov(wi)即可得到想要的協(xié)方差矩陣， 故直接計(jì)算不探究細(xì)節(jié)時(shí)圖2可直接cov算協(xié)方差，不用根據(jù)公式轉(zhuǎn)置來(lái)轉(zhuǎn)置去，不過(guò)matlab中算的協(xié)方差被縮小了

4、(n1-1)倍，計(jì)算時(shí)Si=cov(w1)*(n1-1)總的類內(nèi)離散度矩陣：Sw=S1s2類間離散度矩陣定義為:Sb=(mi-m2)(m-m2)T在投影以后的一維空間里，兩類的均值分別是;mNiyiyjwiiXjwimii=i,2故類內(nèi)離散度不再是一個(gè)矩陣，而是一個(gè)值i”(ymii相yjwi總類內(nèi)離散度為:Sww二SiiSii類間離散度：2Sbb二(mil-hi)要使得需求的方向投影能在投影后兩類能盡可能的分開,聚集，可表示成如下準(zhǔn)則，即日sher準(zhǔn)則：maxJ(w)=-SbSww將公式代入并通過(guò)拉格朗日求極值的方法，可得投影方向：i,、w=Sw(m,-m2)（w是一個(gè)d*1的矩陣，或者說(shuō)亦是

5、一個(gè)d維向量）閾值可表小為:1.W0:-2(miim22)最后將待確定樣本代入g(x);wTxw0判斷g（x）的符號(hào)和哪個(gè)類相同，確定其屬于哪個(gè)類別。例子（注意表格中所給的樣本維度和公式中變量維度的問(wèn)題代碼已經(jīng)運(yùn)行無(wú)誤而各類內(nèi)部又盡可能的ABCDEFGH1胃病類型胃病類型銅藍(lán)蛋白銅藍(lán)蛋白藍(lán)色反應(yīng)藍(lán)色反應(yīng)乙酸乙酸硫化物硫化物歸類歸類2228134201113245134104014胃病胃病200167122715170150?S161001672014171501177628120133102629160100510210非胃病非胃病1851155192111701256421216514253

6、21318510S21221422512571415未知樣未知樣1001171216130100612171S代碼:%讀取 excel 中特定單元格的數(shù)據(jù)w12=xlsread(模式識(shí)別理論學(xué)習(xí)胃病分類問(wèn)題.xls,C2:F16);%分別選取類 1 和類 2、測(cè)試樣本的數(shù)據(jù)w1=w12(1:5,:);w2=w12(6:12,:);sample=w12(13:15,:);%計(jì)算類 1 和類 2 的樣本數(shù)r1=size(w1,1);r2=size(w2,1);r3=size(sample,1);%計(jì)算類 1 和類 2 的均值(矩陣)m1=mean(w1);m2=mean(w2);%各類類內(nèi)離散度矩

7、陣(協(xié)方差矩陣)s1=cov(w1)*(r1-1);s2=cov(w2)*(r2-1);%總類內(nèi)離散度矩陣sw=s1+s2;%投影向量的計(jì)算公式w=inv(sw)*(m1-m2);%計(jì)算投影后的一位空間內(nèi)，各類的均值y1=w*m1;y2=w*m2;%計(jì)算閾值w0=-1/2*(y1+y2);附口類相同符號(hào)被歸為同類fori=1:r3y(i)=sample(i,:)*w+w0;ify(i)*(w*w1(1,:)+w0)0y(i)=1;elsey(i)=2;endEnd判斷得出第一個(gè)待測(cè)樣本屬于類 1,第二，三個(gè)待測(cè)樣本屬于類 2如果想進(jìn)一步知道樣本矩陣是如何轉(zhuǎn)置得到最后結(jié)果的，可看下面這個(gè)例子，這

8、個(gè)例子沒(méi)有用到matlab 內(nèi)置的 cov 協(xié)方差函數(shù)(用 cov 可以直接用樣本數(shù)據(jù)直接進(jìn)行矩陣運(yùn)算，不用轉(zhuǎn)置成樣本維度向量)，所以要進(jìn)行轉(zhuǎn)置后代入 fisher 準(zhǔn)則公式求解.3ABCIDEF甲地甲地P12.797.813.8549.6r424.6712.3122.3147.85r34.6316.8128,3262.15643.547,5815,2943.2785I916,122&2958.7乙地乙地11.061.222.1820.6920,84.063.8527.110r301511.401142.414,37.933.21255.14.4322.454.613未知樣本未知樣本1

9、2.414.37.933.2142k5J4.4322.4r54.6J154.10612.12421.71252.2916x=xlsread(模式識(shí)別理論學(xué)習(xí)污染水域問(wèn)題.xls,C3:F14);x1=x(1:5,:);x2=x(6:10,:);sample=x(11:12,:);m1=zeros(size(x1,1),1);%求類內(nèi)離散度矩陣m1=mean(x1,2)m2=mean(x2,2)%求類內(nèi)離散度矩陣s1=zeros(size(x1,1),size(x1,1);fori=1:size(x1,2)s1=s1+(x1(:,i)-m1)*(x1(:,i)-m1);ends2=zeros(size(x2,1),size(x2,1);fori=1:size(x2,2)s2=s2+(x2(:,i)-m2)*(x2(