基于LMSE的分類器設(shè)計(jì)

1、主主 講：周潤(rùn)景講：周潤(rùn)景 教授教授單單 位：電子信息工程學(xué)院位：電子信息工程學(xué)院基于LMSE的分類器設(shè)計(jì)目目 錄錄 LMSE算法簡(jiǎn)介算法簡(jiǎn)介算法的原理算法的原理算法的實(shí)現(xiàn)步驟算法的實(shí)現(xiàn)步驟實(shí)現(xiàn)算法的實(shí)現(xiàn)算法的MATLAB編程過程編程過程算法的算法的MATLAB仿真情況仿真情況結(jié)論結(jié)論 LMSE算法簡(jiǎn)介算法簡(jiǎn)介 LMSE是Least Mean Square Error的英文縮寫,中文的意思是 最小均方誤差, 常記做LMS算法。 感知器和自適應(yīng)線性元件在歷史上幾乎是同時(shí)提出的，并且兩者在對(duì)權(quán)值的調(diào)整的算法非常相似。它們都是基于糾錯(cuò)學(xué)習(xí)規(guī)則的學(xué)習(xí)算法。感知器算法存在如下問題：不能推廣到一般的前向網(wǎng)

2、絡(luò)中；函數(shù)不是線性可分時(shí)，得不出任何結(jié)果。而由美國(guó)斯坦福大學(xué)的Widrow和Hoff在研究自適應(yīng)理論時(shí)提出的LMS算法，由于其容易實(shí)現(xiàn)而很快得到了廣泛應(yīng)用，成為自適應(yīng)濾波的標(biāo)準(zhǔn)算法。 LMSE算法是對(duì)準(zhǔn)則函數(shù)引進(jìn)最小均方誤差這一條件而建立起來的。這種算法的主要特點(diǎn)是在訓(xùn)練過程中判定訓(xùn)練集是否線性可分，從而可對(duì)結(jié)果的收斂性做出判斷。 LMSE算法屬于監(jiān)督學(xué)習(xí)的類型, 而且是“模型-無(wú)關(guān)”的，它是通過最小化輸出和期望目標(biāo)值之間的偏差來實(shí)現(xiàn)的。一、算法的原理一、算法的原理( (一一) ) LMSE算法屬于自適應(yīng)算法中一種常用的算法,它不同于C均值算法和ISODATA算法那樣屬于基于距離度量的算法,直

3、觀容易理解,它是通過調(diào)整權(quán)值函數(shù)求出判別函數(shù),進(jìn)而將待測(cè)樣品代入判別函數(shù)求值最終做出判定得解。一、算法的原理一、算法的原理( (二二) ) 一、算法的原理一、算法的原理(二二)準(zhǔn)則函數(shù): 準(zhǔn)則函數(shù)在 時(shí)得 的最小值。 準(zhǔn)則函數(shù)對(duì)Wi的偏導(dǎo)數(shù)為:21(,)() 2TJ Wi XEi XWi Xr0)(XWiXriT),(XWJiXWiXriXEWiJT)(一、算法的原理一、算法的原理(二二)求取迭代方程: 將上式偏導(dǎo)數(shù)代入迭代方程，得到: 對(duì)于多類問題來說，M類問題應(yīng)該有M個(gè)權(quán)函數(shù)方程，對(duì)于每一個(gè)權(quán)函數(shù)方程來說，如 ，則 否則 )()()()()() 1(kXkWikXrikXakWkWTkii

4、ikX)(1)(kXriijMjkXri,.,2 , 10)(二、二、 LMSE算法算法步驟步驟1.設(shè)各個(gè)權(quán)矢量的初始值為0，即：2.輸入第k次樣品 ，計(jì)算 3.確定期望輸出函數(shù)值：若 ，則 ，否則 4.計(jì)算迭代方程，其中 。5.循環(huán)執(zhí)行第2步，直到滿足條件：屬于 類的所有樣品都滿足如下不等式： 。 0)0(.)0()0()0(9210WWWW)(kX)()()(kXkWkdTiiikX)(1)(kXri0)(kXrikk1iijXdXdji)()(三、實(shí)現(xiàn)三、實(shí)現(xiàn)LMSE算法的詳細(xì)過程算法的詳細(xì)過程l1.首先給定四類樣品，各樣品的特征向量經(jīng)過增1(這里以第一類為例)lpattern=stru

5、ct(feature,)lp1=864.45 1647.31 2665.9; 877.88 2031.66 3071.18; 1418.79 1775.89 2772.9; 1449.58 1641.58 3405.12; 864.45 1647.31 2665.9; 877.88 2031.66 3071.18; 1418.79 1775.89 2772.9; 1449.58 1641.58 3405.12; 1418.79 1775.89 2772.9; 1449.58 1641.58 3405.12;lpattern(1).feature=p1三、實(shí)現(xiàn)三、實(shí)現(xiàn)LMSE算法的詳細(xì)過程算法的

6、詳細(xì)過程lpattern(1).feature(4,:)=12.設(shè)權(quán)值向量的初始值均為0lw=zeros(4,4);%初始化權(quán)值3.計(jì)算di(k)lfor k=1:4l m=pattern(i).feature(:,j)l m=m/norm(m)l d(k)=w(:,k)*m %計(jì)算d4.調(diào)整權(quán)值lfor k=1:4l if k=il if d(i)=d(k)%d(i)不是最大，則繼續(xù)迭代l flag=1;三、實(shí)現(xiàn)三、實(shí)現(xiàn)LMSE算法的詳細(xì)過程算法的詳細(xì)過程lendl endl endl %調(diào)整權(quán)值l for k=1:4l w(:,k)=w(:,k)+m*(r(k)-d(k)/num 5. 通

7、過判別函數(shù)將待分類數(shù)據(jù)分類 調(diào)用function函數(shù)，將待測(cè)數(shù)據(jù)分類，因?yàn)檎{(diào)用一次只能判別一個(gè)樣品的類別，所以循環(huán)30次完成分類：lfor k=1:30l sample=sampletotall(:,k)l y=lmseclassify(sample)l x=sample(1)三、實(shí)現(xiàn)三、實(shí)現(xiàn)LMSE算法的詳細(xì)過程算法的詳細(xì)過程lyy=sample(2)l z=sample(3)l ac(k)=y6.用三維效果圖將結(jié)果直觀顯示laxis(0 3500 0 3500 0 3500) l if y=1 plot3(x,yy,z,g*); %一類表示為綠色l elseif y=2 plot3(x,y

8、y,z,r*) %二類表示為紅色l elseif y=3 plot3(x,yy,z,b*) %三類表示為藍(lán)色l elseif y=4 plot3(x,yy,z,y*) %四類表示為黃色lendlhold on四、算法四、算法的的MATLAB仿真仿真情況情況最終的分類結(jié)果：lac =l1 至 15 列l(wèi)3 3 1 3 4 2 2 3 4 1 3 2 1 2l4l16 至 30 列l(wèi)2 4 3 4 2 2 1 3 1 1 4 1 3 3l3四、算法四、算法的的MATLAB仿真仿真情況情況數(shù)數(shù)據(jù)據(jù)編編號(hào)號(hào)原原始始分分類類預(yù)預(yù)測(cè)測(cè)分分類類數(shù)數(shù)據(jù)據(jù)編編號(hào)號(hào)原原始始分分類類預(yù)預(yù)測(cè)測(cè)分分類類數(shù)數(shù)據(jù)據(jù)編編號(hào)號(hào)

9、原原始始分分類類預(yù)預(yù)測(cè)測(cè)分分類類數(shù)數(shù)據(jù)據(jù)編編號(hào)號(hào)原原始始分分類類預(yù)預(yù)測(cè)測(cè)分分類類數(shù)數(shù)據(jù)據(jù)編編號(hào)號(hào)原原始始分分類類預(yù)預(yù)測(cè)測(cè)分分類類133722131119442511233833142220222644311944154421222711433101116222231283354411331744233329336221232183324113033結(jié)果分析：從表中可以看出有結(jié)果分析：從表中可以看出有2個(gè)分類結(jié)果是錯(cuò)的，正確率為個(gè)分類結(jié)果是錯(cuò)的，正確率為93.3%。四、總結(jié)四、總結(jié)學(xué)習(xí)樣本的維數(shù)問題： 因?yàn)闃悠奉悇e不均勻（第一類4個(gè)樣品，第二類8個(gè)樣品，第三類9個(gè)樣品，第四類10個(gè)樣品），程序不

10、運(yùn)行，后來將數(shù)據(jù)重復(fù)添加進(jìn)去，保證了程序的正常運(yùn)行。lfor j=1:10l 。l for k=1:4l m=pattern(i).feature(:,j)l d(k)=w(:,k)*m %計(jì)算dl end 。end四、總結(jié)四、總結(jié)p1=864.45 1647.31 2665.9; 877.88 2031.66 3071.18;1418.79 1775.89 2772.9; 1449.58 1641.58 3405.12;864.45 1647.31 2665.9;877.88 2031.66 3071.18;1418.79 1775.89 2772.9; 1449.581641.58 3405.12;1418.79 1775.89 2772.9; 1449.581641.58 3405.12; 注意：其中864.45 16