感知準則函數(shù)7頁

1、模式識別實驗報告1 實驗目的1. 學習和掌握關于感知準則函數(shù)的知識；2. 應用感知準則函數(shù)求解判決面，解決模式識別的分類問題；2 實驗內(nèi)容利用感知準則函數(shù)用感知準則函數(shù)的方法求解以下數(shù)據(jù)的判決面，學習率為 t=0.1，畫出每次迭代法向量的變化軌跡，并畫出最終的判決曲線。樣本12樣本12x1x2x1x2x1x2x1x210.11.1-3.0-2.963.15.0-1.33.726.87.10.58.77-0.8-1.3-3.46.23-3.5-4.12.92.180.91.2-4.13.442.02.7-0.15.295.06.4-5.11.654.12.8-4.02.2103.94.01.95

2、.13 實驗原理或步驟初始的線性判別函數(shù)為 g(x) = wTx + w0為了討論方便，把向量 x 增加一維，但取其值為常數(shù)，即定義y = 1,x1,x2,···,xdT其中，x1 為樣本 x 的第 i 維分量。我們稱 y 為增廣的樣本向量。相應地，定義增廣的權向量為 = w0,w1,w2,···,wdT線性判別函數(shù)變?yōu)間(y) = Ty決策規(guī)則是：如果 g(y) > 0，則 y 1；如果 g(y) < 0，則 y 2。設一組樣本為 y1···,yN，若存在權向量 ，使得對于樣本集中的任意一個

3、樣本 yi，i=1，···，N，若 y 1 則 Tyi > 0，若 y 2 則 Tyi < 0，那么稱這組樣本或這個樣本集是線性可分的。即在樣本的特征空間中，至少存在一個線性分類面能夠把兩類樣本沒有錯誤地分開。如果定義一個新的變量 y，使對于第一類的樣本 y=y，而對第二類樣本則 y=y，即其中 i = 1,2,···,N則樣本可分性條件就變成了存在 ，使這樣定義的 y 稱作規(guī)范化增廣樣本向量。為了討論方便，都采用規(guī)范化增廣樣本向量，并且把 y 仍然記作 y。對于權向量 ，如果某個樣本 yk 被錯誤分類，則 Tyk 0。我

4、們可以用對所有錯分樣本的求和來表示對錯分樣本的懲罰這就是 Rosenblatt 提出的感知器準則函數(shù)。顯然，當且僅當 JP() = minJP() = 0 時 是解向量。感知器準則函數(shù)式的最小化可以用梯度下降方法迭代求解(t + 1) = (t) tJP()即，下一時刻的權向量是把當前時刻的權向量向目標函數(shù)的負梯度方向調(diào)整一個修正量，其中 t 為調(diào)整的步長。目標函數(shù) Jp 對權向量 的梯度是yk)因此，迭代修正的公式就是(t + 1) = (t) + t Tk (yk) y 0即在每一步迭代時把錯分的樣本按照某個系數(shù)加到權向量上。算法步驟如下：(1) 任意選擇初始的權向量 (0)，置 t=0；

5、(2) 考察樣本 yj，若 (t)Tyj 0，則 (t + 1)=(t) + yj，否則繼續(xù)；(3) 考察另一個樣本，重復 (2)，直至對所有樣本都有 (t)Tyj > 0，即 JP() = 0。4 運行結果和分析原始數(shù)據(jù)的分布，如圖：圖像中可以清晰的發(fā)現(xiàn)有兩個藍色樣本摻雜到紅色中了，被錯誤分類。于是我把這兩個樣本坐標點進行了更改，由（-3.0，-2.9）和（2.9,2.1）分別改為（-3.0,6）和（2.9,8）。圖中可以看到?jīng)Q策線很好的將兩類樣本分開，下方的線代表每次迭代的法向量，長短代表迭代的先后。分析：5 實驗總結這次做感知實驗的函數(shù)是我大學以來第一次把課上學到的算法運用到解決一

6、個實際問題上，雖然只是把兩類樣本分類。我從中獲益很多，在做這個實驗之前，雖然大概懂了感知準則函數(shù)這個算法，但總感覺模模糊糊，似懂非懂，但做實驗時，真的是要把每個需要掌握的點都要挖透，一個點不懂，這整個實驗就會導致失敗，有的數(shù)學公式一大串，看似明白，但理解不深，在實際動手時，馬上讓我吃到苦頭，在如何畫出每次迭代的法向量上，想了好久好久，才發(fā)現(xiàn)原來自己對法向量的幾何意義沒有搞懂，這次實驗真的讓我知道了學好數(shù)學的重要性和優(yōu)越性。通過此次實驗，我還加深了對 matlab 的畫圖的理解，整個過程雖然煩，但成果出現(xiàn)時，還是有點小興奮的。6 附：matlab 源碼w1=0.16.83.5 2.04.13.1

7、0.8 0.95.03.9;1.17.14.1 2.72.85.01.3 1.26.44 .0 ;5.1 1.9;%分別產(chǎn)生第一類和第二類增廣樣本向量集ww1、ww2 ww1=ones (1 , size (w1,2) );w1 ; ww2=ones (1 , size (w2,2) );w2 ;%產(chǎn)生第一類和第二類樣本向量的規(guī)范化增廣樣本向量集w12 w12=ww1,ww2 ;y=zeros (1 , size (w12 ,2 ); % 產(chǎn)生1x20的行向量，賦給y，初值全為0 a =1;1;1;%給權向量a賦初值 k=0;figure (1) while any(y<=0) for

8、i =1:size (y ,2) y( i)=a *w12(: , i ); end a=a+0.1*(sum(w12(: , find (y<=0) ) ; a=a/sqrt(sum(a .2); k=k+1; a=a*k ;m=0,a (2 ) ; n=0,a ( 3) ;plot(m,n ); hold on enda%顯示最終求得的權向量a的值 k%迭代次數(shù)值plot(w1(1 ,:) ,w1(2 ,:) , r+ ); hold on plot(w2(1 ,:) ,w2(2 ,:) , * ); xmin=min(min(w1(1 ,:) ,min(w2(1 ,:); xmax=max(max(w1(1 ,:) ,max(w2(1 ,:); ymin=min(min(w1(2 ,:) ,min(w2(2 ,:); ymax=max(max(w1(2 ,:) ,max(w2(2 ,:); xindex=xmin1:(xma