感知器算法有代碼(共10頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上基于模式識別的判別函數(shù)分類器的設(shè)計(jì)與實(shí)現(xiàn)摘要：本文主要介紹了模式識別中判別函數(shù)的相關(guān)概念和感知器算法的原理及特點(diǎn)，并例舉實(shí)例介紹感知器算法求解權(quán)向量和判別函數(shù)的具體方法，最后按照線性函數(shù)判決函數(shù)的感知算法思想結(jié)合數(shù)字識別，來進(jìn)行設(shè)計(jì)，通過訓(xùn)練數(shù)字樣本（每個(gè)數(shù)字樣本都大于120），結(jié)合個(gè)人寫字習(xí)慣，記錄測試結(jié)果，最后通過matlab編碼來實(shí)現(xiàn)感知器的數(shù)字識別。關(guān)鍵字：模式識別 判別函數(shù) 感知器 matlab1 引言模式識別就是通過計(jì)算機(jī)用數(shù)學(xué)技術(shù)方法來研究模式的自動(dòng)處理和識別。對于人類的識別能力我們是非常熟悉的。因?yàn)槲覀冊谠缧┠昃鸵呀?jīng)會開發(fā)識別聲音、臉、動(dòng)物、水果或簡單

2、不動(dòng)的東西的技術(shù)了。在開發(fā)出說話技術(shù)之前，一個(gè)象球的東西，甚至看上去只是象個(gè)球，就已經(jīng)可以被識別出來了。所以除了記憶，抽象和推廣能力是推進(jìn)模式識別技術(shù)的關(guān)鍵技術(shù)。最近幾年我們已可以處理更復(fù)雜的模式，這種模式可能不是直接基于通過感知器觀察出來的隨著計(jì)算機(jī)技術(shù)的發(fā)展，人類對模式識別技術(shù)提出了更高的要求。本文第二節(jié)介紹判別函數(shù)分類器，具體介紹了判別函數(shù)的概念、特點(diǎn)以及如何確定判別函數(shù)的正負(fù)；第三節(jié)介紹了感知器的概念、特點(diǎn)并用感知器算法求出將模式分為兩類的權(quán)向量解和判別函數(shù)，最后用matlab實(shí)現(xiàn)感知判別器的設(shè)計(jì)。2 判別函數(shù)分類器2.1 判別函數(shù)概念直接用來對模式進(jìn)行分類的準(zhǔn)則函數(shù)。若分屬于1，2的

3、兩類模式可用一方程d(X) =0來劃分，那么稱d(X) 為判別函數(shù)，或稱判決函數(shù)、決策函數(shù)。如，一個(gè)二維的兩類判別問題，模式分布如圖示，這些分屬于1，2兩類的模式可用一直線方程 d(X)=0來劃分。其中 式中： 為坐標(biāo)變量。圖2-1 兩類二維模式的分布將某一未知模式 X 代入： 若，則類； 若，則類； 若，則或拒絕維數(shù)=3時(shí)：判別邊界為一平面。維數(shù)>3時(shí)：判別邊界為一超平面。2.2 判別函數(shù)正負(fù)值的確定判別界面的正負(fù)側(cè)，是在訓(xùn)練判別函數(shù)的權(quán)值時(shí)確定的。如圖2-2。圖2-2 判別函數(shù)正負(fù)的確定圖中 d(X)=0表示的是一種分類的標(biāo)準(zhǔn)，它可以是1、2、3維的，也可以是更高維的。2.3 確定判

4、別函數(shù)的兩個(gè)因素 1）判決函數(shù)d(X)的幾何性質(zhì)。它可以是線性的或非線性的函數(shù)，維數(shù)在特征提取時(shí)已經(jīng)確定。已知三維線性分類 判決函數(shù)的性質(zhì)就確定了判決函數(shù)的形式：非線性判決函數(shù)，其示意圖如圖2-3所示：圖:2-3 非線性判決函數(shù)圖示2）判決函數(shù)d(X)的系數(shù)，由所給模式樣本確定的。3感知器算法設(shè)計(jì)與實(shí)現(xiàn)對一種分類學(xué)習(xí)機(jī)模型的稱呼，屬于有關(guān)機(jī)器學(xué)習(xí)的仿生學(xué)領(lǐng)域中的問題，由于無法實(shí)現(xiàn)非線性分類而下馬。但“賞罰概念（ reward-punishment concept）” 得到廣泛應(yīng)用，感知器算法就是一種賞罰過程。 3.1 感器算法原理及特點(diǎn)3.1.1 感知器算法原理兩類線性可分的模式類 ，設(shè)其中，

5、應(yīng)具有性質(zhì) （3-1）對樣本進(jìn)行規(guī)范化處理，即2類樣本全部乘以(1)，則有： 感知器算法通過對已知類別的訓(xùn)練樣本集的學(xué)習(xí)，尋找一個(gè)滿足上式的權(quán)向量。感知器算法步驟： （1）選擇N個(gè)分屬于1和 2類的模式樣本構(gòu)成訓(xùn)練樣本集 X1 , XN 構(gòu)成增廣向量形式，并進(jìn)行規(guī)范化處理。任取權(quán)向量初始值W(1)，開始迭代。迭代次數(shù)k=1。（2）用全部訓(xùn)練樣本進(jìn)行一輪迭代，計(jì)算WT(k)Xi 的值，并修正權(quán)向量。分兩種情況，更新權(quán)向量的值：1. 分類器對第i個(gè)模式做了錯(cuò)誤分類，權(quán)向量校正為：c：正的校正增量。2. 若分類正確，權(quán)向量不變：,統(tǒng)一寫為： (3-3)（3）分析分類結(jié)果：只要有一個(gè)錯(cuò)誤分類，回到（2

6、），直至對所有樣本正確分類。感知器算法是一種賞罰過程：分類正確時(shí)，對權(quán)向量“賞”這里用“不罰”，即權(quán)向量不變；分類錯(cuò)誤時(shí)，對權(quán)向量“罰”對其修改，向正確的方向轉(zhuǎn)換。3.1.2 感知算法特點(diǎn)-收斂性收斂性：經(jīng)過算法的有限次迭代運(yùn)算后，求出了一個(gè)使所有樣本都能正確分類的W，則稱算法是收斂的。感知器算法是在模式類別線性可分條件下才是收斂的。3.1.3 感知器算法用于多類情況采用多類情況3的方法時(shí)，應(yīng)有：若，則 對于M類模式應(yīng)存在M個(gè)判決函數(shù)： ,算法主要內(nèi)容：設(shè)有M中模式類別：設(shè)其權(quán)向量初值為：訓(xùn)練樣本為增廣向量形式，但不需要規(guī)范化處理。第K次迭代時(shí)，一個(gè)屬于i 類的模式樣本X被送入分類器，計(jì)算所有

7、判別函數(shù) (3-4)分二種情況修改權(quán)向量： 若，則權(quán)向量不變； 若第L個(gè)權(quán)向量使，則相應(yīng)的權(quán)向量作調(diào)整，即： (3-5)其中c為正的校正增量，只要模式類在情況3判別函數(shù)時(shí)是可分的，則經(jīng)過有限次迭代后算法收斂。3.2 實(shí)例說明為了說明感知器算法的具體實(shí)現(xiàn)，下面舉出實(shí)例加以說明： 已知兩類訓(xùn)練樣本用感知器算法求出將模式分為兩類的權(quán)向量解和判別函數(shù)。 解：所有樣本寫成增廣向量形式；進(jìn)行規(guī)范化處理，屬于2的樣本乘以(1)。 任取W(1)=0，取c=1，迭代過程為：第一輪：有兩個(gè)WT(k)Xi 0的情況（錯(cuò)判），進(jìn)行第二輪迭代。第二輪：第三輪：第四輪：該輪迭代的分類結(jié)果全部正確，故解向量相應(yīng)的判別函數(shù)為

8、：圖3-1 判決函數(shù)示意圖判別界面d(X)=0如圖示。當(dāng)c、W(1)取其他值時(shí)，結(jié)果可能不一樣，所以感知器算法的解不是單值的。3.3 matlab的感知器算法設(shè)計(jì)與實(shí)現(xiàn)本設(shè)計(jì)是按照線性函數(shù)判決函數(shù)的感知算法思想結(jié)合數(shù)字識別，來進(jìn)行設(shè)計(jì)，通過訓(xùn)練數(shù)字樣本（每個(gè)數(shù)字樣本都大于120），結(jié)合個(gè)人寫字習(xí)慣，記錄測試結(jié)果，最后通過matlab編碼來實(shí)現(xiàn)感知器的數(shù)字識別。3.3.1 Matlab代碼設(shè)計(jì) function y=jiangcheng(sample) clc; load templet pattern; w=zeros(26,10); d=; maxpos=0; maxval=0; f=1;

9、n=;m=; %依次輸入樣本 for j=1:100 for i=1:10 f=1; pattern(i).feature(26,j)=1; for k=1:10 m=pattern(i).feature(:,j); d(k)=w(:,k)*m; end %判斷是否為最大值，如果是，f=1，否則f=0； for=1:10 if k=i if d(i)<=d(k) I=0; end end end %修正權(quán)值 if f for k=1:10 if k=i w(:,k)=w(:,k)+pattern(i).feature(:,j); else w(:,k)=w(:,k)-pattern(i)

10、.feature(:,j); end end end endend sample(26)=1; h=; %計(jì)算各類別的判別函數(shù) for k=1:10 h(k)=w(:k)'*sample' end maxval,maxpos=max(h); y=maxpos-1;3.3.2 matlab實(shí)現(xiàn)首先通過，手寫輸入0-9個(gè)數(shù)字的訓(xùn)練樣例各130個(gè)，如下圖所示： 圖3-2 數(shù)字訓(xùn)練樣品訓(xùn)練樣本準(zhǔn)備好后，進(jìn)行數(shù)字識別測試,其測驗(yàn)如下： 圖3-3 數(shù)字測驗(yàn)結(jié)果正確樣例 圖3-4 數(shù)字測試不正確樣例3.3.3 設(shè)計(jì)結(jié)果分析通過多次手寫驗(yàn)證測試，有65%通過，其結(jié)果如節(jié)顯示，由于模式識別的算法復(fù)雜，步驟較多，實(shí)現(xiàn)起來有一定的難度。為了使樣品庫少一些，將精力著重放在算法的理解及編程實(shí)現(xiàn)上，此次設(shè)計(jì)用的是6x6的設(shè)計(jì)模板，這個(gè)比較小，其對測試結(jié)果的正確性起著確定性的作用。故增大設(shè)計(jì)模板以及提高算法的精確度可