信息工程概論課件 第十講 機器學(xué)習(xí)-感知器算法

第10講機器學(xué)習(xí)-感知器算法10.1概述由美國學(xué)者Rosenblatt在1957年首次提出學(xué)習(xí)算法是Rosenblatt在1958年提出的包含一個突觸權(quán)值可調(diào)的神經(jīng)元屬于前向神經(jīng)網(wǎng)絡(luò)類型只能區(qū)分線性可分的模式IEEE設(shè)立以其名字命名的獎項2信息科學(xué)導(dǎo)論10.2單層感知器模型f(v)x1······by=f(v)x2xiw1xmw2wmwi3信息科學(xué)導(dǎo)論10.2單層感知器模型單層感知器工作原理 單層感知器可將外部輸入分為兩類。當(dāng)感知器的輸出為+1時，輸入屬于l1類，當(dāng)感知器的輸出為-1時，輸入屬于l2類，從而實現(xiàn)兩類目標(biāo)的識別。在二維空間，單層感知器進行模式識別的判決超平面由下式?jīng)Q定：4信息科學(xué)導(dǎo)論10.2單層感知器模型單層感知器工作原理對于只有兩個輸入的判別邊界是直線（如下式所示）,選擇合適的學(xué)習(xí)算法可訓(xùn)練出滿意的和，當(dāng)它用于兩類模式的分類時，相當(dāng)于在高維樣本空間中，用一個超平面將兩類樣本分開。5信息科學(xué)導(dǎo)論10.2單層感知器學(xué)習(xí)算法基于迭代的思想，通常是采用誤差校正學(xué)習(xí)規(guī)則的學(xué)習(xí)算法?？梢詫⑵米鳛樯窠?jīng)元權(quán)值向量的第一個分量加到權(quán)值向量中,也可以設(shè)其值為0。輸入向量和權(quán)值向量可分別寫成如下的形式：令上式等于零，可得到在維空間的單層感知器的判別超平面。6信息科學(xué)導(dǎo)論10.2單層感知器學(xué)習(xí)算法7信息科學(xué)導(dǎo)論10.3感知器算法學(xué)習(xí)算法實例:

構(gòu)建一個神經(jīng)元，它能夠?qū)崿F(xiàn)邏輯與操作x1 x2 d0 0 00 1 01 0 01 1

1邏輯“與”真值表8信息科學(xué)導(dǎo)論10.3感知器算法確定權(quán)值和閾值w1=w2=b=9信息科學(xué)導(dǎo)論10.3感知器算法設(shè)閾值為0.6，初始權(quán)值均為0.1，學(xué)習(xí)率為0.5，誤差值要求為0，神經(jīng)元的激活函數(shù)為硬限幅函數(shù)，求權(quán)值w1與w2。迭代次數(shù)樣本標(biāo)號輸入或權(quán)值標(biāo)號變量10信息科學(xué)導(dǎo)論10.3感知器算法11信息科學(xué)導(dǎo)論10.3感知器算法對于樣本1，輸出神經(jīng)元的輸入為：輸出神經(jīng)元的輸出為：12信息科學(xué)導(dǎo)論10.3感知器算法權(quán)值調(diào)整樣本2與3同樣本1，因輸出為0省略對于樣本4，輸出神經(jīng)元的輸入為：13信息科學(xué)導(dǎo)論10.3感知器算法輸出神經(jīng)元的輸出為：權(quán)值調(diào)整：14信息科學(xué)導(dǎo)論10.3感知器算法此時完成一次循環(huán)過程，由于誤差沒有達到0，返回第2步繼續(xù)循環(huán)，在第二次循環(huán)中，前三個樣本輸入時因誤差均為0，所以沒有對權(quán)值進行調(diào)整，各權(quán)值仍保持第一次循環(huán)的最后值，第四個樣本輸入時各參數(shù)值如下：15信息科學(xué)導(dǎo)論10.3感知器算法計算誤差時，對所有的樣本，網(wǎng)絡(luò)的輸出誤差均為0，達到預(yù)定的要求，訓(xùn)練結(jié)束.16信息科學(xué)導(dǎo)論10.4感知器算法Ⅱ任選一初始增廣權(quán)矢量用訓(xùn)練樣本檢驗分類是否正確對所有訓(xùn)練樣本都正確分類？YesENDYesNo對權(quán)值進行校正No17信息科學(xué)導(dǎo)論10.4感知器算法Ⅱ18

(4)如果k<N，令k=k+1，返至⑵。如果k=N，檢驗判別函數(shù)對是否都能正確分類。若是，結(jié)束；若不是,令k=1，返至⑵。

(3)調(diào)整增廣權(quán)矢量，規(guī)則是

--如果和，則

--如果和，則

--如果和，或和，則<010.4感知器算法Ⅱ1910.4感知器算法Ⅱ如果訓(xùn)練模式已經(jīng)規(guī)范化，即：已乘以-1（包括增廣分量），則校正權(quán)矢量的規(guī)則可以統(tǒng)一為：在用全部模式訓(xùn)練完一輪后，只要還有模式被判錯，則需進行第二輪迭代，建立新的權(quán)矢量，如此循環(huán)，直到能對所有模式均能正確分類為止。20信息科學(xué)導(dǎo)論舉例：已知四個訓(xùn)練樣本

w1={(0,0),(0,1)}

w2={(1,0),(1,1)}

使用感知器固定增量法求判別函數(shù)設(shè)w1=(1