計(jì)算智能與深度學(xué)習(xí) 課件 2神經(jīng)網(wǎng)絡(luò)－2感知器

第4章感知器（Perceptron）1感知器是由美國計(jì)算機(jī)科學(xué)家羅森布拉特（F.Rosenblatt）于1957年提出的。單層感知器神經(jīng)元模型圖：圖4．1感知器神經(jīng)元模型2到第1個(gè)神經(jīng)元的權(quán)值3F.Rosenblatt已經(jīng)證明，如果兩類模式是線性可分的（指存在一個(gè)超平面將它們分開），則算法一定收斂。用監(jiān)督學(xué)習(xí)(supervisedlearning)的方法建立模式識(shí)別的能力感知器特別適用于簡單的模式分類問題，也可用于基于模式分類的學(xué)習(xí)控制中。本節(jié)中所說的感知器是指單層的感知器。多層網(wǎng)絡(luò)因?yàn)橐玫胶竺鎸⒁榻B的反向傳播法進(jìn)行權(quán)值修正，所以把它們均歸類為反向傳播網(wǎng)絡(luò)之中。44．1感知器的網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)，可以寫出第i個(gè)輸出神經(jīng)元(i＝1，2，…，s)的加權(quán)輸入和ni及其輸出ai為：ni5感知器的輸出值是通過測試加權(quán)輸入和值落在閾值函數(shù)的左右來進(jìn)行分類的，即有：閾值激活函數(shù)如圖4．3所示。64．2感知器的圖形解釋由感知器的網(wǎng)絡(luò)結(jié)構(gòu)，我們可以看出感知器的基本功能是將輸入矢量轉(zhuǎn)化成0或1的輸出。這一功能可以通過在輸人矢量空間里的作圖來加以解釋。感知器權(quán)值參數(shù)的設(shè)計(jì)目的，就是根據(jù)學(xué)習(xí)法則設(shè)計(jì)一條W*P+b＝0的軌跡，使其對(duì)輸入矢量能夠達(dá)到期望位置的劃分。7

以輸入矢量r＝2(2維）為例，對(duì)于選定的權(quán)值w1、w2和b，可以在以p1和p2分別作為橫、縱坐標(biāo)的輸入平面內(nèi)畫出W*P+b＝w1p1十w2p2十b＝0的軌跡，它是一條直線此直線上的及其線以上部分的所有p1、p2值均使w1p1十w2p2十b＞=0，這些點(diǎn)若通過由w1、w2和b構(gòu)成的感知器則使其輸出為1；該直線以下部分的點(diǎn)則使感知器的輸出為0。

所以當(dāng)采用感知器對(duì)不同的輸入矢量進(jìn)行期望輸出為0或1的分類時(shí)，其問題可轉(zhuǎn)化為：對(duì)于已知輸入矢量在輸入空間形成的不同點(diǎn)的位置，設(shè)計(jì)感知器的權(quán)值W和b，將由W*P+b＝0的直線放置在適當(dāng)?shù)奈恢蒙鲜馆斎胧噶堪雌谕敵鲋颠M(jìn)行上下分類。8圖4．4輸入矢量平面圖（此圖橫坐標(biāo)有問題）+-94．3感知器的學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則是用來計(jì)算新的權(quán)值矩陣W及新的偏差B的算法。感知器利用其學(xué)習(xí)規(guī)則來調(diào)整網(wǎng)絡(luò)的權(quán)值，以便使該網(wǎng)絡(luò)對(duì)輸人矢量的響應(yīng)達(dá)到數(shù)值為0或1的目標(biāo)輸出。輸入矢量P，輸出矢量A，目標(biāo)矢量為T的感知器網(wǎng)絡(luò)，其學(xué)習(xí)規(guī)則為：10如果第i個(gè)神經(jīng)元的輸出是正確的，即有：ai＝ti，那么與第i個(gè)神經(jīng)元聯(lián)接的權(quán)值wij和偏差值bi保持不變；如果第i個(gè)神經(jīng)元的輸出是0，但期望輸出為1，即有ai＝0，而ti＝1，此時(shí)權(quán)值修正算法為：新的權(quán)值wij為舊的權(quán)值wij加上輸人矢量pj；類似的，新的偏差bi為舊偏差bi加上它的輸入1；如果第i個(gè)神經(jīng)元的輸出為1，但期望輸出為0，即有ai＝1，而ti＝0，此時(shí)權(quán)值修正算法為：新的權(quán)值wij等于舊的權(quán)值wij減去輸入矢量pj；類似的，新的偏差bi為舊偏差bi減去1。感知器學(xué)習(xí)規(guī)則的實(shí)質(zhì)為：權(quán)值的變化量等于正負(fù)輸入矢量。11

對(duì)于所有的i和j，i＝l，2，…，s（神經(jīng)元數(shù)）；j＝1，2，…，r（輸入向量維），感知器修正權(quán)值公式為：上述用來修正感知器權(quán)值的學(xué)習(xí)算法在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中已編成了子程序，成為一個(gè)名為1earnp.m的函數(shù)。只要直接調(diào)用此函數(shù)，即可立即獲得權(quán)值的修正量。此函數(shù)所需要的輸人變量為：輸入矢量P、輸出矢量A和目標(biāo)矢量T。調(diào)用命令為：[dW，dB]＝learnp(P，A，T)；(4-5)124．4網(wǎng)絡(luò)的訓(xùn)練感知器的訓(xùn)練過程如下： 在輸入矢量P的作用下，計(jì)算網(wǎng)絡(luò)的實(shí)際輸出A，并與相應(yīng)的目標(biāo)矢量T進(jìn)行比較，檢查A是否等于T，然后用比較后的誤差量，根據(jù)學(xué)習(xí)規(guī)則進(jìn)行權(quán)值和偏差的調(diào)整； 重新計(jì)算網(wǎng)絡(luò)在新權(quán)值作用下的輸入，重復(fù)權(quán)值調(diào)整過程，直到網(wǎng)絡(luò)的輸出A等于目標(biāo)矢量T或訓(xùn)練次數(shù)達(dá)到事先設(shè)置的最大值時(shí)訓(xùn)練結(jié)束。13感知器設(shè)計(jì)訓(xùn)練的步驟可總結(jié)如下：1)對(duì)于所要解決的問題，確定輸入矢量P，目標(biāo)矢量T，并由此確定各矢量的維數(shù)以及確定網(wǎng)絡(luò)結(jié)構(gòu)大小的神經(jīng)元數(shù)目：r，s和q（q-樣本分量的維度）；2)參數(shù)初始化：

a)賦給權(quán)矢量w在(-l，1)的隨機(jī)非零初始值；

b)給出最大訓(xùn)練循環(huán)次數(shù)max_epoch；3)網(wǎng)絡(luò)表達(dá)式：根據(jù)輸人矢量P以及最新權(quán)矢量W，計(jì)算網(wǎng)絡(luò)輸出矢量A；4)檢查：檢查輸出矢量A與目標(biāo)矢量T是否相同，如果是，或已達(dá)最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，否則轉(zhuǎn)入5)；5)學(xué)習(xí)：根據(jù)式(4．5)給出的感知器學(xué)習(xí)規(guī)則，調(diào)整權(quán)矢量，并返回3)。144.5感知器神經(jīng)網(wǎng)絡(luò)應(yīng)用的局限性

首先，感知器的輸出只能取0或1。其次，單層感知器只能對(duì)線性可分的向量集合進(jìn)行分類。154.6感知器神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)實(shí)例

[例4．1]考慮一個(gè)簡單的分類問題。設(shè)計(jì)一個(gè)感知器，將二維的四組輸入矢量分成兩類。輸入矢量為：P＝[-0.5-0.50.30；

-0.50.5-0.51]；目標(biāo)矢量為：T＝[1l00]，16代數(shù)求解法b=w317當(dāng)采用感知器神經(jīng)網(wǎng)絡(luò)來對(duì)此題進(jìn)行求解時(shí)，網(wǎng)絡(luò)結(jié)構(gòu)圖如圖所示。

由此可見，對(duì)于單層網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)r和輸出神經(jīng)元數(shù)s分別由輸入矢量P和目標(biāo)矢量T唯一確定。網(wǎng)絡(luò)的權(quán)矩陣的維數(shù)為：Ws×r，Bs×1權(quán)值總數(shù)為s×r個(gè)，偏差個(gè)數(shù)為s個(gè)。在確定了網(wǎng)絡(luò)結(jié)構(gòu)并設(shè)置了最大循環(huán)次數(shù)和賦予權(quán)值初始值后，設(shè)計(jì)者可方便地利用MATLAB，根據(jù)題意以及感知器的學(xué)習(xí)、訓(xùn)練過程來編寫自己的程序。18Examples:Thiscodecreatesaperceptronlayerwithone2-elementinput(ranges[01]and[-22])andoneneuron.(Supplyingonlytwoargumentstonewp

resultsinthedefaultperceptronlearningfunctionLEARNPbeingused.)

net=newp([01;-22],1);

19Nowwedefineaproblem,anORgate,withasetoffour2-elementinputvectorsPandthecorrespondingfour1-elementtargetsT.

P=[0011;0101];

T=[0111];

20Herewesimulatethenetwork‘soutput,trainforamaximumof20epochs,andthensimulateitagain.Y=sim(net,P)

net.trainParam.epochs=20;

net=train(net,P,T);

Y=sim(net,P)%Y是網(wǎng)絡(luò)的實(shí)際輸出Notes:Perceptronscanclassifylinearlyseparableclassesinafiniteamountoftime.Ifinputvectorshavealargevarianceintheirlengths,theLEARNPNcanbefasterthanLEARNP.214．7作業(yè)1.熟悉net的屬性及與感知器相關(guān)的函數(shù)。2設(shè)P=[-1,1,-1,1,-1,1,-1,1; -1,-1,1,1,-1,-1,1,1; -1,-1,-1,-1,1,1,1,1] T=[0,1,0,0,1,1,0,1]

請(qǐng)畫出感知器網(wǎng)絡(luò)結(jié)構(gòu)圖，并編寫MATLAB程序解該分類問題。

如T=[0,0,0,0,1,1,1,1；

0,0,0,0,1,1,1,1]

請(qǐng)畫出感知器網(wǎng)絡(luò)結(jié)構(gòu)圖，并編寫MATLAB程序解該分類問題。

22一個(gè)例子pr=[02;-22];net=newp(pr,1,‘’,‘’);%只有1個(gè)神經(jīng)元，后面兩個(gè)參數(shù)表示默認(rèn)傳遞函數(shù)為hardlims，學(xué)習(xí)函數(shù)learnp%net=newp(pr,1,‘hardlims’,‘learnpn’);則不用傳遞函數(shù)、學(xué)習(xí)函數(shù)net.trainParam.epochs=10;net=train(net,P,T)23P=[-0.5-0.60.7;0.800.1];T=[110];net=newp([-11;-11],1);handle=plotpc(net.iw{1},net.b{1});net.trainParam.epochs=10;net=train(net,P,T);Q=[0.60.9-0.1;-0.1-0.