McCulloch及Pitts已提出第一個類神經(jīng)元的運算模型.ppt

第二章,感知機,2.1簡介,在1943年，McCulloch和Pitts已提出第一個類神經(jīng)元的運算模型。神經(jīng)心理學(xué)家Hebb提出一種理論，他認為學(xué)習(xí)現(xiàn)象的發(fā)生，乃在於神經(jīng)元間的突觸產(chǎn)生某種變化。Rosenblatt將這兩種創(chuàng)新學(xué)說結(jié)合起來，孕育出所謂的感知機(perceptron)。感知機是由具有可調(diào)整的鍵結(jié)值(synapticweights)以及閥值(threshold)的單一個類神經(jīng)元(neuron)所組成。感知機是各種類神經(jīng)網(wǎng)路中，最簡單且最早發(fā)展出來的類神經(jīng)網(wǎng)路模型，通常被用來做為分類器(classifier)使用。,2.2感知機基本架構(gòu)(1),感知機的基本組成元件為一個具有線性組合功能的累加器，後接一個硬限制器(hardlimiter)而成，如圖2.1所示。一般說來，若我們設(shè)定硬限制器之輸入為正值時，則類神經(jīng)元的輸出為+1；反之，若硬限制器之輸入為負值時，則類神經(jīng)元的輸出為-1。,圖2.1：感知機之架構(gòu)方塊。,2.2感知機基本架構(gòu)(2),分類的判斷規(guī)則是：若感知機的輸出為+1，則將其歸類於C1群類；若感知機的輸出為-1，則將其歸類於C2群類。判斷規(guī)則所劃分的只有兩個判斷區(qū)域，我們可以將作為分類依據(jù)的超平面定義如下：,圖2.2：一個具有二維輸入的兩群分類問題。,(2.2),2.3感知機收斂定理(1),步驟一：網(wǎng)路初始化以隨機的方式來產(chǎn)生亂數(shù)，令w(0)為很小的實數(shù)，並且將學(xué)習(xí)循環(huán)n設(shè)定為1。步驟二：計算網(wǎng)路輸出值在第n次學(xué)習(xí)循環(huán)時，呈現(xiàn)輸入向量x(n)，此時類神經(jīng)元的輸出為：步驟三：調(diào)整鍵結(jié)值向量步驟四：將學(xué)習(xí)循環(huán)n加1；回到步驟二。,(2.11),2.3感知機收斂定理(2),調(diào)整後的類神經(jīng)元，若再用相同的輸入範例來加以測試，則其輸出值會更加地接近期待值，其原因如下：,圖2.4：以幾何觀點來分析感知機之訓(xùn)練過程；(a)若d=-1且y=1；(b)若d=1且y=-1。,範例2.1：感知機(1),學(xué)習(xí)率為0.8，並且將鍵結(jié)值的初始值設(shè)定為(0,1)，令活化函數(shù)為sgn函數(shù)，神經(jīng)元之閥值為-1,(1)n=0,(1)n=1，,(2)n=2，,(3)n=3，,(4)n=4，,(5)n=5，,(6)n=6，,圖2.5：感知機於疊代次數(shù)第4,5,8次時的鍵結(jié)值向量。,範例2.1：感知機(2),假設(shè)當初學(xué)習(xí)率設(shè)定為0.1，那麼的修正量會不同：此時若將相同的輸入測試此新的鍵結(jié)值向量，會發(fā)現(xiàn)期望輸出值為-1，但感知機輸出值為1，分類錯誤，因此仍需修正感知機的鍵結(jié)值向量。也就是說，感知機的學(xué)習(xí)過程並不保證一次就學(xué)會；有時更會發(fā)生為了學(xué)新的輸入?yún)s將原先已正確分類的資料給誤判了。,2.4Widrow-Hoff法則(1),此種由Widrow和Hoff於1960年提出訓(xùn)練所謂“適應(yīng)線性元件”(AdaptiveLinearElement簡稱為Adaline)的學(xué)習(xí)規(guī)則，被稱做Widrow-Hoff法則或最小均方誤差法?；旧螦daline和感知機的架構(gòu)是一樣的，主要的差別在於訓(xùn)練法則的不同，感知機的訓(xùn)練目標是減少分類錯誤，而Adaline是減少類神經(jīng)元的真實輸出與期望輸出間的均方誤差。,圖2.6：Adaline之架構(gòu)方塊圖。,2.4Widrow-Hoff法則(2),給定一組輸入/輸出對，代表網(wǎng)路的期望輸出值。用來訓(xùn)練Adaline的LMS法則就是想辦法找出一個鍵結(jié)值向量，它可以使得誤差的均方值(meansquare)最小，其中。這個問題的答案在於所謂的Wiener-Hoff方程式。定義均方誤差(mean-squareerror)為：其中E.是機率期望值運算子。,(2.17),2.4Widrow-Hoff法則(3),首先將代入式(2.17)並且展開可得：我們另外定義式(2.19)中的三個期望值運算如下：1.是期望輸出d的均方值(mean-squarevalue)；令2.是期望輸出d與輸入信號的交互相關(guān)函數(shù)(cross-correlationfunction)；令3.是輸入信號與彼此間的自相關(guān)函數(shù)(autocorrelationfunction)；令,(2.18),(2.20),(2.21),(2.22),2.4Widrow-Hoff法則(4),有了以上三個式子的定義，現(xiàn)在我們把式(2.19)重寫如下：我們將誤差函數(shù)J對權(quán)重作偏微分，並將此偏微分方程式設(shè)為零，因此我們可以得到以下p個方程式令為權(quán)重的最佳值，從式(2.24)可知權(quán)重參數(shù)的最佳值是由下列p個方程式所決定：這組方程式稱為Wiener-Hopf方程式，而根據(jù)此權(quán)重參數(shù)所設(shè)計的濾波器則稱之為Wiener濾波器。,(2.23),(2.24),(2.25),2.4Widrow-Hoff法則(5),式(2.25)其實可以寫成如下的矩陣型式：其中，是一個維度的自相關(guān)矩陣，和是一個維度的交互相關(guān)向量。很顯然地，Wiener-Hoff方程式的解為問題是，我們通常不知道自相關(guān)矩陣與交互相關(guān)向量的值是多少。即使知道，我們每次都必須計算出R的反矩陣，而求反矩陣的計算量相當龐大，因此實際上的作法是採用LMS演算法，以疊代的方式來解Wiener-Hoff方程式。,(2.26),(2.27),2.4.1最小均方演算法(1),當我們無法得知自相關(guān)函數(shù)與交互相關(guān)函數(shù)的資訊時，以瞬間估測(instantaneousestimates)的技術(shù)來估測這兩個相關(guān)函數(shù)，並且使用梯度坡降法來疊代求解。從式(2.21)與式(2.22)可以導(dǎo)出：由於LMS法則使用梯度坡降法，所以權(quán)重的調(diào)整方向是往誤差梯度的反方向修正，計算方式如下：,(2.28),(2.29),(2.30),2.4.1最小均方演算法(2),將式(2.28)及式(2.29)代入式(2.30)中的梯度，便可以得到下式：,注意在式(2.31)中，我們以來代替，以強調(diào)式(2.31)中的權(quán)重參數(shù)是估測值。,(2.31),2.4.1最小均方演算法(3),步驟一：權(quán)重初始化，令步驟二：設(shè)定學(xué)習(xí)循環(huán)n=1，並且計算步驟三：將學(xué)習(xí)循環(huán)加1，回到步驟二。,2.4.1最小均方演算法(4),我們將感知機訓(xùn)練法與最小均方演算法比較如下：感知機訓(xùn)練演繹法主要的目標是調(diào)整鍵結(jié)值，使得類神經(jīng)元的輸出與期望輸出值相同，亦即分類成功；而LMS演繹法強調(diào)於如何找出一組鍵結(jié)值，使得類神經(jīng)元的軸突丘細胞膜電位儘可能地接近。2.在輸入資料為線性不可分割(linearlyinseparable)的情況下，LMS演繹法有可能表現(xiàn)得比感知機演繹法還要好，因為前者會收斂至均方誤差的最小值，而後者卻無法收斂，所以訓(xùn)練過程被中斷後，我們無法保證最後的鍵結(jié)值是整個訓(xùn)練過程中最好的一組鍵結(jié)值。3.在輸入資料為線性可分割(linearlyseparable)時，感知機演繹法可以保證收斂，並且可以百分之百分類成功；而LMS演繹法雖然會收斂，但是卻並不一定可以百分之百分類成功，因為它主要著眼於將均方誤差極小化。,2.4.1最小均方演算法(4),圖2.7：(a)感知機演繹法與(b)LMS演繹法的收斂情形。,2.5學(xué)習(xí)率調(diào)整方法(1),應(yīng)用以梯度坡降法為根本的演算法時，最常遇到的問題就是，如何適當?shù)卦O(shè)定學(xué)習(xí)率。首先我們將式(2.28)和式(2.29)代入式(2.23)可得下式我們發(fā)現(xiàn)均方誤差函數(shù)，J，對每一個鍵結(jié)值來說都是個二次方程式。,2.5學(xué)習(xí)率調(diào)整方法(2),此二次方程式會形成如圖2.8的拋物線函數(shù)，也就是說，均方誤差函數(shù)對鍵結(jié)值來說只有一個全域極小值存在，所以不會有收斂到局部極小值的問題產(chǎn)生，但學(xué)習(xí)率的大小設(shè)定仍會影響能否收斂到全域極小值的結(jié)果。,圖2.8：二次方程式的均方誤差函數(shù)。,2.5學(xué)習(xí)率調(diào)整方法(3),圖2.8：三種設(shè)定學(xué)習(xí)率的方式。,2.6感知機之進階探討(1),Gallant所提出的“口袋演繹法”(pocketalgorithm)。步驟一：設(shè)定鍵結(jié)值向量的初始值為向量。步驟二：隨機地選擇一個訓(xùn)練樣本，並且輸入至感知機網(wǎng)路中。步驟三：(a)如果目前的鍵結(jié)值向量能夠?qū)⒂?xùn)練樣本正確地分類成功，且能夠正確分類的訓(xùn)練樣本數(shù)，大於口袋中的那一組鍵結(jié)值向量所能夠正確分類的訓(xùn)練樣本數(shù)，則以來取代，並且更正目前所能正確分類的訓(xùn)練樣本數(shù)目。(b)如果目前的鍵結(jié)值向量將訓(xùn)練樣本分類錯誤，則修正目前的鍵結(jié)值向量為：步驟四：回到步驟二。,2.6感知機之進階探討(2),理論上，感知機是可以用來解決任何複雜的圖樣識別的問題，只是當時沒有一個有效率的訓(xùn)練演繹法來配合而已。單層的感知機是用超平面來切割空間，因此只能處理線性可分割的資料。雙層感知機可以處理較複雜的問題，譬如說我們限制第二層的感知機只執(zhí)行邏輯AND的功能，那麼第一層的感知機便可合力圍起一個凸形(convex)的決定區(qū)域。三層的感知機則可以形成任意形狀的決定區(qū)域，譬如說第二層的感知機執(zhí)行邏輯AND的功能，而第三層的感知機則執(zhí)行邏輯OR的功能，那麼不管是凸形、凹形(concave)的決定區(qū)域都可以輕易地形成。,2.6感知機之進階探討(3),當時沒有一種有效的學(xué)習(xí)演算法可以配套使用。之所以需要三層的架構(gòu)，是因為我們限制了感知機的活化函數(shù)是採用硬限制器，以及限定第二層和第三層的類神經(jīng)元，分別執(zhí)行AND與OR的功能。,圖2.9：感知機的決定區(qū)域之收斂特性分析。,2.7結(jié)語,一個單層的感知機架構(gòu)可以百分之百地將線