模式識(shí)別第八章人工神經(jīng)網(wǎng)絡(luò)

模式識(shí)別第八章人工神經(jīng)網(wǎng)絡(luò)1第1頁，共82頁，2023年，2月20日，星期五主要內(nèi)容引言人工神經(jīng)元前饋神經(jīng)網(wǎng)絡(luò)及其主要算法競(jìng)爭(zhēng)學(xué)習(xí)和側(cè)抑制第2頁，共82頁，2023年，2月20日，星期五8.1引言人工神經(jīng)網(wǎng)絡(luò)(artificialneuralnetwork,ANN)：由大量神經(jīng)元經(jīng)廣泛互聯(lián)組成的非線性網(wǎng)絡(luò)（功能模塊，數(shù)學(xué)模型）人工神經(jīng)網(wǎng)絡(luò)是模擬生物神經(jīng)網(wǎng)絡(luò)的工作機(jī)理、模仿人腦某些學(xué)習(xí)功能的一種計(jì)算結(jié)構(gòu)。自底向上的綜合方法：基本單元→功能模塊→系統(tǒng)第3頁，共82頁，2023年，2月20日，星期五神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)介第一階段：開創(chuàng)40年代初，美國McCulloch和Pitts從信息處理的角度，研究神經(jīng)細(xì)胞行為的數(shù)學(xué)模型表達(dá)，提出了二值神經(jīng)元模型。MP模型的提出開始了對(duì)神經(jīng)網(wǎng)絡(luò)的研究進(jìn)程。1949年心理學(xué)家Hebb提出著名的Hebb學(xué)習(xí)規(guī)則，即由神經(jīng)元之間結(jié)合強(qiáng)度的改變來實(shí)現(xiàn)神經(jīng)學(xué)習(xí)的方法。1957年，F(xiàn).Rosenblatt提出感知器。1960年BernandWidrow和MarcianHoff提出自適應(yīng)線性元件網(wǎng)絡(luò)。第4頁，共82頁，2023年，2月20日，星期五神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)介第二階段：低潮1969年M.Minsky和S.Parpert對(duì)感知器的悲觀理論使神經(jīng)網(wǎng)絡(luò)研究陷入低谷。他們分析了若干種簡(jiǎn)單感知器，并總結(jié)說明：簡(jiǎn)單感知器只能完成線性分類，對(duì)非線性分類無能為力，加上他們?cè)谌斯ぶ悄茴I(lǐng)域的威望，他們這種悲觀理論對(duì)當(dāng)時(shí)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展來說負(fù)面影響很大；而另一方面，當(dāng)時(shí)計(jì)算機(jī)技術(shù)的發(fā)展使得傳統(tǒng)人工智能理論在基于VonNeumann計(jì)算機(jī)平臺(tái)上的發(fā)展趨勢(shì)非常樂觀；同時(shí)人們對(duì)當(dāng)時(shí)人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練沒有得到一種普適的學(xué)習(xí)算法；這樣，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展轉(zhuǎn)入緩慢發(fā)展的低潮期。第5頁，共82頁，2023年，2月20日，星期五神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)介第三階段：復(fù)蘇1982年生物物理學(xué)家J.J.Hopfield提出Hopfield網(wǎng)絡(luò)模型，并將其成功應(yīng)用于NP完全性的著名旅行商問題。1986年DavidE.和Rumelhart等的并行分布式處理(PDP)研究組完善了多層神經(jīng)網(wǎng)絡(luò)感知誤差反向傳播算法ErrorBackPropagation(簡(jiǎn)稱BP算法，最早由Werbo于1974年提出)，特別是有效解決了網(wǎng)絡(luò)權(quán)值在學(xué)習(xí)過程中自動(dòng)調(diào)整的問題，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展再次掀起研究高潮；1987年6月21日在美國圣地亞哥召開了第一屆國際人工神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議，宣告國際神經(jīng)網(wǎng)絡(luò)協(xié)會(huì)成立。

第6頁，共82頁，2023年，2月20日，星期五神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自學(xué)習(xí)自適應(yīng)并行處理分布表達(dá)與計(jì)算第7頁，共82頁，2023年，2月20日，星期五神經(jīng)網(wǎng)絡(luò)的應(yīng)用NN本質(zhì)上可以理解為函數(shù)逼近，可以應(yīng)用到眾多領(lǐng)域：優(yōu)化計(jì)算信號(hào)處理智能控制模式識(shí)別機(jī)器視覺等第8頁，共82頁，2023年，2月20日，星期五8.2人工神經(jīng)元生物神經(jīng)網(wǎng)絡(luò)：BiologicalNeuralNetwork（BNN）神經(jīng)元：neuron神經(jīng)元經(jīng)突觸傳遞信號(hào)給其他神經(jīng)元（胞體或樹突）1011個(gè)神經(jīng)元/人腦104個(gè)連接/神經(jīng)元神經(jīng)元基本工作機(jī)制：狀態(tài)：興奮與抑制互聯(lián)，激勵(lì)，處理，閾值信息加工信息輸出信息輸入信息傳遞第9頁，共82頁，2023年，2月20日，星期五MP模型

MP模型屬于一種閾值元件模型，是由美國McCulloch和Pitts提出的最早神經(jīng)元模型之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。8.2人工神經(jīng)元第10頁，共82頁，2023年，2月20日，星期五ynetA閾值函數(shù)(b)ynetSigmoid函數(shù)(c)fy……w1w2wnx1x2xnnet(a)其中：f是一個(gè)非線性函數(shù)，例如閾值函數(shù)或Sigmoid函數(shù)。神經(jīng)元?jiǎng)幼魅缦拢荷窠?jīng)元模型第11頁，共82頁，2023年，2月20日，星期五①

當(dāng)f為閾值時(shí)，其輸出為：其中sgn為符號(hào)函數(shù)，若②

當(dāng)某些重要的學(xué)習(xí)算法要求輸出函數(shù)f可微，通常選用Sigmoid函數(shù)：ynetA(b)第12頁，共82頁，2023年，2月20日，星期五a、則y（－1，1），即－1到1的開區(qū)間內(nèi)的連續(xù)值?；騜、ynet(c)則y（0，1），見圖（c）。

選擇Sigmoid函數(shù)作為輸出函數(shù)，具有特性：①

非線性、單調(diào)性。②無限可微。③當(dāng)權(quán)值很大時(shí)近似閾值函數(shù)。④當(dāng)權(quán)值很小時(shí)近似線性函數(shù)第13頁，共82頁，2023年，2月20日，星期五8.3神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)：從環(huán)境中獲取知識(shí)并改進(jìn)自身性能，主要指調(diào)節(jié)網(wǎng)絡(luò)參數(shù)使網(wǎng)絡(luò)達(dá)到某種度量，又稱為網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)方式：監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)再勵(lì)學(xué)習(xí)學(xué)習(xí)規(guī)則(learningrule)：Hebb學(xué)習(xí)算法誤差糾正學(xué)習(xí)算法競(jìng)爭(zhēng)學(xué)習(xí)算法第14頁，共82頁，2023年，2月20日，星期五監(jiān)督學(xué)習(xí)教師神經(jīng)網(wǎng)絡(luò)比較環(huán)境實(shí)際輸出輸入期望輸出誤差信號(hào)對(duì)訓(xùn)練樣本集中的每一組輸入能提供一組目標(biāo)輸出網(wǎng)絡(luò)根據(jù)目標(biāo)輸出與實(shí)際輸出的誤差信號(hào)來調(diào)節(jié)網(wǎng)絡(luò)參數(shù)x(n)t(n)y(n)e(n)第15頁，共82頁，2023年，2月20日，星期五非監(jiān)督學(xué)習(xí)與再勵(lì)學(xué)習(xí)非監(jiān)督學(xué)習(xí)：不存在教師，網(wǎng)絡(luò)根據(jù)外部數(shù)據(jù)的統(tǒng)計(jì)規(guī)律來調(diào)節(jié)系統(tǒng)參數(shù)，以使網(wǎng)絡(luò)輸出能反映數(shù)據(jù)的某種特性再勵(lì)學(xué)習(xí)：外部環(huán)境對(duì)網(wǎng)絡(luò)輸出只給出評(píng)價(jià)信息而非正確答案，網(wǎng)絡(luò)通過強(qiáng)化受獎(jiǎng)勵(lì)的動(dòng)作來改善自身的性能神經(jīng)網(wǎng)絡(luò)環(huán)境輸入神經(jīng)網(wǎng)絡(luò)環(huán)境輸入輸出評(píng)價(jià)信息第16頁，共82頁，2023年，2月20日，星期五Hebb規(guī)則假定:當(dāng)兩個(gè)細(xì)胞同時(shí)興奮時(shí)，他們之間的連接強(qiáng)度應(yīng)該增強(qiáng)。這條規(guī)則與“條件反射”學(xué)說一致，后來得到了神經(jīng)細(xì)胞學(xué)說的證實(shí)。幾乎所有的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法可看成Hebb學(xué)習(xí)規(guī)則的變形。Hebb學(xué)習(xí)規(guī)則：Hebb學(xué)習(xí)學(xué)習(xí)常數(shù)第17頁，共82頁，2023年，2月20日，星期五誤差糾正學(xué)習(xí)對(duì)于輸出層第k個(gè)神經(jīng)元：實(shí)際輸出:ak(n)目標(biāo)輸出:tk(n)誤差信號(hào):ek(n)=tk(n)-ak(n)目標(biāo)函數(shù)：基于誤差信號(hào)ek(n)的函數(shù)，如誤差平方和判據(jù)(sumsquarederror,SSE)，或均方誤差判據(jù)(meansquarederror,MSE,即SSE對(duì)所有樣本的期望)第18頁，共82頁，2023年，2月20日，星期五誤差糾正學(xué)習(xí)梯度下降法：對(duì)于感知器和線性網(wǎng)絡(luò)：delta學(xué)習(xí)規(guī)則對(duì)于多層感知器網(wǎng)絡(luò)：擴(kuò)展的delta學(xué)習(xí)規(guī)則，BP算法第19頁，共82頁，2023年，2月20日，星期五競(jìng)爭(zhēng)學(xué)習(xí)無監(jiān)督學(xué)習(xí)方法輸出神經(jīng)元之間有側(cè)向抑制性連接，較強(qiáng)單元獲勝并抑制其他單元，獨(dú)處激活狀態(tài)（Winnertakesall,WTA）wkjkpj第20頁，共82頁，2023年，2月20日，星期五競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All(勝者為王)網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競(jìng)爭(zhēng)以求被激活，結(jié)果在每一時(shí)刻只有一個(gè)輸出神經(jīng)元被激活。這個(gè)被激活的神經(jīng)元稱為競(jìng)爭(zhēng)獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為WinnerTakeAll。第21頁，共82頁，2023年，2月20日，星期五競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All1.向量歸一化

首先將當(dāng)前輸入模式向量X和競(jìng)爭(zhēng)層中各神經(jīng)元對(duì)應(yīng)的內(nèi)星向量Wj全部進(jìn)行歸一化處理；(j=1,2,…,m)第22頁，共82頁，2023年，2月20日，星期五向量歸一化之前第23頁，共82頁，2023年，2月20日，星期五向量歸一化之后第24頁，共82頁，2023年，2月20日，星期五競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All2.尋找獲勝神經(jīng)元

當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入模式向量時(shí)，競(jìng)爭(zhēng)層的所有神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量均與其進(jìn)行相似性比較，并將最相似的內(nèi)星權(quán)向量判為競(jìng)爭(zhēng)獲勝神經(jīng)元。欲使兩單位向量最相似，須使其點(diǎn)積最大。即：第25頁，共82頁，2023年，2月20日，星期五

從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向量的點(diǎn)積最大。即：競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All第26頁，共82頁，2023年，2月20日，星期五競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——?jiǎng)僬邽橥?Winner-Take-All)3.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整

jj*步驟3完成后回到步驟1繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到0。第27頁，共82頁，2023年，2月20日，星期五競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義?第28頁，共82頁，2023年，2月20日，星期五競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義

*

1W?

*?jW

*

)](?)(?)[()(*ttttjpWXW-=hD

*┆

)(?*1tj+W

)(?tpX

jW?

mW?

*

…

***第29頁，共82頁，2023年，2月20日，星期五例4.1用競(jìng)爭(zhēng)學(xué)習(xí)算法將下列各模式分為2類：解：為作圖方便，將上述模式轉(zhuǎn)換成極坐標(biāo)形式：競(jìng)爭(zhēng)層設(shè)兩個(gè)權(quán)向量，隨機(jī)初始化為單位向量：O1O2W1=(w11,w12)W2=(w21,w22)x1x2第30頁，共82頁，2023年，2月20日，星期五第31頁，共82頁，2023年，2月20日，星期五第32頁，共82頁，2023年，2月20日，星期五第33頁，共82頁，2023年，2月20日，星期五第34頁，共82頁，2023年，2月20日，星期五第35頁，共82頁，2023年，2月20日，星期五第36頁，共82頁，2023年，2月20日，星期五第37頁，共82頁，2023年，2月20日，星期五第38頁，共82頁，2023年，2月20日，星期五第39頁，共82頁，2023年，2月20日，星期五第40頁，共82頁，2023年，2月20日，星期五第41頁，共82頁，2023年，2月20日，星期五1）單層感知器（Pereceptron）感知器是一種雙層神經(jīng)元網(wǎng)絡(luò)模型，一層為輸入層，另一層具有計(jì)算單元，可通過監(jiān)督學(xué)習(xí)建立模式判別的能力。兩層感知器只能解決線性問題。學(xué)習(xí)的目的：通過改變權(quán)值使神經(jīng)元網(wǎng)絡(luò)由給定的輸入得到給定的輸出。單層感知器的輸出：從初始權(quán)wi(0)和閾值開始訓(xùn)練。8.4前饋神經(jīng)元網(wǎng)絡(luò)第42頁，共82頁，2023年，2月20日，星期五訓(xùn)練過程：

設(shè)理想的輸出為

實(shí)際輸出:用已知類別模式向量或特征向量作為訓(xùn)練集：當(dāng)輸入為屬于第j類特征向量x時(shí)，應(yīng)使對(duì)應(yīng)于該類的輸出yj=1,而其它神經(jīng)元的輸出為0（或-1）。為使實(shí)際輸出逼近理想輸出，可反復(fù)依次輸入訓(xùn)練集中的模式樣本，并計(jì)算出實(shí)際輸出,并對(duì)權(quán)值作如下修改：…………

y1y2…...ymx1x2…….xn輸入層輸出層第43頁，共82頁，2023年，2月20日，星期五2）多層感知器

y1y2…...ymx1x2…….xn輸出層隱含層輸入層………………特點(diǎn)：多層感知器可解決非線性可分問題。設(shè)4層感知器：第1隱含層含n1個(gè)神經(jīng)元，各神經(jīng)元輸出為(j=1,2,…,n1)第2隱含層含n2個(gè)神經(jīng)元，各神經(jīng)元輸出為(k=1,2,…,n2)8.4前饋神經(jīng)元網(wǎng)絡(luò)第44頁，共82頁，2023年，2月20日，星期五輸出層神經(jīng)元的輸出為第2隱含層第k個(gè)神經(jīng)元的輸出為第1隱含層第j個(gè)神經(jīng)元的輸出為8.4前饋神經(jīng)元網(wǎng)絡(luò)第45頁，共82頁，2023年，2月20日，星期五BP算法兩個(gè)過程：正向計(jì)算和誤差反向傳播。正向過程：輸入層經(jīng)隱層單元逐層處理并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元狀態(tài)，而不影響同一層。如果在輸出層得不到期望的輸出，則轉(zhuǎn)入反向傳播過程。反向過程：將誤差信號(hào)沿原來的連接通路返回，通過修正各層神經(jīng)元的連接權(quán)值，使得誤差信號(hào)最小。多層前饋神經(jīng)網(wǎng)絡(luò)缺點(diǎn)：學(xué)習(xí)較復(fù)雜，因中間隱層不直接與外界連接，無法直接計(jì)算其誤差。由此提出了反向傳播（BP）。反向傳播算法（BP）第46頁，共82頁，2023年，2月20日，星期五圖示為處于某一層的第j個(gè)計(jì)算單元，腳標(biāo)i代表其前層第i個(gè)單元，腳標(biāo)k代表后層第k個(gè)單元，Oj代表本層輸出，是前層到本層的權(quán)值ik反向傳播算法（BP）第47頁，共82頁，2023年，2月20日，星期五為使式子簡(jiǎn)化，定義局部梯度（正向算法）當(dāng)輸入每個(gè)樣本時(shí)，從前到后對(duì)每層各單元作如下計(jì)算設(shè)網(wǎng)絡(luò)為單輸出y，任一結(jié)點(diǎn)i的輸出為Oi。(1)(2)(3)(4)ik則結(jié)點(diǎn)j的輸入為：則結(jié)點(diǎn)j的輸出為：第48頁，共82頁，2023年，2月20日，星期五權(quán)值修正應(yīng)使誤差最快地減小，修正量為如果節(jié)點(diǎn)j是輸出單元，則(5)(7)(6)第49頁，共82頁，2023年，2月20日，星期五如果節(jié)點(diǎn)j不是輸出單元，由前圖可知，Oj對(duì)后面層的全部節(jié)點(diǎn)都有影響。因此，對(duì)于Sigmoid函數(shù)有(8)(9-1)第50頁，共82頁，2023年，2月20日，星期五或者當(dāng)有為了加快收斂速度，往往在權(quán)值修正量中加上前一次的權(quán)值修正量，一般稱為慣性項(xiàng)（步長(zhǎng)、貫量系數(shù)

），即綜上所述，反向傳播算法步驟如下：（1）選定權(quán)系數(shù)初始值。（2）重復(fù)下述過程至此收斂（對(duì)各樣本依次計(jì)算）。①從前向后各層計(jì)算各單元Oj（正向計(jì)算）(9-2)(10)第51頁，共82頁，2023年，2月20日，星期五②

對(duì)輸出層計(jì)算③從后向前計(jì)算各隱層④計(jì)算并保存各權(quán)值修正量第52頁，共82頁，2023年，2月20日，星期五⑤

修正權(quán)值Note：初始權(quán)值選?。和ǔＳ幂^小的隨機(jī)數(shù)（例），當(dāng)計(jì)算不收斂時(shí)可改變初始值；步長(zhǎng)對(duì)收斂性影響大，通常可在0.1-0.3之間試探，對(duì)于復(fù)雜的問題應(yīng)取較大值；貫性項(xiàng)系數(shù)影響收斂速度，應(yīng)用中常在0.9-1之間選擇；中間隱層的單元數(shù)確定缺乏有效方法，一般問題越復(fù)雜，需要的隱層的單元越多；或?qū)τ谕瑯訂栴}，隱層的單元越多越容易收斂。第53頁，共82頁，2023年，2月20日，星期五初始化給定輸入向量和期望輸出求隱層、輸出層各單元輸出求目標(biāo)值與實(shí)際輸出的誤差ee<計(jì)算隱層單元誤差誤差反向傳播修正權(quán)值全部ei滿足YY結(jié)束NNBP算法框圖第54頁，共82頁，2023年，2月20日，星期五徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)：radialbasisfunction,RBF只有一個(gè)隱層，隱層單元采用徑向基函數(shù)。隱層把原始的非線性可分的特征空間變換到另一個(gè)空間（通常是高維空間），使之可以線性可分輸出為隱層的線性加權(quán)求和。采用基函數(shù)的加權(quán)和來實(shí)現(xiàn)對(duì)函數(shù)的逼近第55頁，共82頁，2023年，2月20日，星期五徑向基函數(shù)網(wǎng)絡(luò)結(jié)構(gòu)徑向基函數(shù)網(wǎng)絡(luò)第56頁，共82頁，2023年，2月20日，星期五RBF網(wǎng)絡(luò)第i個(gè)隱層單元的輸出為:式中x——n維輸入向量ci——第i個(gè)隱節(jié)點(diǎn)的中心，——通常為歐氏范數(shù)——RBF函數(shù)，具有局部感受的特性，它有多種形式，體現(xiàn)了RBF網(wǎng)絡(luò)的非線性映射能力，通常取為高斯函數(shù)，其形式為徑向基函數(shù)網(wǎng)絡(luò)第57頁，共82頁，2023年，2月20日，星期五網(wǎng)絡(luò)輸出層第k個(gè)節(jié)點(diǎn)的輸出，為隱節(jié)點(diǎn)輸出的線性組合：式中

——qi到y(tǒng)k的聯(lián)接權(quán)——第k個(gè)輸出節(jié)點(diǎn)的閾值徑向基函數(shù)網(wǎng)絡(luò)第58頁，共82頁，2023年，2月20日，星期五徑向基函數(shù)網(wǎng)絡(luò)的訓(xùn)練三組可調(diào)參數(shù)：隱單元的個(gè)數(shù)，隱單元基函數(shù)中心與方差xc,σ輸出層權(quán)值wij估計(jì)方法：聚類的方法估計(jì)xc,σLMS方法估計(jì)wij第59頁，共82頁，2023年，2月20日，星期五自組織特征映射SOM是由芬蘭的Kohonen教授于1981年提出的一種神經(jīng)網(wǎng)絡(luò)模型，它的原理是基于生物神經(jīng)細(xì)胞的如下二種功能:1.實(shí)際的神經(jīng)細(xì)胞中有一種特征敏感細(xì)胞，在外界信號(hào)的刺激下，通過自學(xué)習(xí)形成對(duì)某一種特征特別敏感的神經(jīng)元。2.生物神經(jīng)細(xì)胞在外界的刺激下，會(huì)自動(dòng)聚集而形成一種功能柱，一個(gè)功能柱的細(xì)胞完成同一種功能。8.5自組織映射網(wǎng)絡(luò)SOM第60頁，共82頁，2023年，2月20日，星期五（1）SOM結(jié)構(gòu)SOM網(wǎng)分兩層：輸入層：模擬感知外界輸入信息的視網(wǎng)膜輸出層（競(jìng)爭(zhēng)層）：模擬做出響應(yīng)的大腦皮層。第61頁，共82頁，2023年，2月20日，星期五（1）SOM結(jié)構(gòu)輸入層神經(jīng)元與輸出層神經(jīng)元為全互連方式，且輸出層中的神經(jīng)元按二維形式排列，它們中的每個(gè)神經(jīng)元代表了一種輸入樣本。所有輸入節(jié)點(diǎn)到所有輸出節(jié)點(diǎn)之間都有權(quán)值連接，而且在二維平面上的輸出節(jié)點(diǎn)相互間也可能是局部連接的。而對(duì)改變節(jié)點(diǎn)競(jìng)爭(zhēng)結(jié)果起決定作用的還是輸入層的加權(quán)和，所以在判斷競(jìng)爭(zhēng)網(wǎng)絡(luò)節(jié)點(diǎn)勝負(fù)的結(jié)果時(shí)，可忽略競(jìng)爭(zhēng)層節(jié)點(diǎn)之間的權(quán)值連接。第62頁，共82頁，2023年，2月20日，星期五

SOM網(wǎng)的獲勝神經(jīng)元對(duì)其鄰近神經(jīng)元的影響是由近及遠(yuǎn)，由興奮逐漸轉(zhuǎn)變?yōu)橐种疲虼似鋵W(xué)習(xí)算法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向量，它周圍的神經(jīng)元在其影響下也要程度不同地調(diào)整權(quán)向量。（2）SOM權(quán)值調(diào)整區(qū)域第63頁，共82頁，2023年，2月20日，星期五以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域半徑，該半徑圈定的范圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學(xué)習(xí)算法中，優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠(yuǎn)近不同程度地調(diào)整權(quán)值。優(yōu)勝鄰域開始定得很大，但其大小隨著訓(xùn)練次數(shù)的增加不斷收縮，最終收縮到半徑為零。（2）SOM權(quán)值調(diào)整區(qū)域第64頁，共82頁，2023年，2月20日，星期五Nc(t)隨時(shí)間變化及形狀（2）SOM權(quán)值調(diào)整區(qū)域第65頁，共82頁，2023年，2月20日，星期五

設(shè)輸入信號(hào)模式為,輸出神經(jīng)元i與輸入神經(jīng)元連接的權(quán)值為則輸出神經(jīng)元i

的輸出為（8.5.1）但是只有滿足最大輸出條件的神經(jīng)元才產(chǎn)生輸出，即（8.5.2）（3）SOM工作原理第66頁，共82頁，2023年，2月20日，星期五

對(duì)于輸出神經(jīng)元k以及其周圍的8個(gè)相鄰的神經(jīng)元仍可按Hebb法則進(jìn)行自適應(yīng)權(quán)調(diào)整，即有（8.5.3）式中為學(xué)習(xí)系數(shù)，分母是分子的歐幾里德距離，此時(shí)的權(quán)值被正則化。（3）SOM工作原理第67頁，共82頁，2023年，2月20日，星期五自組織的過程就是通過學(xué)習(xí)，逐步把權(quán)向量旋轉(zhuǎn)到一個(gè)合適的方向上，即權(quán)值的調(diào)整方向總是與X的方向一致(無須決策和導(dǎo)師)，使正比于。其數(shù)學(xué)表示為式中X為輸出神經(jīng)元的輸入向量，Xb為輸出神經(jīng)元的閾值向量，O為輸出神經(jīng)元的輸出向量，為學(xué)習(xí)系數(shù)。（3）SOM工作原理第68頁，共82頁，2023年，2月20日，星期五正則化后有或者（8.5.4）（8.5.5）（8.5.6）由此可得SOM模型的權(quán)值修正規(guī)則為（3）SOM工作原理第69頁，共82頁，2023年，2月20日，星期五上述介紹中的學(xué)習(xí)規(guī)則都是使用了最大輸出的學(xué)習(xí)規(guī)則。但是事實(shí)上有兩種學(xué)習(xí)規(guī)則。（3）SOM工作原理第70頁，共82頁，2023年，2月20日，星期五最大輸出規(guī)則：

最小歐氏距離規(guī)則：

（8.5.7）（8.5.8）（3）SOM工作原理第71頁，共82頁，2023年，2月20日，星期五訓(xùn)練階段

w1w2w3

w4

w5（3）SOM工作原理第72頁，共82頁，2023年，2月20日，星期五工作階段（3）SOM工作原理第73頁，共82頁，2023年，2月20日，星期五

SOM算法有三個(gè)關(guān)鍵點(diǎn)：對(duì)于給定的輸入模式，確定競(jìng)爭(zhēng)層上的獲勝單元。按照學(xué)習(xí)規(guī)則修正獲勝單元及其鄰域單元的連接權(quán)值。逐步減小鄰域及學(xué)習(xí)過程中權(quán)值的變化量。（4）SOM學(xué)習(xí)算法第74頁，共82頁，2023年，2月20日，星期五(1)初始化對(duì)輸出層各權(quán)向量賦小隨機(jī)數(shù)并進(jìn)行歸一化處理，得到，j=1,2,…m；建立初始優(yōu)勝鄰域Nj*(0)；學(xué)習(xí)率賦初始值。(2)接受輸入從訓(xùn)練集中隨機(jī)選取一個(gè)輸入模式并進(jìn)行歸一化處理，得到，p{1,2,…,P}。P是樣本總數(shù),p是樣本編號(hào)。(3)尋找獲勝節(jié)點(diǎn)計(jì)算與的點(diǎn)積，j=1,2,…m，從中選出點(diǎn)積最大的獲勝節(jié)點(diǎn)j*。(4)定義優(yōu)勝鄰域