人工神經(jīng)網(wǎng)絡(luò)

關(guān)于人工神經(jīng)網(wǎng)絡(luò)2人工神經(jīng)網(wǎng)絡(luò)的進(jìn)展初創(chuàng)階段（二十世紀(jì)四十年代至六十年代）:1943年，美國心理學(xué)家W.S.Mcculloch和數(shù)理邏輯學(xué)家和數(shù)理邏輯學(xué)家W.Pitts提出了神經(jīng)元的數(shù)學(xué)模型，即MP（

Mcculloch-Pitts）模型以數(shù)學(xué)邏輯為研究手段，探討了客觀事件在神經(jīng)網(wǎng)絡(luò)的形式問題1960年，威德羅和霍夫率先把神經(jīng)網(wǎng)絡(luò)用于自動(dòng)控制研究。過渡階段（二十世紀(jì)六十年代初至七十年代）M.Minsky和S.Papert于1969年出版《PerceptronPerceptron》從理論上證明了以單層感知機(jī)為代表的網(wǎng)絡(luò)系統(tǒng)在某些能力方面的局限性。

60年代末期至80年代中期，神經(jīng)網(wǎng)絡(luò)控制與神經(jīng)網(wǎng)絡(luò)進(jìn)入低潮第2頁,共86頁，2024年2月25日，星期天3人工神經(jīng)網(wǎng)絡(luò)的進(jìn)展(續(xù))高潮階段（二十世紀(jì)八十年代）1982和1984年，美國加州理工學(xué)院的生物物理學(xué)J.J.Hopfield在美國科學(xué)院院刊發(fā)表的兩篇文章，有力地推動(dòng)了人工神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用，并引發(fā)了研究神經(jīng)網(wǎng)絡(luò)的一次熱潮。80年代后期以來，隨著人工神經(jīng)網(wǎng)絡(luò)研究的復(fù)蘇和發(fā)展，對(duì)神經(jīng)網(wǎng)絡(luò)控制的研究也十分活躍。研究進(jìn)展主要在神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制和模糊神經(jīng)網(wǎng)絡(luò)控制及其在機(jī)器人控制中的應(yīng)用上。平穩(wěn)發(fā)展階段（二十世紀(jì)九十年代以后）和相關(guān)學(xué)科交叉融合第3頁,共86頁，2024年2月25日，星期天4ANN人工神經(jīng)網(wǎng)絡(luò)概述基本原理前向型神經(jīng)網(wǎng)絡(luò)自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的應(yīng)用與人工智能原理的結(jié)合BP神經(jīng)網(wǎng)絡(luò)第4頁,共86頁，2024年2月25日，星期天5概述什么叫人工神經(jīng)網(wǎng)絡(luò)采用物理可實(shí)現(xiàn)的系統(tǒng)來模仿人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能的系統(tǒng)。為什么要研究神經(jīng)網(wǎng)絡(luò)用計(jì)算機(jī)代替人的腦力勞動(dòng)。計(jì)算機(jī)速度為納秒級(jí)，人腦細(xì)胞反應(yīng)時(shí)間是毫秒級(jí)。而計(jì)算機(jī)不如人。長(zhǎng)期以來人類的夢(mèng)想，機(jī)器既能超越人的計(jì)算能力，又有類似于人的識(shí)別、分析、聯(lián)想等能力。第5頁,共86頁，2024年2月25日，星期天6概述人工智能與神經(jīng)網(wǎng)絡(luò)共同之處：研究怎樣使用計(jì)算機(jī)來模仿人腦工作過程，學(xué)習(xí)——實(shí)踐——再學(xué)習(xí)——再實(shí)踐。不同之處：人工智能研究人腦的推理、學(xué)習(xí)、思考、規(guī)劃等思維活動(dòng)，解決需人類專家才能處理的復(fù)雜問題。神經(jīng)網(wǎng)絡(luò)企圖闡明人腦結(jié)構(gòu)及其功能，以及一些相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本規(guī)則（聯(lián)想、概括、并行搜索、學(xué)習(xí)和靈活性）第6頁,共86頁，2024年2月25日，星期天7例如：人工智能專家系統(tǒng)是制造一個(gè)專家，幾十年難以培養(yǎng)的專家。 神經(jīng)網(wǎng)絡(luò)是制造一個(gè)嬰兒，一個(gè)幼兒，一個(gè)可以學(xué)習(xí)，不斷完善，從一些自然知識(shí)中汲取智慧的生命成長(zhǎng)過程。同樣是模仿人腦，但所考慮的角度不同。成年人和嬰兒學(xué)習(xí)過程不一樣第7頁,共86頁，2024年2月25日，星期天8概述第8頁,共86頁，2024年2月25日，星期天9ANN人工神經(jīng)網(wǎng)絡(luò)概述基本原理前向型神經(jīng)網(wǎng)絡(luò)自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的應(yīng)用與人工智能原理的結(jié)合BP神經(jīng)網(wǎng)絡(luò)第9頁,共86頁，2024年2月25日，星期天10基本原理第10頁,共86頁，2024年2月25日，星期天11第11頁,共86頁，2024年2月25日，星期天12第12頁,共86頁，2024年2月25日，星期天13生物神經(jīng)元第13頁,共86頁，2024年2月25日，星期天14神經(jīng)元由細(xì)胞體、樹突和軸突組成。細(xì)胞體是神經(jīng)元的主體,它由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜三部分構(gòu)成.從細(xì)胞體向外延伸出許多突起,其中大部分突起呈樹狀,稱為樹突.樹突起感受作用,接受來自其他神經(jīng)元的傳遞信號(hào).由細(xì)胞體伸出的一條最長(zhǎng)的突起,用來傳出細(xì)胞體產(chǎn)生的輸出信號(hào),稱之為軸突;軸突末端形成許多細(xì)的分枝,叫做神經(jīng)末梢;每一條神經(jīng)末梢可以與其他神經(jīng)元形成功能性接觸,該接觸部位稱為突觸。所謂功能性接觸是指非永久性接觸,它是神經(jīng)元之間信息傳遞的奧秘之處。第14頁,共86頁，2024年2月25日，星期天15一個(gè)神經(jīng)元把來自不同樹突的興奮性或抑制性輸入信號(hào)(突觸后膜電位)累加求和的過程，稱為整合?？紤]到輸入信號(hào)的影響要持續(xù)一段時(shí)間(毫秒級(jí)),因此,神經(jīng)元的整合功能是一種時(shí)空整合。當(dāng)神經(jīng)元的時(shí)空整合產(chǎn)生的膜電位超過閾值電位時(shí),神經(jīng)元處于興奮狀態(tài),產(chǎn)生興奮性電脈沖,并經(jīng)軸突輸出;否則,無電脈沖產(chǎn)生,處于抑制狀態(tài)。第15頁,共86頁，2024年2月25日，星期天16圖2一種簡(jiǎn)化神經(jīng)元結(jié)構(gòu)第16頁,共86頁，2024年2月25日，星期天17人工神經(jīng)元模型每一個(gè)細(xì)胞處于兩種狀態(tài)。突觸聯(lián)接有強(qiáng)度。多輸入單輸出。實(shí)質(zhì)上傳播的是脈沖信號(hào)，信號(hào)的強(qiáng)弱與脈沖頻率成正比。圖3人工神經(jīng)元的結(jié)構(gòu)模型第17頁,共86頁，2024年2月25日，星期天18一般地,人工神經(jīng)元的結(jié)構(gòu)模型如圖3所示。它是一個(gè)多輸入單輸出的非線性閾值器件。其中x1，x2，…xn表示神經(jīng)元的n個(gè)輸入信號(hào)量；w1，w2，…，wn表示對(duì)應(yīng)輸入的權(quán)值,它表示各信號(hào)源神經(jīng)元與該神經(jīng)元的連接強(qiáng)度；

U表示神經(jīng)元的輸入總和,它相應(yīng)于生物神經(jīng)細(xì)胞的膜電位,稱為激活函數(shù);y為神經(jīng)元的輸出;θ表示神經(jīng)元的閾值。第18頁,共86頁，2024年2月25日，星期天19于是，人工神經(jīng)元的輸入輸出關(guān)系可描述為：

函數(shù)y=f(U)稱為特性函數(shù)(亦稱作用、傳遞、激活、活化、轉(zhuǎn)移函數(shù))。特性函數(shù)可以看作是神經(jīng)元的數(shù)學(xué)模型。第19頁,共86頁，2024年2月25日，星期天201.閾值型2.

S型

這類函數(shù)的輸入－輸出特性多采用指數(shù)、對(duì)數(shù)或雙曲正切等S型函數(shù)表示。例如S型特性函數(shù)反映了神經(jīng)元的非線性輸出特性。常見的特性函數(shù)有以下幾種:第20頁,共86頁，2024年2月25日，星期天213.分段線性型神經(jīng)元的輸入－輸出特性滿足一定的區(qū)間線性關(guān)系,其特性函數(shù)表達(dá)為式中，K、Ak均表示常量。第21頁,共86頁，2024年2月25日，星期天22人工神經(jīng)元模型以上三種特性函數(shù)的圖像依次如下圖中的(a)、(b)、(c)所示神經(jīng)細(xì)胞的輸出對(duì)輸入的反映。典型的特性函數(shù)是非線性的。第22頁,共86頁，2024年2月25日，星期天23基本原理－網(wǎng)絡(luò)結(jié)構(gòu)人腦神經(jīng)網(wǎng)絡(luò)：人腦中約有１４０億個(gè)神經(jīng)細(xì)胞根據(jù)Stubbz的估計(jì)這些細(xì)胞被安排在約１０００個(gè)主要模塊內(nèi)，每個(gè)模塊上有上百個(gè)神經(jīng)網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)約有１０萬個(gè)神經(jīng)細(xì)胞。

如果將多個(gè)神經(jīng)元按某種的拓?fù)浣Y(jié)構(gòu)連接起來，就構(gòu)成了神經(jīng)網(wǎng)絡(luò)。根據(jù)連接的拓?fù)浣Y(jié)構(gòu)不同，神經(jīng)網(wǎng)絡(luò)可分為四大類：分層前向網(wǎng)絡(luò)、反饋前向網(wǎng)絡(luò)、互連前向網(wǎng)絡(luò)、廣泛互連網(wǎng)絡(luò)。第23頁,共86頁，2024年2月25日，星期天24基本原理－網(wǎng)絡(luò)模型分層前向網(wǎng)絡(luò)：每層只與前層相聯(lián)接

網(wǎng)絡(luò)由若干層神經(jīng)元組成，一般有輸入層、中間層（又稱隱層，可有一層或多層）和輸出層，各層順序連接；且信息嚴(yán)格地按照從輸入層進(jìn)，經(jīng)過中間層，從輸出層出的方向流動(dòng)。第24頁,共86頁，2024年2月25日，星期天25基本原理－網(wǎng)絡(luò)模型反饋前向網(wǎng)絡(luò)：輸出層上存在一個(gè)反饋回路，將信號(hào)反饋到輸入層。而網(wǎng)絡(luò)本身還是前向型的。

反饋的結(jié)果形成封閉環(huán)路，具有反饋的單元稱為隱單元，其輸出稱為內(nèi)部輸出。

第25頁,共86頁，2024年2月25日，星期天26基本原理－網(wǎng)絡(luò)模型互連前向網(wǎng)絡(luò)：外部看還是一個(gè)前向網(wǎng)絡(luò)，內(nèi)部有很多自組織網(wǎng)絡(luò)在層內(nèi)互連著。

同一層內(nèi)單元的相互連接使它們之間有彼此牽制作用。第26頁,共86頁，2024年2月25日，星期天27基本原理－網(wǎng)絡(luò)模型廣泛互連網(wǎng)絡(luò)：所有計(jì)算單元之間都有連接，即網(wǎng)絡(luò)中任意兩個(gè)神經(jīng)元之間都可以或可能是可達(dá)的。如：Hopfield網(wǎng)絡(luò)、波爾茨曼機(jī)模型反饋型局部連接網(wǎng)絡(luò)：特例，每個(gè)神經(jīng)元的輸出只與其周圍的神經(jīng)元相連，形成反饋網(wǎng)絡(luò)。第27頁,共86頁，2024年2月25日，星期天28基本原理－網(wǎng)絡(luò)分類分類前向型（前饋型）；反饋型；自組織競(jìng)爭(zhēng)；隨機(jī)網(wǎng)絡(luò)其它第28頁,共86頁，2024年2月25日，星期天29

具體來講，神經(jīng)網(wǎng)絡(luò)至少可以實(shí)現(xiàn)如下功能：數(shù)學(xué)上的映射逼近。通過一組映射樣本(x1，y1)(x2，y2)，…，(xn，yn)，網(wǎng)絡(luò)以自組織方式尋找輸入與輸出之間的映射關(guān)系：yi=f(xi)。數(shù)據(jù)聚類、壓縮。通過自組織方式對(duì)所選輸入模式聚類。聯(lián)想記憶。實(shí)現(xiàn)模式完善、恢復(fù)，相關(guān)模式的相互回憶等。優(yōu)化計(jì)算和組合優(yōu)化問題求解。利用神經(jīng)網(wǎng)絡(luò)的漸進(jìn)穩(wěn)定態(tài)，特別是反饋網(wǎng)絡(luò)的穩(wěn)定平衡態(tài)，進(jìn)行優(yōu)化計(jì)算或求解組合優(yōu)化問題的近似最優(yōu)解。第29頁,共86頁，2024年2月25日，星期天30模式分類。現(xiàn)有的大多數(shù)神經(jīng)網(wǎng)絡(luò)模型都有這種分類能力。概率密度函數(shù)的估計(jì)。根據(jù)給定的概率密度函數(shù)，通過自組織網(wǎng)絡(luò)來響應(yīng)在空間Rn中服從這一概率分布的一組向量樣本X1，X2，…，Xk。第30頁,共86頁，2024年2月25日，星期天31基本原理－基本屬性基本屬性：非線性：自然界的普遍特性大腦的智慧就是一種非線性現(xiàn)象人工神經(jīng)元處于激活或抑制兩種不同的狀態(tài)，在數(shù)學(xué)上表現(xiàn)為一種非線性。非局域性：一個(gè)神經(jīng)網(wǎng)絡(luò)通常由多個(gè)神經(jīng)元廣泛連接而成一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定通過單元之間的大量連接模擬大腦的非局域性聯(lián)想記憶是非局域性的典型例子。第31頁,共86頁，2024年2月25日，星期天32基本原理－基本屬性非定常性人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力神經(jīng)網(wǎng)絡(luò)不但處理的信息有各種各樣，而且在處理信息的同時(shí)，非線性動(dòng)力系統(tǒng)本身也在不斷變化經(jīng)常采用迭代過程描寫動(dòng)力系統(tǒng)的演化過程。非凸性：系統(tǒng)演化的多樣性一個(gè)系統(tǒng)的演化方向，在一定條件下，將取決于某個(gè)特定的狀態(tài)函數(shù)，如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。第32頁,共86頁，2024年2月25日，星期天33基本原理－優(yōu)缺點(diǎn)評(píng)價(jià)優(yōu)點(diǎn)： 并行性；分布存儲(chǔ)；容錯(cuò)性；學(xué)習(xí)能力缺點(diǎn)： 不適合高精度計(jì)算；學(xué)習(xí)問題沒有根本解決，慢；目前沒有完整的設(shè)計(jì)方法，經(jīng)驗(yàn)參數(shù)太多。第33頁,共86頁，2024年2月25日，星期天34神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)(亦稱訓(xùn)練)是神經(jīng)網(wǎng)絡(luò)的最重要特征之一。神經(jīng)網(wǎng)絡(luò)能夠通過學(xué)習(xí),改變其內(nèi)部狀態(tài),使輸入—輸出呈現(xiàn)出某種規(guī)律性。網(wǎng)絡(luò)學(xué)習(xí)一般是利用一組稱為樣本的數(shù)據(jù),作為網(wǎng)絡(luò)的輸入(和輸出),網(wǎng)絡(luò)按照一定的訓(xùn)練規(guī)則(又稱學(xué)習(xí)規(guī)則或?qū)W習(xí)算法)自動(dòng)調(diào)節(jié)神經(jīng)元之間的連接強(qiáng)度或拓?fù)浣Y(jié)構(gòu),當(dāng)網(wǎng)絡(luò)的實(shí)際輸出滿足期望的要求,或者趨于穩(wěn)定時(shí),則認(rèn)為學(xué)習(xí)成功。第34頁,共86頁，2024年2月25日，星期天35神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)1.學(xué)習(xí)規(guī)則

權(quán)值修正學(xué)派認(rèn)為：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是不斷調(diào)整網(wǎng)絡(luò)的連接權(quán)值，以獲得期望的輸出的過程。所以，學(xué)習(xí)規(guī)則就是權(quán)值修正規(guī)則。2.學(xué)習(xí)方法分類

從不同角度考慮，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有不同的分類。表9.1列出了常見的幾種分類情況。第35頁,共86頁，2024年2月25日，星期天36神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)表1神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法的常見分類第36頁,共86頁，2024年2月25日，星期天37ANN人工神經(jīng)網(wǎng)絡(luò)概述基本原理前向型神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的應(yīng)用與人工智能原理的結(jié)合第37頁,共86頁，2024年2月25日，星期天38前向型神經(jīng)網(wǎng)絡(luò)概述最初稱之為感知器。應(yīng)用最廣泛的一種人工神經(jīng)網(wǎng)絡(luò)模型，最要原因是有BP學(xué)習(xí)方法。前向網(wǎng)絡(luò)結(jié)構(gòu)是分層的，信息只能從下一層單元傳遞到相應(yīng)的上一層單元。上層單元與下層所有單元相聯(lián)接特性函數(shù)可以是線性閾值的。

第38頁,共86頁，2024年2月25日，星期天39前向型神經(jīng)網(wǎng)絡(luò)單層感知器第39頁,共86頁，2024年2月25日，星期天40前向型神經(jīng)網(wǎng)絡(luò)基本原理和結(jié)構(gòu)極其簡(jiǎn)單在實(shí)際應(yīng)用中很少出現(xiàn)采用階躍函數(shù)作為特性函數(shù)２維空間可以明顯表現(xiàn)其分類功能，但Minsky等揭示的致命弱點(diǎn)也一目了然。關(guān)鍵是學(xué)習(xí)算法及網(wǎng)絡(luò)設(shè)計(jì)方法輸出yi等于：(1)其中第40頁,共86頁，2024年2月25日，星期天41前向型神經(jīng)網(wǎng)絡(luò)－單層感知器分類方法：如果輸入x有k個(gè)樣本，xp,p=1,2,…,k,x

Rn當(dāng)將這些樣本分別輸入到單輸出的感知器中，在一定的和下，輸出有兩種可能+1或-1。把樣本xp看作為在n維狀態(tài)空間中的一個(gè)矢量，則k個(gè)樣本為輸入空間的k個(gè)矢量前向神經(jīng)網(wǎng)絡(luò)就是將n維空間分為SA、SB兩個(gè)子空間，其分界線為n-1維的超平面。即用一個(gè)單輸出的感知器通過調(diào)整參數(shù)及來達(dá)到k個(gè)樣本的正確劃分。第41頁,共86頁，2024年2月25日，星期天42前向型神經(jīng)網(wǎng)－單層感知器則存在一組權(quán)值wij使得公式(1)滿足:

稱樣本集為線性可分的，否則為線性不可分的。

第42頁,共86頁，2024年2月25日，星期天43前向型神經(jīng)網(wǎng)－單層感知器如：2維空間希望找到一根直線，把A,B兩類樣本分開，其分界線為:解有無數(shù)個(gè)。

單層感知器只能解決線性可分類的樣本的分類問題。如樣本不能用一個(gè)超平面分開，就會(huì)產(chǎn)生當(dāng)年Minsky等提出的不可分問題如：異或問題。第43頁,共86頁，2024年2月25日，星期天44++++++++X1X2二維輸入感知器及其在狀態(tài)空間中的劃分第44頁,共86頁，2024年2月25日，星期天45前向型神經(jīng)網(wǎng)絡(luò)－多層感知器多層感知器多層感知器的輸入輸出關(guān)系與單層感知器完全相同。前一層的輸出是下一層的輸入。也被稱為BP網(wǎng)絡(luò)。第45頁,共86頁，2024年2月25日，星期天46前向型神經(jīng)網(wǎng)絡(luò)－多層感知器多層感知器采用BP算法學(xué)習(xí)時(shí)要求傳遞函數(shù)為有界連續(xù)可微函數(shù)如sigmoid函數(shù)。因此，網(wǎng)絡(luò)可以用一個(gè)連續(xù)的超曲面（而不僅僅是一個(gè)超平面）來完成劃分輸入樣本空間的功能。先求誤差，用梯度下降的方法求誤差的傳遞。從后往前算。第46頁,共86頁，2024年2月25日，星期天47第47頁,共86頁，2024年2月25日，星期天48前向型神經(jīng)網(wǎng)絡(luò)－多層感知器多層感知器n層網(wǎng)絡(luò)可以以n-1個(gè)超曲面構(gòu)成一個(gè)符合曲面，彌補(bǔ)單層感知器的缺陷?；贐P算法，依據(jù)大量樣本通過逐步調(diào)整神經(jīng)元之間的聯(lián)接權(quán)重來構(gòu)造網(wǎng)絡(luò)。理論上，多層前饋網(wǎng)絡(luò)在不考慮結(jié)果規(guī)模的前提下，可以模擬任意的輸出函數(shù)。第48頁,共86頁，2024年2月25日，星期天49前向型神經(jīng)網(wǎng)絡(luò)－多層感知器特點(diǎn)：用非線性連續(xù)可微函數(shù)分類，結(jié)果為一種模糊概念。當(dāng)輸出f(u)>0時(shí)，其輸出不一定為１，而是一個(gè)>0.5(有時(shí)只是>0)的值，表示所得到的概率為多少。

應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。第49頁,共86頁，2024年2月25日，星期天50ANN人工神經(jīng)網(wǎng)絡(luò)概述基本原理前向型神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的應(yīng)用與人工智能原理的結(jié)合第50頁,共86頁，2024年2月25日，星期天51BP神經(jīng)網(wǎng)絡(luò)BP(BackPropagation)網(wǎng)絡(luò)即誤差反向傳播網(wǎng)絡(luò)是應(yīng)用最廣泛的一種神經(jīng)網(wǎng)絡(luò)模型。

(1)BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)為分層前向網(wǎng)絡(luò)；(2)神經(jīng)元的特性函數(shù)為Sigmoid型(S型)函數(shù)，一般取為

(3)輸入為連續(xù)信號(hào)量（實(shí)數(shù)）；(4)學(xué)習(xí)方式為有導(dǎo)師學(xué)習(xí)；(5)學(xué)習(xí)算法為推廣的δ學(xué)習(xí)規(guī)則，稱為誤差反向傳播算法，簡(jiǎn)稱BP學(xué)習(xí)算法。第51頁,共86頁，2024年2月25日，星期天52BP神經(jīng)網(wǎng)絡(luò)BP算法的基本思想：

正向傳播過程中，輸入信號(hào)從輸入層經(jīng)隱單元層傳向輸出層，每一層的神經(jīng)元狀態(tài)只會(huì)影響到下一層神經(jīng)元的輸入，如果在輸出層得不到期望的輸出，則轉(zhuǎn)入反向傳播過程。將誤差信號(hào)沿原來的連接通路返回，通過修改各層神經(jīng)元的連接權(quán)值，使得輸出誤差信號(hào)達(dá)到最小。變量定義：XX為輸入向量，YY為網(wǎng)絡(luò)輸出向量；WW(1)(1)、WW(2)(2)分別為輸入層——隱層、隱層——輸出層的權(quán)值矩陣每層神經(jīng)元的個(gè)數(shù)為：輸入層，NN個(gè)神經(jīng)元；隱層，PP個(gè)神經(jīng)元；輸出層，MM個(gè)神經(jīng)元。第52頁,共86頁，2024年2月25日，星期天53第53頁,共86頁，2024年2月25日，星期天54第54頁,共86頁，2024年2月25日，星期天55第55頁,共86頁，2024年2月25日，星期天56第56頁,共86頁，2024年2月25日，星期天57第57頁,共86頁，2024年2月25日，星期天58第58頁,共86頁，2024年2月25日，星期天59第59頁,共86頁，2024年2月25日，星期天60第60頁,共86頁，2024年2月25日，星期天61

網(wǎng)絡(luò)訓(xùn)練函數(shù)function[teste,bestep,testouts,wh,wo,errorCurve]=nnTrain(matrices,nrows,ninputs,nhiddens1,nhiddens2,noutputs,hrates,orates,moms,epochs,options)

matrices:訓(xùn)練集合的樣式，即輸入-期望輸出對(duì)。

nrows:樣本集的列數(shù)，即學(xué)習(xí)樣本的數(shù)目。

ninputs,nhiddens1,nhiddens2,noutputs:輸入層節(jié)點(diǎn)數(shù)；第一隱層節(jié)點(diǎn)數(shù)；第二隱層節(jié)點(diǎn)數(shù)（可以為空）；輸出層節(jié)點(diǎn)數(shù)。

hrates,orates:隱層、輸出層單元的學(xué)習(xí)率。

moms:訓(xùn)練過程激勵(lì)速率。

epochs:最大訓(xùn)練過程的迭代數(shù)。

options:函數(shù)使用過程的選項(xiàng)。第61頁,共86頁，2024年2月25日，星期天62BP網(wǎng)絡(luò)學(xué)習(xí)舉例例：設(shè)計(jì)一個(gè)BP網(wǎng)絡(luò)，對(duì)表2所示的樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)，使學(xué)成的網(wǎng)絡(luò)能解決類似的模式分類問題。設(shè)網(wǎng)絡(luò)的輸入層有三個(gè)節(jié)點(diǎn)，隱層四個(gè)節(jié)點(diǎn)，輸出層三個(gè)節(jié)點(diǎn)，拓?fù)浣Y(jié)構(gòu)如下圖9所示。

表2網(wǎng)絡(luò)訓(xùn)練樣本數(shù)據(jù)

輸入輸出X1x2x3Y1y2y30.30.80.10.70.10.30.60.60.6100010001第62頁,共86頁，2024年2月25日，星期天63BP網(wǎng)絡(luò)學(xué)習(xí)舉例圖BP網(wǎng)絡(luò)舉例第63頁,共86頁，2024年2月25日，星期天64用樣本數(shù)據(jù)按BP算法對(duì)該網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練結(jié)束后，網(wǎng)絡(luò)就可作為一種模式分類器使用。因?yàn)榫W(wǎng)絡(luò)的輸出向量(1，0，0)、(0，1，0)、(0，0，1)可以表示多種模式或狀態(tài)。如可以分別表示凸、凹和直三種曲線，或者三種筆劃，也可以表示某公司的銷售情況：高峰、低谷和持平等等。當(dāng)然，要使網(wǎng)絡(luò)有很好的模式分類能力，必須給以足夠多的范例使其學(xué)習(xí)，本例僅是一個(gè)簡(jiǎn)單的示例。第64頁,共86頁，2024年2月25日，星期天65神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型是一個(gè)在神經(jīng)網(wǎng)絡(luò)研究和應(yīng)用中經(jīng)常提到的概念。所謂神經(jīng)網(wǎng)絡(luò)模型，它是關(guān)于一個(gè)神經(jīng)網(wǎng)絡(luò)的綜合描述和整體概念，包括網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)、輸入輸出信號(hào)類型、信息傳遞方式、神經(jīng)元特性函數(shù)、學(xué)習(xí)方式、學(xué)習(xí)算法等等。截止目前，人們已經(jīng)提出了上百種神經(jīng)網(wǎng)絡(luò)模型,下表簡(jiǎn)介最著名的幾種。第65頁,共86頁，2024年2月25日，星期天66神經(jīng)網(wǎng)絡(luò)模型第66頁,共86頁，2024年2月25日，星期天67神經(jīng)網(wǎng)絡(luò)模型第67頁,共86頁，2024年2月25日，星期天68神經(jīng)網(wǎng)絡(luò)模型第68頁,共86頁，2024年2月25日，星期天69神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型也可按其功能、結(jié)構(gòu)、學(xué)習(xí)方式等的不同進(jìn)行分類。

1.按學(xué)習(xí)方式分類

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式包括三種，有導(dǎo)師學(xué)習(xí)、強(qiáng)化學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)。按學(xué)習(xí)方式進(jìn)行神經(jīng)網(wǎng)絡(luò)模型分類時(shí)，可以分為相應(yīng)的三種，即有導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)及無導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)。第69頁,共86頁，2024年2月25日，星期天70神經(jīng)網(wǎng)絡(luò)模型

2.按網(wǎng)絡(luò)結(jié)構(gòu)分類

神經(jīng)網(wǎng)絡(luò)的連接結(jié)構(gòu)分為兩大類,分層結(jié)構(gòu)與互連結(jié)構(gòu)，分層結(jié)構(gòu)網(wǎng)絡(luò)有明顯的層次,信息的流向由輸入層到輸出層,因此,構(gòu)成一大類網(wǎng)絡(luò),即前向網(wǎng)絡(luò)。對(duì)于互連型結(jié)構(gòu)網(wǎng)絡(luò),沒有明顯的層次,任意兩處理單元之間都是可達(dá)的,具有輸出單元到隱單元(或輸入單元)的反饋連接，這樣就形成另一類網(wǎng)絡(luò),稱之為反饋網(wǎng)絡(luò)。第70頁,共86頁，2024年2月25日，星期天71神經(jīng)網(wǎng)絡(luò)模型

3.按網(wǎng)絡(luò)的狀態(tài)分類

在神經(jīng)網(wǎng)絡(luò)模型中，處理單元(即神經(jīng)元)的狀態(tài)有兩種形式：連續(xù)時(shí)間變化狀態(tài)、離散時(shí)間變化狀態(tài)。如果神經(jīng)網(wǎng)絡(luò)模型的所有處理單元狀態(tài)能在某一區(qū)間連續(xù)取值，這樣的網(wǎng)絡(luò)稱為連續(xù)型網(wǎng)絡(luò)；如果神經(jīng)網(wǎng)絡(luò)模型的所有處理單元狀態(tài)只能取離散的二進(jìn)制值0或1(或-1、+1)，那么稱這種網(wǎng)絡(luò)為離散型網(wǎng)絡(luò)。

典型的Hopfield網(wǎng)絡(luò)同時(shí)具有這兩類網(wǎng)絡(luò)，分別稱為連續(xù)型Hopfield網(wǎng)絡(luò)和離散型Hopfield網(wǎng)絡(luò)。另外，還有輸出為二進(jìn)制值0或1、輸入為連續(xù)值的神經(jīng)網(wǎng)絡(luò)模型，如柯西機(jī)模型。第71頁,共86頁，2024年2月25日，星期天72神經(jīng)網(wǎng)絡(luò)模型4.按網(wǎng)絡(luò)的活動(dòng)方式分類

確定神經(jīng)網(wǎng)絡(luò)處理單元的狀態(tài)取值有兩種活動(dòng)方式，一種是由確定性輸入經(jīng)確定性作用函數(shù)，產(chǎn)生確定性的輸出狀態(tài)；另一種是由隨機(jī)輸入或隨機(jī)性作用函數(shù)，產(chǎn)生遵從一定概率分布的隨機(jī)輸出狀態(tài)。

具有前一種活動(dòng)方式的神經(jīng)網(wǎng)絡(luò)，稱為確定性網(wǎng)絡(luò)。已有的大部分神經(jīng)網(wǎng)絡(luò)模型均屬此類。而后一種活動(dòng)方式的神經(jīng)網(wǎng)絡(luò)，稱為隨機(jī)性網(wǎng)絡(luò)。隨機(jī)性網(wǎng)絡(luò)的典型例子有：波爾茨曼機(jī)、柯西機(jī)和高斯機(jī)等。第72頁,共86頁，2024年2月25日，星期天73ANN人工神經(jīng)網(wǎng)絡(luò)概述基本原理前向型神經(jīng)網(wǎng)絡(luò)自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的應(yīng)用與人工智能原理的結(jié)合BP神經(jīng)網(wǎng)絡(luò)第73頁,共86頁，2024年2月25日，星期天74自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)概述在實(shí)際的神經(jīng)網(wǎng)絡(luò)中，存在一種側(cè)抑制的現(xiàn)象。即一個(gè)細(xì)胞興奮后，通過它的分支會(huì)對(duì)周圍其他神經(jīng)細(xì)胞產(chǎn)生抑制。這種側(cè)抑制在脊髓和海馬中存在，在人眼的視網(wǎng)膜中也存在。第74頁,共86頁，2024年2月25日，星期天75自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)概述這種抑制使神經(jīng)細(xì)胞之間出現(xiàn)競(jìng)爭(zhēng)，一個(gè)興奮最強(qiáng)的神經(jīng)細(xì)胞對(duì)周圍神經(jīng)細(xì)胞的抑制也強(qiáng)。雖然一開始各個(gè)神經(jīng)細(xì)胞都處于興奮狀態(tài)，但最后是那個(gè)輸出最大的神經(jīng)細(xì)胞“贏”，而其周圍的神經(jīng)細(xì)胞“輸”了。勝者為王。小貓

第75頁,共86頁，2024年2月25日，星期天76自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)概述自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)是在“無師自通”的現(xiàn)象的基礎(chǔ)上生成的。人類等生物的生長(zhǎng)過程。第76頁,共86頁，2024年2月25日，星期天77自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)： 層內(nèi)細(xì)胞之間互聯(lián)，在各個(gè)神經(jīng)細(xì)胞中加入自反饋，相互作用，輸出y為：系統(tǒng)穩(wěn)定時(shí)“勝者為王”。此時(shí)贏者的權(quán)向量與輸入向量的歐氏距離最小。此距離為：第77頁,共86頁，2024年2月25日，星期天78自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)自組織映射模型自組織映射模型是由Kohonen提出來的。模型是以實(shí)際神經(jīng)細(xì)胞中的一種特征敏感的細(xì)胞為模型的。各個(gè)細(xì)胞分別對(duì)各種輸入敏感，可以代表各種輸入，反映各種輸入樣本的特征。如果在二維空間上描述這些細(xì)胞，則，