《人工智能控制技術(shù)》 課件 chap2-神經(jīng)網(wǎng)絡(luò)控制

《人工智能控制技術(shù)》神經(jīng)網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)簡稱為神經(jīng)網(wǎng)絡(luò)，是能夠模擬人腦細(xì)胞的分布式工作特點和自組織功能并實現(xiàn)并行處理、自學(xué)習(xí)和非線性映射等人腦思維方式的一種數(shù)學(xué)模型。人工神經(jīng)網(wǎng)絡(luò)采用相互連接的結(jié)構(gòu)與高效的學(xué)習(xí)機制來模擬人腦信息處理的過程，其實質(zhì)上是由數(shù)目龐大而結(jié)構(gòu)簡單的節(jié)點形成的復(fù)雜系統(tǒng)，這些節(jié)點被稱作神經(jīng)元，每個節(jié)點都代表一種特定的輸出函數(shù)，被稱為激勵函數(shù)，相鄰節(jié)點間的連接代表一個對于通過該連接信號的加權(quán)值，稱為權(quán)重，相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。系統(tǒng)的輸出依據(jù)網(wǎng)絡(luò)的連接方式、權(quán)重和激勵函數(shù)的不同而有所差異。神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)控制是模擬人腦神經(jīng)中樞系統(tǒng)智能活動的一種控制方式，通過神經(jīng)元及其相互連接的權(quán)值，逼近系統(tǒng)或非線性函數(shù)。為控制器設(shè)計提供有力保障或者用神經(jīng)網(wǎng)絡(luò)作為控制器的一部分，使之具有智能性，實現(xiàn)神經(jīng)網(wǎng)絡(luò)控制。神經(jīng)網(wǎng)絡(luò)是一個極富有挑戰(zhàn)性的領(lǐng)域，在神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預(yù)測等領(lǐng)域得到成功應(yīng)用，將神經(jīng)網(wǎng)絡(luò)與其他方法相結(jié)合，博采眾長，這也是神經(jīng)網(wǎng)絡(luò)控制研究的重點方向之一。神經(jīng)網(wǎng)絡(luò)發(fā)展史人工神經(jīng)網(wǎng)絡(luò)經(jīng)過了幾十年的發(fā)展，有了長足的進(jìn)步，科研人員已經(jīng)設(shè)計出了種類、數(shù)目繁多的神經(jīng)網(wǎng)絡(luò)模型，并涉及到自動控制、組合優(yōu)化、模式識別、信號處理及計算機視覺等眾多應(yīng)用領(lǐng)域，對于種類繁多的人工神經(jīng)網(wǎng)絡(luò)模型，從其抽象建模過程和信息編碼機制來看，可將人工神經(jīng)網(wǎng)絡(luò)模型分為三代，第一代神經(jīng)網(wǎng)絡(luò)、第二代神經(jīng)網(wǎng)絡(luò)、第三代神經(jīng)網(wǎng)絡(luò)。第一代神經(jīng)網(wǎng)絡(luò)：1943年,心理學(xué)家麥克洛（W.S.McCulloch）和數(shù)理邏輯學(xué)家皮茲（W.Pitts）提出人工神經(jīng)網(wǎng)絡(luò)的概念。1944年，心理學(xué)家赫布（DonaldOldingHebb）提出Hebb學(xué)習(xí)規(guī)則，1949年，Hebb描述了神經(jīng)元的學(xué)習(xí)法則。1957年，美國神經(jīng)學(xué)家羅森布拉特（FrankRosenblatt）提出了感知機。1960年完成了能夠識別出英文字母的神經(jīng)計算機—MarkⅠ。第二代神經(jīng)網(wǎng)絡(luò)：采用連續(xù)函數(shù)（如Sigmoid函數(shù)）作為神經(jīng)元的激活函數(shù)。1976年S．格羅斯伯格（Grossberg）和卡朋（A．Carpenet）提出了自適應(yīng)共振理論ART。1982年,霍普菲爾德（JohnJosephHopfield）建立起一種模擬生物神經(jīng)系統(tǒng)的反饋神經(jīng)網(wǎng)絡(luò)。1986年魯梅爾哈特（Rumelhart）和麥克利蘭提出BP神經(jīng)網(wǎng)絡(luò)。1988年，布魯姆海德（D?S?Broomhea）d和勞（D?Lowe）提出了一種三層結(jié)構(gòu)的RBF神經(jīng)網(wǎng)絡(luò)。第三代神經(jīng)網(wǎng)絡(luò)：2006年，辛頓（GeofreyHinton）提出了一種深層網(wǎng)絡(luò)模型——深度置信網(wǎng)絡(luò)（DeepBeliefNetworks，DBN），令神經(jīng)網(wǎng)絡(luò)進(jìn)入了深度學(xué)習(xí)大發(fā)展的時期。深度學(xué)習(xí)是機器學(xué)習(xí)研究中的新領(lǐng)域，采用無監(jiān)督訓(xùn)練方法達(dá)到模仿人腦的機制來處理文本、圖像等數(shù)據(jù)的目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)更加強調(diào)模型結(jié)構(gòu)的深度，明確特征學(xué)習(xí)的重要性，通過逐層特征變換的方法，將樣本元空間特征表示變換到新的特征空間，從而降低分類難度。同時，利用大數(shù)據(jù)對特征進(jìn)行學(xué)習(xí)，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息，提高信息處理的正確率和泛化能力。深層網(wǎng)絡(luò)模型的出現(xiàn)，解決了大量前人未能解決的問題，現(xiàn)已成為人工智能領(lǐng)域最熱門的研究方向。神經(jīng)網(wǎng)絡(luò)原理神經(jīng)元即神經(jīng)元細(xì)胞，是構(gòu)成神經(jīng)系統(tǒng)最基本的結(jié)構(gòu)和功能單位。每個神經(jīng)元都由細(xì)胞體和突起兩部分構(gòu)成。細(xì)胞體由細(xì)胞核、細(xì)胞膜、細(xì)胞質(zhì)組成，具有聯(lián)絡(luò)和整合輸入信息并傳出信息的作用；突起分為樹突和軸突兩種，其中樹突直接由細(xì)胞體擴張突出，其長度短而分枝多，可以看作輸入端，用于接受來自其他神經(jīng)元軸突傳來的沖動，并將其傳送給細(xì)胞體進(jìn)行綜合處理；軸突長而分枝少，為粗細(xì)均勻的細(xì)長突起，可以看作輸出端，用于將本神經(jīng)元的輸出信號傳遞給其他神經(jīng)元，其末端存在大量的神經(jīng)末梢，可以將輸出信號同時傳送給多個神經(jīng)元。信號在神經(jīng)元之間是以動作電位進(jìn)行傳遞的，前一級神經(jīng)元產(chǎn)生的動作電位通過突觸傳遞到后一級神經(jīng)元，從而實現(xiàn)信號的傳遞功能。神經(jīng)網(wǎng)絡(luò)原理神經(jīng)元作為神經(jīng)網(wǎng)絡(luò)的基本單元，存在“興奮”和“抑制”兩種狀態(tài)。通常情況下，大多數(shù)的神經(jīng)元是處于“抑制”狀態(tài)，當(dāng)外界傳遞過來的電流不斷增加，使得神經(jīng)元的膜電位超過其閾值，這個神經(jīng)元就會被激活，轉(zhuǎn)化成“興奮”狀態(tài)，進(jìn)而向其他的神經(jīng)元傳遞脈沖信號。神經(jīng)細(xì)胞神經(jīng)網(wǎng)絡(luò)原理目前人工神經(jīng)網(wǎng)絡(luò)有40多種網(wǎng)絡(luò)模型結(jié)構(gòu)，包括BP網(wǎng)絡(luò)，Hopfield網(wǎng)絡(luò)，CMAC小腦模型、ART自適應(yīng)共振理論、BAM雙向聯(lián)想記憶、SOM自組織網(wǎng)絡(luò)、Boltzman機網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等。前向網(wǎng)絡(luò)1962年由魯梅爾哈特（Rosenblatt）提出的感知器和1962年由威德羅（Widrow）提出的Adaline網(wǎng)絡(luò)是最早的前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。前向網(wǎng)絡(luò)的神經(jīng)元按照分層排列的方式，組成輸入層、隱含層和輸出層。每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入，輸入模式經(jīng)過各層的順次變換后，由輸出層完成輸出，各神經(jīng)元之間不存在反饋環(huán)節(jié)。應(yīng)用廣泛的BP網(wǎng)絡(luò)就是一種典型的前向網(wǎng)絡(luò)。前向網(wǎng)絡(luò)結(jié)構(gòu)反饋網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的輸出層到輸入層存在反饋環(huán)節(jié)，即每一個輸入節(jié)點都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋，同時需要足夠的工作時間來達(dá)到穩(wěn)定。由于存在反饋，所以神經(jīng)網(wǎng)絡(luò)具有存儲功能，容易實現(xiàn)模式序列的存儲，或者也可用于動態(tài)時間序列系統(tǒng)的神經(jīng)網(wǎng)絡(luò)建模等。Hopfield神經(jīng)網(wǎng)絡(luò)是最簡單和常用的反饋網(wǎng)絡(luò)模型。反饋網(wǎng)絡(luò)結(jié)構(gòu)自組織神經(jīng)網(wǎng)絡(luò)腦神經(jīng)科學(xué)研究表明：傳遞感覺的神經(jīng)元排列是按某種規(guī)律有序進(jìn)行的，這種排列往往反映所感受的外部刺激的某些物理特征。例如，在聽覺系統(tǒng)中，神經(jīng)細(xì)胞和纖維是按照其最敏感的頻率分布而排列的。為此，柯赫侖（Kohonen）認(rèn)為，神經(jīng)網(wǎng)絡(luò)在接受外界輸入時，將會分成不同的區(qū)域，不同的區(qū)域?qū)Σ煌哪Ｊ骄哂胁煌捻憫?yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號激勵，從而形成一種拓?fù)湟饬x上的有序圖。這種有序圖也稱之為特征圖，它實際上是一種非線性映射關(guān)系，它將信號空間中各模式的拓?fù)潢P(guān)系幾乎不變地反映在這張圖上，即各神經(jīng)元的輸出響應(yīng)上。由于這種映射是通過無監(jiān)督的自適應(yīng)過程完成的，所以也稱它為自組織特征圖。自組織網(wǎng)絡(luò)自組織神經(jīng)網(wǎng)絡(luò)不僅考慮了自組織特征圖，還模擬了生物神經(jīng)系統(tǒng)的側(cè)抑制。側(cè)抑制是指當(dāng)一個神經(jīng)細(xì)胞興奮后，會對周圍其他神經(jīng)細(xì)胞產(chǎn)生“抑制”作用。這樣使得神經(jīng)細(xì)胞之間出現(xiàn)競爭，競爭勝利得神經(jīng)細(xì)胞“興奮”，失敗神經(jīng)細(xì)胞“抑制”。自組織神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)結(jié)構(gòu)上一般采用兩層結(jié)構(gòu)：輸入層和競爭層，層與層之間雙向連接，有時競爭層之間會有橫向連接。自組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法包括：有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)等等。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法有監(jiān)督學(xué)習(xí)：有監(jiān)督學(xué)習(xí)，存在一個期望的網(wǎng)絡(luò)輸出，將實際的輸出與期望輸出進(jìn)行對比，根據(jù)二者之間的差異來調(diào)整網(wǎng)絡(luò)的權(quán)值，并進(jìn)行大量的訓(xùn)練來縮小差值。無監(jiān)督學(xué)習(xí)：無監(jiān)督學(xué)習(xí)，不存在這樣一個期望的網(wǎng)絡(luò)輸出，在信號輸入網(wǎng)絡(luò)結(jié)構(gòu)后，按照預(yù)先設(shè)置好的規(guī)則對權(quán)值進(jìn)行自動調(diào)整，同時建立相應(yīng)的評價函數(shù)來幫助完成訓(xùn)練。有監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法強化學(xué)習(xí)：強化學(xué)習(xí)是對智能體（被控對象）的試錯動作進(jìn)行獎賞評價的過程，如果智能體的某個行為策略導(dǎo)致環(huán)境正的獎賞(強化信號)，那么智能體以后產(chǎn)生這個行為策略的趨勢便會加強。智能體的目標(biāo)是在每個離散狀態(tài)發(fā)現(xiàn)最優(yōu)策略以使期望的折扣獎賞和最大。強化學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法強化學(xué)習(xí)：強化學(xué)習(xí)把學(xué)習(xí)看作試探評價過程，智能體選擇一個動作用于環(huán)境，環(huán)境接受該動作后狀態(tài)發(fā)生變化，同時產(chǎn)生一個強化信號(獎或懲)反饋給智能體，智能體根據(jù)強化信號和環(huán)境當(dāng)前狀態(tài)再選擇下一個動作，選擇的原則是使受到正強化(獎)的概率增大。選擇的動作不僅影響立即強化值，而且影響環(huán)境下一時刻的狀態(tài)及最終的強化值。強化學(xué)習(xí)不同于監(jiān)督學(xué)習(xí)，強化學(xué)習(xí)中由環(huán)境提供的強化信號是智能體對所產(chǎn)生動作的好壞作一種評價(通常為標(biāo)量信號)，而不是告訴智能體如何去產(chǎn)生正確的動作。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法常見的學(xué)習(xí)規(guī)則有很多，其中hebb學(xué)習(xí)規(guī)則和δ學(xué)習(xí)規(guī)則在上一章已經(jīng)介紹過，不再在此介紹，重點介紹：Perceptron學(xué)習(xí)規(guī)則、Widrow-Hoff學(xué)習(xí)規(guī)則Perceptron學(xué)習(xí)規(guī)則

Perceptron學(xué)習(xí)規(guī)則

Widrow-Hoff學(xué)習(xí)規(guī)則

Widrow-Hoff學(xué)習(xí)規(guī)則

典型神經(jīng)網(wǎng)絡(luò)典型神經(jīng)網(wǎng)絡(luò)根據(jù)人工神經(jīng)網(wǎng)絡(luò)的連接方式中，主要有前饋性神經(jīng)網(wǎng)絡(luò)和反饋性神經(jīng)網(wǎng)絡(luò)。前饋型神經(jīng)網(wǎng)絡(luò)主要包括單神經(jīng)元網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)，RBF神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)，反饋型神經(jīng)網(wǎng)絡(luò)主要包括Hopfield神經(jīng)網(wǎng)絡(luò)。單神經(jīng)元網(wǎng)絡(luò)

單神經(jīng)元結(jié)構(gòu)模型單神經(jīng)元網(wǎng)絡(luò)

單神經(jīng)元網(wǎng)絡(luò)閾值型神經(jīng)元：閾值型神經(jīng)元的表達(dá)式為：閾值型神經(jīng)元的函數(shù)圖像為：單神經(jīng)元網(wǎng)絡(luò)分段線性型神經(jīng)元：分段線性型神經(jīng)元的表達(dá)式為：分段線性型神經(jīng)元的函數(shù)圖像為：單神經(jīng)元網(wǎng)絡(luò)Sigmoid函數(shù)型神經(jīng)元：Sigmoid函數(shù)型神經(jīng)元的表達(dá)式為：Sigmoid函數(shù)型神經(jīng)元的函數(shù)圖像為：BP神經(jīng)網(wǎng)絡(luò)BP（BackPropagation）神經(jīng)網(wǎng)絡(luò)在1986年由魯梅爾哈特（Rumelhart）和麥克利蘭（McCelland）為首的科研小組提出，是一種誤差反向傳播算法訓(xùn)練的多層前饋網(wǎng)絡(luò)。BP（BackPropagation）神經(jīng)網(wǎng)絡(luò)整個學(xué)習(xí)過程分為信號的正向傳播和誤差的反向傳播兩個部分，在正向傳播過程中，樣本從輸入層進(jìn)入網(wǎng)絡(luò)，經(jīng)隱層逐層傳遞至輸出層，根據(jù)輸入樣本的權(quán)重值等參數(shù)，計算實際輸出值與期望值之間的損失值，若損失值超出給定的范圍，則啟動反向傳播的過程；在反向傳播過程中，將輸出通過隱層向輸入層逐層進(jìn)行反傳計算，并將誤差平分給各層的所有單元，從而獲得各層單元的誤差信號，并將其作為修正各單元權(quán)值的依據(jù)。用梯度下降法完成這一步工作后，將各層神經(jīng)元的權(quán)值和閾值調(diào)整到合適數(shù)值，使誤差信號降至最低。BP神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)是一種多層網(wǎng)絡(luò)，含有輸入層、隱含層和輸出層，層與層之間采用全互連方式，其連接是單向的，但信息的傳播是雙向的，同一層內(nèi)的神經(jīng)元之間沒有相互連接。典型的BP網(wǎng)絡(luò)結(jié)構(gòu)圖如圖所示。信息由輸入層進(jìn)入網(wǎng)絡(luò)，在隱層完成處理后，被傳遞到輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。BP網(wǎng)絡(luò)能學(xué)習(xí)和存儲大量的輸入―輸出模式映射關(guān)系，無需事先對相應(yīng)的數(shù)學(xué)方程進(jìn)行描述，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。典型BP網(wǎng)絡(luò)結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)優(yōu)點1.可以通過大量的訓(xùn)練，擬合出數(shù)據(jù)輸入輸出的非線性映射關(guān)系。2.當(dāng)輸入信息為訓(xùn)練過程中沒有出現(xiàn)過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入到輸出的正確映射，因此具有良好的泛化能力。3.反映正確輸入輸出規(guī)律的信息來自全樣本，個別樣本的誤差對整體影響不大，具有良好的容錯能力。4.在寬頻帶、小信噪比、信號模式較少的情況下，BP神經(jīng)網(wǎng)絡(luò)可以較好地實現(xiàn)信號識別和信噪分離。BP神經(jīng)網(wǎng)絡(luò)缺點1.待尋優(yōu)參數(shù)較多，訓(xùn)練時間較長。2.作為一種局部搜索的優(yōu)化方法，利用BP神經(jīng)網(wǎng)絡(luò)求解復(fù)雜非線性函數(shù)的全局極值時，在訓(xùn)練過程中易陷入局部極值。3.在學(xué)習(xí)新樣本時有遺忘舊樣本的趨勢。BP神經(jīng)網(wǎng)絡(luò)理論上可以利用三層及以上的BP神經(jīng)網(wǎng)絡(luò)逼近任何一個非線性函數(shù)，但如果選取層數(shù)較多或隱含層節(jié)點數(shù)較多，由于其全局逼近的特性，收斂速度較慢，且易于陷入局部極小值，難以滿足高度實時性的控制要求。RBF神經(jīng)網(wǎng)絡(luò)徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)：與BP神經(jīng)網(wǎng)絡(luò)相比，徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)具有更強的學(xué)習(xí)能力和收斂速度，同時能夠克服局部極小值問題，在結(jié)構(gòu)上是一種具有單隱含層的3層前饋網(wǎng)絡(luò)。其中第一層為輸入層，由信號源節(jié)點組成；第二層為隱含層，內(nèi)部神經(jīng)元的徑向基函數(shù)是中心點徑向?qū)ΨQ且衰減的非負(fù)線性函數(shù)；第三層為輸出層，具有傳輸信號作用。RBF神經(jīng)網(wǎng)絡(luò)RBF神經(jīng)網(wǎng)絡(luò)的核心思想是通過徑向基函數(shù)作為隱含層單元的“基”來構(gòu)成隱含層空間，無需通過權(quán)連接將輸入矢量直接映射到隱含層空間，利用合適地中心點來確定映射關(guān)系。隱含層的作用是將低維的輸入數(shù)據(jù)變換到高維空間內(nèi)，使得在低維度線性不可分的情況在高維度達(dá)到線性可分要求。網(wǎng)絡(luò)的輸出是隱含層輸出的線性加權(quán)和，此處的權(quán)即為網(wǎng)絡(luò)可調(diào)參數(shù)。這樣，網(wǎng)絡(luò)由輸入到輸出的映射是非線性的，而網(wǎng)絡(luò)輸出對權(quán)值而言卻又是線性的，僅對權(quán)值進(jìn)行調(diào)整的優(yōu)點是能夠節(jié)省運算時間，但也降低了網(wǎng)絡(luò)地非線性能力。其網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)RBF神經(jīng)網(wǎng)絡(luò)

RBF神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上都是非線性多層前向網(wǎng)絡(luò)，都是通用逼近器，RBF神經(jīng)網(wǎng)絡(luò)的激活函數(shù)為高斯函數(shù)，采用輸入向量與中心向量的距離（如歐式距離）作為自變量，網(wǎng)絡(luò)內(nèi)輸入層到隱含層單元之間實行直接連接，隱含層到輸出層之間實行權(quán)連接，神經(jīng)元的輸入離徑向基函數(shù)中心越遠(yuǎn)，其激活程度就越低。RBF網(wǎng)絡(luò)可以以任意精度逼近非線性函數(shù)，且不存在局部極值問題，具有較快的收斂速度。Hopfield神經(jīng)網(wǎng)絡(luò)在某些方面前饋神經(jīng)網(wǎng)絡(luò)模型的能力具有一定的局限性，為了提高神經(jīng)網(wǎng)絡(luò)的計算能力，反饋型神經(jīng)網(wǎng)絡(luò)被提出。與前饋神經(jīng)網(wǎng)絡(luò)相比，反饋神經(jīng)網(wǎng)絡(luò)具有更好的全局穩(wěn)定性和記憶能力等特點。Hopfield神經(jīng)網(wǎng)絡(luò)1982年，美國加州理工學(xué)院物理學(xué)家霍普菲爾德（J.J.Hopfield）教授將動力學(xué)中能量函數(shù)的概念引入到神經(jīng)網(wǎng)絡(luò)的構(gòu)造中，提出Hopfield神經(jīng)網(wǎng)絡(luò)。Hopfield神經(jīng)網(wǎng)絡(luò)是一種單層全互聯(lián)的反饋型神經(jīng)網(wǎng)絡(luò)，每個神經(jīng)元既是輸入也是輸出，將自己的輸出通過連接權(quán)傳送給所有其它神經(jīng)元，同時又都接收所有其它神經(jīng)元傳遞過來的信息，網(wǎng)絡(luò)中神經(jīng)元在t時刻的輸出狀態(tài)間接的與自己在t-1時刻的輸出狀態(tài)相關(guān)。在這種反饋結(jié)構(gòu)下，輸入的激勵會使輸出狀態(tài)產(chǎn)生持續(xù)變化，不斷重復(fù)這個反饋過程，直到達(dá)到平衡狀態(tài)，網(wǎng)絡(luò)就會輸出能量函數(shù)的最小值。Hopfield神經(jīng)網(wǎng)絡(luò)

Hopfield神經(jīng)網(wǎng)絡(luò)

Hopfield神經(jīng)網(wǎng)絡(luò)離散Hopfield神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)記憶和聯(lián)想回憶兩階段來實現(xiàn)聯(lián)想記憶。學(xué)習(xí)記憶階段實質(zhì)上是對神經(jīng)網(wǎng)絡(luò)的能量極小狀態(tài)進(jìn)行設(shè)計，對于要記憶的信息，通過合適的學(xué)習(xí)規(guī)則來訓(xùn)練網(wǎng)絡(luò)，最終使網(wǎng)絡(luò)達(dá)到預(yù)期。聯(lián)想回憶階段是當(dāng)給定網(wǎng)絡(luò)某一輸入模式后，網(wǎng)絡(luò)能夠通過自身的動力學(xué)狀態(tài)演化過程達(dá)到穩(wěn)態(tài)，從而實現(xiàn)自聯(lián)想或異聯(lián)想回憶。Hopfield神經(jīng)網(wǎng)絡(luò)離散Hopfield神經(jīng)網(wǎng)絡(luò)具有異步工作和同步工作兩種方式，異步工作是指在某一時刻t，除神經(jīng)元i發(fā)生變化外，其余n-i個神經(jīng)元保持不變；同步工作是指在某一時刻t，部分神經(jīng)元同時改變狀態(tài)。反饋系統(tǒng)具有逐漸向穩(wěn)態(tài)發(fā)展的趨勢，這個穩(wěn)態(tài)叫做吸引子。如果存在某一時刻T，神經(jīng)網(wǎng)絡(luò)從初始狀態(tài)經(jīng)過T后達(dá)到平衡狀態(tài)，則稱網(wǎng)絡(luò)學(xué)習(xí)是穩(wěn)定的。Hopfield神經(jīng)網(wǎng)絡(luò)

Hopfield神經(jīng)網(wǎng)絡(luò)

Hopfield神經(jīng)網(wǎng)絡(luò)模型Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)提供了模擬人類記憶的模型，隨著技術(shù)的不斷進(jìn)步，會在機器學(xué)習(xí)、聯(lián)想記憶、模式識別和優(yōu)化計算等方面有著廣泛應(yīng)用前景。卷積神經(jīng)網(wǎng)絡(luò)前面幾種人工神經(jīng)網(wǎng)絡(luò)模型當(dāng)中，相鄰層之間的神經(jīng)元采取全連接方式，連接權(quán)值就是要訓(xùn)練的參數(shù)。在處理高維度輸入特征時，采用全連接方式所需要訓(xùn)練的參數(shù)很多，運算速度大大降低，特別是隱含層較多時，運算時間將急劇增加。為了解決這類問題，考慮到大多數(shù)前向神經(jīng)網(wǎng)絡(luò)冗余性強、容錯性好的特點，卷積神經(jīng)網(wǎng)絡(luò)被設(shè)計出來。1989年，楊立昆（YannLeCun）提出了第一個真正意義上的卷積神經(jīng)網(wǎng)絡(luò)——LeNet-5網(wǎng)絡(luò)，這是一種用于手寫體字符識別的卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)卷積層的神經(jīng)元只與前一層的部分神經(jīng)元相連，即采取非全連接的方式，利用感受視野對局部特征進(jìn)行學(xué)習(xí)后組合形成全局特征。同一層中的部分神經(jīng)元共享相同的權(quán)值參數(shù)w和偏移b，在對不同的感受視野進(jìn)行操作時，能夠減少網(wǎng)絡(luò)運行過程中所需參數(shù)的計算量，使得其在分析和處理復(fù)雜任務(wù)上具有顯著優(yōu)勢。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)中一般包括輸入層，卷積層，激勵層，池化層，全連接層和輸出層。輸入層：輸入層用于數(shù)據(jù)的輸入卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)卷積層：卷積層中利用卷積核完成特征提取和特征映射，通過一個固定大小的感受視野，來感受輸入層的部分特性。卷積核就是感受視野中權(quán)重為??的矩陣，每一個卷積核都與一個感受視野相對應(yīng)。與全連接的方式不同，在卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中，每一個感受視野相對較小，只能感受到部分特征，所以需要通過平移的方式完成從左到右、從上到下的循環(huán)掃描，直到掃描完畢輸入層的所有區(qū)域，必要時需要用0或者其他值來對邊界進(jìn)行擴充。掃描的間隔被稱作步長，卷積層與輸入層的每一條連線都對應(yīng)著一個權(quán)重??，通常還會附帶一個隨機生成的偏移項??，偏移項可以隨著訓(xùn)練不斷變化。掃描后形成的下一層神經(jīng)元矩陣被稱作特征圖，在同一特征圖當(dāng)中的卷積核相同，以此來達(dá)到共享權(quán)重??和偏移項??的目的。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)池化層：池化層用于對相鄰位置的特征聚合以及對特征圖的稀疏處理，且可以對整個特征進(jìn)行表達(dá)。類似于卷積層，在池化層當(dāng)中采用池化視野對來自卷積層的數(shù)據(jù)進(jìn)行掃描，可以選擇采用最大值或平均值兩種方法來進(jìn)行計算，在保證特征完整性的同時，可有效降低尺寸。全連接層：全連接層用于將卷積層輸出的特征圖轉(zhuǎn)化成一個一維的向量，以便進(jìn)行最后的分類器或者回歸。輸出層：輸出層則在最后完成結(jié)果的輸出。卷積神經(jīng)網(wǎng)絡(luò)