人工神經網絡及其應用hopfield網絡

人工神經網絡及其應用hopfield網絡人工神經網絡及其應用hopfield網絡第1頁2一、反饋網絡二、Hopfield網絡介紹三、DHNN網絡四、穩(wěn)定性與應用五、內容小結內容安排人工神經網絡及其應用hopfield網絡第2頁3反饋網絡怎樣經過網絡神經元狀態(tài)變遷而最終穩(wěn)定于平衡狀態(tài)，得到聯想存放或優(yōu)化計算結果關心網絡穩(wěn)定性問題研究重點為怎樣得到和利用穩(wěn)定反饋網絡關鍵點人工神經網絡及其應用hopfield網絡第3頁41.1反饋網絡介紹1.2網絡穩(wěn)定性一、反饋網絡人工神經網絡及其應用hopfield網絡第4頁51.1反饋網絡介紹反饋網絡(RecurrentNetwork)，又稱自聯想記憶網絡其目標是為了設計一個網絡，儲存一組平衡點，使得當給網絡一組初始值時，網絡經過自行運行而最終收斂到這個設計平衡點上。反饋網絡能表現出非線性動力學系統(tǒng)動態(tài)特征網絡系統(tǒng)含有若干個穩(wěn)定狀態(tài)。當網絡從某一初始狀態(tài)開始運動，網絡系統(tǒng)總能夠收斂到某一個穩(wěn)定平衡狀態(tài)；系統(tǒng)穩(wěn)定平衡狀態(tài)能夠經過設計網絡權值而被存放到網絡中人工神經網絡及其應用hopfield網絡第5頁61.1反饋網絡介紹反饋網絡分類假如激活函數f(·)是一個二值型硬函數，即ai＝sgn(ni)，i＝l,2,…r，則稱此網絡為離散型反饋網絡；假如f(·)為一個連續(xù)單調上升有界函數，這類網絡被稱為連續(xù)型反饋網絡人工神經網絡及其應用hopfield網絡第6頁71.2網絡穩(wěn)定性狀態(tài)軌跡設狀態(tài)矢量N=[n1,n2,…，nr]，網絡輸出矢量為A＝[a1，a2…，as]T

在一個r維狀態(tài)空間上，能夠用一條軌跡來描述狀態(tài)改變情況從初始值N(t0)出發(fā)，N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt)，這些在空間上點組成確實定軌跡，是演化過程中全部可能狀態(tài)集合，咱們稱這個狀態(tài)空間為相空間人工神經網絡及其應用hopfield網絡第7頁81.2網絡穩(wěn)定性狀態(tài)軌跡離散與連續(xù)軌跡人工神經網絡及其應用hopfield網絡第8頁91.2網絡穩(wěn)定性狀態(tài)軌跡分類：對于不一樣連接權值wij和輸入Pj(i,j=1,2,…r)，反饋網絡可能出現不一樣性質狀態(tài)軌跡軌跡為穩(wěn)定點軌跡為極限環(huán)軌跡為混沌現象軌跡發(fā)散人工神經網絡及其應用hopfield網絡第9頁101.2網絡穩(wěn)定性穩(wěn)定軌跡狀態(tài)軌跡從系統(tǒng)在t0時狀態(tài)初值N(t0)開始，經過一定時間t(t＞0)后，抵達N(t0+t)。假如N(t0+t+Δt)=N(t0+t)，Δt＞0，則狀態(tài)N(t0+t)稱為網絡穩(wěn)定點，或平衡點反饋網絡從任一初始態(tài)P(0)開始運動，若存在某一有限時刻t，從t以后網絡狀態(tài)不再發(fā)生改變（P(t+Δt)=P(t)，Δt＞0）則稱網絡是穩(wěn)定處于穩(wěn)定時網絡狀態(tài)叫做穩(wěn)定狀態(tài)，又稱為定吸引子人工神經網絡及其應用hopfield網絡第10頁111.2網絡穩(wěn)定性穩(wěn)定點分類在一個反饋網絡中，存在很多穩(wěn)定點穩(wěn)定點收斂域漸近穩(wěn)定點：在穩(wěn)定點Ne周圍N(σ)區(qū)域內，從任一個初始狀態(tài)N(t0)出發(fā)，當t→∞時都收斂于Ne，則稱Ne為漸近穩(wěn)定點不穩(wěn)定平衡點Nen：在一些特定軌跡演化過程中，網絡能夠抵達穩(wěn)定點Nen，但對其它方向上任意小區(qū)域N(σ)，不論N(σ)取多么小，其軌跡在時間t以后總是偏離Nen；期望解網絡解：假如網絡最終穩(wěn)定到設計人員期望穩(wěn)定點，且該穩(wěn)定點又是漸近穩(wěn)定點，那么這個點稱為網絡解；網絡偽穩(wěn)定點：網絡最終穩(wěn)定到一個漸近穩(wěn)定點上，但這個穩(wěn)定點不是網絡設計所要求解人工神經網絡及其應用hopfield網絡第11頁121.2網絡穩(wěn)定性狀態(tài)軌跡為極限環(huán)在一些參數情況下，狀態(tài)N(t)軌跡是一個圓，或一個環(huán)狀態(tài)N(t)沿著環(huán)重復旋轉，永不停頓，此時輸出A(t)也出現周期改變（即出現振蕩）假如在r種狀態(tài)下循環(huán)改變，稱其極限環(huán)為r對于離散反饋網絡，軌跡改變可能在兩種狀態(tài)下往返跳動，其極限環(huán)為2人工神經網絡及其應用hopfield網絡第12頁131.2網絡穩(wěn)定性狀態(tài)軌跡為混沌假如狀態(tài)N(t)軌跡在某個確定范圍內運動，但既不重復，又不能停下來狀態(tài)改變?yōu)闊o窮多個，而軌跡也不能發(fā)散到無窮遠，這種現象稱為混沌(chaos)出現混沌情況下，系統(tǒng)輸出改變?yōu)闊o窮多個，而且隨時間推移不能趨向穩(wěn)定，但又不發(fā)散人工神經網絡及其應用hopfield網絡第13頁141.2網絡穩(wěn)定性狀態(tài)軌跡發(fā)散狀態(tài)N(t)軌跡隨時間一直延伸到無窮遠。此時狀態(tài)發(fā)散，系統(tǒng)輸出也發(fā)散在人工神經網絡中，因為輸入、輸出激活函數上一個有界函數，即使狀態(tài)N(t)是發(fā)散，但其輸出A(t)還是穩(wěn)定，而A（t）穩(wěn)定反過來又限制了狀態(tài)發(fā)散。普通非線性人工神經網絡中發(fā)散現象是不會發(fā)生，除非神經元輸入輸出激活函數是線性人工神經網絡及其應用hopfield網絡第14頁151.3網絡工作方式當前反饋神經網絡是利用穩(wěn)定特定軌跡來處理一些問題假如視系統(tǒng)穩(wěn)定點為一個記憶，則從初始狀態(tài)朝此穩(wěn)定點移動過程即為尋找該記憶過程狀態(tài)初始值能夠認為是給定相關該記憶個別信息，狀態(tài)N(t)移動過程，是從個別信息去尋找全部信息，這就是聯想記憶過程將系統(tǒng)穩(wěn)定點考慮為一個能量函數極小點。在狀態(tài)空間中，從初始狀態(tài)N(t0)＝N(t0+t)，最終抵達N*。若N*為穩(wěn)定點，則能夠看作是N*把N(t0)吸引了過去，在N(t0)時能量比較大，而吸引到N*時能量已為極小了人工神經網絡及其應用hopfield網絡第15頁161.3網絡工作方式考慮詳細應用，能夠將能量極小點作為一個優(yōu)化目標函數極小點，把狀態(tài)改變過程看成是優(yōu)化某一個目標函數過程所以反饋網絡狀態(tài)移動過程實際上是一個計算聯想記憶或優(yōu)化過程。它解并不需要真去計算，只需要形成一類反饋神經網絡，適當地設計網絡權值wij，使其初始輸入A(t0)向穩(wěn)定吸引子狀態(tài)移動就能夠到達目標人工神經網絡及其應用hopfield網絡第16頁171.3網絡工作方式權值設計目標網絡系統(tǒng)能夠到達穩(wěn)定收斂設計網絡穩(wěn)定點設計吸引域人工神經網絡及其應用hopfield網絡第17頁18二、Hopfield網絡介紹2.1網絡模型2.2DHNN2.3CHNN2.4聯想記憶與優(yōu)化計算人工神經網絡及其應用hopfield網絡第18頁192.1網絡模型人工神經網絡及其應用hopfield網絡第19頁202.1網絡模型分類離散Hopfield網絡（DHNN）連續(xù)Hopfield網絡（CHNN）DHNN中激活函數

CHNN中激活函數

人工神經網絡及其應用hopfield網絡第20頁212.2DHNNDHNN取b＝0，wii＝0權矩陣中有wij＝wji人工神經網絡及其應用hopfield網絡第21頁222.2DHNNDHNN網絡結構能夠用一個加權元向量圖表示人工神經網絡及其應用hopfield網絡第22頁232.3CHNN將霍普菲爾德網絡推廣到輸入和輸出都取連續(xù)數值情形網絡基礎結構不變，狀態(tài)輸出方程形式上也相同。則網絡狀態(tài)轉移方程可寫為人工神經網絡及其應用hopfield網絡第23頁242.3CHNN神經元激活函數f為S型函數(或線性飽和函數）人工神經網絡及其應用hopfield網絡第24頁252.3CHNN神經元激活函數f為S型函數(或線性飽和函數）人工神經網絡及其應用hopfield網絡第25頁262.3CHNN電路實現神經元模型（見參見教材）電阻Ri和電容Ci并聯，模擬生物神經元輸出時間常數跨導Tij模擬神經元之間互連突觸特征運算放大器模擬神經元非線性特征ui為第i個神經元輸入，Vi為輸出網絡模型人工神經網絡及其應用hopfield網絡第26頁272.3CHNN定義系統(tǒng)計算能量定理推論系統(tǒng)穩(wěn)定平衡點就是能量函數E極小點，反之亦然人工神經網絡及其應用hopfield網絡第27頁282.3CHNN定理系統(tǒng)在狀態(tài)空間中正交穩(wěn)定平衡點任意放置能夠經過Tij學習來實現增加存放與消除記憶假如在已設計系統(tǒng)中加入一個新存放，只要修正Tij，新存放加入并不改變原有存放，且與原存放無關人工神經網絡及其應用hopfield網絡第28頁292.4聯想記憶與優(yōu)化計算聯想記憶問題穩(wěn)定狀態(tài)已知而且經過學習和設計算法尋求適當權值矩陣將穩(wěn)定狀態(tài)存放到網絡中優(yōu)化計算權值矩陣W已知，目標為尋找含有最小能量E穩(wěn)定狀態(tài)主要工作為設計對應W和能量函數公式人工神經網絡及其應用hopfield網絡第29頁30三、DHNN3.1神經元狀態(tài)更新方式3.2網絡學習3.3網絡記憶容量3.4權值設計人工神經網絡及其應用hopfield網絡第30頁313.1狀態(tài)更新由-1變?yōu)?；由1變?yōu)?1；狀態(tài)保持不變串行異步方式任意時刻隨機地或確定性地選擇網絡中一個神經元進行狀態(tài)更新，而其余神經元狀態(tài)保持不變并行同時方式任意時刻網絡中個別神經元(比如同一層神經元)狀態(tài)同時更新。假如任意時刻網絡中全部神經元同時進行狀態(tài)更新，那么稱之為全并行同時方式人工神經網絡及其應用hopfield網絡第31頁323.1狀態(tài)更新串行異步方式任一時刻，網絡中只有一個神經元被選擇進行狀態(tài)更新或保持，所以異步狀態(tài)更新網絡從某一初態(tài)開始需經過屢次更新狀態(tài)后才能夠到達某種穩(wěn)態(tài)。實現上輕易，每個神經元有自己狀態(tài)更新時刻，不需要同時機制；異步狀態(tài)更新更靠近實際生物神經系統(tǒng)表現并行同時方式人工神經網絡及其應用hopfield網絡第32頁333.2網絡學習聯想記憶聯想記憶功效是DHNN一個主要應用范圍。DHNN用于聯想記憶有兩個突出特點，即記憶是分布式，而聯想是動態(tài)反饋網絡實現聯想記憶必須具備兩個基礎條件網絡能收斂到穩(wěn)定平衡狀態(tài)，并以其作為樣本記憶信息；含有回想能力，能夠從某一殘缺信息回想起所屬完整記憶信息學習目標含有q個不一樣輸入樣本組Pr×q＝[P1,P2

…Pq]經過學習方式調整計算有限權值矩陣W以每一組輸入樣本Pk，k=1，2，…，q作為系統(tǒng)初始值經過網絡工作運行后，系統(tǒng)能收斂到各自輸入樣本矢量本身人工神經網絡及其應用hopfield網絡第33頁343.2網絡學習DHNN中利用海布調整規(guī)則海布法則是一個無指導死記式學習算法當神經元輸入與輸出節(jié)點狀態(tài)相同(即同時興奮或抑制)時，從第j個到第i個神經元之間連接強度則增強，不然減弱當k＝1時，對于第i個神經元，由海布學習規(guī)則可得網絡權值對輸入矢量學習關系式為其中，α＞0，i＝1，2…，r；j=1，2…，r。在實際學習規(guī)則利用中，普通取α＝1或1/r人工神經網絡及其應用hopfield網絡第34頁353.2網絡學習當k由1增加到2，直至q時，是在原有己設計出權值基礎上，增加一個新量pjkpik，k＝2…,q對網絡全部輸入樣本記憶權值設計公式為其中，α＞0，i＝1，2…，r；j=1，2…，r。在實際學習規(guī)則利用中，普通取α＝1或1/r人工神經網絡及其應用hopfield網絡第35頁363.2網絡學習向量形式表示α＝1時神經網絡工具箱中采取海布公式求解網絡權矩陣改變函數為learnh.m和learnhd.m。后者為帶有衰減學習速率函數dW＝1earnh(P，A，lr)dW＝learnhd(W，P，A，lr，dr)；對于簡單情況，lr能夠選擇1；對于復雜應用，可取lr＝0.1~0.5，dr＝lr／3人工神經網絡及其應用hopfield網絡第36頁373.2網絡學習簡單驗證q＝1，α＝l求出權值wij是否能夠確保ai＝pi？對于第i個輸出節(jié)點，有人工神經網絡及其應用hopfield網絡第37頁383.3記憶容量設計DHNN網絡目標，是希望經過所設計權值矩陣W儲存多個期望模式當網絡只記憶一個穩(wěn)定模式時，該模式必定被網絡準確無誤地記憶住，即所設計W值一定能夠滿足正比于輸入和輸出矢量乘積關系但當需要記憶模式增多時，網絡記憶可能出現問題權值移動交叉干擾人工神經網絡及其應用hopfield網絡第38頁393.3記憶容量權值移動當k＝2時，為了記憶樣本T2，需要在記憶了樣本Tl權值上加上對樣本T2記憶項T2T2T-I，將權值在原來值基礎上產生了移動因為在學習樣本T2時，權矩陣W是在已學習了T1基礎上進行修正，W起始值不再為零，所以由此調整得出新W值，對記憶樣本T2來說，也未必對全部s個輸出同時滿足符號函數條件，即難以確保網絡對T2準確記憶伴隨學習樣本數k增加，權值移動現象將深入發(fā)生，當學習了第q個樣本Tq后，權值又在前q-1個樣本修正基礎上產生了移動，這也是網絡在準確學習了第一個樣本后第q-1次移動對已記憶樣本發(fā)生遺忘，這種現象被稱為“疲勞”人工神經網絡及其應用hopfield網絡第39頁403.3記憶容量交叉干擾設輸入矢量P維數為r×q，取α=1/r。Pk∈{-1，1}，所以pik*pjk＝pjk*pjk＝1。當網絡某個矢量Pl，l∈[1,q]，作為網絡輸入矢量時，可得網絡加權輸入和nil為上式右邊中第一項為期望記憶樣本，而第二項則是當網絡學習多個樣本時，在回想階段即驗證該記憶樣本時，所產生相互干擾，稱為交叉干擾項人工神經網絡及其應用hopfield網絡第40頁413.3記憶容量有效容量從對網絡記憶容量產生影響權值移動和交叉干擾上看，采取海布學習法則對網絡記憶樣本數量是有限制經過上面分析已經很清楚地得知，當交叉干擾項幅值大于正確記憶值時，將產生錯誤輸出在什么情況下，能夠確保記憶住全部樣本?當所期望記憶樣本是兩兩正交時，能夠準確得到一個可記憶數量上限值人工神經網絡及其應用hopfield網絡第41頁423.3記憶容量有效容量上界正交特征神經元為二值輸出情況下，即Pj∈{-1，1}，當兩個r維樣本矢量各個分量中，有r/2是相同，r/2是相反。對于任意一個數l，l∈[1，r]，有Pl(Pk)T＝0，l≠k；而有Pl(Pl)T＝r，l＝k用外積和公式所得到權矩陣進行迭代計算，在輸入樣本Pk，k=1，2…,q中任取Pl為初始輸入，求網絡加權輸入和Nl

只要滿足，r＞q，則有sgn(Nl)＝Pl確保Pl為網絡穩(wěn)定解人工神經網絡及其應用hopfield網絡第42頁433.4權值設計δ學習規(guī)則：經過計算每個神經元節(jié)點實際激活值A(t)，與期望狀態(tài)T(t)進行比較，若不滿足要求，則將二者誤差一個別作為調整量，若滿足要求，則對應權值保持不變人工神經網絡及其應用hopfield網絡第43頁443.4權值設計偽逆法對于輸入樣本P＝[P1P2

…Pq]，設網絡輸出能夠寫成一個與輸入樣本相對應矩陣A，輸入和輸出之間可用一個權矩陣W來映射，即有：W*P＝N，A＝sgn(N)，由此可得W＝N*P*

其中P*為P偽逆，有P*＝(PTP)-1PT假如樣本之間是線性無關，則PTP滿秩，其逆存在，則可求出權矩陣W但當記憶樣本之間是線性相關，由海布法所設計出網絡存在問題，偽逆法也處理不了，甚至無法求解，相比之下，因為存在求逆等運算，偽逆法較為繁瑣，而海布法則要輕易求得多人工神經網絡及其應用hopfield網絡第44頁453.4權值設計正交化權值設計這一方法基礎思想和出發(fā)點1)確保系統(tǒng)在異步工作時穩(wěn)定性；2)確保全部要求記憶穩(wěn)定平衡點都能收斂到自己；3)使偽穩(wěn)定點數目盡可能少；4)使穩(wěn)定點吸引域盡可能大。正交化設計方法數學設計較為復雜，類似于Gram-Schmidt正交化過程與外積和法相比較，所設計出平衡穩(wěn)定點能夠確保收斂到自己而且有較大穩(wěn)定域在MATLAB工具箱中已將此設計方法寫進了函數solvehop.m中：[W，b]＝solvehop(T)人工神經網絡及其應用hopfield網絡第45頁46四、穩(wěn)定性與應用3.1聯想存放器特征3.2穩(wěn)定平衡點判定3.3TSP問題求解人工神經網絡及其應用hopfield網絡第46頁474.1聯想存放器特征性質假如X是一個系統(tǒng)穩(wěn)定狀態(tài)，則－X也一定是一個穩(wěn)定狀態(tài)假如X1，X2，…，Xk為系統(tǒng)穩(wěn)定狀態(tài)，Y是它們線性組合而得到向量，則Y為穩(wěn)定狀態(tài)對于任意X1，X2，…，Xk，k<=n-1，則總能夠找到W,而且rank(W)<n），使得X1，X2，…，Xk是網絡穩(wěn)定狀態(tài)人工神經網絡及其應用hopfield網絡第47頁484.2穩(wěn)定平衡點判定定理（穩(wěn)定平衡點判定）對于CHNN，Us為一個n維向量。Us為系統(tǒng)一個穩(wěn)定平衡點充分條件以下，人工神經網絡及其應用hopfield網絡第48頁494.3TSP問題求解所謂TSP(TravelingSalesmanProblem)問題，即“旅行商問題”是一個十分有名難以求解優(yōu)化問題，其要求很簡單：在n個城市集合中，找出一條經過每個城市各一次，最終回到起點最短路徑問題描述假如已知城市A，B，C，D，…，之間距離為dAB，dBC，dCD…；那么總距離d＝dAB+dBC+dCD+…，對于這種動態(tài)規(guī)化問題，要去求其min(d)解對于n個城市全排列共有n!種，而TSP并沒有限定路徑方向，即為全組合，所以對于固定城市數n條件下，其路徑總數Sn為Sn＝n!／2n(n≥4)在n個城市基礎上，每添加一個城市，路徑總數要添加n倍人工神經網絡及其應用hopfield網絡第49頁50人工神經網絡及其應用hopfield網絡第50頁514.3TSP問題TSP解是若干城市有序排列，任何一個城市在最終路徑上位置可用一個n維0、1矢量表示，對于全部n個城市，則需要一個n×n維矩陣。以5個城市為例，一個可能排列矩陣為人工神經網絡及其應用hopfield網絡第51頁524.3TSP問題若用dxy