Hopfield神經(jīng)網(wǎng)絡

1、霍普菲爾德（hopfield）神經(jīng)網(wǎng)絡1、網(wǎng)絡結(jié)構(gòu)形式2、非線性系統(tǒng)狀態(tài)演變的形式3、離散型的霍普菲爾德網(wǎng)絡（dhnn）4、連續(xù)性的霍普菲爾德網(wǎng)絡（chnn）網(wǎng)絡結(jié)構(gòu)形式 hopfield網(wǎng)絡是單層對稱全反饋網(wǎng)絡，根據(jù)激活函數(shù)選取的不同，可分為離散型和連續(xù)性兩種（ dhnn,chnn）。dhnn：作用函數(shù)為hadlim，主要用于聯(lián)想記憶。chnn：作用函數(shù)為s型函數(shù)，主要用于優(yōu)化計算。 反饋網(wǎng)絡的結(jié)構(gòu)如圖2.8.1所示。 圖2.8.1hopfield網(wǎng)絡結(jié)構(gòu)非線性系統(tǒng)狀態(tài)演變的形式 在hopfield網(wǎng)絡中，由于反饋的存在，其加權(quán) 輸入和ui，i=1n為網(wǎng)絡狀態(tài)，網(wǎng)絡的輸出為y1yn， 則u,

2、y的變化過程為一個非線性動力學系統(tǒng)?？捎梅蔷€性差（微）分方程來描述。一般有如下的幾種狀態(tài)演變形式： （1）漸進穩(wěn)定 （2）極限環(huán) （3）混沌現(xiàn)象 （4）狀態(tài)軌跡發(fā)散 hopfield網(wǎng)絡的穩(wěn)定性可用能量函數(shù)進行分析。 目前，人工神經(jīng)網(wǎng)絡常利用漸進穩(wěn)定點來解決某些問題。例如，如果把系統(tǒng)的穩(wěn)定點視為一個記憶的話，那么從初態(tài)朝這個穩(wěn)定點的演變過程就是尋找記憶的過程。初態(tài)可以認為是給定的有關(guān)記憶的部分信息。如果把系統(tǒng)的穩(wěn)定點視為一個能量函數(shù)的極小點，把能量函數(shù)視為一個優(yōu)化問題的目標函數(shù)，那么從初態(tài)朝這個穩(wěn)定點的演變過程就是一個求該優(yōu)化問題的過程。這樣的優(yōu)點在于它的解并不需要真的去計算，而只要構(gòu)成這種反

3、饋網(wǎng)絡，適當?shù)脑O計其連接值和輸入就可達到目的。離散型的 hopfield神經(jīng)網(wǎng)絡1、i/o關(guān)系2、兩種工作方式3、網(wǎng)絡的穩(wěn)定性分析4、dhnn網(wǎng)絡設計網(wǎng)絡結(jié)構(gòu)及i/o關(guān)系 圖2.8.2是一個有三個節(jié)點的dhnn結(jié)構(gòu)。 對于以符號函數(shù)為激活函數(shù)的網(wǎng)絡，網(wǎng)絡的方程可寫為： 圖2.8.2 nitutxtxwtuiinjijiji, 2 , 1 ) 1(sgn) 1() 1(1兩種工作方式 dhnn主要有以下兩種工作方式： （1）串行工作方式 在某一時刻只有一個神經(jīng)元按照上式改變狀態(tài)，而其它神經(jīng)元的輸出不變。這一變化的神經(jīng)元可以按照隨機的方式或預定的順序來選擇。 （2）并行工作方式 在某一時刻有n個神

4、經(jīng)元按照上式改變狀態(tài)，而其它的神經(jīng)元的輸出不變。變化的這一組神經(jīng)元可以按照隨機方式或某種規(guī)則來選擇。當n=n時，稱為全并行方式。dhnn的穩(wěn)定工作點xi(t+1)= xi(t)=sgn(j=1nwijxi(t)-i ) i=1,2,n網(wǎng)絡的穩(wěn)定性分析 dhnn的能量函數(shù)定義為：有界ewxxxwexwxxxxxweniininjijniiininjjiijttniiininjjiij 11111111121 2121 21 關(guān)于dhnn的穩(wěn)定性有如下的定理： 當網(wǎng)絡工作在串行方式下時，若w為對稱陣，且其對角元素非負，則其能量函數(shù)單調(diào)下降，網(wǎng)絡總能收斂到一個穩(wěn)定點。 kkkkknjjkjkniii

5、kkkkkkkkkkkkkxxwtxwxtxwxetutxtutxtutxxxtxtxxte 211sgn, 1 21sgn, 1 2sgn 0 1 1 1tee 211證明 一個局部極小點。所以它總能收斂到它的的，。另外能量函數(shù)是有界有故對任意的神經(jīng)元，。又因為的運行規(guī)則，根據(jù)故有因為根據(jù)定理條件有0001 211 21 ,221ekwtuxdhnnkwtuxkwtxwxewwkkkkkkkkkknjkjkjkjiij 全并行方式下也有同樣的結(jié)論。dhnn網(wǎng)絡設計 用 dhnn實現(xiàn)聯(lián)想記憶需要考慮兩個重要的問題：怎樣按記憶確定網(wǎng)絡的w和；網(wǎng)絡給定之后如何分析它的記憶容量。下面將分別討論。1、

6、權(quán)值設計的方法2、記憶容量分析3、權(quán)值修正的其它方法 在matlab中，用函數(shù)newhop.m來設計一個hopfield網(wǎng)絡： net = newhop(t)權(quán)值設計的方法 權(quán)值設計的方法有外積法、偽逆法、正交設計法等。下面僅介紹外積法，它是一種比較簡單，在一定條件下行之有效的方法。niwxxwixxwnnirxmkxiimkkjkiijmktkknk1 0 ,1,11單位陣，則為給定輸入例例 設計dhnn，并考察其聯(lián)想性能。說明所設計的網(wǎng)絡沒有準確的記憶所有期望的模式。3233222!1131sgn y sgn y sgn y031301110 111111111 ttwxtwxtwxixx

7、wtxktkk驗證：解：記憶容量分析 當網(wǎng)絡只記憶一個穩(wěn)定的模式時，該模式肯定被網(wǎng)絡準確無誤的記憶住。但當所要記憶的模式增加時，情況則發(fā)生了變化，主要表現(xiàn)在下列兩點上：1、權(quán)值移動2、交叉干擾權(quán)值移動 在網(wǎng)絡的學習過程中，網(wǎng)絡對權(quán)值的記憶實際上是逐個實現(xiàn)的。即對權(quán)值w，有程序:當網(wǎng)絡準確的x1時，為了記憶x2,需要在記憶樣本x1的權(quán)值上加上對樣本x2的記憶項x2 x2t-i，將權(quán)值在原來值的基礎上產(chǎn)生了移動。這樣網(wǎng)絡有可能部分得遺忘了以前以記憶住的模式。endixxwwqkforwtkk, 1 0 從動力學的角度來看，k值較小時，網(wǎng)絡hebb學習規(guī)則，可以使輸入學習樣本成為其吸引子。隨著k值的

8、增加，不但難以使后來的樣本成為網(wǎng)絡的吸引子，而且有可能使已記憶住的吸引子的吸引域變小，使原來處于吸引子位置上的樣本從吸引子的位置移動。對一記憶的樣本發(fā)生遺忘，這種現(xiàn)象稱為“疲勞”。交叉干擾 網(wǎng)絡在學習多個樣本后，在回憶階段即驗證該記憶樣本時，所產(chǎn)生的干擾，稱為交叉干擾。 對外積型設計而言，如果輸入樣本是彼此正交的，n個神經(jīng)元的網(wǎng)絡其記憶容量的上界為n。但是在大多數(shù)情況下，學習樣本不可能是正交的，因而網(wǎng)絡的記憶容量要比n小得多，一般為(0.130.15)n，n為神經(jīng)元數(shù)。權(quán)值修正的其它方法1、學習規(guī)則2、偽逆法3、正交化權(quán)值設計 學習規(guī)則 學習規(guī)則基本公式是： 即通過計算該神經(jīng)元節(jié)點的實際激活值

9、a(t)，與期望狀態(tài)t(t)進行比較，若不滿足要求，將兩者的誤差的一部分作為調(diào)整量，若滿足要求，則相應的權(quán)值保持不變。 tptatttwtwpwijij1偽逆法 來。求出權(quán)矩陣滿秩，其逆存在，則可線性無關(guān)的，則如果樣本之間是為偽逆，有其中由此可得來映射，則有輸入輸出之間用權(quán)值設輸入樣本wppppppppnwnyxwnwxxxxtttn, sgn, 121正交化權(quán)值設計 這一方法的基本思想和出發(fā)點是為了滿足下面四個要求： 1）保證系統(tǒng)在異步工作時的穩(wěn)定性，即它的權(quán)值是對稱的； 2）保證所有要求記憶的穩(wěn)定平衡點都能收斂到自己； 3）使偽穩(wěn)定點的數(shù)目盡可能的少； 4）使穩(wěn)定點的吸引域盡可能的大。ma

10、tlab函數(shù)w,b=solvehop(t);連續(xù)性的hopfield網(wǎng)絡 chnn是在dhnn的基礎上提出的，它的原理和dhnn相似。由于chnn是以模擬量作為網(wǎng)絡的輸入輸出量，各神經(jīng)元采用并行方式工作，所以它在信息處理的并行性、聯(lián)想性、實時性、分布存儲、協(xié)同性等方面比dhnn更接近于生物神經(jīng)網(wǎng)絡。我們將從以下幾點來討論chnn。1、網(wǎng)絡模型2、chnn方程的解及穩(wěn)定性分析3、關(guān)于hopfield能量函數(shù)的幾點說明4、關(guān)于chnn的幾點結(jié)論chnn的網(wǎng)絡模型 圖2.8.3是hopfield動態(tài)神經(jīng)元模型。 對于神經(jīng)元，放大器的i/o關(guān)系可用如下的方程來描述： 圖2.8.4是chnn的結(jié)構(gòu)圖。

11、xxexuviuvrrudtducxiiinjijijiiiitanh 11 110或hopfield動態(tài)神經(jīng)元模型圖2.8.4u1 u 1 u 2 u n v 1 v n v 2 對上述方程變形得：iiiiijijnjiijiiiinjjijiiicicrwcrcrvwudtdu ,1 ,111101的一種特殊情況。視為可以此可見，模型有相同的形式。由上式與則有如果令為向量矩陣形式：chnndhnndhnnwvuurvdiagwwwwwwvuunnnnnn , 0, , , 12111111chnn方程的解及穩(wěn)定性分析 對于chnn來說，關(guān)心的同樣是穩(wěn)定性問題。在所有影響電路系統(tǒng)穩(wěn)定的所有參

12、數(shù)種，一個比較特殊的參數(shù)值是放大器的放大倍數(shù)。從前面的分析中可以看出，當放大器的放大倍數(shù)足夠大時，網(wǎng)絡由連續(xù)性轉(zhuǎn)化成離散型，狀態(tài)與輸出之間的關(guān)系表現(xiàn)了激活函數(shù)的形狀，而正是激活函數(shù)代表了一個網(wǎng)絡的特點，所以，下面著重分析不同激活函數(shù)關(guān)系對系統(tǒng)的穩(wěn)定性的影響。1、激活函數(shù)為線性函數(shù)時2、激活函數(shù)為非線性函數(shù)時 當激活函數(shù)為線性函數(shù)時，即不同的系統(tǒng)解的情況。的不同情況，可以得到，解出的特征值為單位對角陣。通過對其中此系統(tǒng)的特征方程為：。其中：此時系統(tǒng)的狀態(tài)方程為riiiiawbrabauuuv21 0 1 對于非線性系統(tǒng)進行穩(wěn)定性分析，方法之一就是在系統(tǒng)的平衡點附近對系統(tǒng)進行線性化處理。也可以基于

13、網(wǎng)絡的能量函數(shù)。下面介紹hopfield能量函數(shù)法。 :121 :101111的穩(wěn)定性有如下的定理關(guān)于能量項。入狀態(tài)和輸出值關(guān)系的上式第三項表示一種輸能量函數(shù)定義為chnndvvrivvvweniviiniiininjjiiji dtdvvcdtducruivwruivwvwvedtdvvedtdenidtdedtdvdtdewwcviiiiiiiiinjjijiiinjjjinjjijiniiiijiijii111111 2121 , 2 , 100, 0 , 0 證明：，時，當且僅當，有則隨著網(wǎng)絡狀態(tài)的變化，且為單調(diào)連續(xù)遞增的函數(shù)定理：若 idtdedtdvdtdevcdtdvvcdtde

14、iiiiniiiii 0 00 , 0 1121時僅當單調(diào)遞增， 此定理表明，隨著時間的演化，網(wǎng)絡的狀態(tài)總是朝能量減少的方向運動。網(wǎng)絡的平衡點就是e的極小點。關(guān)于hopfield能量函數(shù)的幾點說明 當對反饋網(wǎng)絡應用能量函數(shù)后，從任一初始狀態(tài)開始，因為在每次迭代后都能滿足e0，所以網(wǎng)絡的能量將會越來越小，最后趨于穩(wěn)定點e=0。 hopfield能量函數(shù)的物理意義是：在那些漸進穩(wěn)定點的吸引域內(nèi)，離吸引點越遠的狀態(tài)，所具有的能量越大，由于能量函數(shù)的單調(diào)下降特性，保證狀態(tài)的運動方向能從遠離吸引點處，不斷地趨于吸引點，直到達到穩(wěn)定點。 幾點說明： 1）能量函數(shù)為反饋網(wǎng)絡的重要概念。根據(jù)能量函數(shù)可以方便的

15、判斷系統(tǒng)的穩(wěn)定性； 2）能量函數(shù)與李雅普諾夫函數(shù)的區(qū)別在于：李氏被限定在大于零的范圍內(nèi)，且要求在零點值為零； 3）hopfield選擇的能量函數(shù)，只是保證系統(tǒng)穩(wěn)定和漸進穩(wěn)定的充分條件，而不是必要條件，其能量函數(shù)也不是唯一的。關(guān)于chnn的幾點結(jié)論 1）具有良好的收斂性； 2）具有有限個平衡點； 3）如果平衡點是穩(wěn)定的，那么它也一定是漸進穩(wěn)定的； 4）漸進穩(wěn)定平衡點為其能量函數(shù)的局部極小點； 5）能將任意一組希望存儲的正交化矢量綜合為網(wǎng)絡的漸進平衡點； 6）網(wǎng)絡的存儲信息表現(xiàn)為神經(jīng)元之間互連的分布式動態(tài)存儲； 7）網(wǎng)絡以大規(guī)模、非線性、連續(xù)時間并行方式處理信息，其計算時間就是網(wǎng)絡趨于平衡點的時間

16、。hopfield網(wǎng)絡在組合優(yōu)化中的應用 w組合優(yōu)化問題，就是在給定約束條件下，求出使目標函數(shù)極小（或極大）的變量組合問題。 w將hopfield網(wǎng)絡應用于求解組合優(yōu)化問題，就是把目標函數(shù)轉(zhuǎn)化為網(wǎng)絡的能量函數(shù)，把問題的變量對應于網(wǎng)絡的狀態(tài)。這樣當網(wǎng)絡的能量函數(shù)收斂于極小值時，問題的最優(yōu)解也隨之求出。 w旅行商問題，簡稱tsp（traveling salesman problem）。問題的提法是：設有n個城市， ,記為： ,用dij表示ci和cj之間的距離， dij0,(i,j=1,2,n) 。w有一旅行商從某一城市出發(fā)，訪問各城市一次且僅一次后再回到原出發(fā)城市。要求找出一條最短的巡回路線。nc

17、cc,21ncccc,21n=5 tsp probelm n=5，并用字母a、b、c、d、e、分別代表這5個城市。當任選一條路徑如b-d-e-a-c,，則其總路徑長度可表示為 第一步就是將問題映照到一個神經(jīng)網(wǎng)絡。假定每個神經(jīng)元的放大器有很高的放大倍數(shù)，神經(jīng)元的輸出限制在二值0和1上，則映照問題可以用一個換位矩陣（permutation matrix）來進行，換位矩陣可如下圖所示。 cbaceadebdddddds換位矩陣次序城市12345a00010b10000c00001d01000e00100約束條件和最優(yōu)條件 矩陣的每個元素對應于神經(jīng)網(wǎng)絡中的每個神經(jīng)元，則這個問題可用n2=52=25個神

18、經(jīng)元組成的hop-field網(wǎng)絡來求解。 問題的約束條件和最優(yōu)條件如下： （1) 一個城市只能被訪問一次=換位矩陣每行只有一個“1”。 （2）一次只能訪問一個城市=換拉矩陣每列只有一個“1”。 （3）總共有n個城市=換位矩陣元素之和為n。 (4）求巡回路徑最短=網(wǎng)絡能量函數(shù)的最小值對應于tsp的最短路徑。 結(jié)論 用vij表示換位矩陣第i行、第j列的元素，顯然只能取1或0。同時，vij也是網(wǎng)絡神經(jīng)元的狀態(tài)。 結(jié)論: 構(gòu)成最短路徑的換位矩陣一定是形成網(wǎng)絡能量函數(shù)極小點的網(wǎng)絡狀態(tài)。網(wǎng)絡能量函數(shù)的構(gòu)成 1） 第x行 的 所 有 元 素xi按 順 序 兩 兩 相 乘 之 和xinxnijxi 111應

19、為0。 2） n 個 行 的 所 有 元 素 按 順 序 兩 兩 相 乘 之 和xjnxninijxi 1111也 應 為0。 3） 將 第 2）項 前 乘 系 數(shù) a/2，則 可 作 為 網(wǎng) 絡 能 量 函 數(shù) 的 第 一 項 xinxninijxia11112 同 理 ， 對 應 于 第 （ 2） 個 約 束 條 件 ， 可 得 能 量 函 數(shù) 的 第 二 項 yininxnxyxib 11112 式 中 ， b/2 為 系 數(shù) 。 續(xù)1續(xù)2第（4）項為優(yōu)化目標，即優(yōu)化要求其表達式為 1,1,iydiydxixyxixy和 由前三個約束條件可知，這兩項至少有一項為 0，順序訪問x、y兩城市所有可能途徑（長度）可表示為 ),() 1,1,(111iyiyxixynixixyyxixydiydid 續(xù)3n個 城 市 兩 兩 之 間 所 有 可 能 的 訪 問 路 徑 的 長 度可 表 示 為 ),(11111 iyiyxinxnynixyd 當 這 項 最 小 時