神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡

1、 智能控制技術(shù) 電 信 學 院 宋 曉 茹神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡第七章 神經(jīng)網(wǎng)絡控制系統(tǒng) 7.4 反饋神經(jīng)網(wǎng)絡模型Hopfield網(wǎng)絡神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡 Hopfield網(wǎng)絡屬于無監(jiān)督學習神經(jīng)元網(wǎng)絡。Hopfield網(wǎng)絡是單層反饋網(wǎng)絡，是一種全連接加權(quán)無向圖，可分為連續(xù)型和離散型二種形式。 7.4 反饋神經(jīng)網(wǎng)絡模型Hopfield網(wǎng)絡 1982年，JHopfield提出了可用作聯(lián)想存儲器的互連網(wǎng)絡，這個網(wǎng)絡稱為Hopfield網(wǎng)絡模型，也稱Hopfield模型。Hopfield神經(jīng)網(wǎng)絡模型是一種循環(huán)神經(jīng)網(wǎng)絡，從輸出到輸入有反饋連接。神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡圖726 H

2、opfield網(wǎng)絡 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡 Hopfield網(wǎng)絡是單層反饋網(wǎng)絡，有n個神經(jīng)元節(jié)點，每個神經(jīng)元的輸出連接到其它神經(jīng)元的輸入。各個節(jié)點自己沒有反饋，圖中的每個節(jié)點都附有一個閾值和權(quán)系數(shù)。每個節(jié)點都可處于一種可能的狀態(tài)（1或1），即當該神經(jīng)元所受的刺激越過其閾值時，神經(jīng)元處于一種狀態(tài)（比如1）。否則神經(jīng)元就始終處于另一狀態(tài)（比如1），圖中頂點的個數(shù)就是該神經(jīng)網(wǎng)絡的階數(shù) 。 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡 從時域上來看，Hopfield 網(wǎng)可以用一組耦合的非線性微分方程來表示。在一定條件下，Hopfield網(wǎng)絡可以用作聯(lián)想存儲器。 Hopfield網(wǎng)絡得到廣泛應用的另一個特點是

3、它具備快速優(yōu)化能力 。 離散型的Hopfield網(wǎng)絡即二值型的Hopfield網(wǎng)絡，只有一個神經(jīng)元層次。每個處理單元均有一個活躍值（狀態(tài)）取兩個可能的狀態(tài)值之一，通常用0和1或1和1來表示神經(jīng)元的兩個狀態(tài)，即抑制或興奮。整個網(wǎng)絡的狀態(tài)由單一神經(jīng)元的狀態(tài)組成。網(wǎng)絡的狀態(tài)可用一個由0(-1)/1組成的矢量來表示，其中每一元素對應于某個神經(jīng)元的狀態(tài) 。 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡其特點： 1) 自聯(lián)想回歸(或全連接)，所有神經(jīng)元與其它單元相連，但無自連接； 2) 按內(nèi)容編址存貯器方式進行操作，新提供的輸入模式可自動找到已存貯的合適模式。 Hopfield網(wǎng)絡可以看成是一個動態(tài)系統(tǒng)，其相空間包含代

4、表系統(tǒng)基本存貯內(nèi)容的固定(穩(wěn)定)點的集合。 Hopfield網(wǎng)絡可以檢索信息,以一定的誤差恢復信息。神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡圖727 Hopfield基本單元 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡 如果Hopfield網(wǎng)絡是一個能收斂的穩(wěn)定網(wǎng)絡，則反饋與迭代過程所產(chǎn)生的變化越來越小，一旦到達了穩(wěn)定平衡狀態(tài)；那么Hopfield網(wǎng)絡就會輸出一個穩(wěn)定的恒值。對于一個Hopfield網(wǎng)絡來說，關鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù)。 應該指出：反饋網(wǎng)絡有穩(wěn)定的，也有不穩(wěn)定的。對于Hopfield網(wǎng)絡來說，還存在如何判別它是穩(wěn)定網(wǎng)絡，亦或是不穩(wěn)定的問題；而判別依據(jù)是什么，也

5、是需要確定的。神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡1 離散Hopfield網(wǎng)絡 Hopfield最早提出的網(wǎng)絡是二值神經(jīng)網(wǎng)絡，神經(jīng)元的輸出只取1和0這兩個值，所以，也稱離散Hopfield神經(jīng)網(wǎng)絡。在離散HopfieId網(wǎng)絡中，所采用的神經(jīng)元是二值神經(jīng)元；故而，所輸出的離散值1和0分別表示神經(jīng)元處于激活和抑制狀態(tài)。 先考慮由三個神經(jīng)元組成的離散Hopfield神經(jīng)網(wǎng)絡，其結(jié)構(gòu)如圖713中所示 。神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡圖713 離散Hopfield神經(jīng)網(wǎng)絡結(jié)構(gòu)圖神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡 第一層是實際神經(jīng)元，故而執(zhí)行對輸人信息和權(quán)系數(shù)乘積求累加和，并由非線性函數(shù)f處理后產(chǎn)生輸出信息。f是一

6、個簡單的閾值函效，如果神經(jīng)元的輸出信息大于閾值，那么，神經(jīng)元的輸出就取值為1；小于閾值，則神經(jīng)元的輸出就取值為 。對于二值神經(jīng)元，它的計算公式如下其中：xi為外部輸入。并且有： Yi=1,當Uii時Yi=0,當Ui0當神經(jīng)網(wǎng)絡從t0開始，有初始狀態(tài)Y(0)；經(jīng)過有限時刻t，有：Y(t+t)=Y(t)則稱網(wǎng)絡是穩(wěn)定的。對Hopfield網(wǎng)絡引入一個Lyapunov函數(shù)，即所謂能量函數(shù)神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡即： 對于神經(jīng)元j，其能量函數(shù)可表示為 ： 即： 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡神經(jīng)元j的能量變化量表示為Ej：如果存在條件 Wii=0, i=1,2,.,n Wij=Wji i=1,2

7、,.,n j=1,2,.,n則有： 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡式中：Ej為神經(jīng)元j的能量； Ej為神經(jīng)元j的能量變化；Wij為神經(jīng)元i到神經(jīng)元j的權(quán)系數(shù)：Yi為神經(jīng)元j的輸出；Xj為神經(jīng)元j的外部輸入；j為神經(jīng)元j的閥值；Yj為神經(jīng)元j的輸出變化。如果，令Uj=WijYi+Xj則Ej可表示為：考慮如下兩種情況：神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡 1如果Ujj，即神經(jīng)元j的輸入結(jié)果的值大于閥值，則Uj-j0，則從二值神經(jīng)元的計算公式知道：Yj的值保持為1，或者從0變到1。這說明Yj的變化Yj只能是0或正值。這時很明顯有Ej：Ej0這說明Hopfield網(wǎng)絡神經(jīng)元的能量減少或不變。 2如果Ujj，

8、即神經(jīng)元j的輸入結(jié)果的值小于閥值，則Uj-j0，則從二值神經(jīng)元的計算公式可知：Yj的值保持為0，或者從1變到0。這說明Yj的變化Yj只能是零或負位。這時則有Ej：Ej0這也說明Hopfield網(wǎng)絡神經(jīng)元的能量減少。 。 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡 上面兩點說明了Hopfield網(wǎng)絡在權(quán)系數(shù)矩陣W的對角線元素為0，而且W矩陣元素對稱時，Hopfield網(wǎng)絡是穩(wěn)定的。 hopfield網(wǎng)絡的一個功能是可用于聯(lián)想記憶，也即是聯(lián)想存儲器。這是人類的智能特點之一。對于Hopfield網(wǎng)絡，用它作聯(lián)想記憶時，首先通過一個學習訓練過程確定網(wǎng)絡中的權(quán)系數(shù)，使所記憶的信息在網(wǎng)絡的n維超立方體的某一個頂角的能

9、量最小。當網(wǎng)絡的權(quán)系數(shù)確定之后，只要向網(wǎng)絡給出輸入向量，這個向量可能是局部數(shù)據(jù)即不完全或部分不正確的數(shù)據(jù)，但是網(wǎng)絡仍然產(chǎn)生所記憶的信息的完整輸出。 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡 1984年Hopfield開發(fā)了一種用n維Hopfield網(wǎng)絡作聯(lián)想存儲器的結(jié)構(gòu)。在這個網(wǎng)絡中，權(quán)系數(shù)的賦值規(guī)則為存儲向量的外積存儲規(guī)則(out product storage prescription)其原理省略。 2 連續(xù)Hopfield網(wǎng)絡 連續(xù)Hopfield網(wǎng)絡的拓樸結(jié)構(gòu)和離散Hopfield網(wǎng)絡的結(jié)構(gòu)相同。這種拓樸結(jié)構(gòu)和生物的神經(jīng)系統(tǒng)中大量存在的神經(jīng)反饋回路是相一致的。在連續(xù)Hopfield網(wǎng)絡中，和離散

10、Hopfield網(wǎng)絡一樣，其穩(wěn)定條件也要求Wij=Wji。 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡連續(xù)Hopfield網(wǎng)絡和離散Hopfield網(wǎng)絡不同的地方在于其函數(shù)g不是階躍函數(shù)，而是S形的連續(xù)函數(shù)。一般取g(u)=1/(1+e-u) 當網(wǎng)絡神經(jīng)元的傳遞函數(shù)是S函數(shù)，并且網(wǎng)絡權(quán)系數(shù)矩陣對稱；則隨時間的變化網(wǎng)絡的能量會下降或不變；且僅當輸出電位隨時間變化不變時網(wǎng)絡的能量才會不變。換而言之，在上述條件下的網(wǎng)絡是能量不變或下降的。 定理的證明省略 可以證明，如果Hopfield網(wǎng)絡的傳遞函數(shù)g是連續(xù)而且有界的，那么，能量函數(shù)E(t)是有界的。 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡最后結(jié)論： 當Hopfield

11、網(wǎng)絡的神經(jīng)元傳遞函數(shù)g是連續(xù)且有界的，eg：Sigmoid函數(shù)，并且網(wǎng)絡的權(quán)系數(shù)矩陣對稱，則這個連續(xù)Hopfield網(wǎng)絡是穩(wěn)定的。在實際應用中任一系統(tǒng)，如果其優(yōu)化問題可以用能量函數(shù)E(t)作為目標函數(shù)，則總可以用連續(xù)Hopfield網(wǎng)絡對其進行求解。由于引入能量函數(shù)E(t)，Hopfield使神經(jīng)網(wǎng)絡和問題優(yōu)化直接對應；這種工作是具開拓性的。利用神經(jīng)網(wǎng)絡進行優(yōu)化計算，就是在神經(jīng)網(wǎng)絡這一動力系統(tǒng)給出初始的估計點，即初始條件；然后隨網(wǎng)絡的運動傳遞而找到相應極小點。這樣，大量的優(yōu)化問題都可以用連續(xù)的Hopfield網(wǎng)來求解。這也是Hopfield網(wǎng)絡用于神經(jīng)計算的基本原因。神經(jīng)網(wǎng)絡2hopfield

12、網(wǎng)絡 例2：由3個神經(jīng)元組成的Hopfield網(wǎng)絡，有2個基本存貯器，存貯2個向量1，-1，1和-1，1，-1，設計權(quán)連接矩陣。 解析：按公式： 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡相應的連接圖形如728： 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡滿足匹配條件的固定點或向量計算如下：神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡 其它點都是不穩(wěn)定的點，例如，對1，1，1，和1，1，-1，迭代結(jié)果都移向穩(wěn)定點。 對1，1，1 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡對1，1，-1 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡此過程可用圖表示如729： 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡 Hopfield網(wǎng)絡的工作過程有4個步驟：1）存貯（學習），異步、隨

13、機。2）初始化，加入初始試樣，然后移走。3）迭代直至收斂4）輸出，得到穩(wěn)定點 。 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡 例7-3假設一個3節(jié)點的離散Hopfield神經(jīng)網(wǎng)絡，已知網(wǎng)絡權(quán)值與閾值如下圖730所示，已知網(wǎng)絡權(quán)值初值圈內(nèi)為閾值，線上為連接函數(shù)。計算狀態(tài)轉(zhuǎn)移關系。圖730 離散Hopfield神經(jīng)網(wǎng)絡 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡 解析：以初始狀態(tài) 為例，我們可以依次選擇節(jié)點 ，確定其節(jié)點興奮的條件及狀態(tài)的轉(zhuǎn)移。假設首先選擇節(jié)點 ，激勵函數(shù)為 可見，節(jié)點 處于興奮狀態(tài)并且狀態(tài)y1由01。網(wǎng)絡狀態(tài)由000100，轉(zhuǎn)移概率為1/3。同樣其它兩個節(jié)點也可以以等概率發(fā)生狀態(tài)變化，它們的激勵函數(shù)為

14、神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡 節(jié)點 狀態(tài)保持不變。因此，由狀態(tài)000不會轉(zhuǎn)移到001和010。 圖230 b)網(wǎng)絡狀態(tài)轉(zhuǎn)移，圈內(nèi)為狀態(tài)，線上為轉(zhuǎn)移概率 神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡 從這個例子上可以看出，系統(tǒng)狀態(tài)是一個網(wǎng)絡的穩(wěn)定狀態(tài)；網(wǎng)絡從任意一個初始狀態(tài)開始經(jīng)幾次的狀態(tài)更新后都將到達此穩(wěn)態(tài)。神經(jīng)網(wǎng)絡2hopfield網(wǎng)絡 仔細觀察圖中的狀態(tài)轉(zhuǎn)移關系，就會發(fā)現(xiàn) Hopfield網(wǎng)絡神經(jīng)元狀態(tài)要么在同一“高度”上變化，要么從上向下轉(zhuǎn)移。這樣的一種狀態(tài)變化有著它必然的規(guī)律。Hopfield網(wǎng)絡狀態(tài)變化的核心是每個狀態(tài)定義一個能量E，任意一個神經(jīng)元節(jié)點狀態(tài)變化時，能量E都將減小。這也是Hopfield網(wǎng)絡系統(tǒng)穩(wěn)定的重要標記。Hopfield這種用非線