神經(jīng)信息學(xué)課件

1、神經(jīng)信息學(xué) 平行分布式理論框架史忠植shizzics.ict.ac中科院計(jì)算所9/25/20221神經(jīng)信息學(xué) 平行分布式理論框架9/24/20221目 錄1. 神經(jīng)計(jì)算2. 并行分布式理論框架3. 交互與競(jìng)爭神經(jīng)網(wǎng)絡(luò)4. 誤差反向傳播神經(jīng)網(wǎng)絡(luò)5.Hopfield神經(jīng)網(wǎng)絡(luò)9/25/20222目 錄1. 神經(jīng)計(jì)算9/24/20222神經(jīng)網(wǎng)絡(luò)一個(gè)神經(jīng)網(wǎng)絡(luò)是由簡單處理元構(gòu)成的規(guī)模宏大的并行分布處理器。天然具有存儲(chǔ)經(jīng)驗(yàn)知識(shí)和使之可用的特性。神經(jīng)網(wǎng)絡(luò)從兩個(gè)方面上模擬大腦： 神經(jīng)網(wǎng)絡(luò)獲取的知識(shí)是從外界環(huán)境中學(xué)習(xí)得來的。 內(nèi)部神經(jīng)元的連接強(qiáng)度，即突觸權(quán)值，用于儲(chǔ)存獲取的知識(shí)。9/25/20223神經(jīng)網(wǎng)絡(luò)一個(gè)神

2、經(jīng)網(wǎng)絡(luò)是由簡單處理元構(gòu)成的規(guī)模宏大的并行分布處發(fā)展歷史 萌芽期（20世紀(jì)40年代） 人工神經(jīng)網(wǎng)絡(luò)的研究最早可以追溯到人類開始研究自己的智能的時(shí)期，到1949年止。 1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會(huì)刊Bulletin of Methematical Biophysics 949年，心理學(xué)家D. O. Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說Hebb學(xué)習(xí)律。 9/25/20224發(fā)展歷史 萌芽期（20世紀(jì)40年代）9/24/20224發(fā)展歷史第一高潮期（19501968） 以Marvin Minsky，

3、Frank Rosenblatt，Bernard Widrow等為代表人物，代表作是單級(jí)感知器（Perceptron）。 可用電子線路模擬。 人們樂觀地認(rèn)為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)。 9/25/20225發(fā)展歷史第一高潮期（19501968）9/24/20225發(fā)展歷史反思期（19691982） M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 異或”運(yùn)算不可表示 二十世紀(jì)70年代和80年代早期的研究結(jié)果 9/25/20226發(fā)展歷史反思期（19691982） 9/24/20226發(fā)展歷史第

4、二高潮期（19831990） 1982年，J. Hopfield提出Hopfield網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動(dòng)力學(xué)的關(guān)系用非線性動(dòng)力學(xué)的方法來研究ANN的特性指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上 9/25/20227發(fā)展歷史第二高潮期（19831990） 9/24/2022發(fā)展歷史第二高潮期（19831990） 1984年， J. Hopfield設(shè)計(jì)研制了后來被人們稱為Hopfield網(wǎng)-Tank 電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動(dòng)。 1985年，UCSD的Hinton、Sejnow

5、sky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的Boltzmann機(jī)。 9/25/20228發(fā)展歷史第二高潮期（19831990）9/24/20228發(fā)展歷史 1986年，并行分布處理小組的Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。（Paker1982和Werbos1974年） 自適應(yīng)共振理論（ART） 自組織特征映射理論9/25/20229發(fā)展歷史 1986年，并行分布處理小組的Rumelh發(fā)展歷史 Hinton 等人最近提出了 Helmboltz 機(jī) 徐雷提出的

6、 Ying-Yang 機(jī)理論模型 甘利俊一( S.Amari) 開創(chuàng)和發(fā)展的基于統(tǒng)計(jì)流形的方法應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究, 國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)是1990年12月在北京舉行的。9/25/202210發(fā)展歷史 Hinton 等人最近提出了 Helmbol并行分布式理論框架 1986年，美國加州大學(xué)圣地亞哥分校（UCSD）Rumellhart，McClelland，Hinton： Parallel and Distributed Processing, MIT Press, Cambridge9/25/202211并行分布式理論框架 1986年，美國加州大學(xué)圣地亞哥分校（并行分布式理論框架PDP模型

7、1） 一組處理單元（PE或AN）2） 處理單元的激活狀態(tài)（ai）3） 每個(gè)處理單元的輸出函數(shù)（fi）4） 處理單元之間的連接模式5） 傳遞規(guī)則（wijoi）6）把處理單元的輸入及當(dāng)前狀態(tài)結(jié)合起來產(chǎn)生激活值的激活規(guī)則（Fi）7） 通過經(jīng)驗(yàn)修改連接強(qiáng)度的學(xué)習(xí)規(guī)則8） 系統(tǒng)運(yùn)行的環(huán)境（樣本集合）9/25/202212并行分布式理論框架PDP模型9/24/202212神經(jīng)網(wǎng)絡(luò)的維數(shù)Various types of neuronsVarious network architecturesVarious learning algorithmsVarious applications9/25/202213神

8、經(jīng)網(wǎng)絡(luò)的維數(shù)9/24/202213自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)交互與競(jìng)爭IAC神經(jīng)網(wǎng)絡(luò)競(jìng)爭層輸入層9/25/202214自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)交互與競(jìng)爭IAC神經(jīng)網(wǎng)絡(luò)競(jìng)爭層輸入層競(jìng)爭學(xué)習(xí)相似性測(cè)量歐式距離法9/25/202215競(jìng)爭學(xué)習(xí)相似性測(cè)量歐式距離法9/24/202215相似性測(cè)量余弦法競(jìng)爭學(xué)習(xí)9/25/202216相似性測(cè)量余弦法競(jìng)爭學(xué)習(xí)9/24/202216競(jìng)爭學(xué)習(xí)規(guī)則Winner-Take-All 網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競(jìng)爭以求被激活，結(jié)果在每一時(shí)刻只有一個(gè)輸出神經(jīng)元被激活。這個(gè)被激活的神經(jīng)元稱為競(jìng)爭獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為Winner Take All。競(jìng)爭學(xué)

9、習(xí)原理9/25/202217競(jìng)爭學(xué)習(xí)規(guī)則Winner-Take-All 尋找獲勝神經(jīng)元 當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入模式向量時(shí)，競(jìng)爭層的所有神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量均與其進(jìn)行相似性比較，并將最相似的內(nèi)星權(quán)向量判為競(jìng)爭獲勝神經(jīng)元。欲使兩單位向量最相似，須使其點(diǎn)積最大。即：競(jìng)爭學(xué)習(xí)原理9/25/202218尋找獲勝神經(jīng)元 當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入模式向量時(shí)，競(jìng)爭層的所有 從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向量的點(diǎn)積最大。即：競(jìng)爭學(xué)習(xí)原理9/25/202219 從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩3.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整 jj* 步驟3完成后回到步驟1繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到0。競(jìng)爭

10、學(xué)習(xí)原理9/25/2022203.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整 jj* 步驟3完單層感知器模型前饋神經(jīng)網(wǎng)絡(luò)j=1,2,m 9/25/202221單層感知器模型前饋神經(jīng)網(wǎng)絡(luò)j=1,2,m 9/24/20凈輸入：輸出：ojx1-1xn單層感知器9/25/202222凈輸入：輸出：ojx1-1xn單層感知器9/24/2022感知器的功能(1)設(shè)輸入向量X=(x1 ,x2)T輸出：則由方程 w1jx1+w2jx2-Tj=0 確定了二維平面上的一條分界線。ojx1-1x2單計(jì)算節(jié)點(diǎn)感知器單層感知器9/25/202223感知器的功能(1)設(shè)輸入向量X=(x1 ,x2)T輸出：則由感知器的功能單層感知器9/25/20

11、2224感知器的功能單層感知器9/24/202224感知器的功能(2)設(shè)輸入向量X=(x1,x2,x3)T輸出：則由方程 w1jx1+w2jx2+w3j x3Tj=0 (3.4) 確定了三維空間上的一個(gè)分界平面。 x2ojx1x3-1單層感知器9/25/202225感知器的功能(2)設(shè)輸入向量X=(x1,x2,x3)T輸出：感知器的功能單層感知器9/25/202226感知器的功能單層感知器9/24/202226多層感知器x1o1輸出層隱藏層輸入層x2o2omxnW(1)W(2)W(3)W(L)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)9/25/202227多層感知器x1o1輸出層隱藏層輸入層x2o2omxn雙層感知器“異

12、或”問題分類用兩計(jì)算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o001011100111多層感知器9/25/202228雙層感知器“異或”問題分類用兩計(jì)算層感知器解決“異或”問題。雙層感知器“異或”問題分類用兩計(jì)算層感知器解決“異或”問題“異或”的真值表x1x2y1y2o001010101111多層感知器9/25/202229雙層感知器“異或”問題分類用兩計(jì)算層感知器解決“異或”問題“雙層感知器“異或”問題分類用兩計(jì)算層感知器解決“異或”問題。“異或”的真值表x1x2y1y2o0011011010011111多層感知器9/25/202230雙層感知器“異或”問題分類用兩計(jì)算層感

13、知器解決“異或”問題。雙層感知器“異或”問題分類例四 用兩計(jì)算層感知器解決“異或”問題。“異或”的真值表x1x2y1y2o00110011011001111110多層感知器9/25/202231雙層感知器“異或”問題分類例四 用兩計(jì)算層感知器解決“異或具有不同隱層數(shù)的感知器的分類能力對(duì)比多層感知器9/25/202232具有不同隱層數(shù)的感知器的分類能力對(duì)比多層感知器9/24/20基于BP算法的多層前饋網(wǎng)絡(luò)模型誤差反向傳播（BP）網(wǎng)路9/25/202233基于BP算法的多層前饋網(wǎng)絡(luò)模型誤差反向傳播（BP）網(wǎng)路9/2基于BP算法的多層前饋網(wǎng)絡(luò)模型輸入向量： X=(x1,x2,xi,xn)T隱層輸出向

14、量： Y=(y1,y2,yj,ym)T輸出層輸出向量： O=(o1,o2,ok,ol)T期望輸出向量：d=(d1, d2,dk,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,Vj,Vm)隱層到輸出層之間的權(quán)值矩陣：W=(W1,W2,Wk,Wl)誤差反向傳播（BP）網(wǎng)路9/25/202234基于BP算法的多層前饋網(wǎng)絡(luò)模型輸入向量： X=(x1,3.4.1 基于BP算法的多層前饋網(wǎng)絡(luò)模型對(duì)于輸出層：k=1,2,lk=1,2,l對(duì)于隱層：j=1,2,mj=1,2,m誤差反向傳播（BP）網(wǎng)路9/25/2022353.4.1 基于BP算法的多層前饋網(wǎng)絡(luò)模型對(duì)于輸出層：k=13.4.1 基于BP算

15、法的多層前饋網(wǎng)絡(luò)模型雙極性Sigmoid函數(shù)：單極性Sigmoid函數(shù)：誤差反向傳播（BP）網(wǎng)路9/25/2022363.4.1 基于BP算法的多層前饋網(wǎng)絡(luò)模型雙極性Sigmoi一、網(wǎng)絡(luò)誤差 定義與權(quán)值調(diào)整思路輸出誤差E定義：將以上誤差定義式展開至隱層：BP學(xué)習(xí)算法9/25/202237一、網(wǎng)絡(luò)誤差 定義與權(quán)值調(diào)整思路輸出誤差E定義：將以上誤差定一、網(wǎng)絡(luò)誤差與權(quán)值調(diào)整進(jìn)一步展開至輸入層：BP學(xué)習(xí)算法9/25/202238一、網(wǎng)絡(luò)誤差與權(quán)值調(diào)整進(jìn)一步展開至輸入層：BP學(xué)習(xí)算法9/2BP學(xué)習(xí)算法j=0,1,2,m; k=1,2,li=0,1,2,n; j=1,2,m式中負(fù)號(hào)表示梯度下降，常數(shù)(0,

16、1)表示比例系數(shù)。在全部推導(dǎo)過程中，對(duì)輸出層有j=0,1,2,m; k=1,2,l 對(duì)隱層有 i=0,1,2,n; j=1,2,mBP學(xué)習(xí)算法9/25/202239BP學(xué)習(xí)算法j=0,1,2,m; k=1,2,li對(duì)于輸出層，式(3.4.9a)可寫為對(duì)隱層，式(3.4.9b)可寫為對(duì)輸出層和隱層各定義一個(gè)誤差信號(hào)，令 (3.4.11a)yjxiBP算法推導(dǎo)9/25/202240對(duì)于輸出層，式(3.4.9a)可寫為對(duì)隱層，式(3.4.9b(1)初始化； (4)計(jì)算各層誤差信號(hào)； (5)調(diào)整各層權(quán)值； (6)檢查是否對(duì)所有樣本完成一次 輪訓(xùn)； (7)檢查網(wǎng)絡(luò)總誤差是否達(dá)到精 度要求。 (2)輸入訓(xùn)

17、練樣本對(duì)X Xp、d dp計(jì)算各層輸出；(3)計(jì)算網(wǎng)絡(luò)輸出誤差；BP算法的程序?qū)崿F(xiàn)9/25/202241(1)初始化； (4)計(jì)算各層誤差信號(hào)； (5)調(diào)整各層權(quán)然后根據(jù)總誤差計(jì)算各層的誤差信號(hào)并調(diào)整權(quán)值。 另一種方法是在所有樣本輸入之后，計(jì)算網(wǎng)絡(luò)的總誤差：BP算法的程序?qū)崿F(xiàn)9/25/202242然后根據(jù)總誤差計(jì)算各層的誤差信號(hào)并調(diào)整權(quán)值。 另一(1)非線性映射能力 多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對(duì)供BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。多層前饋網(wǎng)(感知器)的主要能力9/

18、25/202243(1)非線性映射能力 多層前饋網(wǎng)能學(xué)習(xí)和存貯(2)泛化能力 當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見過的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。(3)容錯(cuò)能力 輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對(duì)網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。多層前饋網(wǎng)(感知器)的主要能力9/25/202244(2)泛化能力 當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見過的 誤差函數(shù)的可調(diào)整參數(shù)的個(gè)數(shù) nw 等于各層權(quán)值數(shù)加上閾值數(shù)，即： 誤差 E 是 nw+1 維空間中一個(gè)形狀極為復(fù)雜的曲面，該曲面上的每個(gè)點(diǎn)的“高度”對(duì)應(yīng)于一個(gè)誤差值，每個(gè)點(diǎn)的坐標(biāo)向量對(duì)應(yīng)著 nw 個(gè)權(quán)值，因此稱這樣的空間為

19、誤差的權(quán)空間。BP算法的局限性9/25/202245 誤差函數(shù)的可調(diào)整參數(shù)的個(gè)數(shù) nw 等于各層權(quán)誤差曲面的分布有兩個(gè)特點(diǎn)：特點(diǎn)之一：存在平坦區(qū)域 BP算法的局限性9/25/202246誤差曲面的分布有兩個(gè)特點(diǎn)：特點(diǎn)之一：存在平坦區(qū)域 BP算法的特點(diǎn)之二：存在多個(gè)極小點(diǎn) 多數(shù)極小點(diǎn)都是局部極小，即使是全局極小往往也不是唯一的，但其特點(diǎn)都是誤差梯度為零。 誤差曲面的平坦區(qū)域會(huì)使訓(xùn)練次數(shù)大大增加，從而影響了收斂速度；而誤差曲面的多極小點(diǎn)會(huì)使訓(xùn)練陷入局部極小，從而使訓(xùn)練無法收斂于給定誤差。BP算法的局限性9/25/202247特點(diǎn)之二：存在多個(gè)極小點(diǎn) 多數(shù)極小點(diǎn)都是局部極標(biāo)準(zhǔn)的BP算法在應(yīng)用中暴露出

20、不少內(nèi)在的缺陷： 易形成局部極小而得不到全局最優(yōu)； 訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢； 隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)； 訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)。 針對(duì)上述問題，國內(nèi)外已提出不少有效的改進(jìn)算法，下面僅介紹其中3種較常用的方法。標(biāo)準(zhǔn)BP算法的改進(jìn)9/25/202248標(biāo)準(zhǔn)的BP算法在應(yīng)用中暴露出不少內(nèi)在的缺陷： 易形成局部極1 增加動(dòng)量項(xiàng)為動(dòng)量系數(shù)，一般有(0，1)2 自適應(yīng)調(diào)節(jié)學(xué)習(xí)率 設(shè)一初始學(xué)習(xí)率，若經(jīng)過一批次權(quán)值調(diào)整后使總誤差，則本次調(diào)整無效，且=(1 )。標(biāo)準(zhǔn)BP算法的改進(jìn)9/25/2022491 增加動(dòng)量項(xiàng)為動(dòng)量系數(shù)，一般有(0，1)2 自適應(yīng)調(diào)3 引入陡度因子 實(shí)現(xiàn)這一思路

21、的具體作法是，在原轉(zhuǎn)移函數(shù)中引入一個(gè)陡度因子標(biāo)準(zhǔn)BP算法的改進(jìn)9/25/2022503 引入陡度因子 實(shí)現(xiàn)這一思路的具體作法是，在概述 Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個(gè)重要的里程碑。由美國加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。1984年，Hopfield設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了旅行商(TSP)計(jì)算難題(優(yōu)化問題)。 Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN (Discrete Hopfie

22、ld Neural Network) 和CHNN (Continues Hopfield Neural Network) 。 Hello,Im John Hopfield9/25/202251概述 Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個(gè)重離散Hopfield 神經(jīng)網(wǎng)絡(luò)9/25/202252離散Hopfield 神經(jīng)網(wǎng)絡(luò)9/24/202252離散Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型表示法二9/25/202253離散Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型表示法二9/24/20離散Hopfield 神經(jīng)網(wǎng)絡(luò)相關(guān)參數(shù)說明任意神經(jīng)元 i與 j間的突觸權(quán)值為 ，神經(jīng)元之間連接是對(duì)稱的，神經(jīng)元自身無連接.

23、 每個(gè)神經(jīng)元都同其他的神經(jīng)元相連,其輸出信號(hào)經(jīng)過其他神經(jīng)元又有可能反饋給自己 設(shè)Hopfield網(wǎng)絡(luò)中有n個(gè)神經(jīng)元，其中任意神經(jīng)元的輸入用 表示，輸出 用表示，它們都是時(shí)間的函數(shù)，其中 也稱為神經(jīng)元在時(shí)刻t 的狀態(tài)。 9/25/202254離散Hopfield 神經(jīng)網(wǎng)絡(luò)相關(guān)參數(shù)說明9/24/2022離散Hopfield 神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)9/25/202255離散Hopfield 神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)9/24/202255離散Hopfield 神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)的運(yùn)行規(guī)則(1)串行(異步)工作方式 在任時(shí)刻，只有某神經(jīng)元 (隨機(jī)的或確定的選擇)依上式變化，而其他神經(jīng)元的狀態(tài)不變。(2)

24、并行(同步)工作方式 在任一時(shí)刻，部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時(shí)改變。9/25/202256離散Hopfield 神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)的運(yùn)行離散Hopfield 神經(jīng)網(wǎng)絡(luò)串行(異步)工作方式運(yùn)行步驟第一步 對(duì)網(wǎng)絡(luò)進(jìn)行初始化；第二步 從網(wǎng)絡(luò)中隨機(jī)選取一個(gè)神經(jīng)元；第三步 按式(2-5)求出該神經(jīng)元i的輸出；第四步 按式(2-6)求出該神經(jīng)元經(jīng)激活函數(shù)處理后的輸出，此時(shí)網(wǎng)絡(luò)中的其他神經(jīng)元的輸出保持不變；第五步 判斷網(wǎng)絡(luò)是否達(dá)到穩(wěn)定狀態(tài)，若達(dá)到穩(wěn)定狀態(tài)或滿足給定條件則結(jié)束；否則轉(zhuǎn)到第二步繼續(xù)運(yùn)行。 9/25/202257離散Hopfield 神經(jīng)網(wǎng)絡(luò)串行(異步)工作方式運(yùn)行步驟9離散Ho

25、pfield 神經(jīng)網(wǎng)絡(luò)穩(wěn)定狀態(tài)若網(wǎng)絡(luò)從某一時(shí)刻以后，狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)網(wǎng)絡(luò)為對(duì)稱連接，即；神經(jīng)元自身無連接 能量函數(shù)在網(wǎng)絡(luò)運(yùn)行中不斷降低，最后達(dá)到穩(wěn)定9/25/202258離散Hopfield 神經(jīng)網(wǎng)絡(luò)穩(wěn)定狀態(tài)9/24/202258離散Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)變化量Hopfield網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減小的方向演化。由于能量函數(shù)有界，所以系統(tǒng)必然會(huì)趨于穩(wěn)定狀態(tài) 。9/25/202259離散Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)變化量Ho連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型9/25/202260連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型9/24/2

26、02260連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析將下式代入得：因?yàn)檫B續(xù)Hopfield網(wǎng)絡(luò)模型是穩(wěn)定的9/25/202261連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析因?yàn)檫B連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)模型的主要特性1)連續(xù)Hopfield網(wǎng)絡(luò)的神經(jīng)元作為I/O轉(zhuǎn)換，其傳輸特性具有Sigmoid特性；2)具有時(shí)空整合作用；3)在神經(jīng)元之間存在著大量的興奮性和抑制性連接，這種聯(lián)接主要是通過反饋來實(shí)現(xiàn)。4)具有既代表產(chǎn)生動(dòng)作電位的神經(jīng)元，又有代表按漸進(jìn)方式工作的神經(jīng)元，即保留了動(dòng)態(tài)和非線性兩個(gè)最重要的計(jì)算特性。 Hopfield神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的目標(biāo)就是使得網(wǎng)絡(luò)存儲(chǔ)一些特定的平

27、衡點(diǎn)，當(dāng)給定網(wǎng)絡(luò)一個(gè)初始條件時(shí)，網(wǎng)絡(luò)最后會(huì)在這樣的點(diǎn)上停下來 9/25/202262連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)模型的Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)函 數(shù) 名功 能satlin( )飽和線性傳遞函數(shù)satlins( )對(duì)稱飽和線性傳遞函數(shù)newhop( )生成一個(gè)Hopfield回歸網(wǎng)絡(luò)nnt2hop( )更新NNT 2.0 Hopfield回歸網(wǎng)絡(luò)MATLAB中Hopfield網(wǎng)絡(luò)的重要函數(shù)和功能 9/25/202263Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)函 數(shù) 名功 Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn) MATLAB中與Hopfiel

28、d網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能 newhop( )功能 生成一個(gè)Hopfield回歸網(wǎng)絡(luò)。格式 net = newhop(T)說明 net為生成的神經(jīng)網(wǎng)絡(luò)，具有在T中的向量上穩(wěn)定的點(diǎn)；T是具有Q個(gè)目標(biāo)向量的R*Q矩陣（元素必須為-1或1）。Hopfield神經(jīng)網(wǎng)絡(luò)經(jīng)常被應(yīng)用于模式的聯(lián)想記憶中。Hopfield神經(jīng)網(wǎng)絡(luò)僅有一層，其激活函數(shù)用satlins( )函數(shù)，層中的神經(jīng)元有來自它自身的連接權(quán)和閾值。 9/25/202264Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn) MATLAB中Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)MATLAB中與Hopfield網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能satlins

29、( )功能 對(duì)稱飽和線性傳遞函數(shù)格式 A = satlins(N)A輸出向量矩陣；N是由網(wǎng)絡(luò)的輸入向量組成的S*Q矩陣，返回的矩陣A與N的維數(shù)大小一致，A的元素取值位于區(qū)間0，1內(nèi)。當(dāng)N中的元素介于-1和1之間時(shí)，其輸出等于輸入；當(dāng)輸入值小于-1時(shí)返回-1；當(dāng)輸入值大于1時(shí)返回1。 9/25/202265Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)MATLAB中與Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)設(shè)印刷體數(shù)字由10 10點(diǎn)陣構(gòu)成，就是將數(shù)字分成很多小方塊，每個(gè)方塊就對(duì)應(yīng)數(shù)字的一部分，構(gòu)成數(shù)字本部分的方塊用1表示，空白處用-1表示。試設(shè)計(jì)一個(gè)Hopfield網(wǎng)絡(luò)，能夠正確識(shí)別印刷體的數(shù)

30、字。 由點(diǎn)陣構(gòu)成的數(shù)字1由點(diǎn)陣構(gòu)成的數(shù)字29/25/202266Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)設(shè)印刷體數(shù)字由1程序9/25/202267程序9/24/202267穩(wěn)定性分析 網(wǎng)絡(luò)的穩(wěn)定性是與收斂性不同的問題 Cohen和Grossberg1983年:Hopfield網(wǎng)絡(luò)的穩(wěn)定性定理 如果Hopfield網(wǎng)絡(luò)的聯(lián)接權(quán)矩陣是對(duì)角線為0的對(duì)稱矩陣，則它是穩(wěn)定的 用著名的Lyapunov函數(shù)作為Hopfield網(wǎng)絡(luò)的能量函數(shù) 9/25/202268穩(wěn)定性分析 網(wǎng)絡(luò)的穩(wěn)定性是與收斂性不同的問題 9/24/20Lyapunov函數(shù)能量函數(shù) 作為網(wǎng)絡(luò)的穩(wěn)定性度量wijoioj：網(wǎng)絡(luò)的一致性測(cè)度

31、。xjoj：神經(jīng)元的輸入和輸出的一致性測(cè)度。joj：神經(jīng)元自身的穩(wěn)定性的測(cè)度。 9/25/202269Lyapunov函數(shù)能量函數(shù) 作為網(wǎng)絡(luò)的穩(wěn)定性度量9/2當(dāng)ANk的狀態(tài)從ok變成ok 1、ANk是輸入神經(jīng)元 9/25/202270當(dāng)ANk的狀態(tài)從ok變成ok 1、ANk是輸入神經(jīng)元 9/當(dāng)ANk的狀態(tài)從ok變成okwkk=09/25/202271當(dāng)ANk的狀態(tài)從ok變成okwkk=09/24/20227=-(netk-k)okANk狀態(tài)的變化：ok=(ok-ok)ok=0， =0ok0，ok=1& ok=0，ok由0變到1，netkk，netk-k0所以，-(netk-k)ok0故0結(jié)論：

32、網(wǎng)絡(luò)的目標(biāo)函數(shù)總是下降ok0, ok=0& ok=1，ok由1變到0netkk，netk-k0-(netk-k)ok0故0yi= 0if neti1121/29/25/202278激活函數(shù)閾值函數(shù)隨著的增加，該函數(shù)趨近于閾值為0的閾值基本BAM的穩(wěn)定Kosko(1987)：基本的雙聯(lián)存儲(chǔ)器無條件穩(wěn)定聯(lián)接權(quán)矩陣是互為轉(zhuǎn)置矩陣。當(dāng)輸入向量的維數(shù)與輸出向量的維數(shù)相同時(shí)，W為方陣，此時(shí)如果聯(lián)接矩陣W是對(duì)稱的，則基本的雙聯(lián)存儲(chǔ)器退化成一個(gè)Hopfield網(wǎng) 9/25/202279基本BAM的穩(wěn)定Kosko(1987)：9/24/20227異聯(lián)想記憶 樣本集：S=(X1,Y1)，(X2,Y2),(Xs,Y

33、s)權(quán)矩陣網(wǎng)絡(luò)需要對(duì)輸入向量進(jìn)行循環(huán)處理的情況當(dāng)輸入向量中含有“噪音”樣本集所含的信息超出網(wǎng)絡(luò)的容量 9/25/202280異聯(lián)想記憶 樣本集：S=(X1,Y1)，(X2,Y2),容量 Kosko（1987），一般情況下，相聯(lián)存儲(chǔ)器的容量不會(huì)超過網(wǎng)絡(luò)最小層神經(jīng)元的個(gè)數(shù)min Haines和Hecht-Nielson（1988），“非均勻”網(wǎng)絡(luò)的容量最多可以達(dá)到2min R. J. McEliece、E. C. Posner、E. R. Rodemich用戶隨機(jī)地選擇L個(gè)狀態(tài)每個(gè)向量中有4+log2min個(gè)分量為1，其它為-198%的向量成為穩(wěn)定狀態(tài) 9/25/202281容量 Kosko（1987），一