第四章計(jì)算智能(1)-神經(jīng)網(wǎng)絡(luò)

第四章計(jì)算智能(1)神經(jīng)計(jì)算2信息科學(xué)與生命科學(xué)的相互交叉、相互滲透和相互促進(jìn)是現(xiàn)代科學(xué)技術(shù)發(fā)展的一個(gè)顯著特點(diǎn)。計(jì)算智能涉及神經(jīng)網(wǎng)絡(luò)、模糊邏輯、進(jìn)化計(jì)算和人工生命等領(lǐng)域，它的研究和發(fā)展正反映了當(dāng)代科學(xué)技術(shù)多學(xué)科交叉與集成的重要發(fā)展趨勢(shì)。4.1 概述3什么是計(jì)算智能把神經(jīng)網(wǎng)絡(luò)（NN）歸類于人工智能（AI）可能不大合適，而歸類于計(jì)算智能（CI）更能說明問題實(shí)質(zhì)。進(jìn)化計(jì)算、人工生命和模糊邏輯系統(tǒng)的某些課題，也都?xì)w類于計(jì)算智能。計(jì)算智能取決于制造者（manufacturers）提供的數(shù)值數(shù)據(jù)，不依賴于知識(shí)；另一方面，人工智能應(yīng)用知識(shí)精品（knowledgetidbits）。人工神經(jīng)網(wǎng)絡(luò)應(yīng)當(dāng)稱為計(jì)算神經(jīng)網(wǎng)絡(luò)。4.1概述4計(jì)算智能與人工智能的區(qū)別和關(guān)系輸入人類知識(shí)(＋)傳感輸入知識(shí)(＋)傳感數(shù)據(jù)計(jì)算(＋)傳感器C－數(shù)值的A－符號(hào)的B－生物的輸入復(fù)雜性復(fù)雜性BNNBPRBIANNAPRAICNNCPRCI4.1概述5A－Artificial，表示人工的（非生物的）；B－Biological，表示物理的＋化學(xué)的＋（？）＝生物的；

C－Computational，表示數(shù)學(xué)＋計(jì)算機(jī)計(jì)算智能是一種智力方式的低層認(rèn)知，它與人工智能的區(qū)別只是認(rèn)知層次從中層下降至低層而已。中層系統(tǒng)含有知識(shí)（精品），低層系統(tǒng)則沒有。4.1概述6當(dāng)一個(gè)系統(tǒng)只涉及數(shù)值（低層）數(shù)據(jù)，含有模式識(shí)別部分，不應(yīng)用人工智能意義上的知識(shí)，而且能夠呈現(xiàn)出：（1）計(jì)算適應(yīng)性；（2）計(jì)算容錯(cuò)性；（3）接近人的速度；（4）誤差率與人相近，則該系統(tǒng)就是計(jì)算智能系統(tǒng)。當(dāng)一個(gè)智能計(jì)算系統(tǒng)以非數(shù)值方式加上知識(shí)（精品）值，即成為人工智能系統(tǒng)。4.1概述7生理神經(jīng)元的結(jié)構(gòu)大多數(shù)神經(jīng)元由一個(gè)細(xì)胞體(cellbody或soma)和突(process)兩部分組成。突分兩類，即軸突(axon)和樹突(dendrite)。軸突是個(gè)突出部分，長(zhǎng)度可達(dá)1m，把本神經(jīng)元的輸出發(fā)送至其它相連接的神經(jīng)元。樹突也是突出部分，但一般較短，且分枝很多，與其它神經(jīng)元的軸突相連，以接收來自其它神經(jīng)元的生物信號(hào)。84.2神經(jīng)計(jì)算

4.2.1人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)展1960年威德羅和霍夫率先把神經(jīng)網(wǎng)絡(luò)用于自動(dòng)控制研究。60年代末期至80年代中期，神經(jīng)網(wǎng)絡(luò)控制與整個(gè)神經(jīng)網(wǎng)絡(luò)研究一樣，處于低潮。80年代后期以來，隨著人工神經(jīng)網(wǎng)絡(luò)研究的復(fù)蘇和發(fā)展，對(duì)神經(jīng)網(wǎng)絡(luò)控制的研究也十分活躍。這方面的研究進(jìn)展主要在神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制和模糊神經(jīng)網(wǎng)絡(luò)控制及其在機(jī)器人控制中的應(yīng)用上。9并行分布處理非線性映射通過訓(xùn)練進(jìn)行學(xué)習(xí)適應(yīng)與集成硬件實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)的特性4.2神經(jīng)計(jì)算104.2.2人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)4.2神經(jīng)計(jì)算-1Wj1X1X2Wj2XnWjn···Σ()Yi圖4.2神經(jīng)元模型11

圖4.2中的神經(jīng)元單元由多個(gè)輸入xi，i=1,2,...,n和一個(gè)輸出y組成。中間狀態(tài)由輸入信號(hào)的權(quán)和表示，而輸出為 （4.1）式中，j為神經(jīng)元單元的偏置，wji為連接權(quán)系數(shù)。n為輸入信號(hào)數(shù)目，yj為神經(jīng)元輸出，t為時(shí)間，f()為輸出變換函數(shù)，如圖4.3。

4.2神經(jīng)計(jì)算12(a)xf(x)1x00圖4.3神經(jīng)元中的某些變換（激發(fā)）函數(shù)(a)二值函數(shù) (b)S形函數(shù)(c)雙曲正切函數(shù)4.2神經(jīng)計(jì)算(c)xf(x)1-1(b)f(x)x1013人工神經(jīng)網(wǎng)絡(luò)是具有下列特性的有向圖：對(duì)于每個(gè)節(jié)點(diǎn)i存在一個(gè)狀態(tài)變量xi

；從節(jié)點(diǎn)j至節(jié)點(diǎn)i，存在一個(gè)連接權(quán)系統(tǒng)數(shù)wij；對(duì)于每個(gè)節(jié)點(diǎn)i，存在一個(gè)閾值

i；對(duì)于每個(gè)節(jié)點(diǎn)i，定義一個(gè)變換函數(shù)fi；對(duì)于最一般的情況，此函數(shù)取形式。人工神經(jīng)網(wǎng)絡(luò)的基本特性和結(jié)構(gòu)4.2神經(jīng)計(jì)算14神經(jīng)網(wǎng)絡(luò)模型的基本組成

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

連接矩陣連接模式多層、單層反饋、前饋15遞歸（反饋）網(wǎng)絡(luò):在遞歸網(wǎng)絡(luò)中，多個(gè)神經(jīng)元互連以組織一個(gè)互連神經(jīng)網(wǎng)絡(luò)，如圖4.4。圖4.4反饋網(wǎng)絡(luò)x1x2xnV1V2Vn輸入輸出x1’x2’xn’4.2神經(jīng)計(jì)算16前饋網(wǎng)絡(luò):前饋網(wǎng)絡(luò)具有遞階分層結(jié)構(gòu)，由同層神經(jīng)元間不存在互連的層級(jí)組成，如圖4.5。4.2神經(jīng)計(jì)算x1x2輸入層輸出層隱層y1ynw11w1m圖4.5前饋網(wǎng)絡(luò)反向傳播17有師學(xué)習(xí)算法：能夠根據(jù)期望的和實(shí)際的網(wǎng)絡(luò)輸出（對(duì)應(yīng)于給定輸入）間的差來調(diào)整神經(jīng)元間連接的強(qiáng)度或權(quán)。無師學(xué)習(xí)算法：不需要知道期望輸出。強(qiáng)化學(xué)習(xí)算法：采用一個(gè)“評(píng)論員”來評(píng)價(jià)與給定輸入相對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)輸出的優(yōu)度（質(zhì)量因數(shù)）。強(qiáng)化學(xué)習(xí)算法的一個(gè)例子是遺傳算法（GA）。人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法4.2神經(jīng)計(jì)算18人工神經(jīng)網(wǎng)絡(luò)的典型模型4.2神經(jīng)計(jì)算19續(xù)前表：4.2神經(jīng)計(jì)算20基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示在這里，知識(shí)并不像在產(chǎn)生式系統(tǒng)中那樣獨(dú)立地表示為每一條規(guī)則，而是將某一問題的若干知識(shí)在同一網(wǎng)絡(luò)中表示。例如，在有些神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，知識(shí)是用神經(jīng)網(wǎng)絡(luò)所對(duì)應(yīng)的有向權(quán)圖的鄰接矩陣及閾值向量表示的。4.2.4基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理4.2神經(jīng)計(jì)算21基于神經(jīng)網(wǎng)絡(luò)的推理是通過網(wǎng)絡(luò)計(jì)算實(shí)現(xiàn)的。把用戶提供的初始證據(jù)用作網(wǎng)絡(luò)的輸入，通過網(wǎng)絡(luò)計(jì)算最終得到輸出結(jié)果。一般來說，正向網(wǎng)絡(luò)推理的步驟如下：把已知數(shù)據(jù)輸入網(wǎng)絡(luò)輸入層的各個(gè)節(jié)點(diǎn)。利用特性函數(shù)分別計(jì)算網(wǎng)絡(luò)中各層的輸出。用閾值函數(shù)對(duì)輸出層的輸出進(jìn)行判定，從而得到輸出結(jié)果。基于神經(jīng)網(wǎng)絡(luò)的推理4.2神經(jīng)計(jì)算22幾種神經(jīng)網(wǎng)絡(luò)模型舉例

自適應(yīng)線性元模型感知機(jī)23自適應(yīng)線性元模型結(jié)構(gòu)24自適應(yīng)線性元模型數(shù)學(xué)描述

輸入該模型實(shí)際上是一自適應(yīng)閾值邏輯單元。圖中x0，x1k，x2k，…，xnk為該自適應(yīng)線性元在t時(shí)刻的外部輸入，用向量表示為:Xk＝（x0，x1k，x2k，…，xnk）T

這個(gè)向量稱為自適應(yīng)線性元的輸入信號(hào)向量或輸入模式向量。25自適應(yīng)線性元模型數(shù)學(xué)描述

連接權(quán)值與輸入向量Xk相對(duì)應(yīng)有一權(quán)向量:Wk=(w0k，w1k，w2k，…，wnk)T

其中每一元素與輸入向量Xk中的每一元素相對(duì)應(yīng)。

w0k為基權(quán)，稱為門限權(quán)，用來調(diào)整自適應(yīng)線性元的閾值。26自適應(yīng)線性元模型數(shù)學(xué)描述

輸出

模擬輸出

二值輸出27自適應(yīng)線性元模型數(shù)學(xué)描述

理想輸入在圖中的自適應(yīng)線性元中有一特殊的輸入dk，即理想輸入。該輸入是用來將理想響應(yīng)信號(hào)送入自適應(yīng)線性元中，在自適應(yīng)線性元中通過比較yk和理想響應(yīng)dk，并將差值送入最小均方差(LMS)學(xué)習(xí)算法機(jī)制中來調(diào)整權(quán)向量Wk，使得yk和所期望的輸出dk相一致。28LMS學(xué)習(xí)過程（圖述）29LMS學(xué)習(xí)過程（文字說明）1、提交學(xué)習(xí)樣本；2、計(jì)算神經(jīng)網(wǎng)絡(luò)的輸出；3、計(jì)算實(shí)際輸出和理想輸出的誤差；4、按照權(quán)值修改規(guī)則修改神經(jīng)網(wǎng)絡(luò)權(quán)值；5、計(jì)算學(xué)習(xí)結(jié)束判據(jù)；6、學(xué)習(xí)結(jié)束否？7、達(dá)到要求學(xué)習(xí)結(jié)束，否則轉(zhuǎn)1。30LMS學(xué)習(xí)算法權(quán)值修改規(guī)則

其中：為當(dāng)前的誤差（即理想輸出與模擬實(shí)際輸出之間的差值）；稱為學(xué)習(xí)速度(LearningRate)。31ADALINE學(xué)習(xí)算法實(shí)質(zhì)分析32

的取值

的選擇決定了收斂的穩(wěn)定性和收斂的速度。穩(wěn)定性要求：0<<2。但是過大可能會(huì)修正過度，一個(gè)比較好的選擇范圍是0.1<<1。33LMS算法的幾何解釋34ADALINE模型計(jì)算能力分析

若ADALINE輸入為二值，它可以完成一定的邏輯功能。若有n個(gè)輸入，即則有2n個(gè)可能的輸入模式。在一般的邏輯實(shí)現(xiàn)中，依照所期望的輸出響應(yīng)，可以將個(gè)輸入模式劃分成＋和－兩類。每一個(gè)自適應(yīng)線性元模型可以完成某一種邏輯功能，因而我們也可以把自適應(yīng)線性元看成是一邏輯部件。35ADALINE模型計(jì)算能力分析

每個(gè)自適應(yīng)線性元的功能也主要由各個(gè)權(quán)值所確定。每個(gè)自適應(yīng)線性元只能實(shí)現(xiàn)邏輯空間上的線性劃分，36ADALINE模型學(xué)習(xí)過程舉例網(wǎng)絡(luò)模型x1=1.2x2=2.7x0=1w1=-0.045w2=1.1w0=1y=?d=2.3E=?y=4.57E=-2.27w0=0.546w1=0.5w2=-0.126y=0.153E=2.1537ADALINE模型的學(xué)習(xí)曲線38感知機(jī)模型結(jié)構(gòu)

感知機(jī)(Perceptron)結(jié)構(gòu)如下圖所示。它是一個(gè)簡(jiǎn)單的單層神經(jīng)網(wǎng)絡(luò)模型。輸入層是含有n個(gè)處理單元的神經(jīng)元組，輸出層只有一個(gè)處理單元，所有處理單元都是線性閾值單元。xiwiy39感知機(jī)的計(jì)算40感知機(jī)的幾何意義

感知機(jī)的幾何意義在于它在多維空間上利用一超平面將兩類模式A和B分開。這時(shí)超平面方程為：41感知機(jī)權(quán)值調(diào)整算法（文字）1、初始化：賦予和一個(gè)較小的隨機(jī)非零值。2、將一模式送入輸入神經(jīng)元，并給出理想輸出值。3、計(jì)算神經(jīng)網(wǎng)絡(luò)模型的實(shí)際輸出：4、調(diào)節(jié)權(quán)值:5、轉(zhuǎn)2，直到學(xué)完所給定的所有輸入樣本。42感知機(jī)權(quán)值調(diào)整算法（圖示）樣本E=0.85E=0.45E=0.25E=0.0543感知機(jī)的缺陷Rosenblatt已經(jīng)證明，如果兩類模式在分布空間中可以找到一個(gè)超平面將它們分開，那么感知機(jī)的學(xué)習(xí)過程就一定會(huì)收斂。否則判定邊界就會(huì)振蕩不休，永遠(yuǎn)不會(huì)穩(wěn)定，這也正是單層感知機(jī)所無法克服的缺陷，所以它連最簡(jiǎn)單的異或（XOR）問題也解決不了。XOR問題44

BP神經(jīng)網(wǎng)絡(luò)45

BP算法是用于前饋多層網(wǎng)絡(luò)的學(xué)習(xí)算法，它含有輸人層、輸出層以及處于輸入輸出層之間的中間層。中間層有單層或多層，由于它們和外界沒有直接的聯(lián)系，故也稱為隱層。在隱層中的神經(jīng)元也稱隱單元。隱層雖然和外界不連接．但是，它們的狀態(tài)則影響輸入輸出之間的關(guān)系。這也是說，改變隱層的權(quán)系數(shù)，可以改變整個(gè)多層神經(jīng)網(wǎng)絡(luò)的性能。

反向傳播算法分二步進(jìn)行，即正向傳播和反向傳播。這兩個(gè)過程的工作簡(jiǎn)述如下。1．正向傳播輸入的樣本從輸入層經(jīng)過隱單元一層一層進(jìn)行處理，通過所有的隱層之后，則傳向輸出層；在逐層處理的過程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過程。

2．反向傳播反向傳播時(shí)，把誤差信號(hào)按原來正向傳播的通路反向傳回，并對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號(hào)趨向最小。BP算法的原理46BP網(wǎng)絡(luò)建模特點(diǎn)：非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過程中的許多問題正是具有高度的非線性。并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲(chǔ)存和并行處理的，這使它具有很強(qiáng)的容錯(cuò)性和很快的處理速度。自學(xué)習(xí)和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識(shí)，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)行。數(shù)據(jù)融合的能力：神經(jīng)網(wǎng)絡(luò)可以同時(shí)處理定量信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)（數(shù)值運(yùn)算）和人工智能技術(shù)（符號(hào)處理）。多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對(duì)單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問題。47基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)b1bia1c1cqcjahbpan………………Wp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp輸出層LC隱含層LB輸入層LAWV48B-P算法的學(xué)習(xí)目的是對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得調(diào)整后的網(wǎng)絡(luò)對(duì)任一輸入都能得到所期望的輸出。學(xué)習(xí)過程由正向傳播和反向傳播組成。正向傳播用于對(duì)前向網(wǎng)絡(luò)進(jìn)行計(jì)算，即對(duì)某一輸入信息，經(jīng)過網(wǎng)絡(luò)計(jì)算后求出它的輸出結(jié)果。反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權(quán)值，以使網(wǎng)絡(luò)對(duì)輸入信息經(jīng)過計(jì)算后所得到的輸出能達(dá)到期望的誤差要求。3反向傳播模型及其學(xué)習(xí)算法49B-P算法的學(xué)習(xí)過程如下：（1）選擇一組訓(xùn)練樣例，每一個(gè)樣例由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計(jì)算經(jīng)神經(jīng)元處理后的各層節(jié)點(diǎn)的輸出。（4）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。（5）從輸出層反向計(jì)算到第一個(gè)隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。（6）對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)（3）—（5）的步驟，直到對(duì)整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。3反向傳播模型及其學(xué)習(xí)算法50在以上的過程中，第（5）步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學(xué)習(xí)算法必須解決的問題。

3反向傳播模型及其學(xué)習(xí)算法51

B-P學(xué)習(xí)算法的流程圖52B-P算法的優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：理論基礎(chǔ)牢固，推導(dǎo)過程嚴(yán)謹(jǐn)，物理概念清晰，通用性好等。所以，它是目前用來訓(xùn)練前向多層網(wǎng)絡(luò)較好的算法。缺點(diǎn)：（1）該學(xué)習(xí)算法的收斂速度慢；（2）網(wǎng)絡(luò)中隱節(jié)點(diǎn)個(gè)數(shù)的選取尚無理論上的指導(dǎo)；（3）從數(shù)學(xué)角度看，B-P算法是一種梯度最速下降法，這就可能出現(xiàn)局部極小的問題。當(dāng)出現(xiàn)局部極小時(shí)，從表面上看，誤差符合要求，但這時(shí)所得到的解并不一定是問題的真正解。所以B-P算法是不完備的。3反向傳播模型及其學(xué)習(xí)算法533.3反向傳播計(jì)算的舉例設(shè)圖9.12是一個(gè)簡(jiǎn)單的前向傳播網(wǎng)絡(luò)，用B-P算法確定其中的各連接權(quán)值時(shí)，的計(jì)算方法如下：3反向傳播模型及其學(xué)習(xí)算法543反向傳播模型及其學(xué)習(xí)算法553反向傳播模型及其學(xué)習(xí)算法563反向傳播模型及其學(xué)習(xí)算法574.1Hopfield模型Hopfield模型是霍普菲爾德分別于1982年及1984提出的兩個(gè)神經(jīng)網(wǎng)絡(luò)模型。1982年提出的是離散型，1984年提出的是連續(xù)型，但它們都是反饋網(wǎng)絡(luò)結(jié)構(gòu)。圖9.13給出了一個(gè)簡(jiǎn)單的反饋神經(jīng)網(wǎng)絡(luò)圖。

4Hopfield模型及其學(xué)習(xí)算法58由于在反饋網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入再送入網(wǎng)絡(luò)中，這就使得網(wǎng)絡(luò)具有了動(dòng)態(tài)性，網(wǎng)絡(luò)的狀態(tài)在不斷的改變之中，因而就提出了網(wǎng)絡(luò)的穩(wěn)定性問題。所謂一個(gè)網(wǎng)絡(luò)是穩(wěn)定的是指從某一時(shí)刻開始，網(wǎng)絡(luò)的狀態(tài)不再改變。

設(shè)用X(t)表示網(wǎng)絡(luò)在時(shí)刻t的狀態(tài)，如果從t=０的任一初態(tài)X(0)開始，存在一個(gè)有限的時(shí)刻t，使得從此時(shí)刻開始神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即

就稱此網(wǎng)絡(luò)是穩(wěn)定的。

4Hopfield模型及其學(xué)習(xí)算法59

離散網(wǎng)絡(luò)模型是一個(gè)離散時(shí)間系統(tǒng)，每個(gè)神經(jīng)元只有兩個(gè)狀態(tài)，可以用1和0來表示，由連接權(quán)值Ｗij所構(gòu)成的矩陣是一個(gè)對(duì)角線為0的對(duì)稱矩陣，即

如果用x(t)表示整個(gè)網(wǎng)絡(luò)在時(shí)刻ｔ的狀態(tài)，則X是一個(gè)向量，它包含了網(wǎng)絡(luò)中每個(gè)人工神經(jīng)元的狀態(tài)。所以，狀態(tài)向量X中的分量個(gè)數(shù)就是網(wǎng)絡(luò)中人工神經(jīng)元的個(gè)數(shù)。假設(shè)網(wǎng)絡(luò)中的節(jié)點(diǎn)（人工神經(jīng)元）個(gè)數(shù)為n，則向量X的構(gòu)成如下：4Hopfield模型及其學(xué)習(xí)算法60

這里，,其中的Ｗij為節(jié)點(diǎn)ｉ到節(jié)點(diǎn)ｊ的連接權(quán)值；為節(jié)點(diǎn)ｊ的閾值。

(9.4.3)Xi(t)表示節(jié)點(diǎn)i（第個(gè)i神經(jīng)元）在時(shí)刻t的狀態(tài)，該節(jié)點(diǎn)在時(shí)刻t+1的狀態(tài)由下式?jīng)Q定：(9.4.4)4Hopfield模型及其學(xué)習(xí)算法61

Hopfield網(wǎng)絡(luò)離散模型有兩種工作模式：（1）串行方式，是指在任一時(shí)刻t，只有一個(gè)神經(jīng)元i發(fā)生狀態(tài)變化，而其余的神經(jīng)元保持狀態(tài)不變。（2）并行方式，是指在任一時(shí)刻t，都有部分或全體神經(jīng)元同時(shí)改變狀態(tài)。

有關(guān)離散的Hopfield網(wǎng)絡(luò)的穩(wěn)定性問題，已于1983年由Cohen和Grossberg給于了證明。而Hopfield等人又進(jìn)一步證明

，只要連接權(quán)值構(gòu)成的矩陣是非負(fù)對(duì)角元的對(duì)稱矩陣，則該網(wǎng)絡(luò)就具有串行穩(wěn)定性。4Hopfield模型及其學(xué)習(xí)算法62

1984年，Hopfield又提出了連續(xù)時(shí)間的神經(jīng)網(wǎng)絡(luò)，在這種神經(jīng)網(wǎng)絡(luò)中，各節(jié)點(diǎn)可在0到1的區(qū)間內(nèi)取任一實(shí)數(shù)值。

Hopfield網(wǎng)絡(luò)是一種非線性的動(dòng)力網(wǎng)絡(luò)，可通過反復(fù)的網(wǎng)絡(luò)動(dòng)態(tài)迭代來求解問題，這是符號(hào)邏輯方法所不具有的特性。在求解某些問題時(shí)，其求解問題的方法與人類求解問題的方法很相似，雖然所求得的解不是最佳解，但其求解速度快，更符合人們?nèi)粘＝鉀Q問題的策略

4Hopfield模型及其學(xué)習(xí)算法634.2Hopfield網(wǎng)絡(luò)的學(xué)習(xí)算法(1)設(shè)置互連權(quán)值。