人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)課件

1、人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)1 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)2 n人工神經(jīng)網(wǎng)絡(luò)是近年來得到迅速發(fā)展的一個(gè)前人工神經(jīng)網(wǎng)絡(luò)是近年來得到迅速發(fā)展的一個(gè)前 沿課題。神經(jīng)網(wǎng)絡(luò)由于其大規(guī)模并行處理、容沿課題。神經(jīng)網(wǎng)絡(luò)由于其大規(guī)模并行處理、容 錯(cuò)性、自組織和自適應(yīng)能力和聯(lián)想功能強(qiáng)等特錯(cuò)性、自組織和自適應(yīng)能力和聯(lián)想功能強(qiáng)等特 點(diǎn)，已成為解決很多問題的有力工具。本節(jié)首點(diǎn)，已成為解決很多問題的有力工具。本節(jié)首 先對(duì)神經(jīng)網(wǎng)絡(luò)作簡(jiǎn)單介紹，然后介紹幾種常用先對(duì)神經(jīng)網(wǎng)絡(luò)作簡(jiǎn)單介紹，然后介紹幾種常用 的神經(jīng)網(wǎng)絡(luò)，包括感知器（前向神經(jīng)網(wǎng)絡(luò)）、的神經(jīng)網(wǎng)絡(luò)，包括感知器（前向神經(jīng)網(wǎng)絡(luò)）、 BPN（反向傳播神經(jīng)網(wǎng)絡(luò)）和（反向傳播神經(jīng)網(wǎng)絡(luò)）和 Hop

2、field網(wǎng)絡(luò)。網(wǎng)絡(luò)。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)3 1 生物神經(jīng)元 2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史 3 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 4 神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法 內(nèi)容安排 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)4 1 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史 n最早的研究可以追溯到20世紀(jì)40年代。1943年，心 理學(xué)家McCulloch和數(shù)學(xué)家Pitts合作提出了形式神 經(jīng)元的數(shù)學(xué)模型。這一模型一般被簡(jiǎn)稱M-P神經(jīng)網(wǎng) 絡(luò)模型，至今仍在應(yīng)用，可以說，人工神經(jīng)網(wǎng)絡(luò)的 研究時(shí)代，就由此開始了。 n1949年，心理學(xué)家Hebb提出神經(jīng)系統(tǒng)的學(xué)習(xí)規(guī)則， 為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)?，F(xiàn)在，這個(gè)規(guī) 則被稱為Hebb規(guī)則，許多人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

3、還遵 循這一規(guī)則。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)5 n1957年，F(xiàn).Rosenblatt提出“感知 器”(Perceptron) 模型，第一次把神經(jīng)網(wǎng)絡(luò)的 研究從純理論的探討付諸工程實(shí)踐，掀起了人 工神經(jīng)網(wǎng)絡(luò)研究的第一次高潮。 n20世紀(jì)60年代以后，數(shù)字計(jì)算機(jī)的發(fā)展達(dá)到全 盛時(shí)期，人們誤以為數(shù)字計(jì)算機(jī)可以解決人工 智能、專家系統(tǒng)、模式識(shí)別問題，而放松了對(duì) “感知器”的研究。于是，從20世紀(jì)60年代末 期起，人工神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低潮。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)6 n1982年，美國(guó)加州工學(xué)院物理學(xué)家Hopfield提 出了離散的神經(jīng)網(wǎng)絡(luò)模型，標(biāo)志著神經(jīng)網(wǎng)絡(luò)的 研究又進(jìn)入了一個(gè)新高潮。1984年，Ho

4、pfield 又提出連續(xù)神經(jīng)網(wǎng)絡(luò)模型，開拓了計(jì)算機(jī)應(yīng)用 神經(jīng)網(wǎng)絡(luò)的新途徑。 n1986年，Rumelhart和Meclelland提出多層網(wǎng) 絡(luò)的誤差反傳(back propagation)學(xué)習(xí)算法， 簡(jiǎn)稱BP算法。BP算法是目前最為重要、應(yīng)用最 廣的人工神經(jīng)網(wǎng)絡(luò)算法之一。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)7 n自20世紀(jì)80年代中期以來，世界上許多國(guó)家掀 起了神經(jīng)網(wǎng)絡(luò)的研究熱潮，可以說神經(jīng)網(wǎng)絡(luò)已 成為國(guó)際上的一個(gè)研究熱點(diǎn)。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)8 2 生物神經(jīng)元生物神經(jīng)元 n 生物神經(jīng)元 n 突觸信息處理 n 信息傳遞功能與特點(diǎn) 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)9 一、生物神經(jīng)元 n神經(jīng)元是大腦處理信息的基本單元

5、n人腦約由101l-1012個(gè)神經(jīng)元組成，其中，每個(gè)神經(jīng) 元約與104-105個(gè)神經(jīng)元通過突觸聯(lián)接，形成極為錯(cuò) 縱復(fù)雜而且又靈活多變的神經(jīng)網(wǎng)絡(luò) n神經(jīng)元以細(xì)胞體為主體，由許多向周圍延伸的不規(guī) 則樹枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯 樹的枝干 n主要由細(xì)胞體、樹突、軸突和突觸(Synapse，又稱 神經(jīng)鍵)組成 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)10 生物神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)生物神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu) 樹突是樹狀的神經(jīng)纖維接收網(wǎng)絡(luò)，它將電信號(hào)傳送到細(xì)胞體樹突是樹狀的神經(jīng)纖維接收網(wǎng)絡(luò)，它將電信號(hào)傳送到細(xì)胞體 細(xì)胞體對(duì)這些輸入信號(hào)進(jìn)行整合并進(jìn)行閾值處理細(xì)胞體對(duì)這些輸入信號(hào)進(jìn)行整合并進(jìn)行閾值處理 軸突是單根長(zhǎng)纖維，它把細(xì)胞

6、體的輸出信號(hào)導(dǎo)向其他神經(jīng)元軸突是單根長(zhǎng)纖維，它把細(xì)胞體的輸出信號(hào)導(dǎo)向其他神經(jīng)元 一個(gè)神經(jīng)細(xì)胞的軸突和另一個(gè)神經(jīng)細(xì)胞樹突的結(jié)合點(diǎn)稱為突觸一個(gè)神經(jīng)細(xì)胞的軸突和另一個(gè)神經(jīng)細(xì)胞樹突的結(jié)合點(diǎn)稱為突觸 神經(jīng)元的排列和突觸的強(qiáng)度神經(jīng)元的排列和突觸的強(qiáng)度( (由復(fù)雜的化學(xué)過程決定由復(fù)雜的化學(xué)過程決定) )確立了神經(jīng)網(wǎng)絡(luò)確立了神經(jīng)網(wǎng)絡(luò) 的功能。的功能。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)11 生物學(xué)研究表明一些神經(jīng)結(jié)構(gòu)是與生俱來的，而 其他部分則是在學(xué)習(xí)的過程中形成的。 在學(xué)習(xí)的過程中，可能會(huì)產(chǎn)生一些新的連接，也 可能會(huì)使以前的一些連接消失。這個(gè)過程在生命 早期最為顯著。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)12 二、突觸的信息處理二、突觸

7、的信息處理 n生物神經(jīng)元傳遞信息的過程為多輸入、單輸出； n神經(jīng)元各組成部分的功能來看，信息的處理與傳 遞主要發(fā)生在突觸附近； n當(dāng)神經(jīng)元細(xì)胞體通過軸突傳到突觸前膜的脈沖幅 度達(dá)到一定強(qiáng)度，即超過其閾值電位后，突觸前 膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)； n突觸有兩種類型，興奮性突觸和抑制性突觸。前 者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)13 三、信息傳遞功能與特點(diǎn)三、信息傳遞功能與特點(diǎn) 具有時(shí)空整合能力具有時(shí)空整合能力 不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞 神經(jīng)纖維傳導(dǎo)的速度，即脈沖沿神經(jīng)纖維傳遞的速度，在神

8、經(jīng)纖維傳導(dǎo)的速度，即脈沖沿神經(jīng)纖維傳遞的速度，在 1150m1150ms s之間之間 信息傳遞時(shí)延和不應(yīng)期，一般為信息傳遞時(shí)延和不應(yīng)期，一般為0.30.3lmslms 可塑性，突觸傳遞信息的強(qiáng)度是可變的，即具有學(xué)習(xí)功能可塑性，突觸傳遞信息的強(qiáng)度是可變的，即具有學(xué)習(xí)功能 存在學(xué)習(xí)、遺忘或疲勞（飽和）效應(yīng)存在學(xué)習(xí)、遺忘或疲勞（飽和）效應(yīng) q對(duì)應(yīng)突觸傳遞作用增強(qiáng)、減弱和飽和對(duì)應(yīng)突觸傳遞作用增強(qiáng)、減弱和飽和 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)14 2、生物神經(jīng)系統(tǒng)的六個(gè)基本特征：、生物神經(jīng)系統(tǒng)的六個(gè)基本特征： 1）神經(jīng)元及其聯(lián)接神經(jīng)元及其聯(lián)接； 2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱；神經(jīng)元之間的聯(lián)接強(qiáng)度決定信

9、號(hào)傳遞的強(qiáng)弱； 3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的； 4）信號(hào)可以是起刺激作用的，也可以是起抑制作用的；）信號(hào)可以是起刺激作用的，也可以是起抑制作用的； 5）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元的）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元的 狀態(tài)；狀態(tài)； 6) 每個(gè)神經(jīng)元可以有一個(gè)每個(gè)神經(jīng)元可以有一個(gè)“閾值閾值”。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)15 3 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) n人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) n人工神經(jīng)元模型人工神經(jīng)元模型 n常見的神經(jīng)元激發(fā)函數(shù)常見的神經(jīng)元激發(fā)函數(shù) n人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò)

10、理論基礎(chǔ)16 1.人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network- ANN）常常簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)（）常常簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)（NN），是以計(jì)），是以計(jì) 算機(jī)網(wǎng)絡(luò)系統(tǒng)模擬生物神經(jīng)網(wǎng)絡(luò)的智能計(jì)算系算機(jī)網(wǎng)絡(luò)系統(tǒng)模擬生物神經(jīng)網(wǎng)絡(luò)的智能計(jì)算系 統(tǒng)，統(tǒng)， 是對(duì)人腦或自然神經(jīng)網(wǎng)絡(luò)的若干基本特是對(duì)人腦或自然神經(jīng)網(wǎng)絡(luò)的若干基本特 性的抽象和模擬。性的抽象和模擬。 一、人工神經(jīng)網(wǎng)絡(luò)一、人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)17 n直觀理解直觀理解 q神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu) q它一般由大量神經(jīng)元組成它一般由大量神經(jīng)元組成 n每個(gè)神

11、經(jīng)元只有一個(gè)輸出，可以連接到很多其他的神經(jīng)元每個(gè)神經(jīng)元只有一個(gè)輸出，可以連接到很多其他的神經(jīng)元 n每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一 個(gè)連接權(quán)系數(shù)個(gè)連接權(quán)系數(shù) 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)18 n2.人工神經(jīng)網(wǎng)絡(luò)的基本特征人工神經(jīng)網(wǎng)絡(luò)的基本特征 (1)結(jié)構(gòu)特征并行處理、分步式存儲(chǔ)與容錯(cuò)性 (2)能力特征自學(xué)習(xí)、自組織與自適應(yīng)性 自適應(yīng)性自適應(yīng)性是指一個(gè)系統(tǒng)能改變自身的性能以 適應(yīng)環(huán)境變化的能力。 神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)自學(xué)習(xí)是指當(dāng)外界環(huán)境發(fā)生變化 時(shí)，經(jīng)過一段時(shí)間的訓(xùn)練或感知，神經(jīng)網(wǎng)絡(luò)能通過自 動(dòng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，使得對(duì)于結(jié)定輸入能產(chǎn) 生期望

12、 的輸出，訓(xùn)練是神經(jīng)網(wǎng)絡(luò)學(xué)刁的途徑，因此經(jīng)常將學(xué) 習(xí)與訓(xùn)練兩 個(gè)詞混用。 神經(jīng)系統(tǒng)能在外部刺激下按一定規(guī)則調(diào)整神 經(jīng)元之間的突觸連接，逐漸構(gòu)建起神經(jīng)網(wǎng)絡(luò)，這一構(gòu) 建過程稱為網(wǎng)絡(luò)的自組織自組織(或稱重構(gòu))。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)19 聯(lián)想記憶聯(lián)想記憶 非線性映射非線性映射 許多系統(tǒng)的輸入與輸出之間存在復(fù)雜的非線性關(guān)系，設(shè)計(jì)合理 的神經(jīng)網(wǎng)絡(luò)通過對(duì)系統(tǒng)輸入輸出樣本對(duì)進(jìn)行自動(dòng)學(xué)習(xí)，能夠以 任意精度逼近任意復(fù)雜的非線性映射。神經(jīng)網(wǎng)絡(luò)的這一優(yōu)良性 能使其可以作為多維非線性函數(shù)的通用數(shù)學(xué)模型 分類與識(shí)別分類與識(shí)別 對(duì)輸入樣本的分類實(shí)際上是在樣本空間找出符合分類要求的分 割區(qū)域，每個(gè)區(qū)域內(nèi)的樣本屬于一類?？陀^

13、世界中許多事物在 樣本空間上的區(qū)域分割曲面是十分復(fù)雜的，神經(jīng)網(wǎng)絡(luò)可以很好 地解決對(duì)非線性曲面的逼近，因此具有很好的分類與識(shí)別能力 優(yōu)化計(jì)算優(yōu)化計(jì)算 知識(shí)處理知識(shí)處理 3.神經(jīng)網(wǎng)絡(luò)的基本功能神經(jīng)網(wǎng)絡(luò)的基本功能 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)20 1943，神經(jīng)生理學(xué)家，神經(jīng)生理學(xué)家 McCulloch 和數(shù)學(xué)家和數(shù)學(xué)家 Pitts 基于早期神經(jīng)元學(xué)說，歸納總結(jié)了生物神經(jīng)基于早期神經(jīng)元學(xué)說，歸納總結(jié)了生物神經(jīng) 元的基本特性，建立了具有邏輯演算功能的神經(jīng)元的基本特性，建立了具有邏輯演算功能的神經(jīng) 元模型以及這些人工神經(jīng)元互聯(lián)形成的人工神經(jīng)元模型以及這些人工神經(jīng)元互聯(lián)形成的人工神經(jīng) 網(wǎng)絡(luò)，即所謂的網(wǎng)絡(luò)，即所謂的

14、 McCulloch-Pitts 模型。模型。 McCulloch-Pitts 模型（模型（MP模型）是世界上第模型）是世界上第 一個(gè)神經(jīng)計(jì)算模型，即人工神經(jīng)系統(tǒng)。一個(gè)神經(jīng)計(jì)算模型，即人工神經(jīng)系統(tǒng)。 二、人工神經(jīng)元模型二、人工神經(jīng)元模型 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)21 MP模型：模型： 稱為作用函數(shù)或激發(fā)函數(shù)稱為作用函數(shù)或激發(fā)函數(shù) 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)22 n MP模型模型 n 作用函數(shù)作用函數(shù) n 求和操作求和操作 1 ( )() n iijiji j yf xfw u ij n j jii uwx 1 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)23 n MP模型模型 f(x)是作用函數(shù)是作用函數(shù)(Activation

15、 Function)，也稱激發(fā)函數(shù)。，也稱激發(fā)函數(shù)。 MP神經(jīng)元模型中的作用函數(shù)為單位階躍函數(shù)：神經(jīng)元模型中的作用函數(shù)為單位階躍函數(shù)： 其表達(dá)式為：其表達(dá)式為： 0,0 0,1 )( x x xf 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)24 激發(fā)函數(shù)的基本作用激發(fā)函數(shù)的基本作用 控制輸入對(duì)輸出的激活作用控制輸入對(duì)輸出的激活作用 對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換 將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出 可知當(dāng)神經(jīng)元可知當(dāng)神經(jīng)元i i的輸入信號(hào)加權(quán)和超過閾值時(shí)，輸出為的輸入信號(hào)加權(quán)和超過閾值時(shí)，輸出為 “1”1”，即，即“興奮興奮”狀態(tài)；反之輸出

16、為狀態(tài)；反之輸出為“0”0”，是，是“抑制抑制” 狀態(tài)。狀態(tài)。 n MP模型模型 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)25 例例、實(shí)現(xiàn)邏輯函數(shù)“與門”（AND gate）運(yùn) 算。 1 真，0假 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)26 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)27 三、常見的神經(jīng)元激發(fā)函數(shù)三、常見的神經(jīng)元激發(fā)函數(shù) MP 神經(jīng)元模型是人工神經(jīng)元模型的基礎(chǔ)，也是神經(jīng)神經(jīng)元模型是人工神經(jīng)元模型的基礎(chǔ)，也是神經(jīng) 網(wǎng)絡(luò)理論的基礎(chǔ)。在神經(jīng)元模型中，作用函數(shù)除了單位階網(wǎng)絡(luò)理論的基礎(chǔ)。在神經(jīng)元模型中，作用函數(shù)除了單位階 躍函數(shù)之外，還有其它形式。不同的作用函數(shù)，可構(gòu)成不躍函數(shù)之外，還有其它形式。不同的作用函數(shù)，可構(gòu)成不 同的神經(jīng)元模型。同的神經(jīng)

17、元模型。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)28 1、對(duì)稱型、對(duì)稱型Sigmoid函數(shù)函數(shù) x x e e xf 1 1 )( 0, 1 1 )( x x e e xf或或 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)29 2、非對(duì)稱型、非對(duì)稱型Sigmoid函數(shù)函數(shù) x e xf 1 1 )( 或或0, 1 1 )( x e xf 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)30 3、對(duì)稱型階躍函數(shù)函數(shù)、對(duì)稱型階躍函數(shù)函數(shù) 0,1 0,1 )( x x xf 采用階躍作用函數(shù)的神經(jīng)元，稱為閾值邏輯單元。采用階躍作用函數(shù)的神經(jīng)元，稱為閾值邏輯單元。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)31 4、線性函數(shù)、線性函數(shù) （1 1）線性作用函數(shù)：輸出等于輸入，即）線性作用函數(shù)：

18、輸出等于輸入，即 xxfy)( （2 2）飽和線性作用函數(shù)）飽和線性作用函數(shù) 1 10 0 1 0 )( x x x xxfy （3 3）對(duì)稱飽和線性作用函數(shù)）對(duì)稱飽和線性作用函數(shù) 1 11 1 1 1 )( x x x xxfy 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)32 5、高斯函數(shù)、高斯函數(shù) )( 22 )( x exf 反映出高斯函數(shù)的寬度反映出高斯函數(shù)的寬度 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)33 n眾所周知，神經(jīng)網(wǎng)絡(luò)強(qiáng)大的計(jì)算功能是通過神經(jīng)元的互眾所周知，神經(jīng)網(wǎng)絡(luò)強(qiáng)大的計(jì)算功能是通過神經(jīng)元的互 連而達(dá)到的。根據(jù)神經(jīng)元的拓?fù)浣Y(jié)構(gòu)形式不同，神經(jīng)網(wǎng)絡(luò)連而達(dá)到的。根據(jù)神經(jīng)元的拓?fù)浣Y(jié)構(gòu)形式不同，神經(jīng)網(wǎng)絡(luò) 可分成以下兩大類：

19、可分成以下兩大類： 四、人工神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)四、人工神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu) n目前，神經(jīng)網(wǎng)絡(luò)模型的種類比較多，已有近目前，神經(jīng)網(wǎng)絡(luò)模型的種類比較多，已有近4040余種神經(jīng)余種神經(jīng) 網(wǎng)絡(luò)模型，其中典型的有網(wǎng)絡(luò)模型，其中典型的有BPBP網(wǎng)絡(luò)、網(wǎng)絡(luò)、HopfieldHopfield網(wǎng)絡(luò)、網(wǎng)絡(luò)、CMACCMAC小小 腦模型、腦模型、ARTART自適應(yīng)共振理論和自適應(yīng)共振理論和BlotzmanBlotzman機(jī)網(wǎng)絡(luò)等機(jī)網(wǎng)絡(luò)等 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)34 1 1、層次型神經(jīng)網(wǎng)絡(luò)、層次型神經(jīng)網(wǎng)絡(luò) （1 1）前向神經(jīng)網(wǎng)絡(luò)）前向神經(jīng)網(wǎng)絡(luò) 神經(jīng)元分層排列，順序連接。由輸神經(jīng)元分層排列，順序連接。由輸 入層施加輸入信息

20、，通過中間各層，加權(quán)后傳遞到輸出入層施加輸入信息，通過中間各層，加權(quán)后傳遞到輸出 層后輸出。每層的神經(jīng)元只接受前一層神經(jīng)元的輸入，層后輸出。每層的神經(jīng)元只接受前一層神經(jīng)元的輸入， 各神經(jīng)元之間不存在反饋。各神經(jīng)元之間不存在反饋。 感知器感知器(Perceptron)(Perceptron)、BPBP神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)(RBF-(RBF- Redial Basis Function)Redial Basis Function)神經(jīng)網(wǎng)絡(luò)都屬于這種類型。神經(jīng)網(wǎng)絡(luò)都屬于這種類型。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)35 （2 2）層內(nèi)有互聯(lián)的前向神經(jīng)網(wǎng)絡(luò)）層內(nèi)有互聯(lián)的前向神經(jīng)網(wǎng)絡(luò) 在前向神經(jīng)網(wǎng)

21、絡(luò)中有在前向神經(jīng)網(wǎng)絡(luò)中有 的在同一層中的各神經(jīng)元相互有連接的在同一層中的各神經(jīng)元相互有連接, ,通過層內(nèi)神經(jīng)元的通過層內(nèi)神經(jīng)元的 相互結(jié)合，可以實(shí)現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興相互結(jié)合，可以實(shí)現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興 奮機(jī)制，這樣可以限制每層內(nèi)能同時(shí)動(dòng)作的神經(jīng)元數(shù)，或奮機(jī)制，這樣可以限制每層內(nèi)能同時(shí)動(dòng)作的神經(jīng)元數(shù)，或 者把每層內(nèi)的神經(jīng)元分為若干組，讓每組作為一個(gè)整體來者把每層內(nèi)的神經(jīng)元分為若干組，讓每組作為一個(gè)整體來 動(dòng)作。動(dòng)作。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)36 （3 3）有反饋的前向神經(jīng)網(wǎng)絡(luò)）有反饋的前向神經(jīng)網(wǎng)絡(luò) 在層次網(wǎng)絡(luò)結(jié)構(gòu)中，只在在層次網(wǎng)絡(luò)結(jié)構(gòu)中，只在 輸出層到輸入層存在反饋，

22、即每一個(gè)輸入節(jié)點(diǎn)都有可能接輸出層到輸入層存在反饋，即每一個(gè)輸入節(jié)點(diǎn)都有可能接 受來自外部的輸入和來自輸出神經(jīng)元的反饋。這種模式可受來自外部的輸入和來自輸出神經(jīng)元的反饋。這種模式可 用來存儲(chǔ)某種模式序列，如神經(jīng)認(rèn)知機(jī)即屬于此類，也可用來存儲(chǔ)某種模式序列，如神經(jīng)認(rèn)知機(jī)即屬于此類，也可 以用于動(dòng)態(tài)時(shí)間序列過程的神經(jīng)網(wǎng)絡(luò)建模。以用于動(dòng)態(tài)時(shí)間序列過程的神經(jīng)網(wǎng)絡(luò)建模。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)37 2 2、互聯(lián)型神經(jīng)網(wǎng)絡(luò)、互聯(lián)型神經(jīng)網(wǎng)絡(luò) 在互連網(wǎng)絡(luò)模型中，任意兩個(gè)神經(jīng)元之間都可能有相在互連網(wǎng)絡(luò)模型中，任意兩個(gè)神經(jīng)元之間都可能有相 互連接的關(guān)系。其中，有的神經(jīng)元之間是雙向的，有的是互連接的關(guān)系。其中，有的神經(jīng)元

23、之間是雙向的，有的是 單向的。單向的。 HopfieldHopfield網(wǎng)絡(luò)、網(wǎng)絡(luò)、BoltzmanBoltzman機(jī)網(wǎng)絡(luò)屬于這一類。機(jī)網(wǎng)絡(luò)屬于這一類。 在無反饋的前向網(wǎng)絡(luò)中，信號(hào)一旦通過某個(gè)神經(jīng)元，過程就結(jié)在無反饋的前向網(wǎng)絡(luò)中，信號(hào)一旦通過某個(gè)神經(jīng)元，過程就結(jié) 束了。而在互連網(wǎng)絡(luò)中，信號(hào)要在神經(jīng)元之間反復(fù)往返傳遞，束了。而在互連網(wǎng)絡(luò)中，信號(hào)要在神經(jīng)元之間反復(fù)往返傳遞， 神經(jīng)網(wǎng)絡(luò)處在一種不斷改變狀態(tài)的動(dòng)態(tài)之中。從某個(gè)初始狀態(tài)神經(jīng)網(wǎng)絡(luò)處在一種不斷改變狀態(tài)的動(dòng)態(tài)之中。從某個(gè)初始狀態(tài) 開始，經(jīng)過若干次的變化，才會(huì)到達(dá)某種平衡狀態(tài)，根據(jù)神經(jīng)開始，經(jīng)過若干次的變化，才會(huì)到達(dá)某種平衡狀態(tài)，根據(jù)神經(jīng) 網(wǎng)絡(luò)的

24、結(jié)構(gòu)和神經(jīng)元的特性，還有可能進(jìn)入周期振蕩或其它如網(wǎng)絡(luò)的結(jié)構(gòu)和神經(jīng)元的特性，還有可能進(jìn)入周期振蕩或其它如 渾沌等平衡狀態(tài)。渾沌等平衡狀態(tài)。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)38 二、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則二、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 n聯(lián)想式學(xué)習(xí)聯(lián)想式學(xué)習(xí) Hebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 n誤差糾正式學(xué)習(xí)誤差糾正式學(xué)習(xí)Delta ()學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 3 神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)的 基本學(xué)習(xí)方式和學(xué)習(xí)規(guī)則基本學(xué)習(xí)方式和學(xué)習(xí)規(guī)則 一、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式一、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式 n有監(jiān)督（誤差校正）學(xué)習(xí)方式有監(jiān)督（誤差校正）學(xué)習(xí)方式 n無監(jiān)督學(xué)習(xí)方式無監(jiān)督學(xué)習(xí)方式 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)39 n人工神經(jīng)網(wǎng)絡(luò)連接權(quán)的確定通常有兩種方法 q

25、根據(jù)具體要求，直接計(jì)算，如Hopfield網(wǎng)絡(luò)作優(yōu) 化計(jì)算 q通過學(xué)習(xí)得到的。大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都采用 這種方法 n學(xué)習(xí)是改變各神經(jīng)元連接權(quán)值的有效方法，也是體 現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特性最主要的標(biāo)志。離開了學(xué) 習(xí)，神經(jīng)網(wǎng)絡(luò)就失去了誘人的自適應(yīng)、自組織能力 學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問題學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問題 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)40 1 1、有監(jiān)督學(xué)習(xí)方式、有監(jiān)督學(xué)習(xí)方式 特點(diǎn)：特點(diǎn)： 不能保證得到全局最優(yōu)解不能保證得到全局最優(yōu)解 要求大量訓(xùn)練樣本，收斂速度慢要求大量訓(xùn)練樣本，收斂速度慢 對(duì)樣本地表示次序變化比較敏感對(duì)樣本地表示次序變化比較敏感 神經(jīng)網(wǎng)絡(luò)根據(jù)實(shí)際輸出與期望

26、輸出的偏差，按照一定的神經(jīng)網(wǎng)絡(luò)根據(jù)實(shí)際輸出與期望輸出的偏差，按照一定的 準(zhǔn)則調(diào)整各神經(jīng)元連接的權(quán)系數(shù)，見下圖。期望輸出又稱準(zhǔn)則調(diào)整各神經(jīng)元連接的權(quán)系數(shù)，見下圖。期望輸出又稱 為導(dǎo)師信號(hào)，是評(píng)價(jià)學(xué)習(xí)的標(biāo)準(zhǔn)，故這種學(xué)習(xí)方式又稱為為導(dǎo)師信號(hào)，是評(píng)價(jià)學(xué)習(xí)的標(biāo)準(zhǔn)，故這種學(xué)習(xí)方式又稱為 有導(dǎo)師學(xué)習(xí)。有導(dǎo)師學(xué)習(xí)。 一、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式一、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)41 無導(dǎo)師信號(hào)提供給網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)僅僅根據(jù)其輸入無導(dǎo)師信號(hào)提供給網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)僅僅根據(jù)其輸入 調(diào)整連接權(quán)系數(shù)和閾值，此時(shí)，網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱調(diào)整連接權(quán)系數(shù)和閾值，此時(shí)，網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱 含于內(nèi)部。其結(jié)構(gòu)見下圖。這種學(xué)習(xí)方式主

27、要完成聚類含于內(nèi)部。其結(jié)構(gòu)見下圖。這種學(xué)習(xí)方式主要完成聚類 操作。操作。 2 2、無監(jiān)督學(xué)習(xí)方式、無監(jiān)督學(xué)習(xí)方式 一、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式一、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)42 nDonall Hebb根據(jù)生理學(xué)中的條件反射機(jī)理，于根據(jù)生理學(xué)中的條件反射機(jī)理，于1949年提年提 出的神經(jīng)元連接強(qiáng)度變化的規(guī)則：出的神經(jīng)元連接強(qiáng)度變化的規(guī)則： q如果兩個(gè)神經(jīng)元同時(shí)興奮如果兩個(gè)神經(jīng)元同時(shí)興奮(即同時(shí)被激活即同時(shí)被激活)，則它們之，則它們之 間的突觸連接加強(qiáng)間的突觸連接加強(qiáng) q 為學(xué)習(xí)速率，為學(xué)習(xí)速率，oi、oj為神經(jīng)元為神經(jīng)元 i 和和 j 的輸出的輸出 1 1、聯(lián)想式學(xué)習(xí)、聯(lián)想式學(xué)習(xí) He

28、bb Hebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 ijij woo Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所 有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形學(xué)習(xí)規(guī)則的變形 二、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則二、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)43 2 2、糾錯(cuò)式學(xué)習(xí)、糾錯(cuò)式學(xué)習(xí) Delta() Delta()學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 二、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則二、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 首先我們考慮一個(gè)簡(jiǎn)單的情況：設(shè)某神經(jīng)網(wǎng)絡(luò)的輸首先我們考慮一個(gè)簡(jiǎn)單的情況：設(shè)某神經(jīng)網(wǎng)絡(luò)的輸 出層中只有一個(gè)神經(jīng)元出層中只有一個(gè)神經(jīng)元i，給該神經(jīng)網(wǎng)絡(luò)加上輸入，

29、這樣，給該神經(jīng)網(wǎng)絡(luò)加上輸入，這樣 就產(chǎn)生了輸出就產(chǎn)生了輸出yi(n)，稱該輸出為實(shí)際輸出。，稱該輸出為實(shí)際輸出。 對(duì)于所加上的輸入，我們期望該神經(jīng)網(wǎng)絡(luò)的輸出為對(duì)于所加上的輸入，我們期望該神經(jīng)網(wǎng)絡(luò)的輸出為 d(n),稱為期望輸出或目標(biāo)輸出（樣本對(duì)里面包含輸入和稱為期望輸出或目標(biāo)輸出（樣本對(duì)里面包含輸入和 期望輸出）。實(shí)際輸出與期望輸出之間存在著誤差，用期望輸出）。實(shí)際輸出與期望輸出之間存在著誤差，用 e(n)表示：表示： ( )= ( )- ( ) i e nd n y n 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)44 現(xiàn)在要調(diào)整權(quán)值，是誤差信號(hào)現(xiàn)在要調(diào)整權(quán)值，是誤差信號(hào)e(n)減小到一個(gè)范圍。減小到一個(gè)范圍。 為

30、此，可設(shè)定代價(jià)函數(shù)或性能指數(shù)為此，可設(shè)定代價(jià)函數(shù)或性能指數(shù)E(n)： 2 1 ( )=( ) 2 E ne n 反復(fù)調(diào)整突觸權(quán)值使代價(jià)函數(shù)達(dá)到最小或者使系統(tǒng)達(dá)反復(fù)調(diào)整突觸權(quán)值使代價(jià)函數(shù)達(dá)到最小或者使系統(tǒng)達(dá) 到一個(gè)穩(wěn)定狀態(tài)（及突觸權(quán)值穩(wěn)定不變），就完成了該學(xué)到一個(gè)穩(wěn)定狀態(tài)（及突觸權(quán)值穩(wěn)定不變），就完成了該學(xué) 習(xí)過程。習(xí)過程。 該學(xué)習(xí)過程成為糾錯(cuò)學(xué)習(xí)，或該學(xué)習(xí)過程成為糾錯(cuò)學(xué)習(xí)，或Delta學(xué)習(xí)規(guī)則。學(xué)習(xí)規(guī)則。 wij 表示神經(jīng)元表示神經(jīng)元xj到到xj學(xué)的突觸權(quán)值，在學(xué)習(xí)步驟為學(xué)的突觸權(quán)值，在學(xué)習(xí)步驟為n時(shí)時(shí) 對(duì)突觸權(quán)值的調(diào)整為：對(duì)突觸權(quán)值的調(diào)整為： ( )=( )( ) ijj w ne n x

31、n 學(xué)習(xí)速學(xué)習(xí)速 率參數(shù)率參數(shù) 則則(1)=( )+( ) ijijij w nw nw n 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)45 人工神經(jīng)網(wǎng)絡(luò)的仿真人工神經(jīng)網(wǎng)絡(luò)的仿真 網(wǎng)絡(luò)的運(yùn)行一般分為訓(xùn)練和仿真訓(xùn)練和仿真兩個(gè)階段。 訓(xùn)練的目的是為了從訓(xùn)練數(shù)據(jù)中提取隱含的知識(shí)和規(guī)律，并存儲(chǔ) 于網(wǎng)絡(luò)中供仿真工作階段使用 神經(jīng)網(wǎng)絡(luò)的仿真過程神經(jīng)網(wǎng)絡(luò)的仿真過程實(shí)質(zhì)上是神經(jīng)網(wǎng)絡(luò)根據(jù)網(wǎng)絡(luò)輸入數(shù)據(jù)， 通過數(shù)值計(jì)算得出相應(yīng)網(wǎng)絡(luò)輸出的過程 通過仿真，我們可以及時(shí)了解當(dāng)前神經(jīng)網(wǎng)絡(luò)的性能從而決定 是否對(duì)網(wǎng)絡(luò)進(jìn)行進(jìn)一步的訓(xùn)練 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)46 典型的神經(jīng)網(wǎng)絡(luò)模型：典型的神經(jīng)網(wǎng)絡(luò)模型： 感知器、 線性神經(jīng)網(wǎng)絡(luò)、 BP網(wǎng)絡(luò)、 徑向基函數(shù)

32、網(wǎng)絡(luò)、 競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò) 反饋神經(jīng)網(wǎng)絡(luò)等 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)47 感知器模型是美國(guó)學(xué)者羅森勃拉特（Rosenblatt）為研究大腦的 存儲(chǔ)、學(xué)習(xí)和認(rèn)知過程而提出的一類具有自學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò) 模型，它把神經(jīng)網(wǎng)絡(luò)的研究從純理論探討引向了從工程上的實(shí)現(xiàn)。 Rosenblatt提出的感知器模型是一個(gè)只有單層計(jì)算單元的前向神 經(jīng)網(wǎng)絡(luò)，稱為單層感知器。 感知器特別適合于簡(jiǎn)單的模式分類問題，也可用于基于模式分類 的學(xué)習(xí)控制和多模態(tài)控制中 感知器神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)48 采用閾值函數(shù)作為神經(jīng)元的傳遞函數(shù)傳遞函數(shù)是感知器神經(jīng)元的典型特征 感知器神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 函數(shù)1earnp是在感知器神經(jīng)

33、網(wǎng)絡(luò)學(xué)習(xí)過程中計(jì)算網(wǎng)絡(luò)權(quán)值和閾值 修正量最基本的規(guī)則函數(shù) p為輸入矢量，學(xué)習(xí)誤差e為目標(biāo)矢 量t和網(wǎng)絡(luò)實(shí)際輸出矢量a之間的差值 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)49 感知器神經(jīng)網(wǎng)絡(luò)的訓(xùn)練感知器神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 感知器的訓(xùn)練主要是反復(fù)對(duì)感知器神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真和學(xué)習(xí)， 最終得到最優(yōu)的網(wǎng)絡(luò)閥值和權(quán)值 1） 確定我們所解決的問題的輸入向量P、目標(biāo)向量t，并確定 各向量的維數(shù)，以及網(wǎng)絡(luò)結(jié)構(gòu)大小、神經(jīng)元數(shù)目。 2）初始化：權(quán)值向量w和閥值向量b分別賦予1,+1之間的 隨機(jī)值，并且給出訓(xùn)練的最大次數(shù)。 3）根據(jù)輸入向量P、最新權(quán)值向量w和閥值向量b，計(jì)算網(wǎng)絡(luò) 輸出向量a。 4）檢查感知器輸出向量與目標(biāo)向量是否一致，或者是

34、否達(dá)到 了最大的訓(xùn)練次數(shù)，如果是則結(jié)束訓(xùn)練，否則轉(zhuǎn)入（5）。 5）根據(jù)感知器學(xué)習(xí)規(guī)則調(diào)查權(quán)向量，并返回3）。 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)50 感知器神經(jīng)網(wǎng)絡(luò)應(yīng)用舉例感知器神經(jīng)網(wǎng)絡(luò)應(yīng)用舉例 兩種蠓蟲Af和Apf已由生物學(xué)家W.L.Grogan與w. w. Wirth(1981) 根據(jù)它們觸角長(zhǎng)度和翼長(zhǎng)中以區(qū)分。 見下表中9Af蠓和6只Apf蠓的數(shù)據(jù)。 根據(jù)給出的觸角長(zhǎng)度和翼長(zhǎng)可識(shí)別出一只標(biāo)本是Af還是Apf。 1給定一只Af或者Apf族的蒙，你如何正確地區(qū)分它屬于哪一族？ 2將你的方法用于觸角長(zhǎng)和翼中分別為（1.24,1.80）、 （1.28,1.84）、(1.40,2.04)的三個(gè)標(biāo)本 Af 觸重長(zhǎng)

35、1.241.361.381.3781.381.401.481.541.56 翼 長(zhǎng)1.721.741.641.821.901.701.701.822.08 Apf 觸角長(zhǎng)1.141.181.201.261.281.30 翼 長(zhǎng)1.781.961.862.002.001.96 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)51 輸入向量為： p=1.24 1.36 1.38 1.378 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1.30;1.72 1.74 1.64 1.82 1.90 1.70 1.70 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96 目標(biāo)向量為：t=1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 圖形顯示，目標(biāo)值1 對(duì)應(yīng)的用“+”、目標(biāo) 值0對(duì)應(yīng)的用“o”來 表示： plotpv(p，t) 人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)52 為解