《人工神經(jīng)網(wǎng)絡(luò)》課件

2023/9/121人工神經(jīng)網(wǎng)絡(luò)

ArtificialNeuralNetworks

2023/8/31人工神經(jīng)網(wǎng)絡(luò)

ArtificialNe2023/9/122課程目的和基本要求

作為人工神經(jīng)網(wǎng)絡(luò)的入門課程，用于將學(xué)生引入人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用的研究領(lǐng)域。介紹人工神經(jīng)網(wǎng)絡(luò)及其基本網(wǎng)絡(luò)模型，使學(xué)生了解智能系統(tǒng)描述的基本模型掌握人工神經(jīng)網(wǎng)絡(luò)的基本概念、單層網(wǎng)、多層網(wǎng)、循環(huán)網(wǎng)等各種基本網(wǎng)絡(luò)模型的結(jié)構(gòu)、特點(diǎn)、典型訓(xùn)練算法、運(yùn)行方式、典型問題掌握軟件實(shí)現(xiàn)方法。2023/8/32課程目的和基本要求作為人工神經(jīng)網(wǎng)絡(luò)的入門2023/9/123課程目的和基本要求了解人工神經(jīng)網(wǎng)絡(luò)的有關(guān)研究思想，從中學(xué)習(xí)開拓者們的部分問題求解方法。通過實(shí)驗(yàn)進(jìn)一步體會(huì)有關(guān)模型的用法和性能，獲取一些初步的經(jīng)驗(yàn)。查閱適當(dāng)?shù)膮⒖嘉墨I(xiàn)，將所學(xué)的知識(shí)與自己未來研究課題（包括研究生論文階段的研究課題）相結(jié)合起來，達(dá)到既豐富學(xué)習(xí)內(nèi)容，又有一定的研究和應(yīng)用的目的。2023/8/33課程目的和基本要求了解人工神經(jīng)網(wǎng)絡(luò)的有關(guān)研2023/9/124主要內(nèi)容

智能及其實(shí)現(xiàn)ANN基礎(chǔ)PerceptronBPCPN統(tǒng)計(jì)方法Hopfield網(wǎng)與BAMART2023/8/34主要內(nèi)容智能及其實(shí)現(xiàn)2023/9/125主要內(nèi)容第一章：引論智能的概念、智能系統(tǒng)的特點(diǎn)及其描述基本模型，物理符號(hào)系統(tǒng)與連接主義的觀點(diǎn)及其比較；人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)、發(fā)展歷史。

2023/8/35主要內(nèi)容第一章：引論2023/9/126主要內(nèi)容第二章

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)本章在介紹了基本神經(jīng)元后，將概要介紹人工神經(jīng)網(wǎng)絡(luò)的一般特性。主要包括，生物神經(jīng)網(wǎng)絡(luò)模型，人工神經(jīng)元模型與典型的激勵(lì)函數(shù)；人工神經(jīng)網(wǎng)絡(luò)的基本拓?fù)涮匦裕鎯?chǔ)類型（CAM──LTM，AM──STM）及映象，Supervised訓(xùn)練與Unsupervised訓(xùn)練。2023/8/36主要內(nèi)容第二章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2023/9/127主要內(nèi)容第三章

感知器感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展；單層網(wǎng)能解決線性可分問題，而無法解決線形不可分問題，要想解決這一問題，必須引入多層網(wǎng)；Hebb學(xué)習(xí)律，Delta規(guī)則，感知器的訓(xùn)練算法。實(shí)驗(yàn)：實(shí)現(xiàn)一個(gè)感知器。

2023/8/37主要內(nèi)容第三章感知器2023/9/128主要內(nèi)容第四章

向后傳播BP（Backpropagation）網(wǎng)絡(luò)的構(gòu)成及其訓(xùn)練過程；隱藏層權(quán)調(diào)整方法的直觀分析，BP訓(xùn)練算法中使用的Delta規(guī)則（最速下降法）的理論推導(dǎo)；算法的收斂速度及其改進(jìn)討論；BP網(wǎng)絡(luò)中的幾個(gè)重要問題。實(shí)驗(yàn)：實(shí)現(xiàn)BP算法。

2023/8/38主要內(nèi)容第四章向后傳播2023/9/129主要內(nèi)容第五章

對(duì)傳網(wǎng)生物神經(jīng)系統(tǒng)與異構(gòu)網(wǎng)的引入；對(duì)傳網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)，Kohonen層與Grossberg層的正常運(yùn)行，對(duì)傳網(wǎng)的輸入向量的預(yù)處理，Kohonen層的訓(xùn)練算法及其權(quán)矩陣的初始化方法；Grossberg層的訓(xùn)練；完整的對(duì)傳網(wǎng)。實(shí)驗(yàn)：實(shí)現(xiàn)基本的對(duì)傳網(wǎng)。

2023/8/39主要內(nèi)容第五章對(duì)傳網(wǎng)2023/9/1210主要內(nèi)容第六章

統(tǒng)計(jì)方法統(tǒng)計(jì)方法是為了解決局部極小點(diǎn)問題而引入的，統(tǒng)計(jì)網(wǎng)絡(luò)的基本訓(xùn)練算法，模擬退火算法與收斂分析，Cauchy訓(xùn)練，人工熱處理與臨界溫度在訓(xùn)練中的使用，BP算法與Cauchy訓(xùn)練相結(jié)合。實(shí)驗(yàn)：實(shí)現(xiàn)模擬退火算法。

2023/8/310主要內(nèi)容第六章統(tǒng)計(jì)方法2023/9/1211主要內(nèi)容第七章循環(huán)網(wǎng)絡(luò)循環(huán)網(wǎng)絡(luò)的組織，穩(wěn)定性分析；相聯(lián)存儲(chǔ)；統(tǒng)計(jì)Hopfield網(wǎng)與Boltzmann機(jī)；Hopfield網(wǎng)用于解決TSP問題。BAM(BidirectionalAssociativeMemory)用于實(shí)現(xiàn)雙聯(lián)存儲(chǔ)；基本雙聯(lián)存儲(chǔ)網(wǎng)絡(luò)的結(jié)構(gòu)及訓(xùn)練；其他的幾種相聯(lián)存儲(chǔ)網(wǎng)絡(luò)。實(shí)驗(yàn)：實(shí)現(xiàn)一個(gè)Hopfield網(wǎng)。

2023/8/311主要內(nèi)容第七章循環(huán)網(wǎng)絡(luò)2023/9/1212主要內(nèi)容第八章

自適應(yīng)共振理論人腦的穩(wěn)定性與可塑性問題；ART模型的總體結(jié)構(gòu)與分塊描述；比較層與識(shí)別層之間的兩個(gè)聯(lián)接矩陣的初始化，識(shí)別過程與比較過程，查找的實(shí)現(xiàn)；訓(xùn)練討論。

2023/8/312主要內(nèi)容第八章自適應(yīng)共振理論2023/9/1213第1章

引言主要內(nèi)容：智能與人工智能；ANN的特點(diǎn)；歷史回顧與展望重點(diǎn)：智能的本質(zhì)；ANN是一個(gè)非線性大規(guī)模并行處理系統(tǒng)難點(diǎn)：對(duì)智能的刻畫

2023/8/313第1章

引言主要內(nèi)容：2023/9/1214第1章

引言1.1人工神經(jīng)網(wǎng)絡(luò)的提出1.2人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)1.3歷史回顧2023/8/314第1章

引言1.1人工神經(jīng)網(wǎng)絡(luò)的2023/9/1215第1章

引言人類對(duì)人工智能的研究可以分成兩種方式對(duì)應(yīng)著兩種不同的技術(shù)：傳統(tǒng)的人工智能技術(shù)——心理的角度模擬基于人工神經(jīng)網(wǎng)絡(luò)的技術(shù)——生理的角度模擬2023/8/315第1章

引言人類對(duì)人工智能的研究可2023/9/12161.1人工神經(jīng)網(wǎng)絡(luò)的提出

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡記作ANN），是對(duì)人類大腦系統(tǒng)的一階特性的一種描述。簡單地講，它是一個(gè)數(shù)學(xué)模型，可以用電子線路來實(shí)現(xiàn)，也可以用計(jì)算機(jī)程序來模擬，是人工智能研究的一種方法。

2023/8/3161.1人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)2023/9/12171.1人工神經(jīng)網(wǎng)絡(luò)的提出1.1.1智能與人工智能

一、

智能的含義智能是個(gè)體有目的的行為，合理的思維，以及有效的、適應(yīng)環(huán)境的綜合能力。

智能是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問題的能力。

人類個(gè)體的智能是一種綜合能力。2023/8/3171.1人工神經(jīng)網(wǎng)絡(luò)的提出1.1.1智2023/9/12181.1人工神經(jīng)網(wǎng)絡(luò)的提出智能可以包含8個(gè)方面感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能力感知是智能的基礎(chǔ)——最基本的能力

通過學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識(shí)的能力這是人類在世界中能夠不斷發(fā)展的最基本能力。理解知識(shí)，運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問題的能力這一能力可以算作是智能的高級(jí)形式。是人類對(duì)世界進(jìn)行適當(dāng)?shù)母脑?，推?dòng)社會(huì)不斷發(fā)展的基本能力。2023/8/3181.1人工神經(jīng)網(wǎng)絡(luò)的提出智能可以包含82023/9/12191.1人工神經(jīng)網(wǎng)絡(luò)的提出聯(lián)想、推理、判斷、決策語言的能力這是智能的高級(jí)形式的又一方面。預(yù)測和認(rèn)識(shí)“主動(dòng)”和“被動(dòng)”之分。聯(lián)想、推理、判斷、決策的能力是“主動(dòng)”的基礎(chǔ)。運(yùn)用進(jìn)行抽象、概括的能力上述這5種能力，被認(rèn)為是人類智能最為基本的能力

2023/8/3191.1人工神經(jīng)網(wǎng)絡(luò)的提出聯(lián)想、推理、判2023/9/12201.1人工神經(jīng)網(wǎng)絡(luò)的提出作為5種能力綜合表現(xiàn)形式的3種能力發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力預(yù)測、洞察事物發(fā)展、變化的能力

2023/8/3201.1人工神經(jīng)網(wǎng)絡(luò)的提出作為5種能力綜2023/9/12211.1人工神經(jīng)網(wǎng)絡(luò)的提出二、人工智能人工智能：研究如何使類似計(jì)算機(jī)這樣的設(shè)備去模擬人類的這些能力。研究人工智能的目的增加人類探索世界，推動(dòng)社會(huì)前進(jìn)的能力進(jìn)一步認(rèn)識(shí)自己三大學(xué)術(shù)流派符號(hào)主義（或叫做符號(hào)/邏輯主義）學(xué)派聯(lián)接主義（或者叫做PDP）學(xué)派進(jìn)化主義（或者叫做行動(dòng)/響應(yīng)）學(xué)派2023/8/3211.1人工神經(jīng)網(wǎng)絡(luò)的提出二、人工智能2023/9/12221.1人工神經(jīng)網(wǎng)絡(luò)的提出1.1.2物理符號(hào)系統(tǒng)

人腦的反映形式化

現(xiàn)實(shí)信息數(shù)據(jù)

物理系統(tǒng)物理符號(hào)系統(tǒng)

表現(xiàn)智能2023/8/3221.1人工神經(jīng)網(wǎng)絡(luò)的提出1.1.22023/9/12231.1人工神經(jīng)網(wǎng)絡(luò)的提出Newell和Simon假說：一個(gè)物理系統(tǒng)表現(xiàn)智能行為的充要條件是它有一個(gè)物理符號(hào)系統(tǒng)概念：物理符號(hào)系統(tǒng)需要有一組稱為符號(hào)的實(shí)體組成，它們都是物理模型，可以在另一類稱為符號(hào)結(jié)構(gòu)的實(shí)體中作為成分出現(xiàn)，以構(gòu)成更高級(jí)別的系統(tǒng)2023/8/3231.1人工神經(jīng)網(wǎng)絡(luò)的提出Newell和2023/9/12241.1人工神經(jīng)網(wǎng)絡(luò)的提出困難：抽象——舍棄一些特性，同時(shí)保留一些特性形式化處理——用物理符號(hào)及相應(yīng)規(guī)則表達(dá)物理系統(tǒng)的存在和運(yùn)行。局限：對(duì)全局性判斷、模糊信息處理、多粒度的視覺信息處理等是非常困難的。2023/8/3241.1人工神經(jīng)網(wǎng)絡(luò)的提出困難：2023/9/12251.1人工神經(jīng)網(wǎng)絡(luò)的提出1.1.3聯(lián)接主義觀點(diǎn)

核心：智能的本質(zhì)是聯(lián)接機(jī)制。

神經(jīng)網(wǎng)絡(luò)是一個(gè)由大量簡單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)

ANN力求從四個(gè)方面去模擬人腦的智能行為物理結(jié)構(gòu)

計(jì)算模擬

存儲(chǔ)與操作

訓(xùn)練

2023/8/3251.1人工神經(jīng)網(wǎng)絡(luò)的提出1.1.32023/9/12261.1人工神經(jīng)網(wǎng)絡(luò)的提出1.1.4兩種模型的比較

心理過程邏輯思維高級(jí)形式（思維的表象）

生理過程

形象思維

低級(jí)形式（思維的根本）

仿生

人工神經(jīng)網(wǎng)絡(luò)聯(lián)結(jié)主義觀點(diǎn)物理符號(hào)系統(tǒng)2023/8/3261.1人工神經(jīng)網(wǎng)絡(luò)的提出1.1.42023/9/12271.1人工神經(jīng)網(wǎng)絡(luò)的提出物理符號(hào)系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的差別

項(xiàng)目物理符號(hào)系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)處理方式邏輯運(yùn)算模擬運(yùn)算執(zhí)行方式串行并行動(dòng)作離散連續(xù)存儲(chǔ)局部集中全局分布2023/8/3271.1人工神經(jīng)網(wǎng)絡(luò)的提出物理符號(hào)系統(tǒng)和2023/9/12281.1人工神經(jīng)網(wǎng)絡(luò)的提出兩種人工智能技術(shù)的比較項(xiàng)目傳統(tǒng)的AI技術(shù)

ANN技術(shù)

基本實(shí)現(xiàn)方式

串行處理；由程序?qū)崿F(xiàn)控制

并行處理；對(duì)樣本數(shù)據(jù)進(jìn)行多目標(biāo)學(xué)習(xí)；通過人工神經(jīng)元之間的相互作用實(shí)現(xiàn)控制

基本開發(fā)方法

設(shè)計(jì)規(guī)則、框架、程序；用樣本數(shù)據(jù)進(jìn)行調(diào)試（由人根據(jù)已知的環(huán)境去構(gòu)造一個(gè)模型）

定義人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原型，通過樣本數(shù)據(jù)，依據(jù)基本的學(xué)習(xí)算法完成學(xué)習(xí)——自動(dòng)從樣本數(shù)據(jù)中抽取內(nèi)涵（自動(dòng)適應(yīng)應(yīng)用環(huán)境）

適應(yīng)領(lǐng)域

精確計(jì)算：符號(hào)處理，數(shù)值計(jì)算非精確計(jì)算：模擬處理，感覺，大規(guī)模數(shù)據(jù)并行處理模擬對(duì)象

左腦（邏輯思維）右腦（形象思維）2023/8/3281.1人工神經(jīng)網(wǎng)絡(luò)的提出兩種人工智能技2023/9/12291.2人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)信息的分布表示運(yùn)算的全局并行和局部操作處理的非線性

2023/8/3291.2人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)信息的分布表示2023/9/12301.2.1人工神經(jīng)網(wǎng)絡(luò)的概念1、定義

1）Hecht—Nielsen（1988年）人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無向訊號(hào)通道互連而成。這些處理單元（PE—ProcessingElement）具有局部內(nèi)存，并可以完成局部操作。每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接，這個(gè)輸出可以根據(jù)需要被分枝成希望個(gè)數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號(hào)，即相應(yīng)處理單元的信號(hào)，信號(hào)的大小不因分支的多少而變化。2023/8/3301.2.1人工神經(jīng)網(wǎng)絡(luò)的概念1、定義2023/9/12311.2.1人工神經(jīng)網(wǎng)絡(luò)的概念（1）Hecht—Nielsen（1988年）（續(xù)）處理單元的輸出信號(hào)可以是任何需要的數(shù)學(xué)模型，每個(gè)處理單元中進(jìn)行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達(dá)處理單元的所有輸入信號(hào)的當(dāng)前值和存儲(chǔ)在處理單元局部內(nèi)存中的值。2023/8/3311.2.1人工神經(jīng)網(wǎng)絡(luò)的概念（1）He2023/9/12321.2.1人工神經(jīng)網(wǎng)絡(luò)的概念強(qiáng)調(diào)：

①

并行、分布處理結(jié)構(gòu)；②一個(gè)處理單元的輸出可以被任意分枝，且大小不變；③輸出信號(hào)可以是任意的數(shù)學(xué)模型；④處理單元完全的局部操作

2023/8/3321.2.1人工神經(jīng)網(wǎng)絡(luò)的概念強(qiáng)調(diào)：2023/9/12331.2.1人工神經(jīng)網(wǎng)絡(luò)的概念（2）Rumellhart，McClelland，Hinton的PDP1）

一組處理單元（PE或AN）；2）

處理單元的激活狀態(tài)（ai）；3）

每個(gè)處理單元的輸出函數(shù)（fi）；4）

處理單元之間的聯(lián)接模式；5）

傳遞規(guī)則（∑wijoi）；6）

把處理單元的輸入及當(dāng)前狀態(tài)結(jié)合起來產(chǎn)生激活值的激活規(guī)則（Fi）；7）

通過經(jīng)驗(yàn)修改聯(lián)接強(qiáng)度的學(xué)習(xí)規(guī)則；8）

系統(tǒng)運(yùn)行的環(huán)境（樣本集合）。

2023/8/3331.2.1人工神經(jīng)網(wǎng)絡(luò)的概念（2）R2023/9/12341.2.1人工神經(jīng)網(wǎng)絡(luò)的概念（3）Simpson（1987年）人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。

2023/8/3341.2.1人工神經(jīng)網(wǎng)絡(luò)的概念（3）S2023/9/12351.2.1人工神經(jīng)網(wǎng)絡(luò)的概念2、關(guān)鍵點(diǎn)（1）

信息的分布表示（2）

運(yùn)算的全局并行與局部操作（3）

處理的非線性特征3、對(duì)大腦基本特征的模擬1）

形式上：神經(jīng)元及其聯(lián)接；BN對(duì)AN2）

表現(xiàn)特征：信息的存儲(chǔ)與處理2023/8/3351.2.1人工神經(jīng)網(wǎng)絡(luò)的概念2、關(guān)鍵點(diǎn)2023/9/12361.2.1人工神經(jīng)網(wǎng)絡(luò)的概念4、別名人工神經(jīng)系統(tǒng)（ANS）神經(jīng)網(wǎng)絡(luò)（NN）自適應(yīng)系統(tǒng)（AdaptiveSystems）、自適應(yīng)網(wǎng)（AdaptiveNetworks）聯(lián)接模型（Connectionism）神經(jīng)計(jì)算機(jī)（Neurocomputer）2023/8/3361.2.1人工神經(jīng)網(wǎng)絡(luò)的概念4、別名2023/9/12371.2.2學(xué)習(xí)（Learning）能力人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為自相聯(lián)的網(wǎng)絡(luò)異相聯(lián)的網(wǎng)絡(luò)：它在接受樣本集合A時(shí)，可以抽取集合A中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射關(guān)系?！俺橄蟆惫δ堋２煌娜斯ど窠?jīng)網(wǎng)絡(luò)模型，有不同的學(xué)習(xí)/訓(xùn)練算法2023/8/3371.2.2學(xué)習(xí)（Learning）能力2023/9/12381.2.3基本特征的自動(dòng)提取

由于其運(yùn)算的不精確性，表現(xiàn)成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實(shí)現(xiàn)模式的自動(dòng)分類。普化（Generalization）能力與抽象能力

2023/8/3381.2.3基本特征的自動(dòng)提取由于其運(yùn)2023/9/12391.2.4信息的分布存放信息的分布存提供容錯(cuò)功能由于信息被分布存放在幾乎整個(gè)網(wǎng)絡(luò)中，所以，當(dāng)其中的某一個(gè)點(diǎn)或者某幾個(gè)點(diǎn)被破壞時(shí)，信息仍然可以被存取。系統(tǒng)在受到局部損傷時(shí)還可以正常工作。并不是說可以任意地對(duì)完成學(xué)習(xí)的網(wǎng)絡(luò)進(jìn)行修改。也正是由于信息的分布存放，對(duì)一類網(wǎng)來說，當(dāng)它完成學(xué)習(xí)后，如果再讓它學(xué)習(xí)新的東西，這時(shí)就會(huì)破壞原來已學(xué)會(huì)的東西。

2023/8/3391.2.4信息的分布存放信息的分布存提2023/9/12401.2.5適應(yīng)性(Applicability)問題

擅長兩個(gè)方面：對(duì)大量的數(shù)據(jù)進(jìn)行分類，并且只有較少的幾種情況；必須學(xué)習(xí)一個(gè)復(fù)雜的非線性映射。目前應(yīng)用：人們主要將其用于語音、視覺、知識(shí)處理、輔助決策等方面。在數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問題的最佳解的近似解（不是最佳近似解）等方面也有較好的應(yīng)用。

2023/8/3401.2.5適應(yīng)性(Applicabili2023/9/12411.3歷史回顧

1.3.1萌芽期（20世紀(jì)40年代）人工神經(jīng)網(wǎng)絡(luò)的研究最早可以追溯到人類開始研究自己的智能的時(shí)期，到1949年止。1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會(huì)刊《BulletinofMethematicalBiophysics》1949年，心理學(xué)家D.O.Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說——Hebb學(xué)習(xí)律。

2023/8/3411.3歷史回顧1.3.1萌芽期（22023/9/12421.3.2第一高潮期（1950~1968）

以MarvinMinsky，F(xiàn)rankRosenblatt，BernardWidrow等為代表人物，代表作是單級(jí)感知器（Perceptron）。可用電子線路模擬。人們樂觀地認(rèn)為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)。

2023/8/3421.3.2第一高潮期（1950~1962023/9/12431.3.3反思期（1969~1982）

M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年

異或”運(yùn)算不可表示

二十世紀(jì)70年代和80年代早期的研究結(jié)果

認(rèn)識(shí)規(guī)律：認(rèn)識(shí)——實(shí)踐——再認(rèn)識(shí)

2023/8/3431.3.3反思期（1969~1982）2023/9/12441.3.4第二高潮期（1983~1990）

1982年，J.Hopfield提出循環(huán)網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動(dòng)力學(xué)的關(guān)系用非線性動(dòng)力學(xué)的方法來研究ANN的特性指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上

2023/8/3441.3.4第二高潮期（1983~1992023/9/12451.3.4第二高潮期（1983~1990）2）1984年，

J.Hopfield設(shè)計(jì)研制了后來被人們稱為Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動(dòng)。3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的Boltzmann機(jī)。

2023/8/3451.3.4第二高潮期（1983~1992023/9/12461.3.4第二高潮期（1983~1990）4）1986年，并行分布處理小組的Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法——BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。（Paker1982和Werbos1974年）國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)是1990年12月在北京舉行的。

2023/8/3461.3.4第二高潮期（1983~1992023/9/12471.3.5再認(rèn)識(shí)與應(yīng)用研究期（1991~）

問題：1）應(yīng)用面還不夠?qū)?）結(jié)果不夠精確3）存在可信度的問題

2023/8/3471.3.5再認(rèn)識(shí)與應(yīng)用研究期（19912023/9/12481.3.5再認(rèn)識(shí)與應(yīng)用研究期（1991~）

研究：1）開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。2）充分發(fā)揮兩種技術(shù)各自的優(yōu)勢(shì)是一個(gè)有效方法3）希望在理論上尋找新的突破，建立新的專用/通用模型和算法。4）進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷地豐富對(duì)人腦的認(rèn)識(shí)。

2023/8/3481.3.5再認(rèn)識(shí)與應(yīng)用研究期（19912023/9/1249第2章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)主要內(nèi)容：BN與AN；拓?fù)浣Y(jié)構(gòu)；存儲(chǔ)；訓(xùn)練重點(diǎn)：AN；拓?fù)浣Y(jié)構(gòu)；訓(xùn)練難點(diǎn)：訓(xùn)練2023/8/349第2章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)主要內(nèi)容：2023/9/1250第2章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1生物神經(jīng)網(wǎng)2.2人工神經(jīng)元2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦?.4存儲(chǔ)與映射2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練2023/8/350第2章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1生物神經(jīng)2023/9/12512.1生物神經(jīng)網(wǎng)1、構(gòu)成胞體(Soma)枝蔓（Dendrite）胞體(Soma)

軸突（Axon）突觸（Synapse）2、工作過程2023/8/3512.1生物神經(jīng)網(wǎng)1、構(gòu)成胞體(Soma2023/9/12522.1生物神經(jīng)網(wǎng)3、六個(gè)基本特征：1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱；3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；4）信號(hào)可以是起刺激作用的，也可以是起抑制作用的；5）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元的狀態(tài)；6)每個(gè)神經(jīng)元可以有一個(gè)“閾值”。2023/8/3522.1生物神經(jīng)網(wǎng)3、六個(gè)基本特征：2023/9/12532.2人工神經(jīng)元

神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個(gè)基本特性。

2023/8/3532.2人工神經(jīng)元神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)2023/9/12542.2.1人工神經(jīng)元的基本構(gòu)成

人工神經(jīng)元模擬生物神經(jīng)元的一階特性。輸入：X=（x1，x2，…，xn）聯(lián)接權(quán)：W=（w1，w2，…，wn）T網(wǎng)絡(luò)輸入：

net=∑xiwi向量形式：

net=XWxnwn∑x1w1x2w2net=XW…2023/8/3542.2.1人工神經(jīng)元的基本構(gòu)成人工神2023/9/12552.2.2激活函數(shù)(ActivationFunction)

激活函數(shù)——執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵(lì)函數(shù)、活化函數(shù)：o=f（net）

1、線性函數(shù)（LinerFunction）

f（net）=k*net+c

netooc2023/8/3552.2.2激活函數(shù)(Activatio2023/9/12562、非線性斜面函數(shù)(RampFunction)

γ ifnet≥θf（net）=k*net if|net|<θ -γ ifnet≤-θ

γ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。

2023/8/3562、非線性斜面函數(shù)(RampFunct2023/9/12572、非線性斜面函數(shù)（RampFunction）γ-γθ

-θ

net

o

2023/8/3572、非線性斜面函數(shù)（RampFunct2023/9/12583、閾值函數(shù)（ThresholdFunction）階躍函數(shù)

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均為非負(fù)實(shí)數(shù)，θ為閾值二值形式：

1 ifnet>θf（net）= 0 ifnet≤θ雙極形式：

1 ifnet>θf（net）= -1 ifnet≤θ

2023/8/3583、閾值函數(shù)（ThresholdFun2023/9/12593、閾值函數(shù)（ThresholdFunction）階躍函數(shù)β

-γθonet02023/8/3593、閾值函數(shù)（ThresholdFun2023/9/12604、S形函數(shù)

壓縮函數(shù)（SquashingFunction）和邏輯斯特函數(shù)（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d為常數(shù)。它的飽和值為a和a+b。最簡單形式為：f（net）=1/(1+exp(-d*net))

函數(shù)的飽和值為0和1。S形函數(shù)有較好的增益控制

2023/8/3604、S形函數(shù)壓縮函數(shù)（Squashin2023/9/12614、S形函數(shù)

a+bo(0,c)netac=a+b/22023/8/3614、S形函數(shù)a+bo(0,c)net2023/9/12622.2.3M-P模型

x2w2

∑fo=f（net）xnwn…net=XWx1w1McCulloch—Pitts（M—P）模型，也稱為處理單元（PE）

2023/8/3622.2.3M-P模型x2w22023/9/1263上次課內(nèi)容回顧擅長兩個(gè)方面目前應(yīng)用語音、視覺、知識(shí)處理數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問題的最佳解的近似解（不是最佳近似解）輔助決策——預(yù)報(bào)與智能管理通信——自適應(yīng)均衡、回波抵消、路由選擇、ATM中的呼叫接納、識(shí)別與控制空間科學(xué)——對(duì)接、導(dǎo)航、制導(dǎo)、飛行程序優(yōu)化2023/8/363上次課內(nèi)容回顧擅長兩個(gè)方面2023/9/1264上次課內(nèi)容回顧發(fā)展過程萌芽期（20世紀(jì)40年代）M-P模型Hebb學(xué)習(xí)律第一高潮期（1950~1968）Perceptron的興衰反思期（1969~1982）第二高潮期（1983~1990）4個(gè)標(biāo)志性成果再認(rèn)識(shí)與應(yīng)用研究期（1991~）2023/8/364上次課內(nèi)容回顧發(fā)展過程2023/9/1265上次課內(nèi)容回顧生物神經(jīng)網(wǎng)六個(gè)基本特征神經(jīng)元及其聯(lián)接、信號(hào)傳遞、訓(xùn)練、刺激與抑制、累積效果、“閾值”。人工神經(jīng)元的基本構(gòu)成xnwn∑x1w1x2w2net=XW…2023/8/365上次課內(nèi)容回顧生物神經(jīng)網(wǎng)六個(gè)基本特征xn2023/9/1266上次課內(nèi)容回顧激活函數(shù)與M-P模型

線性函數(shù)、非線性斜面函數(shù)、閾值函數(shù)

S形函數(shù)

M-P模型x2w2

∑fo=f（net）xnwn…net=XWx1w12023/8/366上次課內(nèi)容回顧激活函數(shù)與M-P模型x22023/9/12672.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦?/p>

連接的拓?fù)浔硎?/p>

ANi wij ANj

2023/8/3672.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦赃B接的拓2023/9/12682.3.1聯(lián)接模式

用正號(hào)（“+”，可省略）表示傳送來的信號(hào)起刺激作用，它用于增加神經(jīng)元的活躍度；用負(fù)號(hào)（“-”）表示傳送來的信號(hào)起抑制作用，它用于降低神經(jīng)元的活躍度。層次（又稱為“級(jí)”）的劃分，導(dǎo)致了神經(jīng)元之間的三種不同的互連模式：

2023/8/3682.3.1聯(lián)接模式用正號(hào)（“+”，可2023/9/12692.3.1聯(lián)接模式

1、層（級(jí)）內(nèi)聯(lián)接層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)（Intra-field）聯(lián)接或側(cè)聯(lián)接（Lateral）。用來加強(qiáng)和完成層內(nèi)神經(jīng)元之間的競爭2、

循環(huán)聯(lián)接反饋信號(hào)。

2023/8/3692.3.1聯(lián)接模式1、層（級(jí)）內(nèi)聯(lián)2023/9/12702.3.1聯(lián)接模式3、層（級(jí)）間聯(lián)接

層間（Inter-field）聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接。這種聯(lián)接用來實(shí)現(xiàn)層間的信號(hào)傳遞前饋信號(hào)反饋信號(hào)

2023/8/3702.3.1聯(lián)接模式3、層（級(jí)）間聯(lián)接2023/9/12712.3.2網(wǎng)絡(luò)的分層結(jié)構(gòu)

單級(jí)網(wǎng)

簡單單級(jí)網(wǎng)

2023/8/3712.3.2網(wǎng)絡(luò)的分層結(jié)構(gòu)單級(jí)網(wǎng)2023/9/1272簡單單級(jí)網(wǎng)……x1x2…xno1o2omwnmw11w1mw2mwn1輸出層輸入層 2023/8/372簡單單級(jí)網(wǎng)……x1x2…xno1o2om2023/9/1273簡單單級(jí)網(wǎng)W=（wij）輸出層的第j個(gè)神經(jīng)元的網(wǎng)絡(luò)輸入記為netj：

netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）2023/8/373簡單單級(jí)網(wǎng)W=（wij）2023/9/1274單級(jí)橫向反饋網(wǎng)輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 V2023/8/374單級(jí)橫向反饋網(wǎng)輸出層x1o1w11w1m2023/9/1275單級(jí)橫向反饋網(wǎng)

V=（vij）NET=XW+OVO=F（NET）時(shí)間參數(shù)——神經(jīng)元的狀態(tài)在主時(shí)鐘的控制下同步變化考慮X總加在網(wǎng)上的情況NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1))O（0）=0考慮僅在t=0時(shí)加X的情況。

穩(wěn)定性判定2023/8/375單級(jí)橫向反饋網(wǎng)V=（vij）2023/9/1276多級(jí)網(wǎng)輸出層隱藏層輸入層o1o2om…x1x2xn………………2023/8/376多級(jí)網(wǎng)輸出層隱藏層輸入層o1o2om…x2023/9/1277層次劃分

信號(hào)只被允許從較低層流向較高層。層號(hào)確定層的高低：層號(hào)較小者，層次較低，層號(hào)較大者，層次較高。輸入層：被記作第0層。該層負(fù)責(zé)接收來自網(wǎng)絡(luò)外部的信息輸出層隱藏層輸入層o1o2om…x1x2xn………………2023/8/377層次劃分輸出層隱藏層輸入層o1o2om2023/9/1278第j層：第j-1層的直接后繼層（j>0），它直接接受第j-1層的輸出。輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號(hào)，負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號(hào)，也不直接向外界發(fā)送信號(hào)輸出層隱藏層輸入層o1o2om…x1x2xn………………2023/8/378第j層：第j-1層的直接后繼層（j>0）2023/9/1279約定

:輸出層的層號(hào)為該網(wǎng)絡(luò)的層數(shù)：n層網(wǎng)絡(luò)，或n級(jí)網(wǎng)絡(luò)。第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對(duì)應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時(shí)候，一般我們用W（j）表示第j層矩陣。輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2023/8/379約定:輸出層隱藏層輸入層o1o2om…2023/9/1280多級(jí)網(wǎng)——h層網(wǎng)絡(luò)輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2023/8/380多級(jí)網(wǎng)——h層網(wǎng)絡(luò)輸出層隱藏層輸入層o12023/9/1281多級(jí)網(wǎng)非線性激活函數(shù)

F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))2023/8/381多級(jí)網(wǎng)非線性激活函數(shù)2023/9/1282循環(huán)網(wǎng)x1o1輸出層隱藏層輸入層x2o2omxn…………………2023/8/382循環(huán)網(wǎng)x1o1輸出層隱藏層輸入層x2o22023/9/1283循環(huán)網(wǎng)

如果將輸出信號(hào)反饋到輸入端,就可構(gòu)成一個(gè)多層的循環(huán)網(wǎng)絡(luò)。輸入的原始信號(hào)被逐步地“加強(qiáng)”、被“修復(fù)”。大腦的短期記憶特征——看到的東西不是一下子就從腦海里消失的。穩(wěn)定：反饋信號(hào)會(huì)引起網(wǎng)絡(luò)輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當(dāng)變化最后消失時(shí)，網(wǎng)絡(luò)達(dá)到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。

2023/8/383循環(huán)網(wǎng)如果將輸出信號(hào)反饋到輸入端,就可2023/9/12842.4存儲(chǔ)與映射

空間模式（SpatialModel）時(shí)空模式（SpatialtemporalModel）空間模式三種存儲(chǔ)類型1、

RAM方式（RandomAccessMemory）隨機(jī)訪問方式是將地址映射到數(shù)據(jù)。2、

CAM方式（ContentAddressableMemory）內(nèi)容尋址方式是將數(shù)據(jù)映射到地址。3、

AM方式（AssociativeMemory）相聯(lián)存儲(chǔ)方式是將數(shù)據(jù)映射到數(shù)據(jù)。

2023/8/3842.4存儲(chǔ)與映射空間模式（Spati2023/9/12852.4存儲(chǔ)與映射后續(xù)的兩種方式是人工神經(jīng)網(wǎng)絡(luò)的工作方式。在學(xué)習(xí)/訓(xùn)練期間，人工神經(jīng)網(wǎng)絡(luò)以CAM方式工作；權(quán)矩陣又被稱為網(wǎng)絡(luò)的長期存儲(chǔ)（LongTermMemory，簡記為LTM）。網(wǎng)絡(luò)在正常工作階段是以AM方式工作的；神經(jīng)元的狀態(tài)表示的模式為短期存儲(chǔ)（ShortTermMemory，簡記為STM）。

2023/8/3852.4存儲(chǔ)與映射后續(xù)的兩種方式是人工神2023/9/12862.4存儲(chǔ)與映射自相聯(lián)（Auto-associative）映射：訓(xùn)練網(wǎng)絡(luò)的樣本集為向量集合為{A1，A2，…，An}在理想情況下，該網(wǎng)絡(luò)在完成訓(xùn)練后，其權(quán)矩陣存放的將是上面所給的向量集合。

2023/8/3862.4存儲(chǔ)與映射自相聯(lián)（Auto-as2023/9/12872.4存儲(chǔ)與映射異相聯(lián)（Hetero-associative）映射

{（A1，B1），（A2，B2），…，（An，Bn）}該網(wǎng)絡(luò)在完成訓(xùn)練后，其權(quán)矩陣存放的將是上面所給的向量集合所蘊(yùn)含的對(duì)應(yīng)關(guān)系。當(dāng)輸入向量A不是樣本的第一的分量時(shí)，樣本中不存在這樣的元素（Ak，Bk），使得

Ai≤Ak≤A或者A≤Ak≤Aj且此時(shí)有

Ai≤A≤Aj則向量B是Bi與Bj的插值。

2023/8/3872.4存儲(chǔ)與映射異相聯(lián)（Hetero-2023/9/12882.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對(duì)它的訓(xùn)練過程2023/8/3882.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)2023/9/12892.5.1無導(dǎo)師學(xué)習(xí)

無導(dǎo)師學(xué)習(xí)(UnsupervisedLearning)與無導(dǎo)師訓(xùn)練(UnsupervisedTraining)相對(duì)應(yīng)

抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。2023/8/3892.5.1無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)(Uns2023/9/12902.5.1無導(dǎo)師學(xué)習(xí)Hebb學(xué)習(xí)律、競爭與協(xié)同（CompetitiveandCooperative）學(xué)習(xí)、隨機(jī)聯(lián)接系統(tǒng)（RandomlyConnectedLearning）等。Hebb算法[D.O.Hebb在1961年]的核心：當(dāng)兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)被加強(qiáng)，否則被減弱。數(shù)學(xué)表達(dá)式表示：Wij（t+1）=Wij（t）+αoi（t）oj（t）2023/8/3902.5.1無導(dǎo)師學(xué)習(xí)Hebb學(xué)習(xí)律、競爭2023/9/12912.5.2有導(dǎo)師學(xué)習(xí)

有導(dǎo)師學(xué)習(xí)(SupervisedLearning)與有導(dǎo)師訓(xùn)練(SupervisedTraining)相對(duì)應(yīng)。輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一個(gè)“訓(xùn)練對(duì)”。有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：

1）

從樣本集合中取一個(gè)樣本（Ai，Bi）；

2）

計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出O；

3）

求D=Bi-O；

4）

根據(jù)D調(diào)整權(quán)矩陣W；

5）對(duì)每個(gè)樣本重復(fù)上述過程，直到對(duì)整個(gè)樣本集來說，誤差不超過規(guī)定范圍。

2023/8/3912.5.2有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)(Su2023/9/1292Delta規(guī)則

Widrow和Hoff的寫法：Wij(t+1)=Wij(t)+α(yj-aj(t))oi(t)也可以寫成：Wij(t+1)=Wij(t)+?Wij(t)?Wij(t)=αδjoi(t)δj=yj-aj(t)Grossberg的寫法為：?Wij(t)=αai(t)(oj(t)-Wij(t))更一般的Delta規(guī)則為：?Wij(t)=g(ai(t)，yj，oj(t)，Wij(t))2023/8/392Delta規(guī)則Widrow和Hoff的2023/9/1293其它再例學(xué)習(xí)外部環(huán)境對(duì)系統(tǒng)的輸出結(jié)果給出評(píng)價(jià)，學(xué)習(xí)系統(tǒng)通過強(qiáng)化受獎(jiǎng)的動(dòng)作來改善自身性能。學(xué)習(xí)規(guī)則誤差糾錯(cuò)學(xué)習(xí)Hebb學(xué)習(xí)競爭學(xué)習(xí)2023/8/393其它再例學(xué)習(xí)2023/9/1294練習(xí)題P291、4、6、10、15

2023/8/394練習(xí)題2023/9/1295上次課內(nèi)容回顧:網(wǎng)絡(luò)的分層結(jié)構(gòu)聯(lián)接模式刺激聯(lián)接與抑制聯(lián)接前饋信號(hào)與反饋信號(hào)層（級(jí)）內(nèi)聯(lián)接循環(huán)聯(lián)接層（級(jí)）間聯(lián)接簡單單級(jí)網(wǎng)：NET=XW；O=F(NET)單級(jí)橫向反饋網(wǎng):NET=XW+O(t)V;O(t)=F(NET)2023/8/395上次課內(nèi)容回顧:網(wǎng)絡(luò)的分層結(jié)構(gòu)聯(lián)接模式2023/9/1296上次課內(nèi)容回顧:網(wǎng)絡(luò)的分層結(jié)構(gòu)非循環(huán)多級(jí)網(wǎng)層次劃分非線性激活函數(shù)：

F3(F2(F1(XW1)W2)W3)循環(huán)網(wǎng)短期記憶特征及其對(duì)輸入信號(hào)的修復(fù)作用時(shí)間參數(shù)與主時(shí)鐘穩(wěn)定性2023/8/396上次課內(nèi)容回顧:網(wǎng)絡(luò)的分層結(jié)構(gòu)非循環(huán)多級(jí)2023/9/1297上次課內(nèi)容回顧：存儲(chǔ)與映射模式空間模式時(shí)空模式模式三種存儲(chǔ)類型RAM、CAM、AM模式的存儲(chǔ)與運(yùn)行CAM——LTM——訓(xùn)練AM——STM——運(yùn)行相聯(lián)：自相聯(lián)映射、異相聯(lián)映射2023/8/397上次課內(nèi)容回顧：存儲(chǔ)與映射模式2023/9/1298上次課內(nèi)容回顧：訓(xùn)練Rosenblatt的學(xué)習(xí)定理無導(dǎo)師學(xué)習(xí)抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性樣本集：{A1，A2，…，An}Hebb算法：Wij(t+1)=Wij(t)+αoi(t)oj(t)有導(dǎo)師學(xué)習(xí)抽取樣本蘊(yùn)含的映射關(guān)系樣本集：{(A1,B1)，(A2,B2)，…，(An,Bn)}

訓(xùn)練算法Delta規(guī)則2023/8/398上次課內(nèi)容回顧：訓(xùn)練Rosenblatt2023/9/1299第3章

感知器

主要內(nèi)容：感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展；線性可分問題與線性不可分問題；Hebb學(xué)習(xí)律；Delta規(guī)則;感知器的訓(xùn)練算法。重點(diǎn)：感知器的結(jié)構(gòu)、表達(dá)能力、學(xué)習(xí)算法難點(diǎn)：感知器的表達(dá)能力

2023/8/399第3章感知器主要內(nèi)容：2023/9/12100第3章

感知器3.1感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展

3.2感知器的學(xué)習(xí)算法

3.2.1離散單輸出感知器訓(xùn)練算法

3.2.2離散多輸出感知器訓(xùn)練算法3.2.3連續(xù)多輸出感知器訓(xùn)練算法3.3線性不可分問題3.3.1異或(Exclusive–OR)問題

3.3.2線性不可分問題的克服

實(shí)現(xiàn)！問題的發(fā)現(xiàn)與解決！2023/8/3100第3章感知器3.1感知器與人工神經(jīng)2023/9/121013.1感知器與ANN的早期發(fā)展McCulloch和Pitts1943年，發(fā)表第一個(gè)系統(tǒng)的ANN研究——閾值加權(quán)和(M-P)數(shù)學(xué)模型。1947年，開發(fā)出感知器。1949年，提出Hebb學(xué)習(xí)律。單輸出的感知器(M-P模型)x2x1oxn…2023/8/31013.1感知器與ANN的早期發(fā)展McC2023/9/121023.1感知器與ANN的早期發(fā)展1962年，Rosenblatt宣布：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它能表示的任何東西

o1多輸出感知器x1x2o2omxn…

………輸入層輸出層2023/8/31023.1感知器與ANN的早期發(fā)展1962023/9/121033.2感知器的學(xué)習(xí)算法

感知器的學(xué)習(xí)是有導(dǎo)師學(xué)習(xí)感知器的訓(xùn)練算法的基本原理來源于著名的Hebb學(xué)習(xí)律基本思想：逐步地將樣本集中的樣本輸入到網(wǎng)絡(luò)中,根據(jù)輸出結(jié)果和理想輸出之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)矩陣

2023/8/31033.2感知器的學(xué)習(xí)算法感知器的2023/9/121043.2.1離散單輸出感知器訓(xùn)練算法

二值網(wǎng)絡(luò)：自變量及其函數(shù)的值、向量分量的值只取0和1函數(shù)、向量。權(quán)向量：W=(w1，w2，…，wn)輸入向量：X=(x1，x2，…，xn)訓(xùn)練樣本集：{(X，Y)|Y為輸入向量X對(duì)應(yīng)的輸出}2023/8/31043.2.1離散單輸出感知器訓(xùn)練算法二2023/9/12105算法3-1離散單輸出感知器訓(xùn)練算法

1.初始化權(quán)向量W；2.重復(fù)下列過程，直到訓(xùn)練完成：

2.1對(duì)每個(gè)樣本（X，Y），重復(fù)如下過程：

2.1.1輸入X；

2.1.2計(jì)算o=F（XW）；

2.1.3如果輸出不正確，則 當(dāng)o=0時(shí)，取W=W+X， 當(dāng)o=1時(shí)，取W=W-X2023/8/3105算法3-1離散單輸出感知器訓(xùn)練算法12023/9/121063.2.2離散多輸出感知器訓(xùn)練算法

樣本集：{(X,Y)|Y為輸入向量X對(duì)應(yīng)的輸出}輸入向量：X=(x1,x2,…,xn)理想輸出向量：Y=(y1,y2,…,ym)激活函數(shù)：F

權(quán)矩陣W=(wij)實(shí)際輸出向量：O=(o1,o2,…,om)o1多輸出感知器x1x2o2omxn…

………輸入層輸出層2023/8/31063.2.2離散多輸出感知器訓(xùn)練算法樣2023/9/12107算法3-2離散多輸出感知器訓(xùn)練算法

1.初始化權(quán)矩陣W；2.重復(fù)下列過程，直到訓(xùn)練完成：

2.1對(duì)每個(gè)樣本（X，Y），重復(fù)如下過程：

2.1.1輸入X；

2.1.2計(jì)算O=F（XW）；

2.1.3forj=1tomdo執(zhí)行如下操作：

ifoj≠yjthen ifoi=0thenfori=1ton wij=wij+xi elsefori=1tondo wij=wij-xi2023/8/3107算法3-2離散多輸出感知器訓(xùn)練算法12023/9/12108算法3-2離散多輸出感知器訓(xùn)練算法算法思想：將單輸出感知器的處理逐個(gè)地用于多輸出感知器輸出層的每一個(gè)神經(jīng)元的處理。第1步，權(quán)矩陣的初始化：一系列小偽隨機(jī)數(shù)。

2023/8/3108算法3-2離散多輸出感知器訓(xùn)練算法算法2023/9/12109算法3-2離散多輸出感知器訓(xùn)練算法第2步，循環(huán)控制。方法1：循環(huán)次數(shù)控制法：對(duì)樣本集執(zhí)行規(guī)定次數(shù)的迭代改進(jìn)——分階段迭代控制：設(shè)定一個(gè)基本的迭代次數(shù)N，每當(dāng)訓(xùn)練完成N次迭代后，就給出一個(gè)中間結(jié)果2023/8/3109算法3-2離散多輸出感知器訓(xùn)練算法第22023/9/12110算法3-2離散多輸出感知器訓(xùn)練算法方法2：精度控制法：給定一個(gè)精度控制參數(shù)精度度量：實(shí)際輸出向量與理想輸出向量的對(duì)應(yīng)分量的差的絕對(duì)值之和；實(shí)際輸出向量與理想輸出向量的歐氏距離的和“死循環(huán)”：網(wǎng)絡(luò)無法表示樣本所代表的問題2023/8/3110算法3-2離散多輸出感知器訓(xùn)練算法方法2023/9/12111算法3-2離散多輸出感知器訓(xùn)練算法方法3：綜合控制法：將這兩種方法結(jié)合起來使用

注意：精度參數(shù)的設(shè)置。根據(jù)實(shí)際問題選定；初始測試階段，精度要求低，測試完成后，再給出實(shí)際的精度要求。2023/8/3111算法3-2離散多輸出感知器訓(xùn)練算法方法2023/9/121123.2.3連續(xù)多輸出感知器訓(xùn)練算法

用公式wij=wij+α（yj-oj）xi取代了算法3-2第2.1.3步中的多個(gè)判斷yj與oj之間的差別對(duì)wij的影響由α（yj-oj）xi表現(xiàn)出來好處：不僅使得算法的控制在結(jié)構(gòu)上更容易理解，而且還使得它的適應(yīng)面更寬

2023/8/31123.2.3連續(xù)多輸出感知器訓(xùn)練算法2023/9/12113算法3-3連續(xù)多輸出感知器訓(xùn)練算法

1．用適當(dāng)?shù)男坞S機(jī)數(shù)初始化權(quán)矩陣W；2.初置精度控制參數(shù)ε，學(xué)習(xí)率α，精度控制變量d=ε+1；3．Whiled≥εdo3.1d=0；

3.2for每個(gè)樣本（X，Y）do 3.2.1輸入X（=(x1，x2，…，xn)）；

3.2.2求O=F（XW）；

3.2.3修改權(quán)矩陣W：

fori=1ton，j=1tomdo wij=wij+α(yj-oj)xi；

3.2.4累積誤差

forj=1tomdo d=d+(yj-oj)22023/8/3113算法3-3連續(xù)多輸出感知器訓(xùn)練算法2023/9/12114算法3-3連續(xù)多輸出感知器訓(xùn)練算法

1、程序?qū)崿F(xiàn):ε、α、d、i、j、n、m為簡單變量來表示，W為n行m列的二維數(shù)組。樣本集二維數(shù)組2、系統(tǒng)的調(diào)試3、Minsky在1969年證明，有許多基本問題是感知器無法解決4、問題線性可分性可能與時(shí)間有關(guān)5、很難從樣本數(shù)據(jù)集直接看出問題是否線性可分6、未能證明，一個(gè)感知器究竟需要經(jīng)過多少步才能完成訓(xùn)練。2023/8/3114算法3-3連續(xù)多輸出感知器訓(xùn)練算法2023/9/121153.3線性不可分問題

3.3.1異或(Exclusive–OR)問題

g（x，y）y01x0011102023/8/31153.3線性不可分問題3.3.1異2023/9/12116用于求解XOR的單神經(jīng)元感知器

xyo單神經(jīng)元感知器的圖像ax+by=θ1yx1(0,0)(1,1)2023/8/3116用于求解XOR的單神經(jīng)元感知器xyo2023/9/12117線性不可分函數(shù)變量函數(shù)及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f160000000000111111110100001111000011111000110011001100111101010101010101012023/8/3117線性不可分函數(shù)變量函數(shù)及其值xyf1f2023/9/12118線性不可分函數(shù)R.O.Windner1960年

自變量個(gè)數(shù)函數(shù)的個(gè)數(shù)線性可分函數(shù)的個(gè)數(shù)144216143256104465,536188254.3*10994,57261.8*10195,028,1342023/8/3118線性不可分函數(shù)R.O.Windne2023/9/121193.3.2線性不可分問題的克服

用多個(gè)單級(jí)網(wǎng)組合在一起，并用其中的一個(gè)去綜合其它單級(jí)網(wǎng)的結(jié)果，我們就可以構(gòu)成一個(gè)兩級(jí)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以被用來在平面上劃分出一個(gè)封閉或者開放的凸域來一個(gè)非凸域可以拆分成多個(gè)凸域。按照這一思路，三級(jí)網(wǎng)將會(huì)更一般一些，我們可以用它去識(shí)別出一些非凸域來。解決好隱藏層的聯(lián)接權(quán)的調(diào)整問題是非常關(guān)鍵的

2023/8/31193.3.2線性不可分問題的克服用多2023/9/12120兩級(jí)單輸出網(wǎng)在n維空間中劃分出m邊凸域

…x1ANmAN1ANoxn…o2023/8/3120兩級(jí)單輸出網(wǎng)在n維空間中劃分出m邊凸域2023/9/12121第1次課堂測試（5分*4）Newell和Simon的物理符號(hào)系統(tǒng)所基于的假說是什么？它在什么層面上如何實(shí)現(xiàn)對(duì)人類智能的模擬？聯(lián)接主義觀點(diǎn)所基于的假說是什么？它在什么層面上如何實(shí)現(xiàn)對(duì)人類智能的模擬？畫出有導(dǎo)師算法的流程圖。證明：一個(gè)激活函數(shù)為線性函數(shù)的3級(jí)非循環(huán)網(wǎng)等價(jià)于一個(gè)單級(jí)網(wǎng)。2023/8/3121第1次課堂測試（5分*4）Newell2023/9/12122習(xí)題P381、62023/8/3122習(xí)題P381、62023/9/12123第1次課堂測試解答要點(diǎn)Newell和Simon的物理符號(hào)系統(tǒng)所基于的假說是什么？它在什么層面上如何實(shí)現(xiàn)對(duì)人類智能的模擬？要點(diǎn)：物理符號(hào)系統(tǒng)；心理；符號(hào)對(duì)事務(wù)及變換的描述聯(lián)接主義觀點(diǎn)所基于的假說是什么？它在什么層面上如何實(shí)現(xiàn)對(duì)人類智能的模擬？

要點(diǎn)：聯(lián)接機(jī)制；生理；模式、聯(lián)接權(quán)的調(diào)整與對(duì)變換的表示2023/8/3123第1次課堂測試解答要點(diǎn)Newell和S2023/9/12124第1次課堂測試解答要點(diǎn)畫出有導(dǎo)師學(xué)習(xí)算法的流程圖。

要點(diǎn)：如何處理精度與樣本集兩層循環(huán)證明：一個(gè)激活函數(shù)為線性函數(shù)的3級(jí)非循環(huán)網(wǎng)等價(jià)于一個(gè)單級(jí)網(wǎng)。

要點(diǎn)：一級(jí)網(wǎng)與多級(jí)網(wǎng)的的數(shù)學(xué)模型2023/8/3124第1次課堂測試解答要點(diǎn)畫出有導(dǎo)師學(xué)習(xí)算2023/9/12125上次課內(nèi)容回顧:學(xué)習(xí)算法離散單輸出感知器訓(xùn)練算法W=W+X;W=W-XW=W+(Y-O)X離散多輸出感知器訓(xùn)練算法Wj=Wj+(yj-oj)X連續(xù)多輸出感知器訓(xùn)練算法wij=wij+α(yj-oj)xi2023/8/3125上次課內(nèi)容回顧:學(xué)習(xí)算法離散單輸出感知2023/9/12126上次課內(nèi)容回顧:線性不可分問題ax+by=θ1yx1(0,0)(1,1)線性不可分問題的克服兩級(jí)網(wǎng)絡(luò)可以劃分出封閉或開放的凸域多級(jí)網(wǎng)將可以識(shí)別出非凸域隱藏層的聯(lián)接權(quán)的調(diào)整問題是非常關(guān)鍵2023/8/3126上次課內(nèi)容回顧:線性不可分問題ax+b2023/9/12127第4章

BP網(wǎng)絡(luò)

主要內(nèi)容：BP網(wǎng)絡(luò)的構(gòu)成隱藏層權(quán)的調(diào)整分析Delta規(guī)則理論推導(dǎo)算法的收斂速度及其改進(jìn)討論BP網(wǎng)絡(luò)中的幾個(gè)重要問題

重點(diǎn)：BP算法難點(diǎn)：Delta規(guī)則的理論推導(dǎo)

2023/8/3127第4章BP網(wǎng)絡(luò)主要內(nèi)容：2023/9/12128第4章

BP網(wǎng)絡(luò)4.1概述

4.2基本BP算法

4.3算法的改進(jìn)

4.4算法的實(shí)現(xiàn)

4.5算法的理論基礎(chǔ)

4.6幾個(gè)問題的討論

2023/8/3128第4章BP網(wǎng)絡(luò)4.1概述2023/9/121294.1概述

1、BP算法的出現(xiàn)非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨(dú)立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點(diǎn)：訓(xùn)練速度非常慢、局部極小點(diǎn)的逃離問題、算法不一定收斂。3、優(yōu)點(diǎn)：廣泛的適應(yīng)性和有效性。2023/8/31294.1概述1、BP算法的出現(xiàn)2023/9/121304.2基本BP算法

4.2.1網(wǎng)絡(luò)的構(gòu)成

神經(jīng)元的網(wǎng)絡(luò)輸入：

neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：2023/8/31304.2基本BP算法4.2.1網(wǎng)絡(luò)2023/9/12131輸出函數(shù)分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的2023/8/3131輸出函數(shù)分析

0.5f′(net)2023/9/12132網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)2023/8/3132網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入2023/9/12133網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

BP網(wǎng)的結(jié)構(gòu)輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。BP網(wǎng)一般都選用二級(jí)網(wǎng)絡(luò)。2023/8/3133網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)BP網(wǎng)的結(jié)構(gòu)2023/9/12134網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………WV2023/8/3134網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入2023/9/121354.2.2訓(xùn)練過程概述

樣本：(輸入向量，理想輸出向量)權(quán)初始化：“小隨機(jī)數(shù)”與飽和狀態(tài)；“不同”保證網(wǎng)絡(luò)可以學(xué)。1、向前傳播階段：（1）從樣本集中取一個(gè)樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；（2）計(jì)算相應(yīng)的實(shí)際輸出Op：

Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))2023/8/31354.2.2訓(xùn)練過程概述樣本：(輸入2023/9/121364.2.2訓(xùn)練過程概述

2、向后傳播階段——誤差傳播階段：（1）計(jì)算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣。（3）網(wǎng)絡(luò)關(guān)于第p個(gè)樣本的誤差測度：（4）網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測度：2023/8/31364.2.2訓(xùn)練過程概述2、向后傳播2023/9/121374.2.3誤差傳播分析

1、輸出層權(quán)的調(diào)整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq2023/8/31374.2.3誤差傳播分析1、輸出層權(quán)2023/9/121382、隱藏層權(quán)的調(diào)整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……2023/8/31382、隱藏層權(quán)的調(diào)整

ANpANqAN2023/9/121392、隱藏層權(quán)的調(diào)整δpk-1的值和δ1k，δ2k，…，δmk

有關(guān)不妨認(rèn)為δpk-1通過權(quán)wp1對(duì)δ1k做出貢獻(xiàn)，通過權(quán)wp2對(duì)δ2k做出貢獻(xiàn)，……通過權(quán)wpm對(duì)δmk做出貢獻(xiàn)。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)2023/8/31392、隱藏層權(quán)的調(diào)整δpk-1的值和δ12023/9/121402、隱藏層權(quán)的調(diào)整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……2023/8/31402、隱藏層權(quán)的調(diào)整vhp=vhp+?v2023/9/12141上次課內(nèi)容回顧基本BP算法neti=x1w1i+x2w2i+…+xnwni

2023/8/3141上次課內(nèi)容回顧基本BP算法2023/9/12142上次課內(nèi)容回顧x1o1輸出層隱藏層輸入層x2o2omxn…………WV2023/8/3142上次課內(nèi)容回顧x1o1輸出層隱藏層輸入2023/9/12143上次課內(nèi)容回顧樣本權(quán)初始化向前傳播階段Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))誤差測度2023/8/3143上次課內(nèi)容回顧樣本2023/9/12144上次課內(nèi)容回顧向后傳播階段——誤差傳播階段輸出層權(quán)的調(diào)整?wpq=αδqop=αfn′(netq)(yq-oq)op=αoq(1-oq)(yq-oq)op隱藏層權(quán)的調(diào)整ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk……?vhp=αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-22023/8/3144上次課內(nèi)容回顧向后傳播階段——誤差傳播2023/9/121454.2.4基本的BP算法

樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

基本思想：逐一地根據(jù)樣本集中的樣本(Xk,Yk)計(jì)算出實(shí)際輸出Ok和誤差測度E1，對(duì)W(1)

，W(2)

，…，W(L)各做一次調(diào)整，重復(fù)這個(gè)循環(huán)，直到∑Ep<ε。用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計(jì)輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計(jì)更前一層的誤差。如此獲得所有其它各層的誤差估計(jì)，并用這些估計(jì)實(shí)現(xiàn)對(duì)權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)相反的方向逐級(jí)向輸入端傳遞的過程

2023/8/31454.2.4基本的BP算法樣本集：S2023/9/12146算法4-1

基本BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo

4.1E=0;

2023/8/3146算法4-1基本BP算法1for2023/9/12147算法4-1

基本BP算法4.2對(duì)S中的每一個(gè)樣本（Xp,Yp）：

4.2.1計(jì)算出Xp對(duì)應(yīng)的實(shí)際輸出Op；

4.2.2計(jì)算出Ep；

4.2.3E=E+Ep；

4.2.4根據(jù)相應(yīng)式子調(diào)整W(L)；

4.2.5k=L-1；

4.2.6whilek≠0do 4.2.6.1根據(jù)相應(yīng)式子調(diào)整W(k)；

4.2.6.2k=k-1

4.3E=E/2.0

2023/8/3147算法4-1基本BP算法4