BP神經(jīng)網(wǎng)絡(luò)PPT課件

1、2021/3/91BP人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) Back-propagation Artificial Neural Networks2021/3/92張凌張凌數(shù)計(jì)學(xué)院數(shù)計(jì)學(xué)院聯(lián)系電話：聯(lián)系電話mail：2021/3/93主要參考書目主要參考書目1、Philip D. Wasserman， Neural Computing: Theory and Practice，Van Nostrand Reinhold，19892、胡守仁、余少波、戴葵，神經(jīng)網(wǎng)絡(luò)導(dǎo)論，、胡守仁、余少波、戴葵，神經(jīng)網(wǎng)絡(luò)導(dǎo)論，國(guó)防科技大學(xué)出版社，國(guó)防科技大學(xué)出版社，1993年年10月月3、楊行峻、鄭君

2、里，人工神經(jīng)網(wǎng)絡(luò)，高等教、楊行峻、鄭君里，人工神經(jīng)網(wǎng)絡(luò)，高等教育出版社，育出版社，1992年年9月月4、聞新、周露、王丹力、熊曉英，聞新、周露、王丹力、熊曉英，MATLABMATLAB神神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)，科學(xué)出版社，經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)，科學(xué)出版社，2001.5. 2001.5. 2021/3/94課程目的和基本要求課程目的和基本要求 作為人工神經(jīng)網(wǎng)絡(luò)的入門課程，用于將學(xué)作為人工神經(jīng)網(wǎng)絡(luò)的入門課程，用于將學(xué)生引入人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用的研究領(lǐng)域。生引入人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用的研究領(lǐng)域。 介紹介紹BPBP人工神經(jīng)網(wǎng)絡(luò)及其基本網(wǎng)絡(luò)模型，人工神經(jīng)網(wǎng)絡(luò)及其基本網(wǎng)絡(luò)模型，使學(xué)生了解智能系統(tǒng)描述的基本模型使學(xué)生了解

3、智能系統(tǒng)描述的基本模型掌握人工神經(jīng)網(wǎng)絡(luò)的基本概念、單層網(wǎng)、多層網(wǎng)、掌握人工神經(jīng)網(wǎng)絡(luò)的基本概念、單層網(wǎng)、多層網(wǎng)、循環(huán)網(wǎng)等各種基本網(wǎng)絡(luò)模型的結(jié)構(gòu)、特點(diǎn)、典循環(huán)網(wǎng)等各種基本網(wǎng)絡(luò)模型的結(jié)構(gòu)、特點(diǎn)、典型訓(xùn)練算法、運(yùn)行方式、典型問題型訓(xùn)練算法、運(yùn)行方式、典型問題掌握軟件實(shí)現(xiàn)方法。掌握軟件實(shí)現(xiàn)方法。2021/3/95課程目的和基本要求課程目的和基本要求 了解了解BPBP人工神經(jīng)網(wǎng)絡(luò)的有關(guān)研究思想，從中人工神經(jīng)網(wǎng)絡(luò)的有關(guān)研究思想，從中學(xué)習(xí)開拓者們的部分問題求解方法。學(xué)習(xí)開拓者們的部分問題求解方法。 通過實(shí)驗(yàn)進(jìn)一步體會(huì)有關(guān)模型的用法和性通過實(shí)驗(yàn)進(jìn)一步體會(huì)有關(guān)模型的用法和性能，獲取一些初步的經(jīng)驗(yàn)。能，獲取一些初步

4、的經(jīng)驗(yàn)。 查閱適當(dāng)?shù)膮⒖嘉墨I(xiàn)，將所學(xué)的知識(shí)與自查閱適當(dāng)?shù)膮⒖嘉墨I(xiàn)，將所學(xué)的知識(shí)與自己未來研究課題相結(jié)合起來，達(dá)到既豐富己未來研究課題相結(jié)合起來，達(dá)到既豐富學(xué)習(xí)內(nèi)容，又有一定的研究和應(yīng)用的目的。學(xué)習(xí)內(nèi)容，又有一定的研究和應(yīng)用的目的。2021/3/96主要內(nèi)容主要內(nèi)容 基于基于Matlab的的BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)與應(yīng)用神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)與應(yīng)用 BPBP（BackpropagationBackpropagation）網(wǎng)絡(luò)的構(gòu)成及其訓(xùn)）網(wǎng)絡(luò)的構(gòu)成及其訓(xùn)練過程；隱藏層權(quán)調(diào)整方法的直觀分析，練過程；隱藏層權(quán)調(diào)整方法的直觀分析，BPBP訓(xùn)練算法中使用的訓(xùn)練算法中使用的DeltaDelta規(guī)則（最速下降規(guī)則（最速下降法

5、）的理論推導(dǎo)；算法的收斂速度及其改法）的理論推導(dǎo)；算法的收斂速度及其改進(jìn)討論；進(jìn)討論；BPBP網(wǎng)絡(luò)中的幾個(gè)重要問題。網(wǎng)絡(luò)中的幾個(gè)重要問題。實(shí)驗(yàn)：實(shí)現(xiàn)實(shí)驗(yàn)：實(shí)現(xiàn)BP算法。算法。 2021/3/97 引言引言1人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出2 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)3 歷史回顧歷史回顧2021/3/98第第1章章 引言引言 人類對(duì)人工智能的研究可以分成兩種方式人類對(duì)人工智能的研究可以分成兩種方式對(duì)應(yīng)著對(duì)應(yīng)著兩種不同的技術(shù)兩種不同的技術(shù)：傳統(tǒng)的人工智能技術(shù)傳統(tǒng)的人工智能技術(shù): :心理的角度模擬心理的角度模擬基于人工神經(jīng)網(wǎng)絡(luò)的技術(shù)基于人工神經(jīng)網(wǎng)絡(luò)的技術(shù): :生理的角度模擬生理的角度

6、模擬2021/3/99人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出 人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡(jiǎn)記作簡(jiǎn)記作ANN），是對(duì)人類大腦系統(tǒng)的一階），是對(duì)人類大腦系統(tǒng)的一階特性的一種描述。簡(jiǎn)單地講，它是一個(gè)特性的一種描述。簡(jiǎn)單地講，它是一個(gè)數(shù)數(shù)學(xué)模型學(xué)模型，可以用，可以用電子線路電子線路來實(shí)現(xiàn)，也可以來實(shí)現(xiàn)，也可以用用計(jì)算機(jī)程序計(jì)算機(jī)程序來模擬，是人工智能研究的來模擬，是人工智能研究的一種方法。一種方法。 2021/3/910 人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出智能與人工智能智能與人工智能 一、一、 智能的含義智能的含義 智能是個(gè)體有目的的行為，合理的

7、思維，智能是個(gè)體有目的的行為，合理的思維，以及有效的、適應(yīng)環(huán)境的綜合能力以及有效的、適應(yīng)環(huán)境的綜合能力。 智能是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問智能是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問題的能力題的能力。 人類個(gè)體的智能是一種綜合能力。人類個(gè)體的智能是一種綜合能力。2021/3/911人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出智能可以包含智能可以包含8個(gè)方面?zhèn)€方面感知與認(rèn)識(shí)感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能力客觀事物、客觀世界和自我的能力感知是智能的基礎(chǔ)最基本的能力感知是智能的基礎(chǔ)最基本的能力 通過通過學(xué)習(xí)學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識(shí)的能力取得經(jīng)驗(yàn)與積累知識(shí)的能力這是人類在世界中能夠不斷發(fā)展的最基本能力。

8、這是人類在世界中能夠不斷發(fā)展的最基本能力。理解知識(shí)理解知識(shí)，運(yùn)用知識(shí)運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問題的能力和經(jīng)驗(yàn)分析、解決問題的能力這一能力可以算作是智能的高級(jí)形式。是人類對(duì)世界進(jìn)這一能力可以算作是智能的高級(jí)形式。是人類對(duì)世界進(jìn)行適當(dāng)?shù)母脑?，推?dòng)社會(huì)不斷發(fā)展的基本能力。行適當(dāng)?shù)母脑欤苿?dòng)社會(huì)不斷發(fā)展的基本能力。2021/3/912 人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出聯(lián)想、推理、判斷、決策語言聯(lián)想、推理、判斷、決策語言的能力的能力這是智能的高級(jí)形式的又一方面。這是智能的高級(jí)形式的又一方面。預(yù)測(cè)和認(rèn)識(shí)預(yù)測(cè)和認(rèn)識(shí)主動(dòng)和被動(dòng)之分。聯(lián)想、推理、判斷、決策的能主動(dòng)和被動(dòng)之分。聯(lián)想、推理、判斷、決策的能力是主

9、動(dòng)的基礎(chǔ)。力是主動(dòng)的基礎(chǔ)。運(yùn)用進(jìn)行抽象、概括的能力運(yùn)用進(jìn)行抽象、概括的能力上述這上述這5 5種能力，被認(rèn)為是人類智能最為種能力，被認(rèn)為是人類智能最為基本基本的能力的能力 2021/3/9131.1 人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出作為作為5 5種能力綜合表現(xiàn)形式的種能力綜合表現(xiàn)形式的3 3種能力種能力發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力 實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力 預(yù)測(cè)、洞察事物發(fā)展、變化的能力預(yù)測(cè)、洞察事物發(fā)展、變化的能力 2021/3/914人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出二、人工智能二、人工智能 人工智能：研究如何

10、使類似計(jì)算機(jī)這樣的設(shè)備去人工智能：研究如何使類似計(jì)算機(jī)這樣的設(shè)備去模擬人類的這些能力。模擬人類的這些能力。 研究人工智能的目的研究人工智能的目的增加人類探索世界，推動(dòng)社會(huì)前進(jìn)的能力增加人類探索世界，推動(dòng)社會(huì)前進(jìn)的能力進(jìn)一步認(rèn)識(shí)自己進(jìn)一步認(rèn)識(shí)自己 三大學(xué)術(shù)流派三大學(xué)術(shù)流派符號(hào)主義（或叫做符號(hào)符號(hào)主義（或叫做符號(hào)/邏輯主義）學(xué)派邏輯主義）學(xué)派聯(lián)接主義（或者叫做聯(lián)接主義（或者叫做PDP）學(xué)派）學(xué)派進(jìn)化主義（或者叫做行動(dòng)進(jìn)化主義（或者叫做行動(dòng)/響應(yīng)）學(xué)派響應(yīng)）學(xué)派2021/3/915人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出物理符號(hào)系統(tǒng)物理符號(hào)系統(tǒng) 人腦的反映人腦的反映 形式化形式化 現(xiàn)實(shí)現(xiàn)實(shí) 信息信息 數(shù)

11、據(jù)數(shù)據(jù) 物理系統(tǒng)物理系統(tǒng) 物理符號(hào)系統(tǒng)物理符號(hào)系統(tǒng) 表現(xiàn)智能表現(xiàn)智能2021/3/916人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出 Newell Newell和和SimonSimon假說假說 ：一個(gè)物理系統(tǒng)表現(xiàn)：一個(gè)物理系統(tǒng)表現(xiàn)智能行為的充要條件是它有一個(gè)物理符號(hào)智能行為的充要條件是它有一個(gè)物理符號(hào)系統(tǒng)系統(tǒng) 概念：物理符號(hào)系統(tǒng)需要有一組稱為符號(hào)概念：物理符號(hào)系統(tǒng)需要有一組稱為符號(hào)的實(shí)體組成，它們都是物理模型，可以在的實(shí)體組成，它們都是物理模型，可以在另一類稱為符號(hào)結(jié)構(gòu)的實(shí)體中作為成分出另一類稱為符號(hào)結(jié)構(gòu)的實(shí)體中作為成分出現(xiàn)，以構(gòu)成更高級(jí)別的系統(tǒng)現(xiàn)，以構(gòu)成更高級(jí)別的系統(tǒng) 2021/3/917人工神經(jīng)網(wǎng)

12、絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出 困難：困難：抽象抽象:舍棄一些特性，同時(shí)保留一些特性舍棄一些特性，同時(shí)保留一些特性形式化處理形式化處理:用物理符號(hào)及相應(yīng)規(guī)則表達(dá)物理系用物理符號(hào)及相應(yīng)規(guī)則表達(dá)物理系統(tǒng)的存在和運(yùn)行。統(tǒng)的存在和運(yùn)行。 局限：局限：對(duì)全局性判斷、模糊信息處理、多粒度的視覺信對(duì)全局性判斷、模糊信息處理、多粒度的視覺信息處理等是非常困難的。息處理等是非常困難的。2021/3/918人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出聯(lián)接主義觀點(diǎn)聯(lián)接主義觀點(diǎn) 核心：智能的本質(zhì)是聯(lián)接機(jī)制。核心：智能的本質(zhì)是聯(lián)接機(jī)制。 神經(jīng)網(wǎng)絡(luò)是一個(gè)由大量簡(jiǎn)單的處理單元組神經(jīng)網(wǎng)絡(luò)是一個(gè)由大量簡(jiǎn)單的處理單元組成的高度復(fù)雜的大規(guī)模非

13、線性自適應(yīng)系統(tǒng)成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng) ANNANN力求從四個(gè)方面去模擬人腦的智能行為力求從四個(gè)方面去模擬人腦的智能行為物理結(jié)構(gòu)物理結(jié)構(gòu) 計(jì)算模擬計(jì)算模擬 存儲(chǔ)與操作存儲(chǔ)與操作 訓(xùn)練訓(xùn)練 2021/3/919人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出兩種模型的比較兩種模型的比較心理過程心理過程 邏輯思維邏輯思維 高級(jí)形式（思維的表象）高級(jí)形式（思維的表象） 生理過程生理過程 形象思維形象思維 低級(jí)形式（思維的根本）低級(jí)形式（思維的根本） 仿生仿生人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)聯(lián)結(jié)主義觀點(diǎn)聯(lián)結(jié)主義觀點(diǎn)物理符號(hào)系統(tǒng)物理符號(hào)系統(tǒng)2021/3/920 人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出物理符號(hào)系統(tǒng)和

14、人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的差別物理符號(hào)系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的差別 項(xiàng)目項(xiàng)目物理符號(hào)系統(tǒng)物理符號(hào)系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)處理方式處理方式邏輯運(yùn)算邏輯運(yùn)算模擬運(yùn)算模擬運(yùn)算執(zhí)行方式執(zhí)行方式串行串行并行并行動(dòng)作動(dòng)作離散離散連續(xù)連續(xù)存儲(chǔ)存儲(chǔ)局部集中局部集中全局分布全局分布2021/3/921 人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出兩種人工智能技術(shù)的比較兩種人工智能技術(shù)的比較項(xiàng)目項(xiàng)目傳統(tǒng)的傳統(tǒng)的AIAI技術(shù)技術(shù) ANN技術(shù)技術(shù) 基本實(shí)現(xiàn)基本實(shí)現(xiàn)方式方式 串行處理；由程序?qū)崿F(xiàn)串行處理；由程序?qū)崿F(xiàn)控制控制 并行處理；對(duì)樣本數(shù)據(jù)進(jìn)行多目標(biāo)學(xué)習(xí)；并行處理；對(duì)樣本數(shù)據(jù)進(jìn)行多目標(biāo)學(xué)習(xí)；通過人工神經(jīng)元之間的相互作用實(shí)現(xiàn)控制

15、通過人工神經(jīng)元之間的相互作用實(shí)現(xiàn)控制 基本開發(fā)基本開發(fā)方法方法 設(shè)計(jì)規(guī)則、框架、程序；設(shè)計(jì)規(guī)則、框架、程序；用樣本數(shù)據(jù)進(jìn)行調(diào)試用樣本數(shù)據(jù)進(jìn)行調(diào)試（由人根據(jù)已知的環(huán)境（由人根據(jù)已知的環(huán)境去構(gòu)造一個(gè)模型）去構(gòu)造一個(gè)模型） 定義人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原型，通過樣本定義人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原型，通過樣本數(shù)據(jù)，依據(jù)基本的學(xué)習(xí)算法完成學(xué)習(xí)數(shù)據(jù)，依據(jù)基本的學(xué)習(xí)算法完成學(xué)習(xí)自動(dòng)從樣本數(shù)據(jù)中抽取內(nèi)涵（自動(dòng)適應(yīng)應(yīng)自動(dòng)從樣本數(shù)據(jù)中抽取內(nèi)涵（自動(dòng)適應(yīng)應(yīng)用環(huán)境）用環(huán)境） 適應(yīng)領(lǐng)域適應(yīng)領(lǐng)域 精確計(jì)算：符號(hào)處理，精確計(jì)算：符號(hào)處理，數(shù)值計(jì)算數(shù)值計(jì)算非精確計(jì)算：模擬處理，感覺，大規(guī)模數(shù)非精確計(jì)算：模擬處理，感覺，大規(guī)模數(shù)據(jù)并行處理

16、據(jù)并行處理模擬對(duì)象模擬對(duì)象 左腦（邏輯思維）左腦（邏輯思維）右腦（形象思維）右腦（形象思維）2021/3/922人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)信息的分布表示信息的分布表示運(yùn)算的全局并行和局部操作運(yùn)算的全局并行和局部操作處理的非線性處理的非線性 2021/3/923人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念1、定義、定義 1）Hecht Nielsen（1988年）年）人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，它由人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無向訊號(hào)通道互連而成。處理單元及其稱為聯(lián)接的無向訊號(hào)通道互連而成。這些處理單元（這些處理單元（PE Processing E

17、lement）具有局）具有局部?jī)?nèi)存，并可以完成局部操作。每個(gè)處理單元有部?jī)?nèi)存，并可以完成局部操作。每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接，這個(gè)輸出可以根據(jù)需要被一個(gè)單一的輸出聯(lián)接，這個(gè)輸出可以根據(jù)需要被分枝成希望個(gè)數(shù)的許多并行聯(lián)接，且這些并行聯(lián)分枝成希望個(gè)數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號(hào)，即相應(yīng)處理單元的信號(hào)，接都輸出相同的信號(hào)，即相應(yīng)處理單元的信號(hào)，信號(hào)的大小不因分支的多少而變化。信號(hào)的大小不因分支的多少而變化。2021/3/924 人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念（1）Hecht Nielsen（1988年）（續(xù)）年）（續(xù)） 處理單元的輸出信號(hào)可以是任何需要的處理單元的輸出信

18、號(hào)可以是任何需要的數(shù)學(xué)模型，每個(gè)處理單元中進(jìn)行的操數(shù)學(xué)模型，每個(gè)處理單元中進(jìn)行的操作必須是完全局部的。也就是說，它作必須是完全局部的。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達(dá)處必須僅僅依賴于經(jīng)過輸入聯(lián)接到達(dá)處理單元的所有輸入信號(hào)的當(dāng)前值和存理單元的所有輸入信號(hào)的當(dāng)前值和存儲(chǔ)在處理單元局部?jī)?nèi)存中的值。儲(chǔ)在處理單元局部?jī)?nèi)存中的值。2021/3/925人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念強(qiáng)調(diào)：強(qiáng)調(diào)： 并行、分布處理結(jié)構(gòu)；并行、分布處理結(jié)構(gòu)； 一個(gè)處理單元的輸出可以被任意分枝，且大一個(gè)處理單元的輸出可以被任意分枝，且大小不變；小不變； 輸出信號(hào)可以是任意的數(shù)學(xué)模型；輸出信號(hào)可以是任意的數(shù)學(xué)模型； 處

19、理單元完全的局部操作處理單元完全的局部操作 2021/3/926 人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念（2） Rumellhart，McClelland，Hinton的的PDP 1） 一組處理單元一組處理單元（PE或或AN）；）；2） 處理單元的處理單元的激活狀態(tài)激活狀態(tài)（ai）；）；3） 每個(gè)處理單元的每個(gè)處理單元的輸出函數(shù)輸出函數(shù)（fi）；）；4） 處理單元之間的處理單元之間的聯(lián)接模式聯(lián)接模式；5） 傳遞規(guī)則傳遞規(guī)則（wijoi）；）；6） 把處理單元的輸入及當(dāng)前狀態(tài)結(jié)合起來產(chǎn)生激把處理單元的輸入及當(dāng)前狀態(tài)結(jié)合起來產(chǎn)生激活值的活值的激活規(guī)則激活規(guī)則（Fi）；）；7） 通過經(jīng)驗(yàn)修改聯(lián)接強(qiáng)度的

20、通過經(jīng)驗(yàn)修改聯(lián)接強(qiáng)度的學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則；8） 系統(tǒng)運(yùn)行的環(huán)境（系統(tǒng)運(yùn)行的環(huán)境（樣本樣本集合）。集合）。 2021/3/927人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念（3） Simpson（1987年）年）人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性的有向圖，圖中人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入權(quán)邊，并且可以從不完整的或未知的輸入找到模式。找到模式。 2021/3/928 人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念2、關(guān)鍵點(diǎn)、關(guān)鍵點(diǎn)（1 1） 信息的分布表示信息的分布表示（2 2） 運(yùn)算的全局并行與局部操作運(yùn)算的

21、全局并行與局部操作（3 3） 處理的非線性特征處理的非線性特征3、對(duì)大腦基本特征的模擬、對(duì)大腦基本特征的模擬1） 形式上：神經(jīng)元及其聯(lián)接；形式上：神經(jīng)元及其聯(lián)接；BN對(duì)對(duì)AN2） 表現(xiàn)特征：信息的存儲(chǔ)與處理表現(xiàn)特征：信息的存儲(chǔ)與處理2021/3/929 人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念4、別名、別名人工神經(jīng)系統(tǒng)（人工神經(jīng)系統(tǒng)（ANS）神經(jīng)網(wǎng)絡(luò)（神經(jīng)網(wǎng)絡(luò)（NN）自適應(yīng)系統(tǒng)（自適應(yīng)系統(tǒng)（Adaptive Systems）、自適應(yīng)網(wǎng)）、自適應(yīng)網(wǎng)（Adaptive Networks）聯(lián)接模型（聯(lián)接模型（Connectionism）神經(jīng)計(jì)算機(jī)（神經(jīng)計(jì)算機(jī)（Neurocomputer）2021/3/9

22、30人工神經(jīng)元的基本構(gòu)成人工神經(jīng)元的基本構(gòu)成 人工神經(jīng)元模擬生物神經(jīng)元的人工神經(jīng)元模擬生物神經(jīng)元的一階特性一階特性。輸入：輸入：X=（x1，x2，xn）聯(lián)接權(quán)：聯(lián)接權(quán)：W=（w1，w2，wn）T網(wǎng)絡(luò)輸入：網(wǎng)絡(luò)輸入：net=xiwi向量形式：向量形式：net=XWxn wnx1 w1x2 w2net=XW2021/3/931 激活函數(shù)激活函數(shù)(Activation Function) 激活函數(shù)執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入激活函數(shù)執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵(lì)函數(shù)、活化函數(shù)：的變換，也可以稱為激勵(lì)函數(shù)、活化函數(shù)： o=f（net） 1、線性函數(shù)（、線性函數(shù)（Liner Fu

23、nction） f（net）=k*net+c netooc2021/3/9322、非線性斜面函數(shù)、非線性斜面函數(shù)(Ramp Function) if netf（net）= k*netif |net|0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。最大輸出。 2021/3/9332、非線性斜面函數(shù)（、非線性斜面函數(shù)（Ramp Function） - - net o 2021/3/9343、閾值函數(shù)（、閾值函數(shù)（Threshold Function）階躍函數(shù)）階躍函數(shù)if netf（net）=-if net 、均為非負(fù)實(shí)數(shù)，均為非負(fù)實(shí)數(shù)，為閾值為閾值二值形式：二

24、值形式：1if netf（net）=0if net 雙極形式：雙極形式：1if netf（net）=-1if net 2021/3/9353、閾值函數(shù)（、閾值函數(shù)（Threshold Function）階躍函數(shù)）階躍函數(shù) -onet02021/3/9364、S形函數(shù)形函數(shù) 壓縮函數(shù)（壓縮函數(shù)（Squashing Function）和邏輯斯特）和邏輯斯特函數(shù)（函數(shù)（Logistic Function）。）。f（net）=a+b/(1+exp(-d*net)a，b，d為常數(shù)。它的飽和值為為常數(shù)。它的飽和值為a和和a+b。最簡(jiǎn)單形式為：最簡(jiǎn)單形式為：f（net）= 1/(1+exp(-d*net)

25、函數(shù)的飽和值為函數(shù)的飽和值為0和和1。 S形函數(shù)有較好的增益控制形函數(shù)有較好的增益控制 2021/3/9374、S形函數(shù)形函數(shù) a+b o(0,c)netac=a+b/22021/3/938課內(nèi)容回顧課內(nèi)容回顧生物神經(jīng)網(wǎng)生物神經(jīng)網(wǎng)六個(gè)基本特征六個(gè)基本特征神經(jīng)元及其聯(lián)接神經(jīng)元及其聯(lián)接、信號(hào)傳遞信號(hào)傳遞、訓(xùn)練訓(xùn)練、刺激刺激與與抑制、抑制、累積效果累積效果、 閾值閾值。人工神經(jīng)元的基本構(gòu)成人工神經(jīng)元的基本構(gòu)成xn wnx1 w1x2 w2net=XW2021/3/939上次課內(nèi)容回顧上次課內(nèi)容回顧激活函數(shù)與激活函數(shù)與M-P模型模型 線性函數(shù)、非線性斜面函數(shù)、線性函數(shù)、非線性斜面函數(shù)、閾值函數(shù)閾值函數(shù)

26、 S形函數(shù)形函數(shù) M-P模型模型x2 w2 fo=f（net）xn wnnet=XWx1 w12021/3/940簡(jiǎn)單單級(jí)網(wǎng)簡(jiǎn)單單級(jí)網(wǎng)x1x2xno1o2omwnmw11w1mw2mwn1輸出層輸出層輸入層輸入層2021/3/941簡(jiǎn)單單級(jí)網(wǎng)簡(jiǎn)單單級(jí)網(wǎng)W=（wij）輸出層的第輸出層的第j個(gè)神經(jīng)元的網(wǎng)絡(luò)輸入記為個(gè)神經(jīng)元的網(wǎng)絡(luò)輸入記為netj：netj=x1w1j+x2w2j+xnwnj其中其中, 1 j m。取。取NET=（net1，net2，netm）NET=XWO=F（NET）2021/3/942單級(jí)橫向反饋網(wǎng)單級(jí)橫向反饋網(wǎng)輸出層輸出層x1o1w11w1mx2o2w2mxnomwn1輸入層輸

27、入層V2021/3/943單級(jí)橫向反饋網(wǎng)單級(jí)橫向反饋網(wǎng) V=（vij）NET=XW+OVO=F（NET）時(shí)間參數(shù)時(shí)間參數(shù)神經(jīng)元的狀態(tài)在主時(shí)鐘的控制下同步變化神經(jīng)元的狀態(tài)在主時(shí)鐘的控制下同步變化考慮考慮X總加在網(wǎng)上的情況總加在網(wǎng)上的情況NET（t+1）=X（t）W+O（t）VO(t+1)=F(NET(t+1)O（0）=0考慮僅在考慮僅在t=0時(shí)加時(shí)加X的情況。的情況。 穩(wěn)定性判定穩(wěn)定性判定2021/3/944多級(jí)網(wǎng)多級(jí)網(wǎng)輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xn2021/3/945層次劃分層次劃分 信號(hào)只被允許從較低層流向較高層。信號(hào)只被允許從較低層流向較高層。層號(hào)確定層的高低

28、：層號(hào)較小者，層次較層號(hào)確定層的高低：層號(hào)較小者，層次較低，層號(hào)較大者，層次較高。低，層號(hào)較大者，層次較高。輸入層輸入層：被記作第：被記作第0層。該層負(fù)責(zé)接收來自層。該層負(fù)責(zé)接收來自網(wǎng)絡(luò)外部的信息網(wǎng)絡(luò)外部的信息輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xn2021/3/946第第j層層：第：第j-1層的直接后繼層（層的直接后繼層（j0），它直接），它直接接受第接受第j-1層的輸出。層的輸出。輸出層輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號(hào)，負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果。最大層號(hào)，負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果。隱藏層隱藏層：除輸入層和輸出層以外的其它各層

29、叫：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號(hào)，也不隱藏層。隱藏層不直接接受外界的信號(hào)，也不直接向外界發(fā)送信號(hào)直接向外界發(fā)送信號(hào)輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xn2021/3/947約定約定 :輸出層的層號(hào)為該網(wǎng)絡(luò)的層數(shù)：輸出層的層號(hào)為該網(wǎng)絡(luò)的層數(shù)：n層網(wǎng)絡(luò)，或?qū)泳W(wǎng)絡(luò)，或n級(jí)網(wǎng)級(jí)網(wǎng)絡(luò)。絡(luò)。第第j-1層到第層到第j層的聯(lián)接矩陣為第層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層聯(lián)接矩陣，輸出層對(duì)應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需要層對(duì)應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時(shí)候，一般我們用的時(shí)候，一般我們用W（j）表示第表示第j層矩陣層矩陣。輸出層輸出層隱

30、藏層隱藏層輸入層輸入層o1o2omx1x2xnW(1)W(2)W(3)W(h)2021/3/948多級(jí)網(wǎng)多級(jí)網(wǎng) 層網(wǎng)絡(luò)層網(wǎng)絡(luò)輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xnW(1)W(2)W(3)W(h)2021/3/949多級(jí)網(wǎng)多級(jí)網(wǎng)非線性激活函數(shù)非線性激活函數(shù) F(X)=kX+CF3(F2(F1(XW(1)W(2)W(3)2021/3/950循環(huán)網(wǎng)循環(huán)網(wǎng)x1o1輸出層輸出層隱藏層隱藏層輸入層輸入層x2o2omxn2021/3/951循環(huán)網(wǎng)循環(huán)網(wǎng) 如果將輸出信號(hào)反饋到輸入端如果將輸出信號(hào)反饋到輸入端,就可構(gòu)成一個(gè)多層的就可構(gòu)成一個(gè)多層的循環(huán)網(wǎng)絡(luò)。循環(huán)網(wǎng)絡(luò)。輸入的原始信號(hào)被逐步地加

31、強(qiáng)、被修復(fù)。輸入的原始信號(hào)被逐步地加強(qiáng)、被修復(fù)。大腦的大腦的短期記憶特征短期記憶特征:看到的東西不是一下子就從腦看到的東西不是一下子就從腦海里消失的。海里消失的。穩(wěn)定穩(wěn)定：反饋信號(hào)會(huì)引起網(wǎng)絡(luò)輸出的不斷變化。我們：反饋信號(hào)會(huì)引起網(wǎng)絡(luò)輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當(dāng)變希望這種變化逐漸減小，并且最后能消失。當(dāng)變化最后消失時(shí)，網(wǎng)絡(luò)達(dá)到了平衡狀態(tài)。如果這種化最后消失時(shí)，網(wǎng)絡(luò)達(dá)到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。 2021/3/952人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)人工神經(jīng)網(wǎng)絡(luò)

32、最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。習(xí)能力。1962年，年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。以表達(dá)的任何東西。人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力。學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對(duì)它的訓(xùn)練過人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對(duì)它的訓(xùn)練過程程2021/3/953無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí) 無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)(Unsupervised Learning)與無導(dǎo)師與無導(dǎo)師訓(xùn)練訓(xùn)練(Unsupervised Training)相對(duì)應(yīng)相對(duì)應(yīng) 抽

33、取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以神經(jīng)，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。2021/3/954 有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí) 有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)(Supervised Learning)與有導(dǎo)師訓(xùn)練與有導(dǎo)師訓(xùn)練(Supervised Training)相對(duì)應(yīng)。相對(duì)應(yīng)。輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一訓(xùn)練。輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一訓(xùn)練。有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：1） 從樣本集合中取一個(gè)樣本（從樣本集合中取一個(gè)樣本（Ai，Bi）；）；2） 計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出O； 3

34、） 求求D=Bi-O；4） 根據(jù)根據(jù)D調(diào)整權(quán)矩陣調(diào)整權(quán)矩陣W； 5 5） 對(duì)每個(gè)樣本重復(fù)上述過程，直到對(duì)整個(gè)樣本集來對(duì)每個(gè)樣本重復(fù)上述過程，直到對(duì)整個(gè)樣本集來說，誤差不超過規(guī)定范圍。說，誤差不超過規(guī)定范圍。 2021/3/955Delta規(guī)則規(guī)則 Widrow和和Hoff的寫法的寫法：Wij( (t+1) )=Wij( (t) )+( (yj- aj( (t)oi( (t) )也可以寫成：也可以寫成：Wij( (t+1) )=Wij( (t) )+Wij( (t) )Wij(t)(t)=joi(t)(t)j=yj- aj(t)(t)Grossberg的寫法為：的寫法為： Wij(t)=a(t)

35、=ai i(t)(o(t)(oj j(t)-W(t)-Wijij(t)(t)更一般的更一般的Delta規(guī)則為：規(guī)則為： Wij( (t) )=g( (ai(t)，yj，oj( (t) )，Wij( (t)2021/3/956BP網(wǎng)絡(luò)網(wǎng)絡(luò)1 概述概述 2 基本基本BP算法算法 3 算法的改進(jìn)算法的改進(jìn) 4 算法的實(shí)現(xiàn)算法的實(shí)現(xiàn) 5 算法的理論基礎(chǔ)算法的理論基礎(chǔ) 6 幾個(gè)問題的討論幾個(gè)問題的討論 2021/3/957一一 概述概述 1、BP算法的出現(xiàn)算法的出現(xiàn)非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法UCSD PDP小組的小組的Rumelhart、Hinton和和Williams1986年年

36、獨(dú)立地給出了獨(dú)立地給出了BP算法清楚而簡(jiǎn)單的描述算法清楚而簡(jiǎn)單的描述1982年，年，Paker就完成了相似的工作就完成了相似的工作1974年，年，Werbos已提出了該方法已提出了該方法2、弱點(diǎn)、弱點(diǎn)：訓(xùn)練速度非常慢、局部極小點(diǎn)的逃離問題、：訓(xùn)練速度非常慢、局部極小點(diǎn)的逃離問題、算法不一定收斂。算法不一定收斂。3、優(yōu)點(diǎn)：、優(yōu)點(diǎn)：廣泛的適應(yīng)性和有效性。廣泛的適應(yīng)性和有效性。2021/3/958概述概述4、BP網(wǎng)絡(luò)主要用于1）函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù)。2）模式識(shí)別：用一個(gè)特定的輸出向量將它與輸入向量聯(lián)系起來。3）分類：把輸入向量 以所定義的合適方式進(jìn)行分類。4）

37、數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便于傳輸或存儲(chǔ)。2021/3/959二二 基本基本BP算法算法 1 網(wǎng)絡(luò)的構(gòu)成網(wǎng)絡(luò)的構(gòu)成 神經(jīng)元的網(wǎng)絡(luò)輸入：神經(jīng)元的網(wǎng)絡(luò)輸入：neti=x1w1i+x2w2i+xnwni神經(jīng)元的輸出：神經(jīng)元的輸出：netenetfo11)()1 ()()1 (1)(22ooooeenetfnetnet2021/3/960輸出函數(shù)分析輸出函數(shù)分析 0.5f (net)0.25o0 1 1（0,0.5） net（0,0）oneteo11應(yīng)該將應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)的值盡量控制在收斂比較快的范圍內(nèi)可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是可以用其它的函數(shù)作為激活函數(shù)

38、，只要該函數(shù)是處處可導(dǎo)的處處可導(dǎo)的2021/3/961網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層輸出層隱藏層隱藏層輸入層輸入層x2o2omxnW(1)W(2)W(3)W(L)2021/3/962網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) BP網(wǎng)的結(jié)構(gòu)網(wǎng)的結(jié)構(gòu)輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。力。BPBP網(wǎng)一般都選用二級(jí)網(wǎng)絡(luò)。網(wǎng)一般都選用二級(jí)網(wǎng)絡(luò)。2021

39、/3/963網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層輸出層隱藏層隱藏層輸入層輸入層x2o2omxnWV2021/3/9642 訓(xùn)練過程概述訓(xùn)練過程概述 樣本：樣本：(輸入向量，理想輸出向量輸入向量，理想輸出向量) )權(quán)初始化：權(quán)初始化：小隨機(jī)數(shù)與飽和狀態(tài)；不同保證小隨機(jī)數(shù)與飽和狀態(tài)；不同保證網(wǎng)絡(luò)可以學(xué)。網(wǎng)絡(luò)可以學(xué)。1 1、向前傳播階段：、向前傳播階段：（1）從樣本集中取一個(gè)樣本）從樣本集中取一個(gè)樣本(Xp，Yp)，將，將Xp輸入網(wǎng)絡(luò)；輸入網(wǎng)絡(luò)；（2）計(jì)算相應(yīng)的實(shí)際輸出）計(jì)算相應(yīng)的實(shí)際輸出Op：Op=Fl(F2(F1(XpW(1)W(2)W(L)2021/3/9652 訓(xùn)練過程概述訓(xùn)練過程概述

40、 2 2、向后傳播階段、向后傳播階段 誤差傳播階段：誤差傳播階段：（1）計(jì)算實(shí)際輸出）計(jì)算實(shí)際輸出Op與相應(yīng)的理想輸出與相應(yīng)的理想輸出Yp的差；的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣。）按極小化誤差的方式調(diào)整權(quán)矩陣。（3）網(wǎng)絡(luò)關(guān)于第）網(wǎng)絡(luò)關(guān)于第p p個(gè)樣本的誤差測(cè)度：個(gè)樣本的誤差測(cè)度：mjpjpjpoyE1221（4） 網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測(cè)度：網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測(cè)度：ppEE2021/3/9663 誤差傳播分析誤差傳播分析 1、輸出層權(quán)的調(diào)整、輸出層權(quán)的調(diào)整wpq= wpq+wpqwpq=qop=fn (netq)(yq-oq)op=oq(1-oq) (yq-oq)op wpqA

41、NpANq第第L-1層層第第L層層wpq2021/3/9672 2、隱藏層權(quán)的調(diào)整、隱藏層權(quán)的調(diào)整 ANpANqANhvhppk-11kwp1wpqqkwpmmk第第k-2層層第第k層層第第k-1層層2021/3/9682 2、隱藏層權(quán)的調(diào)整、隱藏層權(quán)的調(diào)整pk-1的值和的值和1k，2k， ，mk 有關(guān)有關(guān)不妨認(rèn)為不妨認(rèn)為pk-1通過權(quán)通過權(quán)wp1對(duì)對(duì)1k做出貢獻(xiàn)，做出貢獻(xiàn)，通過權(quán)通過權(quán)wp2對(duì)對(duì)2k做出貢獻(xiàn)，做出貢獻(xiàn)，通過權(quán)通過權(quán)wpm對(duì)對(duì)mk做出貢獻(xiàn)。做出貢獻(xiàn)。pk-1= fk-1(netp) (wp11k+ wp22k+ wpmm k)2021/3/9692 2、隱藏層權(quán)的調(diào)整、隱藏層權(quán)

42、的調(diào)整vhp=vhp+vhp vhp=pk-1ohk-2 =fk-1 (netp)( wp11k+ wp22k+ + wpmmk)ohk-2=opk-1(1-opk-1)( wp11k+ wp22k+ + wpmmk)ohk-2ANpANqANhvhppk-11kwp1wpmqkwpqmk第第k-2層層第第k層層第第k-1層層2021/3/970內(nèi)容回顧內(nèi)容回顧基本基本BP算法算法 neti=x1w1i+x2w2i+ +xnwninetenetfo11)()1 ()()1 (1)(22ooooeenetfnetnet2021/3/971內(nèi)容回顧內(nèi)容回顧x1o1輸出層輸出層隱藏層隱藏層輸入層輸入

43、層x2o2omxnWV2021/3/972內(nèi)容回顧內(nèi)容回顧樣本樣本權(quán)初始化權(quán)初始化向前傳播階段向前傳播階段Op=Fn(F2(F1(XpW(1)W(2)W(n)誤差測(cè)度誤差測(cè)度mjpjpjpoyE12212021/3/973內(nèi)容回顧內(nèi)容回顧向后傳播階段向后傳播階段 誤差傳播階段誤差傳播階段輸出層權(quán)的調(diào)整輸出層權(quán)的調(diào)整wpq= qop =fn (netq)(yq-oq)op =oq(1-oq) (yq-oq)op隱藏層權(quán)的調(diào)整隱藏層權(quán)的調(diào)整ANpANqANhvhppk-11kwp1wpqqkwpmmkvhp =opk-1(1-opk-1)( wp11k+ wp22k+ + wpmmk)ohk-22

44、021/3/9744 基本的基本的BP算法算法 樣本集：樣本集：S=(X1,Y1),(,(X2,Y2),),(,(Xs,Ys) ) 基本思想基本思想 ：逐一地根據(jù)樣本集中的樣本逐一地根據(jù)樣本集中的樣本(Xk,Yk)計(jì)算出實(shí)際輸出計(jì)算出實(shí)際輸出Ok和誤差測(cè)度和誤差測(cè)度E1，對(duì)，對(duì)W(1) ，W(2) ，W(L)各做各做一次調(diào)整，重復(fù)這個(gè)循環(huán)，直到一次調(diào)整，重復(fù)這個(gè)循環(huán)，直到Ep do 4.1 E=0; 2021/3/976基本基本BP算法算法 4.2 對(duì)對(duì)S中的每一個(gè)樣本（中的每一個(gè)樣本（Xp,Yp）：）： 4.2.1 計(jì)算出計(jì)算出Xp對(duì)應(yīng)的實(shí)際輸出對(duì)應(yīng)的實(shí)際輸出Op； 4.2.2 計(jì)算出計(jì)算出

45、Ep； 4.2.3 E=E+Ep； 4.2.4 根據(jù)相應(yīng)式子調(diào)整根據(jù)相應(yīng)式子調(diào)整W(L)； 4.2.5 k=L-1； 4.2.6 while k0 do 4.2.6.1 根據(jù)相應(yīng)式子調(diào)整根據(jù)相應(yīng)式子調(diào)整W(k)； 4.2.6.2 k=k-1 4.3 E=E/2.0 2021/3/977算法的改進(jìn)算法的改進(jìn) 1、BP網(wǎng)絡(luò)接受樣本的順序?qū)τ?xùn)練結(jié)果有較大網(wǎng)絡(luò)接受樣本的順序?qū)τ?xùn)練結(jié)果有較大影響。它更偏愛較后出現(xiàn)的樣本影響。它更偏愛較后出現(xiàn)的樣本2、給集中的樣本安排一個(gè)適當(dāng)?shù)捻樞颍欠浅＝o集中的樣本安排一個(gè)適當(dāng)?shù)捻樞?，是非常困難的。困難的。3、樣本順序影響結(jié)果的原因：樣本順序影響結(jié)果的原因：分別依次分別

46、依次4、用用(X1,Y1)，（，（X2,Y2），）， ，（，（Xs,Ys）的）的總效總效果果修改修改W(1) ，W(2) ， ，W(L)。w(k)ij=p w(k)ij2021/3/978消除樣本順序影響的消除樣本順序影響的BP算法算法 1 for k=1 to L do1.1 初始化初始化W(k)；2 初始化精度控制參數(shù)初始化精度控制參數(shù)；3 E=+1;4 while E do 4.1 E=0;4.2 對(duì)所有的對(duì)所有的i，j，k： w (k)ij=0； 2021/3/9794.3 對(duì)對(duì)S中的每一個(gè)樣本（中的每一個(gè)樣本（Xp,Yp）：）：4.3.1 計(jì)算出計(jì)算出Xp對(duì)應(yīng)的實(shí)際輸出對(duì)應(yīng)的實(shí)際輸出

47、Op；4.3.2 計(jì)算出計(jì)算出Ep；4.3.3 E=E+Ep；4.3.4 對(duì)所有對(duì)所有i，j根據(jù)相應(yīng)式子計(jì)算根據(jù)相應(yīng)式子計(jì)算p w (L)ij；4.3.5 對(duì)所有對(duì)所有i，j： w (L)ij= w (L)ij+p w (L)ij；4.3.6 k=L-1；4.3.7 while k0 do4.3.7.1 對(duì)所有對(duì)所有i, ,j根據(jù)相應(yīng)式子計(jì)算根據(jù)相應(yīng)式子計(jì)算p w (k)ij；4.3.7.2 對(duì)所有對(duì)所有i, ,j： w (k)ij= w (k)ij+p w (k)ij；4.3.7.3 k=k-1 4.4 對(duì)所有對(duì)所有i，j，k：w (k)ij= w (k)ij+ w (k)ij;4.5 E=

48、E/2.0 2021/3/980算法分析算法分析 較好地解決了因樣本的順序引起的精度問題較好地解決了因樣本的順序引起的精度問題和訓(xùn)練的抖動(dòng)問題和訓(xùn)練的抖動(dòng)問題 收斂速度：比較慢收斂速度：比較慢偏移量：給每一個(gè)神經(jīng)元增加一個(gè)偏移量來偏移量：給每一個(gè)神經(jīng)元增加一個(gè)偏移量來加快收斂速度加快收斂速度 沖量沖量：聯(lián)接權(quán)的本次修改要考慮上次修改的聯(lián)接權(quán)的本次修改要考慮上次修改的影響，以減少抖動(dòng)問題影響，以減少抖動(dòng)問題 2021/3/981 算法的實(shí)現(xiàn)算法的實(shí)現(xiàn) 主要數(shù)據(jù)結(jié)構(gòu)主要數(shù)據(jù)結(jié)構(gòu)WH，m 輸出層的權(quán)矩陣；輸出層的權(quán)矩陣；Vn，H 輸入（隱藏）層的權(quán)矩陣；輸入（隱藏）層的權(quán)矩陣；m輸出層各聯(lián)接權(quán)的修改

49、量組成的向量；輸出層各聯(lián)接權(quán)的修改量組成的向量；H隱藏層各聯(lián)接權(quán)的修改量組成的向量；隱藏層各聯(lián)接權(quán)的修改量組成的向量；O1隱藏層的輸出向量；隱藏層的輸出向量；O2輸出層的輸出向量；輸出層的輸出向量；(X，Y)一個(gè)樣本。一個(gè)樣本。 2021/3/982算法的主要實(shí)現(xiàn)步驟算法的主要實(shí)現(xiàn)步驟 用不同的小偽隨機(jī)數(shù)初始化用不同的小偽隨機(jī)數(shù)初始化W，V；初始化精度控制參數(shù)初始化精度控制參數(shù)；學(xué)習(xí)率；學(xué)習(xí)率 ； 循環(huán)控制參數(shù)循環(huán)控制參數(shù)E=+1；循環(huán)最大次數(shù)；循環(huán)最大次數(shù)M；循環(huán)次數(shù)控制參數(shù)循環(huán)次數(shù)控制參數(shù)N=0； while E & N0，此時(shí)，此時(shí)wij0取取ijwEE0wij2021/3/989ijjjijwnetnetEwE而其中的而其中的 kkkjjow