湘潭大學(xué)人工智能機(jī)器學(xué)習(xí)學(xué)習(xí)教案

1、會計學(xué)1第一頁，共76頁。第七章：機(jī)器學(xué)習(xí)第七章：機(jī)器學(xué)習(xí)(xux)(xux)系統(tǒng)系統(tǒng)1.1.機(jī)器機(jī)器(j q)(j q)學(xué)習(xí)的基本概念學(xué)習(xí)的基本概念2.2.機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)3.3.歸納學(xué)習(xí)歸納學(xué)習(xí)4.4.類比學(xué)習(xí)類比學(xué)習(xí)5.5.解釋學(xué)習(xí)解釋學(xué)習(xí)6.6.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)8.8.其他其他7.7.知識發(fā)現(xiàn)知識發(fā)現(xiàn)第1頁/共75頁第二頁，共76頁。 阿法狗通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)所有高水平圍棋棋譜，大概是歷史上有的20萬個左右職業(yè)(zhy)棋譜，從而獲得了在盤面上如何落子的直覺。第2頁/共75頁第三頁，共76頁。 類似的深度學(xué)習(xí)是在近幾年出現(xiàn)的，目前，這項科技也有了一些應(yīng)

2、用，最簡單的例子就是通過深度學(xué)習(xí)識別貓。通過這項識別驗證，已經(jīng)引申出了更多具有實際意義的應(yīng)用，比如識別某一個圖片中是否有癌細(xì)胞，某一個鐵路沿線上的軌道是否存在磨損，甚至(shnzh)軍事作戰(zhàn)中，對方的視線中是否有坦克，都可以通過深度學(xué)習(xí)實現(xiàn)。谷歌的自動駕駛，其中很重要的就是識別道路、交通信號燈、路標(biāo)等，這都是通過深度學(xué)習(xí)獲得。第3頁/共75頁第四頁，共76頁。 阿法狗走的是通用學(xué)習(xí)的道路。它的估值函數(shù)，不是專家攻關(guān)搗哧出來的。它的作者只是搭了一個基本的框架（一個多層的神經(jīng)網(wǎng)絡(luò)），除了圍棋最基本的規(guī)則外，沒有任何先驗知識。你可以把它想象成一個新生兒的大腦，一張白紙。然后，直接用人類高手對局的30

3、00萬個局面訓(xùn)練它，自動調(diào)節(jié)它的神經(jīng)網(wǎng)絡(luò)參數(shù)，讓它的行為和人類高手接近。這樣，阿法狗就具有了基本的棋感，看到一個局面大致就能知道好還是不好(b ho)。 阿法狗的核心技術(shù)還包括策略網(wǎng)絡(luò)的訓(xùn)練和蒙特卡洛樹搜索。第4頁/共75頁第五頁，共76頁。第七章：機(jī)器學(xué)習(xí)第七章：機(jī)器學(xué)習(xí)(xux)(xux)系統(tǒng)系統(tǒng)1.1.機(jī)器機(jī)器(j q)(j q)學(xué)習(xí)的基本概念學(xué)習(xí)的基本概念2.2.機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)3.3.歸納學(xué)習(xí)歸納學(xué)習(xí)4.4.類比學(xué)習(xí)類比學(xué)習(xí)5.5.解釋學(xué)習(xí)解釋學(xué)習(xí)6.6.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)8.8.其他其他7.7.知識發(fā)現(xiàn)知識發(fā)現(xiàn)第5頁/共75頁第六頁，共76頁。 機(jī)

4、器學(xué)習(xí)是人工智能的核心，通過使機(jī)器模擬人類學(xué)習(xí)行為，智能化地從過去的經(jīng)歷中獲得經(jīng)驗，從而改善其整體性能，重組內(nèi)在知識結(jié)構(gòu)，并對未知事件進(jìn)行準(zhǔn)確的推斷。機(jī)器學(xué)習(xí)在科學(xué)和工程諸多領(lǐng)域都有著非常廣泛(gungfn)的應(yīng)用，例如金融分析、數(shù)據(jù)挖掘、生物信息學(xué)、醫(yī)學(xué)診斷等。生活中常見的一些智能系統(tǒng)也廣泛(gungfn)使用機(jī)器學(xué)習(xí)算法，例如電子商務(wù)、手寫輸入、郵件過濾等。第6頁/共75頁第七頁，共76頁。 人類的未來生活和工作，還將有機(jī)器人參與。機(jī)器人的自主(zzh)學(xué)習(xí)，更離不開人臉識別技術(shù)。 2015年3月16日，馬云在德國參加活動時，為嘉賓演示了一項“SmiletoPay”的掃臉技術(shù)。在網(wǎng)購后的支

5、付(zhf)認(rèn)證階段，通過掃臉取代傳統(tǒng)的密碼，實現(xiàn)“刷臉支付(zhf)”。第7頁/共75頁第八頁，共76頁。第8頁/共75頁第九頁，共76頁。第9頁/共75頁第十頁，共76頁。第10頁/共75頁第十一頁，共76頁。第11頁/共75頁第十二頁，共76頁。第七章：機(jī)器學(xué)習(xí)第七章：機(jī)器學(xué)習(xí)(xux)(xux)系系統(tǒng)統(tǒng)1.1.機(jī)器機(jī)器(j q)(j q)學(xué)習(xí)的基本概念學(xué)習(xí)的基本概念2.2.機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)3.3.歸納學(xué)習(xí)歸納學(xué)習(xí)4.4.類比學(xué)習(xí)類比學(xué)習(xí)5.5.解釋學(xué)習(xí)解釋學(xué)習(xí)6.6.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)8.8.其他其他7.7.知識發(fā)現(xiàn)知識發(fā)現(xiàn)第12頁/共75頁第十三頁，

6、共76頁。第13頁/共75頁第十四頁，共76頁。環(huán)環(huán) 境境學(xué)學(xué) 習(xí)習(xí)知識庫知識庫執(zhí)執(zhí) 行行第14頁/共75頁第十五頁，共76頁。第七章：機(jī)器學(xué)習(xí)第七章：機(jī)器學(xué)習(xí)(xux)(xux)系統(tǒng)系統(tǒng)1.1.機(jī)器機(jī)器(j q)(j q)學(xué)習(xí)的基本概念學(xué)習(xí)的基本概念2.2.機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)3.3.歸納學(xué)習(xí)歸納學(xué)習(xí)4.4.類比學(xué)習(xí)類比學(xué)習(xí)5.5.解釋學(xué)習(xí)解釋學(xué)習(xí)6.6.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)8.8.其他其他7.7.知識發(fā)現(xiàn)知識發(fā)現(xiàn)第15頁/共75頁第十六頁，共76頁。 解釋過程 實例空間 規(guī)則空間 規(guī)劃過程 實驗規(guī)劃過程通過對實例空間的搜索完成實例選擇，并將這些選中實驗規(guī)劃過程通

7、過對實例空間的搜索完成實例選擇，并將這些選中拿到的活躍實例提交給解釋拿到的活躍實例提交給解釋(jish)過程。解釋過程。解釋(jish)過程對實例加以適當(dāng)轉(zhuǎn)換，把活過程對實例加以適當(dāng)轉(zhuǎn)換，把活躍實例變換為規(guī)則空間中的特定概念，以引導(dǎo)規(guī)則空間的搜索。躍實例變換為規(guī)則空間中的特定概念，以引導(dǎo)規(guī)則空間的搜索。第16頁/共75頁第十七頁，共76頁。第17頁/共75頁第十八頁，共76頁。第七章：機(jī)器學(xué)習(xí)第七章：機(jī)器學(xué)習(xí)(xux)(xux)系系統(tǒng)統(tǒng)1.1.機(jī)器機(jī)器(j q)(j q)學(xué)習(xí)的基本概念學(xué)習(xí)的基本概念2.2.機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)3.3.歸納學(xué)習(xí)歸納學(xué)習(xí)4.4.類比學(xué)習(xí)類比

8、學(xué)習(xí)5.5.解釋學(xué)習(xí)解釋學(xué)習(xí)6.6.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)8.8.其他其他7.7.知識發(fā)現(xiàn)知識發(fā)現(xiàn)第18頁/共75頁第十九頁，共76頁。第19頁/共75頁第二十頁，共76頁。第20頁/共75頁第二十一頁，共76頁。第21頁/共75頁第二十二頁，共76頁。第七章：機(jī)器第七章：機(jī)器(j q)(j q)學(xué)習(xí)學(xué)習(xí)系統(tǒng)系統(tǒng)1.1.機(jī)器機(jī)器(j q)(j q)學(xué)習(xí)的基本概念學(xué)習(xí)的基本概念2.2.機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)3.3.歸納學(xué)習(xí)歸納學(xué)習(xí)4.4.類比學(xué)習(xí)類比學(xué)習(xí)5.5.解釋學(xué)習(xí)解釋學(xué)習(xí)6.6.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)8.8.其他其他7.7.知識發(fā)現(xiàn)知識發(fā)現(xiàn)第22頁/共75頁第二十

9、三頁，共76頁。第23頁/共75頁第二十四頁，共76頁。目標(biāo)概念目標(biāo)概念新規(guī)則新規(guī)則操作準(zhǔn)則操作準(zhǔn)則訓(xùn)練例子訓(xùn)練例子知識庫知識庫第24頁/共75頁第二十五頁，共76頁。第25頁/共75頁第二十六頁，共76頁。第26頁/共75頁第二十七頁，共76頁。Safe-To-Stack(Obj1,obj2)Lighter(Obj1,obj2)Weight(Obj1,0.1)Weight(Obj2,15)Smaller(0.1,15)Isa(Obj2,table)Voume(Obj1,1)Density(Obj1,0.1)*(1,0.1,0.1)第27頁/共75頁第二十八頁，共76頁。第28頁/共75頁第二

10、十九頁，共76頁。Safe-To-Stack(O1,O2)Lighter(O1,O2)Weight(O1,w1)Weight(O2,15)Smaller(w1,15)Isa(O2,table)Voume(O1,v1)Density(O1,d1)*(v1,d1,w1)以后求解類似問題時，就可以直接利用這個知識以后求解類似問題時，就可以直接利用這個知識(zh shi)進(jìn)行求解，提到了系統(tǒng)求解問題的效率。進(jìn)行求解，提到了系統(tǒng)求解問題的效率。第29頁/共75頁第三十頁，共76頁。第七章：機(jī)器第七章：機(jī)器(j q)(j q)學(xué)習(xí)系統(tǒng)學(xué)習(xí)系統(tǒng)1.1.機(jī)器機(jī)器(j q)(j q)學(xué)習(xí)的基本概念學(xué)習(xí)的基本概念

11、2.2.機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)3.3.歸納學(xué)習(xí)歸納學(xué)習(xí)4.4.類比學(xué)習(xí)類比學(xué)習(xí)5.5.解釋學(xué)習(xí)解釋學(xué)習(xí)6.6.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)8.8.其他其他7.7.知識發(fā)現(xiàn)知識發(fā)現(xiàn)第30頁/共75頁第三十一頁，共76頁。第31頁/共75頁第三十二頁，共76頁。n突觸修正學(xué)派認(rèn)為，人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)突觸修正學(xué)派認(rèn)為，人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是一個不斷調(diào)整網(wǎng)絡(luò)連接權(quán)值的過過程就是一個不斷調(diào)整網(wǎng)絡(luò)連接權(quán)值的過程。程。n按照學(xué)習(xí)規(guī)則，神經(jīng)學(xué)習(xí)可分為：按照學(xué)習(xí)規(guī)則，神經(jīng)學(xué)習(xí)可分為：Hebb學(xué)學(xué)習(xí)、糾錯學(xué)習(xí)、競爭學(xué)習(xí)及隨機(jī)學(xué)習(xí)等。習(xí)、糾錯學(xué)習(xí)、競爭學(xué)習(xí)及隨機(jī)學(xué)習(xí)等。第32頁/共75頁第三十

12、三頁，共76頁。)()()() 1(txtxtwtwjiijij第33頁/共75頁第三十四頁，共76頁。)()()()() 1(txtytdtwtwijjijij第34頁/共75頁第三十五頁，共76頁。第35頁/共75頁第三十六頁，共76頁。第36頁/共75頁第三十七頁，共76頁。 單層感知器學(xué)習(xí)實際上是一種基于糾錯學(xué)習(xí)規(guī)則，采用迭代的思想對連單層感知器學(xué)習(xí)實際上是一種基于糾錯學(xué)習(xí)規(guī)則，采用迭代的思想對連接權(quán)值和閾值進(jìn)行不斷調(diào)整，直到滿足結(jié)束條件為止的學(xué)習(xí)算法。接權(quán)值和閾值進(jìn)行不斷調(diào)整，直到滿足結(jié)束條件為止的學(xué)習(xí)算法。 假設(shè)假設(shè)X(k)和和W(k)分別表示學(xué)習(xí)算法在第分別表示學(xué)習(xí)算法在第k次迭

13、代時輸入向量和權(quán)值向量，次迭代時輸入向量和權(quán)值向量，為方便，把閾值為方便，把閾值作為權(quán)值向量作為權(quán)值向量W(k)中的第一個分量中的第一個分量(fn ling)，對應(yīng)地把，對應(yīng)地把“-1”固定地作為輸入向量固定地作為輸入向量X(k)中的第一個分量中的第一個分量(fn ling)。即。即W(k)和和X(k)可可分別表示如下：分別表示如下： X(k)=-1, x1(k), x2(k), , xn(k) W(k)=(k),w1(k), w2(k), ,wn(k)即即x0(k)=-1，w0(k)=(k)。 單層感知器學(xué)習(xí)是一種有導(dǎo)師學(xué)習(xí)，它需要給出輸入樣本的期望輸出。單層感知器學(xué)習(xí)是一種有導(dǎo)師學(xué)習(xí)，它需

14、要給出輸入樣本的期望輸出。 假設(shè)一個樣本空間可以被劃分為假設(shè)一個樣本空間可以被劃分為A、B兩類，定義兩類，定義: 功能函數(shù)：若輸入樣本屬于功能函數(shù)：若輸入樣本屬于A類，輸出為類，輸出為+1，否則其輸出為，否則其輸出為-1。 期望輸出：若輸入樣本屬于期望輸出：若輸入樣本屬于A類，期望輸出為類，期望輸出為+1，否則為，否則為-1。 單層感知器學(xué)習(xí)單層感知器學(xué)習(xí)(xux)算法算法算法思想算法思想第37頁/共75頁第三十八頁，共76頁。 單層感知器學(xué)習(xí)算法可描述如下：單層感知器學(xué)習(xí)算法可描述如下： (1) 設(shè)設(shè)t=0，初始化連接權(quán)和閾值。即給，初始化連接權(quán)和閾值。即給wi(0)(i=1, 2, ,n)

15、及及(0)分別賦予一個較小的非零分別賦予一個較小的非零隨機(jī)數(shù)，作為初值。其中，隨機(jī)數(shù)，作為初值。其中，wi(0)是第是第0次迭代時輸入向量中第次迭代時輸入向量中第i個輸入的連接權(quán)值；個輸入的連接權(quán)值；(0)是第是第0次迭代時輸出節(jié)點(diǎn)的閾值；次迭代時輸出節(jié)點(diǎn)的閾值； (2) 提供提供(tgng)新的樣本輸入新的樣本輸入xi(t)(i=1, 2, , n)和期望輸出和期望輸出d(t)； (3) 計算網(wǎng)絡(luò)的實際輸出：計算網(wǎng)絡(luò)的實際輸出： nittxtwftyniii,.,2 , 1)()()()(1單層感知器學(xué)習(xí)單層感知器學(xué)習(xí)(xux)算法算法算法描述算法描述第38頁/共75頁第三十九頁，共76頁。

16、 (4) (4) 若若y(t)=d(t)y(t)=d(t)，不需要，不需要(xyo)(xyo)調(diào)整連接權(quán)值，轉(zhuǎn)調(diào)整連接權(quán)值，轉(zhuǎn)(6)(6)。否則，需要否則，需要(xyo)(xyo)調(diào)整權(quán)值調(diào)整權(quán)值 (5) (5) 調(diào)整連接權(quán)值調(diào)整連接權(quán)值其中，其中，是一個增益因子，用于控制修改速度，其值如果太大是一個增益因子，用于控制修改速度，其值如果太大，會影響，會影響wi(t)wi(t)的收斂性；如果太小，又會使的收斂性；如果太小，又會使wi(t)wi(t)的收斂速度的收斂速度太慢太慢; ; (6) (6) 判斷是否滿足結(jié)束條件，若滿足，算法結(jié)束；否則，將判斷是否滿足結(jié)束條件，若滿足，算法結(jié)束；否則，將t

17、 t值加值加1 1，轉(zhuǎn)，轉(zhuǎn)(2)(2)重新執(zhí)行。這里的結(jié)束條件一般是指重新執(zhí)行。這里的結(jié)束條件一般是指wi(t)wi(t)對一對一切樣本均穩(wěn)定不變。切樣本均穩(wěn)定不變。 若輸入的兩類樣本是線性可分的，則該算法就一定會收斂若輸入的兩類樣本是線性可分的，則該算法就一定會收斂。否則，不收斂。否則，不收斂。nitxtytdtwtwiii,.,2 , 1)()()()() 1(單層感知器學(xué)習(xí)算法單層感知器學(xué)習(xí)算法(sun f)算法算法(sun f)描述描述第39頁/共75頁第四十頁，共76頁。 例例 用單層感知器實現(xiàn)邏輯用單層感知器實現(xiàn)邏輯“與與”運(yùn)算。運(yùn)算。 解：根據(jù)解：根據(jù)“與與”運(yùn)算的邏輯關(guān)系，可將

18、問題轉(zhuǎn)換為：輸入向量：運(yùn)算的邏輯關(guān)系，可將問題轉(zhuǎn)換為：輸入向量： X1=0, 0, 1, 1 X2=0, 1, 0, 1輸出向量：輸出向量： Y=0, 0, 0, 1 為減少算法的迭代次數(shù)，設(shè)初始連接權(quán)值和閾值為減少算法的迭代次數(shù)，設(shè)初始連接權(quán)值和閾值(y zh)取值如下：取值如下： w1(0)=0.5, w2(0)=0.7, (0)=0.6并取增益因子并取增益因子=0.4。 算法的學(xué)習(xí)過程如下：算法的學(xué)習(xí)過程如下： 設(shè)兩個輸入為設(shè)兩個輸入為x1(0)=0和和x2(0)=0，其期望輸出為，其期望輸出為d(0)=0，實際輸出為：，實際輸出為： y(0)=f(w1(0)x1(0)+ w2(0)x2

19、(0)-(0) =f(0.5*0+0.7*0-0.6)=f(-0.6)=0實際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。實際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。單層感知器學(xué)習(xí)單層感知器學(xué)習(xí)(xux)的例子的例子學(xué)習(xí)學(xué)習(xí)(xux)例子例子(1/4)第40頁/共75頁第四十一頁，共76頁。 再取下一組輸入再取下一組輸入(shr)：x1(0)=0和和x2(0)=1， 期望輸出期望輸出d(0)=0，實際輸出：，實際輸出： y(0)=f(w1(0) x1(0)+ w2(0) x2(0)-(0) =f(0.5*0+0.7*1-0.6)=f(0.1)=1實際輸出與期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下：實際輸出與

20、期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下： (1)=(0)+(d(0)- y(0)*(-1)=0.6+0.4*(0-1)*(-1)=1 w1(1)=w1(0)+(d(0)- y(0)x1(0)=0.5+0.4*(0-1)*0=0.5 w2(1)=w2(0)+(d(0)- y(0)x2(0)=0.7+0.4*(0-1)*1=0.3取下一組輸入取下一組輸入(shr)：x1(1)=1和和x2(1)=0，其期望輸出為，其期望輸出為d(1)=0，實際輸出為：，實際輸出為： y(1)=f(w1(1) x1(1)+ w2(1) x2(1)-(1) =f(0.5*1+0.3*0-1)=f(-0.51)=0實際輸

21、出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。實際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。 單層感知器學(xué)習(xí)單層感知器學(xué)習(xí)(xux)的例子的例子學(xué)習(xí)學(xué)習(xí)(xux)例子例子(2/4)第41頁/共75頁第四十二頁，共76頁。 再取下一組輸入：再取下一組輸入：x1(1)=1和和x2(1)=1，其期望，其期望(qwng)輸出為輸出為d(1)=1，實際輸，實際輸出為：出為： y(1)=f(w1(1) x1(1)+ w2(1) x2(1)-(1) =f(0.5*1+0.3*1-1)=f(-0.2)=0 實際輸出與期望實際輸出與期望(qwng)輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下：輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下： (2)=

22、(1)+(d(1)- y(1)*(-1)=1+0.4*(1-0)*(-1)=0.6 w1(2)=w1(1)+(d(1)- y(1)x1(1)=0.5+0.4*(1-0)*1=0.9 w2(2)=w2(1)+(d(1)- y(1)x2(1)=0.3+0.4*(1-0)*1=0.7 取下一組輸入：取下一組輸入：x1(2)=0和和x2(2)=0，其期望，其期望(qwng)輸出為輸出為d(2)=0，實際輸出為：，實際輸出為： y(2)=f(0.9*0+0.7*0-0.6)=f(-0.6)=0實際輸出與期望實際輸出與期望(qwng)輸出相同，不需要調(diào)節(jié)權(quán)值輸出相同，不需要調(diào)節(jié)權(quán)值. 單層感知器學(xué)習(xí)單層感

23、知器學(xué)習(xí)(xux)的例子的例子學(xué)習(xí)學(xué)習(xí)(xux)例子例子(3/4)第42頁/共75頁第四十三頁，共76頁。 再取下一組輸入：再取下一組輸入：x1(2)=0和和x2(2)=1，期望輸出為，期望輸出為d(2)=0，實際輸出為：，實際輸出為： y(2)=f(0.9*0+0.7*1-0.6)=f(0.1)=1 實際輸出與期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下：實際輸出與期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下： (3)=(2)+(d(2)- y(2)*(-1)=0.6+0.4*(0-1)*(-1)=1 w1(3)=w1(2)+(d(2)- y(2)x1(2)=0.9+0.4*(0-1)*0=0.9 w2

24、(3)=w2(2)+(d(2)- y(2)x2(2)=0.7+0.4*(0-1)*1=0.3 實際上，由與運(yùn)算的閾值條件可知，此時的閾值和連接權(quán)值以滿足結(jié)束條件，算法可以實際上，由與運(yùn)算的閾值條件可知，此時的閾值和連接權(quán)值以滿足結(jié)束條件，算法可以(ky)結(jié)束。結(jié)束。 對此，可檢驗如下：對此，可檢驗如下： 對輸入：對輸入：“0 0”有有y=f(0.9*0+0.3*0-1)=f(-1)=0 對輸入：對輸入：“0 1”有有y=f(0.9*0+0.3*0.1-1)=f(-0.7)=0 對輸入：對輸入：“1 0”有有y=f(0.9*1+0.3*0-1)=f(-0.1)=0 對輸入：對輸入：“1 1”有有

25、y=f(0.9*1+0.3*1-1)=f(0.2)=1單層感知器學(xué)習(xí)單層感知器學(xué)習(xí)(xux)的例子的例子學(xué)習(xí)學(xué)習(xí)(xux)例子例子(4/4)第43頁/共75頁第四十四頁，共76頁。 多層感知器可以解決非線性可分問題，但其隱層神經(jīng)元的期望輸出多層感知器可以解決非線性可分問題，但其隱層神經(jīng)元的期望輸出(shch)卻不卻不易給出。易給出。 而單層感知器學(xué)習(xí)是一種有導(dǎo)師指導(dǎo)的學(xué)習(xí)過程，因此其學(xué)習(xí)算法無法直接用于而單層感知器學(xué)習(xí)是一種有導(dǎo)師指導(dǎo)的學(xué)習(xí)過程，因此其學(xué)習(xí)算法無法直接用于多層感知器。多層感知器。 由于多層感知器和由于多層感知器和BP網(wǎng)絡(luò)都屬于前向網(wǎng)絡(luò)，并能較好解決多層前饋網(wǎng)絡(luò)的學(xué)習(xí)問網(wǎng)絡(luò)都屬于

26、前向網(wǎng)絡(luò)，并能較好解決多層前饋網(wǎng)絡(luò)的學(xué)習(xí)問題題. 因此，可用因此，可用BP學(xué)習(xí)來解決多層感知器學(xué)習(xí)問題。學(xué)習(xí)來解決多層感知器學(xué)習(xí)問題。多層感知器學(xué)習(xí)多層感知器學(xué)習(xí)(xux)問題問題第44頁/共75頁第四十五頁，共76頁。 BP網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)學(xué)習(xí)的網(wǎng)絡(luò)學(xué)習(xí)的網(wǎng)絡(luò)(wnglu)基礎(chǔ)是具有多層前饋基礎(chǔ)是具有多層前饋結(jié)構(gòu)的結(jié)構(gòu)的BP網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)。為討論方便，采用如下圖所示的三層。為討論方便，采用如下圖所示的三層BP網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)。BP網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)(xux)的基礎(chǔ)的基礎(chǔ)1. 三層三層BP網(wǎng)絡(luò)網(wǎng)絡(luò)x1xny1yl12mwijwjkijk1nl1三層三層BP網(wǎng)絡(luò)網(wǎng)絡(luò)工作信號工作

27、信號的的正向傳播正向傳播誤差誤差的的反向反向傳播傳播第45頁/共75頁第四十六頁，共76頁。 對上述三層對上述三層BP網(wǎng)絡(luò)，分別用網(wǎng)絡(luò)，分別用I,j,k表示表示(biosh)輸入層、隱含層、輸輸入層、隱含層、輸出層節(jié)點(diǎn)，且以以下符號表示出層節(jié)點(diǎn)，且以以下符號表示(biosh)： Oi, Oj, Ok分別表示分別表示(biosh)輸入層節(jié)點(diǎn)輸入層節(jié)點(diǎn)i、隱含層節(jié)點(diǎn)、隱含層節(jié)點(diǎn)j，輸出層節(jié)，輸出層節(jié)點(diǎn)點(diǎn)k的輸出；的輸出； Ii , Ij ,Ik,分別表示分別表示(biosh)輸入層節(jié)點(diǎn)輸入層節(jié)點(diǎn)i、隱含層節(jié)點(diǎn)、隱含層節(jié)點(diǎn)j，輸出層節(jié)點(diǎn)，輸出層節(jié)點(diǎn)k的輸入；的輸入； wij, wjk分別表示分別表示

28、(biosh)從輸入層節(jié)點(diǎn)從輸入層節(jié)點(diǎn)i到隱含層節(jié)點(diǎn)到隱含層節(jié)點(diǎn)j，從隱含層，從隱含層節(jié)點(diǎn)節(jié)點(diǎn)j輸出層節(jié)點(diǎn)輸出層節(jié)點(diǎn)k的輸入節(jié)點(diǎn)的輸入節(jié)點(diǎn)j的連接權(quán)值；的連接權(quán)值； j 、 k分別表示分別表示(biosh)隱含層節(jié)點(diǎn)隱含層節(jié)點(diǎn)j、輸出層節(jié)點(diǎn)、輸出層節(jié)點(diǎn)k的閾值；的閾值； 對輸入層節(jié)點(diǎn)對輸入層節(jié)點(diǎn)i有：有： BP網(wǎng)絡(luò)學(xué)習(xí)的基礎(chǔ)網(wǎng)絡(luò)學(xué)習(xí)的基礎(chǔ)2. 網(wǎng)絡(luò)節(jié)點(diǎn)的輸入網(wǎng)絡(luò)節(jié)點(diǎn)的輸入/輸出輸出(shch)關(guān)系關(guān)系(1/2),.,2 , 1(nixOIiii（7.1）第46頁/共75頁第四十七頁，共76頁。 對輸出對輸出(shch)層節(jié)點(diǎn)層節(jié)點(diǎn)有：有：BP網(wǎng)絡(luò)學(xué)習(xí)的基礎(chǔ)網(wǎng)絡(luò)學(xué)習(xí)的基礎(chǔ)2. 網(wǎng)絡(luò)節(jié)點(diǎn)網(wǎng)絡(luò)節(jié)點(diǎn)(

29、ji din)的輸入的輸入/輸出關(guān)系輸出關(guān)系(2/2)mjkjjkklkOwI1,.,2 , 1lkIfOkk,.,2 , 1)(（7.5）（7.4）mjxwOwIjniiijjiniijj,.,2 , 111()1,2,.,jjOf Ijm 對隱含對隱含(yn hn)層節(jié)點(diǎn)有：層節(jié)點(diǎn)有：（7.2）（7.3）第47頁/共75頁第四十八頁，共76頁。BP網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)(xux)的方的方式式BP網(wǎng)絡(luò)學(xué)習(xí)的基礎(chǔ)網(wǎng)絡(luò)學(xué)習(xí)的基礎(chǔ)BP網(wǎng)絡(luò)的激發(fā)網(wǎng)絡(luò)的激發(fā)(jf)函數(shù)和學(xué)習(xí)方式函數(shù)和學(xué)習(xí)方式mjkjjkklkOwI1,.,2 , 1lkIfOkk,.,2 , 1)(（7.5）（7.4）mjxwOwIjni

30、iijjiniijj,.,2 , 111()1,2,.,jjOf IjmBP網(wǎng)絡(luò)的激發(fā)網(wǎng)絡(luò)的激發(fā)(jf)函數(shù)函數(shù)（7.3） 通常采用連續(xù)可微的通常采用連續(xù)可微的S函數(shù)，包括單極函數(shù)，包括單極第48頁/共75頁第四十九頁，共76頁。 BP網(wǎng)絡(luò)學(xué)習(xí)過程是一個對給定訓(xùn)練模式，利用傳播公式，沿著減小誤差網(wǎng)絡(luò)學(xué)習(xí)過程是一個對給定訓(xùn)練模式，利用傳播公式，沿著減小誤差(wch)的方向不的方向不斷調(diào)整網(wǎng)絡(luò)聯(lián)結(jié)權(quán)值和閾值的過程。斷調(diào)整網(wǎng)絡(luò)聯(lián)結(jié)權(quán)值和閾值的過程。 設(shè)樣本集中的第設(shè)樣本集中的第r個樣本，其輸出層結(jié)點(diǎn)個樣本，其輸出層結(jié)點(diǎn)k的期望輸出用的期望輸出用drk表示，實際輸出用表示，實際輸出用yrk表示。其表示

31、。其中，中，drk由訓(xùn)練模式給出，由訓(xùn)練模式給出，yrk由由7.5式計算得出。即有式計算得出。即有 yrk = Ork 如果僅針對單個輸入樣本，其實際輸出與期望輸出的誤差如果僅針對單個輸入樣本，其實際輸出與期望輸出的誤差(wch)為為 BP算法的傳播公式算法的傳播公式(gngsh)誤差誤差 上述誤差定義是針對單個訓(xùn)練樣本的誤差計算公式，它適用于網(wǎng)絡(luò)的順序上述誤差定義是針對單個訓(xùn)練樣本的誤差計算公式，它適用于網(wǎng)絡(luò)的順序(shnx)學(xué)習(xí)方式。若采用批處理學(xué)習(xí)方式，需要定義其總體誤差。假設(shè)樣本集中有學(xué)習(xí)方式。若采用批處理學(xué)習(xí)方式，需要定義其總體誤差。假設(shè)樣本集中有R個樣本，個樣本，則對整個樣本集的總

32、體誤差定義為則對整個樣本集的總體誤差定義為lkkkydE12)(21RrlkrkrkRrrRydEE1121)(21（7.6）（7.7）第49頁/共75頁第五十頁，共76頁。針對順序針對順序(shnx)學(xué)習(xí)方式，其聯(lián)結(jié)權(quán)值的調(diào)整公式為學(xué)習(xí)方式，其聯(lián)結(jié)權(quán)值的調(diào)整公式為 BP算法的傳播公式算法的傳播公式(gngsh)權(quán)值變化量權(quán)值變化量(1/2)（7.8）（7.9）式中，式中，為增益因子，取為增益因子，取0, 1區(qū)間的一個正數(shù)，其取值與算法的收斂區(qū)間的一個正數(shù)，其取值與算法的收斂(shulin)速度有關(guān)；速度有關(guān)； 由下式計算由下式計算jkjkjkwtwtw)() 1(式中，式中，wjk (t)和

33、和wjk(t+1)分別是第分別是第t次迭代和次迭代和t+1次迭代時，從結(jié)點(diǎn)次迭代時，從結(jié)點(diǎn)j到結(jié)點(diǎn)到結(jié)點(diǎn)k的聯(lián)結(jié)權(quán)值；的聯(lián)結(jié)權(quán)值； wjk是聯(lián)結(jié)權(quán)值的變化量。是聯(lián)結(jié)權(quán)值的變化量。 為了使聯(lián)結(jié)權(quán)值能沿著為了使聯(lián)結(jié)權(quán)值能沿著E的梯度下降的方向逐漸改善，網(wǎng)絡(luò)逐漸收斂，權(quán)值變化量的梯度下降的方向逐漸改善，網(wǎng)絡(luò)逐漸收斂，權(quán)值變化量 wjk的計算公式如下：的計算公式如下：jkjkwEwjkwEjkkkjkwIIEwE（7.10）第50頁/共75頁第五十一頁，共76頁。根據(jù)根據(jù)(gnj)7.2式，可得到輸出層節(jié)點(diǎn)式，可得到輸出層節(jié)點(diǎn)k的的Ik為為 BP算法的傳播算法的傳播(chunb)公式公式權(quán)值變化量權(quán)值

34、變化量(1/2)（7.11）（7.12）令局部令局部(jb)梯度梯度（7.13）jmjjkkOwI1jjmjjkjkjkkOOwwwI1對該式求偏導(dǎo)數(shù)有對該式求偏導(dǎo)數(shù)有kkIE將將7.10式、式、7.11式和式和7.12式代入式代入7.9式有式有jkjkkkjkjkOwIIEwEw 對對k的計算，須區(qū)分的計算，須區(qū)分k是輸出層上還是隱含層上的結(jié)點(diǎn)。下面分別討論。是輸出層上還是隱含層上的結(jié)點(diǎn)。下面分別討論。第51頁/共75頁第五十二頁，共76頁。如果如果(rgu)結(jié)點(diǎn)結(jié)點(diǎn)k是輸出層上的結(jié)點(diǎn)，則有是輸出層上的結(jié)點(diǎn)，則有Ok=yk，因此，因此 BP算法的傳播公式算法的傳播公式節(jié)點(diǎn)節(jié)點(diǎn)(ji din)

35、k是輸出層節(jié)點(diǎn)是輸出層節(jié)點(diǎn)(ji din)(1/3)（7.14）（7.15）由由7.6式，有式，有即即而而kkkkkIyyEIE)()()(221)(21(12kkkkkkklkkkkydyyydyydyE)(kkkydyEkkkyfII（7.16）第52頁/共75頁第五十三頁，共76頁。將將7.15式和式和7.16式代入式代入7.14式，有式，有BP算法的傳播公式算法的傳播公式節(jié)點(diǎn)節(jié)點(diǎn)(ji din)k是輸出層節(jié)點(diǎn)是輸出層節(jié)點(diǎn)(ji din)(2/3)（7.17）（7.15）由于由于(yuy)f(Ik) = f(Ik)1-f(Ik)，且，且f(Ik)=yk，因此有，因此有再將再將7.18式代

36、入式代入7.13式，有式，有根據(jù)根據(jù)(gnj)7.8，對輸出層有，對輸出層有（7.20）)()(kkkkIfyd )1 ()(kkkkkyyyd（7.18）jkkkkjkOyyydw)1)(1)( )( )()(1)jkjkjkjkkkkkjwtwtwwtdyyy O第53頁/共75頁第五十四頁，共76頁。 如果如果k不是輸出層結(jié)點(diǎn)它表示聯(lián)結(jié)權(quán)值是作用不是輸出層結(jié)點(diǎn)它表示聯(lián)結(jié)權(quán)值是作用(zuyng)于隱含層上的結(jié)點(diǎn)，于隱含層上的結(jié)點(diǎn)，此時，有此時，有k=j ，j按下式計算按下式計算 BP算法的傳播算法的傳播(chunb)公式公式節(jié)點(diǎn)節(jié)點(diǎn)k是隱含層節(jié)點(diǎn)是隱含層節(jié)點(diǎn)(1/3)（7.22）由由7.3

37、式，式，Oj=f (Ij-j)，因此，因此(ync)有有式中，式中，（7.21）jjjjjIOOEIE)(jjjIfOE是一個隱函數(shù)求導(dǎo)問題，其推導(dǎo)過程為是一個隱函數(shù)求導(dǎo)問題，其推導(dǎo)過程為jOEmjjjkjlkkjklkkjOwOIEOIIEOE111)(jklkkwIE)(1第54頁/共75頁第五十五頁，共76頁。由由7.12式有式有 BP算法的傳播公式算法的傳播公式節(jié)點(diǎn)節(jié)點(diǎn)(ji din)k是隱含層節(jié)點(diǎn)是隱含層節(jié)點(diǎn)(ji din)(2/3)（7.24）將將7.23式代入式代入7.22式，有式，有 它說明，低層結(jié)點(diǎn)的它說明，低層結(jié)點(diǎn)的值是通過上一層結(jié)點(diǎn)的值是通過上一層結(jié)點(diǎn)的值來計算的。這樣，

38、我們就可以值來計算的。這樣，我們就可以(ky)先計先計算出輸出層上的算出輸出層上的值，然后把它返回到較低層上，并計算出各較低層上結(jié)點(diǎn)的值，然后把它返回到較低層上，并計算出各較低層上結(jié)點(diǎn)的值。值。 由于由于f (Ij) = f(Ij) 1-f (Ij) ，故由，故由7.24可得可得（7.23）lkjkkjwOE1lkjkkjjwIf1)(lkjkkjjjwIfIf1)(1)(（7.25）第55頁/共75頁第五十六頁，共76頁。再將再將7.25式代入式代入7.13式，并將其轉(zhuǎn)化為隱函數(shù)式，并將其轉(zhuǎn)化為隱函數(shù)(hnsh)的變化量，有的變化量，有7.3.2 BP算法的傳播算法的傳播(chunb)公式公

39、式節(jié)點(diǎn)節(jié)點(diǎn)k是隱含層節(jié)點(diǎn)是隱含層節(jié)點(diǎn)(3/3)再由再由7.1式和式和7.3式，有式，有根據(jù)根據(jù)(gnj)7.8，對隱含層有，對隱含層有（7.26）（7.28）ilkjkkjjijOwIfIfw)(1)(1ilkjkkjjijxwOOw)(1 (1ilkjkkjjijijijijxwOOtwwtwtw)(1 ()()() 1(1（7.27）第56頁/共75頁第五十七頁，共76頁。 對三層對三層BP網(wǎng)絡(luò)，設(shè)網(wǎng)絡(luò)，設(shè)wij是輸入層到隱層，是輸入層到隱層，wjk是隱層到輸出層的聯(lián)結(jié)權(quán)值；是隱層到輸出層的聯(lián)結(jié)權(quán)值；R是是樣本個數(shù)，其計數(shù)器為樣本個數(shù)，其計數(shù)器為r；T是訓(xùn)練過程的最大迭代數(shù)，其計數(shù)器為是訓(xùn)

40、練過程的最大迭代數(shù)，其計數(shù)器為t。 (1) 初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)：將初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)：將wij、wjk、j、k均賦以較小的隨機(jī)數(shù)；設(shè)置均賦以較小的隨機(jī)數(shù)；設(shè)置為為0,1區(qū)間的數(shù)；置訓(xùn)練樣本計數(shù)器區(qū)間的數(shù)；置訓(xùn)練樣本計數(shù)器r=0，誤差，誤差E=0、誤差閾值、誤差閾值為很小的正數(shù)。為很小的正數(shù)。 (2) 隨機(jī)輸入一個訓(xùn)練樣本，隨機(jī)輸入一個訓(xùn)練樣本，r=r+1，t=0。 (3) 按按7.1-7.5式計算隱層神經(jīng)元的狀態(tài)和輸出層每個節(jié)點(diǎn)式計算隱層神經(jīng)元的狀態(tài)和輸出層每個節(jié)點(diǎn)(ji din)的實際輸出的實際輸出yk，按按7.6式計算該樣本的誤差式計算該樣本的誤差E。 BP網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)學(xué)習(xí)算

41、法學(xué)習(xí)算法算法描述算法描述第57頁/共75頁第五十八頁，共76頁。 (4) 檢查檢查E ? 若是，執(zhí)行下一步；否則，轉(zhuǎn)（若是，執(zhí)行下一步；否則，轉(zhuǎn)（8）。）。 (5) t=t+1。 (6) 檢查檢查t T ？若是，執(zhí)行下一步；否則，轉(zhuǎn)（？若是，執(zhí)行下一步；否則，轉(zhuǎn)（8）。）。 (7) 按按7.18式計算輸出層結(jié)點(diǎn)式計算輸出層結(jié)點(diǎn)k的的k，按，按7.25式計算隱層結(jié)點(diǎn)式計算隱層結(jié)點(diǎn)j的的j，按，按 7.20式計算式計算wjk(t+1)，按，按 7.28式計算式計算wij(t+1)，返回，返回(3)。其中，對閾值按聯(lián)結(jié)權(quán)值的學(xué)習(xí)方式。其中，對閾值按聯(lián)結(jié)權(quán)值的學(xué)習(xí)方式(fngsh)修正，即把閾值設(shè)想

42、為神經(jīng)元的聯(lián)結(jié)權(quán)值，并假定其輸入信號值總是為修正，即把閾值設(shè)想為神經(jīng)元的聯(lián)結(jié)權(quán)值，并假定其輸入信號值總是為1。 (8) 檢查檢查r = R ? 若是，執(zhí)行下一步；否則，轉(zhuǎn)若是，執(zhí)行下一步；否則，轉(zhuǎn)(2)。 (9) 結(jié)束。結(jié)束。BP網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)學(xué)習(xí)算法學(xué)習(xí)算法算法描述算法描述第58頁/共75頁第五十九頁，共76頁。 BP網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)(xux)算法算法算法流程算法流程隨機(jī)隨機(jī)(su j)輸入一個訓(xùn)練樣本，置輸入一個訓(xùn)練樣本，置r=r+1,t=0初始化網(wǎng)絡(luò)初始化網(wǎng)絡(luò)(wnglu)及學(xué)習(xí)參數(shù)及學(xué)習(xí)參數(shù)wij,wjk,j,k,R,T,置置E=0,r=0 對輸入樣本，計算該樣本的每一個對輸入

43、樣本，計算該樣本的每一個yk，計算該樣本的誤差計算該樣本的誤差EE？ t=t+1tT ？計算輸出層結(jié)點(diǎn)計算輸出層結(jié)點(diǎn)k的的k修正各層的修正各層的wjk(t),wij(t)E？ 結(jié)束結(jié)束是是否否是是否否否否是是第59頁/共75頁第六十頁，共76頁。 BP網(wǎng)絡(luò)模型是目前使用較多的一種神經(jīng)網(wǎng)絡(luò)，其主要優(yōu)、缺點(diǎn)網(wǎng)絡(luò)模型是目前使用較多的一種神經(jīng)網(wǎng)絡(luò)，其主要優(yōu)、缺點(diǎn)(qudin)如下。如下。 優(yōu)點(diǎn)優(yōu)點(diǎn) （1）算法的優(yōu)點(diǎn)是算法推導(dǎo)清楚，學(xué)習(xí)精度較高；）算法的優(yōu)點(diǎn)是算法推導(dǎo)清楚，學(xué)習(xí)精度較高； （2）從理論上說，多層前饋網(wǎng)絡(luò)可學(xué)會任何可學(xué)習(xí)的東西；）從理論上說，多層前饋網(wǎng)絡(luò)可學(xué)會任何可學(xué)習(xí)的東西； （3）經(jīng)過

44、訓(xùn)練后的）經(jīng)過訓(xùn)練后的BP網(wǎng)絡(luò)，運(yùn)行速度極快，可用于實時處理。網(wǎng)絡(luò)，運(yùn)行速度極快，可用于實時處理。 缺點(diǎn)缺點(diǎn)(qudin) （1）由于其數(shù)學(xué)基礎(chǔ)是非線性優(yōu)化問題，因此可能陷入局部最小區(qū)域；）由于其數(shù)學(xué)基礎(chǔ)是非線性優(yōu)化問題，因此可能陷入局部最小區(qū)域； （2）算法收斂速度很慢，通常需要數(shù)千步或更長，甚至還可能不收斂；）算法收斂速度很慢，通常需要數(shù)千步或更長，甚至還可能不收斂； （3）網(wǎng)絡(luò)中隱含結(jié)點(diǎn)的設(shè)置無理論指導(dǎo)。）網(wǎng)絡(luò)中隱含結(jié)點(diǎn)的設(shè)置無理論指導(dǎo)。 上述缺點(diǎn)上述缺點(diǎn)(qudin)的解決辦法的解決辦法 對于局部最小區(qū)域問題，通常需要采用模擬退火算法或遺傳算法。對于局部最小區(qū)域問題，通常需要采用模擬退

45、火算法或遺傳算法。 對于算法收斂慢的問題，其主要原因在于誤差是時間的復(fù)雜非線性函數(shù)。為提對于算法收斂慢的問題，其主要原因在于誤差是時間的復(fù)雜非線性函數(shù)。為提高算法收斂速度，可采用逐次自動調(diào)整增益因子高算法收斂速度，可采用逐次自動調(diào)整增益因子，或修改激活函數(shù)，或修改激活函數(shù)f(x)的方法來的方法來解決。解決。BP網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)學(xué)習(xí)的討論學(xué)習(xí)的討論第60頁/共75頁第六十一頁，共76頁。Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)學(xué)習(xí)學(xué)習(xí) Hopfield網(wǎng)絡(luò)學(xué)習(xí)的過程實際上是一個從網(wǎng)絡(luò)初始狀態(tài)向其穩(wěn)網(wǎng)絡(luò)學(xué)習(xí)的過程實際上是一個從網(wǎng)絡(luò)初始狀態(tài)向其穩(wěn)定狀態(tài)過渡定狀態(tài)過渡(gud)的過程。而網(wǎng)絡(luò)的穩(wěn)定

46、性又是通過能量函數(shù)來的過程。而網(wǎng)絡(luò)的穩(wěn)定性又是通過能量函數(shù)來描述的。這里主要針對離散描述的。這里主要針對離散Hopfield網(wǎng)絡(luò)討論其能量函數(shù)和學(xué)習(xí)網(wǎng)絡(luò)討論其能量函數(shù)和學(xué)習(xí)算法。算法。u Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)的能量函數(shù)的能量函數(shù)u Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)學(xué)習(xí)算法學(xué)習(xí)算法第61頁/共75頁第六十二頁，共76頁。式中，式中，n是網(wǎng)絡(luò)中的神經(jīng)元個數(shù)，是網(wǎng)絡(luò)中的神經(jīng)元個數(shù)，wij是神經(jīng)元是神經(jīng)元i和神經(jīng)元和神經(jīng)元j之間的連接權(quán)值，且有之間的連接權(quán)值，且有wij=wji； vi和和vj分別是神經(jīng)元分別是神經(jīng)元i和神經(jīng)元和神經(jīng)元j的輸出；的輸出；i是神經(jīng)元是神經(jīng)元i的閾值

47、。的閾值。 可以證明可以證明(zhngmng)，對，對Hopfield網(wǎng)絡(luò)，無論其神經(jīng)元的狀態(tài)由網(wǎng)絡(luò)，無論其神經(jīng)元的狀態(tài)由“0”變?yōu)樽優(yōu)椤?”，還是由，還是由“1”變?yōu)樽優(yōu)椤?”，始終有其網(wǎng)絡(luò)能量的變化：，始終有其網(wǎng)絡(luò)能量的變化： E 0因此：因此：nkjjkkjkkjnkjjkkjkkjktvvtvwtvvtvwE11)()() 1() 1()(011nkjjkjkjnkjjkjkjvwvw0kE第66頁/共75頁第六十七頁，共76頁。 Hopfield的能量的能量(nngling)函數(shù)函數(shù)能量能量(nngling)函數(shù)定義及性質(zhì)函數(shù)定義及性質(zhì)(6/7)當(dāng)神經(jīng)元當(dāng)神經(jīng)元k的輸出的輸出(shch)vk由由0變變1時，有時，有此時此時(c sh)，由于神經(jīng)元，由于神經(jīng)元k的輸出為的輸出為0，即有：，即有：01knkjjjkjvw因此：因此：nkjjkkjkkjnkjjkkjkkjktvvtvwtvvtvwE11)()() 1() 1()()(011nkjjkjkjnkjjkjkjvwvw0kE第67頁/共75頁第六十八頁，共76頁。 Hopfield的能量函數(shù)的能量函數(shù)能量函數(shù)定義能量函數(shù)定義(dngy)及性質(zhì)及性質(zhì)(7/7) 可見，無論神經(jīng)元k的狀態(tài)(zhungti)由“1”變?yōu)椤?” 時，還是由“0”變?yōu)椤?” 時，都總有： 它說明離散它說明離散Hopfield網(wǎng)絡(luò)在運(yùn)行中，其