暑期數(shù)學(xué)建模培訓(xùn)-神經(jīng)網(wǎng)絡(luò)-12

人工神經(jīng)網(wǎng)絡(luò)

ArtificialNeuralNetworks平頂山學(xué)院數(shù)學(xué)建模暑期培訓(xùn)2015.7.202023/2/412023/2/42人類對(duì)人工智能的研究可以分成兩種方式對(duì)應(yīng)著兩種不同的技術(shù)：傳統(tǒng)的人工智能技術(shù)——心理的角度模擬基于人工神經(jīng)網(wǎng)絡(luò)的技術(shù)——生理的角度模擬2023/2/43學(xué)習(xí)駕駛汽車的人工神經(jīng)網(wǎng)絡(luò)摘自《機(jī)器學(xué)習(xí)》，T.M.Mitchell2023/2/44人臉識(shí)別2023/2/45手寫數(shù)字識(shí)別2023/2/46人工神經(jīng)網(wǎng)絡(luò)的概念1、定義

(1)Hecht—Nielsen（1988年）人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無(wú)向訊號(hào)通道互連而成。這些處理單元（PE—ProcessingElement）具有局部?jī)?nèi)存，并可以完成局部操作。每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接，這個(gè)輸出可以根據(jù)需要被分枝成希望個(gè)數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號(hào)，即相應(yīng)處理單元的信號(hào)，信號(hào)的大小不因分支的多少而變化。2023/2/47人工神經(jīng)網(wǎng)絡(luò)的概念別名人工神經(jīng)系統(tǒng)（ANS）神經(jīng)網(wǎng)絡(luò)（NN）自適應(yīng)系統(tǒng)（AdaptiveSystems）、自適應(yīng)網(wǎng)（AdaptiveNetworks）聯(lián)接模型（Connectionism）神經(jīng)計(jì)算機(jī)（Neurocomputer）2023/2/48人工神經(jīng)網(wǎng)絡(luò)的研究始于本世紀(jì)40年代。1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts合作，融合了生物物理學(xué)和數(shù)學(xué)，提出了第一個(gè)神經(jīng)元計(jì)算模型—MP模型。這種單個(gè)神經(jīng)元模型功能較弱，但連接而成的網(wǎng)絡(luò)記憶能力巨大。這種巨大的記憶能力存儲(chǔ)在網(wǎng)絡(luò)中足夠多的神經(jīng)元之間豐富的連接強(qiáng)度上。

MP模型雖然簡(jiǎn)單，但它開創(chuàng)了神經(jīng)網(wǎng)絡(luò)模型的理論研究，為各種神經(jīng)元模型及網(wǎng)絡(luò)模型的研究打下了基礎(chǔ)。歷史總結(jié)2023/2/491949年心理學(xué)家Hebb提出神經(jīng)元之間突觸聯(lián)系強(qiáng)度可變的假設(shè)。他認(rèn)為學(xué)習(xí)過(guò)程是在突觸上發(fā)生的，突觸的聯(lián)系強(qiáng)度隨其前后神經(jīng)元的活動(dòng)而變化。根據(jù)這一假說(shuō)提出了改變神經(jīng)元連接強(qiáng)度的Hebb規(guī)則。它對(duì)以后人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及算法都有很大影響。直到現(xiàn)在，Hebb的學(xué)習(xí)算法仍在不少人工神經(jīng)網(wǎng)絡(luò)中應(yīng)用。歷史總結(jié)2023/2/41050年代末，Rosenblatt提出感知器模型，第一次把神經(jīng)網(wǎng)絡(luò)的研究付諸工程實(shí)踐。這是一種學(xué)習(xí)和自組織的心理學(xué)模型，它基本上符合神經(jīng)生理學(xué)的知識(shí)，模型的學(xué)習(xí)環(huán)境是有噪聲的，網(wǎng)絡(luò)構(gòu)造中存在隨機(jī)連接，這符合動(dòng)物學(xué)習(xí)的自然環(huán)境。這是第一個(gè)真正的人工神經(jīng)網(wǎng)絡(luò)，他給出了兩層感知器的收斂定理。后來(lái)的一大類神經(jīng)網(wǎng)絡(luò)模型都是感知器模型的變形。

歷史總結(jié)2023/2/41160年代末，美國(guó)著名人工智能學(xué)者M(jìn)insky和Papart對(duì)Rosenblatt的工作進(jìn)行了深入的研究，寫了很有影響的《感知器》一書，指出感知器的處理能力有限，單層感知器只能作線性劃分，對(duì)于非線性或其他分類會(huì)遇到很大的困難。這時(shí)應(yīng)采用含有隱單元的多層神經(jīng)網(wǎng)絡(luò)，但引入隱單元后找到一個(gè)有效的學(xué)習(xí)算法非常困難，Minsky斷言這種感知器無(wú)科學(xué)研究?jī)r(jià)值可言，包括多層的也沒有什么意義。歷史總結(jié)2023/2/412這個(gè)結(jié)論對(duì)當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)研究無(wú)疑是一個(gè)沉重的打擊，客觀上對(duì)神經(jīng)網(wǎng)絡(luò)的研究起了一定的消極作用。同時(shí)當(dāng)時(shí)的微電子技術(shù)也無(wú)法為神經(jīng)網(wǎng)絡(luò)的研究提供有效的技術(shù)保障。故在其后的十幾年內(nèi)，從事神經(jīng)網(wǎng)絡(luò)研究的人數(shù)及經(jīng)費(fèi)支持大大下降，神經(jīng)網(wǎng)絡(luò)研究處于低潮。歷史總結(jié)2023/2/413然而在此期間，仍有為數(shù)不多的學(xué)者致力于神經(jīng)網(wǎng)絡(luò)的研究，1969年Grossberg等提出了自適應(yīng)共振理論模型。1972年Kohenen提出自組織映射的理論模型，并稱神經(jīng)網(wǎng)絡(luò)為聯(lián)想存貯器。所有這些理論為神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展奠定了理論基礎(chǔ)。歷史總結(jié)2023/2/4141982年，美國(guó)加州工程學(xué)院物理學(xué)家Hopfield提出了一個(gè)用于聯(lián)想記憶及優(yōu)化計(jì)算的新途徑—Hopfield模型，并于1984年進(jìn)行修改，提出了利用模擬電路的基礎(chǔ)元件構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)的硬件原理模型，為實(shí)現(xiàn)硬件奠定了基礎(chǔ)。1985年Hopfield和Tank提出用神經(jīng)網(wǎng)絡(luò)解決優(yōu)化問(wèn)題。歷史總結(jié)2023/2/415這一時(shí)期還有一個(gè)以Rumelhart和McClelland為首的并行分布處理（PDP）的研究小組，他們提出了多層網(wǎng)絡(luò)學(xué)習(xí)的誤差反向傳播學(xué)習(xí)算法（BP算法），解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題，從實(shí)踐上證實(shí)了人工神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的學(xué)習(xí)能力，并不象Minsky等人預(yù)料的那樣弱，相反它可以完成許多學(xué)習(xí)任務(wù)，解決許多實(shí)際問(wèn)題，也因此推動(dòng)了前饋式神經(jīng)網(wǎng)絡(luò)的研究。BP算法目前已成為迄今為止應(yīng)用最普遍的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。歷史總結(jié)2023/2/416或稱神經(jīng)細(xì)胞，是生物神經(jīng)系統(tǒng)的最基本單元。從組成結(jié)構(gòu)看，各種神經(jīng)元具有共性，它由細(xì)胞體（Soma）、軸突（Axon）和樹突（Dendrite）三個(gè)主要部分組成。生物神經(jīng)網(wǎng)

生物神經(jīng)元（Neuron）時(shí)空整合功能興奮與抑制狀態(tài)脈沖與電位轉(zhuǎn)換突觸延時(shí)與不應(yīng)期2023/2/417生物神經(jīng)網(wǎng)1、構(gòu)成胞體(Soma)枝蔓（Dendrite）胞體(Soma)

軸突（Axon）突觸（Synapse）2、工作過(guò)程2023/2/418生物神經(jīng)網(wǎng)3、六個(gè)基本特征：1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱；3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；4）信號(hào)可以是起刺激作用的，也可以是起抑制作用的；5）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元的狀態(tài)；6)每個(gè)神經(jīng)元可以有一個(gè)“閾值”。2023/2/419人工神經(jīng)元的基本構(gòu)成

人工神經(jīng)元模擬生物神經(jīng)元的一階特性。輸入：X=（x1，x2，…，xn）聯(lián)接權(quán)：W=（w1，w2，…，wn）T網(wǎng)絡(luò)輸入：

net=∑xiwi向量形式：

net=XWxn

wn∑x1w1x2w2net=XW…2023/2/4202.2.2激活函數(shù)(ActivationFunction)

激活函數(shù)——執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵(lì)函數(shù)、活化函數(shù)：o=f（net）

1、線性函數(shù)（LinerFunction）

f（net）=k*net+c

netooc2023/2/4212、非線性斜面函數(shù)(RampFunction)

γ ifnet≥θf(wàn)（net）=k*net if|net|<θ -γ ifnet≤-θ

γ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。

2023/2/4223、閾值函數(shù)（ThresholdFunction）階躍函數(shù)

β ifnet>θf(wàn)（net）= -γ ifnet≤θβ、γ、θ均為非負(fù)實(shí)數(shù)，θ為閾值二值形式：

1 ifnet>θf(wàn)（net）= 0 ifnet≤θ雙極形式：

1 ifnet>θf(wàn)（net）= -1 ifnet≤θ

2023/2/4233、閾值函數(shù)（ThresholdFunction）階躍函數(shù)β

-γθonet02023/2/4244、S形函數(shù)

壓縮函數(shù)（SquashingFunction）和邏輯斯特函數(shù)（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d為常數(shù)。它的飽和值為a和a+b。最簡(jiǎn)單形式為：f（net）=1/(1+exp(-d*net))

函數(shù)的飽和值為0和1。S形函數(shù)有較好的增益控制

2023/2/4254、S形函數(shù)

a+b

o(0,c)netac=a+b/22023/2/426M-P模型

x2w2

∑fo=f（net）xn

wn…net=XWx1w1McCulloch—Pitts（M—P）模型，也稱為處理單元（PE）

2023/2/427層次劃分

信號(hào)只被允許從較低層流向較高層。層號(hào)確定層的高低：層號(hào)較小者，層次較低，層號(hào)較大者，層次較高。輸入層：被記作第0層。該層負(fù)責(zé)接收來(lái)自網(wǎng)絡(luò)外部的信息輸出層隱藏層輸入層o1o2om…x1x2xn………………2023/2/428第j層：第j-1層的直接后繼層（j>0），它直接接受第j-1層的輸出。輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號(hào)，負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號(hào)，也不直接向外界發(fā)送信號(hào)輸出層隱藏層輸入層o1o2om…x1x2xn………………2023/2/429約定

:輸出層的層號(hào)為該網(wǎng)絡(luò)的層數(shù)：n層網(wǎng)絡(luò)，或n級(jí)網(wǎng)絡(luò)。第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對(duì)應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時(shí)候，一般我們用W（j）表示第j層矩陣。輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2023/2/430多級(jí)網(wǎng)——h層網(wǎng)絡(luò)輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2023/2/431多級(jí)網(wǎng)非線性激活函數(shù)

F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))2023/2/432BP網(wǎng)絡(luò)

主要內(nèi)容：BP網(wǎng)絡(luò)的構(gòu)成隱藏層權(quán)的調(diào)整分析Delta規(guī)則理論推導(dǎo)算法的收斂速度及其改進(jìn)討論BP網(wǎng)絡(luò)中的幾個(gè)重要問(wèn)題

重點(diǎn)：BP算法難點(diǎn)：Delta規(guī)則的理論推導(dǎo)

2023/2/433BP網(wǎng)絡(luò)1概述

2基本BP算法

3算法的改進(jìn)

4算法的實(shí)現(xiàn)

5算法的理論基礎(chǔ)

6幾個(gè)問(wèn)題的討論

2023/2/434概述

1、BP算法的出現(xiàn)非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨(dú)立地給出了BP算法清楚而簡(jiǎn)單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點(diǎn)：訓(xùn)練速度非常慢、局部極小點(diǎn)的逃離問(wèn)題、算法不一定收斂。3、優(yōu)點(diǎn)：廣泛的適應(yīng)性和有效性。2023/2/435基本BP算法

網(wǎng)絡(luò)的構(gòu)成

神經(jīng)元的網(wǎng)絡(luò)輸入：

neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：2023/2/436輸出函數(shù)分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的2023/2/437網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)2023/2/438網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

BP網(wǎng)的結(jié)構(gòu)輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。BP網(wǎng)一般都選用二級(jí)網(wǎng)絡(luò)。2023/2/439網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………WV2023/2/440訓(xùn)練過(guò)程概述

樣本：(輸入向量，理想輸出向量)權(quán)初始化：“小隨機(jī)數(shù)”與飽和狀態(tài)；“不同”保證網(wǎng)絡(luò)可以學(xué)。1、向前傳播階段：（1）從樣本集中取一個(gè)樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；（2）計(jì)算相應(yīng)的實(shí)際輸出Op：

Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))2023/2/441訓(xùn)練過(guò)程概述

2、向后傳播階段——誤差傳播階段：（1）計(jì)算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣。（3）網(wǎng)絡(luò)關(guān)于第p個(gè)樣本的誤差測(cè)度：（4）網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測(cè)度：2023/2/442誤差傳播分析

1、輸出層權(quán)的調(diào)整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq2023/2/443隱藏層權(quán)的調(diào)整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……2023/2/444隱藏層權(quán)的調(diào)整δpk-1的值和δ1k，δ2k，…，δmk

有關(guān)不妨認(rèn)為δpk-1通過(guò)權(quán)wp1對(duì)δ1k做出貢獻(xiàn)，通過(guò)權(quán)wp2對(duì)δ2k做出貢獻(xiàn)，……通過(guò)權(quán)wpm對(duì)δmk做出貢獻(xiàn)。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)2023/2/445隱藏層權(quán)的調(diào)整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……2023/2/446內(nèi)容回顧基本BP算法neti=x1w1i+x2w2i+…+xnwni

2023/2/447內(nèi)容回顧x1o1輸出層隱藏層輸入層x2o2omxn…………WV2023/2/448內(nèi)容回顧樣本權(quán)初始化向前傳播階段Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))誤差測(cè)度2023/2/449內(nèi)容回顧向后傳播階段——誤差傳播階段輸出層權(quán)的調(diào)整?wpq=αδqop=αfn′(netq)(yq-oq)op

=αoq(1-oq)(yq-oq)op隱藏層權(quán)的調(diào)整ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk……?vhp=αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-22023/2/450基本的BP算法

樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

基本思想：逐一地根據(jù)樣本集中的樣本(Xk,Yk)計(jì)算出實(shí)際輸出Ok和誤差測(cè)度E1，對(duì)W(1)

，W(2)

，…，W(L)各做一次調(diào)整，重復(fù)這個(gè)循環(huán)，直到∑Ep<ε。用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計(jì)輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計(jì)更前一層的誤差。如此獲得所有其它各層的誤差估計(jì)，并用這些估計(jì)實(shí)現(xiàn)對(duì)權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)相反的方向逐級(jí)向輸入端傳遞的過(guò)程

2023/2/451基本BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo

4.1E=0;

2023/2/452基本BP算法4.2對(duì)S中的每一個(gè)樣本（Xp,Yp）：

4.2.1計(jì)算出Xp對(duì)應(yīng)的實(shí)際輸出Op；

4.2.2計(jì)算出Ep；

4.2.3E=E+Ep；

4.2.4根據(jù)相應(yīng)式子調(diào)整W(L)；

4.2.5k=L-1；

4.2.6whilek≠0do 4.2.6.1根據(jù)相應(yīng)式子調(diào)整W(k)；

4.2.6.2k=k-1

4.3E=E/2.0

2023/2/453算法的主要實(shí)現(xiàn)步驟

用不同的小偽隨機(jī)數(shù)初始化W，V；初始化精度控制參數(shù)ε；學(xué)習(xí)率α；

循環(huán)控制參數(shù)E=ε+1；循環(huán)最大次數(shù)M；循環(huán)次數(shù)控制參數(shù)N=0；

whileE>ε&N<Mdo

4.1N=N+1；E=0；

4.2對(duì)每一個(gè)樣本(X,Y)，執(zhí)行如下操作

2023/2/4544.2對(duì)每一個(gè)樣本(X,Y)，執(zhí)行的操作

4.2.1計(jì)算：O1=F1(XV)；O2=F2(O1W)；4.2.2計(jì)算輸出層的權(quán)修改量

fori=1tom 4.2.2.1?o[i]=O2[i]*(1-O2[i])*(Y[i]-O2[i])；4.2.3計(jì)算輸出誤差：fori=1tom4.2.3.1E=E+(Y[i]-O2[i])2；2023/2/4554.2對(duì)每一個(gè)樣本(X，Y)，執(zhí)行的操作4.2.4計(jì)算隱藏層的權(quán)修改量：fori=1toH 4.2.4.1Z=0；

4.2.4.2forj=1tomdoZ=Z+W[i,j]*?o[j]；

4.2.4.3Δh[i]=Z*O1[i](1-O1[i])

；4.2.5修改輸出層權(quán)矩陣：fork=1toH&i=1tom 4.2.5.1W[k,i]=W[k,i]+α*O1[k]*?o[i]；4.2.5修改隱藏層權(quán)矩陣：fork=1ton&i=1toH 4.2.5.1V[k,i]=V[k,i]+α*X[k]*?h[i]；2023/2/456建議

隱藏層的神經(jīng)元的個(gè)數(shù)H作為一個(gè)輸入?yún)?shù)同時(shí)將ε、循環(huán)最大次數(shù)M等，作為算法的輸入?yún)?shù)在調(diào)試階段，最外層循環(huán)內(nèi)，加一層控制，以探測(cè)網(wǎng)絡(luò)是否陷入了局部極小點(diǎn)

2023/2/4