51人工神經(jīng)網(wǎng)絡(luò)課件

1、5.1 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介Artificial Neural Network第1頁(yè)，共111頁(yè)。生物神經(jīng)網(wǎng)絡(luò)人類的大腦大約有1.41011個(gè)神經(jīng)細(xì)胞，亦稱為神經(jīng)元。每個(gè)神經(jīng)元有數(shù)以千計(jì)的通道同其它神經(jīng)元廣泛相互連接，形成復(fù)雜的生物神經(jīng)網(wǎng)絡(luò)。第2頁(yè)，共111頁(yè)。神經(jīng)元由細(xì)胞體及其發(fā)出的許多突起構(gòu)成。生物神經(jīng)元第3頁(yè)，共111頁(yè)。（1）細(xì)胞體：由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜組成。（2）樹突：胞體上短而多分枝的突起。相當(dāng)于神經(jīng)元的輸入端，接收傳入的神經(jīng)沖動(dòng)。 （3）軸突：胞體上最長(zhǎng)枝的突起，端部有很多神經(jīng)末稍傳出神經(jīng)沖動(dòng)。 突觸 神經(jīng)末梢 樹突 細(xì)胞膜 細(xì)胞核 軸突 細(xì)胞質(zhì) 第4頁(yè)，共111頁(yè)。（4）突觸：

2、神經(jīng)元間的連接接口，每個(gè)神經(jīng)元約有1萬(wàn)10萬(wàn)個(gè)突觸。 神經(jīng)元通過(guò)其軸突的神經(jīng)末稍，經(jīng)突觸與另一神經(jīng)元的樹突聯(lián)接，實(shí)現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，形成了神經(jīng)元間聯(lián)接的柔性，稱為結(jié)構(gòu)的可塑性。 突觸 神經(jīng)末梢 樹突 細(xì)胞膜 細(xì)胞核 軸突 細(xì)胞質(zhì) 第5頁(yè)，共111頁(yè)。（5）細(xì)胞膜電位：神經(jīng)細(xì)胞在受到電的、化學(xué)的、機(jī)械的刺激后，能產(chǎn)生興奮，此時(shí)，細(xì)胞膜內(nèi)外有電位差，稱膜電位。 電位膜內(nèi)為正，膜外為負(fù)。第6頁(yè)，共111頁(yè)。神經(jīng)元功能興奮與抑制當(dāng)傳入神經(jīng)元的沖動(dòng)，經(jīng)整和，使細(xì)胞膜電位升高，超過(guò)動(dòng)作電位的閾值時(shí)，為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突經(jīng)神經(jīng)末稍傳出。當(dāng)傳入神經(jīng)元的沖動(dòng)，經(jīng)整和，使細(xì)

3、胞膜電位降低，低于閾值時(shí)，為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動(dòng)。第7頁(yè)，共111頁(yè)。生物神經(jīng)元信息處理單元第8頁(yè)，共111頁(yè)。生物神經(jīng)元信息處理單元第9頁(yè)，共111頁(yè)。生物神經(jīng)元信息處理單元第10頁(yè)，共111頁(yè)。生物神經(jīng)元信息處理單元第11頁(yè)，共111頁(yè)。生物神經(jīng)元信息處理單元第12頁(yè)，共111頁(yè)。生物神經(jīng)元信息處理單元第13頁(yè)，共111頁(yè)。 神經(jīng)元及其聯(lián)結(jié)； 神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱； 神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度可以改變； 信號(hào)分為興奮型和抑制型； 一個(gè)神經(jīng)元接受的信號(hào)的累計(jì)效果決定該神經(jīng)元的狀態(tài)； 每個(gè)神經(jīng)元有一個(gè)閾值。生物神經(jīng)元的基本特征第14頁(yè)，共111頁(yè)。人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)的基

4、本要素是人工神經(jīng)元。人工神經(jīng)元只模擬了生物神經(jīng)元的三個(gè)基本功能：（1）對(duì)每個(gè)輸入信號(hào)進(jìn)行處理，以確定其強(qiáng)度（權(quán)值）；（2）確定所有輸入信號(hào)的組合（加權(quán)和）；（3）確定其輸出（轉(zhuǎn)移特性）。第15頁(yè)，共111頁(yè)。上面已指出，一個(gè)生物神經(jīng)元的基本功能是將輸入量加權(quán)后相加，當(dāng)加權(quán)和超過(guò)某一閾值后就產(chǎn)生一定輸出。這點(diǎn)是模擬神經(jīng)元時(shí)所應(yīng)抓住的基本特征。第16頁(yè)，共111頁(yè)。 突觸 神經(jīng)末梢 樹突 細(xì)胞膜 細(xì)胞核 軸突 細(xì)胞質(zhì) 軸突突觸樹突內(nèi)核軸突第17頁(yè)，共111頁(yè)。模擬神經(jīng)元的首要目標(biāo)：輸入信號(hào)的加權(quán)和。人工神經(jīng)元可以接受一組來(lái)自系統(tǒng)中其它神經(jīng)元的輸入信號(hào)，每個(gè)輸入對(duì)應(yīng)一個(gè)權(quán)，所有輸入的加權(quán)和決定該神經(jīng)

5、元的激活狀態(tài)。每個(gè)權(quán)就相當(dāng)于突觸的聯(lián)結(jié)強(qiáng)度。w1wi xiw2wnx1x2xn人工神經(jīng)元數(shù)學(xué)模型第18頁(yè)，共111頁(yè)。設(shè)X = (x1, x2, , xn)表示n個(gè)輸入，W = (w1, w2, , wn)表示它們對(duì)應(yīng)的聯(lián)結(jié)權(quán)重。故神經(jīng)元所獲得的輸入信號(hào)累計(jì)效果為：w1wi xiw2wnx1x2xn第19頁(yè)，共111頁(yè)。信息輸入第20頁(yè)，共111頁(yè)。信息傳播與處理：積與和第21頁(yè)，共111頁(yè)。信息傳播第22頁(yè)，共111頁(yè)。信息傳播與處理：非線性第23頁(yè)，共111頁(yè)。信息輸出第24頁(yè)，共111頁(yè)。神經(jīng)元獲得網(wǎng)絡(luò)輸入信號(hào)后，信號(hào)累計(jì)效果整合函數(shù)u(x)大于某閾值 時(shí)，神經(jīng)元處于激發(fā)狀態(tài)；反之，神經(jīng)

6、元處于抑制狀態(tài)。構(gòu)造作用函數(shù)，用于表示這一轉(zhuǎn)換過(guò)程。要求是-1, 1之間的單調(diào)遞增函數(shù)。作用函數(shù)通常為3種類型，由此決定了神經(jīng)元的輸出特征。第25頁(yè)，共111頁(yè)。符號(hào)函數(shù)1-1u第26頁(yè)，共111頁(yè)。分段線性函數(shù)1-1u第27頁(yè)，共111頁(yè)。Sigmoid函數(shù)1-1u其特點(diǎn)是單調(diào)遞增、光滑且具有漸近值，具有解析上的優(yōu)點(diǎn)。第28頁(yè)，共111頁(yè)。M-P模型將人工神經(jīng)元的基本模型與激活函數(shù)結(jié)合，即McCulloch Pitts模型。w1 u=wixiw2wnx1x2xny= (u(x)- )第29頁(yè)，共111頁(yè)?；舅枷耄褐鸩綄⒂?xùn)練集中的樣本輸入到網(wǎng)絡(luò)中，根據(jù)輸出結(jié)果和理想輸出之間的差別來(lái)調(diào)整網(wǎng)絡(luò)中

7、的權(quán)重值。學(xué)習(xí)的問(wèn)題歸結(jié)為求權(quán)重系數(shù)W = (w1, w2, , wn)和閾值的問(wèn)題。w1 u=wixiw2wnx1x2xny= (u(x)- )基本思想第30頁(yè)，共111頁(yè)。單層感知器不能表達(dá)的問(wèn)題被稱為線性不可分問(wèn)題。1969年，Minsky(明斯基)證明了“異或”問(wèn)題是線性不可分問(wèn)題：“異或”（XOR）運(yùn)算的定義如下：線性不可分問(wèn)題第31頁(yè)，共111頁(yè)。異或問(wèn)題從幾何意義上講，相當(dāng)于一個(gè)正方形有四個(gè)頂點(diǎn)，不存在一條直線能將和分開的，所以，簡(jiǎn)單感知器無(wú)法實(shí)現(xiàn)異或問(wèn)題。第32頁(yè)，共111頁(yè)。相關(guān)研究表明，線性不可分函數(shù)的數(shù)量隨著輸入變量個(gè)數(shù)的增加而快速增加，甚至遠(yuǎn)遠(yuǎn)超過(guò)了線性可分函數(shù)的個(gè)數(shù)。

8、也就是說(shuō)，單層感知器不能表達(dá)的問(wèn)題的數(shù)量遠(yuǎn)遠(yuǎn)超過(guò)了它所能表達(dá)的問(wèn)題的數(shù)量。當(dāng)Minsky給出單層感知器的這一致命缺陷時(shí)，人工神經(jīng)網(wǎng)絡(luò)的研究跌入漫長(zhǎng)的黑暗期。第33頁(yè)，共111頁(yè)。解決途徑多層網(wǎng)絡(luò)多層感知器與單層感知器在結(jié)構(gòu)上的區(qū)別在于，多層感知器含有隱層。x1z0 xnz1zn二層感知器第34頁(yè)，共111頁(yè)。假設(shè)輸入向量為二維的，可分為兩類：一類輸人向量全在凸集合R1內(nèi)；另一類全在R1外?？梢宰C明，如果應(yīng)用如圖所示的二層感知器網(wǎng)絡(luò)，則可完成對(duì)它們的正確分類。第35頁(yè)，共111頁(yè)。2、三層感知器 具有兩個(gè)隱層的三層感知器，可以證明，它可完成對(duì)任何非交集合進(jìn)行分類。更準(zhǔn)確地說(shuō)，它可對(duì)任何由直線邊所

9、構(gòu)成的非交集合進(jìn)行分類。第36頁(yè)，共111頁(yè)?，F(xiàn)以下圖所示的二維輸入空間的非凸集合R為例。第37頁(yè)，共111頁(yè)。圖中所示的非凸集合R，若添加一條虛線lc，則R可分解為2個(gè)凸集合R1和R2。第38頁(yè)，共111頁(yè)。第39頁(yè)，共111頁(yè)。誤差反向傳播神經(jīng)網(wǎng)絡(luò)（Back-Propagation Networks）BP網(wǎng)絡(luò)第40頁(yè)，共111頁(yè)。BP算法誤差反向傳播的BP算法簡(jiǎn)稱BP算法。其基本思想是最小二乘算法。它采用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實(shí)際輸出值與期望輸出值的誤差均方值為最小。第41頁(yè)，共111頁(yè)。第一階段：正向傳播在正向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱層逐層處理，并傳向輸出層，獲得各個(gè)單元的實(shí)

10、際輸出。正向傳播第42頁(yè)，共111頁(yè)。 第二階段：反向傳播如果在輸出層未能得到期望的輸出，則轉(zhuǎn)入反向傳播，計(jì)算出輸出層各單元的一般化誤差，然后將這些誤差信號(hào)沿原來(lái)的連接通路返回，通過(guò)修改各層神經(jīng)元的權(quán)值，使得誤差信號(hào)最小。反向傳播第43頁(yè)，共111頁(yè)。網(wǎng)絡(luò)結(jié)構(gòu)第44頁(yè)，共111頁(yè)。網(wǎng)絡(luò)結(jié)構(gòu)第45頁(yè)，共111頁(yè)。網(wǎng)絡(luò)結(jié)構(gòu)第46頁(yè)，共111頁(yè)。正向反向反向傳播(BP)學(xué)習(xí)算法第47頁(yè)，共111頁(yè)。正向第48頁(yè)，共111頁(yè)。正向第49頁(yè)，共111頁(yè)。正向第50頁(yè)，共111頁(yè)。正向第51頁(yè)，共111頁(yè)。正向第52頁(yè)，共111頁(yè)。正向第53頁(yè)，共111頁(yè)。正向第54頁(yè)，共111頁(yè)。正向第55頁(yè)，共111

11、頁(yè)。反向第56頁(yè)，共111頁(yè)。反向第57頁(yè)，共111頁(yè)。BP網(wǎng)絡(luò)的優(yōu)點(diǎn)（1）網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個(gè)從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能。（2） 網(wǎng)絡(luò)能通過(guò)學(xué)習(xí)帶正確答案的實(shí)例集自動(dòng)提取“合理的”求解規(guī)則，即具有自學(xué)習(xí)能力； 第58頁(yè)，共111頁(yè)。 (1)BP算法的學(xué)習(xí)速度很慢； (2)網(wǎng)絡(luò)訓(xùn)練失敗的可能性較大； (3)難以解決應(yīng)用問(wèn)題的實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾； (4)網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無(wú)一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗(yàn)選定；BP網(wǎng)絡(luò)的問(wèn)題第59頁(yè)，共111頁(yè)。致命問(wèn)題第60頁(yè)，共111頁(yè)。J(W)第61頁(yè)，共111頁(yè)。J(W)局部極小點(diǎn)全局極小點(diǎn)第

12、62頁(yè)，共111頁(yè)。J(W)初始狀態(tài)第63頁(yè)，共111頁(yè)。梯度下降搜索第64頁(yè)，共111頁(yè)。梯度下降搜索第65頁(yè)，共111頁(yè)。梯度下降搜索第66頁(yè)，共111頁(yè)。梯度下降搜索第67頁(yè)，共111頁(yè)。梯度下降搜索第68頁(yè)，共111頁(yè)。梯度下降搜索第69頁(yè)，共111頁(yè)。梯度下降搜索第70頁(yè)，共111頁(yè)。J(W)局部極小點(diǎn)第71頁(yè)，共111頁(yè)。J(W)局部極小點(diǎn)第72頁(yè)，共111頁(yè)。J(W)局部極小點(diǎn)第73頁(yè)，共111頁(yè)。J(W)局部極小點(diǎn)第74頁(yè)，共111頁(yè)。改進(jìn)算法第75頁(yè)，共111頁(yè)。J(W)第76頁(yè)，共111頁(yè)。J(W)初始狀態(tài)第77頁(yè)，共111頁(yè)。J(W)初始狀態(tài)第78頁(yè)，共111頁(yè)。改進(jìn)算法

13、第79頁(yè)，共111頁(yè)。改進(jìn)算法第80頁(yè)，共111頁(yè)。改進(jìn)算法第81頁(yè)，共111頁(yè)。改進(jìn)算法第82頁(yè)，共111頁(yè)。改進(jìn)算法第83頁(yè)，共111頁(yè)。改進(jìn)算法第84頁(yè)，共111頁(yè)。改進(jìn)算法第85頁(yè)，共111頁(yè)。改進(jìn)算法第86頁(yè)，共111頁(yè)。改進(jìn)算法第87頁(yè)，共111頁(yè)。改進(jìn)算法搜索第88頁(yè)，共111頁(yè)。改進(jìn)算法第89頁(yè)，共111頁(yè)。改進(jìn)算法第90頁(yè)，共111頁(yè)。改進(jìn)算法第91頁(yè)，共111頁(yè)。改進(jìn)算法第92頁(yè)，共111頁(yè)。改進(jìn)算法第93頁(yè)，共111頁(yè)。改進(jìn)算法第94頁(yè)，共111頁(yè)。改進(jìn)算法第95頁(yè)，共111頁(yè)。改進(jìn)算法第96頁(yè)，共111頁(yè)。改進(jìn)算法第97頁(yè)，共111頁(yè)。改進(jìn)算法第98頁(yè)，共111頁(yè)。改進(jìn)

14、算法第99頁(yè)，共111頁(yè)。改進(jìn)算法第100頁(yè)，共111頁(yè)。改進(jìn)算法第101頁(yè)，共111頁(yè)。改進(jìn)算法第102頁(yè)，共111頁(yè)。改進(jìn)算法第103頁(yè)，共111頁(yè)。全局極小點(diǎn)第104頁(yè)，共111頁(yè)。 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史1.初始發(fā)展期（1890-1968） （1）1890，James（美國(guó)生理學(xué)家）在其著作生理學(xué)中首次較系統(tǒng)地闡明了大腦的結(jié)構(gòu)和功能、神經(jīng)元的功能與連接、信息的傳遞等，并將大腦看作一個(gè)神經(jīng)網(wǎng)絡(luò)。為進(jìn)一步認(rèn)識(shí)大腦的功能奠定了基礎(chǔ)。 （2）1943年，McCulloch 和Pitts（美國(guó)心理學(xué)家和數(shù)學(xué)家）提出了神經(jīng)元的數(shù)學(xué)模型，現(xiàn)稱為M-P模型。 第105頁(yè)，共111頁(yè)。 （3）1949年

15、，Hebb在其著作行為自組織中提出了改變神經(jīng)元連接強(qiáng)度的學(xué)習(xí)規(guī)則（現(xiàn)稱Hebb規(guī)則。（4）1958, Rosenblatt 發(fā)展了M-P模型，提出了感知機(jī)（Perceptron）及其學(xué)習(xí)算法，它是歷史上第一個(gè)人工神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)算法。它的出現(xiàn)掀起了神經(jīng)網(wǎng)絡(luò)研究的第一高潮。第106頁(yè)，共111頁(yè)。 1969，Minsky和Papert在論著感知機(jī)中指出了感知機(jī)的局限性，即只能作線性分類，對(duì)于非線性分類，感知機(jī)無(wú)法解決。大批學(xué)者便離開這一領(lǐng)域，出現(xiàn)人工神經(jīng)網(wǎng)絡(luò)的研究的低潮。2. 低潮時(shí)期（1969-1982）第107頁(yè)，共111頁(yè)。 1982-1984，Hopfield提出一種互連反饋網(wǎng)絡(luò)，現(xiàn)稱之為 Hopfield 網(wǎng)絡(luò)。引入了一種能量函數(shù)，證明了網(wǎng)絡(luò)的穩(wěn)定性。（2）1986，Rumelhart和Hinton等提出了多層前向網(wǎng)絡(luò)的誤差反向傳播（BP)算法，使得網(wǎng)絡(luò)可以任意逼近一個(gè)連續(xù)系統(tǒng)，并得到廣泛的應(yīng)用。Hopfield網(wǎng)絡(luò)和BP算法的出現(xiàn)，使得人工神經(jīng)的研究出現(xiàn)了復(fù)興。3. 復(fù)興時(shí)期（1982-1986）第108頁(yè)，共111頁(yè)。 由