神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu)

神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu)第一頁(yè)，共十六頁(yè)，編輯于2023年，星期三1．1生物神經(jīng)元及生物神經(jīng)網(wǎng)絡(luò)

1．1．1生物神經(jīng)元人腦大約由1012個(gè)神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)神經(jīng)元是大腦處理信息的基本單元，以細(xì)胞體為主體，由許多向周圍延伸的不規(guī)則樹(shù)枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹(shù)的枝干。它主要由細(xì)胞體、樹(shù)突、軸突和突觸(Synapse，又稱神經(jīng)鍵)組成。

第二頁(yè)，共十六頁(yè)，編輯于2023年，星期三圖3－1生物神經(jīng)元示意圖

第三頁(yè)，共十六頁(yè)，編輯于2023年，星期三從神經(jīng)元各組成部分的功能來(lái)看，信息的處理與傳遞主要發(fā)生在突觸附近。當(dāng)神經(jīng)元細(xì)胞體通過(guò)軸突傳到突觸前膜的脈沖幅度達(dá)到一定強(qiáng)度，即超過(guò)其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)。突觸有兩種：興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位。

第四頁(yè)，共十六頁(yè)，編輯于2023年，星期三1．1．2

人腦神經(jīng)網(wǎng)絡(luò)信息處理的特點(diǎn)1．分布存儲(chǔ)與冗余性

2．并行處理

3．信息處理與存儲(chǔ)合一

4．可塑性與自組織性

5．魯棒性

第五頁(yè)，共十六頁(yè)，編輯于2023年，星期三1．2人工神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)直觀理解

神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，它一般由許多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元只有一個(gè)輸出，它可以連接到很多其他的神經(jīng)元，每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一個(gè)連接權(quán)系數(shù)。

第六頁(yè)，共十六頁(yè)，編輯于2023年，星期三1．2．1人工神經(jīng)元模型歸納一下生物神經(jīng)元傳遞信息的過(guò)程：生物神經(jīng)元是一個(gè)多輸入、單輸出單元。常用的人工神經(jīng)元模型可用圖3－3模擬。

圖3－3人工神經(jīng)元模型

第七頁(yè)，共十六頁(yè)，編輯于2023年，星期三響應(yīng)函數(shù)的基本作用：1、控制輸入對(duì)輸出的激活作用；2、對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；3、將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出。

第八頁(yè)，共十六頁(yè)，編輯于2023年，星期三根據(jù)響應(yīng)函數(shù)的不同，人工神經(jīng)元有以下幾種類型：

圖3—4人工神經(jīng)元的響應(yīng)函數(shù)

第九頁(yè)，共十六頁(yè)，編輯于2023年，星期三1、閾值單元

2、線性單元

3、非線性單元：Sigmoid函數(shù)

第十頁(yè)，共十六頁(yè)，編輯于2023年，星期三1．2．2人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法。

人工神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式：1．前向網(wǎng)絡(luò)

網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個(gè)神經(jīng)元只與前一層的神經(jīng)元相連接。

2．從輸出到輸入有反饋的前向網(wǎng)絡(luò)

3．層內(nèi)互連前向網(wǎng)絡(luò)

4．互連網(wǎng)絡(luò)

第十一頁(yè)，共十六頁(yè)，編輯于2023年，星期三圖3—5神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)

第十二頁(yè)，共十六頁(yè)，編輯于2023年，星期三1．2．3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問(wèn)題。

人工神經(jīng)網(wǎng)絡(luò)連接權(quán)的確定通常有兩種方法：一種是根據(jù)具體要求：直接計(jì)算出來(lái)，如Hopfield網(wǎng)絡(luò)作優(yōu)化計(jì)算時(shí)就屬于這種情況；另一種是通過(guò)學(xué)習(xí)得到的，大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都用這種方法。

第十三頁(yè)，共十六頁(yè)，編輯于2023年，星期三1．Hebb學(xué)習(xí)規(guī)則是DonallHebb根據(jù)生理學(xué)中條件反射機(jī)理，于1949年提出的神經(jīng)元連接強(qiáng)度變化的規(guī)則。

如果兩個(gè)神經(jīng)元同時(shí)興奮(即同時(shí)被激活)，則它們之間的突觸連接加強(qiáng)。

Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形。

第十四頁(yè)，共十六頁(yè)，編輯于2023年，星期三2．誤差校正規(guī)則用已知樣本作為教師對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。式(3—8)和式(3—9)的學(xué)習(xí)規(guī)則可由二次誤