人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

1、人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)第1頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日1第4.1節(jié) 引 言4.1.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史4.1.2人工神經(jīng)網(wǎng)絡(luò)的特性4.1.3人工神經(jīng)網(wǎng)絡(luò)研究的基本內(nèi)容第2頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日2第4.1節(jié) 引 言4.1.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史4.1.2人工神經(jīng)網(wǎng)絡(luò)的特性4.1.3人工神經(jīng)網(wǎng)絡(luò)研究的基本內(nèi)容第3頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日34.1 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史1943年1943-1969初創(chuàng)期 心理學(xué)家McCulloch和數(shù)學(xué)家Pitts提出形式神經(jīng)元數(shù)學(xué)模型（MP模型），揭開神經(jīng)科學(xué)理論的新時(shí)代。 H

2、ebb提出改變神經(jīng)元連接強(qiáng)度的Hebb規(guī)則。 Rosenblatt提出感知器概念，由閾值型神經(jīng)元組成，試圖模擬人的感知、學(xué)習(xí)能力。 Minsky與Papert發(fā)表Perceptrons。1944年1957年1969年第4頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日44.1.1 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史1982年1970-1986過(guò)渡期Hopfield提出了HNN模型，引入“計(jì)算能量函數(shù)”概念，給出網(wǎng)絡(luò)穩(wěn)定性判據(jù)。Boltzmann機(jī)提出，設(shè)計(jì)、研制電子電路，為工程實(shí)現(xiàn)指明方向。 Rumelhart等PDP（并行分布式處理）研究小組提出了多層前向傳播網(wǎng)絡(luò)的BP算法，開辟了NN的應(yīng)用新途徑

3、。1985年1986年第5頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日54.1.1 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史1987年1987-現(xiàn)在發(fā)展期美國(guó)圣地亞哥第一屆世界神經(jīng)網(wǎng)絡(luò)會(huì)議。美國(guó)國(guó)防部高等研究工程局:發(fā)展NN及應(yīng)用研究的8年計(jì)劃。 NN的國(guó)際會(huì)議增多。IEEE Trans. on NN創(chuàng)刊。 NN的模型有幾百個(gè)?；A(chǔ)理論、模型與算法的研究。 1989年，廣東第一屆神經(jīng)網(wǎng)絡(luò)-信號(hào)處理會(huì)議。 1990年開始，神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議，年會(huì)。90年代后國(guó)內(nèi)情況第6頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日6第4.1節(jié) 引 言人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史4.1.2人工神經(jīng)網(wǎng)絡(luò)的特性人工神經(jīng)網(wǎng)絡(luò)研

4、究的基本內(nèi)容第7頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日74.1.2 人工神經(jīng)網(wǎng)絡(luò)的特性非線性映射近似任意非線性映射，適用于非線性辨識(shí)與控制。通過(guò)訓(xùn)練具有歸納數(shù)據(jù)的能力，更適用于非模型描述的控制。 可在線運(yùn)行和信息融合，適用于復(fù)雜、大規(guī)模和多變量系統(tǒng)的控制。 硬件實(shí)現(xiàn)，神經(jīng)網(wǎng)絡(luò)成為具有快速和大規(guī)模處理能力的實(shí)現(xiàn)網(wǎng)絡(luò)?？蓪W(xué)習(xí)適應(yīng)與集成硬件實(shí)現(xiàn)具有高度的并行結(jié)構(gòu)和并行實(shí)現(xiàn)能力，適用于在線控制。并行性第8頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日8第4.1節(jié) 引 言人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史人工神經(jīng)網(wǎng)絡(luò)的特性4.1.3人工神經(jīng)網(wǎng)絡(luò)研究的基本內(nèi)容第9頁(yè)，共34頁(yè)，2022年，5

5、月20日，11點(diǎn)4分，星期日94.1.3 人工神經(jīng)網(wǎng)絡(luò)研究的基本內(nèi)容理論研究應(yīng)用研究實(shí)現(xiàn)研究單神經(jīng)元數(shù)學(xué)模型神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)泛化能力神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)圖像處理與識(shí)別語(yǔ)音信號(hào)處理與識(shí)別 數(shù)據(jù)的存儲(chǔ)與記憶 組合優(yōu)化 復(fù)雜系統(tǒng)控制硬件實(shí)現(xiàn)電路NN模型的通用硬件系統(tǒng)（神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)）Matlab神經(jīng)網(wǎng)絡(luò)工具箱第10頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日104.2.1生物神經(jīng)元的結(jié)構(gòu)4.2.2生物神經(jīng)元的信息處理機(jī)制第4.2節(jié) 生物神經(jīng)元第11頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日11來(lái)自其它細(xì)胞軸突的神經(jīng)末稍軸突樹突細(xì)胞膜神經(jīng)末稍來(lái)自其它細(xì)胞軸突

6、的神經(jīng)末稍軸突樹突突觸細(xì)胞膜神經(jīng)末稍細(xì)胞體細(xì)胞核細(xì)胞體細(xì)胞核細(xì)胞質(zhì)細(xì)胞膜樹突：胞體上短而多分支的突起，相當(dāng)于神經(jīng)元的輸入端，接收傳入的神經(jīng)沖動(dòng)。軸突（神經(jīng)纖維）：胞體上最長(zhǎng)枝的突起，端部有很多神經(jīng)末梢，傳出神經(jīng)沖動(dòng)。細(xì)胞膜電位：神經(jīng)細(xì)胞在受到電的、化學(xué)的、機(jī)械的刺激后能產(chǎn)生興奮，此時(shí)細(xì)胞膜內(nèi)外有電位差，稱為膜電位，其電位膜內(nèi)為正，膜外為負(fù)。4.2.1 生物神經(jīng)元的結(jié)構(gòu)第12頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日12來(lái)自其它細(xì)胞軸突的神經(jīng)末稍軸突樹突細(xì)胞膜神經(jīng)末稍來(lái)自其它細(xì)胞軸突的神經(jīng)末稍軸突樹突突觸細(xì)胞膜神經(jīng)末稍細(xì)胞體細(xì)胞核突觸：是神經(jīng)元之間的連接接口。一個(gè)神經(jīng)元，通過(guò)其軸突

7、的神經(jīng)末梢，經(jīng)突觸與另一個(gè)神經(jīng)元的樹突連接，以實(shí)現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，隨著神經(jīng)沖動(dòng)傳遞方式的變化，傳遞作用強(qiáng)弱不同，形成了神經(jīng)元之間連接的柔性，稱為結(jié)構(gòu)的可塑性。4.2.1 生物神經(jīng)元的結(jié)構(gòu)第13頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日13來(lái)自其它細(xì)胞軸突的神經(jīng)末稍軸突樹突細(xì)胞膜神經(jīng)末稍來(lái)自其它細(xì)胞軸突的神經(jīng)末稍軸突樹突突觸細(xì)胞膜神經(jīng)末稍細(xì)胞體細(xì)胞核興奮與抑制：若傳入神經(jīng)元的沖動(dòng)經(jīng)整合后使細(xì)胞膜電位升高，超過(guò)動(dòng)作電位的閾值時(shí)即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突經(jīng)神經(jīng)末梢傳出；若傳入神經(jīng)元的沖動(dòng)經(jīng)整合后使細(xì)胞膜電位降低，低于閾值時(shí)即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動(dòng)

8、。學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)與減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。4.2.1 生物神經(jīng)元的結(jié)構(gòu)第14頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日144.2.2 生物神經(jīng)元的信息處理機(jī)制神經(jīng)元形式化結(jié)構(gòu) 神經(jīng)元具有的特征1.時(shí)空整合空間整合時(shí)間整合時(shí)空整合輸入信號(hào)的影響會(huì)短時(shí)間地持續(xù)，和后到達(dá)的輸入信號(hào)的影響同時(shí)起作用，也就是說(shuō)，神經(jīng)元對(duì)于不同時(shí)間通過(guò)同一突觸的輸入信號(hào)具有時(shí)間整合的功能。 第15頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日15神經(jīng)元具有的特征2.閾值特性神經(jīng)元輸入和輸出是非線性的關(guān)系3.不應(yīng)期無(wú)輸出信號(hào)。 上升為無(wú)窮大。4

9、.疲勞閾值慢慢增加時(shí)，神經(jīng)元很難興奮5.突觸的可塑性突觸的結(jié)合強(qiáng)度會(huì)隨著輸入信號(hào)和輸出信號(hào)發(fā)生變化，使得神經(jīng)細(xì)胞具有學(xué)習(xí)和記憶的能力6.輸出信號(hào)的種類離散的（脈沖信號(hào)）；連續(xù)信號(hào)4.2.2 生物神經(jīng)元的信息處理機(jī)制第16頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日16第4.3節(jié) 人工神經(jīng)元4.3.1人工神經(jīng)元的數(shù)學(xué)模型4.3.2人工神經(jīng)元的激勵(lì)函數(shù)第17頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日17出發(fā)點(diǎn)：模擬生物神經(jīng)元的結(jié)構(gòu)和功能，從數(shù)學(xué)角度抽象出來(lái)一個(gè)基本單元。神經(jīng)元模型：是生物神經(jīng)元的抽象和模擬；是人工神經(jīng)網(wǎng)絡(luò)的最基本組成部分；是一多輸入單輸出的非線性處理單元。

10、神經(jīng)網(wǎng)絡(luò)直觀理解：神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，它一般由許多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元只有一個(gè)輸出，它可以連接到很多其它的神經(jīng)元，每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一個(gè)連接權(quán)系數(shù)。引言第18頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日18 結(jié)構(gòu)數(shù)學(xué)描述輸入：狀態(tài)：輸出：通常有：則：: 閾值；: 輸入信號(hào)，可理解為其它神經(jīng)元的輸出；: 從ui到xj的連接權(quán)值（注意其下標(biāo)與方向）；: 外部輸入信號(hào)；: 神經(jīng)元的輸出4.3.1 人工神經(jīng)元的數(shù)學(xué)模型第19頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日19f閾值型分段線性型4.3.2 人工神經(jīng)元的激勵(lì)函

11、數(shù)第20頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日20Tan函數(shù)型T：比例因子，調(diào)整函數(shù)的上升坡度。T越大，f上升越慢；T越小，f上升越快，很快飽和。Sigmoid函數(shù)型4.3.2 人工神經(jīng)元的激勵(lì)函數(shù)第21頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日21控制輸入對(duì)輸出的激活作用；對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出。激勵(lì)函數(shù)的作用：4.3.2 人工神經(jīng)元的激勵(lì)函數(shù)第22頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日22第4.4節(jié) 人工神經(jīng)元網(wǎng)絡(luò)的模型分類4.4.1根據(jù)組織和抽象層次分類4.4.2根據(jù)連接方式和信息流向分類

12、第23頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日23神經(jīng)元層次模型：僅研究單一神經(jīng)元的動(dòng)態(tài)和自適應(yīng)特性，探索神經(jīng)元對(duì)輸入信息的處理和存儲(chǔ)能力。組合式模型：由多個(gè)不同神經(jīng)元組成，功能比單一神經(jīng)元強(qiáng)大。網(wǎng)絡(luò)層次模型：由多個(gè)相同神經(jīng)元組成的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)的整體性能為研究重點(diǎn)。神經(jīng)系統(tǒng)層次模型（多種網(wǎng)絡(luò)）：由多個(gè)不同性質(zhì)的神經(jīng)網(wǎng)絡(luò)構(gòu)成，以模擬生物神經(jīng)系統(tǒng)更復(fù)雜，更抽象的特性。4.4.1 根據(jù)組織和抽象層次分類第24頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日24前向網(wǎng)絡(luò)特點(diǎn) 神經(jīng)元分層排列，組成輸入層、隱含層（可以有若干層）和輸出層； 每一層的神經(jīng)元只接收前一層神經(jīng)元的輸入；

13、 各神經(jīng)元之間不存在反饋，信號(hào)在各層中順序傳播。典型網(wǎng)絡(luò)BP網(wǎng)絡(luò)，感知器4.4.2 根據(jù)連接方式和信息流向分類第25頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日25特點(diǎn)僅在輸出層到輸入層存在反饋，即每一個(gè)輸入節(jié)點(diǎn)都有可能接受來(lái)自外部的輸入和來(lái)自輸出神經(jīng)元的反饋，故可用來(lái)存儲(chǔ)某種模式序列。應(yīng)用神經(jīng)認(rèn)知機(jī)，動(dòng)態(tài)時(shí)間序列過(guò)程的神經(jīng)網(wǎng)絡(luò)建模反饋網(wǎng)絡(luò)4.4.2 根據(jù)連接方式和信息流向分類第26頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日26特點(diǎn)網(wǎng)狀結(jié)構(gòu)；任兩個(gè)神經(jīng)元之間都有可能存在連接（反饋）。典型網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)，Boltzmann機(jī)網(wǎng)絡(luò)注：在無(wú)反饋的前向網(wǎng)絡(luò)中，信號(hào)一

14、旦通過(guò)某個(gè)神經(jīng)元，過(guò)程就結(jié)束了。而在相互結(jié)合網(wǎng)絡(luò)中，信號(hào)在神經(jīng)元之間反復(fù)往返傳遞，網(wǎng)絡(luò)處在一種不斷改變狀態(tài)的動(dòng)態(tài)之中。相互結(jié)合型網(wǎng)絡(luò)（全互連）4.4.2 根據(jù)連接方式和信息流向分類第27頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日27特點(diǎn) 前兩者的混合； 同層內(nèi)神經(jīng)元相互連接； 可以實(shí)現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮機(jī)制。這樣可以限制每層內(nèi)能同時(shí)動(dòng)作的神經(jīng)元數(shù)，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每組作為一個(gè)整體來(lái)動(dòng)作。典型網(wǎng)絡(luò)回歸神經(jīng)網(wǎng)絡(luò)（RNN）混合型網(wǎng)絡(luò)（層內(nèi)互連）4.4.2 根據(jù)連接方式和信息流向分類第28頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日28連接權(quán)

15、的確定方法：（1）根據(jù)具體要求，直接計(jì)算出來(lái)，如Hopfield網(wǎng)絡(luò)作優(yōu)化計(jì)算時(shí)就屬于這種情況。（2）通過(guò)學(xué)習(xí)得到的，大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都用這種方法。學(xué)習(xí)實(shí)質(zhì)：針對(duì)一組給定輸入Xp (p=1,2, N )，通過(guò)學(xué)習(xí)使網(wǎng)絡(luò)動(dòng)態(tài)改變權(quán)值，從而使其產(chǎn)生相應(yīng)的期望輸出Yd的過(guò)程。學(xué)習(xí)算法分類：有導(dǎo)師學(xué)習(xí)、無(wú)導(dǎo)師學(xué)習(xí)、強(qiáng)化學(xué)習(xí)第4.5節(jié) 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)第29頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日29偏差e注：在訓(xùn)練過(guò)程中，存在一個(gè)期望的網(wǎng)絡(luò)輸出。它是基于誤差來(lái)調(diào)整網(wǎng)絡(luò)權(quán)值的。應(yīng)用：感知器網(wǎng)絡(luò);多層前向傳播網(wǎng)絡(luò);oltzmann機(jī)網(wǎng)絡(luò)。有導(dǎo)師學(xué)習(xí)學(xué)習(xí)算法第30頁(yè)，共34頁(yè)，2022年

16、，5月20日，11點(diǎn)4分，星期日30注：網(wǎng)絡(luò)不存在一個(gè)期望的輸出，通過(guò)建立一個(gè)間接評(píng)價(jià)函數(shù)，對(duì)網(wǎng)絡(luò)的某種行為趨向作出評(píng)價(jià)，改變神經(jīng)網(wǎng)絡(luò)數(shù)值。應(yīng)用：ART網(wǎng)絡(luò)；Kohonen自組織網(wǎng)絡(luò)。無(wú)導(dǎo)師學(xué)習(xí)學(xué)習(xí)算法第31頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日31強(qiáng)化學(xué)習(xí)把學(xué)習(xí)看做試探性評(píng)價(jià)（獎(jiǎng)或懲）過(guò)程。學(xué)習(xí)機(jī)選擇一種動(dòng)作作用于環(huán)境之后，使環(huán)境的狀態(tài)改變，并產(chǎn)生強(qiáng)化信號(hào)（獎(jiǎng)或懲）反饋至學(xué)習(xí)機(jī)。學(xué)習(xí)機(jī)依據(jù)強(qiáng)化信號(hào)與環(huán)境當(dāng)前的狀態(tài)，再選擇下一動(dòng)作作用于環(huán)境，選擇的原則是使受到獎(jiǎng)勵(lì)的可能性最大。可見(jiàn)，強(qiáng)化信號(hào)是環(huán)境對(duì)學(xué)習(xí)機(jī)學(xué)習(xí)結(jié)果的一個(gè)評(píng)價(jià)。再勵(lì)學(xué)習(xí)學(xué)習(xí)算法第32頁(yè)，共34頁(yè)，2022年，5月20日，11點(diǎn)4分，星期日32相關(guān)學(xué)習(xí)：僅根據(jù)連接間的激活水平改變權(quán)系數(shù)。Hebb學(xué)習(xí)規(guī)則：糾錯(cuò)學(xué)習(xí)：根據(jù)輸出節(jié)點(diǎn)的外部反饋改變權(quán)系數(shù)。學(xué)習(xí)規(guī)則：無(wú)導(dǎo)師學(xué)習(xí)：學(xué)習(xí)表現(xiàn)為自動(dòng)實(shí)現(xiàn)輸入空間的檢測(cè)和分類。關(guān)鍵不在于實(shí)際節(jié)點(diǎn)的輸出怎樣與外部的期望輸出相一致，而在于調(diào)整參數(shù)以反映所觀察事件的分布。學(xué)習(xí)規(guī)則第33頁(yè)，共34頁(yè)，20