齊魯醫(yī)學(xué)神經(jīng)網(wǎng)絡(luò)控制及應(yīng)用基礎(chǔ)

1、第三章 人工神經(jīng)網(wǎng)絡(luò)控制及應(yīng)用2021/9/300人工神經(jīng)網(wǎng)絡(luò)定義 人工神經(jīng)網(wǎng)絡(luò)是一個(gè)由許多簡(jiǎn)單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及各單元的處理方式。 人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。 神經(jīng)網(wǎng)絡(luò)是由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對(duì)外部輸入信息的動(dòng)態(tài)響應(yīng)來(lái)處理信息的。2021/9/3013.1.1神經(jīng)網(wǎng)絡(luò)的基本特征與功能結(jié)構(gòu)特征：并行式處理分布式存儲(chǔ)容錯(cuò)性能力特征：自學(xué)習(xí)自組織自適應(yīng)性2021/9/302 3.1.1 神經(jīng)網(wǎng)絡(luò)的基本特征與功能聯(lián)想記憶功能2021/9/303非線性映射功能 3

2、.1.1 神經(jīng)網(wǎng)絡(luò)的基本特征與功能2021/9/304分類與識(shí)別功能 3.1.1 神經(jīng)網(wǎng)絡(luò)的基本特征與功能2021/9/305優(yōu)化計(jì)算功能 3.1.1 神經(jīng)網(wǎng)絡(luò)的基本特征與功能2021/9/306知識(shí)處理功能 3.1.1 神經(jīng)網(wǎng)絡(luò)的基本特征與功能2021/9/3073.1.2 生物神經(jīng)元及其信息處理生物神經(jīng)元人工神經(jīng)元模型2021/9/308 人類大腦大約包含有1.41011個(gè)神經(jīng)元，每個(gè)神經(jīng)元與大約103105個(gè)其它神經(jīng)元相連接，構(gòu)成一個(gè)極為龐大而復(fù)雜的網(wǎng)絡(luò)，即生物神經(jīng)網(wǎng)絡(luò)。3.1.2 生物神經(jīng)元及其信息處理2021/9/309 神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元(Neuron)是

3、腦組織的基本單元，是人腦信息處理系統(tǒng)的最小單元。3.1.2 生物神經(jīng)元及其信息處理2021/9/30103.1.2.1生物神經(jīng)元的結(jié)構(gòu) 生物神經(jīng)元在結(jié)構(gòu)上由 細(xì)胞體(Cell body) 樹(shù)突(Dendrite) 軸突(Axon) 突觸(Synapse) 四部分組成。用來(lái)完成神經(jīng)元間信息的接收、傳遞和處理。3.1.2 生物神經(jīng)元及其信息處理2021/9/30112021/9/30122021/9/30133.1.2.2 生物神經(jīng)元的信息處理機(jī)理信息的產(chǎn)生 神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動(dòng)。 神經(jīng)元狀態(tài)：靜息興奮抑制 膜電位：極 化去極化超極化2021/9/3014信息的傳遞與接收

4、3.1.2.2 生物神經(jīng)元的信息處理機(jī)理2021/9/3015信息的整合空間整合：同一時(shí)刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨(dú)刺激引起的膜電位變化的代數(shù)和。時(shí)間整合：各輸入脈沖抵達(dá)神經(jīng)元的時(shí)間先后不一樣?？偟耐挥|后膜電位為一段時(shí)間內(nèi)的累積。3.1.2.2 生物神經(jīng)元的信息處理機(jī)理2021/9/30163.1.2.3 生物神經(jīng)網(wǎng)絡(luò) 由多個(gè)生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu) 相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。 生物神經(jīng)網(wǎng)絡(luò)的功能不是單個(gè)神經(jīng)元信息 處理功能的簡(jiǎn)單疊加。 神經(jīng)元之間的突觸連接方式和連接強(qiáng)度不 同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)在宏觀 呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。2021/9/301

5、73.1.3人工神經(jīng)元模型及人工神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元。在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元常被稱為“處理單元”。有時(shí)從網(wǎng)絡(luò)的觀點(diǎn)出發(fā)常把它稱為“節(jié)點(diǎn)”。人工神經(jīng)元是對(duì)生物神經(jīng)元的一種形式化描述。2021/9/30183.1.3.1 人工神經(jīng)元模型神經(jīng)元模型示意圖2021/9/3019神經(jīng)元的數(shù)學(xué)模型ij 輸入輸出間的突觸時(shí)延； Tj 神經(jīng)元j的閾值； wij 神經(jīng)元i到 j 的突觸連接系數(shù)或稱 權(quán)重值； f ()神經(jīng)元轉(zhuǎn)移函數(shù)。(3-1)(3-2)3.1.3.1 人工神經(jīng)元模型2021/9/3020(3-3) netj=WjTX (3

6、-4) Wj=(w1 w2 wn)T X=(x1 x2 xn)T 令x0=-1，w0=Tj，則有-Tj=x0w03.1.3.1 人工神經(jīng)元模型神經(jīng)元的數(shù)學(xué)模型2021/9/3021(3-5) oj=f(netj)=f (WjTX) (3-6)神經(jīng)元的數(shù)學(xué)模型3.1.3.1 人工神經(jīng)元模型2021/9/3022神經(jīng)元的轉(zhuǎn)移函數(shù)(1)閾值型轉(zhuǎn)移函數(shù) 1 x0f(x)= (3-7) 0 x03.1.3.1 人工神經(jīng)元模型2021/9/3023(2)非線性轉(zhuǎn)移函數(shù)神經(jīng)元的轉(zhuǎn)移函數(shù)(3-8)3.1.3.1 人工神經(jīng)元模型2021/9/3024(3)分段線性轉(zhuǎn)移函數(shù) 0 x0f(x)= cx 0 xxc

7、(3-9) 1 xc x 神經(jīng)元的轉(zhuǎn)移函數(shù)3.1.3.1 人工神經(jīng)元模型2021/9/3025層次型結(jié)構(gòu)3.1.3.2 人工神經(jīng)網(wǎng)絡(luò)模型按神經(jīng)元連接方式分類 2021/9/3026輸出層到輸入層有連接3.1.3.2 人工神經(jīng)網(wǎng)絡(luò)模型按神經(jīng)元連接方式分類 2021/9/3027層內(nèi)有連接的層次型結(jié)構(gòu)3.1.3.2 人工神經(jīng)網(wǎng)絡(luò)模型按神經(jīng)元連接方式分類 2021/9/3028全互連型結(jié)構(gòu)按神經(jīng)元連接方式分類 3.1.3.2 人工神經(jīng)網(wǎng)絡(luò)模型2021/9/3029按網(wǎng)絡(luò)信息流向分類前饋型網(wǎng)絡(luò)3.1.3.2 人工神經(jīng)網(wǎng)絡(luò)模型2021/9/3030反饋型網(wǎng)絡(luò)按網(wǎng)絡(luò)信息流向分類3.1.3.2 人工神經(jīng)網(wǎng)絡(luò)模型2021/9/3031 神經(jīng)網(wǎng)絡(luò)能夠通過(guò)對(duì)樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過(guò)程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動(dòng)態(tài)調(diào)整。3.