神經(jīng)網(wǎng)絡(luò)算法入門【ppt】

1、1地球是宇宙的驕子地球是宇宙的驕子，人類是地球的寵兒人類是地球的寵兒，大腦是人的主宰大腦是人的主宰。 本章要點(diǎn)一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介二、MATLAB簡(jiǎn)介三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)四、利用Microsoft SQL Server2005實(shí)踐神經(jīng)網(wǎng)絡(luò)算法2一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介人腦與計(jì)算機(jī)信息處理能力的比較記憶與聯(lián)想能力記憶與聯(lián)想能力學(xué)習(xí)與認(rèn)知能力學(xué)習(xí)與認(rèn)知能力信息加工能力信息加工能力信息綜合能力信息綜合能力信息處理速度信息處理速度3 存存儲(chǔ)儲(chǔ)器器 指指令令 輸輸入入設(shè)設(shè)備備 運(yùn)運(yùn)算算器器 輸輸出出設(shè)設(shè)備備 控控制制器器馮馮.諾諾依依曼曼體體系系計(jì)計(jì)算算機(jī)機(jī)一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介人腦與計(jì)算

2、機(jī)信息處理機(jī)制的比較系統(tǒng)結(jié)構(gòu)信號(hào)形式信息存儲(chǔ)信息處理機(jī)制4一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 生物神經(jīng)網(wǎng)絡(luò) 人類的大腦大約有1.41011個(gè)神經(jīng)細(xì)胞，亦稱為神經(jīng)元。每個(gè)神經(jīng)元有數(shù)以千計(jì)的通道同其它神經(jīng)元廣泛相互連接，形成復(fù)雜的生物神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò) 以數(shù)學(xué)和物理方法以及信息處理的角度對(duì)人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象，并建立某種簡(jiǎn)化模型，就稱為人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，縮寫 ANN）。5一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介人工神經(jīng)網(wǎng)絡(luò)定義神經(jīng)網(wǎng)絡(luò)是由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相神經(jīng)網(wǎng)絡(luò)是由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對(duì)外部輸

3、入互連接而形成的計(jì)算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對(duì)外部輸入信息的動(dòng)態(tài)響應(yīng)來(lái)處理信息的。信息的動(dòng)態(tài)響應(yīng)來(lái)處理信息的。人工神經(jīng)網(wǎng)絡(luò)是一個(gè)由許多簡(jiǎn)單的并行工作的處理單元組人工神經(jīng)網(wǎng)絡(luò)是一個(gè)由許多簡(jiǎn)單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及各單成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及各單元的處理方式。元的處理方式。人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。理系統(tǒng)。6一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)網(wǎng)絡(luò)的基本特征7能力特征：自學(xué)習(xí)自學(xué)習(xí)自組織自組織自適應(yīng)性自適應(yīng)性結(jié)構(gòu)特征：結(jié)構(gòu)特征：并行式處理并行式處理分布式存儲(chǔ)分布式存儲(chǔ)

4、容錯(cuò)性容錯(cuò)性一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介8聯(lián)聯(lián)想想記記憶憶功功能能神經(jīng)網(wǎng)絡(luò)的基本功能一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9神經(jīng)網(wǎng)絡(luò)的基本功能輸輸入入樣樣本本 神神經(jīng)經(jīng)網(wǎng)網(wǎng)絡(luò)絡(luò) 輸輸出出樣樣本本 自自動(dòng)動(dòng)提提取取 非非線線性性映映射射規(guī)規(guī)則則非線性映射功能非線性映射功能神經(jīng)網(wǎng)絡(luò)的基本功能 傳統(tǒng)分類能力傳統(tǒng)分類能力 ANN 分類能力分類能力10分類與識(shí)別功能分類與識(shí)別功能一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)網(wǎng)絡(luò)的基本功能11優(yōu)化計(jì)算功能優(yōu)化計(jì)算功能一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)網(wǎng)絡(luò)的基本功能12知識(shí)處理功能知識(shí)處理功能 問問 題題 解解 答答 知知 識(shí)識(shí) 分分 布布 式式 表表 示示 由由 同同 一一 知知 識(shí)識(shí) 獲獲 取取 、 知知 識(shí)識(shí) 庫(kù)庫(kù) 神神

5、經(jīng)經(jīng) 網(wǎng)網(wǎng) 平平 行行 推推 理理 絡(luò)絡(luò) 實(shí)實(shí) 現(xiàn)現(xiàn) 輸輸 入入 數(shù)數(shù) 據(jù)據(jù) 變變 量量 變變 換換 求求 解解 的的 問問 題題 神神 經(jīng)經(jīng) 網(wǎng)網(wǎng) 絡(luò)絡(luò) 專專 家家 系系 統(tǒng)統(tǒng) 的的 構(gòu)構(gòu) 成成一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域：信息處理領(lǐng)域信息處理領(lǐng)域信號(hào)處理模式識(shí)別數(shù)據(jù)壓縮13一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域：自動(dòng)化領(lǐng)域自動(dòng)化領(lǐng)域系統(tǒng)識(shí)別神經(jīng)控制器智能檢測(cè)14一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域：工程領(lǐng)域工程領(lǐng)域汽車工程軍事工程化學(xué)工程水利工程15一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域：醫(yī)學(xué)領(lǐng)域醫(yī)學(xué)領(lǐng)域檢測(cè)數(shù)據(jù)分析生物活性研究醫(yī)學(xué)專家系統(tǒng)16一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域：經(jīng)濟(jì)領(lǐng)域經(jīng)濟(jì)領(lǐng)

6、域信貸分析市場(chǎng)預(yù)測(cè)17一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)網(wǎng)絡(luò)的軟硬件實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)編程語(yǔ)言既可用高級(jí)語(yǔ)言也可用低級(jí)語(yǔ)言。C語(yǔ)言是神經(jīng)網(wǎng)絡(luò)應(yīng)用軟件的基本編程工具;匯編語(yǔ)言常用于提高神經(jīng)網(wǎng)絡(luò)的已有功能或解決與硬件相關(guān)的難點(diǎn)。MATLAB名字由MATrix和 LABoratory 兩詞的前三個(gè)字母組合而成。20世紀(jì)七十年代后期，時(shí)任美國(guó)新墨西哥大學(xué)計(jì)算機(jī)科學(xué)系主任的Cleve Moler教授出于減輕學(xué)生編程負(fù)擔(dān)的動(dòng)機(jī)，為學(xué)生設(shè)計(jì)了一組調(diào)用LINPACK和EISPACK庫(kù)程序的“通俗易用”的接口，此即用FORTRAN編寫的萌芽狀態(tài)的MATLAB。18一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)網(wǎng)絡(luò)的軟硬件實(shí)現(xiàn)MATLAB以商品形式出現(xiàn)后，僅

7、短短幾年，就以其良好的開放性和運(yùn)行的可靠性，使原先控制領(lǐng)域里的封閉式軟件包（如英國(guó)的UMIST，瑞典的LUND和SIMNON，德國(guó)的KEDDC）紛紛淘汰，而改以MATLAB為平臺(tái)加以重建。在時(shí)間進(jìn)入20世紀(jì)九十年代的時(shí)候，MATLAB已經(jīng)成為國(guó)際控制界公認(rèn)的標(biāo)準(zhǔn)計(jì)算軟件。19一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)網(wǎng)絡(luò)的軟硬件實(shí)現(xiàn)在歐美大學(xué)里，諸如應(yīng)用代數(shù)、數(shù)理統(tǒng)計(jì)、自動(dòng)控制、數(shù)字信號(hào)處理、模擬與數(shù)字通信、時(shí)間序列分析、動(dòng)態(tài)系統(tǒng)仿真等課程的教科書都把MATLAB作為內(nèi)容。這幾乎成了九十年代教科書與舊版書籍的區(qū)別性標(biāo)志。在那里，MATLAB是攻讀學(xué)位的大學(xué)生、碩士生、博士生必須掌握的基本工具。20一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神

8、經(jīng)網(wǎng)絡(luò)的軟硬件實(shí)現(xiàn)MATLAB的推出得到了各個(gè)領(lǐng)域的專家學(xué)者的廣泛關(guān)注，在此基礎(chǔ)上，專家們相繼推出了MATLAB工具箱，主要包括信號(hào)處理、控制系統(tǒng)、神經(jīng)網(wǎng)絡(luò)、圖像處理、魯棒控制、非線性系統(tǒng)控制設(shè)計(jì)、系統(tǒng)辨識(shí)、最優(yōu)化、模糊邏輯、小波等工具箱，這些工具箱給各個(gè)領(lǐng)域的研究和工程應(yīng)用提供了有力的工具。21一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介參考文獻(xiàn)1人工神經(jīng)網(wǎng)絡(luò)教程（第1版）韓力群，北京：北京郵電大學(xué)出版社，2006年2神經(jīng)網(wǎng)絡(luò)(影印版) , Satish Kumar ,北京：清華大學(xué)出版社 ， 2006年3神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)(英文版) （美）黑根 等著,機(jī)械出版社，中信出版社，20024 神經(jīng)網(wǎng)絡(luò)模型及其MATLAB仿真程序

9、設(shè)計(jì)，周開利，康耀紅，北京：清華大學(xué)出版社 ， 2005年22一、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元(Neuron)是腦組織的基本單元，是人腦信息處理系統(tǒng)的最小單元。生物神經(jīng)元生物神經(jīng)網(wǎng)絡(luò)23三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)生物神經(jīng)元24 生物神經(jīng)元在結(jié)構(gòu)上由生物神經(jīng)元在結(jié)構(gòu)上由: 細(xì)胞體細(xì)胞體(Cell body)、 樹突樹突(Dendrite)、軸突軸突(Axon)、突觸突觸(Synapse) 四部分組成。用來(lái)完成四部分組成。用來(lái)完成神經(jīng)元間信息的接收、神經(jīng)元間信息的接收、傳遞和處理。傳遞和處理。人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)25三、神經(jīng)網(wǎng)絡(luò)

10、建?；A(chǔ)生物神經(jīng)元:信息的產(chǎn)生信息的產(chǎn)生神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動(dòng)。神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動(dòng)。26神經(jīng)元狀態(tài)：神經(jīng)元狀態(tài)：膜電位：膜電位：三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)27三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)28生物神經(jīng)元生物神經(jīng)元:信息的傳遞與接收信息的傳遞與接收三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)29生物神經(jīng)元:空間整合空間整合：同一時(shí)刻產(chǎn)生的刺激所引起的同一時(shí)刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨(dú)刺激引起的膜電位變化，大致等于各單獨(dú)刺激引起的膜電位變化的代數(shù)和。膜電位變化的代數(shù)和。時(shí)間整合：時(shí)間整合：各各輸入脈沖輸入脈沖抵達(dá)神經(jīng)元的時(shí)間抵達(dá)神經(jīng)元的時(shí)間先后不一樣。先后不一樣?？偟?/p>

11、突觸后膜電位為一段時(shí)總的突觸后膜電位為一段時(shí)間內(nèi)的累積。間內(nèi)的累積。生物神經(jīng)網(wǎng)絡(luò)30 由多個(gè)生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu)由多個(gè)生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu) 相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。 生物神經(jīng)網(wǎng)絡(luò)的功能不是單個(gè)神經(jīng)元信息生物神經(jīng)網(wǎng)絡(luò)的功能不是單個(gè)神經(jīng)元信息 處理功能的簡(jiǎn)單疊加。處理功能的簡(jiǎn)單疊加。 神經(jīng)元之間的突觸連接方式和連接強(qiáng)度不神經(jīng)元之間的突觸連接方式和連接強(qiáng)度不 同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)在宏觀同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)在宏觀 呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ) 神經(jīng)

12、元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元 人工神經(jīng)元(節(jié)點(diǎn)) 從三個(gè)方面進(jìn)行模擬:節(jié)點(diǎn)本身的信息處理能力節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu))相互連接的強(qiáng)度(通過(guò)學(xué)習(xí)來(lái)調(diào)整)31決定人工神決定人工神經(jīng)網(wǎng)絡(luò)整體經(jīng)網(wǎng)絡(luò)整體性能的三大性能的三大要素要素三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)節(jié)點(diǎn)本身的信息處理能力(數(shù)學(xué)模型)節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu))相互連接的強(qiáng)度(通過(guò)學(xué)習(xí)來(lái)調(diào)整)32三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)模型的六點(diǎn)假設(shè)：模型的六點(diǎn)假設(shè)：(1) (1) 每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單元；元；(2) (2) 神經(jīng)元輸入分興奮性輸入和抑制性輸

13、入兩種類型；神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；(3) (3) 神經(jīng)元具有空間整合特性和閾值特性；神經(jīng)元具有空間整合特性和閾值特性；(4)(4)神經(jīng)元輸入與輸出間有固定的時(shí)滯神經(jīng)元輸入與輸出間有固定的時(shí)滯, , 主要取決于主要取決于突觸延擱；突觸延擱；(5) (5) 忽略時(shí)間整合作用和不應(yīng)期；忽略時(shí)間整合作用和不應(yīng)期；(6) (6) 神經(jīng)元本身是非時(shí)變的，即其突觸時(shí)延和突觸強(qiáng)神經(jīng)元本身是非時(shí)變的，即其突觸時(shí)延和突觸強(qiáng)度均為常數(shù)。度均為常數(shù)。33三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)假設(shè)1圖(a) 表明，正如生物神經(jīng)元有許多激勵(lì)輸入一祥，人工神經(jīng)元也應(yīng)該有許多的輸入信號(hào)，圖中每個(gè)輸入的大小用確定數(shù)值xi表

14、示，它們同時(shí)輸入神經(jīng)元j，神經(jīng)元的單輸出用oj表示。34三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)假設(shè)2生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強(qiáng)度，其對(duì)輸入的影響是使有些輸入在神經(jīng)元產(chǎn)生脈沖輸出過(guò)程中所起的作用比另外一些輸入更為重要。圖(b)中對(duì)神經(jīng)元的每一個(gè)輸入都有一個(gè)加權(quán)系數(shù)wij，稱為權(quán)重值，其正負(fù)模擬了生物神經(jīng)元中突觸的興奮和抑制，其大小則代表了突觸的不同連接強(qiáng)度。35三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)假設(shè)3作為ANN的基本處理單元，必須對(duì)全部輸入信號(hào)進(jìn)行整合，以確定各類輸入的作用總效果，圖(c)表示組合輸人信號(hào)的“總和值”，相應(yīng)于生物神經(jīng)元的膜電位。神經(jīng)元激活與否取決于某一閾值電平，即只有當(dāng)其輸入總和超過(guò)閾值時(shí), 神經(jīng)元才

15、被激活而發(fā)放脈沖, 否則神經(jīng)元不會(huì)產(chǎn)生輸出信號(hào)。36三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)假設(shè)4圖(d) 人工神經(jīng)元的輸出也同生物神經(jīng)元一樣僅有一個(gè)，如用oj表示神經(jīng)元輸出，則輸出與輸入之間的對(duì)應(yīng)關(guān)系可用圖(d)中的某種非線性函數(shù)來(lái)表示，這種函數(shù)一般都是非線性的。37三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)38)()(jn1iijiijjTtxwftoij 輸入輸出間的突觸時(shí)延；輸入輸出間的突觸時(shí)延； Tj 神經(jīng)元神經(jīng)元j的閾值；的閾值； wij 神經(jīng)元神經(jīng)元i到到 j 的突觸連接系數(shù)或稱的突觸連接系數(shù)或稱 權(quán)重值；權(quán)重值； f ( )神經(jīng)元轉(zhuǎn)移函數(shù)。神經(jīng)元轉(zhuǎn)移函數(shù)。(1)上述內(nèi)容可用一個(gè)數(shù)學(xué)表達(dá)式進(jìn)行抽象與概括。令xi(t)表示

16、t時(shí)刻神經(jīng)元j接收的來(lái)自神經(jīng)元i的信息輸入，oj(t)表示t時(shí)刻神經(jīng)元j的信息輸出，則神經(jīng)元j的狀態(tài)可表達(dá)為1式。三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)39三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ))()(jn1iiijjTtxwf1to(2)為簡(jiǎn)單起見，將1上式中的突觸時(shí)延取為單位時(shí)間，則式(1)可寫為2式。上式描述的神經(jīng)元數(shù)學(xué)模型全面表達(dá)了神經(jīng)元模型的6點(diǎn)假定。其中輸入xi的下標(biāo)的下標(biāo)i=1,2,n，輸出oj的下標(biāo)j體現(xiàn)了神經(jīng)元模型假定(1)中的“多輸入單輸出”。權(quán)重值wij的正負(fù)體現(xiàn)了假定(2)中“突觸的興奮與抑制”。Tj代表假定(3)中神經(jīng)元的“閾值”；“輸入總和”常稱為神經(jīng)元在t時(shí)刻的凈輸入，40神經(jīng)元的數(shù)學(xué)模型：神經(jīng)元的

17、數(shù)學(xué)模型：n1iiijjtxwttne)()(3)三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)41netj(t) 體現(xiàn)了神經(jīng)元j的空間整合空間整合特性而未考慮時(shí)間整合，當(dāng)netj-Tj0時(shí)，神經(jīng)元才能被激活。oj(t+1)與xI(t)之間的單位時(shí)差代表所有神經(jīng)元具有相同的、恒定的工作節(jié)律，對(duì)應(yīng)于假定(4)中的“突觸延擱”；wij與時(shí)間無(wú)關(guān)體現(xiàn)了假定(6)中神經(jīng)元的“非時(shí)變”。神經(jīng)元的數(shù)學(xué)模型：神經(jīng)元的數(shù)學(xué)模型： net netj j= =W Wj jT TX X(4)三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)42為簡(jiǎn)便起見，在后面用到式(3)時(shí)，常將其中的(t)省略。式(3)還可表示為權(quán)重向量Wj和輸入向量X的點(diǎn)積WTX。 其中Wj和X均

18、為列向量，定義為Wj=(w1 w2 wn）T，X=(x1 x2 xn)T如果令x0=-1，w0=Tj，則有-Tj=x0w0，因此凈輸入與閾值之差可表達(dá)為神經(jīng)元的數(shù)學(xué)模型：神經(jīng)元的數(shù)學(xué)模型：XWTjn0iiijjjjxwnetTtne(5) oj=f(netj)=f (W Wj jT TX X)(6)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)43顯然，式(4)中列向量Wj和X的第一個(gè)分量的下標(biāo)均從1開始，而式(5)中則從0開始。采用式(5)的約定后，凈輸入改寫為netj，與原來(lái)的區(qū)別是包含了閾值。綜合以上各式，神經(jīng)元模型可簡(jiǎn)化為神經(jīng)元的數(shù)學(xué)模型：神經(jīng)元的數(shù)學(xué)模型：三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ) 神經(jīng)元各種不同數(shù)學(xué)模型的主要區(qū)別

19、在于采用了不同的轉(zhuǎn)移函數(shù)，從而使神經(jīng)元具有不同的信息處理特性。神經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素之一，反映了神經(jīng)元輸出與其激活狀態(tài)之間的關(guān)系，最常用的轉(zhuǎn)移函數(shù)有4種形式。44(1)閾值型轉(zhuǎn)移函數(shù)閾值型轉(zhuǎn)移函數(shù) 1 x0f(x)= (7) 0 x0 f (x) 1.0 x0三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)45神經(jīng)元的轉(zhuǎn)移函數(shù)：神經(jīng)元的轉(zhuǎn)移函數(shù)：(2)非線性轉(zhuǎn)移函數(shù)非線性轉(zhuǎn)移函數(shù)三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)46非線性轉(zhuǎn)移函數(shù)為實(shí)數(shù)域R到0.1閉集的非減連續(xù)函數(shù)，代表了狀態(tài)連續(xù)型神經(jīng)元模型。最常用的非線性轉(zhuǎn)移函數(shù)是單極性的sigmoid函數(shù)曲線 ，簡(jiǎn)稱 S型函數(shù) 。其特點(diǎn)是函數(shù)本身及其導(dǎo)數(shù)都是連續(xù)

20、的，因而在處理上十分方便。 S型函數(shù)函數(shù)又分為單極性和雙極性兩種，分別定義如下：神經(jīng)元的轉(zhuǎn)移函數(shù)：神經(jīng)元的轉(zhuǎn)移函數(shù)：(2)非線性轉(zhuǎn)移函數(shù)非線性轉(zhuǎn)移函數(shù)xe11f(x)xxxe1e11e12f(x) f (x) 1.0 0.5x0 f (x) 1.0 0 x-1.0三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)47神經(jīng)元的轉(zhuǎn)移函數(shù)：神經(jīng)元的轉(zhuǎn)移函數(shù)：教材選用這個(gè)教材選用這個(gè) 轉(zhuǎn)移函數(shù)轉(zhuǎn)移函數(shù)(3)分段線性轉(zhuǎn)移函數(shù)分段線性轉(zhuǎn)移函數(shù)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)48該函數(shù)特點(diǎn)是神經(jīng)元的輸入與輸出在一定區(qū)間內(nèi)滿足線性關(guān)系，模擬了實(shí)際系統(tǒng)中的飽和特性。由于具有分段線性的特點(diǎn)，因而在實(shí)現(xiàn)上比較簡(jiǎn)單。這類函數(shù)也稱為偽線性函數(shù)，表達(dá)式如下：神經(jīng)

21、元的轉(zhuǎn)移函數(shù)：神經(jīng)元的轉(zhuǎn)移函數(shù)：(3)分段線性轉(zhuǎn)移函數(shù)分段線性轉(zhuǎn)移函數(shù) 0 x0f(x)= cx 0 0 xxc (9) 1 xc x f (x) 1.0 x0 xc三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)49神經(jīng)元的轉(zhuǎn)移函數(shù)：神經(jīng)元的轉(zhuǎn)移函數(shù)：(4)概率型轉(zhuǎn)移函數(shù)概率型轉(zhuǎn)移函數(shù)x/Te11P(1)溫度參數(shù)溫度參數(shù)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)50采用概率型轉(zhuǎn)移函數(shù)的神經(jīng)元模型其輸入與輸出之間的關(guān)系是不確定的，需用一個(gè)隨機(jī)函數(shù)來(lái)描述輸出狀態(tài)為1或?yàn)?的概率。設(shè)神經(jīng)元輸出為1的概率為由于采用該轉(zhuǎn)移函數(shù)的神經(jīng)元輸出狀態(tài)分布與熱力學(xué)中的玻爾茲曼（Boltzmann）分布相類似，因此這種神經(jīng)元模型也稱為熱力學(xué)模型。神經(jīng)元的轉(zhuǎn)移函數(shù)

22、：神經(jīng)元的轉(zhuǎn)移函數(shù)：三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)節(jié)點(diǎn)本身的信息處理能力(數(shù)學(xué)模型)節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu))相互連接的強(qiáng)度(通過(guò)學(xué)習(xí)來(lái)調(diào)整)51三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)人工神經(jīng)網(wǎng)絡(luò)的模型很多，可以按照不同的方法進(jìn)行分類。其中常見的兩種分類方法是，按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類和按網(wǎng)絡(luò)內(nèi)部的信息流向分類。52三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)分類：按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類層次型結(jié)構(gòu)互連型網(wǎng)絡(luò)結(jié)構(gòu)按網(wǎng)絡(luò)內(nèi)部的信息流向分類前饋型網(wǎng)絡(luò)反饋型網(wǎng)絡(luò)53三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連。互連型網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接路徑.54人工神經(jīng)網(wǎng)絡(luò)模型

23、人工神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 層層次次型型結(jié)結(jié)構(gòu)構(gòu) 三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)55輸輸出出層層到到輸輸入入層層有有連連接接 三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 56層層內(nèi)內(nèi)有有連連接接層層次次型型結(jié)結(jié)構(gòu)構(gòu) 三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 57全互連型結(jié)構(gòu)全互連型結(jié)構(gòu) 三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 58局局部部互互連連型型網(wǎng)網(wǎng)絡(luò)絡(luò)結(jié)結(jié)構(gòu)構(gòu) 三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 59網(wǎng)絡(luò)信息流向類型前饋型網(wǎng)絡(luò)前饋前饋: :網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行網(wǎng)絡(luò)信息處理的方向是從輸入層到

24、各隱層再到輸出層逐層進(jìn)行反饋型網(wǎng)絡(luò)在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外界接收輸入，同時(shí)又可以向外界輸出。界接收輸入，同時(shí)又可以向外界輸出。60三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)前前饋饋型型網(wǎng)網(wǎng)絡(luò)絡(luò) 三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)網(wǎng)絡(luò)信息流向類型61反反饋饋型型網(wǎng)網(wǎng)絡(luò)絡(luò) 三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)網(wǎng)絡(luò)信息流向類型網(wǎng)絡(luò)信息流向類型62三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)節(jié)點(diǎn)本身的信息處理能力(數(shù)學(xué)模型)節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu))相互連接的強(qiáng)度(通過(guò)學(xué)習(xí)來(lái)調(diào)整)63 神經(jīng)網(wǎng)絡(luò)能夠通過(guò)對(duì)樣本的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠通過(guò)對(duì)樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及

25、訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過(guò)程稱為神經(jīng)網(wǎng)近期望的輸出。這一過(guò)程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動(dòng)態(tài)調(diào)整。的動(dòng)態(tài)調(diào)整。三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)64神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型：有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí)有監(jiān)督學(xué)習(xí))無(wú)導(dǎo)師學(xué)習(xí)無(wú)導(dǎo)師學(xué)習(xí)(無(wú)監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí))死記式學(xué)習(xí)死記式學(xué)習(xí)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)65學(xué)習(xí)的過(guò)程（權(quán)值調(diào)整的一般情況 ） w0j -1 w1j x1 X wij j oj xj xn wnj Wj r (W

26、j , X ，dj) 學(xué)習(xí)信號(hào) X 生成器 dj 66)()()()(ttd,t,trjjjXXWW)()()()()()(ttd ,t,trt1tjjjjXXWWW三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)1949年，心理學(xué)家D.O.Hebb最早提出關(guān)于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)理的“突觸修正”的假設(shè)。假設(shè)：當(dāng)神經(jīng)元i與j同時(shí)處于興奮時(shí)，兩者之間的連接強(qiáng)度應(yīng)增強(qiáng)。XXWW)(Tjjf)(XWTjfr i)(xfwTjijXW三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)HebbHebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則67純前饋、無(wú)導(dǎo)師純前饋、無(wú)導(dǎo)師神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)例：設(shè)有4輸入單輸出神經(jīng)元模型，其閥值T=0，學(xué)習(xí)效率1，3個(gè)輸入樣本向量和初始

27、權(quán)向量分別為X1=(1,-2,1.5,0),X2=(1,-0.5,-2,-1.5)T, X3=(0,1,-1,1.5)T,W(0)=(1,-1,0,0.5)T三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)681958年，美國(guó)學(xué)者Frank Rosenblatt首次定義了一個(gè)具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)結(jié)果，稱為感知器（Perceptron）。感知器的學(xué)習(xí)規(guī)則規(guī)定。jj-odr 0 1-0 1)(sgnXWXWXWXWTjTjTjTjjfd三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)離散感知器學(xué)習(xí)規(guī)則離散感知器學(xué)習(xí)規(guī)則69當(dāng)實(shí)際輸出與期望值相同時(shí)，權(quán)值不需要調(diào)整；在有誤差存在的情況下，由于dj和sg

28、n(WjTX)屬于-1，1XXWW)(Tjjjsgn-di)(xsgn-dwTjjijXWXW2j三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)離散感知器學(xué)習(xí)規(guī)則離散感知器學(xué)習(xí)規(guī)則 70導(dǎo)師學(xué)習(xí)只適用于二進(jìn)制神經(jīng)元 1986年，認(rèn)知心理學(xué)家McClelland和Runelhart在神經(jīng)網(wǎng)絡(luò)中引入規(guī)則，該規(guī)則亦可稱為連續(xù)感知器學(xué)習(xí)規(guī)則，與上述離散感知器學(xué)習(xí)規(guī)則并行。ijjjijxnetf-odw)()(XW)()(jjjjnetf-od)()(jjjnetf-odr 三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)連續(xù)感知器學(xué)習(xí)規(guī)則連續(xù)感知器學(xué)習(xí)規(guī)則717.3.2 反向傳播模型1.工作原理神經(jīng)網(wǎng)絡(luò)模型

29、分為前饋多層式網(wǎng)絡(luò)模型、反饋遞歸式網(wǎng)絡(luò)模型、隨機(jī)型網(wǎng)絡(luò)模型等。誤差反向傳播(Back propagation，簡(jiǎn)稱BP網(wǎng)絡(luò)) ，又稱為多層前饋神經(jīng)網(wǎng)絡(luò)。 其模型結(jié)構(gòu)如圖7.3所示 2.學(xué)習(xí)過(guò)程 BP網(wǎng)絡(luò)學(xué)習(xí)過(guò)程是一種誤差邊向后傳播邊修正權(quán)系數(shù)的過(guò)程，BP算法把網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程分為正向傳播和反向傳播兩種交替過(guò)程。 （1）正向傳播 輸入信息先傳到隱藏層的結(jié)點(diǎn)上，經(jīng)過(guò)各單元的特性為S型的激活函數(shù)運(yùn)算后，把隱藏層結(jié)點(diǎn)的輸出信息傳到輸出結(jié)點(diǎn)，最后給出輸出結(jié)果。 （2）反向傳播 如果得不到實(shí)際的輸出，則轉(zhuǎn)入反向傳播過(guò)程，將誤差信號(hào)沿原來(lái)的連接線路返回，通過(guò)修改各層神經(jīng)元的權(quán)值，逐次地向輸入層傳播進(jìn)行計(jì)算，再

30、經(jīng)過(guò)正向傳播過(guò)程。這兩個(gè)過(guò)程的反復(fù)運(yùn)用，逐漸使得誤差信號(hào)最小，網(wǎng)絡(luò)學(xué)習(xí)過(guò)程就結(jié)束。3BP算法BP算法如下。其中，l為學(xué)習(xí)率；oi為單元i的輸出；oj為單元j的輸出；Tj為輸出層單元j的期望輸出；Errj為與隱藏層單元j的誤差加權(quán)和；wjk為單元j與單元k相連的有向加權(quán)邊的權(quán)重；為改變單元j活性的偏量。輸入：訓(xùn)練樣本S，學(xué)習(xí)率l，多層前饋網(wǎng)絡(luò)。輸出：一個(gè)訓(xùn)練的、對(duì)樣本分類的神經(jīng)網(wǎng)絡(luò)。方法：(1) 初始化網(wǎng)絡(luò)的權(quán)和閾值(2)WHILE終止條件滿足(3)FOR S中的每個(gè)訓(xùn)練樣本X(4)FOR隱藏或輸出層每個(gè)單元j(5) ; /相對(duì)于前一層計(jì)算單元j的凈輸入(6) ; / 計(jì)算每個(gè)單元j的輸出(7)

31、FOR輸出層每個(gè)單元(8) ; /計(jì)算誤差(9)FOR由最后一個(gè)到第一個(gè)隱藏層，對(duì)于隱藏層每個(gè)單元j(10) ; /計(jì)算關(guān)于下一個(gè)較高層k的誤差(11)FOR網(wǎng)絡(luò)中的每一個(gè)權(quán)(12) ;(13)FOR網(wǎng)絡(luò)中每個(gè)單元偏量(14)ijjijiIw o1(1)jIjoe(1)()jjjjjErrooTo(1)jjjkjkkErrooErr wijijjiwwl Err o jjjl Err ijwj【例7-5】 假設(shè)訓(xùn)練樣本s的屬性值為1，0，1，實(shí)際類別分別為1，兩層前饋神經(jīng)網(wǎng)絡(luò)NT如圖7.4所示，NT中每條有一向加權(quán)邊的權(quán)重、每個(gè)隱藏層與輸出層單元的偏置如表7-11所示，學(xué)習(xí)率為0.9。寫出輸入S訓(xùn)練NT的過(guò)程。首先算出單元4、5、6的輸入、輸出，具體結(jié)果見表7-12，然后計(jì)算4、5、6的誤差，見表7-13；NT中每條有向加權(quán)邊的新權(quán)重、每個(gè)隱藏層與輸出層單元的新偏置見表7-14。圖7.4 兩層前饋神經(jīng)網(wǎng)絡(luò)表7-11 權(quán)重、單元的偏置單元j輸入Ij輸出Oj40.21+0.40+(-0