人工神經(jīng)網(wǎng)絡(luò)

1、 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)(ANN) 是模擬人腦結(jié)構(gòu)和功能的一是模擬人腦結(jié)構(gòu)和功能的一種信息處理系統(tǒng)種信息處理系統(tǒng). 具有自適應(yīng)能力，而不是基于多元統(tǒng)具有自適應(yīng)能力，而不是基于多元統(tǒng)計分析，所以，有人稱之為自適應(yīng)模式識別，也有人計分析，所以，有人稱之為自適應(yīng)模式識別，也有人不把它歸入模式識別的范疇不把它歸入模式識別的范疇. ANN已被廣泛應(yīng)用于許多已被廣泛應(yīng)用于許多領(lǐng)域，在化學中也成為領(lǐng)域，在化學中也成為QSAR研究的重要方法研究的重要方法. 7.9.2 人工神經(jīng)網(wǎng)絡(luò)(ANN)建模 神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種處理多變量和多響應(yīng)的方法神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種處理多變量和多響應(yīng)的方法, 對非線性問題尤其擅長

2、對非線性問題尤其擅長, 而這類問題在化學中相當多而這類問題在化學中相當多. 所所以以, ANN在化學中得到了廣泛的應(yīng)用在化學中得到了廣泛的應(yīng)用. 例如例如: 多組份分析數(shù)多組份分析數(shù)據(jù)的聚類，據(jù)的聚類，QSAR，親電芳香族取代反應(yīng)研究，涂料制造，親電芳香族取代反應(yīng)研究，涂料制造的優(yōu)化，紅外、核磁等譜圖與結(jié)構(gòu)的相關(guān)，分子靜電勢的優(yōu)化，紅外、核磁等譜圖與結(jié)構(gòu)的相關(guān)，分子靜電勢的非線性投影、由氨基酸序列預(yù)測蛋白質(zhì)二級結(jié)構(gòu)，故的非線性投影、由氨基酸序列預(yù)測蛋白質(zhì)二級結(jié)構(gòu)，故障檢測與過程控制等障檢測與過程控制等. 下面簡單介紹下面簡單介紹ANN基本原理基本原理. 人工神經(jīng)網(wǎng)絡(luò)模擬人腦結(jié)構(gòu)和功能而工作人工

3、神經(jīng)網(wǎng)絡(luò)模擬人腦結(jié)構(gòu)和功能而工作. 目前人們對大目前人們對大腦的工作機理雖了解甚少腦的工作機理雖了解甚少,但對其結(jié)構(gòu)已有一定了解：大腦由但對其結(jié)構(gòu)已有一定了解：大腦由大量神經(jīng)元構(gòu)成大量神經(jīng)元構(gòu)成, 每個神經(jīng)元是一個小的處理單元每個神經(jīng)元是一個小的處理單元, 其中一個其中一個稱為樹突的部分接受沖擊信號稱為樹突的部分接受沖擊信號, 通過樹突支路傳到細胞體通過樹突支路傳到細胞體, 另另一個稱為軸突的部分將沖擊信號從細胞體傳出去一個稱為軸突的部分將沖擊信號從細胞體傳出去. 神經(jīng)元之間神經(jīng)元之間通過突觸連接通過突觸連接, 形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò). 大腦的強大功能主要取決

4、于大腦的強大功能主要取決于神經(jīng)元的相互連接方式而不神經(jīng)元的相互連接方式而不是是單個神經(jīng)元的作用單個神經(jīng)元的作用. 人工神經(jīng)網(wǎng)絡(luò)也是如此人工神經(jīng)網(wǎng)絡(luò)也是如此, 因此因此, 人工神人工神經(jīng)網(wǎng)絡(luò)強調(diào)的是網(wǎng)絡(luò)而經(jīng)網(wǎng)絡(luò)強調(diào)的是網(wǎng)絡(luò)而不是不是神經(jīng)元神經(jīng)元.人人工工神神經(jīng)經(jīng)元元 人工神經(jīng)元也稱處理單元（人工神經(jīng)元也稱處理單元（PE），具有如下功能），具有如下功能: 1. 處理各個輸入信號以確定其強度處理各個輸入信號以確定其強度加權(quán)加權(quán); 2. 確定所有輸入信號的組合效果（凈輸入）確定所有輸入信號的組合效果（凈輸入）求和求和; 3. 將凈輸入非線性變換為輸出信號將凈輸入非線性變換為輸出信號轉(zhuǎn)換函數(shù)轉(zhuǎn)換函數(shù)(F

5、). 人工神經(jīng)元的結(jié)構(gòu)與功能圖示如下：人工神經(jīng)元的結(jié)構(gòu)與功能圖示如下： 輸入信號表示為輸入行矢量輸入信號表示為輸入行矢量X X= （ X0 , X1 , , XN ） 連接到神經(jīng)元連接到神經(jīng)元 j 的權(quán)表示為加權(quán)矢量的權(quán)表示為加權(quán)矢量Wj Wj =（ W0j , W1j , , WNj ） Wij的下標的下標i為輸入點編號為輸入點編號, j為神經(jīng)元編號為神經(jīng)元編號. 偏置項偏置項j 用用Xo= -1表示表示, 其連接權(quán)其連接權(quán)W0j= j （偏置項的作用是（偏置項的作用是提高穩(wěn)定性）提高穩(wěn)定性）. 輸入的加權(quán)和輸入的加權(quán)和sj可表示為輸入行矢量與加權(quán)矢量的點積可表示為輸入行矢量與加權(quán)矢量的點積

6、: sj= X .Wj 凈輸入凈輸入sj 如果直接作為輸出值如果直接作為輸出值 Yj , 往往是不合理的往往是不合理的, 例如非例如非常大或者是負值常大或者是負值. 所以需要所以需要通過一個轉(zhuǎn)換函數(shù)通過一個轉(zhuǎn)換函數(shù)F，將將 sj 變換變換為輸出值為輸出值 Yj )()()(0ijNiijjjWXFWXFsFY 轉(zhuǎn)換函數(shù)轉(zhuǎn)換函數(shù)F將將凈輸入凈輸入變換到一變換到一個指定的有限范圍內(nèi)輸出個指定的有限范圍內(nèi)輸出. F有有許多類型許多類型, 其中最重要的是其中最重要的是Sigmoid壓縮函數(shù)壓縮函數(shù): F(s)=1/(1+e-s ) 神經(jīng)元如何連接成網(wǎng)絡(luò)呢神經(jīng)元如何連接成網(wǎng)絡(luò)呢? 最簡單的做法是讓一組幾

7、個神經(jīng)元最簡單的做法是讓一組幾個神經(jīng)元(神經(jīng)元也稱神經(jīng)元也稱為結(jié)點為結(jié)點)形成一層形成一層. 其中的加權(quán)構(gòu)成加權(quán)矩陣其中的加權(quán)構(gòu)成加權(quán)矩陣W. 層與層可以進一步連接層與層可以進一步連接, 形成多層網(wǎng)絡(luò)形成多層網(wǎng)絡(luò). 這種連接這種連接可能有各種不同的方式可能有各種不同的方式, 下面只涉及前饋全連接多層下面只涉及前饋全連接多層網(wǎng)絡(luò)網(wǎng)絡(luò), 這指的是這指的是: 每一個神經(jīng)元只連接到下一層的所有每一個神經(jīng)元只連接到下一層的所有神經(jīng)元神經(jīng)元, 而沒有部分連接、沒有反饋連接、沒有層內(nèi)而沒有部分連接、沒有反饋連接、沒有層內(nèi)連接、也沒有隔層前饋連接連接、也沒有隔層前饋連接.（注意：（注意：“前饋前饋”意味著意味

8、著信號流動方向是從輸入端到輸出端，信號流動方向是從輸入端到輸出端， “反饋反饋”則意味則意味著與此相反的方向）著與此相反的方向）.人人工工神神經(jīng)經(jīng)網(wǎng)網(wǎng)絡(luò)絡(luò)的的拓拓撲撲結(jié)結(jié)構(gòu)構(gòu)下圖是一個下圖是一個(6841)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)(不包括偏置項不包括偏置項): 對于對于QSAR研究研究, 每一層的結(jié)點數(shù)應(yīng)當如何確定呢每一層的結(jié)點數(shù)應(yīng)當如何確定呢? (1) 輸入層結(jié)點數(shù)等于結(jié)構(gòu)參數(shù)的數(shù)目輸入層結(jié)點數(shù)等于結(jié)構(gòu)參數(shù)的數(shù)目, 與樣本數(shù)無關(guān)與樣本數(shù)無關(guān); (2) 輸出層結(jié)點數(shù)可以有不同的選擇。例如輸出層結(jié)點數(shù)可以有不同的選擇。例如, 若想把預(yù)測若想把預(yù)測集樣本分為集樣本分為p類類, 應(yīng)當用一個輸出結(jié)點、將輸出值

9、劃分為應(yīng)當用一個輸出結(jié)點、將輸出值劃分為p段來段來確定每個樣本的類別呢確定每個樣本的類別呢? 還是應(yīng)當用還是應(yīng)當用p個輸出結(jié)點個輸出結(jié)點, 讓每個結(jié)點讓每個結(jié)點產(chǎn)生一個二進制型輸出（產(chǎn)生一個二進制型輸出（1或或0）來確定每個樣本的類別呢）來確定每個樣本的類別呢? 一一般說來般說來, 后一種選擇產(chǎn)生的誤差小后一種選擇產(chǎn)生的誤差小. (3) 隱蔽層結(jié)點數(shù)的確定是一個理論上尚未解決的復(fù)雜問隱蔽層結(jié)點數(shù)的確定是一個理論上尚未解決的復(fù)雜問題，通常用嘗試法來確定題，通常用嘗試法來確定. 盡管有一些經(jīng)驗性的估計方法盡管有一些經(jīng)驗性的估計方法.訓訓練練算算法法 ANN最有趣的特征是可以學習最有趣的特征是可以學

10、習. 要讓它具有某種要讓它具有某種功能，必須先對它進行訓練功能，必須先對它進行訓練. 訓練與學習是分別從人和訓練與學習是分別從人和網(wǎng)絡(luò)兩個不同的角度來講的網(wǎng)絡(luò)兩個不同的角度來講的. 所謂學習所謂學習, 實質(zhì)上就是權(quán)實質(zhì)上就是權(quán)重矩陣隨外部激勵作自適應(yīng)變化重矩陣隨外部激勵作自適應(yīng)變化. 訓練就是相繼加入輸入矢量，并按預(yù)定規(guī)則來調(diào)訓練就是相繼加入輸入矢量，并按預(yù)定規(guī)則來調(diào)節(jié)網(wǎng)絡(luò)權(quán)值節(jié)網(wǎng)絡(luò)權(quán)值. 在訓練過程中，網(wǎng)絡(luò)的各權(quán)值都收斂到一在訓練過程中，網(wǎng)絡(luò)的各權(quán)值都收斂到一確定值，以便對于每個輸入矢量都會產(chǎn)生一個要求的確定值，以便對于每個輸入矢量都會產(chǎn)生一個要求的輸出矢量輸出矢量. 調(diào)節(jié)權(quán)值所遵循的預(yù)定規(guī)

11、則稱為訓練算法調(diào)節(jié)權(quán)值所遵循的預(yù)定規(guī)則稱為訓練算法. 訓練算法分為監(jiān)督與無監(jiān)督兩類訓練算法分為監(jiān)督與無監(jiān)督兩類. 監(jiān)監(jiān)督督訓訓練練 監(jiān)督訓練不但需要輸入矢量，還要求與之對應(yīng)的目監(jiān)督訓練不但需要輸入矢量，還要求與之對應(yīng)的目標矢量，組成一個訓練對標矢量，組成一個訓練對; 訓練一個網(wǎng)絡(luò)需要很多訓練對，訓練一個網(wǎng)絡(luò)需要很多訓練對，構(gòu)成一個訓練組構(gòu)成一個訓練組. 當加上一個輸入矢量時，先計算網(wǎng)絡(luò)的輸出，與目當加上一個輸入矢量時，先計算網(wǎng)絡(luò)的輸出，與目標矢量比較，根據(jù)比較的誤差，按規(guī)定算法改變權(quán)值標矢量比較，根據(jù)比較的誤差，按規(guī)定算法改變權(quán)值. 加入每個訓練對以后加入每個訓練對以后, 都要這樣調(diào)節(jié)權(quán)值，直

12、到訓練組中都要這樣調(diào)節(jié)權(quán)值，直到訓練組中所有訓練對的誤差都達到可接受的最低值為止所有訓練對的誤差都達到可接受的最低值為止. 著名的誤差反向傳播著名的誤差反向傳播(BP)就是就是一種一種應(yīng)用最廣泛的應(yīng)用最廣泛的監(jiān)監(jiān)督訓練算法督訓練算法. 在神經(jīng)網(wǎng)絡(luò)應(yīng)用于化學的文獻中在神經(jīng)網(wǎng)絡(luò)應(yīng)用于化學的文獻中, BP約占約占90%. 所以所以,下面只介紹下面只介紹BP的基本原理的基本原理. BP的學習包含四個過程：的學習包含四個過程： 1. 輸入信號由輸入層出發(fā)，經(jīng)過各隱蔽層，正輸入信號由輸入層出發(fā)，經(jīng)過各隱蔽層，正向傳播到輸出層的模式順傳播過程向傳播到輸出層的模式順傳播過程; 2. 輸出矢量與目標矢量相比較輸

13、出矢量與目標矢量相比較, 誤差信號由輸誤差信號由輸出層經(jīng)過隱蔽層向輸入層反向傳播出層經(jīng)過隱蔽層向輸入層反向傳播, 逐層修正連接權(quán)逐層修正連接權(quán)和閾值和閾值, 即誤差逆?zhèn)鞑ミ^程即誤差逆?zhèn)鞑ミ^程(BP這一名稱即由此而來這一名稱即由此而來); 3. 以上兩個過程反復(fù)交替進行的網(wǎng)絡(luò)學習訓練以上兩個過程反復(fù)交替進行的網(wǎng)絡(luò)學習訓練過程過程; 4. 網(wǎng)絡(luò)全局誤差趨向極小的學習收斂過程網(wǎng)絡(luò)全局誤差趨向極小的學習收斂過程.BP基基本本原原理理 在神經(jīng)網(wǎng)絡(luò)訓練過程中，在神經(jīng)網(wǎng)絡(luò)訓練過程中，“過擬合過擬合”是一個常見是一個常見問題，即隨著迭代次數(shù)的增加，盡管訓練集的均方根問題，即隨著迭代次數(shù)的增加，盡管訓練集的均方

14、根偏差可能還在下降，但測試集的均方根偏差卻開始上偏差可能還在下降，但測試集的均方根偏差卻開始上升，這是網(wǎng)絡(luò)模型為了擬合個別樣本所致升，這是網(wǎng)絡(luò)模型為了擬合個別樣本所致. . 為避免過擬合，有專家建議用測試集來監(jiān)控訓練為避免過擬合，有專家建議用測試集來監(jiān)控訓練過程，一旦測試集均方根偏差開始上升，無論訓練集過程，一旦測試集均方根偏差開始上升，無論訓練集均方根偏差下降與否，均應(yīng)停止訓練均方根偏差下降與否，均應(yīng)停止訓練. . 測試集的均方測試集的均方根偏差曲線可能有若干個極小值，取其最小值對應(yīng)的根偏差曲線可能有若干個極小值，取其最小值對應(yīng)的疊代次數(shù)作為最優(yōu)訓練次數(shù)疊代次數(shù)作為最優(yōu)訓練次數(shù), ,相應(yīng)的權(quán)

15、重矩陣用于分相應(yīng)的權(quán)重矩陣用于分類類. .訓訓練練次次數(shù)數(shù)的的確確定定 ANN程序程序Qwiknet簡介簡介 (1) 用用Notepad建立訓練集建立訓練集(輸入輸入)文件文件 .trn例例:* Comment1* *Comment nINPUTS2(意指下列每個樣本行中意指下列每個樣本行中, 前兩列用作輸入數(shù)據(jù)即特征參數(shù)前兩列用作輸入數(shù)據(jù)即特征參數(shù))OUTPUTS1(意指下列每個樣本行中意指下列每個樣本行中, 其余一列用作輸出數(shù)據(jù)即目標值其余一列用作輸出數(shù)據(jù)即目標值)0.00000 0.00000 0.10000(代表代表0)0.00000 1.00000 0.90000 (代表代表1)1.

16、00000 0.00000 0.90000 (代表代表1)1.00000 1.00000 0.10000 (代表代表0) 1. 運行程序前運行程序前, 準備訓練集輸入文件準備訓練集輸入文件 .trn和測試集輸入文件和測試集輸入文件 .tst (2)用用Notepad建立測試集建立測試集(輸入輸入)文件文件 .tst例例:INPUTS2(意指下列每個樣本行中意指下列每個樣本行中,前兩列用作輸入數(shù)據(jù)即特征參數(shù)前兩列用作輸入數(shù)據(jù)即特征參數(shù))OUTPUTS1(不不用用測試集監(jiān)控訓練過程則不用此行測試集監(jiān)控訓練過程則不用此行, 下列各行也不要最后一列下列各行也不要最后一列目標值目標值)0.00000 0

17、.00000 0.10000(代表代表0)0.00000 1.00000 0.90000 (代表代表1)1.00000 0.00000 0.90000 (代表代表1)1.00000 1.00000 0.10000 (代表代表0) 即使用即使用測試集來監(jiān)控訓練集的訓練過程，測試集來監(jiān)控訓練集的訓練過程，.trn與與.tst文文件也必須分別建立而不能合二為一件也必須分別建立而不能合二為一. 只不過只不過, 若用測試集來若用測試集來監(jiān)控訓練集的訓練過程監(jiān)控訓練集的訓練過程, tst文件中須含最后一列目標值文件中須含最后一列目標值, 且且.trn與與.tst文件要同時加載文件要同時加載, 過程交替進行

18、過程交替進行(在訓練過程顯在訓練過程顯示兩條誤差曲線示兩條誤差曲線); 若監(jiān)控與測試分為先后兩個獨立過程若監(jiān)控與測試分為先后兩個獨立過程, 則則tst文件中不文件中不含最后一列目標值含最后一列目標值, 當然也沒有當然也沒有OUTPUTS行行; trn與與tst文文件不同時加載件不同時加載, 只在單獨預(yù)測時將預(yù)測值寫進輸出文件只在單獨預(yù)測時將預(yù)測值寫進輸出文件.out, 而看不到運算過程而看不到運算過程. (1)點擊按鈕點擊按鈕Training Data,找到訓練集輸入文件找到訓練集輸入文件 .trn,點擊點擊按鈕按鈕“打開打開”。輸入文件名出現(xiàn)在按鈕。輸入文件名出現(xiàn)在按鈕Training Da

19、ta之之后后:(2)樣本數(shù)出現(xiàn)在樣本數(shù)出現(xiàn)在Patterns之后之后: 2. 加載訓練集輸入文件加載訓練集輸入文件 .trn (1)顯示隱含層數(shù)目，這允許修改顯示隱含層數(shù)目，這允許修改:(2)顯示隱含層節(jié)點數(shù)目，這允許修改顯示隱含層節(jié)點數(shù)目，這允許修改:(3)顯示輸入層節(jié)點數(shù)目顯示輸入層節(jié)點數(shù)目: 3. 設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置網(wǎng)絡(luò)結(jié)構(gòu): 隱含層數(shù)目及其節(jié)點數(shù)目隱含層數(shù)目及其節(jié)點數(shù)目(4)顯示顯示轉(zhuǎn)換函數(shù)轉(zhuǎn)換函數(shù)F的類型。的類型。 Logstic即即Sigmoid壓縮函數(shù)。壓縮函數(shù)。這可修改這可修改:(1) 例如，選用例如，選用QuickProp. 這允許修改這允許修改: 4. 設(shè)置訓練方法設(shè)置訓練方法(2) 確認確認Cross-Valid