人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)(ANN)是模擬人腦結(jié)構(gòu)和功能的一種信息處理系統(tǒng).具有自適應(yīng)能力，而不是基于多元統(tǒng)計分析，所以，有人稱之為自適應(yīng)模式識別，也有人不把它歸入模式識別的范疇.ANN已被廣泛應(yīng)用于許多領(lǐng)域，在化學(xué)中也成為QSAR研究的重要方法.7.9.2人工神經(jīng)網(wǎng)絡(luò)(ANN)建模

神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種處理多變量和多響應(yīng)的方法,對非線性問題尤其擅長,而這類問題在化學(xué)中相當(dāng)多.所以,ANN在化學(xué)中得到了廣泛的應(yīng)用.例如:多組份分析數(shù)據(jù)的聚類，QSAR，親電芳香族取代反應(yīng)研究，涂料制造的優(yōu)化，紅外、核磁等譜圖與結(jié)構(gòu)的相關(guān)，分子靜電勢的非線性投影、由氨基酸序列預(yù)測蛋白質(zhì)二級結(jié)構(gòu)，故障檢測與過程控制等.

下面簡單介紹ANN基本原理.

人工神經(jīng)網(wǎng)絡(luò)模擬人腦結(jié)構(gòu)和功能而工作.目前人們對大腦的工作機(jī)理雖了解甚少,但對其結(jié)構(gòu)已有一定了解：大腦由大量神經(jīng)元構(gòu)成,每個神經(jīng)元是一個小的處理單元,其中一個稱為樹突的部分接受沖擊信號,通過樹突支路傳到細(xì)胞體,另一個稱為軸突的部分將沖擊信號從細(xì)胞體傳出去.神經(jīng)元之間通過突觸連接,形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò).

大腦的強(qiáng)大功能主要取決于神經(jīng)元的相互連接方式而不是單個神經(jīng)元的作用.人工神經(jīng)網(wǎng)絡(luò)也是如此,因此,人工神經(jīng)網(wǎng)絡(luò)強(qiáng)調(diào)的是網(wǎng)絡(luò)而不是神經(jīng)元.人

工

神

經(jīng)

元

人工神經(jīng)元也稱處理單元（PE），具有如下功能:1.處理各個輸入信號以確定其強(qiáng)度——加權(quán);2.確定所有輸入信號的組合效果（凈輸入）——求和;3.將凈輸入非線性變換為輸出信號——轉(zhuǎn)換函數(shù)(F).

人工神經(jīng)元的結(jié)構(gòu)與功能圖示如下：輸入信號表示為輸入行矢量X

X=（X0,X1,……,XN

）連接到神經(jīng)元j的權(quán)表示為加權(quán)矢量Wj

Wj=（W0j,W1j,……,WNj

）

Wij的下標(biāo)i為輸入點(diǎn)編號,j為神經(jīng)元編號.偏置項(xiàng)θj用Xo=-1表示,其連接權(quán)W0j=θj（偏置項(xiàng)的作用是提高穩(wěn)定性）.輸入的加權(quán)和sj可表示為輸入行矢量與加權(quán)矢量的點(diǎn)積:

sj=X.Wj凈輸入sj如果直接作為輸出值Yj,往往是不合理的,例如非常大或者是負(fù)值.所以需要通過一個轉(zhuǎn)換函數(shù)F，將

sj變換為輸出值

Yj轉(zhuǎn)換函數(shù)F將凈輸入變換到一個指定的有限范圍內(nèi)輸出.

F有許多類型,

其中最重要的是Sigmoid壓縮函數(shù):

F(s)=1/(1+e-s)

神經(jīng)元如何連接成網(wǎng)絡(luò)呢?

最簡單的做法是讓一組幾個神經(jīng)元(神經(jīng)元也稱為結(jié)點(diǎn))形成一層.其中的加權(quán)構(gòu)成加權(quán)矩陣W.

層與層可以進(jìn)一步連接,形成多層網(wǎng)絡(luò).這種連接可能有各種不同的方式,下面只涉及前饋全連接多層網(wǎng)絡(luò),這指的是:每一個神經(jīng)元只連接到下一層的所有神經(jīng)元,而沒有部分連接、沒有反饋連接、沒有層內(nèi)連接、也沒有隔層前饋連接.（注意：“前饋”意味著信號流動方向是從輸入端到輸出端，“反饋”則意味著與此相反的方向）.人

工

神

經(jīng)

網(wǎng)

絡(luò)

的

拓

撲

結(jié)

構(gòu)下圖是一個(6×8×4×1)神經(jīng)網(wǎng)絡(luò)(不包括偏置項(xiàng)):

對于QSAR研究,每一層的結(jié)點(diǎn)數(shù)應(yīng)當(dāng)如何確定呢?(1)輸入層結(jié)點(diǎn)數(shù)等于結(jié)構(gòu)參數(shù)的數(shù)目,與樣本數(shù)無關(guān);(2)輸出層結(jié)點(diǎn)數(shù)可以有不同的選擇。例如,若想把預(yù)測集樣本分為p類,應(yīng)當(dāng)用一個輸出結(jié)點(diǎn)、將輸出值劃分為p段來確定每個樣本的類別呢?還是應(yīng)當(dāng)用p個輸出結(jié)點(diǎn),讓每個結(jié)點(diǎn)產(chǎn)生一個二進(jìn)制型輸出（1或0）來確定每個樣本的類別呢?一般說來,后一種選擇產(chǎn)生的誤差小.(3)隱蔽層結(jié)點(diǎn)數(shù)的確定是一個理論上尚未解決的復(fù)雜問題，通常用嘗試法來確定.盡管有一些經(jīng)驗(yàn)性的估計方法.訓(xùn)

練

算

法

ANN最有趣的特征是可以學(xué)習(xí).要讓它具有某種功能，必須先對它進(jìn)行訓(xùn)練.訓(xùn)練與學(xué)習(xí)是分別從人和網(wǎng)絡(luò)兩個不同的角度來講的.所謂學(xué)習(xí),實(shí)質(zhì)上就是權(quán)重矩陣隨外部激勵作自適應(yīng)變化.

訓(xùn)練就是相繼加入輸入矢量，并按預(yù)定規(guī)則來調(diào)節(jié)網(wǎng)絡(luò)權(quán)值.在訓(xùn)練過程中，網(wǎng)絡(luò)的各權(quán)值都收斂到一確定值，以便對于每個輸入矢量都會產(chǎn)生一個要求的輸出矢量.調(diào)節(jié)權(quán)值所遵循的預(yù)定規(guī)則稱為訓(xùn)練算法.

訓(xùn)練算法分為監(jiān)督與無監(jiān)督兩類.

監(jiān)

督

訓(xùn)

練

監(jiān)督訓(xùn)練不但需要輸入矢量，還要求與之對應(yīng)的目標(biāo)矢量，組成一個訓(xùn)練對;訓(xùn)練一個網(wǎng)絡(luò)需要很多訓(xùn)練對，構(gòu)成一個訓(xùn)練組.

當(dāng)加上一個輸入矢量時，先計算網(wǎng)絡(luò)的輸出，與目標(biāo)矢量比較，根據(jù)比較的誤差，按規(guī)定算法改變權(quán)值.加入每個訓(xùn)練對以后,都要這樣調(diào)節(jié)權(quán)值，直到訓(xùn)練組中所有訓(xùn)練對的誤差都達(dá)到可接受的最低值為止.

著名的誤差反向傳播(BP)就是一種應(yīng)用最廣泛的監(jiān)督訓(xùn)練算法.在神經(jīng)網(wǎng)絡(luò)應(yīng)用于化學(xué)的文獻(xiàn)中,BP約占90%.所以,下面只介紹BP的基本原理.

BP的學(xué)習(xí)包含四個過程：

1.輸入信號由輸入層出發(fā)，經(jīng)過各隱蔽層，正向傳播到輸出層的模式順傳播過程;2.輸出矢量與目標(biāo)矢量相比較,誤差信號由輸出層經(jīng)過隱蔽層向輸入層反向傳播,逐層修正連接權(quán)和閾值,即誤差逆?zhèn)鞑ミ^程(BP這一名稱即由此而來);3.以上兩個過程反復(fù)交替進(jìn)行的網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練過程;4.網(wǎng)絡(luò)全局誤差趨向極小的學(xué)習(xí)收斂過程.BP基本原理

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，“過擬合”是一個常見問題，即隨著迭代次數(shù)的增加，盡管訓(xùn)練集的均方根偏差可能還在下降，但測試集的均方根偏差卻開始上升，這是網(wǎng)絡(luò)模型為了擬合個別樣本所致.

為避免過擬合，有專家建議用測試集來監(jiān)控訓(xùn)練過程，一旦測試集均方根偏差開始上升，無論訓(xùn)練集均方根偏差下降與否，均應(yīng)停止訓(xùn)練.測試集的均方根偏差曲線可能有若干個極小值，取其最小值對應(yīng)的疊代次數(shù)作為最優(yōu)訓(xùn)練次數(shù),相應(yīng)的權(quán)重矩陣用于分類.訓(xùn)練次數(shù)的確定

ANN程序Qwiknet簡介

(1)用Notepad建立訓(xùn)練集(輸入)文件.trn例:*Comment1*……*Commentn[INPUTS]2(意指下列每個樣本行中,前兩列用作輸入數(shù)據(jù)即特征參數(shù))[OUTPUTS]1(意指下列每個樣本行中,其余一列用作輸出數(shù)據(jù)即目標(biāo)值)0.000000.000000.10000(代表0)0.000001.000000.90000(代表1)1.000000.000000.90000(代表1)1.000001.000000.10000(代表0)1.運(yùn)行程序前,準(zhǔn)備訓(xùn)練集輸入文件.trn和測試集輸入文件.tst

(2)用Notepad建立測試集(輸入)文件.tst例:[INPUTS]2(意指下列每個樣本行中,前兩列用作輸入數(shù)據(jù)即特征參數(shù))[OUTPUTS]1(不用測試集監(jiān)控訓(xùn)練過程則不用此行,下列各行也不要最后一列目標(biāo)值)0.000000.000000.10000(代表0)0.000001.000000.90000(代表1)1.000000.000000.90000(代表1)1.000001.000000.10000(代表0)

即使用測試集來監(jiān)控訓(xùn)練集的訓(xùn)練過程，.trn與.tst文件也必須分別建立而不能合二為一.只不過,若用測試集來監(jiān)控訓(xùn)練集的訓(xùn)練過程,tst文件中須含最后一列目標(biāo)值,且.trn與.tst文件要同時加載,過程交替進(jìn)行(在訓(xùn)練過程顯示兩條誤差曲線);

若監(jiān)控與測試分為先后兩個獨(dú)立過程,則tst文件中不含最后一列目標(biāo)值,當(dāng)然也沒有[OUTPUTS]行;trn與tst文件不同時加載,只在單獨(dú)預(yù)測時將預(yù)測值寫進(jìn)輸出文件.out,而看不到運(yùn)算過程.

(1)點(diǎn)擊按鈕TrainingData,找到訓(xùn)練集輸入文件.trn,點(diǎn)擊按鈕“打開”。輸入文件名出現(xiàn)在按鈕TrainingData之后:(2)樣本數(shù)出現(xiàn)在Patterns之后:2.加載訓(xùn)練集輸入文件.trn

(1)顯示隱含層數(shù)目，這允許修改:(2)顯示隱含層節(jié)點(diǎn)數(shù)目，這允許修改:(3)顯示輸入層節(jié)點(diǎn)數(shù)目:3.設(shè)置網(wǎng)絡(luò)結(jié)構(gòu):隱含層數(shù)目及其節(jié)點(diǎn)數(shù)目(4)顯示轉(zhuǎn)換函數(shù)F的類型。Logstic即Sigmoid壓縮函數(shù)。這可修改:(1)例如，選用QuickProp.這允許修改:4.設(shè)置訓(xùn)練方法(2)確認(rèn)Cross-ValidateTraining后方格中未打勾,這將強(qiáng)迫程序在訓(xùn)練過程中使用全部數(shù)據(jù):(3)設(shè)定此值,例如0.05,這表示你希望所有樣本的誤差均小于此值時才停止訓(xùn)練:(1)點(diǎn)擊,它將在訓(xùn)練開始后顯示網(wǎng)絡(luò)結(jié)構(gòu):(3)點(diǎn)擊,開始訓(xùn)練:(2)點(diǎn)擊,它將在訓(xùn)練開始后顯示RMS:(4)若訓(xùn)練陷入僵局,誤差不降甚至反增,可點(diǎn)擊按鈕Randomize中斷訓(xùn)練,然后點(diǎn)擊按鈕Train重新開始訓(xùn)練:5.訓(xùn)練網(wǎng)絡(luò)并監(jiān)督收斂