人工神經(jīng)網(wǎng)絡算法原理及其在工程中的應用

1、 人工神經(jīng)網(wǎng)絡算法原理及其在工程中的應用侯靖東河海大學土木工程學院土木系,南京(210098E-mail :jindong-h摘 要: 人工神經(jīng)網(wǎng)絡具有特有的非線性適應性信息處理能力,現(xiàn)已被應用于結構工程領域。本文介紹了應用最廣泛的BP 網(wǎng)絡模型、BP 算法以及BP 算法的改進,并基于MatLab 神經(jīng)網(wǎng)絡工具箱對一個工程實例進行預測分析,表明通過合理的網(wǎng)絡模型可以預測得到較為精確的結果,因此用神經(jīng)網(wǎng)絡方法求解土木工程問題是可行的。 關鍵詞:神經(jīng)網(wǎng)絡,BP 算法,預測分析,土木工程 中圖分類號:TU17人工神經(jīng)網(wǎng)絡(Artificial Neural Network 是在特理機制上模擬人腦機制

2、的信息系統(tǒng),它不但具有處理數(shù)值數(shù)據(jù)的一般計算能力,而且還具有處理知識的思維、學習、記憶能力。神經(jīng)網(wǎng)絡產(chǎn)生于20世紀40年代,于20世紀80年代由于Hopfield 將“能量函數(shù)”引入神經(jīng)網(wǎng)絡,使神經(jīng)網(wǎng)絡穩(wěn)定性有了明確的判據(jù),再度興起并得到飛速發(fā)展,它采用類似于“黑箱”的方法,通過學習和記憶而不是假設,找出輸入、輸出變量之間的非線性關系(映射,在執(zhí)行問題和求解時,將所獲取的數(shù)據(jù)輸入給訓練好的網(wǎng)絡,依據(jù)網(wǎng)絡學習的知識進行網(wǎng)絡推理,得出合理的答案與結果1。1.人工神經(jīng)網(wǎng)絡的基本原理人工神經(jīng)網(wǎng)絡是由許多簡單的神經(jīng)元組成的廣泛并行互連的網(wǎng)絡,它的組織能夠模擬生物神經(jīng)系統(tǒng)的真實世界物體做出交互反應,它是在

3、物理機制上模擬人腦信息處理機制的信息系統(tǒng),是一個具有高度非線性的超大規(guī)模連續(xù)時間動力系統(tǒng),具有網(wǎng)絡的全局作用、大規(guī)模并行分布處理和聯(lián)想學習能力。人工神經(jīng)元是一個多輸入單輸出的信息處理單元,通過與其相連的其他神經(jīng)元接收信息,它對信息的處理是非線性的,可以把神經(jīng)元抽象為一個簡單的數(shù)學模型,如圖1所示。 圖1 神經(jīng)元的數(shù)學模型在圖1中,1x ,2x ,n x 是神經(jīng)元的輸入,即是來是前級n 個神經(jīng)元的軸突的信息;i 是i 神經(jīng)元的閾值;i w 1,i w 2,ni w 分別是i 神經(jīng)元對1x ,2x ,n x 的權值連接,即突觸的傳遞效率;i y 是i 神經(jīng)元的輸出;f 是傳遞函數(shù),決定i 神經(jīng)元受

4、到輸入1x ,2x ,n x 的共同作用達到閾值時以何種方式輸出2。傳遞函數(shù)f 有多種形式,其中最常見的有階躍型、線性型和S 型三種。假設 i j nj ji i x w U =1,則對應三種典型傳遞函數(shù)(i U f 描述如下:(1閾值函數(shù)(也稱為階躍型傳遞函數(shù)(<=0001i i i U U U f(2線性傳遞函數(shù),它的輸出是與輸入的綜合作用成正比的。(i i KU U f =(3S 型傳遞函數(shù),它的輸出是非線性的。(i i U U f +=exp 11上述是最廣泛應用且為人們最熟悉的神經(jīng)元模型,由大量神經(jīng)元相互連接組成人工神經(jīng)網(wǎng)絡將顯示出人腦的某些基本特征:分布式存儲信息、自適應性、

5、并行性、聯(lián)想記憶功能、自動提取特征參數(shù)、魯棒性等。2.BP 神經(jīng)網(wǎng)絡BP (Back-Propagation 神經(jīng)網(wǎng)絡是目前發(fā)展比較成熟的一種人工神經(jīng)網(wǎng)絡,約有80%的神經(jīng)網(wǎng)絡系采用BP 網(wǎng)絡。它是一種反饋式全連接多層神經(jīng)網(wǎng)絡,具有結構簡單,工作狀態(tài)穩(wěn)定等優(yōu)點,并且具有較強的聯(lián)想、記憶和推廣能力,可以以任意精度逼近任何非線性連接函數(shù)。2.1 BP 網(wǎng)絡的結構BP 神經(jīng)網(wǎng)絡由一個輸入層、一個輸出層及一個或多個隱層組成,每一層可以有若干個節(jié)點。三層BP 神經(jīng)網(wǎng)絡的結構如圖2所示。 圖2 BP 神經(jīng)網(wǎng)絡結構2.2 BP 神經(jīng)網(wǎng)絡的計算過程3BP 神經(jīng)網(wǎng)絡的計算過程由正向計算和反向計算過程組成。在正向

6、計算過程中,輸入信號要先向前傳播到隱層節(jié)點,經(jīng)過傳遞函數(shù)后,再把隱層節(jié)點的輸出信息傳播到輸出層節(jié)點, 最后給出輸出結果。若網(wǎng)絡的輸出值與期望值存在誤差,則要進行誤差反向計算,將誤差信號沿原來的連接通路返回,通過修改連接各節(jié)點的權值使誤差減小。 2.2.1 前向計算過程采用如上的網(wǎng)絡結構,當網(wǎng)絡中輸入層的輸出分別是1x ,2x ,n x ,根據(jù)人工神經(jīng)元的基本原理,隱層各神經(jīng)元的輸入分別是(m i x I inj j ij i ,.,2,11=+=式中:ij 為隱層神經(jīng)元i 與輸入層神經(jīng)元j 的連接權;i 為隱層神經(jīng)元的閾值,選擇Sigmoid 函數(shù)作為隱層神經(jīng)元的激發(fā)函數(shù),則隱層神經(jīng)元的輸出為

7、:(m i I f O i i ,.,2,1=Sigmoid 函數(shù)為 (xe xf +=11一般,取輸出層神經(jīng)元的閾值為0,另外取比例系數(shù)為1的線性函數(shù)作為輸出層神經(jīng)元的激發(fā)函數(shù),則輸出層神經(jīng)元的輸出,也就是整個網(wǎng)絡的輸出為(l k O v y mi iki k ,.,2,11=式中:ki v 為輸出層神經(jīng)元k 與隱層神經(jīng)元i 的連接權。由隱層神經(jīng)元與輸入層神經(jīng)元的連接權以入輸出層與隱層神經(jīng)元的連接權組成向量W ,在給定或按照一定的方式確定W 值以后,就能夠在給出一組網(wǎng)絡的輸入后,求出網(wǎng)絡對應的輸出值。2.2.2 反向計算過程設有學習樣本為(p x 1,p x 2,np x ;kp t ,p

8、=1,2, p ;p 為學習樣本數(shù)。對某樣本(p x 1,p x 2,np x ;kp t 在給定網(wǎng)絡連接權向量W 以后,可以計算網(wǎng)絡的輸出值kp y ,定義各輸出的誤差為kp kp kp y t d =,并定義樣本p 的誤差函數(shù)為:(2121=pk kp kp p y t e一般情況下,W 的值是隨機給出的,因此,求得網(wǎng)絡輸出值kp y 精度不高。在確定網(wǎng)絡的結構以后,即確定網(wǎng)絡中隱層神經(jīng)元數(shù)目m 的情況下,只能通過調(diào)整W 的值,逐步降低誤差kp d ,以提高網(wǎng)絡的計算精度。在反向傳播過程中,是沿著誤差函數(shù)p e 隨W 變化的負梯度方向?qū) 進行修正的。設W 的修正值為W ,取We W p

9、=,式中:為學習率,取01的數(shù)。經(jīng)計算得:Wy dW kplk ep=1,這里的W 為:(ij i ki v W =,可以求得樣本為p 時,W 中的元素是:ip kp ki O d v = (=lk ki kp ip ip i v d O O 11(=lk ki kp jp ip ip v d x O O W 11由于完成正向計算以后,已經(jīng)求出隱層各神經(jīng)元的輸出ip O 和網(wǎng)絡的輸出誤差p d ,因此能夠使用上式求得W 的值,最后采用迭代式W W W +對原W 進行修正計算,得到新的連接權向量W 。2.3 改進的BP 算法BP 網(wǎng)絡采用的是沿梯度下降的搜索求解算法,在需求預測實際應用過程中,發(fā)

10、現(xiàn)BP 算法存在收斂速度慢、局部極值、難以確定隱層和隱層節(jié)點的個數(shù)。因此出現(xiàn)了許多改進算法。BP 算法的改進主要有兩種途徑:一種是采用啟發(fā)式學習算法,另一種是采用更有效的優(yōu)化算法。1、啟發(fā)式學習算法,就是對于表現(xiàn)函數(shù)梯度加以分析,從而改進算法,其中包括:有動量的梯度下降法、有自適應lr 的梯度下降法、有動量和自適應lr 的梯度下降法和能復位的BP 訓練法等。2、基于數(shù)量最優(yōu)化理論的訓練算法,其中包括:共軛梯度法、高斯-牛頓法和Levenberg-Marquardt 方法等。3.BP 網(wǎng)絡在工程預測中的應用基于MatLab 神經(jīng)網(wǎng)絡工具箱,運于Levenberg-Marquardt 訓練算法對一

11、個工程實例進行預測。3.1 碳纖維布加固混凝土方柱加固率的BP 網(wǎng)絡預測3.1.1 影響因素及數(shù)據(jù)采集經(jīng)研究分析,有8個參數(shù)可以合理的反映出碳纖維布的加固效果4,分別是:(1混凝土柱的長度;(2混凝土柱的寬度;(3混凝土柱的高度;(4素混凝土柱峰值應力;(5碳纖維布抗拉強度;(6碳纖維布彈性模量;(7加固混凝土柱極限應力;(8加固混凝土柱極限應變。共收集數(shù)據(jù)29組,其中前26組數(shù)據(jù)作為訓練數(shù)據(jù),后3組數(shù)據(jù)作為檢驗數(shù)據(jù)。BP 網(wǎng)絡模型有8個輸入結點,一個輸出結點,即加固率。輸入?yún)?shù)的變化范圍見表1。用線性變換法對數(shù)據(jù)進行歸一化處理,即(min max min X X X X ,把樣本變換到01之

12、間。 表1 輸入?yún)?shù)的變化范圍參數(shù)最小最大混凝土柱的長度(150 400 混凝土柱的寬度(150 300 混凝土柱的高度(300 900 素混凝土柱峰值應力(MPa17.6 28.3 碳纖維布抗拉強度(MPa3000 4013 碳纖維布彈性模量(MPa 2.3×105 2.41×105加固混凝土柱極限應力(MPa9.83 41.35 加固混凝土柱極限應變7279 628153.1.2 BP神經(jīng)網(wǎng)絡設計采用單隱層BP網(wǎng)絡進行預測,輸入樣本為8維的輸入量,因此輸入層一共有8個神經(jīng)元,隱層選用5個神經(jīng)元,網(wǎng)絡輸出層有1個神經(jīng)元。隱層神經(jīng)元傳遞函數(shù)為tansig(,輸出層神經(jīng)元傳遞

13、函數(shù)為logsig(。利用Matlab6.5神經(jīng)網(wǎng)絡工具箱的Levenberg-Marquardt訓練算法進行訓練預測,訓練函數(shù)選取trainlm。最大訓練次數(shù)為5000次,訓練要求精度為0.0001,其他參數(shù)采用默認值。圖3為網(wǎng)絡訓練收斂的過程。 圖3 網(wǎng)絡訓練收斂的過程3.1.3 預測結果和分析從下表中可以看出,BP神經(jīng)網(wǎng)絡可以較好在預測碳纖維布的加固混凝土柱的加固率。表2 預測值與試驗結果的比較試件編號試驗值預測值試驗值/預測值1.08727 0.11 0.10120.91728 0.22 0.239929 0.336 0.3209 1.047ttp:/ 4結論 通過人工神經(jīng)網(wǎng)絡的基本原

14、理和 BP 算法的介紹， 利用人工神經(jīng)網(wǎng)絡的魯棒性和自適應 性， 對大量實測試驗數(shù)據(jù)的學習， 通過各單元之間的連接權值來構造各參數(shù)之間復雜的非線 性關系， 能在實際預測中得到較好的預測結果， 說明人工神經(jīng)網(wǎng)絡在解決結構工程的非線性 預測問題是可行的，有著良好的應用前景。 參考文獻 1 2 3 4 姜紹飛. 基于神經(jīng)網(wǎng)絡的結構優(yōu)化與損傷檢測M.北京：科學出版社，2002. 董長虹.MatLab 神經(jīng)網(wǎng)絡與應用M. 北京：國防工業(yè)出版社，2005. 佟春生等.系統(tǒng)工程的理論與方法概論M. 北京：國防工業(yè)出版社，2005. 楊劍.碳纖維布加固混凝土柱的試驗研究與數(shù)值模擬D.南京:河海大學,2005.

15、 The Algorithm and Principle of Artificial Neural Network and Its Application on the Civil Engineering Hou Jingdong College of Civil engineer,Hohai University,Nanjing (210098 Abstract The artificial neural network has special capability in the course of nonlinear and adaptability information processing. Now it has been applied in the structural engineering. The article introduces one of the most widely used algorithm-BP network model and BP algorithm and its improved algorithm. Through a forecast analysis in engineering based on MATLAB neural network toolbox, indicates tha