BP神經(jīng)網(wǎng)絡(luò)在多維非線性函數(shù)擬合中的應(yīng)用

1、doi:10.13440/j.slxy.1674-0033.2014.06.007BP 神經(jīng)網(wǎng)絡(luò)在多維非線性函數(shù)擬合中的應(yīng)用劉?。ㄉ搪鍖W(xué)院 電子信息與電氣工程學(xué)院，陜西商洛 726000）摘 要押為 了 解 決 常 規(guī) 方 法 擬 合 多 維 非 線 性 函 數(shù) 的 預(yù) 測(cè) 結(jié) 果 精 度 較 低 問(wèn) 題 ，采 用 非 線 性 映射能力較強(qiáng)的 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行多維非線 性 函 數(shù) 擬 合 。 通 過(guò) 對(duì) BP 神 經(jīng) 網(wǎng) 絡(luò) 結(jié) 構(gòu) 及 訓(xùn) 練 過(guò) 程 的 分 析 ，依 據(jù) 給 定 的 兩 維 非 線 性 函 數(shù) 構(gòu) 建 BP 神 經(jīng) 網(wǎng) 絡(luò) 模 型 ，并 利 用 MATLAB 軟 件 對(duì)

2、BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。 仿真結(jié)果表明，BP 神經(jīng)網(wǎng)絡(luò)對(duì)于兩維非線性函數(shù) 有 良 好 的 擬 合 能 力 ，擬 合 誤差小、收斂速度快，也使該方法具有較好的推廣性。關(guān)鍵詞：函數(shù)擬合；BP 神經(jīng)網(wǎng)絡(luò)；多維非線性函數(shù)中圖分類(lèi)號(hào)：TP183文獻(xiàn)標(biāo)識(shí)碼：文章編號(hào)：1674-0033（2014）06-0019-04The Application of BP Neural Networkin Multidimensional Nonlinear FunctionLIU Jun(College of Electronic Information and Electrical Engineering, Sha

3、ngluo University, Shangluo 726000, Shaanxi)Abstract:In order to solve the low precision prediction problem in conventional method ofmultidimensional nonlinear function fitting, the strong non -linear mapping of BP neural network in multidimensional nonlinear function fitting is applied. By analyzing

4、 the BP neural network structure and training process, BP neural network model is established by the given two dimensional nonlinear, and prediction about BP neural network is made with MATLAB software. The simulations reveal that the application of BP neural network in two dimensional nonlinear fun

5、ction enjoys higher accuracy of fitting and fast convergence speed, which make it possible to generalize it.Key words:function fitting; BP neural networks; multidimensional nonlinear functionBP（Back Propagation）神經(jīng)網(wǎng)絡(luò)是一種誤差反向傳播的多層前饋神經(jīng)網(wǎng)絡(luò)，由 Rumelhart 和 McCelland 等學(xué)者在 1986 年提出的。經(jīng)過(guò)近 30年 的研究和改進(jìn)，BP 神經(jīng)網(wǎng)絡(luò)已經(jīng)形成了

6、一套完善的理論體系，同時(shí)在模式識(shí)別、數(shù)據(jù)壓縮等領(lǐng) 域有良好的應(yīng)用1-5，也是目前應(yīng)用最廣的人工神 經(jīng)網(wǎng)絡(luò)模型之一。在科學(xué)實(shí)驗(yàn)和工程應(yīng)用中，常會(huì)遇到一些復(fù) 雜的非線性系統(tǒng)， 難以用準(zhǔn)確的數(shù)學(xué)模型表示這 些系統(tǒng)測(cè)試數(shù)據(jù)中自變量與應(yīng)變量之間的函數(shù)關(guān)系。 鄧曉敏等6把 origin 應(yīng)用到處理非線性函數(shù)實(shí)驗(yàn)中，該方法適用于數(shù)據(jù)量較小、非線性程度較低 的實(shí)驗(yàn)中。 唐佳德7介紹了 MATLAB 軟件自帶非線性擬合函數(shù) lsqcurvefit、lsqnonlin 和非線性曲線 圖形窗口， 該方法對(duì)于復(fù)雜映射和多維映射擬合 精度較低。李初曄等8采用多參數(shù)有限元技術(shù)擬合 函數(shù)，該方法最終要找到具體的函數(shù)表達(dá)式，

7、而對(duì)于非線性程度高的函數(shù)就無(wú)法精確表示。董銳9把 BP 神經(jīng)網(wǎng)絡(luò)、RBF 神經(jīng)網(wǎng)絡(luò)和樣條神經(jīng)網(wǎng)絡(luò)應(yīng)用 到非線性函數(shù)逼近領(lǐng)域，取得了良好效果。本文為收 稿 日 期 ：2014-10-09作 者 簡(jiǎn) 介 ：劉 俊，男，山西大同人，碩士，助教2014 年 12 月商洛學(xué)院學(xué)報(bào)了解決常規(guī)方法擬合多維非線性函數(shù)的預(yù)測(cè)結(jié)果精度較低問(wèn)題， 提出基于 BP 神經(jīng)網(wǎng)絡(luò)的多維非 線性函數(shù)擬合， 該方法能夠快速學(xué)習(xí)和記憶大量的輸入輸出之間的映射關(guān)系，不需要具體的 映射關(guān)系數(shù)學(xué)方程， 能夠很好地表達(dá)這些復(fù)雜的 非線性函數(shù)。 通過(guò) BP 神經(jīng)網(wǎng)絡(luò)的建模、訓(xùn)練、預(yù) 測(cè)仿真實(shí)驗(yàn)，結(jié)果能夠滿足預(yù)期效果。1 BP 神經(jīng)網(wǎng)絡(luò)1.

8、1 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)訓(xùn)練結(jié)束。 圖 2 為 BP 網(wǎng)絡(luò)訓(xùn)練流程圖。元%½%æe&'(% %» r ¡ ½BP 網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，由輸入層、隱含層和輸出層組成，隱含層可以有一層或多層。 該網(wǎng)路具有較強(qiáng)的非線性映射能力，圖 1為 一個(gè)典型的單隱含層的 BP 網(wǎng)絡(luò)結(jié)構(gòu)圖。 圖 1 中x1，x2，xm 為輸入層各神經(jīng)元的實(shí)際輸入；ij 為 隱含層第 i 個(gè)神經(jīng)元與輸入層第 j 個(gè)神經(jīng)元間的 權(quán)值；g(·)為隱含層的激勵(lì)函數(shù)；1，2，q 為 隱含層各神經(jīng)元閾值；ki 為輸出層第 k 個(gè)神經(jīng) 元與隱含層第 i 個(gè)神

9、經(jīng)元間的權(quán)值；1，2，n 為 輸 出 層 各 神 經(jīng) 元 閾 值 ； f (·) 為 輸 出 層 的 激 勵(lì) 函 數(shù)；y1，y2，yn 為輸出層各神經(jīng)元的實(shí)際輸出；ek 為 網(wǎng)絡(luò)的輸出誤差10。 ½ , c是w ø圖 2 BP 神 經(jīng) 網(wǎng) 絡(luò) 訓(xùn) 練 過(guò) 程2 BP 神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)本文利用 BP 神經(jīng)網(wǎng)絡(luò)擬合的兩維非線性函 數(shù)為：+z1=zx+y(1)z2=2x2+y2+5ek2.1 輸入層和輸出層神經(jīng)元數(shù)目的選擇BP 神經(jīng)網(wǎng)絡(luò)的輸入層和輸出層神經(jīng)元數(shù)目 通常根據(jù)求解方程和系統(tǒng)數(shù)據(jù)來(lái)源而定。 選擇原 則是在滿足網(wǎng)絡(luò)精度的前提下，盡可能減小系統(tǒng) 規(guī)模，減小系統(tǒng)學(xué)習(xí)時(shí)間

10、和復(fù)雜性。 本文擬合非 線性函數(shù)有兩個(gè)輸入?yún)?shù)（x 和 y），兩個(gè)輸出參數(shù)（z1 和 z2），所以輸入選擇 2 個(gè)神經(jīng)元，輸出選 擇 2 個(gè)神經(jīng)元。2.2 隱含層層數(shù)的選擇理論上已經(jīng)證明具有單 S 型隱含層和單線 性輸出層的 BP 神經(jīng)網(wǎng)絡(luò)可以逼近任意非線性系y1kig(·)f(·)ijx122y2g(·)f(·)x2nqxmyng(·)f(·)輸入層隱含層輸出層圖 1 典 型 單 隱 含 層 BP 神 經(jīng) 網(wǎng) 絡(luò) 結(jié) 構(gòu) 圖網(wǎng)絡(luò)訓(xùn)練過(guò)程 網(wǎng)絡(luò)訓(xùn)練分為以下兩個(gè)過(guò)程11： 第一個(gè)過(guò)程是工作信號(hào)前向傳播。 樣本數(shù)據(jù)1.2統(tǒng)12。多隱含層可

11、以增強(qiáng)泛化能力，提高預(yù)測(cè)精度，但是訓(xùn)練時(shí)間較長(zhǎng)。隱含層層數(shù)的選擇要綜合考慮訓(xùn)練時(shí)間和網(wǎng)絡(luò)精度， 對(duì)于復(fù)雜的非線性系 統(tǒng)，則可以考慮多隱含層，犧牲訓(xùn)練時(shí)間，以滿足 精度要求；但對(duì)于簡(jiǎn)單的非線性系統(tǒng)，在滿足網(wǎng)絡(luò) 精度的前提下，可以采用單隱含層，以加快速度。 本文擬合的非線性函數(shù)較為簡(jiǎn)單，選擇單隱含層。2.3 隱含層神經(jīng)元數(shù)目的選擇隱含層神經(jīng)元數(shù)目的選擇對(duì)網(wǎng)絡(luò)性能影響較大。 隱含層神經(jīng)元數(shù)目太少，不能實(shí)現(xiàn)很好的數(shù)據(jù)映射關(guān)系，無(wú)法滿足網(wǎng)絡(luò)精度要求；隱含層神經(jīng)元作為輸入信號(hào)經(jīng)各隱含層逐層傳輸，并根據(jù)隨機(jī)初始化設(shè)定的一組網(wǎng)絡(luò)權(quán)值和閾值來(lái)計(jì)算，最后 把隱含層計(jì)算結(jié)果傳向輸出層，并利用激勵(lì)函數(shù) 和輸出閾值計(jì)算

12、得到相應(yīng)的輸出值。第二個(gè)過(guò)程是誤差信號(hào)反向傳播。 輸出層計(jì) 算結(jié)果與期望值比較，若誤差不滿足要求，誤差 信號(hào)返回到輸入層和隱含層，利用梯度最速下降 法，調(diào)整各層的閾值和權(quán)值。 這兩個(gè)過(guò)程反復(fù)進(jìn) 行， 直到網(wǎng)絡(luò)誤差達(dá)到最小或人們所期望的值，11否r ¡p p 21第 6 期劉 ?。築P 神經(jīng)網(wǎng)絡(luò)在多維非線性函數(shù)擬合中的應(yīng)用數(shù)目太多，常出現(xiàn)過(guò)擬合現(xiàn)象。 通常情況，網(wǎng)絡(luò)預(yù)測(cè)精度隨著隱含層神經(jīng)元數(shù)目的增加呈現(xiàn)先提高 后降低的趨勢(shì)。 在具體應(yīng)用時(shí)，一般采用嘗試法選 擇最合適的神經(jīng)元數(shù)目。 本網(wǎng)絡(luò)經(jīng)過(guò)多次測(cè)試，選擇 10 個(gè)隱含層神經(jīng)元，可以達(dá)到較高精度要求。3 MATLAB 仿真實(shí)現(xiàn)3.1 B

13、P 神經(jīng)網(wǎng)絡(luò)構(gòu)建利 用 MATLAB 神 經(jīng) 網(wǎng) 絡(luò) 工 具 箱 中 的 newff函數(shù)構(gòu)建一個(gè) BP 神經(jīng)網(wǎng)絡(luò)，隱含層和輸出層的 傳輸函數(shù)選擇tansig，該函數(shù)為 S 型函數(shù)，理論上，只要選擇合適的權(quán)值和閾值，可以逼近任意 非線性函數(shù)。 網(wǎng)絡(luò)訓(xùn)練函數(shù)選擇trainlm，該算 法采用數(shù)值優(yōu)化技術(shù)，具有收斂速度快、穩(wěn)定性 高等優(yōu)點(diǎn)。 權(quán)值學(xué)習(xí)函數(shù)選擇learngdm，該算 法梯度下降動(dòng)量動(dòng)態(tài)尋優(yōu)算法，可以減小學(xué)習(xí)過(guò)程的振蕩趨勢(shì)，改善收斂性。3.2 BP 神經(jīng)網(wǎng)絡(luò)訓(xùn)練本文根據(jù)式(1)隨機(jī)生成 150 組輸入/輸出數(shù) 據(jù)，從數(shù)據(jù)中隨機(jī)選擇 100 組數(shù)據(jù)用作 BP 神經(jīng) 網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)， 其余 5

14、0 組數(shù)據(jù)作為網(wǎng)絡(luò)測(cè)試數(shù)據(jù)使用。 網(wǎng)絡(luò)訓(xùn)練目標(biāo)最小誤差為 5-10，最大訓(xùn)練次數(shù) 500 次，學(xué)習(xí)速率設(shè)置為 0.1。 BP 神經(jīng) 網(wǎng)絡(luò)訓(xùn)練函數(shù)采用 MATLAB 神經(jīng)網(wǎng)絡(luò)工具箱中的 train 函數(shù)。3.3 BP 神經(jīng)網(wǎng)絡(luò)測(cè)試把 50 組訓(xùn)練數(shù)據(jù)中的輸入樣本輸入到訓(xùn)練好的 BP 神經(jīng)網(wǎng)絡(luò)，得到網(wǎng)絡(luò)預(yù)測(cè)輸出值，通過(guò)與期望輸出值比較，分析 BP 神經(jīng)網(wǎng)絡(luò)的擬合能力。3.4 結(jié)果與分析訓(xùn)練后的 BP 神經(jīng) 網(wǎng) 絡(luò) 經(jīng) 網(wǎng) 絡(luò) 測(cè) 試 得 到 誤差變化過(guò)程曲線如圖 3 所示。運(yùn)行時(shí)間迭代 157 次后，網(wǎng)絡(luò)預(yù)測(cè)精度達(dá)到設(shè)定要求。出誤差和預(yù)測(cè)誤差百分比，從圖 5 和圖 6 中可以看到誤差百分比的絕對(duì)值

15、在 1%以內(nèi)， 表明 BP 神經(jīng) 網(wǎng)絡(luò)對(duì)兩維非線性函數(shù)具有較高的擬合能力。6.05.55.04.54.03.53.02.52.01.5期望輸出網(wǎng)絡(luò)預(yù)測(cè)輸出1.005 10 15 20 25 30 35 40 45 50測(cè)試數(shù)據(jù)序號(hào)(a)第一維預(yù)測(cè)輸出與期望輸出7.5期望輸出網(wǎng)絡(luò)預(yù)測(cè)輸出7.06.56.05.55.005 10 15 20 25 30 35 40 45 50測(cè)試數(shù)據(jù)序號(hào)(b)第二維預(yù)測(cè)輸出與期望輸出圖 4 BP 神 經(jīng) 網(wǎng) 絡(luò) 預(yù) 測(cè) 輸 出 與 期 望 輸 出 的 比 較0.0030.0020.0010.000-0.001-0.002-0.003102-0.0040 5 10

16、15 20 25 30 35 40 45 50測(cè)試數(shù)據(jù)序號(hào)100(a)第一維網(wǎng)絡(luò)預(yù)測(cè)誤差0.01010-20.00510-40.00010-8-0.005050100150迭代次數(shù)/次圖 3 網(wǎng) 絡(luò) 訓(xùn) 練 誤 差 隨 迭 代 次 數(shù) 變 化網(wǎng)絡(luò)預(yù)測(cè)輸出值與期望輸出值比較如圖 4 所 示，為了更清晰顯示 BP 神經(jīng)網(wǎng)絡(luò)在非線性系統(tǒng)中 的擬合能力，圖 5 和圖 6 給出了預(yù)測(cè)輸出與期望輸-0.010-0.01505 10 15 20 25 30 35 40 45 50測(cè)試數(shù)據(jù)序號(hào)(b)第二維網(wǎng)絡(luò)預(yù)測(cè)誤差圖 5 BP 神 經(jīng) 網(wǎng) 絡(luò) 預(yù) 測(cè) 誤 差均方差Z1 誤差Z2 誤差Z1 輸出Z2 輸出訓(xùn)練

17、過(guò)程 最佳誤差 目標(biāo)誤差2214 年 12 月商洛學(xué)院學(xué)報(bào)50.00高的非線性函數(shù)擬合能力，為多維非線性函數(shù)擬合提供了一種可靠、高效的擬合方法，具有一定 的推廣和應(yīng)用價(jià)值。參考文獻(xiàn)：-0.05-0.10-0.151張雨濃,蔡炳煌.人工神經(jīng)網(wǎng)絡(luò)研究進(jìn)展及論文發(fā)表過(guò)程M.北京:電子工業(yè)出版社,2010:96-99. 蔣正金,汪曉東,端木春江.采用 BP 神經(jīng)網(wǎng)絡(luò)擬合光纖 位 移 傳 感 器 特 性 曲 線 J.微 型 機(jī) 與 應(yīng) 用 ,2012,31 (4):67-69.鄭建華.圖像數(shù)據(jù)壓縮的 BP 神經(jīng)網(wǎng)絡(luò)方法研究J.計(jì) 算機(jī)仿真,2001,18(2):33-35. 王泰剛

18、.基于神經(jīng)網(wǎng)絡(luò)的手寫(xiě)字符識(shí)別系統(tǒng)D.大連: 大連海事大學(xué),2013:28-35.方一新.改進(jìn) BP 神經(jīng)網(wǎng)絡(luò)的 EMG 手指運(yùn)動(dòng)識(shí)別J. 激光雜志,2014,35(9):92-95. 鄧曉敏,張軍朋,吳先秋.利用 origin 確定實(shí)驗(yàn)中非線性 函數(shù)的曲線關(guān)系J.大學(xué)物理實(shí)驗(yàn),2011,24(1):73-76. 唐家德.基于 MATLAB 的非線性曲線擬合J.計(jì)算機(jī) 與現(xiàn)化,2008(6):15-19.李初曄,鄧 凌,馬 巖.多參數(shù)有限節(jié)點(diǎn)函數(shù)擬合技術(shù)J.青島理工大學(xué)學(xué)報(bào),2013,34(1):107-112.董 銳.基于神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近方法研究D.吉林:東北師范大學(xué),2011:21-29.

19、2-0.2 005 10 15 20 25 30 35 40 4550測(cè)試數(shù)據(jù)序號(hào)(a)第一維網(wǎng)絡(luò)預(yù)測(cè)誤差百分比00.050.00-0.05-0.10-0.15-0.204567-0.250 5 10 15 20 25 30 35 40 45508測(cè)試數(shù)據(jù)序號(hào)(b)第二維網(wǎng)絡(luò)預(yù)測(cè)誤差百分比圖 6 BP 神 經(jīng) 網(wǎng) 絡(luò) 預(yù) 測(cè) 誤 差 百 分 比94 結(jié)語(yǔ)本文將 BP 神經(jīng)網(wǎng) 絡(luò) 應(yīng) 用 到 多 維 非 線 性 函 數(shù)擬合問(wèn)題中， 同時(shí)利用 MATLAB 軟件自帶的神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)，免除編寫(xiě)復(fù)雜龐大程序的 困擾，同時(shí)具有調(diào)試方便、運(yùn)行效率高等優(yōu)點(diǎn)。通 過(guò) 對(duì) 給 定 的

20、 兩 維 非 線 性 函 數(shù) 進(jìn) 行MATLAB 仿真實(shí)驗(yàn)，驗(yàn)證了 BP 神經(jīng)網(wǎng)絡(luò)具有較10 劉 冰,郭海霞.MATLAB 神經(jīng)網(wǎng)絡(luò)超級(jí)學(xué)習(xí)手冊(cè)M.北京:人民郵電出版社,2014:159-160.11 吳正茂,羅 健.利用 BP 神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)函數(shù)逼近J.長(zhǎng) 江工程職業(yè)技術(shù)學(xué)院學(xué)報(bào),2005(2):50-52.12 Kreino V Y . Arbitrary nonlineartity of sufficient to represent all functions by neural J.Networks:A Theorem N N,1991(4):381.（責(zé) 任 編 輯 ：李 堆 淑）（上 接 第 7 頁(yè)） 可使得重新排序后對(duì)應(yīng)的鄰接矩陣數(shù)學(xué)學(xué)報(bào),2013,36(2):204-208.陸鳴盛,沈成康.圖的連通性快速算法J.同濟(jì)大學(xué)學(xué) 報(bào),2001,29(4):436-439.趙孜瀧.全局最短路徑計(jì)算和圖的連通性及拓?fù)渑判蛟卩徑泳仃嚨姆椒↗.軟件導(dǎo)刊,2010,9(2):59-60.王 曉, 段 芳.單圈圖的解析J.