神經網絡預測法專家講座

12.1神經網絡基本理論12.1.1人工神經網絡人工神經網絡(ArtificialNeuralNetwork,ANN)，是由大量處理單元(神經元Neurons)廣泛互連而成網絡,由分布于若干層節(jié)點組成。每個單節(jié)點都有自己輸入值、權重、求和與激活函數(shù)以及輸出值，在處理之前，數(shù)據被分為訓練數(shù)據集(TrainingDataset)和測試數(shù)據集(TestingDataset)，然后將權重或輸入，指派到第一層每一個節(jié)點。每次重復時，系統(tǒng)處理輸入，并與實際值相比較，得到度量后誤差，并反饋給系統(tǒng)，調整權重。大多數(shù)情形下，調整后權重都能更加好地預測實際值。當?shù)竭_預定義最小誤差水平時，處理結束。神經網絡預測法專家講座第1頁12.1.2BP神經網絡基本原理BP(Back-PropagationNetwork)是一個多層網絡“逆推”學習算法。其基本思想是:

學習過程由信號正向傳輸與誤差反向傳輸組成。

正向傳輸時，輸入樣本從輸入層傳入，經隱層逐層處理后傳向輸出層。若輸出層實際輸出與期望輸出不符，則轉向誤差反向傳輸階段。

誤差反向傳輸是將輸出誤差以某種形勢經過隱層向輸入層逐層反傳，并將誤差分攤給各層全部單元，從而取得各層單元誤差信號，此誤差信號即作為修正各單元權值依據。

這種信號正向傳輸與誤差反向傳輸各層權值調整過程是周而復始地進行。權值不停調整過程，也就是網絡學習訓練過程。此過程一直進行到網絡輸出誤差降低到能夠接收程度，或進行到預訂設定學習次數(shù)為止。神經網絡預測法專家講座第2頁12.1.3BP神經網絡過程1．BP網絡結構BP網絡是一個單向傳輸多層前向網絡，含有三層或三層以上神經網絡，包含輸入層、中間層(隱層)和輸入層。上下層之間實現(xiàn)全連接，每一層神經元之間無連接。輸入層

隱層

輸出層神經網絡預測法專家講座第3頁2．傳遞函數(shù)或激活函數(shù)普通輸入層和隱層傳遞函數(shù)是S形函數(shù)（logsig）：正切S形函數(shù)（tansig）輸出層是線性函數(shù)，用purelin表示神經網絡預測法專家講座第4頁3．模擬過程首頁網絡經過對已知信息重復學習訓練，利用依據誤差來逐步調整與改變神經元連接權重和神經元閾值方法，使得相同輸入有相同輸出，從而達處處理信息、模擬輸入輸出關系目標。（1）讀入樣本、設定初始權值和閾值；（2）設定參數(shù)；（3）計算隱含層輸出；（4）計算輸出層輸出；（5）計算輸出值與期望值誤差；（6）判斷誤差是否小于設定值，是則結束；（7）調整隱層到輸出層權值和閾值；（8）調整輸入層到隱層權值和閾值；（9）返回計算隱含層輸出。神經網絡預測法專家講座第5頁4．學習過程首頁（1）讀入樣本；（2）數(shù)據處理；（3）創(chuàng)建網絡；（4）設定參數(shù)；（5）訓練網絡；（6）模擬輸出；（7）調整參數(shù)：學習速率、動量系數(shù)、訓練次數(shù)、誤差精度等；（8）仿真預測：網絡固定，輸入新樣本集，模擬輸出。神經網絡預測法專家講座第6頁12.1.4BP神經網絡預測首頁BP神經網絡經過對以往歷史數(shù)據學習，找出數(shù)據改變趨勢之間非線性關系，并將其存放在網絡詳細權值和閥值中，從而預測未來數(shù)據走勢。用神經網絡進行預測，即用神經網絡經過一組數(shù)據點

來擬合函數(shù)f，得出未來

（k>1）時刻數(shù)據預測值。神經網絡預測法專家講座第7頁1．單步預測首頁當k=1時，且網絡全部輸入數(shù)據都是時間序列實際觀察值時所做預測就是單步預測。在進行預測時，把實際時序觀察值

，這m個數(shù)據輸入網絡，輸出是下一時刻預測值

若要繼續(xù)對值進行預測，則用實際觀察值

作為輸入數(shù)據，得到預測值

神經網絡預測法專家講座第8頁2．多步預測首頁當k>l時，網絡輸入m個歷史數(shù)據，輸出

預測值。多步預測用于股票價格預測誤差較大。這是因為在網絡運行調整權值和閥值時，每次迭代都要累加前一次k個預測值誤差，從而造成網絡難以收斂情況，甚至造成網絡發(fā)生振蕩。神經網絡預測法專家講座第9頁首頁3．滾動預測滾動預測，又可稱為迭代一步預測，是先進行單步預測，再將網絡輸出預測值反饋給網絡輸入端作為輸入一部分，用于下一步預測。若開始預測時輸入數(shù)據是實際時序觀察值

輸出是下一時刻預測值

，將與

一起作為輸入數(shù)據對

項進行預計，得到輸出預測值

如此重復迭代，就得到對未來一段時期預測值。神經網絡預測法專家講座第10頁12.2BP神經網絡MATLAB函數(shù)1．數(shù)據預處理和后處理數(shù)據預處理和后處理是有效訓練神經網絡關鍵步驟，直接影響到訓練后神經網絡性能。常見方法是將原始數(shù)據進行歸一化處理，即經過一定線性變換將輸入和輸出數(shù)據統(tǒng)一限制在[0，1]或[-1，1]區(qū)間內。利用premnmx或prestd函數(shù)能夠對輸入和目標數(shù)據集進行歸一化處理，使其落入[-1，1]區(qū)間。神經網絡預測法專家講座第11頁首頁格式：

[Pn，minp，maxp]=premnmx(P)[Pn，minp，maxp，Tn，mint，maxt]=premnmx(P,T)說明：premnmx函數(shù)用于對網絡輸入數(shù)據或目標數(shù)據進行歸一化，歸一化后數(shù)據將分布在[-1，1]區(qū)間內。歸一化公式為：Pn=2*(P-minp)／(maxp-minp)-lTn=2*(T-mint)／(maxt-mint)-l其中，P為原始輸入數(shù)據，maxp和minp分別是P中最大值和最小值，Pn為歸一化后輸入數(shù)據。T是原始目標數(shù)據，maxt和mint分別是T最大值和最小值，Tn是歸一化后目標數(shù)據。神經網絡預測法專家講座第12頁格式：[P,T]=postmnmx(Pn，minp，maxp，Tn，mint，maxt)說明：Postmnmx函數(shù)可將premnmx函數(shù)所歸一化數(shù)據進行反歸一化處理P=0.5*(Pn+1)*(maxp-minp)+minpT=0.5*(Tn+1)*(maxt-mint)+mint

將輸入數(shù)據或目標數(shù)據轉化為區(qū)間[0,1]歸一化處理公式為：Pn=(P-minp)／(maxp-minp)Tn=(T-mint)／(maxt-mint)其對應反歸一化處理公式P=Pn*（maxp-minp)+minp

T=Tn*（maxt-mint)+mint神經網絡預測法專家講座第13頁2.創(chuàng)建網絡（1）newff函數(shù)：用來建立一個前饋BP網絡格式：net=newff(PR，SN，TF，BTF，BLF，PF)；說明：PR：表示由每組輸入（共P組）元素最大值和最小值

組成P×2維矩陣；或用函數(shù)minmax(P)表示；SN：表示網絡隱含層和輸出層神經元個數(shù)；TF：表示網絡隱含層和輸出層傳遞函數(shù)，tansig（默認），

logsig，purelin；BTF：表示網絡訓練函數(shù)。普通訓練traingdm：需設定

學習速率、動量系數(shù)，快速訓練trainlm(默認)：BLF：表示網絡權值學習函數(shù)，learngdf(默認)；PF：表示網絡性能函數(shù)，mse(默認)，網絡輸出和目標輸出均方誤差。神經網絡預測法專家講座第14頁3．設定參數(shù)net=init(net)；初始化網絡權值和閾值（可不設定)net.trainparam.show=訓練狀態(tài)顯示幅度；（默認25）net.trainparam.lr=學習速率；（權值閾值調整幅度）net.trainparam.mc=動量系數(shù)；（權閾值改變重復度）net.trainparam.epochs=訓練次數(shù)；（默認100）net.trainparam.goal=誤差精度；（默認0）net.trainparam.time=訓練秒數(shù)；（可不選）（4.訓練網絡：格式：[net，tr]=train(net，P，T)說明：P為輸入樣本矢量集；T為對應目標樣本矢量集：等號左右兩側net分別用于表示訓練得到和訓練以前神經網絡對象；tr存放訓練過程中步數(shù)信息和誤差信息，并給出網絡誤差實時改變曲線。神經網絡預測法專家講座第15頁5.BP神經網絡仿真格式：[Y,Pf,Af,E,perf]=sim(net，P，Pi，Ai，T)說明：輸入net為神經網絡對象，P為網絡輸入，Pi為輸入延遲初始狀態(tài)，Ai為層延遲初始狀態(tài)，T為目標矢量，Y為網絡輸出，Pf為訓練終止時輸入延遲狀態(tài)，Af為訓練終止時層延遲狀態(tài)，E為輸出和目標矢量之間誤差，perf為網絡性能值。首頁6.模擬輸出圖形輸出：plot（橫坐標，縱坐標，‘參數(shù)’）查看參數(shù)：權值：net.IW（層序號）閾值：net.b（層序號）神經網絡預測法專家講座第16頁12.3案例分析12.3.1北京市房地產開發(fā)投資及銷售分析北京市1999年至年房地產開發(fā)投資資金起源中國內貸款，與各種房屋類型銷售額數(shù)據如表12-1所表示，進而計算出年至年各項指標增加率，數(shù)據如表12-2所表示，試將住宅、辦公樓、商業(yè)營業(yè)用房銷售額增加率作為輸入元素，國內貸款額增加率作為目標函數(shù)，建立BP神經網絡仿真模擬。神經網絡預測法專家講座第17頁日期國內貸款住宅銷售額辦公樓銷售額商業(yè)營業(yè)用房銷售額1999165.22232.0266.087.62238.82409.3451.804.25340.30531.7161.7312.46382.77716.5357.6825.95586.86789.1640.5851.78549.961085.1199.2150.59676.921739.94249.62120.85841.421626.30352.94162.561063.211845.97402.54237.07889.371201.37230.72192.762367.772486.77431.14299.861439.082060.52487.32318.99北京市房地產開發(fā)投資及銷售原始數(shù)據神經網絡預測法專家講座第18頁北京市房地產開發(fā)投資及銷售額增加率日期國內貸款住宅銷售額辦公樓銷售額商業(yè)營業(yè)用房銷售額0.36840.5677-0.2435-0.58390.35410.26160.17541.07560.11760.2983-0.06790.73360.42740.0965-0.35160.6908-0.06490.31850.8940-0.02330.20770.47220.92270.87080.2175-0.06750.34640.29650.23400.12670.13150.3773-0.1785-0.4295-0.5566-0.20690.97920.72750.62520.4419-0.4979-0.18800.12250.0618神經網絡預測法專家講座第19頁案例二：中空保溫玻璃銷售預測MATLAB程序以下：clearp=[0.5677-0.2435-0.58390.26160.17541.07560.2983-0.06790.73360.0965-0.35160.69080.31850.8940-0.02330.47220.92270.8708-0.06750.34640.29650.12670.13150.3773-0.4295-0.5566-0.20690.72750.62520.4419-0.18800.12250.0618]';t=[0.36840.35410.11760.4274-0.06490.20770.21750.2340-0.17850.9792-0.4979];神經網絡預測法專家講座第20頁（

rand('state',0);%確保每次結果都相同net=newff(minmax(p),[3,7,1],{'tansig','tansig','purelin'},…'trainlm');net.trainparam.lr=0.1;net.trainparam.epochs=1000;net.trainparam.goal=0.001;net=train(net,p,t);y=sim(net,p)e=t-yres=norm(e)%整個網絡誤差m=:;plot(m,t,'-+',m,y,'o')xlabel('日期')ylabel('國內貸款額增加率')神經網絡預測法專家講座第21頁神經網絡預測法專家講座第22頁確定最正確隱含層神經元個數(shù)網絡設計及訓練代碼以下：s=4:8res=1:5fori=1:5rand('state',0);net=newff(minmax(p),[s(i),1],{'tansig','purelin'});net.trainparam.lr=0.1;net.trainparam.epochs=1000;net.trainparam.goal=0.001;net=train(net,p,t);y=sim(net,p)e=t-yres(i)=norm(e)end神經網絡預