BP人工神經(jīng)網(wǎng)絡(luò)常用傳遞函數(shù)

1、BP網(wǎng)絡(luò)常用傳遞函數(shù)5.6EP翩絡(luò)常用的傳逛函數(shù)BP網(wǎng)絡(luò)的傳遞函數(shù)有多種。Log-sigmoid型函數(shù)的輸入值可取任意值，輸出值在0和1之間；tan-sigmod型傳遞函數(shù)tansig的輸入值可取任意值，輸出值在T到+1之間；線性傳遞函數(shù)purelin的輸入與輸出值可取任意值。隱含層常采用S型傳遞函數(shù)。BP網(wǎng)絡(luò)通常有一個(gè)或多個(gè)隱層，該層中的神經(jīng)元均采用sigmoid型傳遞函數(shù)，輸出層的神經(jīng)元?jiǎng)t采用線性傳遞函數(shù)，整個(gè)網(wǎng)絡(luò)的輸出可以取任意值。各種傳遞函數(shù)如圖5.6所示。只改變傳遞函數(shù)而其余參數(shù)均固定，用本章5.2節(jié)所述的樣本集訓(xùn)練BP網(wǎng)絡(luò)時(shí)發(fā)現(xiàn)，傳遞函數(shù)使用tansig函數(shù)時(shí)要比logsig函數(shù)的

2、誤差小。于是在以后的訓(xùn)練中隱層傳遞函數(shù)改用tansig函數(shù)，輸出層傳遞函數(shù)仍選用purelin函數(shù)。3)每層節(jié)點(diǎn)數(shù)的確定：使用神經(jīng)網(wǎng)絡(luò)的目的是實(shí)現(xiàn)攝像機(jī)輸出RGB顏色空間與CIE-XYZ色空間轉(zhuǎn)換，因此BP網(wǎng)絡(luò)的輸入層和輸出層的節(jié)點(diǎn)個(gè)數(shù)分別為3。下面主要介紹隱層節(jié)點(diǎn)數(shù)量的確定。對(duì)于多層前饋網(wǎng)絡(luò)來說，隱層節(jié)點(diǎn)數(shù)的確定是成敗的關(guān)鍵。若數(shù)量太少，則網(wǎng)絡(luò)所能獲取的用以解決問題的信息太少；若數(shù)量太多，不僅增加訓(xùn)練時(shí)間，更重要的是隱層節(jié)點(diǎn)過多還可能出現(xiàn)所謂“過渡吻合”(Overfitting)問題，即測(cè)試誤差增大導(dǎo)致泛化能力下降，因此合理選擇隱層節(jié)點(diǎn)數(shù)非常重要。關(guān)于隱層數(shù)及其節(jié)點(diǎn)數(shù)的選擇比較復(fù)雜，一般原則

3、是：在能正確反映輸入輸出關(guān)系的基礎(chǔ)上，應(yīng)選用較少的隱層節(jié)點(diǎn)數(shù)，以使網(wǎng)絡(luò)結(jié)構(gòu)盡量簡(jiǎn)單。本論文中采用網(wǎng)絡(luò)結(jié)構(gòu)增長(zhǎng)型方法，即先設(shè)置較少的節(jié)點(diǎn)數(shù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并測(cè)試學(xué)習(xí)誤差，然后逐漸增加節(jié)點(diǎn)數(shù)，直到學(xué)習(xí)誤差不再有明顯減少為止。newff()功能建立一個(gè)前向BP網(wǎng)絡(luò)格式net=newff(PR，S1S2.SN1，TF1TF2.TFN1，BTF，BLF，PF)說明net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；S1S2-SN1表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個(gè)數(shù)；TF1TF2-TFN1表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為'tansig'；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默

4、認(rèn)為'trainlm'BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為learngdm'；PF表示性能數(shù)，默認(rèn)為'mse'。參數(shù)TFi可以采用任意的可微傳遞函數(shù)，比如transig，logsig和purelin等；訓(xùn)練函數(shù)可以是任意的BP訓(xùn)練函數(shù)，如trainm，trainbfg,trainrp和traingd等。BTF默認(rèn)采用trainlm是因?yàn)楹瘮?shù)的速度很快，但該函數(shù)的一個(gè)重要缺陷是運(yùn)行過程會(huì)消耗大量的內(nèi)存資源。如果計(jì)算機(jī)內(nèi)存不夠大，不建議用trainlm,而建議采用訓(xùn)練函數(shù)trainbfg或trainrp。雖然這兩個(gè)函數(shù)的運(yùn)行速度比較慢，但它們的共同特點(diǎn)是內(nèi)存

5、占用量小，不至于出現(xiàn)訓(xùn)練過程死機(jī)的情況。參數(shù)TFi可以采用任意的可微傳遞函數(shù)，比如transig，logsig和purelin等；訓(xùn)練函數(shù)可以是任意的BP訓(xùn)練函數(shù)，如trainm，trainbfg，trainrp和traingd等。BTF默認(rèn)采用trainlm是因?yàn)楹瘮?shù)的速度很快，但該函數(shù)的一個(gè)重要缺陷是運(yùn)行過程會(huì)消耗大量的內(nèi)存資源。如果計(jì)算機(jī)內(nèi)存不夠大，不建議用trainlm，而建議采用訓(xùn)練函數(shù)trainbfg或trainrp。雖然這兩個(gè)函數(shù)的運(yùn)行速度比較慢，但它們的共同特點(diǎn)是內(nèi)存占用量小，不至于出現(xiàn)訓(xùn)練過程死機(jī)的情況。訓(xùn)練函數(shù)：包括梯度下降bp算法訓(xùn)練函數(shù)traingd，動(dòng)量反傳遞的梯度下

6、降bp算法訓(xùn)練函數(shù)traingdm，動(dòng)態(tài)自適應(yīng)學(xué)習(xí)率的梯度下降bp算法訓(xùn)練函數(shù)traingda，動(dòng)量反傳和動(dòng)態(tài)自適應(yīng)學(xué)習(xí)率的梯度下降bp算法訓(xùn)練函數(shù)traingdx,levenberg_marquardt的bp算法訓(xùn)練函數(shù)trainlm。BP網(wǎng)絡(luò)一般都是用三層的，四層及以上的都比較少用；傳輸函數(shù)的選擇，這個(gè)怎么說，假設(shè)你想預(yù)測(cè)的結(jié)果是幾個(gè)固定值，如1,0等，滿足某個(gè)條件輸出1,不滿足則0的話，首先想到的是hardlim函數(shù)，閾值型的，當(dāng)然也可以考慮其他的；然后，假如網(wǎng)絡(luò)是用來表達(dá)某種線性關(guān)系時(shí)，用purelin-線性傳輸函數(shù)；若是非線性關(guān)系的話，用別的非線性傳遞函數(shù)，多層網(wǎng)絡(luò)時(shí)，每層不一定要用

7、相同的傳遞函數(shù)，可以是三種配合，可以使非線性和線性，閾值的傳遞函數(shù)等；compet-競(jìng)爭(zhēng)型傳遞函數(shù)；hardlim-閾值型傳遞函數(shù)；hardlims-對(duì)稱閾值型傳輸函數(shù)；logsig-S型傳輸函數(shù)；poslin-正線性傳輸函數(shù)；purelin-線性傳輸函數(shù)；radbas-徑向基傳輸函數(shù)；satlin-飽和線性傳輸函數(shù)；satlins-飽和對(duì)稱線性傳輸函數(shù)；softmax-柔性最大值傳輸函數(shù)；tansig-雙曲正切S型傳輸函數(shù)；tribas-三角形徑向基傳輸函數(shù)；二、神經(jīng)元上的傳遞函數(shù)傳遞函數(shù)是BP網(wǎng)絡(luò)的重要組成部分，必須是連續(xù)可微的，BP網(wǎng)絡(luò)常采用S型的對(duì)數(shù)或正切函數(shù)和線性函數(shù)。Logsig傳

8、遞函數(shù)為S型的對(duì)數(shù)函數(shù)。調(diào)用格式為：A=logsig(N)N：Q個(gè)S維的輸入列向量；A：函數(shù)返回值，位于區(qū)間(0,1)中info=logsig(code)依據(jù)code值的不同返回不同的信息，包括：deriv返回微分函數(shù)的名稱；name返回函數(shù)全程；output返回輸出值域；active返回有效的輸入?yún)^(qū)間例如：n=-10：0.1:10;a=logsig(n);plot(n,a)matlab按照來計(jì)算對(duì)數(shù)傳遞函數(shù)的值：n=2/(1+exp(-2n)函數(shù)logsig可將神經(jīng)元的輸入(范圍為整個(gè)實(shí)數(shù)集)映射到區(qū)間(0,1)中。三、BP網(wǎng)絡(luò)學(xué)習(xí)函數(shù)learngd該函數(shù)為梯度下降權(quán)值/閾值學(xué)習(xí)函數(shù)，通過神

9、經(jīng)元的輸入和誤差，以及權(quán)值和閾值的學(xué)習(xí)速率，來計(jì)算權(quán)值或閾值的變化率。調(diào)用格式;dW,ls=learngd(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)以一個(gè)單隱層的BP網(wǎng)絡(luò)設(shè)計(jì)為例，介紹利用神經(jīng)網(wǎng)絡(luò)工具箱進(jìn)行BP網(wǎng)絡(luò)設(shè)計(jì)及分析的過程1.問題描述通過對(duì)函數(shù)進(jìn)行采樣得到了網(wǎng)絡(luò)的輸入變量P和目標(biāo)變量T：P=-1：0.1:1;T=-0.9602-0.577.-0.07290.37710.64050.66000.46090.1336-0.2013-0.4344-0.5000-0.3930-0.16470.09880.30720.39600.34490.1816-0.0312-0.2189-

10、0.32012.網(wǎng)絡(luò)的設(shè)計(jì)網(wǎng)絡(luò)的輸入層和輸出層的神經(jīng)元個(gè)數(shù)均為1，網(wǎng)絡(luò)的隱含神經(jīng)元個(gè)數(shù)應(yīng)該在38之間。網(wǎng)絡(luò)設(shè)計(jì)及運(yùn)行的代碼：s=3:8;res=1:6;fori=1:6;net=newff(minmax(P),s(i),1,'tansig',logsig,'traingdx');net.trainParam.epachs=2000;net.trainParam.goal=0.001;net=train(net,P,T)y=sim('net,P')error=y-T;res(i)=norm(error);end代碼運(yùn)行結(jié)果：網(wǎng)絡(luò)訓(xùn)練誤差神經(jīng)元個(gè)數(shù)3

11、45678網(wǎng)絡(luò)誤差1.04120.72970.17670.14490.18070.1442%獲取訓(xùn)練數(shù)據(jù)與預(yù)測(cè)數(shù)據(jù)input_train=data(n(1:9900),1:3)'output_train=data1(n(1:9900),1)'input_test=data(n(9901:10000),1:3)'output_test=data1(n(9901:10000),1)'%數(shù)據(jù)歸一化inputn,inputps=mapminmax(input_train);outputn,outputps=mapminmax(output_train);%bp訓(xùn)練%初始

12、化網(wǎng)絡(luò)結(jié)構(gòu)net=newff(inputn,outputn,100);net.trainParam.show=30;net.trainParam.epochs=300;net.trainParam.lr=0.01;net.trainParam.goal=1e-6;%網(wǎng)絡(luò)訓(xùn)練net=train(net,inputn,outputn);%bp預(yù)測(cè)%預(yù)測(cè)數(shù)據(jù)歸一化inputn_test=mapminmax('apply',input_test,inputps);%網(wǎng)絡(luò)預(yù)測(cè)輸出an=sim(net,inputn_test);%網(wǎng)絡(luò)輸出反歸一化BPoutput=mapminmax('reverse',an,outputps);%結(jié)果分析figureplot(BPoutput,':og');holdonplot(output_test,'-*');legend('預(yù)測(cè)輸出','期望輸出','fontsize',12)title('BP網(wǎng)絡(luò)預(yù)測(cè)輸出','fontsize',12)xlabel