RBF神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

RBF神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)第1頁/共25頁目錄

RBF神經(jīng)網(wǎng)絡(luò)簡介徑向基函數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)徑向基函數(shù)網(wǎng)絡(luò)參數(shù)選擇RBF網(wǎng)絡(luò)應(yīng)用于模式分類總結(jié)

第2頁/共25頁一.

RBF神經(jīng)網(wǎng)絡(luò)簡介從對函數(shù)的逼近功能而言，神經(jīng)網(wǎng)絡(luò)可分為全局逼近和局部逼近。局部逼近網(wǎng)絡(luò)具有學(xué)習(xí)速度快的優(yōu)點(diǎn)。徑向基函數(shù)（RadialBasisFunction，RBF）就屬于局部逼近神經(jīng)網(wǎng)絡(luò)。徑向基函數(shù)RBF神經(jīng)網(wǎng)絡(luò)（簡稱徑向基網(wǎng)絡(luò)）是由J.Moody和C.Darken于20世紀(jì)80年代末提出的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，RBF神經(jīng)網(wǎng)絡(luò)是一種性能良好的前向網(wǎng)絡(luò)，具有最佳逼近及克服局部極小值問題的性能。第3頁/共25頁二.徑向基函數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)徑向基函數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)第4頁/共25頁二.徑向基函數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)輸入層到隱含層為非線性映射,基函數(shù)是高斯函數(shù)：

第5頁/共25頁二.徑向基函數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)RBF神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是一種三層前向網(wǎng)絡(luò)：輸入層由信號源結(jié)點(diǎn)構(gòu)成，僅起到數(shù)據(jù)信息的傳遞作用，對輸入信息不進(jìn)行任何變換；第二層為隱含層，結(jié)點(diǎn)數(shù)視需要而定，隱含層神經(jīng)元的核函數(shù)（作用函數(shù)）為高斯函數(shù)，對輸入信息進(jìn)行空間映射變換；第三層為輸出層，它對輸入模式做出響應(yīng)，輸出層神經(jīng)元的作用函數(shù)為線性函數(shù)，對隱含層神經(jīng)元輸出的信息進(jìn)行線性加權(quán)后輸出，作為整個神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果。第6頁/共25頁三.徑向基函數(shù)網(wǎng)絡(luò)參數(shù)選擇

第7頁/共25頁

四、RBF網(wǎng)絡(luò)應(yīng)用于模式分類

以酒瓶分類三元色數(shù)據(jù)為例，希望將數(shù)據(jù)按照顏色數(shù)據(jù)所表征的特點(diǎn)，將數(shù)據(jù)按各自所屬的類別歸類。其中，前29組數(shù)據(jù)已確定類別，后30組數(shù)據(jù)待確定類別。（1）從樣本數(shù)據(jù)庫中獲取訓(xùn)練數(shù)據(jù)取前29組數(shù)據(jù)作為訓(xùn)練樣本。為了編程方便，先對這29組數(shù)據(jù)按類別進(jìn)行升序排序。重新排序后的數(shù)據(jù)如下表所示。序

號ABC分類結(jié)果4864.451647.312665.916877.882031.663071.181161418.791775.892772.91251449.581641.583405.12182352.122557.041411.532142297.283340.14535.622152092.623177.21584.322182205.363243.741202.692192949.163244.44662.422222802.883017.111984.982第8頁/共25頁242063.543199.761257.21211739.941675.152395.96331756.7716521514.98371803.581583.122163.053111571.171731.041735.333171845.591918.812226.493201692.621867.52108.973211680.671575.781725.13261651.521713.281570.3832373.33087.052429.4745222.853059.542002.3349401.33259.942150.98410363.343477.952462.86412104.83389.832421.83413499.853305.752196.22423172.783084.492328.65427341.593076.622438.63428291.023095.682088.95429237.633077.782251.964

四、RBF網(wǎng)絡(luò)應(yīng)用于模式分類第9頁/共25頁

將排序后的數(shù)據(jù)及其類別繪制在三維圖中直觀地表示出來，作為RBF網(wǎng)絡(luò)訓(xùn)練時應(yīng)達(dá)到的目標(biāo)。排序后的數(shù)據(jù)及其類別的三維圖如下圖所示。

四、RBF網(wǎng)絡(luò)應(yīng)用于模式分類第10頁/共25頁將樣本數(shù)據(jù)及分類結(jié)果分別存放到“.dat”文件中。數(shù)據(jù)文件內(nèi)容及格式如下圖所示。rbf_train_sample_data.dat文件內(nèi)容及格式rbf_simulate_data.dat文件內(nèi)容及格式rbf_train_target_data.dat文件內(nèi)容及格式

四、RBF網(wǎng)絡(luò)應(yīng)用于模式分類第11頁/共25頁（2）設(shè)置徑向基函數(shù)的分布密度Spread為徑向基層的分布密度，又稱散布常數(shù)，默認(rèn)值為1。散布常數(shù)是RBF網(wǎng)絡(luò)設(shè)計(jì)過程中一個非常重要的參數(shù)。一般情況下，散布常數(shù)應(yīng)該足夠大，使得神經(jīng)元響應(yīng)區(qū)域覆蓋所有輸入?yún)^(qū)間。（3）調(diào)用newrb構(gòu)建并訓(xùn)練徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)；在MATLAB中，構(gòu)建徑向基函數(shù)網(wǎng)絡(luò)的函數(shù)文件有兩個，分別為newrbe()函數(shù)和newrb()函數(shù)。應(yīng)用newrbe()函數(shù)可以快速設(shè)計(jì)一個徑向基函數(shù)網(wǎng)絡(luò)，并且使得設(shè)計(jì)誤差為0，調(diào)用方式如下：net=newrbe(p,t,spread);其中，p為輸入向量；t為期望輸出向量（目標(biāo)值），spread為徑向基層的散布常數(shù)，默認(rèn)值為1。輸出為一個徑向基網(wǎng)絡(luò)，其權(quán)值和閾值完全滿足輸入和期望值關(guān)系要求。由newrbe()函數(shù)構(gòu)建的徑向基函數(shù)網(wǎng)絡(luò)，其徑向基層（第一層）神經(jīng)元數(shù)目等于輸入向量的個數(shù)，那么在輸入向量較多的情況下，則需要很多的神經(jīng)元，這就給網(wǎng)絡(luò)設(shè)計(jì)帶來一定的難度。函數(shù)newrb()則可自動增加網(wǎng)絡(luò)的隱含層神經(jīng)元數(shù)目，直到均方差滿足精度或神經(jīng)元數(shù)目達(dá)到最大為止。

四、RBF網(wǎng)絡(luò)應(yīng)用于模式分類第12頁/共25頁newrb定義為net=newrb(p,t,GOAL,SPREAD,MN,DF)，各個參數(shù)的定義如下：P——Q個輸入向量的R×Q維矩陣。這里Q=29，R=3T——Q個目標(biāo)類別向量的S×Q維矩陣。這里S=1GOAL——期望的均方誤差值，默認(rèn)時為0.0。這里選擇默認(rèn)值SPREAD——徑向基函數(shù)的散布常數(shù)，默認(rèn)時為1.0MN——神經(jīng)元的最大數(shù)目，默認(rèn)時等于Q。這里設(shè)置為28DF——每次顯示時增加的神經(jīng)元數(shù)目，默認(rèn)時為25，并且返回一個新的徑向基函數(shù)網(wǎng)絡(luò)。這里設(shè)置為2。（4）調(diào)用sim，測試RBF網(wǎng)絡(luò)的訓(xùn)練效果（5）再次調(diào)用sim識別樣本所屬類別

四、RBF網(wǎng)絡(luò)應(yīng)用于模式分類第13頁/共25頁基于MATLAB的RBF模式分類程序如下：clear;clc;%網(wǎng)絡(luò)訓(xùn)練目標(biāo)pConvert=importdata('C:\Users\Administrator\Desktop\RBF\rbf_train_sample_data.dat');p=pConvert';t=importdata('C:\Users\Administrator\Desktop\RBF\rbf_train_target_data.dat');plot3(p(1,:),p(2,:),p(3,:),'o');grid;box;fori=1:29,text(p(1,i),p(2,i),p(3,i),sprintf('%g',t(i))),endholdofff=t';index1=find(f==1);index2=find(f==2);index3=find(f==3);index4=find(f==4);

四、RBF網(wǎng)絡(luò)應(yīng)用于模式分類第14頁/共25頁

line(p(1,index1),p(2,index1),p(3,index1),'linestyle','none','marker','*','color','g');line(p(1,index2),p(2,index2),p(3,index2),'linestyle','none','marker','*','color','r');line(p(1,index3),p(2,index3),p(3,index3),'linestyle','none','marker','+','color','b');line(p(1,index4),p(2,index4),p(3,index4),'linestyle','none','marker','+','color','y');box;gridon;holdon;axis([035000350003500]);title('訓(xùn)練用樣本及其類別');xlabel('A');ylabel('B');zlabel('C');%RBF網(wǎng)絡(luò)的創(chuàng)建和訓(xùn)練過程net=newrb(p,t,0,410,28,2);A=sim(net,p)plot3(p(1,:),p(2,:),p(3,:),'r.'),grid;box;axis([035000350003500])fori=1:29,text(p(1,i),p(2,i),p(3,i),sprintf('%g',A(i))),endholdofff=A';

四、RBF網(wǎng)絡(luò)應(yīng)用于模式分類第15頁/共25頁index1=find(f==1);index2=find(f==2);index3=find(f==3);index4=find(f==4);line(p(1,index1),p(2,index1),p(3,index1),'linestyle','none','marker','*','color','g');line(p(1,index2),p(2,index2),p(3,index2),'linestyle','none','marker','*','color','r');line(p(1,index3),p(2,index3),p(3,index3),'linestyle','none','marker','+','color','b');line(p(1,index4),p(2,index4),p(3,index4),'linestyle','none','marker','+','color','y');box;gridon;holdon;title('網(wǎng)絡(luò)訓(xùn)練結(jié)果');xlabel('A');ylabel('B');zlabel('C');%對測試樣本進(jìn)行分類pConvert=importdata('C:\Users\Administrator\Desktop\RBF\rbf_simulate_data.dat');p=pConvert';a=sim(net,p)

四、RBF網(wǎng)絡(luò)應(yīng)用于模式分類第16頁/共25頁運(yùn)行程序后，系統(tǒng)首先輸出訓(xùn)練用樣本及其類別分類圖，如下圖a所示。接著輸出RBF網(wǎng)絡(luò)的訓(xùn)練結(jié)果圖，如下圖b所示。圖a訓(xùn)練用樣本及其類別分類圖圖b

RBF網(wǎng)絡(luò)的訓(xùn)練結(jié)果圖

四、RBF網(wǎng)絡(luò)應(yīng)用于模式分類第17頁/共25頁RBF網(wǎng)絡(luò)結(jié)果與原始數(shù)據(jù)對比序

號ABC目標(biāo)結(jié)果RBF網(wǎng)絡(luò)分類結(jié)果4864.451647.312665.9116877.882031.663071.1811161418.791775.892772.911251449.581641.583405.121182352.122557.041411.5322142297.283340.14535.6222152092.623177.21584.3222182205.363243.741202.6922192949.163244.44662.4222222802.883017.111984.9822242063.543199.761257.212211739.941675.152395.963331756.7716521514.9833第18頁/共25頁RBF網(wǎng)絡(luò)結(jié)果與原始數(shù)據(jù)對比71803.581583.122163.0533111571.171731.041735.3333171845.591918.812226.4933201692.621867.52108.9733211680.671575.781725.133261651.521713.281570.38332373.33087.052429.47445222.853059.542002.33449401.33259.942150.984410363.343477.952462.864412104.83389.832421.834413499.853305.752196.224423172.783084.492328.654427341.593076.622438.634428291.023095.682088.954429237.633077.782251.9644第19頁/共25頁RBF網(wǎng)絡(luò)分類結(jié)果分析訓(xùn)練后的RBF網(wǎng)絡(luò)對訓(xùn)練數(shù)據(jù)進(jìn)行分類后的結(jié)果與目標(biāo)結(jié)果完全吻合，可見RBF網(wǎng)絡(luò)訓(xùn)練效果良好。以下為神經(jīng)元逐漸增加的過程及對應(yīng)輸出的均方誤差。NEWRB,neurons=0,MSE=1.1082NEWRB,neurons=2,MSE=0.262521NEWRB,neurons=4,MSE=0.188316NEWRB,neurons=6,MSE=0.104082NEWRB,neurons=8,MSE=0.0794035NEWRB,neurons=10,MSE=0.0524248NEWRB,neurons=12,MSE=0.0377437NEWRB,neurons=14,MSE=0.0302773NEWRB,neurons=16,MSE=0.0209541NEWRB,neurons=18,MSE=0.0124128NEWRB,neurons=20,MSE=0.000818943NEWRB,neurons=22,MSE=0.000771163NEWRB,neurons=24,MSE=0.000131081NEWRB,neurons=26,MSE=7.66274e-07NEWRB,neurons=28,MSE=3.75729e-31第20頁/共25頁RBF網(wǎng)絡(luò)分類結(jié)果分析

從運(yùn)行過程可以看出，隨著神經(jīng)元數(shù)目的逐漸增加，均方誤差逐漸減小。當(dāng)神經(jīng)元數(shù)目增加到28時，誤差已經(jīng)很接近0，基本可以達(dá)到要求。繼續(xù)執(zhí)行程序，系統(tǒng)將給出訓(xùn)練后的RBF網(wǎng)絡(luò)對訓(xùn)練樣本數(shù)據(jù)的識別結(jié)果圖，如圖所示。第21頁/共25頁RBF網(wǎng)絡(luò)分類結(jié)果分析繼續(xù)執(zhí)行程序，可得到測試樣本的分類結(jié)果：a=1至9列1.00001.00001.00001.00002.00002.00002.00002.00002.000010至18列2.00002.00003.00003.00003.00003.00003.00003.00003.000019至27列3.00004.00004.00004.00004.00004.00004.00004.00004.000028至36列4.00004.00002.89693.21242.92324.00002.21472.44853.055037至45列4.00092.60133.12863.14