絕對經(jīng)典RBF神經(jīng)網(wǎng)絡課件

RBF網(wǎng)絡特點只有一個隱層，且隱層神經(jīng)元與輸出層神經(jīng)元的模型不同。隱層節(jié)點激活函數(shù)為徑向基函數(shù)，輸出層節(jié)點激活函數(shù)為線性函數(shù)。隱層節(jié)點激活函數(shù)的凈輸入是輸入向量與節(jié)點中心的距離（范數(shù)）而非向量內(nèi)積，且節(jié)點中心不可調(diào)。隱層節(jié)點參數(shù)確定后，輸出權(quán)值可通過解線性方程組得到。隱層節(jié)點的非線性變換把線性不可分問題轉(zhuǎn)化為線性可分問題。MLP)，這意味著逼近一個輸入輸出映射時，在相同逼近精度要求下，RBF所需的時間要比MLP少。合適的隱層節(jié)點數(shù)、節(jié)點中心和寬度不易確定。1.Gauss（高斯）函數(shù)：2.反演S型函數(shù)：3.擬多二次函數(shù)：σ

稱為基函數(shù)的擴展常數(shù)或?qū)挾?，σ越小，徑向基函?shù)的寬度越小，基函數(shù)就越有選擇性。徑向基函數(shù)（RBF）全局逼近和局部逼近全局逼近網(wǎng)絡局部逼近網(wǎng)絡當神經(jīng)網(wǎng)絡的一個或多個可調(diào)參數(shù)(權(quán)值和閾值)對任何一個輸出都有影響，則稱該神經(jīng)網(wǎng)絡為全局逼近網(wǎng)絡。對網(wǎng)絡輸入空間的某個局部區(qū)域只有少數(shù)幾個連接權(quán)影響網(wǎng)絡的輸出，則稱該網(wǎng)絡為局部逼近網(wǎng)絡學習速度很慢，無法滿足實時性要求的應用學習速度快，有可能滿足有實時性要求的應用RBF神經(jīng)網(wǎng)絡兩種模型正規(guī)化網(wǎng)絡RN廣義網(wǎng)絡GN通用逼近器模式分類基本思想：通過加入一個含有解的先驗知識的約束來控制映射函數(shù)的光滑性，若輸入一輸出映射函數(shù)是光滑的，則重建問題的解是連續(xù)的，意味著相似的輸入對應著相似的輸出?；舅枷耄河脧较蚧瘮?shù)作為隱單元的“基”，構(gòu)成隱含層空間。隱含層對輸入向量進行變換，將低維空間的模式變換到高維空間內(nèi)，使得在低維空間內(nèi)的線性不可分問題在高維空間內(nèi)線性可分。兩種模型的比較隱節(jié)點=輸入樣本數(shù)隱節(jié)點＜輸入樣本數(shù)

所有輸入樣本設(shè)為徑向基函數(shù)的中心徑向基函數(shù)的中心由訓練算法確定徑向基函數(shù)取統(tǒng)一的擴展常數(shù)徑向基函數(shù)的擴展常數(shù)不再統(tǒng)一由訓練算法確定沒有設(shè)置閾值輸出函數(shù)的線性中包含閾值參數(shù)，用于補償基函數(shù)在樣本集上的平均值與目標值之平均值之間的差別。RNGN函數(shù)逼近問題（內(nèi)插值）

一般函數(shù)都可表示成一組基函數(shù)的線性組合，RBF網(wǎng)絡相當于用隱層單元的輸出構(gòu)成一組基函數(shù)，然后用輸出層來進行線性組合，以完成逼近功能。①給定樣本數(shù)據(jù)

②尋找函數(shù)，使其滿足：舉例：RBF網(wǎng)絡實現(xiàn)函數(shù)逼近

1.問題的提出：假設(shè)如下的輸入輸出樣本，輸入向量為[-11]區(qū)間上等間隔的數(shù)組成的向量P,相應的期望值向量為T。P=-1:0.1:1;T=[-0.9602-0.5770-0.07290.37710.64050.66000.46090.1336-0.2013-0.4344-0.5000-0.3930-0.16470.09880.30720.39600.34490.1816-0.0312-0.2189-0.3201];%以輸入向量為橫坐標，期望值為縱坐標，繪制訓練用樣本的數(shù)據(jù)點。figure;plot(P,T,'+')title('訓練樣本')xlabel('輸入矢量P')ylabel('目標矢量T')gridon%目的是找到一個函數(shù)能夠滿足這21個數(shù)據(jù)點的輸入/輸出關(guān)系，其中一個方法是通過構(gòu)建徑向基函數(shù)網(wǎng)絡來進行曲線擬合2.網(wǎng)絡設(shè)計：設(shè)計一個徑向基函數(shù)網(wǎng)絡，網(wǎng)絡有兩層，隱含層為徑向基神經(jīng)元，輸出層為線性神經(jīng)元。

p=-3:0.1:3;

a=radbas(p);

figure;

plot(p,a)

title('徑向基傳遞函數(shù)')

xlabel('輸入p')

ylabel('輸出a')gridon%每一層神經(jīng)元的權(quán)值和閾值都與徑向基函數(shù)的位置和寬度有關(guān)系，輸出層的線性神經(jīng)元將這些徑向基函數(shù)的權(quán)值相加。如果隱含層神經(jīng)元的數(shù)目足夠，每一層的權(quán)值和閾值正確，那么徑向基函數(shù)網(wǎng)絡就完全能夠精確的逼近任意函數(shù)。

a2=radbas(p-1.5);

a3=radbas(p+2);

a4=a+a2*1+a3*0.5;

figure;

plot(p,a,'b-',p,a2,'b-',p,a3,'b-',p,a4,'m--');

title('徑向基傳遞函數(shù)之和')

xlabel('輸入p')

ylabel('輸出a')gridon%應用newb()函數(shù)可以快速構(gòu)建一個徑向基神經(jīng)網(wǎng)絡，并且網(wǎng)絡自動根據(jù)輸入向量和期望值進行調(diào)整，從而進行函數(shù)逼近，預先設(shè)定均方差精度為eg以及散布常數(shù)sc。

eg=0.02;

sc=1;

net=newrb(P,T,eg,sc);3.網(wǎng)絡測試：將網(wǎng)絡輸出和期望值隨輸入向量變化的曲線繪制在一張圖上，就可以看出網(wǎng)絡設(shè)計是否能夠做到函數(shù)逼近。

figure;

plot(P,T,'+');

xlabel('輸入');

X=-1:0.01:1;

Y=sim(net,X);

holdon;

plot(X,Y);

holdoff;

legend('目標','輸出')

gridon

Φ1(x)∑X2X1Φ2(x)w11w11Outputy舉例：邏輯運算異或的分類X1X2X1X2000011101110XOR異或空間變換前X1X2000.13531010.36790.3679100.36790.36791110.1353基函數(shù)空間變換后RBF學習算法RBF學習的三個參數(shù)：①基函數(shù)的中心②方差（擴展常數(shù)）③隱含層與輸出層間的權(quán)值當采用正歸化RBF網(wǎng)絡結(jié)構(gòu)時，隱節(jié)點數(shù)即樣本數(shù)，基函數(shù)的數(shù)據(jù)中心即為樣本本身，參數(shù)設(shè)計只需考慮擴展常數(shù)和輸出節(jié)點的權(quán)值。當采用廣義RBF網(wǎng)絡結(jié)構(gòu)時，RBF網(wǎng)絡的學習算法應該解決的問題包括：如何確定網(wǎng)絡隱節(jié)點數(shù)，如何確定各徑向基函數(shù)的數(shù)據(jù)中心及擴展常數(shù)，以及如何修正輸出權(quán)值。一.自組織中心選取法

1989年，Moody和Darken提出了一種由兩個階段組成的混合學習過程的思路。兩個步驟：①無監(jiān)督的自組織學習階段

②有監(jiān)督學習階段

其任務是用自組織聚類方法為隱層節(jié)點的徑向基函數(shù)確定合適的數(shù)據(jù)中心，并根據(jù)各中心之間的距離確定隱節(jié)點的擴展常數(shù)。一般采用Duda和Hart1973年提出的k-means聚類算法。其任務是用有監(jiān)督學習算法訓練輸出層權(quán)值，一般采用梯度法進行訓練。

在聚類確定數(shù)據(jù)中心的位置之前，需要先估計中心的個數(shù)(從而確定了隱節(jié)點數(shù))，一般需要通過試驗來決定。由于聚類得到的數(shù)據(jù)中心不是樣本數(shù)據(jù)本身，因此用表示第n次迭代時的中心。應用K-means聚類算法確定數(shù)據(jù)中心的過程如下。（1）初始化。選擇個互不相同的向量作為初始聚類中心（2）計算輸入空間各樣本點與聚類中心點的歐式距離1.中心學習(3)相似匹配。令代表競爭獲勝隱節(jié)點的下標，對每一個輸入樣本根據(jù)其與聚類中心的最小歐式距離確定其歸類,即當時，被歸為第類，從而將全部樣本劃分為個子集每個子集構(gòu)成一個以聚類中心為典型代表的聚類域。2.確定擴展常數(shù)各聚類中心確定后，可根據(jù)各中心之間的距離確定對應徑向基函數(shù)的擴展常數(shù)。令則擴展常數(shù)可取為為重疊系數(shù)3.學習權(quán)值權(quán)值的學習可以用LMS學習算法注意：①LMS算法的輸入為RBF網(wǎng)絡隱含層的輸出②RBF網(wǎng)絡輸出層的神經(jīng)元只是對隱含層神經(jīng)元的輸出加權(quán)和。因此RBF網(wǎng)絡的實際輸出為其中用LMS方法求解