第3章-徑向基函數(shù)網(wǎng)絡(luò)課件

2023/7/21第1頁第三章徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)

（RBF——Radial-BasedFunctionNetworks）

§3.1

概述

用BP算法解決異或問題BP算法很容易收斂到局部最優(yōu)，而我們無法判斷得到的結(jié)果是局部最優(yōu)還是全局最優(yōu)，因為我們根本沒有全局信息。2023/7/21第2頁RBF網(wǎng)絡(luò)的基本思想在分類之前，先將輸入特征空間進行非線性映射，使得有待分類的兩類樣本的分布變成線性可分問題，然后用最簡單的線性功能函數(shù)的神經(jīng)元進行分類。例：圖示“異或”分布的兩類樣本，其分類函數(shù)相對復(fù)雜；采用影射：在新特征空間，原來的問題變成了線性可分問題。于是，學(xué)習(xí)算法為：第一層：實現(xiàn)非線性影射；第二層：線性分類。§3.2Cover模式分類理論Acomplexpattern-classificationproblemcastinhigh-dimensionalspacenonlinearlyismorelikelytobelinearlyseparablethaninalow-dimensionalspace.復(fù)雜模式分類問題非線性地表示在高維空間比表示在低維空間更易線性分類。2023/7/21第3頁§3.3插值問題

給定N

個不同的輸入點（矢量）：尋找一個函數(shù)

滿足條件：

其中：例1：多項式插值(曲線擬合)插值函數(shù)不唯一；多項式階數(shù)與點數(shù)相關(guān)：

階數(shù)+1=點數(shù)將給定點的值代入模型，得到一個關(guān)于待定系數(shù)a、b、c、d、e的方程組：給定5個點，用4次多項式進行插值。以及每個點所對應(yīng)的輸出(標量)

：x0

為中心位置，s決定“胖瘦”2023/7/21第4頁例2.Gaussian函數(shù)插值(程序：CH3PolyGaussFit)一維Gaussian函數(shù)：給定5個點，用中心分別在這些點上且s

=1

的5個Gaussian函數(shù)擬合：得到：將各個點代入有：s

取值不同

，擬合的結(jié)果也不同。例如，為5個Gaussian函數(shù)分別取不同的s

值：2.5、1.25、3.2、1.5、0.52023/7/21第5頁Gauss函數(shù)曲面插值插值函數(shù)：當X是2維矢量時，插值函數(shù)是Gauss曲面徑向基函數(shù)，Xi是其中心位置。擬合函數(shù)：樣本數(shù)據(jù)：將給定的樣本點代入：為中心在

Xi

的徑向基函數(shù)在

Xj

點的取值。?。阂约埃嚎梢缘玫剑簲M合函數(shù)為徑向基函數(shù)的線性組合，徑向基函數(shù)的項數(shù)與樣本個數(shù)相同：2007-10-31第6頁其中：

插值運算對應(yīng)于一個兩層的徑向基網(wǎng)絡(luò)多項式型：反多項式型：Gauss型：其中：其中：其中：常用徑向基函數(shù)：2023/7/21第7頁§3.4有監(jiān)督學(xué)習(xí)作為不適定超曲面重構(gòu)問題

假設(shè)一系統(tǒng)，輸入x

輸出y，無誤差、無干擾理想情況下的關(guān)系為二次函數(shù)；

實測時輸入X=[1,3,5,7,9]，理想值如圖示。

因存在噪聲和誤差，實測如圖所示。用足夠高階的模型，有可能將含噪的樣本無誤差地擬合起來，但得到的結(jié)果與真值的差距卻未必減小。并且，階數(shù)越高誤差越小、但模型的泛化性能卻越差。過擬合問題(Overfitting/Overdetermined):模型的階數(shù)大于系統(tǒng)的實際階數(shù)。問題：如何得知實際系統(tǒng)的階數(shù)？如何判斷過擬合或擬合不足？

由線性回歸得到輸入輸出關(guān)系的估計：

由4階多項式擬合得到輸入輸出關(guān)系的估計。2023/7/21第8頁重構(gòu)問題的適定性給定稀疏點集的函數(shù)（高維映射）重構(gòu)問題：未知系統(tǒng)f，其輸入

的有界響應(yīng)為

，重構(gòu)的意思就是通過輸入輸出樣本找到映射關(guān)系

。滿足以下準則的重構(gòu)問題是“適定的”：(1).存在性(Existence)：

對于每個輸入矢量

都存在一個輸出與之對應(yīng)；(3).連續(xù)性(Continuity，即，穩(wěn)定性：Stability)：

任給

存在使當

時。其中運算符

表示該空間中點與點之間的距離。(2).唯一性(Uniqueness)：

任意輸入，當且僅當X1=X2時有f(X1)=f(X2)；階躍函數(shù)不滿足聯(lián)系性。2023/7/21第9頁正問題與反問題(InverseProblem)正問題：例如，給定一個RLC諧振電路及其元件參數(shù)，我們可以建立一個描述該電路輸入輸出之間映射關(guān)系的微分方程，即求解一個“正問題”。反問題：對于一個系統(tǒng)，如果所能得到的全部資料就是實際采集得到的輸入、輸出樣本集，從由這些樣本數(shù)據(jù)建立能夠表達系統(tǒng)輸入輸出之間映射關(guān)系的數(shù)學(xué)模型，被稱為“反問題(

Inverseproblem

)

”，也稱為“系統(tǒng)重構(gòu)問題”。反問題通常是不適定的：第一、存在性準則可能得不到滿足，即某些輸入矢量沒有確定的輸出對應(yīng)；第二、實測樣本所提供的信息不足以唯一地確定重構(gòu)模型，唯一性準則得不到滿足；第三、由于存在噪聲干擾，相近的輸入可能對應(yīng)于差距很大的輸出，于是，連續(xù)性準則得不到滿足。求解反問題的學(xué)習(xí)算法必須附加先驗（專業(yè)或經(jīng)驗的）知識等附加條件。因為，任何數(shù)學(xué)手段都不能補救信息缺失(Alackofinformationcannotberemediedbyanymathematicaltrickery——Lanczos,1964)。

2023/7/21第10頁§3.5Tikhonov正則化理論

系統(tǒng)輸入：理想輸出：擬合函數(shù)：

標準差項：顯然，只用Es(F)

作為目標函數(shù)進行優(yōu)化，可以得到誤差Es(F)

最小甚至Es(F)=0

的擬合函數(shù)F(X)

，但無法避免過擬合問題。為此，Tikhonov提出了“正則項”:

正則項：式中：D是線性微分算子

Ec(F)

減小即擬合函數(shù)F(X)

的梯度減小，意味著在滿足誤差最小的同時還要求擬合結(jié)果足夠“平坦”，因此，正則項也稱為“平滑項”。2023/7/21第11頁E(F)

所在空間是一個函數(shù)空間，該空間自變量的每個取值（矢量）代表一個函數(shù)。假設(shè)所有這些函數(shù)都是平方可積的，并且，類似數(shù)量空間中定義矢量的模一樣，用函數(shù)的平方積分表示它們的“大小”，稱為該空間中矢量的“范數(shù)”，即：稱這個空間為“賦范空間”。正則化問題：尋找使目標函數(shù)：達到最小的函數(shù)

F(X)。自變量是函數(shù)

F(X)，因此，函數(shù)

E(F)

是一個泛函。l用于在平滑性和誤差之間權(quán)衡，大的

l得到的擬合函數(shù)更加平滑但擬合誤差大；而小的

l擬合誤差小但擬合函數(shù)不夠平滑。(3-10)2023/7/21第12頁Frechet微分定義

式中：是X

的一個任意給定的函數(shù)。假設(shè)E(F)

在

F(X)

點取極小值，則對于任意h(X)，有dE(F,h)

=

0。即：(3-11)(3-12)由上式右邊第一項得到：(3-13)重寫(3-10)式：利用d(X-Xi)函數(shù)的篩選特性，將兩個函數(shù)在某點

Xi

的乘積表示成內(nèi)積形式：2023/7/21第13頁(3-10)式第一項的Frechet微分(3-13)可寫成：兩函數(shù)的內(nèi)積定義為：式中

是中心位于Xi

的d

函數(shù)。(3-10)式E(F,h)中第二項的Frechet微分：(3-15)(3-14)給定一個微分算子

D

，存在一個伴隨算子

使得對于任意兩個具有足夠階可微的函數(shù)u

和v

滿足Green恒等式：2023/7/21第14頁Euler-Lagrange方程

伴隨算子定義：則有：(3-17)于是(3-10)式的Frechet微分為：(3-18)利用Green恒等式，對(3-15)式中第二項令：2023/7/21第15頁而由Frechet微分的定義知：所以，必須有：即：(3-19)此即Tikhonov函數(shù)E(F,h)

存在極值Fl(X)

的必要條件。如果(3-10)式所定義的正則化問題：有解的必要條件是：

Tikhonov函數(shù)E(F,h)

存在極值的必要條件(Euler-Lagrange方程

)2023/7/21第16頁(3-19)式是一個偏微分方程，欲解之，需做一些積分變換方面的數(shù)學(xué)準備。對于一個固定的x

，G(X,x)是X的函數(shù)且滿足邊界條件；在X=x

之外的所有點，G(X,x)關(guān)于X的所有導(dǎo)數(shù)都連續(xù)，導(dǎo)數(shù)的階數(shù)取決于微分算子L的形式。

G(X,x)作為X的函數(shù)，除在X=x

點之外，處處滿足微分方程：(3-20)如此定義的函數(shù)G(X,x)稱為微分算子L

的Green函數(shù)。而X=x

是函數(shù)G(X,x)的奇異點：LG(X,x)=d

(X–

x

)(3-21)即，Green函數(shù)具有重要性質(zhì)：例如：對于一階微分，u(t-t0)是一個Green函數(shù)：3.Green函數(shù)

給定微分算子L，定義一個函數(shù)G(X,x)滿足以下條件：2023/7/21第17頁Green函數(shù)應(yīng)用示例：令j

(X)

是的連續(xù)或分段連續(xù)函數(shù)，則是微分方程的解：(3-22)(3-23)證明：對(3-22)

式運用微分算子L

由于L

是關(guān)于

X

的算子，所以

Lj(x)=0，再將(3-21)：LG(X,x)=d(X-x)代入上式，并利用d

函數(shù)的偶特性和篩選性。(3-24)證畢.例如：一階常微方程

，將一階微分看作微分算子，前面已得知是算子L

的一個Green函數(shù)，于是，該常微方程的解為：因此，如果能夠找到了一個微分算子L的Green函數(shù)，那么，(3-22)式就是該微分算子構(gòu)成的形如(3-23)式的所有微分方程解的通式。

交換積分與求和的次序；

[di-Fl(Xi)]中沒有變量x

；利用d

函數(shù)的篩選特性。2023/7/21第18頁已經(jīng)得到Tikhonov函數(shù)的Euler-Lagrange方程（偏微分方程）：(3-19)上式的解就是(3-11)

式正則問題的解，重寫(3-11)

式：定義微分算子：以及函數(shù)：

(3-25)(3-26)將(3-19)改寫為：則，其解為：(3-27)4.求解正則化問題2023/7/21第19頁最后：Tikhonov正則化問題：解的形式為：(3-27)解的幾何意義是：給定數(shù)據(jù)樣本反求系統(tǒng)函數(shù)，其最佳重構(gòu)函數(shù)Fl(X)是N

個中心分別位于數(shù)據(jù)樣本X1,X2,…,XN

處的Green函數(shù)的加權(quán)求和，其權(quán)值分別為：其中：l

稱為正則參數(shù),l

越大擬合誤差越大但擬合函數(shù)Fl(X)的平坦性增強,反之，l

越小擬合誤差越小但函數(shù)Fl(X)的平坦性減弱。l

用于在擬合誤差與平坦性之間進行權(quán)衡。理想輸出與計算輸出之差2023/7/21第20頁令：(3-28)將正則化重構(gòu)過程用一個網(wǎng)絡(luò)表示，則wi

為權(quán)值，該網(wǎng)絡(luò)實現(xiàn)的計算為：(3-29)輸入一個給定的學(xué)習(xí)樣本Xj

，得到：(3-30)Fl(Xj)是重構(gòu)模型在

Xj點的計算值。即，N

個分別位于X1、X2、…、XN

的G(Xj,Xi)

在Xj

處的加權(quán)和。逐一輸入全部

N

個樣本，寫成矢量形式：(3-31)正則化網(wǎng)絡(luò)5.確定展開式的系數(shù)(正則化網(wǎng)絡(luò)權(quán)值的確定)學(xué)習(xí)樣本所對應(yīng)的輸出矢量：(3-32)再將中心位于

X1,X2,…,XN

的

N

個徑向基函數(shù)

G(X,X1),G(X,X2),…，G(X,XN),分別在N個學(xué)習(xí)樣本X1,X2,…,XN

處的取值寫成矩陣形式，即，Green矩陣：(3-33)將所有權(quán)值寫成權(quán)值矢量：注意到(3-28)上式可以寫成(3-34)(3-35)從(3-34)

和(3-35)中消去Fl

得到：(3-36)注意到算子

是“自伴隨的(Self–adjoint)”，與該算子關(guān)聯(lián)的Green函數(shù)G(X,x)具有對稱性，即：G(X1,X2)=G(X2,X1)，于是，Green矩陣也是對稱矩陣，即：G=GT?？梢赃x擇算子

L

使

(G+lI)非奇異。于是得到(3-38)此即正則重構(gòu)問題的學(xué)習(xí)算法，剩下的問題是如何選擇Green函數(shù)G。重構(gòu)函數(shù)關(guān)于輸入X1,X2,…，XN

的N

個計算值為：中心位于X2的Green函數(shù)分別在X1、X2、…、XN處的值第21頁2023/7/212023/7/21第22頁

用于擬合未知函數(shù)的正則化網(wǎng)絡(luò)所實現(xiàn)的運算：

正則化網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)算法為：

正則重構(gòu)問題學(xué)習(xí)算法歸納：

其中G(Xj,Xi)

是中心位于Xi

的Green函數(shù)在樣本Xj

處的取值；

X1,X2,…,XN

是給定的N輸入樣本矢量，d=[d1,

d2,

…,

dN]T

是與N個學(xué)習(xí)樣本相對應(yīng)的實測輸出。

其中，G為Green函數(shù)矩陣：2023/7/21第23頁正則化重構(gòu)問題的解可以寫成：可以證明，當算子D具有“移不變性(

Translationallyinvariant

)”和“回轉(zhuǎn)不變性(Rotationallyinvariant

)”時，Green函數(shù)為徑向基函數(shù)：G(X,X1)=G(||X-X1||)(3-40)作為擬合函數(shù)，具有以上性質(zhì)是必要的，因此，我們可以取(3-40)徑向基函數(shù)作為Green函數(shù)。于是，(3-41)以上得到的正則化重構(gòu)問題的解，是中心分別在輸入樣本處的一系列徑向基函數(shù)G(||X–Xi||)

的線性組合，徑向基函數(shù)的個數(shù)與樣本數(shù)量相同。但這個重構(gòu)函數(shù)與本章(3-4)所表示的擬合函數(shù)有著本質(zhì)上的區(qū)別，前者是擬合誤差與平滑性權(quán)衡的結(jié)果，而后者是誤差為0的擬合結(jié)果?？梢宰C明，曲線擬合是正則化重構(gòu)問題在l=0

時的特例。2023/7/21第24頁多變量Gaussian函數(shù)應(yīng)用最為廣泛的Green函數(shù)是多變量Gaussian函數(shù)：(3-42)其中Xi

是其中心所在，s

決定了鐘型的寬度。該函數(shù)所對應(yīng)的自伴隨算子為(Poggio

和Girosi，1990)：(3-43)其中而是m0

維的微分算子，并且(3-45)可以看到，L

包含了無窮階微分，是通常微分算子的線性組合，故而稱為“偽微分算子”。

2023/7/21

Gauss函數(shù)是最常用的Green函數(shù)，該函數(shù)所對應(yīng)的自伴隨微分算子包含無窮階微分，因此，可以控制擬合函數(shù)的平坦性。單變量Gauss函數(shù)：用于曲線擬合。樣本形式：擬合曲線(待求的系統(tǒng)模型)：

系數(shù)的確定方法：

m中心位于x2

的Green函數(shù)分別在x1、x2、…、xN

處的值第25頁2023/7/21第26頁曲線擬合實例給定一維輸入/輸出樣本：(1).用(3-33)式計算(12x12)

維Green矩陣fork=1:length(X) x0=X(k); forn=1:length(X) x1=X(n); G(n,k)=exp(-(x1-x0).^2/(2*s^2)); endend(2).用(3-38)式計算W:W=[-0.90304,1.9742,3.3065,2.3684,1.2824,1.6151,1.9849,1.2454,0.56755,1.0588,0.59034,2.4743]T

W=[-1.7724,3.0144,4.1495,3.8488,-0.2731,3.4744,0.99487,2.1451,-0.37586,3.0171,-1.4118,4.2776]T

l=0.1

時得到：l=0.3

時得到：(3).構(gòu)造正則擬合函數(shù)：Green矩陣：2023/7/21第27頁兩個變量的Gauss函數(shù)：圖中：X=[x1,x2]，X0=[-2,4

]X-X0=[(x1-2),(x2-4)

]||X-X0||2=(x1-2)2+(x2-4)2

所以只是二元函數(shù)的另一種寫法而已。

給定數(shù)據(jù)的形式：給定的輸入數(shù)據(jù)：

分別以每個輸入數(shù)據(jù)作為中心，求Gauss函數(shù)在各個輸入數(shù)據(jù)處的值：

forn=1:length(X)form=1:length(X)G(n,m)=exp(-norm(X(:,n)-X(:,m))^2);end

endW=inv(G-l*diag(ones(length(X),1)))*D';曲面擬合實例D=[1.0,-3.5,1.3,3.5,1.5]]當l=0.20時解得：

W=[0.7661,-8.1933,3.6933,6.9300,1.8222]]當

l=0.05時解得：

W=[0.7674,-6.0812,2.6178,5.2918,1.5471]]第28頁2023/7/21Matlab：W=

(inv(G-L.*diag(ones(1,100)))d，其中，d

=

[1,1,…,1,-1,-1,…,-1]’;

兩類分類作為曲面擬合問題給定兩類二維樣本的采樣點(100點)如圖所示。第一類樣本（紅）的類別取值為+1；第二類樣本（綠）的類別取值為-1。

1、計算(100x100)維Green矩陣

forn=1:100 form=1:100 u=norm(X(n,:)-X(m,:))*2/(2*s^2); G(m,n)=exp(-u); endend2、計算(100×1)維W

3、構(gòu)造包含100個徑向基函數(shù)的分類函數(shù)F(X)；4、對整個平面以0.25為間隔，逐行、逐點代入分類函數(shù)F(X)，當F(Xi)>0時在該點畫“*”，否則，不操作。第29頁2023/7/21l=0.1l=0.3

CH33dGaussFit：高斯曲面擬合； CH3CC：正則網(wǎng)分類； CH3Classify：不同lamda的分類效果。2006-10-12第30頁重構(gòu)模型：其中：一、方法歸納§3-6正則網(wǎng)絡(luò)給定樣本：待定參數(shù)：當徑向基函數(shù)：為Gauss函數(shù)時：樣本X為多維矢量：2006-10-12第31頁二、正則網(wǎng)絡(luò)(RegularizationNetwork)

網(wǎng)絡(luò)首層神經(jīng)元數(shù)量與樣本數(shù)量相同。網(wǎng)絡(luò)模型：

取Gaussian函數(shù)作為Green函數(shù)，第i

個神經(jīng)元的運算為：(1).全局近似器(Universalapproximator)，可以擬合任意曲線；(2).最佳擬合；(3).全局最優(yōu)，不存在局部最優(yōu)問題；特點：(4).神經(jīng)元個數(shù)與樣本數(shù)量N

相同，計算復(fù)雜度與N3

成正比。

給定N

個學(xué)習(xí)樣本后，由求得權(quán)值，即完成了學(xué)習(xí)。2006-10-12第32頁三、徑向基函數(shù)網(wǎng)絡(luò)(RadialBasedFunctionNetworks)解給出了正則化問題的一般形式，任何Green函數(shù)都可以作為構(gòu)成正則化網(wǎng)絡(luò)。當取

時稱為“徑向基函數(shù)網(wǎng)絡(luò)”，Gauss函數(shù)是最常用的徑向基函數(shù)。得到Gauss徑向基函數(shù)網(wǎng)絡(luò)的另一形式：如果令最后一個Gauss函數(shù)的s

=∞

，即：

徑向基函數(shù)網(wǎng)絡(luò)相應(yīng)的Green矩陣為：2006-10-12第33頁§3-7徑向基函數(shù)網(wǎng)絡(luò)

解決減少徑向基函數(shù)Ｇ(X,

Xi)數(shù)量：——

Galerkin方法。(3-52)假設(shè)擬合函數(shù)的形式為：其中：,為徑向基函數(shù)，N

為樣本數(shù)量。為待定的徑向基函數(shù)中心，為權(quán)值。(3-53)為了找到合理的權(quán)值再次運用(3-10)所示正則化方程：與前面不同的是，現(xiàn)在我們已經(jīng)知道了F*的形式，再次建立正則方程的目的，是在正則條件下尋找最佳的權(quán)矢量W

的解法。第34頁令：(重寫3-53)正則方程(RegularizationEquation)：(3-53)于是，(3-53)式第一項：其中：則：第35頁(3-53)式第二項有：再令：利用(3-16)式Euler-Lagrange方程：其中：這里，函數(shù)：

是微分算子

的Green函數(shù)：于是，得到正則方程(3-53)第二項：2006-10-12(3-55)令：則以上結(jié)論可寫成：正則方程(3-53)成為：由于函數(shù)F*形式已定，所以E只是權(quán)值W的函數(shù)：于是，(3-53)式正則化問題簡化為一個無約束函數(shù)優(yōu)化問題：得到：(3-56)式中：擬合函數(shù)：徑向基函數(shù)個數(shù)少于樣本數(shù)2006-10-12第37頁一、隨機選擇徑向基函數(shù)中心(Gaussian徑向基函數(shù))2、從N

個學(xué)習(xí)樣本中隨機地抽取

M

個做為徑向基函數(shù)的中心：3、計算兩兩中心之間距離，取其最大者構(gòu)造Gaussian函數(shù)：(3-57)(3-58)具體Gaussian函數(shù)為：1、依據(jù)有關(guān)問題的先驗知識，人為確定神經(jīng)元數(shù)量