第五課-徑向基函數(shù)網(wǎng)絡(luò)(RBFN)-人工神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用-教學(xué)課件

人工神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用屈楨深哈爾濱工業(yè)大學(xué)5.徑向基函數(shù)網(wǎng)絡(luò)(RBFN)人工神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用屈楨深5.徑向基函數(shù)網(wǎng)絡(luò)(RBFN)1主要內(nèi)容預(yù)備知識：QR分解RBFN學(xué)習(xí)算法RBFN網(wǎng)絡(luò)結(jié)構(gòu)MATLAB實(shí)現(xiàn)主要內(nèi)容預(yù)備知識：QR分解2準(zhǔn)備知識：矩陣QR分解非奇異矩陣P的正交三角分解：P=QR證明思路：對P中各向量進(jìn)行正交化，準(zhǔn)備知識：矩陣QR分解非奇異矩陣P的正交三角分解：P=QR3RBFN——思路任務(wù)：根據(jù)t,P,計算wRBFN——思路任務(wù)：根據(jù)t,P,計算w4RBFN——計算方法RBFN——計算方法5RBFN——分析進(jìn)一步，有對應(yīng)索引i的信號分量在原始信號中的總能量記為：為①決定哪些分量最重要②迭代計算qi思路：從最重要的(對應(yīng)最大的)找起，按順序搜索。RBFN——分析進(jìn)一步，有6RBFN——迭代步驟IRBFN——迭代步驟I7RBFN——迭代步驟IRBFN——迭代步驟I8RBFN——迭代步驟IIRBFN——迭代步驟II9RBFN——迭代步驟III重復(fù)上述過程，直至T<1為指定預(yù)設(shè)值RBFN——迭代步驟III重復(fù)上述過程，直至10RBFN——網(wǎng)絡(luò)結(jié)構(gòu)……x1xnwy徑向基函數(shù)層RBFN——網(wǎng)絡(luò)結(jié)構(gòu)……x1xnwy徑向基函數(shù)層11MATLABRBFN:徑向基神經(jīng)元模型MATLABRBFN:徑向基神經(jīng)元模型12MATLABRBFN:RBFN網(wǎng)絡(luò)模型MATLABRBFN:RBFN網(wǎng)絡(luò)模型13RBFN訓(xùn)練方法：無導(dǎo)師學(xué)習(xí)類似k-聚類學(xué)習(xí)算法：(1)給定隱含層神經(jīng)元初始中心ci(0);(2)計算歐式距離，求出最小節(jié)點(diǎn)；RBFN訓(xùn)練方法：無導(dǎo)師學(xué)習(xí)類似k-聚類學(xué)習(xí)算法：14RBFN訓(xùn)練方法：無導(dǎo)師學(xué)習(xí)(2)(3)調(diào)整中心(4)重復(fù)上述步驟RBFN訓(xùn)練方法：無導(dǎo)師學(xué)習(xí)(2)15MATLABRBFN:RBFN設(shè)計函數(shù)RBFN設(shè)計和訓(xùn)練合一net=newrbe(P,T,SPREAD)對每一個輸入樣本對應(yīng)一個RBF神經(jīng)元；Spread控制RBF形狀，^光滑當(dāng)出現(xiàn)Rankdeficient時，應(yīng)減小spread重新設(shè)計MATLABRBFN:RBFN設(shè)計函數(shù)RBFN設(shè)計和訓(xùn)練16MATLABRBFN:RBFN設(shè)計函數(shù)(2)

[net,tr]=newrb(P,T,GOAL,SPREAD,MN,DF)自動計算RBF神經(jīng)元個數(shù)；GOAL為最小誤差；MN：最大神經(jīng)元數(shù)目；DF：每次遞增數(shù)MATLABRBFN:RBFN設(shè)計函數(shù)(2)[net17newrb創(chuàng)建過程以所有樣本輸入網(wǎng)絡(luò)，找到誤差最大樣本；增加一個(或多個)隱含層神經(jīng)元，中心值c與該樣本向量相同；重新調(diào)整w,使誤差最??；如果誤差滿足要求或神經(jīng)元數(shù)量足夠多，退出，否則繼續(xù)上述過程；newrb創(chuàng)建過程以所有樣本輸入網(wǎng)絡(luò)，找到誤差最大樣本；18RBFN示例(1)rbSin通過sin函數(shù)測試rbfn性能(非?？?為什么？)對比newrb和newrbe神經(jīng)元數(shù)目RBFN示例(1)rbSin19RBFN示例(2)通過一個復(fù)雜的函數(shù)演示不同參數(shù)影響rbESin最大神經(jīng)元數(shù)目Spread值最大神經(jīng)元數(shù)目取小，和BP比較逼近能力RBFN示例(2)通過一個復(fù)雜的函數(shù)演示不同參數(shù)影響20

Chen,S.,C.F.N.Cowan,P.M.Grant,“OrthogonalLeastSquaresLearningAlgorithmforRadialBasisFunctionNetworks,”IEEETrans.NN,2(2):302-309,1991程云鵬，矩陣論(第2版)，pp.196-219徐麗娜，神經(jīng)網(wǎng)絡(luò)控制，2-6節(jié)，附錄C,D神經(jīng)網(wǎng)絡(luò)模型及其MATLAB仿真程序設(shè)計，第六章黃德雙，神經(jīng)網(wǎng)絡(luò)模式識別系統(tǒng)理論，4.3節(jié)參考文獻(xiàn)Chen,S.,C.F.N.Cowan,P.M.21人工神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用屈楨深哈爾濱工業(yè)大學(xué)5.徑向基函數(shù)網(wǎng)絡(luò)(RBFN)人工神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用屈楨深5.徑向基函數(shù)網(wǎng)絡(luò)(RBFN)22主要內(nèi)容預(yù)備知識：QR分解RBFN學(xué)習(xí)算法RBFN網(wǎng)絡(luò)結(jié)構(gòu)MATLAB實(shí)現(xiàn)主要內(nèi)容預(yù)備知識：QR分解23準(zhǔn)備知識：矩陣QR分解非奇異矩陣P的正交三角分解：P=QR證明思路：對P中各向量進(jìn)行正交化，準(zhǔn)備知識：矩陣QR分解非奇異矩陣P的正交三角分解：P=QR24RBFN——思路任務(wù)：根據(jù)t,P,計算wRBFN——思路任務(wù)：根據(jù)t,P,計算w25RBFN——計算方法RBFN——計算方法26RBFN——分析進(jìn)一步，有對應(yīng)索引i的信號分量在原始信號中的總能量記為：為①決定哪些分量最重要②迭代計算qi思路：從最重要的(對應(yīng)最大的)找起，按順序搜索。RBFN——分析進(jìn)一步，有27RBFN——迭代步驟IRBFN——迭代步驟I28RBFN——迭代步驟IRBFN——迭代步驟I29RBFN——迭代步驟IIRBFN——迭代步驟II30RBFN——迭代步驟III重復(fù)上述過程，直至T<1為指定預(yù)設(shè)值RBFN——迭代步驟III重復(fù)上述過程，直至31RBFN——網(wǎng)絡(luò)結(jié)構(gòu)……x1xnwy徑向基函數(shù)層RBFN——網(wǎng)絡(luò)結(jié)構(gòu)……x1xnwy徑向基函數(shù)層32MATLABRBFN:徑向基神經(jīng)元模型MATLABRBFN:徑向基神經(jīng)元模型33MATLABRBFN:RBFN網(wǎng)絡(luò)模型MATLABRBFN:RBFN網(wǎng)絡(luò)模型34RBFN訓(xùn)練方法：無導(dǎo)師學(xué)習(xí)類似k-聚類學(xué)習(xí)算法：(1)給定隱含層神經(jīng)元初始中心ci(0);(2)計算歐式距離，求出最小節(jié)點(diǎn)；RBFN訓(xùn)練方法：無導(dǎo)師學(xué)習(xí)類似k-聚類學(xué)習(xí)算法：35RBFN訓(xùn)練方法：無導(dǎo)師學(xué)習(xí)(2)(3)調(diào)整中心(4)重復(fù)上述步驟RBFN訓(xùn)練方法：無導(dǎo)師學(xué)習(xí)(2)36MATLABRBFN:RBFN設(shè)計函數(shù)RBFN設(shè)計和訓(xùn)練合一net=newrbe(P,T,SPREAD)對每一個輸入樣本對應(yīng)一個RBF神經(jīng)元；Spread控制RBF形狀，^光滑當(dāng)出現(xiàn)Rankdeficient時，應(yīng)減小spread重新設(shè)計MATLABRBFN:RBFN設(shè)計函數(shù)RBFN設(shè)計和訓(xùn)練37MATLABRBFN:RBFN設(shè)計函數(shù)(2)

[net,tr]=newrb(P,T,GOAL,SPREAD,MN,DF)自動計算RBF神經(jīng)元個數(shù)；GOAL為最小誤差；MN：最大神經(jīng)元數(shù)目；DF：每次遞增數(shù)MATLABRBFN:RBFN設(shè)計函數(shù)(2)[net38newrb創(chuàng)建過程以所有樣本輸入網(wǎng)絡(luò)，找到誤差最大樣本；增加一個(或多個)隱含層神經(jīng)元，中心值c與該樣本向量相同；重新調(diào)整w,使誤差最?。蝗绻`差滿足要求或神經(jīng)元數(shù)量足夠多，退出，否則繼續(xù)上述過程；newrb創(chuàng)建過程以所有樣本輸入網(wǎng)絡(luò)，找到誤差最大樣本；39RBFN示例(1)rbSin通過sin函數(shù)測試rbfn性能(非?？?為什么？)對比newrb和newrbe神經(jīng)元數(shù)目RBFN示例(1)rbSin40RBFN示例(2)通過一個復(fù)雜的函數(shù)演示不同參數(shù)影響rbESin最大神經(jīng)元數(shù)目Spread值最大神經(jīng)元數(shù)目取小，和BP比較逼近能力RBFN示例(2)通過一個復(fù)雜的函數(shù)演示不同參數(shù)影響41

Chen,S.,C.F.N.Cowan,P.M.Grant,“OrthogonalLeastSquaresLearningAlgorithmforRadialBasisFunctionNetworks,”