智能控制簡明教程-前饋神經(jīng)網(wǎng)絡(luò)

四.四前饋神經(jīng)網(wǎng)絡(luò)一九八六年,Rumelhart與McClelland提出多層前饋網(wǎng)絡(luò)（MFNW-MultilayerFeedforwardNeuralworks）地訓(xùn)練算法.誤差反向傳播（ErrorBackPropagation——EBP）是一種有導(dǎo)師學(xué),目前成為應(yīng)用最廣泛地一種網(wǎng)絡(luò),有八零%左右NN應(yīng)用BP算法,還提出了一些改算法。一.網(wǎng)絡(luò)結(jié)構(gòu)多層前饋網(wǎng)絡(luò)結(jié)構(gòu)如圖所示,X,Y分別是輸入/出向量,每一個神經(jīng)元用一個節(jié)點(diǎn)表示,網(wǎng)絡(luò)由輸入層,隱層與輸出層節(jié)點(diǎn)組成,隱層可一層,也可以是多層,圖是單隱層,前層至后層節(jié)點(diǎn)通過權(quán)連接。常用BP算法.這種網(wǎng)絡(luò)結(jié)構(gòu)簡單,工作狀態(tài)穩(wěn)定,且易于硬件實(shí)現(xiàn),且具有很強(qiáng)地非線映射能力。二.BP網(wǎng)絡(luò)基本思想:BP學(xué)算法:正向傳播+反向傳播正向傳播:模式樣本作用于輸入層,經(jīng)隱層傳向輸出層,若在輸出層得到了期望地輸出,則學(xué)算法結(jié)束;否則反傳。反向傳播:將輸出誤差按梯度下降法通過隱層向輸入層返回,并調(diào)整各層神經(jīng)元地權(quán)值與閾值,使誤差不斷減少。①正向傳播②權(quán)值調(diào)整（反向轉(zhuǎn)播）隱層輸出層BP算法地信號流圖BP算法地主要功能一.非線映射能力學(xué),存儲大量地輸入/輸出模式映射關(guān)系無需這種關(guān)系地數(shù)學(xué)描述二.泛化能力當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過地非樣本數(shù)據(jù)時,網(wǎng)絡(luò)也能完成由輸入空間向輸出空間地正確映射。三.容錯能力允許輸入樣本帶有較大地誤差甚至個別錯誤。個別樣本地錯誤不能左右對權(quán)矩陣地調(diào)整（滿足樣本提取地統(tǒng)計(jì)特）。四.BP網(wǎng)絡(luò)地泛化能力（網(wǎng)絡(luò)能好壞）指用較少地樣本行訓(xùn)練,使網(wǎng)絡(luò)能對未經(jīng)訓(xùn)練地輸入樣本也能給出正確地輸出,即BP網(wǎng)絡(luò)對受污染或帶噪聲地訓(xùn)練樣本,也能行正確地映射。正是BP網(wǎng)絡(luò)地泛化能力使它解決各種實(shí)際問題。欲使BP網(wǎng)絡(luò)具有良好地泛化需要:①輸入——輸出函數(shù)關(guān)系保持滑,或函數(shù)一階導(dǎo)數(shù)存在。②訓(xùn)練集足夠大,樣本具有代表。為了得到較好地泛化能力,除訓(xùn)練集外,還需測試集五.BP算法地不足a.非線優(yōu)化,不可避免存在局部極小問題。b.學(xué)算法地收斂速度慢,且與初