BP神經(jīng)網(wǎng)絡(luò)基本原理簡介參考PPT

1、BP神經(jīng)網(wǎng)絡(luò)基本原理簡介,智能優(yōu)化算法課程展示,1,人工神經(jīng)網(wǎng)絡(luò)基本原理簡介,一個(gè)神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu),人工神經(jīng)網(wǎng)絡(luò)基本原理簡介,人工神經(jīng)元的模型 激活函數(shù) 網(wǎng)絡(luò)模型 工作方式,人工神經(jīng)元的模型,作為神經(jīng)網(wǎng)絡(luò)的基本元素，神經(jīng)元的模型如下,x1xn是從其他神經(jīng)元傳來的輸入信號 wij表示表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值 表示一個(gè)閾值 ( threshold )，或稱為偏置( bias,人工神經(jīng)元的模型,若用X表示輸入向量，用W表示權(quán)重向量： 則,神經(jīng)元的輸出與輸入的關(guān)系為,凈激活量,激活函數(shù),激活函數(shù),激活函數(shù)是對凈激活量與輸出進(jìn)行映射的函數(shù)。一些常用的激活函數(shù) 線性函數(shù)S形函數(shù) 閾值函數(shù) 雙極

2、S形函數(shù),激活函數(shù),S形和雙極S形函數(shù)圖像為,S形和雙極S形函數(shù)的導(dǎo)函數(shù)均為連續(xù)函數(shù),網(wǎng)絡(luò)模型,根據(jù)網(wǎng)絡(luò)中神經(jīng)元的互聯(lián)方式的不同，網(wǎng)絡(luò)模型分為： 前饋神經(jīng)網(wǎng)絡(luò) 只在訓(xùn)練過程會(huì)有反饋信號，而在分類過程中數(shù)據(jù)只能向前傳送，直到到達(dá)輸出層，層間沒有向后的反饋信號 反饋神經(jīng)網(wǎng)絡(luò) 從輸出到輸入具有反饋連接的神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)比前饋網(wǎng)絡(luò)要復(fù)雜得多 自組織網(wǎng)絡(luò) 通過自動(dòng)尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu),網(wǎng)絡(luò)模型,前饋神經(jīng)網(wǎng)絡(luò),反饋神經(jīng)網(wǎng)絡(luò),自組織網(wǎng)絡(luò),工作狀態(tài),神經(jīng)網(wǎng)絡(luò)的工作狀態(tài)分為學(xué)習(xí)和工作兩種狀態(tài) 學(xué)習(xí) 利用學(xué)習(xí)算法來調(diào)整神經(jīng)元間的連接權(quán)重，使得網(wǎng)絡(luò)輸出更符合實(shí)際 工作

3、神經(jīng)元間的連接權(quán)值不變，可以作為分類器 或者預(yù)測數(shù)據(jù)之用,工作狀態(tài),學(xué)習(xí)分為有導(dǎo)師學(xué)習(xí)與無導(dǎo)師學(xué)習(xí) 有導(dǎo)師學(xué)習(xí) 將一組訓(xùn)練集送入網(wǎng)絡(luò)，根據(jù)網(wǎng)絡(luò)的實(shí)際輸出與期望輸出間的差別來調(diào)整連接權(quán) 例如：BP算法 無導(dǎo)師學(xué)習(xí) 抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。 例如：Hebb學(xué)習(xí)率,BP算法(Back Propagation,采用BP學(xué)習(xí)算法的前饋神經(jīng)網(wǎng)絡(luò)稱為BP神經(jīng)網(wǎng)絡(luò),BP算法(Back Propagation,BP算法基本原理 利用輸出后的誤差來估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計(jì),信號

4、的正向傳播 隱含層輸入向量； 隱含層輸出向量; 輸出層輸入向量; 輸出層輸出向量; 期望輸出向量; 誤差函數(shù),BP算法(Back Propagation,首先，計(jì)算各層神經(jīng)元的輸入和輸出,BP算法(Back Propagation,第二步利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對輸出層的各神經(jīng)元的偏導(dǎo)數(shù),BP算法(Back Propagation,第三步：利用隱含層到輸出層的連接權(quán)值、輸出層的 和隱含層的輸出計(jì)算誤差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù),BP算法(Back Propagation,BP算法(Back Propagation,第四步，利用輸出層各神經(jīng)元的 和隱含層各神經(jīng)元的輸出來修正連接權(quán)值,是設(shè)置的學(xué)習(xí)率,BP算法(Back Propagation,第五步，利用隱含層各神經(jīng)元的 和輸入層各神經(jīng)元的輸入修正連接權(quán),BP算法(Back Propagation,第六步，計(jì)算全局誤差 第七步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個(gè)學(xué)習(xí)樣本及對應(yīng)的期望輸出，返回進(jìn)入下一輪學(xué)習(xí),參考資料： 1Richard O.Duda, Peter