BP神經(jīng)網(wǎng)絡(luò)基本原理簡介

BP神經(jīng)網(wǎng)絡(luò)基本原理簡介智能優(yōu)化算法課程展示人工神經(jīng)網(wǎng)絡(luò)基本原理簡介x1o1輸出層隱藏層輸入層x2o2omxn…………一個神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)：人工神經(jīng)網(wǎng)絡(luò)基本原理簡介人工神經(jīng)元的模型激活函數(shù)網(wǎng)絡(luò)模型工作方式人工神經(jīng)元的模型作為神經(jīng)網(wǎng)絡(luò)的基本元素，神經(jīng)元的模型如下：x1~xn是從其他神經(jīng)元傳來的輸入信號wij表示表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值θ表示一個閾值(threshold)，或稱為偏置(bias)。人工神經(jīng)元的模型若用X表示輸入向量，用W表示權(quán)重向量：則神經(jīng)元的輸出與輸入的關(guān)系為：凈激活量激活函數(shù)激活函數(shù)激活函數(shù)是對凈激活量與輸出進(jìn)行映射的函數(shù)。一些常用的激活函數(shù)線性函數(shù) S形函數(shù)閾值函數(shù)雙極S形函數(shù)激活函數(shù)S形和雙極S形函數(shù)圖像為：

S形和雙極S形函數(shù)的導(dǎo)函數(shù)均為連續(xù)函數(shù)。網(wǎng)絡(luò)模型根據(jù)網(wǎng)絡(luò)中神經(jīng)元的互聯(lián)方式的不同，網(wǎng)絡(luò)模型分為：前饋神經(jīng)網(wǎng)絡(luò)只在訓(xùn)練過程會有反饋信號，而在分類過程中數(shù)據(jù)只能向前傳送，直到到達(dá)輸出層，層間沒有向后的反饋信號反饋神經(jīng)網(wǎng)絡(luò)從輸出到輸入具有反饋連接的神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)比前饋網(wǎng)絡(luò)要復(fù)雜得多自組織網(wǎng)絡(luò)通過自動尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。網(wǎng)絡(luò)模型前饋神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)自組織網(wǎng)絡(luò)工作狀態(tài)神經(jīng)網(wǎng)絡(luò)的工作狀態(tài)分為學(xué)習(xí)和工作兩種狀態(tài)學(xué)習(xí)利用學(xué)習(xí)算法來調(diào)整神經(jīng)元間的連接權(quán)重，使得網(wǎng)絡(luò)輸出更符合實(shí)際工作神經(jīng)元間的連接權(quán)值不變，可以作為分類器或者預(yù)測數(shù)據(jù)之用。工作狀態(tài)學(xué)習(xí)分為有導(dǎo)師學(xué)習(xí)與無導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)將一組訓(xùn)練集送入網(wǎng)絡(luò)，根據(jù)網(wǎng)絡(luò)的實(shí)際輸出與期望輸出間的差別來調(diào)整連接權(quán)例如：BP算法無導(dǎo)師學(xué)習(xí)抽取樣本集合中蘊(yùn)含的統(tǒng)計特性，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。例如：Hebb學(xué)習(xí)率BP算法(BackPropagation)采用BP學(xué)習(xí)算法的前饋神經(jīng)網(wǎng)絡(luò)稱為BP神經(jīng)網(wǎng)絡(luò)BP算法(BackPropagation)BP算法基本原理利用輸出后的誤差來估計輸出層的直接前導(dǎo)層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。信號的正向傳播&誤差的反向傳播BP算法(BackPropagation)正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出不符誤差反