數(shù)據(jù)挖掘向后傳播算法

1、后向傳播分類什么是后向傳播？后向傳播是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的定義神經(jīng)網(wǎng)絡(luò)是一組連接的輸入/輸岀單元，其中每個連接都與一 個權(quán)相相聯(lián)。在學(xué)習(xí)階段，通過調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)，使得能夠預(yù) 測輸入樣本的正確類標(biāo)號來學(xué)習(xí)，由于單元間的連接，神經(jīng)網(wǎng)絡(luò) 學(xué)習(xí)又稱為連接者學(xué)習(xí)多向前饋神經(jīng)網(wǎng)絡(luò)定義網(wǎng)絡(luò)拓?fù)鋵斎胫狄?guī)格化，使他們落入0.0到1.0之間離散值屬性可重新編碼，是的每個閾值 一個輸入單元一個輸岀單元可以用來表示兩個類，如 果多于兩個類，每個類使用一個輸岀單 元后向傳播JBAW播.唸中后劃傳提笄法花祥經(jīng)豹紹廿類學(xué)習(xí).入-I：練豐羊本 心 Jg 于丄J辛 h 多呈 酣箴 M納nes4出豊一亍訓(xùn)煉的、芯樣

2、本竹契比祚經(jīng)阿絡(luò).力i亂D初始立喚杓論肌權(quán)和臨畫2j while 錯上條件不洪足 13J far stoles中Rt毎個訓(xùn)練樣本K 4) /句前傳播卷入5) far 隱藏或鮭H1層每個單元丿1&廠=藝嚴(yán)*億一日門集對于時一層門計算單元的淨(jìng) 、7) ?. =L/!一7:/ &八后旬傳播映差/計算單元/的愉出¥旨罰傳播算法萍:出層毎個草元/Err . = O . 10 U . - fZ ) 8 / 計城瞑荃fear 由殘后一個到第一個隱藏層-茁于隱裁層毎個單沅/£",=。沁L-Q工上£“叭 /計算芙于匸一個安心層比的課差 for 宓芒酚口?中

3、毎個収兀 3氐；=/I Err . O2 s / 權(quán)増值叫=叫5，"權(quán)更新fear 山興毗丁中毎牛偽差&£ =/)£rr . :/ 偉差壇血召.=0 召心.：心偽址更新XSJ后向傳播初始化權(quán)網(wǎng)絡(luò)的權(quán)初空臺化為很小的隨機(jī)數(shù)，每個單元有個偏置，偏置 也類似地初女£化為小隨機(jī)數(shù)向前傳播輸入計算隱藏層和輸出層每個單元的凈輸入和輸出：訓(xùn)練樣本提供給網(wǎng)絡(luò)的輸入層；隱藏層和輸出層的每個單元的凈輸入用其輸入的線性組合計算輸入前一層 的輸岀）圖鑫10一盡澆藏或轍出單兀気 丿的藏入是耒口前一層的這些與對應(yīng)的權(quán)相乘.以形成加權(quán)和:：加權(quán)和加到與單元丿相聯(lián)的偏置 he

4、一幾非線性的咽活函數(shù)用子凈輸入通過更新權(quán)和反映網(wǎng)絡(luò)預(yù)測誤差的偏置，向 后傳播誤差。對于輸出層單元j,誤差Errjffl 下式計算: 旳=Oj（1- oj）（r. - °）隱藏層單兀j的誤差是：E” = 0 （I ：反E/t.牡更新權(quán)和偏差，式更新：以反映傳播的誤差，權(quán)由下啊=（l）Err.O；i6 ： = 6：+ 40，JJJ毎止條件訓(xùn)爍俘止，颯-IH3撕有酬淵太小，小于某飾定5W魚或 fl嘛1鹹I財分漏他 或-超過預(yù)先扌靛的聯(lián)也熾啊權(quán)購可幣要針方錮亂«7.5那立后向椅曲祛學(xué)習(xí)的樣本計算.婁LIL給出了一個多層加謖祎逢與絡(luò).設(shè)學(xué)習(xí)率 為D.乩該網(wǎng)塔的初始權(quán)值和備覽值次負(fù)第一

5、個訓(xùn)媒祥本.r= 1汽.:（其類標(biāo)號為1柱碾工3中 給出.圖7.11多層酣饋祥經(jīng)網(wǎng)塔的一個另子表二/初嬢艙入、權(quán)值和偏差值號第-懶粗該碾祐勺觥棘甘加Sftjm WSfOO 獻(xiàn)禰乩曲讎和.4札料耐艇齪葛將確擒囁齡齡口權(quán)繃 凱珊在斯卿Jiu>.讎入禰出曲計爍I 讎入 ijSSoj11略H =加1+ (14fiD I =3-t3+MM2 = |Q.雞6耳馳般卜02血鑑出1+(1')=0.525l+(l+etlffi)=0.474L6= rttaiUWiSt .< 權(quán)或 筍柬-J. 3 i-j. 9：'«：.mi：' VLL jj2：'=w”Yi2

6、弓L-0.2 + 他的(4131)©. 525)= P. 138Q2 t (fl. 9) (-ft M87) (1) = (J. 192-0. 3* 覘giKl.CKl茁)=T. 3朋44 4 (0. ® H. «87) (0) = <L4. 1 1 +<006-5) (<05 = 0. 1勺.卜0.®卜0衛(wèi)俯7) (1)= T.泗0.2 + (0.尋)(-0. -0065： (I? = 0. 1J ：1 l + «l.5：i 迫.打II) = 0.213 a 2+«r. 9)(-. M65)= a i 事 包 片他

7、 9：1 t；P(KBT) = -a 4 -業(yè)E捱岀了一些后向憐播懷法施支璀和瞽他 用于補盤網(wǎng)絡(luò)分抵 寇些可儺誅凰網(wǎng)絡(luò)拓村耳學(xué) 習(xí)生戎莖三鑫甦姑嗽衣活？i，4tt用平匯帆決蔓函戲后向傳播可解釋性神經(jīng)網(wǎng)絡(luò)的主要缺點是其知識的表示，解決方法包括由網(wǎng)絡(luò)提 取規(guī)則和靈敏度分析神經(jīng)網(wǎng)絡(luò)提取規(guī)則第一步通常是網(wǎng)絡(luò)剪枝，該步通過剪去對訓(xùn) 練網(wǎng)絡(luò)影響最小的加權(quán)鏈簡化網(wǎng)絡(luò)結(jié)構(gòu) 一旦訓(xùn)練網(wǎng)絡(luò)已被剪枝，一些方法將進(jìn)行鏈、單元或活躍值的 聚類分析每個隱藏單元的這些活躍值，導(dǎo)出涉及這些活躍值與對應(yīng) 輸出單元值組合的規(guī)則，類似的，研究輸入值和活躍值的集合, 導(dǎo)出描述輸入和隱藏單元層聯(lián)系的規(guī)則兩個規(guī)則結(jié)合形成IF-THEN規(guī)則或?qū)С銎渌问降囊?guī)則，包括 M-OF-N規(guī)則，具有MOFN測試的判定樹、模糊規(guī)則和有窮 自動機(jī)后向傳播可解