人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)

1、人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)1人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第6章BP神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)2一、內(nèi)容回顧內(nèi)容回顧二、二、BPBP網(wǎng)絡(luò)網(wǎng)絡(luò)三、網(wǎng)絡(luò)設(shè)計(jì)三、網(wǎng)絡(luò)設(shè)計(jì)四、改進(jìn)四、改進(jìn)BPBP網(wǎng)絡(luò)網(wǎng)絡(luò)五、內(nèi)容小結(jié)五、內(nèi)容小結(jié)內(nèi)容安排人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)3一、內(nèi)容回顧 感知機(jī)感知機(jī)自適應(yīng)線性元件自適應(yīng)線性元件人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)4一、內(nèi)容回顧 感知機(jī)感知機(jī)感知機(jī)簡介感知機(jī)簡介神經(jīng)元模型神經(jīng)元模型網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)功能解釋功能解釋學(xué)習(xí)和訓(xùn)練學(xué)習(xí)和訓(xùn)練局限性局限性自適應(yīng)線性元件自適應(yīng)線性元件人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)5一、內(nèi)容回顧 感知

2、機(jī)感知機(jī)自適應(yīng)線性元件自適應(yīng)線性元件AdlineAdline簡介簡介網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練網(wǎng)絡(luò)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)62.1 BPBP網(wǎng)絡(luò)簡介網(wǎng)絡(luò)簡介2.2 2.2 網(wǎng)絡(luò)模型網(wǎng)絡(luò)模型2.3 2.3 學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則2.4 2.4 圖形解釋圖形解釋2.5 2.5 網(wǎng)絡(luò)訓(xùn)練網(wǎng)絡(luò)訓(xùn)練二、BP網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)7反向傳播網(wǎng)絡(luò)反向傳播網(wǎng)絡(luò)(Back-Propagation Network(Back-Propagation Network，簡，簡稱稱BPBP網(wǎng)絡(luò)網(wǎng)絡(luò)) )是將是將W-HW-H學(xué)習(xí)規(guī)則一般化，學(xué)習(xí)規(guī)則一般化， 對對非線性可微分函數(shù)

3、非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò) 權(quán)值的調(diào)整采用權(quán)值的調(diào)整采用反向傳播反向傳播(Back-propagation(Back-propagation）的學(xué)習(xí)算法的學(xué)習(xí)算法它是一種它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的，其神經(jīng)元的變換函數(shù)是變換函數(shù)是S S型函數(shù)型函數(shù)輸出量為輸出量為0 0到到1 1之間之間的的連續(xù)量連續(xù)量，它可實(shí)現(xiàn)從輸入，它可實(shí)現(xiàn)從輸入到輸出的到輸出的任意的非線性映射任意的非線性映射2.1 BP神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)8 BPBP網(wǎng)絡(luò)主要用于下述方面網(wǎng)絡(luò)主要用于下述方面函數(shù)逼近函數(shù)逼近：用輸入矢量和相應(yīng)的輸出

4、矢量訓(xùn)：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù)練一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù)模式識別和分類模式識別和分類：用：用一個(gè)特定的輸出矢量將一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)系起來它與輸入矢量聯(lián)系起來；把輸入矢量以所定；把輸入矢量以所定義的合適方式進(jìn)行分類；義的合適方式進(jìn)行分類；數(shù)據(jù)壓縮數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或：減少輸出矢量維數(shù)以便于傳輸或存儲存儲 具有較強(qiáng)泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，具有較強(qiáng)泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外的輸入使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外的輸入 泛化性能只對被訓(xùn)練的輸入輸出在最大值范泛化性能只對被訓(xùn)練的輸入輸出在最大值范圍內(nèi)的數(shù)

5、據(jù)有效，即圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡(luò)具有內(nèi)插值特性，不網(wǎng)絡(luò)具有內(nèi)插值特性，不具有外插值性具有外插值性。超出最大訓(xùn)練值的輸入必將產(chǎn)。超出最大訓(xùn)練值的輸入必將產(chǎn)生大的輸出誤差生大的輸出誤差2.1 BP神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)92.2 網(wǎng)絡(luò)模型一個(gè)具有一個(gè)具有r r個(gè)個(gè)輸入輸入和一個(gè)和一個(gè)隱含層隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)10 感知器感知器和和自適應(yīng)線性元件自適應(yīng)線性元件的主要差別在激活函的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的數(shù)上：前者是二值型的，后者是線性的 BPBP網(wǎng)絡(luò)具有網(wǎng)絡(luò)具有一層或多層隱含層一層或多層隱含

6、層，除了在多層網(wǎng)，除了在多層網(wǎng)絡(luò)上與前面已介紹過的模型有不同外，其主要絡(luò)上與前面已介紹過的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。差別也表現(xiàn)在激活函數(shù)上。 BPBP網(wǎng)絡(luò)的網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的激活函數(shù)必須是處處可微的，因此它，因此它不能采用二值型的閥值函數(shù)不能采用二值型的閥值函數(shù)00，11或符號函數(shù)或符號函數(shù) 1 1，11 BPBP網(wǎng)絡(luò)經(jīng)常使用的是網(wǎng)絡(luò)經(jīng)常使用的是S S型型的對數(shù)或正切激活函數(shù)的對數(shù)或正切激活函數(shù)和線性函數(shù)和線性函數(shù)2.1 網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)11 BPBP網(wǎng)絡(luò)特點(diǎn)網(wǎng)絡(luò)特點(diǎn) 輸入和輸出是并行的模擬量輸入和輸出是并行的模擬量 網(wǎng)絡(luò)的輸入輸出關(guān)

7、系由各層連接的權(quán)因子決定，沒有網(wǎng)絡(luò)的輸入輸出關(guān)系由各層連接的權(quán)因子決定，沒有固定的算法固定的算法 權(quán)因子通過學(xué)習(xí)信號調(diào)節(jié)。學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明權(quán)因子通過學(xué)習(xí)信號調(diào)節(jié)。學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明 隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個(gè)別權(quán)因子的損隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個(gè)別權(quán)因子的損壞不會對網(wǎng)絡(luò)輸出產(chǎn)生大的影響壞不會對網(wǎng)絡(luò)輸出產(chǎn)生大的影響 只有當(dāng)希望對網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在只有當(dāng)希望對網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在0 0和和1 1之之間，那么在間，那么在輸出層輸出層應(yīng)當(dāng)包含應(yīng)當(dāng)包含S S型激活函數(shù)型激活函數(shù) 在在一般情況一般情況下，均是在下，均是在隱含層采用隱含層采用S S型激活函數(shù)型激活函數(shù)

8、，而，而輸出層采用線性激活函數(shù)輸出層采用線性激活函數(shù)2.1 網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)12 S S型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負(fù)無型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負(fù)無窮大到正無窮大的信號，變換成窮大到正無窮大的信號，變換成-1-1到到l l之間輸出之間輸出 對較大的輸入信號，放大系數(shù)較??；而對較小的輸入信對較大的輸入信號，放大系數(shù)較?。欢鴮^小的輸入信號，放大系數(shù)則較大號，放大系數(shù)則較大 采用采用S S型激活函數(shù)可以處理和逼近非線性輸入型激活函數(shù)可以處理和逼近非線性輸入/ /輸出關(guān)系輸出關(guān)系2.1 網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)132

9、.3學(xué)習(xí)規(guī)則 BPBP算法屬于算法屬于算法，是一種算法，是一種監(jiān)督式的學(xué)習(xí)算法監(jiān)督式的學(xué)習(xí)算法 主要思想主要思想 對于對于q q個(gè)輸入學(xué)習(xí)樣本：個(gè)輸入學(xué)習(xí)樣本：P P1,1,P P2,2,P Pq q，已知與其對應(yīng)的，已知與其對應(yīng)的輸出樣本為：輸出樣本為：T T1,1,T T2,2,T Tq q 使網(wǎng)絡(luò)輸出層的使網(wǎng)絡(luò)輸出層的誤差平方和誤差平方和達(dá)到最小達(dá)到最小 用網(wǎng)絡(luò)的實(shí)際輸出用網(wǎng)絡(luò)的實(shí)際輸出A A1,1,A A2,2,A Aq, q, 與目標(biāo)矢量與目標(biāo)矢量T T1,1,T T2,2,T Tq q之間的誤差修改其權(quán)值，使之間的誤差修改其權(quán)值，使A Am m與期望的與期望的T Tm,m,( (m

10、 ml,ql,q) )盡可能接近盡可能接近人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)14 BPBP算法是由兩部分組成算法是由兩部分組成, ,信息的信息的正向傳遞與誤差正向傳遞與誤差的反向傳播的反向傳播 正向傳播正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層計(jì)過程中，輸入信息從輸入層經(jīng)隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)經(jīng)元的狀態(tài) 如果在輸出層未得到期望的輸出，則計(jì)算輸出層的誤如果在輸出層未得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向差變化值，然后轉(zhuǎn)向反向傳播反向傳播，通過網(wǎng)絡(luò)將誤差信號，通過網(wǎng)絡(luò)將誤差信號沿原來的連接

11、通路沿原來的連接通路反傳回反傳回來修改各層神經(jīng)元的權(quán)值直來修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)至達(dá)到期望目標(biāo)2.3學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)15 假設(shè)假設(shè)輸入輸入為為P P，輸入神經(jīng)元輸入神經(jīng)元有有r r個(gè)，個(gè)，隱含層隱含層內(nèi)有內(nèi)有s1s1個(gè)神經(jīng)個(gè)神經(jīng)元，激活函數(shù)為元，激活函數(shù)為F1F1，輸出層輸出層內(nèi)有內(nèi)有s2s2個(gè)神經(jīng)元，對應(yīng)的激個(gè)神經(jīng)元，對應(yīng)的激活函數(shù)為活函數(shù)為F2F2，輸出為，輸出為A A，目標(biāo)矢量為，目標(biāo)矢量為T T2.3學(xué)習(xí)規(guī)則.人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)16 信息的正向傳遞信息的正向傳遞 隱含層中第隱含層中第i i個(gè)神經(jīng)元的輸出個(gè)神經(jīng)元的輸出 輸出

12、層第輸出層第k k個(gè)神經(jīng)元的輸出個(gè)神經(jīng)元的輸出 定義誤差函數(shù)定義誤差函數(shù)2.3學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)172.3學(xué)習(xí)規(guī)則 利用梯度下降法求權(quán)值變化及誤差的反向傳播利用梯度下降法求權(quán)值變化及誤差的反向傳播 輸出層的權(quán)值變化輸出層的權(quán)值變化 其中其中 同理可得同理可得人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)182.3學(xué)習(xí)規(guī)則 利用梯度下降法求權(quán)值利用梯度下降法求權(quán)值變化及誤差的反向傳播變化及誤差的反向傳播 輸入到隱含層權(quán)值變化輸入到隱含層權(quán)值變化 其中其中 同理可得同理可得21212111211(2 )221skiijkijkiijskkkijijjkaaEEwwaawtafw

13、fpp 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)19 對于對于f1為對數(shù)為對數(shù)S型激活函數(shù)：型激活函數(shù)： 對于對于f2為線性激活函數(shù)為線性激活函數(shù)2.3學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)202.4 誤差反向傳播圖形解釋 誤差反向傳播過程實(shí)際上是通過計(jì)算誤差反向傳播過程實(shí)際上是通過計(jì)算輸出層的誤差輸出層的誤差e ek k，然后，然后將其與輸出層激活函數(shù)的將其與輸出層激活函數(shù)的一階導(dǎo)數(shù)一階導(dǎo)數(shù)f2f2相乘相乘來求得來求得kiki 由于隱含層中沒有直接給出目標(biāo)矢量，所以利用輸出層的由于隱含層中沒有直接給出目標(biāo)矢量，所以利用輸出層的kiki反向傳遞來求出隱含層權(quán)值的變化量反向傳遞來求出隱含層

14、權(quán)值的變化量w2w2kiki。然后計(jì)算。然后計(jì)算 同樣通過將同樣通過將e ei i與該層激活函數(shù)的一階導(dǎo)數(shù)與該層激活函數(shù)的一階導(dǎo)數(shù)f1f1相乘，而求得相乘，而求得ijij，以此求出前層權(quán)值的變化量，以此求出前層權(quán)值的變化量w1w1ijij 如果前面還有隱含層，沿用上述同樣方法依此類推，一直如果前面還有隱含層，沿用上述同樣方法依此類推，一直將輸出誤差將輸出誤差e ek k逐層的反推算到第一層為止逐層的反推算到第一層為止人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)212.4 誤差反向傳播圖形解釋人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)222.5 網(wǎng)絡(luò)訓(xùn)練 訓(xùn)練訓(xùn)練BPBP網(wǎng)絡(luò)，需要計(jì)算網(wǎng)絡(luò)加權(quán)輸入矢量以及

15、網(wǎng)絡(luò)，需要計(jì)算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和網(wǎng)絡(luò)輸出和誤差矢量誤差矢量，然后，然后求誤差平方和求誤差平方和 當(dāng)所訓(xùn)練矢量的誤差平方和當(dāng)所訓(xùn)練矢量的誤差平方和小于誤差目標(biāo)小于誤差目標(biāo)，訓(xùn)訓(xùn)練停止練停止；否則在輸出層計(jì)算誤差變化，且采用；否則在輸出層計(jì)算誤差變化，且采用反向傳播學(xué)習(xí)規(guī)則來調(diào)整權(quán)值反向傳播學(xué)習(xí)規(guī)則來調(diào)整權(quán)值，然后重復(fù)此過，然后重復(fù)此過程程 網(wǎng)絡(luò)完成訓(xùn)練后，對網(wǎng)絡(luò)輸入一個(gè)不是訓(xùn)練集網(wǎng)絡(luò)完成訓(xùn)練后，對網(wǎng)絡(luò)輸入一個(gè)不是訓(xùn)練集合中的矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果合中的矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)232.5 網(wǎng)絡(luò)訓(xùn)練 為了能夠較好地掌握為了能夠較

16、好地掌握BPBP網(wǎng)絡(luò)的訓(xùn)練過程，我網(wǎng)絡(luò)的訓(xùn)練過程，我們用兩層網(wǎng)絡(luò)為例來敘述們用兩層網(wǎng)絡(luò)為例來敘述BPBP網(wǎng)絡(luò)的訓(xùn)練步驟網(wǎng)絡(luò)的訓(xùn)練步驟 初始化：用小的隨機(jī)數(shù)初始化每一層的權(quán)值初始化：用小的隨機(jī)數(shù)初始化每一層的權(quán)值W W和偏差和偏差B B，保證網(wǎng)絡(luò)不被，保證網(wǎng)絡(luò)不被大的加權(quán)輸入飽和大的加權(quán)輸入飽和 期望誤差最小值：期望誤差最小值：error_goalerror_goal 最大循環(huán)次數(shù)：最大循環(huán)次數(shù)：max_epochmax_epoch 修正權(quán)值的學(xué)習(xí)速率：修正權(quán)值的學(xué)習(xí)速率：lrlr 一般情況下一般情況下,lr,lr0. l0. l0.80.8人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)242.5 網(wǎng)絡(luò)

17、訓(xùn)練 變量表達(dá)：計(jì)算網(wǎng)絡(luò)各層輸出矢量變量表達(dá)：計(jì)算網(wǎng)絡(luò)各層輸出矢量A1A1和和A2A2以及網(wǎng)以及網(wǎng)絡(luò)誤差絡(luò)誤差E E A1A1tansig(W1tansig(W1* *P P，B1)B1)； A2A2purelin(W2purelin(W2* *A1A1，B2)B2)； E ET-AT-A； 權(quán)值修正：計(jì)算各層反傳的誤差變化權(quán)值修正：計(jì)算各層反傳的誤差變化D2D2和和D1D1并計(jì)并計(jì)算各層權(quán)值的修正值以及新權(quán)值：算各層權(quán)值的修正值以及新權(quán)值： D2D2deltalin(A2deltalin(A2，E)E)； D1D1deltatan(A1deltatan(A1，D2D2，W2)W2)； dWl

18、dWl，dBldBllearnbp(Plearnbp(P，D1D1，lr)lr)； dW2dW2，dB2dB21earnbp(A11earnbp(A1，D2D2，1r)1r)； W1W1W1W1十十dW1dW1；B1B1B1B1十十dBldBl； W2W2W2W2十十dW2dW2；B2B2B2B2十十dB2dB2人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)252.5 網(wǎng)絡(luò)訓(xùn)練 計(jì)算權(quán)值修正后誤差平方和計(jì)算權(quán)值修正后誤差平方和 SSEsumsqr(T-purelin(W2*tansig(W1*P，B1)，B2) 檢查：檢查：SSE是否小于是否小于err_goal。若是，訓(xùn)練結(jié)束；否則。若是，訓(xùn)練結(jié)束；

19、否則繼續(xù)繼續(xù) 以上所有的學(xué)習(xí)規(guī)則與訓(xùn)練的全過程，可以用函數(shù)以上所有的學(xué)習(xí)規(guī)則與訓(xùn)練的全過程，可以用函數(shù)trainbp.m來完成來完成 它的使用只需定義有關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，它的使用只需定義有關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目標(biāo)誤差，以及學(xué)習(xí)速率。調(diào)用后返回訓(xùn)練后權(quán)值，循環(huán)總目標(biāo)誤差，以及學(xué)習(xí)速率。調(diào)用后返回訓(xùn)練后權(quán)值，循環(huán)總數(shù)和最終誤差數(shù)和最終誤差 TPdisp_freq max_epoch err_goal 1r W，B，epochs，errorstrainbp(W，B，F(xiàn)，P，T，TP)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)26三、網(wǎng)絡(luò)設(shè)計(jì)3.1 3.1 網(wǎng)絡(luò)的層數(shù)網(wǎng)絡(luò)

20、的層數(shù)3.2 3.2 隱含層神經(jīng)元數(shù)隱含層神經(jīng)元數(shù)3.3 3.3 初始權(quán)值的選取初始權(quán)值的選取3.4 3.4 學(xué)習(xí)速率學(xué)習(xí)速率3.5 3.5 期望誤差的選取期望誤差的選取3.6 3.6 應(yīng)用舉例應(yīng)用舉例3.7 3.7 局限性局限性人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)273.1 網(wǎng)絡(luò)的層數(shù) 理論上已經(jīng)證明：具有偏差和至少一個(gè)理論上已經(jīng)證明：具有偏差和至少一個(gè)S S型隱型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。何有理函數(shù)。定理定理： 增加層數(shù)主要可以進(jìn)一步的降低誤差，提高精增加層數(shù)主要可以進(jìn)一步的降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而

21、增加了網(wǎng)絡(luò)度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。權(quán)值的訓(xùn)練時(shí)間。 一般情況下應(yīng)優(yōu)先考慮增加隱含層中神經(jīng)元數(shù)一般情況下應(yīng)優(yōu)先考慮增加隱含層中神經(jīng)元數(shù) 僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題沒有必要或效果不好題沒有必要或效果不好 線性問題線性問題 非線性問題非線性問題人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)283.2 隱含層神經(jīng)元數(shù) 網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個(gè)隱含層，而網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個(gè)隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。這在結(jié)構(gòu)實(shí)現(xiàn)上，要增加其神經(jīng)元數(shù)的方法來獲得。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層簡單得

22、多比增加更多的隱含層簡單得多 定理：定理： 實(shí)現(xiàn)任意實(shí)現(xiàn)任意N N個(gè)輸入向量構(gòu)成的任何布爾函數(shù)的前向個(gè)輸入向量構(gòu)成的任何布爾函數(shù)的前向網(wǎng)絡(luò)所需權(quán)系數(shù)數(shù)目為網(wǎng)絡(luò)所需權(quán)系數(shù)數(shù)目為 在具體設(shè)計(jì)時(shí)，比較實(shí)際的做法是通過對不同神經(jīng)元在具體設(shè)計(jì)時(shí)，比較實(shí)際的做法是通過對不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對比，去掉不起作用的隱單元，然后適當(dāng)數(shù)進(jìn)行訓(xùn)練對比，去掉不起作用的隱單元，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量地加上一點(diǎn)余量人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)29隱含層神經(jīng)元數(shù)隱含層神經(jīng)元數(shù) 輸入r維，輸出s2維,樣本數(shù)q下,隱單元數(shù)s1 : 1101,0risiisCq qC11）為樣本數(shù),r為輸入單元數(shù),s隱單元數(shù)。如果is2

23、2,1,10r s1） s=為 常 數(shù)312）s =log r人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)303.3 3.3 初始權(quán)值的選取初始權(quán)值的選取 一般取初始權(quán)值在一般取初始權(quán)值在(-1(-1，1)1)之間的隨機(jī)數(shù)之間的隨機(jī)數(shù) 威得羅等人在分析了兩層網(wǎng)絡(luò)是如何對一個(gè)函數(shù)進(jìn)行威得羅等人在分析了兩層網(wǎng)絡(luò)是如何對一個(gè)函數(shù)進(jìn)行訓(xùn)練后，提出一種選定初始權(quán)值的策略訓(xùn)練后，提出一種選定初始權(quán)值的策略 選擇權(quán)值的量級為選擇權(quán)值的量級為 在在MATLABMATLAB工具箱中可采用函數(shù)工具箱中可采用函數(shù)nwlog.mnwlog.m或或nwtan.mnwtan.m來初來初始化隱含層權(quán)值始化隱含層權(quán)值W1W1和和B

24、1B1。 其方法僅使用在第一隱含層的初始值的選取上，后面其方法僅使用在第一隱含層的初始值的選取上，后面層的初始值仍然采用隨機(jī)取數(shù)層的初始值仍然采用隨機(jī)取數(shù)1rs人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)313.4 學(xué)習(xí)速率 學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量化量 大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定 小的學(xué)習(xí)速率導(dǎo)致較長的訓(xùn)練時(shí)間，可能收斂很小的學(xué)習(xí)速率導(dǎo)致較長的訓(xùn)練時(shí)間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值低谷而最終趨于最小誤差值 所

25、以在一般情況下，傾向于選取較小的學(xué)習(xí)速率所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率學(xué)習(xí)速率的選取范圍在的選取范圍在 0.1-0.8 0.1-0.8之間之間人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)323.5 期望誤差值選取 在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)通過對比訓(xùn)練后確定一個(gè)合適的值通過對比訓(xùn)練后確定一個(gè)合適的值 這個(gè)所謂的這個(gè)所謂的“合適合適”，是相對于所需要的隱含，是相對于所需要的隱含層的節(jié)點(diǎn)數(shù)來確定，因?yàn)檩^小的期望誤差值是層的節(jié)點(diǎn)數(shù)來確定，因?yàn)檩^小的期望誤差值是要靠增加隱含層的節(jié)點(diǎn)，以及訓(xùn)練時(shí)間

26、來獲得要靠增加隱含層的節(jié)點(diǎn)，以及訓(xùn)練時(shí)間來獲得 一般情況下，作為對比，可以同時(shí)對兩個(gè)不同一般情況下，作為對比，可以同時(shí)對兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過綜合因期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過綜合因素的考慮來確定采用其中一個(gè)網(wǎng)絡(luò)素的考慮來確定采用其中一個(gè)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)333.6 應(yīng)用舉例 求解函數(shù)逼近問題求解函數(shù)逼近問題 有有2121組單輸入矢量和相對應(yīng)的目標(biāo)矢量，試設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)這組單輸入矢量和相對應(yīng)的目標(biāo)矢量，試設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)這對數(shù)組的函數(shù)關(guān)系對數(shù)組的函數(shù)關(guān)系P=-1:0.1:1T=-0.96 -0.577 -0.0729 0.377 0.64

27、1 0.66 0.461 0.1336 -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201測試集測試集P2=-1:0.025:1人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)34網(wǎng)絡(luò)設(shè)計(jì)：輸入輸出單元個(gè)數(shù)均為1.隱含層神經(jīng)元個(gè)數(shù)在38之間。用可變的隱含層神經(jīng)元個(gè)數(shù)，通過誤差對比，確定最佳個(gè)數(shù)，并檢驗(yàn)對網(wǎng)絡(luò)性能的影響。代碼： s=3:8; res=1:6;for i=1:6net=newff(minmax(P),s(i),1,tansig,logsig, traingdx)

28、;net.trainParam.epochs=2000;net.trainParam.goal=0.0001;net=train(net,P,T);y=sim(net,P);error=y-T;res(i)=norm(error);end res = 1.5812 1.9270 1.5580 1.9270 1.5803 1.4449隱層輸出層訓(xùn)練函數(shù)，也可選： trainlm或 traingd人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)35網(wǎng)絡(luò)訓(xùn)練誤差個(gè)數(shù)345678910網(wǎng)絡(luò)誤差1.04120.72970.17670.14490.18070.14420.14490.1621好人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第

29、六章BP神經(jīng)網(wǎng)絡(luò)363.6 應(yīng)用舉例（contd)目標(biāo)矢量相對于輸入矢量的圖形目標(biāo)矢量相對于輸入矢量的圖形 初始網(wǎng)絡(luò)的輸出曲線初始網(wǎng)絡(luò)的輸出曲線 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)373.6 應(yīng)用舉例（contd)訓(xùn)練訓(xùn)練1000次次 2000次次人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)383.6 應(yīng)用舉例（contd)訓(xùn)練訓(xùn)練3000次次 5000次次人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)393.7 限制與不足 需要較長的訓(xùn)練時(shí)間需要較長的訓(xùn)練時(shí)間 完全不能訓(xùn)練完全不能訓(xùn)練 選取較小的初始權(quán)值選取較小的初始權(quán)值 采用較小的學(xué)習(xí)速率，但同時(shí)又增加了訓(xùn)練時(shí)采用較小的學(xué)習(xí)速率，但同時(shí)又增加了訓(xùn)練

30、時(shí)間間 局部極小值局部極小值 BPBP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個(gè)解，但它算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個(gè)解，但它并不能保證所求為誤差超平面的全局最小解，并不能保證所求為誤差超平面的全局最小解，很可能是一個(gè)局部極小解很可能是一個(gè)局部極小解人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)40四、BP網(wǎng)絡(luò)的改進(jìn)4.1 目標(biāo)目標(biāo)4.2 4.2 附加動量法附加動量法4.3 4.3 誤差函數(shù)改進(jìn)誤差函數(shù)改進(jìn) 4.4 4.4 自適應(yīng)學(xué)習(xí)速率自適應(yīng)學(xué)習(xí)速率人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)414.1 目標(biāo)加快訓(xùn)練速度加快訓(xùn)練速度避免陷入局部極小值避免陷入局部極小值人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)424.2 附加

31、動量法 利用附加動量的作用則有可能滑過局部極小值利用附加動量的作用則有可能滑過局部極小值修正網(wǎng)絡(luò)權(quán)值時(shí)，不僅考慮誤差在梯度上的作修正網(wǎng)絡(luò)權(quán)值時(shí)，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，用，而且考慮在誤差曲面上變化趨勢的影響，其作用如同一個(gè)低通濾波器，它允許網(wǎng)絡(luò)忽略其作用如同一個(gè)低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上微小變化特性網(wǎng)絡(luò)上微小變化特性該方法是在反向傳播法的基礎(chǔ)上在每一個(gè)權(quán)值該方法是在反向傳播法的基礎(chǔ)上在每一個(gè)權(quán)值的變化上加上一項(xiàng)的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化人工神

32、經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)434.2 附加動量法 帶有附加帶有附加動量因子動量因子的權(quán)值調(diào)節(jié)公式的權(quán)值調(diào)節(jié)公式 其中其中k k為訓(xùn)練次數(shù)，為訓(xùn)練次數(shù)，mcmc為動量因子，一般取為動量因子，一般取0 09595左右左右附加動量法的附加動量法的實(shí)質(zhì)實(shí)質(zhì)是將最后一次權(quán)值變化的影響，通過一個(gè)動是將最后一次權(quán)值變化的影響，通過一個(gè)動量因子來傳遞。量因子來傳遞。當(dāng)動量因子取值為當(dāng)動量因子取值為0 0時(shí)，權(quán)值變化僅根據(jù)梯度下降法產(chǎn)生時(shí)，權(quán)值變化僅根據(jù)梯度下降法產(chǎn)生當(dāng)動量因子取值為當(dāng)動量因子取值為1 1時(shí)，新的權(quán)值變化則是設(shè)置為最后一次時(shí)，新的權(quán)值變化則是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部

33、分則被忽略掉了權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了 促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當(dāng)網(wǎng)絡(luò)促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當(dāng)網(wǎng)絡(luò)權(quán)值進(jìn)入誤差曲面底部的平坦區(qū)時(shí)，權(quán)值進(jìn)入誤差曲面底部的平坦區(qū)時(shí)，i i將變得很小，于是，將變得很小，于是，wwijij(k+1)w(k+1)wijij (k) (k)，從而防止了從而防止了wwijij=0=0的出現(xiàn)，有助于的出現(xiàn)，有助于使網(wǎng)絡(luò)從使網(wǎng)絡(luò)從誤差曲面的局部極小值誤差曲面的局部極小值中中跳出跳出 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)444.2 附加動量法 在在MATLABMATLAB工具箱中，帶有動量因子的權(quán)值修正法是

34、用函數(shù)工具箱中，帶有動量因子的權(quán)值修正法是用函數(shù)learnbpm.m來實(shí)現(xiàn)的來實(shí)現(xiàn)的trainbpm.m可以訓(xùn)練一層直至三層的帶有附加動量因子的可以訓(xùn)練一層直至三層的帶有附加動量因子的反向傳播網(wǎng)絡(luò)反向傳播網(wǎng)絡(luò)下面是對單層網(wǎng)絡(luò)使用函數(shù)下面是對單層網(wǎng)絡(luò)使用函數(shù)trainbpm.m的情形：的情形：W，B，epochs，errorstrainbpm(W，B，F(xiàn)，P，T，TP)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)454.3 誤差函數(shù)改進(jìn)LMS誤差：當(dāng)當(dāng)a ak k趨向趨向1 1時(shí)，時(shí)，E E趨向一個(gè)常數(shù)，即處于趨向一個(gè)常數(shù)，即處于E E的平坦區(qū)，的平坦區(qū)， f(n)0f(n)0，可能造成完全訓(xùn)練的可能

35、造成完全訓(xùn)練的麻痹現(xiàn)象麻痹現(xiàn)象當(dāng)一個(gè)網(wǎng)絡(luò)的誤差曲面存在著平坦區(qū)時(shí)，可以選當(dāng)一個(gè)網(wǎng)絡(luò)的誤差曲面存在著平坦區(qū)時(shí)，可以選用別的誤差函數(shù)用別的誤差函數(shù)f(tf(tk k, a, ak k) )來代替來代替(t(tk k-a-ak k) )2 2的形式，的形式，只要其函數(shù)只要其函數(shù)在在a ak k=t=tk k時(shí)時(shí)能達(dá)到最小值能達(dá)到最小值人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)464.3 4.3 誤差函數(shù)改進(jìn)誤差函數(shù)改進(jìn)包穆包穆(Baum)(Baum)等人于等人于19881988年提出一種誤差函數(shù)為年提出一種誤差函數(shù)為不會產(chǎn)生不會產(chǎn)生不能完全訓(xùn)練的麻痹現(xiàn)象不能完全訓(xùn)練的麻痹現(xiàn)象人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章B

36、P神經(jīng)網(wǎng)絡(luò)474.3 誤差函數(shù)改進(jìn)與常規(guī)的誤差函數(shù)的情況與常規(guī)的誤差函數(shù)的情況ijij=f(n)(t=f(n)(tk k-a-ak k) )相比較，其中的相比較，其中的f(n)f(n)項(xiàng)消失了項(xiàng)消失了當(dāng)當(dāng)n n增大，進(jìn)入激活函數(shù)的平坦區(qū)，使增大，進(jìn)入激活函數(shù)的平坦區(qū)，使f(n)0f(n)0時(shí)，時(shí)，不會產(chǎn)生不能完全訓(xùn)練的麻痹現(xiàn)象不會產(chǎn)生不能完全訓(xùn)練的麻痹現(xiàn)象但由于失去了但由于失去了f(n)f(n)對對ww的控制作用，過大的的控制作用，過大的ww又有可能導(dǎo)致網(wǎng)絡(luò)過調(diào)或振蕩又有可能導(dǎo)致網(wǎng)絡(luò)過調(diào)或振蕩 19891989年，范爾曼年，范爾曼(S.Fahlman)(S.Fahlman)提出一種折中的提出一

37、種折中的方案，即取方案，即取k kf(n)+0.1(tf(n)+0.1(tk k-a-ak k) )一方面恢復(fù)了一方面恢復(fù)了f(n)f(n)的某些影響的某些影響另一方面當(dāng)另一方面當(dāng)|n|n|變大時(shí)，仍能保持變大時(shí)，仍能保持k k有一定的大小，有一定的大小，從而避免了麻痹現(xiàn)象的發(fā)生從而避免了麻痹現(xiàn)象的發(fā)生 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)484.4 自適應(yīng)學(xué)習(xí)速率通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是，檢查權(quán)值的修正值是否通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是，檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實(shí)如此，則說明所選取真正降低了誤差函數(shù)，如果確實(shí)如此，則說明所選取的學(xué)習(xí)速率值小了，可以對其增加一個(gè)量；否則可認(rèn)

38、的學(xué)習(xí)速率值小了，可以對其增加一個(gè)量；否則可認(rèn)為產(chǎn)生為產(chǎn)生過調(diào)過調(diào)，應(yīng)該，應(yīng)該減小學(xué)習(xí)速率的值減小學(xué)習(xí)速率的值一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)494.4 自適應(yīng)學(xué)習(xí)速率自適應(yīng)學(xué)習(xí)速率 MATLABMATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進(jìn)行反向工具箱中帶有自適應(yīng)學(xué)習(xí)速率進(jìn)行反向傳播訓(xùn)練的函數(shù)為傳播訓(xùn)練的函數(shù)為 trainbpa.mtrainbpa.m可訓(xùn)練直至三層網(wǎng)絡(luò)?？捎?xùn)練直至三層網(wǎng)絡(luò)。使用方法使用方法W,B,epochs,TEtrainbpa(W, B,F,P,T,TP) 可以將動量法和自適應(yīng)學(xué)習(xí)速率結(jié)合起來以利可以將動量法和自適

39、應(yīng)學(xué)習(xí)速率結(jié)合起來以利用兩方面的優(yōu)點(diǎn)。這個(gè)技術(shù)已編入函數(shù)用兩方面的優(yōu)點(diǎn)。這個(gè)技術(shù)已編入函數(shù)trainbpx.mtrainbpx.m之中之中函數(shù)的調(diào)用和其他函數(shù)一樣函數(shù)的調(diào)用和其他函數(shù)一樣, ,只是需要更多的初始只是需要更多的初始參數(shù)而已參數(shù)而已TPdisp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio；W,B,epochs,error; lrtrainbpx(W,B,F,P,T,TP)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)50五、內(nèi)容小結(jié)內(nèi)容安排內(nèi)容安排一、內(nèi)容回顧一、內(nèi)容回顧二、二、BPBP網(wǎng)絡(luò)網(wǎng)絡(luò)三、網(wǎng)絡(luò)設(shè)計(jì)三

40、、網(wǎng)絡(luò)設(shè)計(jì)四、改進(jìn)四、改進(jìn)BPBP網(wǎng)絡(luò)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)51五、內(nèi)容小結(jié)五、內(nèi)容小結(jié) 反向傳播法可以用來訓(xùn)練具有可微激活函數(shù)的多層前反向傳播法可以用來訓(xùn)練具有可微激活函數(shù)的多層前向網(wǎng)絡(luò)向網(wǎng)絡(luò), ,以進(jìn)行函數(shù)逼近，模式分類等工作以進(jìn)行函數(shù)逼近，模式分類等工作 反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)不完全受所要解決的問題所限制。反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)不完全受所要解決的問題所限制。 網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問題的要網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問題的要求所決定求所決定 輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計(jì)輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是

41、由設(shè)計(jì)者來決定的者來決定的 已經(jīng)證明，兩層已經(jīng)證明，兩層S S型線性網(wǎng)絡(luò)，如果型線性網(wǎng)絡(luò)，如果S S型層有足夠的神型層有足夠的神經(jīng)元，則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)經(jīng)元，則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系關(guān)系人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第六章BP神經(jīng)網(wǎng)絡(luò)52五、內(nèi)容小結(jié)五、內(nèi)容小結(jié) 反向傳播法沿著誤差表面的梯度下降，使網(wǎng)絡(luò)反向傳播法沿著誤差表面的梯度下降，使網(wǎng)絡(luò)誤差最小，網(wǎng)絡(luò)有可能陷入局部極小值誤差最小，網(wǎng)絡(luò)有可能陷入局部極小值 附加動量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面附加動量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低谷的可能性并有助于減少訓(xùn)練時(shí)間陷入低谷的可能性并有助于減少訓(xùn)練時(shí)間 太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定，太小值又太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定，太小值又導(dǎo)致極長的訓(xùn)練時(shí)間。自適應(yīng)學(xué)習(xí)速率通過在導(dǎo)致極長的訓(xùn)練時(shí)間。自適應(yīng)學(xué)習(xí)速率通過在保證穩(wěn)定訓(xùn)練的前提