智能控制基礎(chǔ)-神經(jīng)網(wǎng)絡(luò)

1第4章

神經(jīng)網(wǎng)絡(luò)控制智能控制基礎(chǔ)第4章

神經(jīng)網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)4-1前饋神經(jīng)網(wǎng)絡(luò)4-2反饋神經(jīng)網(wǎng)絡(luò)4-3神經(jīng)網(wǎng)絡(luò)控制4-4本章小結(jié)4-52第6章

神經(jīng)網(wǎng)絡(luò)控制智能控制基礎(chǔ)教學(xué)重點(diǎn)1．人工神網(wǎng)絡(luò)模型2．神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和分類神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式和學(xué)習(xí)算法前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和學(xué)習(xí)算法反饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)PID控制教學(xué)難點(diǎn)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法以及神經(jīng)網(wǎng)絡(luò)PID控制。第4章

神經(jīng)網(wǎng)絡(luò)控制3第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)智能控制

4.1神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)（Artificial

Neural

Networks，ANNs），簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)（NNs）或稱作連接模型（ConnectionistModel），以對(duì)大腦的生理角度的研究成果為基礎(chǔ)，對(duì)動(dòng)物或自然神經(jīng)網(wǎng)絡(luò)若干基本特性進(jìn)行抽象和模擬。通俗地講，神經(jīng)網(wǎng)絡(luò)是對(duì)生物神經(jīng)系統(tǒng)功能的模擬而非結(jié)構(gòu)的模擬。國(guó)際著名的神經(jīng)網(wǎng)絡(luò)研究專家Hecht—Nielsen給人工神經(jīng)網(wǎng)絡(luò)下的定義是：“人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng)，通過(guò)對(duì)連續(xù)或斷續(xù)的輸入作狀態(tài)響應(yīng)而進(jìn)行信息處理。”4第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理生物神經(jīng)元結(jié)構(gòu)人腦作為人類意識(shí)和思維的特殊器官，具有著復(fù)雜的高度完善的結(jié)構(gòu)?，F(xiàn)代科學(xué)證明，人的腦主要由兩類細(xì)胞組成：神經(jīng)細(xì)胞和神經(jīng)膠質(zhì)細(xì)胞。神經(jīng)細(xì)胞，又稱神經(jīng)元，是腦神經(jīng)組織的結(jié)構(gòu)和功能單位。神經(jīng)元由胞體和突起構(gòu)成。神經(jīng)膠質(zhì)細(xì)胞分布在神經(jīng)元之間，沒有傳導(dǎo)沖動(dòng)的功能，對(duì)神經(jīng)元起著保護(hù)、營(yíng)養(yǎng)、支持等作用。5第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)生物神經(jīng)元結(jié)構(gòu)人腦大約包含了1000億個(gè)神經(jīng)元，每個(gè)神經(jīng)元分別與1000個(gè)其它神經(jīng)元相互連接，形成精細(xì)復(fù)雜又靈活多變的神經(jīng)網(wǎng)絡(luò)，人類復(fù)雜的生理活動(dòng)、語(yǔ)言、記憶、情感等等都要由這些神經(jīng)元一一掌控。人腦具有四個(gè)固有特性：并行多層分布處理的工作模式；神經(jīng)系統(tǒng)的可塑性和自組織性；神經(jīng)系統(tǒng)的系統(tǒng)性；信息分布式記憶智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理識(shí)別層整體特征層特征成組層局部特征層輸入圖像6第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)神經(jīng)元的基本結(jié)構(gòu)包括細(xì)胞體（Soma）、樹突（Dendrites）和軸突（Axon）三部分。細(xì)胞體是神經(jīng)元的代謝中心，胞體的大小差異很大。一般神經(jīng)元表面許多短而呈樹狀分枝的突起稱為樹突，是接受周圍神經(jīng)元傳入的輸入信號(hào)部分，并將沖動(dòng)傳向胞體。

從細(xì)胞體延伸出來(lái)的一條長(zhǎng)長(zhǎng)的呈細(xì)索狀而分枝少的突起稱為軸突，末端常有分支，稱軸突末梢。軸突將沖動(dòng)從胞體通過(guò)軸突末梢傳向其它神經(jīng)元。

軸突與下一個(gè)神經(jīng)元的樹突相接觸的部分稱為突觸（Synapse），它是不同神經(jīng)元之間的連接平臺(tái)，一般來(lái)講，一個(gè)神經(jīng)元的軸突與其它神經(jīng)元之間可以有幾百至幾萬(wàn)個(gè)突觸。智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理7第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)神經(jīng)元是神經(jīng)系統(tǒng)結(jié)構(gòu)和功能基本單位，典型的神經(jīng)元結(jié)構(gòu)圖4-1所示。圖4-1

神經(jīng)元結(jié)構(gòu)智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理8第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)光感受器細(xì)胞將光波所攜帶的自然圖像信息轉(zhuǎn)變成神經(jīng)元電信息雙極細(xì)胞對(duì)自然圖像信息進(jìn)行空間和時(shí)間上的整合神經(jīng)節(jié)細(xì)胞以動(dòng)作電位方式，將信息通過(guò)細(xì)胞軸突所形成的視神經(jīng)纖維向外側(cè)膝狀體傳遞。改變突觸釋放的遞質(zhì)量，信息向雙極細(xì)胞和水平細(xì)胞傳遞突觸囊泡受體K+Na+K+視網(wǎng)膜的信息處理機(jī)制智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理9第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)MP神經(jīng)元模型生物神經(jīng)元結(jié)構(gòu)人工神經(jīng)元結(jié)構(gòu)神經(jīng)元作為神經(jīng)網(wǎng)絡(luò)信息處理的基本單位，模擬生物神經(jīng)元傳遞信息所具有的多輸入、單輸出非線性特性。1943年McCulloch和Pitts提出了MP神經(jīng)元模型。MP神經(jīng)元模型模擬了生物神經(jīng)元的基本結(jié)構(gòu)和信息處理機(jī)制。智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理10第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)

i iX

i

1y

f

(

X

)w

x

MP神經(jīng)元模型生物神經(jīng)元結(jié)構(gòu)輸入輸出關(guān)系：n

1 ,X

0

0 ,X

0y

f

(

X

)

智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理從其它神經(jīng)元傳來(lái)的輸入信號(hào)；從其它神經(jīng)元到該神經(jīng)元的連接權(quán)值；為該神經(jīng)元激活閾值；為神經(jīng)元輸出；ixiw

yf

(

)

為輸出變換函數(shù)，一般為非線性函數(shù)，也可以稱為激勵(lì)函數(shù)、響應(yīng)函數(shù)等。11第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)

,

X

0

0 ,

X

0y

f

(

X

)

1智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理MP神經(jīng)元模型的激發(fā)函數(shù)如圖(b)所示。MP神經(jīng)元模型將每一個(gè)神經(jīng)元看作二進(jìn)制閾值元件，其輸出為“0”或“1”，分別表示“抑制”或“興奮”兩種狀態(tài)，輸出為(b)

激勵(lì)函數(shù)12第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)MP神經(jīng)元模型真實(shí)的模擬了生物神經(jīng)元嗎？每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單元（模擬）神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型（模擬）神經(jīng)元具有空間整合特性和閾值特性（模擬）時(shí)間整合作用（未模擬）突觸傳遞的不應(yīng)期（未模擬）智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理13第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)MP神經(jīng)元模型真實(shí)的模擬了生物神經(jīng)元嗎？最新進(jìn)展：2017年3月9日，UCLA

的JasonMoore在Science的文章表明：神經(jīng)元中樹突產(chǎn)生的響應(yīng)是胞體產(chǎn)生響應(yīng)的近10倍；執(zhí)行的是模擬和數(shù)字的混合計(jì)算；這為構(gòu)建新的神經(jīng)元模型提供了生物學(xué)啟發(fā)。智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理14第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)是否存在其他神經(jīng)元模型模擬生物神經(jīng)元？Dropout神經(jīng)元模型允許神經(jīng)元具有

p

的概率與下一層神經(jīng)元相連。MP神經(jīng)元模型帶Dropout的神經(jīng)元模型智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理15第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)

a

X

aX

a

1,

1,f

(

X

)

kX

,1

e

aX1f(X)

a

0（1）（2）智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理常用的激勵(lì)函數(shù)如圖4-3所示：（1）飽和型函數(shù)X

a（2）Sigmoid函數(shù)圖4-3

常用的幾種激勵(lì)函數(shù)16第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ))

2X

2f(X)

exp(

1

e

aXf(X)

1

e

aXa

0（3）（4）智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理常用的激勵(lì)函數(shù)如圖4-3所示：（3）雙曲正切函數(shù)（4）高斯函數(shù)圖4-3

常用的幾種激勵(lì)函數(shù)17第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)常用的激勵(lì)函數(shù)還包括哪些？ReLU函數(shù):深度神經(jīng)網(wǎng)絡(luò)采用的激勵(lì)函數(shù)1、計(jì)算簡(jiǎn)單，不涉及指數(shù)運(yùn)算

;2、無(wú)梯度損失;3、輸入小于0的所有神經(jīng)元的輸出為0，促進(jìn)了網(wǎng)絡(luò)的稀疏性，使得網(wǎng)絡(luò)更加的簡(jiǎn)單。智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理18第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)如果不用激勵(lì)函數(shù)會(huì)怎樣？如果不用激勵(lì)函數(shù)，輸出是輸入的線性函數(shù)。y

f

(

X

)nX

wixi

i

1智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理19第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)神經(jīng)網(wǎng)絡(luò)加拿大McMaster大學(xué)的Simon

Haykin教授認(rèn)為“神經(jīng)網(wǎng)絡(luò)是由簡(jiǎn)單的信息處理單元組成的巨量并行處理、平行計(jì)算和分布式存儲(chǔ)的處理器，具有存儲(chǔ)經(jīng)驗(yàn)知識(shí)并利用有用知識(shí)處理問題的功能，可以把神經(jīng)網(wǎng)絡(luò)看成是一個(gè)自適應(yīng)系統(tǒng)?！边@個(gè)定義包含了幾層含義：神經(jīng)網(wǎng)絡(luò)是對(duì)大腦的一種描述，可以看成一個(gè)數(shù)學(xué)模型或一種數(shù)值算法，可以用電子線路或計(jì)算機(jī)程序來(lái)模擬實(shí)現(xiàn)；神經(jīng)網(wǎng)絡(luò)的每個(gè)基本組成單元—神經(jīng)元的特性非常簡(jiǎn)單，神經(jīng)元之間高度互連實(shí)現(xiàn)并行處理而表現(xiàn)出的群體特性是非常復(fù)雜，甚至是混沌的；利用神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)過(guò)程可以從周圍環(huán)境獲取知識(shí)，中間神經(jīng)元的連接強(qiáng)度（權(quán)值）用來(lái)表示存貯的知識(shí)。智能控制

4.1.1

神經(jīng)網(wǎng)絡(luò)原理20第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)按照神經(jīng)元連接方式可分成前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。（1）前饋網(wǎng)絡(luò)（Feed-forward

Networks）智能控制

4.1.2

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和特點(diǎn)圖4-4單層前饋網(wǎng)絡(luò)圖4-5多層前饋網(wǎng)絡(luò)2281第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)智能控制

4.1.2

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和特點(diǎn)多層前饋網(wǎng)絡(luò)一般分為輸入層、隱含層（或稱中間層，可以有若干層）和輸出層。網(wǎng)絡(luò)從輸入層到輸出層通過(guò)單向連接流通，只有前后相鄰兩層之間神經(jīng)元是相互全連接，從上一層接收信號(hào)輸送給下一層神經(jīng)元，同層的神經(jīng)元之間沒有連接，各神經(jīng)元之間也沒有反饋。前饋網(wǎng)絡(luò)是一種靜態(tài)的非線性映射，大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，比較適用于模式識(shí)別、分類和預(yù)測(cè)評(píng)價(jià)問題。22第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)典型的多層前饋網(wǎng)絡(luò)有:多層感知器（MLP）誤差反向傳播網(wǎng)絡(luò)（BP）徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（RBF）學(xué)習(xí)向量量化網(wǎng)絡(luò)（LVQ）卷積神經(jīng)網(wǎng)絡(luò)（CNN）智能控制

4.1.2

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和特點(diǎn)23第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)（2）反饋（遞歸）網(wǎng)絡(luò)（Recurrent

Networks）智能控制

4.1.2

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和特點(diǎn)圖4-6反饋網(wǎng)絡(luò)24第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)智能控制

4.1.2

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和特點(diǎn)反饋網(wǎng)絡(luò)和前饋網(wǎng)絡(luò)的區(qū)別主要在于神經(jīng)元輸出至少有一條反饋回路，信號(hào)可以正向或反向流通。反饋網(wǎng)絡(luò)由于有反饋回路的存在，對(duì)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力和決策都產(chǎn)生很大影響，需要一定的時(shí)間才能達(dá)到穩(wěn)定。典型的反饋型網(wǎng)絡(luò)有：Hopfield網(wǎng)絡(luò)Boltzmann機(jī)網(wǎng)絡(luò)Kohonen網(wǎng)絡(luò)25第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)具有以下突出的優(yōu)點(diǎn)：神經(jīng)網(wǎng)絡(luò)可以充分逼近任意復(fù)雜的非線性函數(shù)。神經(jīng)網(wǎng)絡(luò)具有分布式信息存貯特點(diǎn)，有很強(qiáng)的魯棒性和容錯(cuò)性。神經(jīng)網(wǎng)絡(luò)具有巨量信息并行處理和大規(guī)模平行計(jì)算能力。神經(jīng)網(wǎng)絡(luò)具有自組織、自學(xué)習(xí)功能，是自適應(yīng)組織系統(tǒng)。智能控制

4.1.2

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和特點(diǎn)26第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的研究主要包括：神經(jīng)網(wǎng)絡(luò)基本理論研究神經(jīng)網(wǎng)絡(luò)模型的研究神經(jīng)網(wǎng)絡(luò)應(yīng)用研究神經(jīng)網(wǎng)絡(luò)及其融合應(yīng)用技術(shù)智能控制

4.1.2

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和特點(diǎn)27第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)智能控制

4.1.3

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)1．學(xué)習(xí)方式“學(xué)習(xí)”是指在外界環(huán)境激勵(lì)作用下，神經(jīng)網(wǎng)絡(luò)的連接權(quán)值不斷調(diào)整適應(yīng)的過(guò)程。神經(jīng)網(wǎng)絡(luò)最顯著的特點(diǎn)是具有從周圍環(huán)境中學(xué)習(xí)，并通過(guò)學(xué)習(xí)改進(jìn)其行為的能力。這種行為改進(jìn)方式是和學(xué)習(xí)算法密切相關(guān)。學(xué)習(xí)算法是指一系列事先定義好的解決學(xué)習(xí)問題的規(guī)則，它決定了如何調(diào)整神經(jīng)網(wǎng)絡(luò)連接權(quán)值的方式。在神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中學(xué)習(xí)算法是和網(wǎng)絡(luò)模型選擇相對(duì)應(yīng)的，學(xué)習(xí)算法不是唯一的，其數(shù)量難以統(tǒng)計(jì)，它們有各自的適應(yīng)范圍和優(yōu)缺點(diǎn)。28第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制29智能控制

4.1.3

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式按照有無(wú)導(dǎo)師指導(dǎo)可以分成有教師學(xué)習(xí)和無(wú)教師學(xué)習(xí)。（1）有教師學(xué)習(xí)（Learning

with

ateacher）設(shè)計(jì)訓(xùn)練過(guò)程由教師指導(dǎo)，提供一系列的期望輸入－輸出作為訓(xùn)練樣本。通過(guò)期望輸出與實(shí)際輸出之間的誤差不斷地調(diào)整網(wǎng)絡(luò)連接強(qiáng)度，直到達(dá)到滿意的輸入－輸出關(guān)系為止。例如采用誤差反向傳播學(xué)習(xí)算法（BP）算法。圖4-7有教師學(xué)習(xí)結(jié)構(gòu)基礎(chǔ)智能控制

4.1.3

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)（2）無(wú)教師學(xué)習(xí)（Learning

without

ateacher）與有教師學(xué)習(xí)過(guò)程中由教師提供期望或目標(biāo)輸出信號(hào)相對(duì)應(yīng)，無(wú)教師學(xué)習(xí)沒有目標(biāo)輸出。無(wú)教師學(xué)習(xí)可以分成無(wú)監(jiān)督學(xué)習(xí)(Unsupervised

Learning)和增強(qiáng)學(xué)習(xí)(Reinforcement

Learning)方式。無(wú)監(jiān)督學(xué)習(xí)方式在訓(xùn)練過(guò)程中沒有期望輸出信息和評(píng)價(jià)機(jī)制，神經(jīng)網(wǎng)絡(luò)根據(jù)所提供輸入數(shù)據(jù)集，自動(dòng)地調(diào)整適應(yīng)連接權(quán)值，按照輸入數(shù)據(jù)統(tǒng)計(jì)規(guī)律把相似特征輸入模式自動(dòng)分類。無(wú)監(jiān)督學(xué)習(xí)方式通常采用競(jìng)爭(zhēng)式學(xué)習(xí)規(guī)則，常用的無(wú)監(jiān)督學(xué)習(xí)算法包括自適應(yīng)諧振理論(ART)和Kohonen算法等。30第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)圖4-9

增強(qiáng)學(xué)習(xí)結(jié)構(gòu)智能控制

4.1.3

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)遺D（3）增強(qiáng)學(xué)習(xí)（Reinforcement

Learning）增強(qiáng)學(xué)習(xí)方式采用一個(gè)評(píng)價(jià)函數(shù)實(shí)現(xiàn)給定輸入對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)輸出趨向評(píng)價(jià)，獲得策略的改進(jìn)，它是一種以環(huán)境的反饋為輸入的適應(yīng)環(huán)境的機(jī)器學(xué)習(xí)方法，其在線學(xué)習(xí)和自適應(yīng)學(xué)習(xí)的特點(diǎn)使其成為解決策略尋優(yōu)問題有力的工具。增強(qiáng)學(xué)習(xí)算法主要有傳算法、免疫算法和NA軟計(jì)算等。31第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)智能控制

4.1.3

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)2.學(xué)習(xí)算法學(xué)習(xí)算法涉及最優(yōu)化理論、計(jì)算方法和信號(hào)處理等領(lǐng)域，除了一些基本的算法之外，還可以結(jié)合具體問題對(duì)經(jīng)典算法作些改進(jìn)或者從其它領(lǐng)域借鑒，例如遺傳算法、模擬退火算法、擾動(dòng)算法和粒子群算法(Particle

Swarm

Optimization)等。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法在神經(jīng)網(wǎng)絡(luò)研究占著非常重要的地位，直接關(guān)乎神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)、自適應(yīng)和非線性擬合等能力。下面介紹幾種神經(jīng)網(wǎng)絡(luò)中常用的學(xué)習(xí)規(guī)則：32第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制智能控制

4.1.3

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)信號(hào)為

Nkk k2k

1 k

1e2

(n)122NE

1

(d (n)

y

(n))

ek(n)

dk(n)

yk

(n)其中

dk

(n)

為目標(biāo)期望輸出，yk

(n) 為網(wǎng)絡(luò)的實(shí)際輸出。目標(biāo)函數(shù)常用均方誤差表示，定義為（1）誤差修正規(guī)則（Error-Correction

Learning）誤差修正規(guī)則也稱為Delta學(xué)習(xí)規(guī)則，是有教師學(xué)習(xí)。輸入x(n)是從隱層傳過(guò)來(lái)的其它神經(jīng)元的輸出f

(

)為激勵(lì)函數(shù)，定義神經(jīng)元k在時(shí)刻n的誤差誤差修正學(xué)習(xí)的目的是如何調(diào)整權(quán)值使目標(biāo)函數(shù)達(dá)到最小，將輸出神經(jīng)元的實(shí)際輸出在統(tǒng)計(jì)意義上最逼近于期望輸出。33圖4-10

Delta學(xué)習(xí)規(guī)則示意圖基礎(chǔ)常用梯度下降法來(lái)求解，沿著E的負(fù)梯度方向求解對(duì)權(quán)值的極小。針對(duì)某一個(gè)權(quán)值 的目標(biāo)函數(shù)：數(shù)學(xué)表達(dá)式為定義函數(shù)wkj智能控制

4.1.3

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)2 21 12 2k kk ky (n))

e

(n)E

(d (n)

kjkj

w

w (n)

(

Ek )k k jkj

k

kj

k

k k

e (n)

f

(Wx(n))

x (n)

w

y

w

E

E

y其中，

(0

1)為學(xué)習(xí)速率或步長(zhǎng)，

＝ek(n)f

(Wk

x(n))則網(wǎng)絡(luò)權(quán)值的調(diào)整量為：

wkj(n)

ek(n)

f

(Wkx(n))

xj(n)＝

xj

(n)n+1時(shí)刻網(wǎng)絡(luò)權(quán)值修正量為：wkj

(n

1)

wkj

(n)

wkj

(n)34第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)智能控制

4.1.3

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)（2）Hebb學(xué)習(xí)規(guī)則（Hebbian

Learning）1949年心理學(xué)家D.

O.

Hebb在《行為組織》一書中提出該算法，是最早的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則，為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)。他認(rèn)為，如果一個(gè)突觸兩側(cè)的神經(jīng)元同時(shí)被激活，則它們之間的連接強(qiáng)度增強(qiáng)，否則連接強(qiáng)度減弱。按照Hebb假設(shè)，網(wǎng)絡(luò)權(quán)值

wkj

在

n時(shí)刻的調(diào)整量形式：

wkj(n)

yk(n)

xj

(n)該式是表明當(dāng)兩側(cè)神經(jīng)元同步（激活或抑制）時(shí)，網(wǎng)絡(luò)連接權(quán)值得到加強(qiáng)。Hebb學(xué)習(xí)規(guī)則是一種無(wú)教師學(xué)習(xí)方式，不需要提供任何與目標(biāo)輸出相關(guān)的信息，只是根據(jù)神經(jīng)元的激活水平調(diào)整連接權(quán)值，也稱作相關(guān)學(xué)習(xí)

。35第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)智能控制

4.1.3

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)（3）競(jìng)爭(zhēng)學(xué)習(xí)（Competitive

Learning）競(jìng)爭(zhēng)學(xué)習(xí)是無(wú)教師學(xué)習(xí)方式，在競(jìng)爭(zhēng)學(xué)習(xí)時(shí)神經(jīng)網(wǎng)絡(luò)中輸出神經(jīng)元互相競(jìng)爭(zhēng)，獲勝者被激活，并且可以修改與其相關(guān)的連接權(quán)值或閾值。競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)一般由輸入層和競(jìng)爭(zhēng)層構(gòu)成。競(jìng)爭(zhēng)學(xué)習(xí)的基本思想是輸出層神經(jīng)元對(duì)輸入模式的響應(yīng)進(jìn)行競(jìng)爭(zhēng)，在某一時(shí)刻只能有一個(gè)輸出神經(jīng)元被激活，這個(gè)特點(diǎn)使得競(jìng)爭(zhēng)學(xué)習(xí)非常適用于發(fā)現(xiàn)輸入模式的統(tǒng)計(jì)特征，并自動(dòng)地對(duì)輸入模式進(jìn)行分類。36第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)iij(神經(jīng)元k為競(jìng)爭(zhēng)獲勝)（神經(jīng)元k為競(jìng)爭(zhēng)失?。?

w (k)

(x

wij

)j iij(神經(jīng)元k為競(jìng)爭(zhēng)獲勝)（神經(jīng)元k為競(jìng)爭(zhēng)失?。?

w (k)

y (x

wij

)iij(神經(jīng)元k為競(jìng)爭(zhēng)獲勝)（神經(jīng)元k為競(jìng)爭(zhēng)失敗）0

w (k)

(x

wij

)

/

xi智能控制

4.1.3

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)最常用的競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則有以下三種形式：Kohonen規(guī)則：Instar規(guī)則：Outstar規(guī)則：37第6章

神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制智能控制

4.2前饋神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元按層排列，網(wǎng)絡(luò)從輸入層到輸出層是單向連接，只有前后相鄰兩層之間神經(jīng)元實(shí)現(xiàn)相互連接，從上一層接收信號(hào)輸送給下一層神經(jīng)元，同層的神經(jīng)元之間沒有連接，各神經(jīng)元之間也沒有反饋。這是前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)主要的區(qū)別。典型的前饋網(wǎng)絡(luò)有:A感知器（MLP）誤差反向傳播網(wǎng)絡(luò)（BP）BC徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（RBF）38智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4.2.1

感知器（Perceptron）1957年美國(guó)學(xué)者F.Rosenblett提出了用于模式分類的感知器模型。按照神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)可以分成單層感知器和多層感知器網(wǎng)絡(luò)。1．單層感知器m

wijxis

ji

1

j其輸入、輸出數(shù)學(xué)表達(dá)式為：y

j

f(s

j

) (j

1,2,

n)以稱為激勵(lì)函數(shù)、響應(yīng)函數(shù)等。i

1,2

,

n是從其它神經(jīng)元傳來(lái)的輸入信號(hào)；表示從其它神經(jīng)元到該神經(jīng)元的連接權(quán)值；為該神經(jīng)元激活閾值；為神經(jīng)元輸出；為輸出變換函數(shù)，一般為非線性函數(shù)，也可xiwij

jyf

(

)圖4-11

單層感知器39智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制感知器的學(xué)習(xí)算法設(shè)有p個(gè)訓(xùn)練樣本，給定第k

個(gè)樣本輸入向量為

Xk，期望輸出為

Yk ，學(xué)習(xí)規(guī)則如下：賦較小隨機(jī)初值；計(jì)算輸出層單元期望輸出

yjk 與實(shí)際輸出

yj之間的誤差：將連接權(quán)值

wij和輸出單元閾值

ijm對(duì)第k個(gè)訓(xùn)練樣本

（Xk，Yk

）(k=1,2,…,p

)計(jì)算網(wǎng)絡(luò)實(shí)際輸出為：y

j

f

(

wij

xi

j

)i

1jjek

yk

yj4.2.1

感知器40智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制輸出層神經(jīng)元

j

的連接權(quán)值wij和閾值

j

的修正公式：

w

e

k

x

kij j i

e

kj

ji

1,2,

m j

1,2,

nj

1,2,

n選取另一個(gè)訓(xùn)練樣本，重復(fù)上述步驟直至對(duì)一切樣本誤差趨于零或小于給定誤差限，學(xué)習(xí)過(guò)程結(jié)束。e（k k＝1，2，

p)j4.2.1

感知器41智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制輸入為兩維

，輸出為一維向量

y ，根據(jù)邏輯“或”的原理，4個(gè)訓(xùn)練樣本為1 2X

(x

,

x )T

0

{X1

0

,y1

0}

1

{X

2

0

,

y

2

1}

0

{X3

1

,y3

1}

1

{X

4

1

,

y

4

1}4.2.1

感知器例4-1

：?jiǎn)我簧窠?jīng)元感知器解決簡(jiǎn)單的邏輯“或”問題，感知器結(jié)構(gòu)如圖4-12。圖4-12

單神經(jīng)元感知器42智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制；。圖4-13

邏輯“或”輸入模式分布輸出模式按照其輸出值可以分兩類：輸出

y

為0的一類，用“o”表示；輸出y

為1的一類，用“＋”表示。此四種輸入模式可以分布在二維空間中，如圖4-13所示，其分界線2當(dāng) s

0

時(shí)，輸出模式當(dāng) s

0

時(shí)，輸出模式y(tǒng)

1y

04.2.1

感知器s

wi

xi

＝w1

x1

w2

x2

i

1為一直線。43智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4.2.1

感知器2. 多層感知器(

MP

神經(jīng)網(wǎng)絡(luò))單層感知器只能解決線性可分的模式分類問題，不能解決簡(jiǎn)單的“異或”問題。如果想達(dá)到任意模式分類問題，需要構(gòu)建一個(gè)多層感知器模型。圖4-14三層感知器網(wǎng)絡(luò)結(jié)構(gòu)其輸入、輸出數(shù)學(xué)表達(dá)式為：ms

j

f

(

wij

xi

j

)i

1第一隱層：第二隱層：jgi

f(

wjtsj

t

)第三層（輸出層）：iv g

)y

f

(k

ik

i

k44智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制說(shuō)明：用上述神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，隱含層的權(quán)值和閾值是由初始化函數(shù)隨機(jī)給定的，在訓(xùn)練過(guò)程中是不能調(diào)整的，我們只能調(diào)整輸出層的網(wǎng)絡(luò)權(quán)值和閾值，有時(shí)候可能會(huì)由于隱含層的隨機(jī)輸出值不恰當(dāng)而引起網(wǎng)絡(luò)無(wú)解的情況。那么我們可以重新運(yùn)行程序獲得初始化隱含層的權(quán)值和閾值。4.2.1

感知器45智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制3.

單層感知器和多層感知器的比較單層感知器具有對(duì)線性可分的輸入模式自動(dòng)分類的功能。多層感知器具有對(duì)任意輸入模式進(jìn)行分類的功能。如果隱含層的節(jié)點(diǎn)可任意設(shè)置，且隱含層用S型激勵(lì)函數(shù)，雙層感知器結(jié)構(gòu)可以一致逼近任意的連續(xù)函數(shù)。4.2.1

感知器46智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4.2.2 BP神經(jīng)網(wǎng)絡(luò)1985年，Rumelhart和McClelland及其PDP研究小組成員在研究并行分布信息處理的基礎(chǔ)上提出了多層前饋網(wǎng)絡(luò)的BP理論以及誤差的反向傳播學(xué)習(xí)算法（ErrorBack

Propagation

Algorithm），簡(jiǎn)稱BP算法

。將BP學(xué)習(xí)算法應(yīng)用于多層前饋神經(jīng)網(wǎng)絡(luò)稱之為BP網(wǎng)絡(luò)

。47智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4.2.2 BP神經(jīng)網(wǎng)絡(luò)1.

BP神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)是應(yīng)用最廣泛（約占整個(gè)神經(jīng)網(wǎng)絡(luò)80-90%）、通用性最好的神經(jīng)網(wǎng)絡(luò)模型，能用于分類、模式識(shí)別和函數(shù)逼近（近似或數(shù)學(xué)建模）。它是一種模擬人腦信息處理方法的大規(guī)模并行處理的自學(xué)習(xí)、自組織和自適應(yīng)的非線性模擬系統(tǒng)。圖4-17

三層BP網(wǎng)絡(luò)結(jié)構(gòu)48智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制BP網(wǎng)絡(luò)通常包含一個(gè)或多個(gè)隱含層，隱層中的神經(jīng)元一般均采用S型函數(shù)作為激勵(lì)函數(shù)，輸出層神經(jīng)元可以根據(jù)實(shí)際情況選擇線性激勵(lì)函數(shù)，則整個(gè)網(wǎng)絡(luò)的輸出可以取任意值；輸出層神經(jīng)元如果同樣選擇S型函數(shù)作為激勵(lì)函數(shù)，則整個(gè)網(wǎng)絡(luò)的輸出就限定在一個(gè)較小的范圍內(nèi)。BP神經(jīng)網(wǎng)絡(luò)的輸入與輸出關(guān)系是一個(gè)高度非線性映射關(guān)系，如果輸入結(jié)點(diǎn)數(shù)為m，輸出結(jié)點(diǎn)數(shù)為n，則網(wǎng)絡(luò)是從m維歐氏空間到n維歐氏空間的映射。4.2.2 BP神經(jīng)網(wǎng)絡(luò)49智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制的連接權(quán)值；為第二隱層神經(jīng)元的閾值；為輸出神經(jīng)元的閾值。ms

j

f

(

wij

xi

j

)i

1gt

f

(

wjt

s

j

t

)jyk

f(

vtkgt

k)iwij為到第一隱層s

j

jwjigt

到輸出層 的連接權(quán)值；

tvtk

為為第一隱層神經(jīng)元的閾值；為

s

j

到第二隱層

gt

的連接權(quán)值；yk

k4.2.2 BP神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)模型表達(dá)式：第一隱層：第二隱層：第三層（輸出層）：50智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制1

ef(X)

1 ,a

0

aXf(

X)

ax,a

01

e1

e

ax4.2.2 BP神經(jīng)網(wǎng)絡(luò)S型激勵(lì)函數(shù)（a）Sigmoid函數(shù)（b）S型正切函數(shù)f(X)

X線性激勵(lì)函數(shù)51智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制（即實(shí)際輸出逐漸逼近希望輸出）而結(jié)束學(xué)習(xí)過(guò)程，這種學(xué)習(xí)規(guī)則就是上節(jié)課講到的Delta（

）學(xué)習(xí)規(guī)則。BP學(xué)習(xí)算法實(shí)際包含了兩類信號(hào)不同方向的傳播過(guò)程，一類是施加輸入信號(hào)由輸入層經(jīng)隱層到輸出層，產(chǎn)生輸出響應(yīng)的“輸入模式正向傳播”過(guò)程；另一類是希望輸出與實(shí)際輸出之間的誤差信號(hào)由輸出層返回隱層和輸入層，反向逐層修正連接權(quán)值和神經(jīng)元輸出閾值的“誤差逆?zhèn)鞑ァ边^(guò)程?！拜斎肽Ｊ秸騻鞑ァ焙汀罢`差逆?zhèn)鞑ァ边^(guò)程反復(fù)交替進(jìn)行網(wǎng)絡(luò)訓(xùn)練，最終達(dá)到網(wǎng)絡(luò)的全局誤差向極小值收斂4.2.2 BP神經(jīng)網(wǎng)絡(luò)BP學(xué)習(xí)算法屬于有教師監(jiān)督的學(xué)習(xí)方式，按照減小希望輸出與實(shí)際輸出誤差的方向，從輸出層向隱含層逐層修正網(wǎng)絡(luò)的權(quán)值和閾值，直至回到輸入層，如此反復(fù)直到誤差達(dá)到最小，因此得名“誤差反向傳播算法”。52智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制設(shè)有P

個(gè)訓(xùn)練樣本，當(dāng)給定第

p

個(gè)樣本輸入向量為p)T1 2 mX

(

x ,

x ,

x期望輸出1 2nY

p

(Y

,Y

,

Y

)第一隱層的神經(jīng)元輸出向量第二隱層的神經(jīng)元輸出向量S

pGk

(s

,

s ,

s )T1 2 a

(g1

,

g2

,

gb

)T網(wǎng)絡(luò)輸入神經(jīng)元個(gè)數(shù)為

m ；

網(wǎng)絡(luò)輸出神經(jīng)元個(gè)數(shù)為

n ；第一隱層的神經(jīng)元個(gè)數(shù)為

a

；第二隱層的神經(jīng)元個(gè)數(shù)為

b

；4.2.2 BP神經(jīng)網(wǎng)絡(luò)53智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制,

m；j

1,

2,

a)輸入

xi

到第一隱層

s

j

的連接權(quán)值為

wij

(i

1,

2第一隱層神經(jīng)元的閾值為

js

j

到第二隱層

gt的連接權(quán)值為

w

jt

(

j

1,

2, a;t

1,

2, ,b)第二隱層神經(jīng)元的閾值為

gt

到輸出層yk

的連接權(quán)值為

vtk

(t

1,

2, b;k

1,

2, ,

n)；t輸出神經(jīng)元的閾值為

k激勵(lì)函數(shù)為

f

(

)4.2.2 BP神經(jīng)網(wǎng)絡(luò)54智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制輸入模式正向傳播過(guò)程第一隱層：

mj

ij ijij iji

1i

1w

x

1＋ems

f(

w

x

)＝

1 (

j

1,

2, a)

a

jt j tjt j t1

ej＝1j＝1w s

ag

f

(

w s

)＝

1 (t

1,

2,第二隱層：

tbyk

f

(

vtk

gt

k

)t＝1(k

1,

2,第三層（輸出層）：4.2.2 BP神經(jīng)網(wǎng)絡(luò)（4-24）b)（4-25）n)（4-26）55智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制誤差的逆?zhèn)鞑ミ^(guò)程誤差的逆?zhèn)鞑ゾ褪前凑照`差信號(hào)原連接通路反向修正各層的連接權(quán)值和閾值，使得誤差信號(hào)減小到希望的值。設(shè)第

p

個(gè)訓(xùn)練樣本得出的網(wǎng)絡(luò)期望輸出與實(shí)際輸出的偏差為ke

p

(Yp

y

p)k k(k

1,

2,

n)取神經(jīng)元輸出的均方差為第

p

個(gè)訓(xùn)練樣本輸入時(shí)網(wǎng)絡(luò)的目標(biāo)函數(shù)：221 1nk k knE

p

[ep]2

(Yp

yp

)2k

1 k

14.2.2 BP神經(jīng)網(wǎng)絡(luò)（4-27）（4-28）56智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制對(duì)于所有訓(xùn)練樣本，網(wǎng)絡(luò)的目標(biāo)函數(shù)——全局誤差為

pk kP nkP P nE

pE

p

1k

1p 2

p

1k

1

p

1(Y

yp

)212[e

]

12選擇 f

(

)

為S型激勵(lì)函數(shù)，應(yīng)用梯度下降法反向調(diào)整各層的權(quán)值和閾值，沿著

E

的負(fù)梯度方向求解目標(biāo)函數(shù)極小值時(shí)的權(quán)值。4.2.2 BP神經(jīng)網(wǎng)絡(luò)（4-29）57智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制BP網(wǎng)絡(luò)各層權(quán)值的修正量為tktk

v

E

p

E

P

p

1

vtk(n)

v

jtjt

w

E

p

E

P

p

1

w

jt(n)

wijijij

w

E

p

w

E

P

p

1

w (n)

4.2.2 BP神經(jīng)網(wǎng)絡(luò)（4-30）（4-31）（4-32）58智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制下面按照誤差逆向傳播順序逐層討論修正規(guī)律。k tk t knetp

v gt

1

令根據(jù)公式（4-26）~（4-29）代入式（4-30）推導(dǎo)第二隱層至輸出層的連接權(quán)值修正量為Ptktk

v

E

pp

1

v (n)

tk k k

P

y

p

net

p

vk k

E

p

y

p

net

p＝

－

p

1ptpkkp p

P

f (net )

gy )(

1)

(Yk

p

1＝－

p

tpkp

ek

f (net )

gP

p

1＝

為學(xué)習(xí)速率，通常取值0～1之間。4.2.2 BP神經(jīng)網(wǎng)絡(luò)（4-34）b bkk tk ty

f

(

v gt＝1

)（4-33）59智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制令pkpkpk

＝e

f

(net

)

為輸出層各單元的一般化誤差，則式（6-29）化簡(jiǎn)為tkPp

kptp

1

g

v (n)

4.2.2 BP神經(jīng)網(wǎng)絡(luò)（4-35）（4-36）60智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制a

wjt

s

jpnettj＝1

t令將公式（4-25）、（4-27）~

（4-29）、（4-34）~

（4-36）代入式（4-31），推導(dǎo)出第一隱層至第二隱層的連接權(quán)值修正量為:jtp

1

Ep

wjt(n)

wP

P npkkt tjt(Yp

1k

1

yp

net

p

g

p

net

p

y

p

)(

1)

k k t t

net

p

g

p

net

p

w

k=－

pP n(Y

y

p

)

f

(net

p

)

v

f

'

(net

p

)

s

pt j

k

k

k

tkp

1k

1＝

4.2.2 BP神經(jīng)網(wǎng)絡(luò)（4-37）（4-38）61智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制tnpp

f'(netp

)(Y

y

p)

f

(net

p

)

vt

k k k tkk

1

＝tnp

f'(netp

)

k tkk

1＝

v令為第二隱層各單元的一般化誤差，則式（4-38）化簡(jiǎn)為jtPp

tpjp

1

g

w (n)

4.2.2 BP神經(jīng)網(wǎng)絡(luò)（4-39）（4-40）62智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制令mj ij i ji

1netp

w x

將公式（4-24）、（4-27）~（4-29）、（4-34）~

（4-41）代入式（4-32），推導(dǎo)輸入層至第一隱層的連接權(quán)值修正量為P

ijij

w

E

pp

1

w (n)

t jtkP n bkpk

net

p

wj ij

s

p

net

p

j j

net

p

g

p

net

p

s

p

y

p

net

p

g

p

net

p

p

1k

1t

1

y

p

)(

1)

k k t t (Y＝－

jtttkp(Y

y

p)

f

(net

p)

vk k

f'(netp)

wP n b

k

p

1

k

1 t

1＝

4.2.2 BP神經(jīng)網(wǎng)絡(luò)（4-41）

f

'

(net

p)

x

pj j（4-42）atjt jjt j tt1

e

1

j＝1j＝1w s

ag

f

(

w s

)＝bkk tk tt＝1y

f

(

v g

)63智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制令第一隱層各單元的一般化誤差為jjtttkn bpk k kpj

f'(netp

)

f'(netp)

w(Y

y

p)

f

(net

p)

v

k

1

t

1＝

jt jbp

tt

1

w

f'(netp

)＝則（4-40）化簡(jiǎn)為Pp pi

jijp

1

x

w (n)

4.2.2 BP神經(jīng)網(wǎng)絡(luò)（4-43）（4-44）64智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制同理，閾值修正量為Pk

pkp

1

(n)

Pp

ttp

1

(n)

Pj

p

jp

1

(n)

4.2.2 BP神經(jīng)網(wǎng)絡(luò)（4-45）（4-46）（4-47）65智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制BP學(xué)習(xí)算法及該算法具體編程步驟

：初始化；提供訓(xùn)練樣本

；輸入模式正向傳播過(guò)程計(jì)算

；誤差的逆?zhèn)鞑ミ^(guò)程計(jì)算；各層網(wǎng)絡(luò)權(quán)值和閾值的修正計(jì)算；返回提供訓(xùn)練樣本步驟重新計(jì)算直到全局誤差

E

，或者達(dá)到最大學(xué)習(xí)次數(shù)結(jié)束學(xué)習(xí)；4.2.2 BP神經(jīng)網(wǎng)絡(luò)66智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4.2.2 BP神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)特點(diǎn)：通過(guò)調(diào)整BP神經(jīng)網(wǎng)絡(luò)中的連接權(quán)值和閾值以及網(wǎng)絡(luò)的規(guī)模（包括輸入、輸出節(jié)點(diǎn)數(shù)和隱層節(jié)點(diǎn)數(shù)）可以實(shí)現(xiàn)非線性分類等問題，并且可以以任意精度逼近任意非線性函數(shù)，所以BP神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于非線性建模、函數(shù)逼近和模式識(shí)別等方面。67智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4.2.2 BP神經(jīng)網(wǎng)絡(luò)3．BP學(xué)習(xí)算法的缺陷在實(shí)際應(yīng)用中需要注意網(wǎng)絡(luò)結(jié)構(gòu)和相關(guān)參數(shù)對(duì)訓(xùn)練速度、網(wǎng)絡(luò)收斂性和泛化能力等問題的影響。(1）BP網(wǎng)絡(luò)結(jié)構(gòu)的選取及相關(guān)參數(shù)對(duì)訓(xùn)練的影響在BP網(wǎng)絡(luò)設(shè)計(jì)中最為關(guān)鍵的是隱節(jié)點(diǎn)的個(gè)數(shù)，因?yàn)樗P(guān)系到計(jì)算收斂的快慢和計(jì)算的復(fù)雜度。68智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4-3：要逼近函數(shù)

，討論隱層節(jié)點(diǎn)固定時(shí)BP網(wǎng)絡(luò)隨著

n

取值的增加函數(shù)逼近的情況。假設(shè)選取隱層節(jié)點(diǎn)為3的1-3-1

雙層BP網(wǎng)絡(luò)結(jié)構(gòu)，隱層的激勵(lì)函數(shù)為雙曲正切函數(shù)，輸出層為線性激勵(lì)函數(shù)。g(x)

cos(n

x)(

1

x

1)（a）（b）

（c）（d）圖4-18 用1-3-1BP網(wǎng)絡(luò)逼近余弦函數(shù)（a）n＝1（b）n=2（c）n=4

（d）n=84.2.2 BP神經(jīng)網(wǎng)絡(luò)69智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制區(qū)間內(nèi)存在更多的余弦波，逼近函數(shù)更加復(fù)雜，如果隱層節(jié)點(diǎn)數(shù)固定，這很難達(dá)到復(fù)雜函數(shù)的逼近（比如=4，8時(shí)）。下面我們討論當(dāng)加時(shí)逼近余弦函數(shù)的情況。從圖中可以看出，隨著

n 值的增加，在

1

x

1固定（

n

＝4），隱層節(jié)點(diǎn)數(shù)增n（a）（b） （c）（d）圖6-30

增加隱層節(jié)點(diǎn)數(shù)的BP網(wǎng)絡(luò)余弦逼近（a）1-2-1網(wǎng)絡(luò) （b）

1-4-1網(wǎng)絡(luò) （c）1-6-1網(wǎng)絡(luò) （d）

1-8-1網(wǎng)絡(luò)6.2.2 BP神經(jīng)網(wǎng)絡(luò)70智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制一般為固定值，取值范圍為在BP算法中，學(xué)習(xí)速率

0

1

，學(xué)習(xí)率的大小對(duì)收斂速度和訓(xùn)練結(jié)果也具有一定的影響。如果學(xué)習(xí)率太小，收斂性容易得到保證，但學(xué)習(xí)速度太慢；學(xué)習(xí)率太大，學(xué)習(xí)速度快，但可能導(dǎo)致振蕩或發(fā)散。4.2.2 BP神經(jīng)網(wǎng)絡(luò)另外，在BP算法中網(wǎng)絡(luò)的初始權(quán)值和閾值的選取對(duì)網(wǎng)絡(luò)的訓(xùn)練也有一定的影響，一般網(wǎng)絡(luò)的初始權(quán)值和閾值是隨機(jī)生成的，不同的初始值可能會(huì)導(dǎo)致在訓(xùn)練過(guò)程中陷入局部極小，造成學(xué)習(xí)失敗。因此對(duì)于結(jié)構(gòu)相同的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練中一定要經(jīng)過(guò)多次運(yùn)行，確認(rèn)網(wǎng)絡(luò)是否能夠?qū)崿F(xiàn)要求的功能，避免因初值選取不當(dāng)而造成的訓(xùn)練失敗。71智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4.2.2 BP神經(jīng)網(wǎng)絡(luò)（2）BP網(wǎng)絡(luò)的收斂性雖然我們?cè)谇懊嬷v到BP網(wǎng)絡(luò)可以模擬任意復(fù)雜的非線性函數(shù)，但是由于BP算法采用梯度下降法逐漸減小誤差，有可能落入局部極小點(diǎn)，使算法不收斂，而達(dá)不到全局誤差的最小點(diǎn)。因此，當(dāng)BP網(wǎng)絡(luò)收斂時(shí)，在不確定是否達(dá)到最優(yōu)解的情況下，最好多試幾個(gè)不同的初始值以確保收斂到“全局最小極點(diǎn)”。72智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4.2.2 BP神經(jīng)網(wǎng)絡(luò)（3）泛化能力經(jīng)過(guò)訓(xùn)練的BP網(wǎng)絡(luò)，對(duì)于不是樣本集中的輸入也能給出合適的輸出，這種性質(zhì)稱為泛化(Generalization)功能。泛化能力是與網(wǎng)絡(luò)的結(jié)構(gòu)，即隱層數(shù)和隱層的節(jié)點(diǎn)數(shù)有關(guān)。為了盡可能避免訓(xùn)練出現(xiàn)的“過(guò)擬合”現(xiàn)象，保證足夠高的網(wǎng)絡(luò)性能和泛化能力，確定隱節(jié)點(diǎn)數(shù)的最基本的原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即盡可能少的隱節(jié)點(diǎn)數(shù)。73智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4.2.2 BP神經(jīng)網(wǎng)絡(luò)研究表明，隱層節(jié)點(diǎn)數(shù)不僅與輸入和輸出的節(jié)點(diǎn)數(shù)有關(guān)，還與所解決問題的復(fù)雜度和激勵(lì)函數(shù)的形式以及樣本數(shù)據(jù)的特性有關(guān)。若隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練或者網(wǎng)絡(luò)性能很差；若是隱節(jié)點(diǎn)數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時(shí)間延長(zhǎng)，另一方面，訓(xùn)練容易陷入局部極小點(diǎn)而得不到最優(yōu)點(diǎn)，也是訓(xùn)練時(shí)出現(xiàn)過(guò)擬合的內(nèi)在原因。74智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4.2.2 BP神經(jīng)網(wǎng)絡(luò)4．幾種改進(jìn)的BP學(xué)習(xí)算法加入動(dòng)量項(xiàng)校正算法；自適應(yīng)學(xué)習(xí)速率調(diào)整算法；動(dòng)量－自適應(yīng)學(xué)習(xí)速率法；調(diào)整激勵(lì)函數(shù)法。75智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4.2.2 BP神經(jīng)網(wǎng)絡(luò)加入動(dòng)量項(xiàng)校正算法附加動(dòng)量項(xiàng)就是使網(wǎng)絡(luò)在修正其權(quán)值和閾值時(shí)，不僅考慮誤差在梯度上的作用，而且在每一次權(quán)值或閾值的變化上按一定比例加上前一次學(xué)習(xí)時(shí)的修正量。加入動(dòng)量因子的網(wǎng)絡(luò)連接權(quán)值的修正公式為：

v (n)

tkv (n

1)tkptP

p

kp

1

g ＋

76智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4.2.2 BP神經(jīng)網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)速率調(diào)整算法學(xué)習(xí)速率的選取是否合適直接影響網(wǎng)絡(luò)的收斂速度，我們希望網(wǎng)絡(luò)的權(quán)值或閾值調(diào)整過(guò)程中學(xué)習(xí)速率可以根據(jù)網(wǎng)絡(luò)誤差曲面上的不同區(qū)域的曲率變化自適應(yīng)地調(diào)整。一般在網(wǎng)絡(luò)學(xué)習(xí)初期，學(xué)習(xí)速率可選擇大一些，加快學(xué)習(xí)速度；接近最小點(diǎn)時(shí)，學(xué)習(xí)速率要選擇小一些，避免出現(xiàn)振蕩難以收斂；處在誤差曲面的平坦區(qū)域，學(xué)習(xí)速率太小則迭代系數(shù)增加；處在誤差曲面劇烈變化區(qū)域，學(xué)習(xí)速率過(guò)大容易跳過(guò)較好的極小值點(diǎn)或全局最小點(diǎn)。77智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4.2.2 BP神經(jīng)網(wǎng)絡(luò)動(dòng)量－自適應(yīng)學(xué)習(xí)速率法把附加動(dòng)量項(xiàng)算法和自適應(yīng)學(xué)習(xí)速率算法結(jié)合起來(lái)發(fā)展起來(lái)的改進(jìn)附加動(dòng)量項(xiàng)校正算法，使兩者直接共同作用于權(quán)值的調(diào)整。附加動(dòng)量項(xiàng)能使權(quán)值的調(diào)整趨于平滑穩(wěn)定，可以找到更優(yōu)的解，而自適應(yīng)學(xué)習(xí)速率可以縮短訓(xùn)練時(shí)間。78智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制

x

1

e1f

(x)

a

4.2.2 BP神經(jīng)網(wǎng)絡(luò)式中，

a為偏移參數(shù)，θ 為閾值，

為陡度因子；顯然，此函數(shù)比S函數(shù)具有更豐富的非線性表達(dá)能力。調(diào)整激勵(lì)函數(shù)法在傳統(tǒng)的BP網(wǎng)絡(luò)中，通過(guò)神經(jīng)元之間的連接來(lái)存儲(chǔ)信息（可調(diào)），模擬細(xì)胞體功能的激勵(lì)函數(shù)則是固定的。這使得網(wǎng)絡(luò)的訓(xùn)練過(guò)程簡(jiǎn)化成只對(duì)各層神經(jīng)元連接權(quán)值和閾值進(jìn)行調(diào)整，這制約了網(wǎng)絡(luò)的非線性映射能力。我們將節(jié)點(diǎn)的激勵(lì)函數(shù)修改為：79智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4.2.2 BP神經(jīng)網(wǎng)絡(luò)當(dāng)然還可以將上述BP改進(jìn)算法相結(jié)合，或者引入其它的智能技術(shù)與BP算法融合，例如遺傳算法和DNA軟計(jì)算等，吸收各自的優(yōu)點(diǎn)形成綜合的學(xué)習(xí)算法。近年來(lái)，遺傳算法等全局隨機(jī)優(yōu)化方法受到人們的關(guān)注，并應(yīng)用于神經(jīng)網(wǎng)絡(luò)的優(yōu)化中，取得了很好的效果。80智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制1

Introduction① The

ECG

contains

P

wave、QRS

wave、T

wave、ST

segment

et.al.② STsegmentisthemostimportantdiagnosticparametertoidentifymyocardialinfarctionandother

cardiacdiseases.③ Inclinicaldiagnoses,theshapesofSTsegmentareclassifiedintoseventypes:normal，horizontaldepression,down-slopingdepression,convexdepression,

up-slopingdepression,convexdownwardselevation,andconvexupwards

elevation.BP網(wǎng)絡(luò)的應(yīng)用81智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制“o”representsRpeak

position2ExtractionofSTsegment

charactersBytakingadvantagesofthemultipleresolutionabilityofwavelet

transform,theR-waveandSTsegment’sfiducialpointsareextractedatdifferent

waveletscales."*"represents

Tpeak

position"Δ"representsthe

Twavestarting

position"+"represents

Swave

positionSTsegmentisthesegmentbetweentheleft"Δ"andtheright

"Δ"."Δ"

representstheJ

pointBP網(wǎng)絡(luò)的應(yīng)用82智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制3EstablishmentofBPnetworkappliedtotheidentification

oftheshapesofST

segments

AftertheextractionoftheSTsegmentsusingabovemethods,normalizationoftheSTsegmentsareconducted.30pointsarethenevenlyextractedfromthenormalizedST

segments.InordertoidentifytheshapesofSTsegments,a

threelayer30×61×7BPneuralnetworkis

established.Theactivationfunctionofthehiddenlayeristhehyperbolictangentfunction.Theactivationfunctionoftheoutputlayeristhelogarithmfunctionandtheoutputvalueofthenetworkisbetween0and

1.BP網(wǎng)絡(luò)的應(yīng)用83智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制ThestructureofBP

networkθ1

θ1θ1θ1θ1θ1θ1θ1q1q2WijWkj

O1

O2

qk

Ok

θ1

The30pointsextractedfromthe

normalizedSTsegmentsareregardedasthe

inputs.61nodesareselectedasthenodesofthehiddenlayer

bycomprehensivelyconsideringthecalculationcomplexityandidentification

accuracy.θ1θ17nodesareselectedas

thenodesoftheoutput

layer.BP網(wǎng)絡(luò)的應(yīng)用84智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制Thecurvesofroot-mean-squareerrorinthetraining

process010 203040506070809010010-310-2-110100100

EpochsTraining-BlueGoal-BlackPerformanceis0.100985,Goalis

0.01local

minimumThegoalof

theBPtrainingis0.01.ThecirclenumberoftheBPtrainingprocessis

100.BP網(wǎng)絡(luò)的應(yīng)用85智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制InitialzationselectionSetinitialweights

andbiasofthe

BPBP

TestingBP

trainingSatisfy

theendconditionNoYesCrossoverMutationFitnesscalculationEndDecodingGAcomputationStart4OptimizationoftheBPneuralnetworkusing

GAalgorithmInordertosolvetheexistingproblemsoftheBPneuralnetwork,aGAoptimization

methodinspiredfromthebiologicalGAis

applied.BP網(wǎng)絡(luò)的應(yīng)用86智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制Thecurvesofroot-mean-squareerrorinthetraining

process0102030405060708090100-31010-2-110010100

EpochsTraining-Blue

Goal-BlackPerformanceis0.0173734,Goalis

0.01Thenumberoftheevolutionepochis100.Themutationrateis0.3％.ThegoaloftheBPtrainingis0.01.ThecirclenumberoftheBPtrainingprocess

is100.BP網(wǎng)絡(luò)的應(yīng)用87智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制5OptimizationoftheBP

neuralnetworkusingDNA

algorithmInordertosolvetheexistingproblemsoftheBPneuralnetwork,aDNAoptimizationmethod

inspiredfromthebiologicalDNAisapplied.DNAalgorithmisbased

onthesimulationofbiologicalinformation

inheritance.Itconductsinformationsearch,collectionandassemblinginthewhole

spacewithoutbeinglimitedtothelocal

minimumInitialzationGroupSetinitialweights

andbiasofthe

BPBP

TestingBP

trainingSatisfy

theendconditionNoYesCrossoverMutationInversionFitnesscalculationEndDecodingDNAcomputationStartBP網(wǎng)絡(luò)的應(yīng)用88智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制6 Experiment

Results(1)Thenumberofchromosomesis40.Thenumberoftheevolutionepochis100.Themutationrateis0.3％.Thegoal

oftheBPtrainingis0.01.ThecirclenumberoftheBPtrainingprocessis100.BP網(wǎng)絡(luò)的應(yīng)用(2)Thecurvesof

root-mean-squareerrorinthe

trainingprocess0246810121410-3-21010-110014

EpochsTraining-Blue

Goal-BlackPerformanceis0.00974595,Goalis

0.0189智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制ModelDNA-BPGA-BPBPUltimate

Performance0.0100.0430.101Training

Steps17100100ItovercomestheshortcomingsofBPnetworkintermsofthelocalminimum,slowconvergenceandtheshortcomingsofGA-BPin

termsofitslimitationinalgorithmcodingandevolution

ways.(3)Theultimateperformanceofthe

trainingof the

BPBP網(wǎng)絡(luò)的應(yīng)用90智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制(4)Theresults

ofthe

experimentsThe

DNA-BPalgorithmissuperiortotheGA-BPandBPalgorithmsboth

inaccuracyandthespeedofconvergence.BP網(wǎng)絡(luò)的應(yīng)用Accuracy

rateShapesof

STSegmentDNA-BPGA-BPBPNormal97%80%63%horizontaldepression93%83%67%down-slopingdepression90%83%70%up-slopingdepression87%77%67%convexdepression90%83%53%convex

upwardselevation90%77%60%convex

downwardselevation9187%80%53%智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制4.2.3 RBF神經(jīng)網(wǎng)絡(luò)RBF神經(jīng)網(wǎng)絡(luò)又稱徑向基函數(shù)（Radial

BasisFunction）神經(jīng)網(wǎng)絡(luò)，20世紀(jì)80年代末期首先在求解多實(shí)變量插值問題時(shí)將RBF引入神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，從而構(gòu)成一類新穎的前向網(wǎng)絡(luò)——徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)。1. RBF網(wǎng)絡(luò)的結(jié)構(gòu)圖4-21

RBF網(wǎng)絡(luò)的結(jié)構(gòu)92智能控制基礎(chǔ)第6章

神經(jīng)網(wǎng)絡(luò)控制性映射；輸出層 對(duì)隱含層的輸出實(shí)行線性加權(quán)組合，ykf:Rm

Rn4.2.3 RBF神經(jīng)網(wǎng)絡(luò)一般的RBF神經(jīng)網(wǎng)絡(luò)由一個(gè)隱含層和一個(gè)輸出層組成，其結(jié)構(gòu)與一般前向網(wǎng)絡(luò)相似，同層的神經(jīng)元之間沒有連接，相鄰兩層的神經(jīng)元完全連接。隱層節(jié)點(diǎn)通過(guò)選取的激勵(lì)函數(shù)實(shí)