數(shù)學(xué)建模-校內(nèi)培訓(xùn)神經(jīng)網(wǎng)絡(luò)

2023/1/16

前面介紹的BP網(wǎng)絡(luò)算法是采用對(duì)連接權(quán)、閥值的逐步調(diào)整來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)的學(xué)習(xí)。學(xué)習(xí)過(guò)程中是利用實(shí)際輸出和期望輸出的誤差的負(fù)梯度來(lái)調(diào)整網(wǎng)絡(luò)參數(shù)。所以誤差一直向小的方向變化，有時(shí)陷入局部極小后就再也出不來(lái)。如圖對(duì)于Hopfield網(wǎng)絡(luò)是使能量函數(shù)向梯度下降方向變化（單調(diào)下降），結(jié)果依然有可能陷入極小，這對(duì)于記憶多種信息是可以的，但對(duì)于最優(yōu)計(jì)算就不好了，往往是欲速則不達(dá)，得不到網(wǎng)絡(luò)的最優(yōu)解。第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)

分析陷入局部極小的原因：

(1)網(wǎng)絡(luò)結(jié)構(gòu)上存在輸入輸出之間的非線(xiàn)性函數(shù)關(guān)系，且存在多個(gè)極值點(diǎn)；

(2)從算法設(shè)計(jì)上講，誤差函數(shù)(或能量函數(shù))只能單方向減小，不能有一點(diǎn)上升。注：(1)要保證網(wǎng)絡(luò)的非線(xiàn)性映射能力，是不可少的，所以只能從(2)的角度，提高網(wǎng)絡(luò)性能這就是隨機(jī)神經(jīng)網(wǎng)絡(luò)的思想。

隨機(jī)神經(jīng)網(wǎng)絡(luò)為全局最優(yōu)解的求解提供了有效的算法。Boltzmann機(jī)、Gaussian機(jī)等隨機(jī)神經(jīng)網(wǎng)絡(luò)模型，都是解決這類(lèi)問(wèn)題的有效方法。下面首先來(lái)了解模擬退火算法原理2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)一、模擬退火算法模擬退火(SimulatedAnnealing,簡(jiǎn)稱(chēng)SA)算法是模擬加熱熔化的金屬的退火過(guò)程，來(lái)尋找全局最優(yōu)解的有效方法之一。退火是一個(gè)熱物理學(xué)的術(shù)語(yǔ)，是對(duì)固體或固液混合物的一種加溫后再冷卻的處理過(guò)程。即使其中的粒子可以自由運(yùn)動(dòng)，處于一種高能態(tài)。然后隨著溫度的逐漸降低，粒子逐漸形成低能態(tài)的晶格。不同的處理過(guò)程會(huì)產(chǎn)生不同的產(chǎn)物，慢冷卻過(guò)程產(chǎn)生晶體物質(zhì)，快冷卻過(guò)程產(chǎn)生玻璃體。最后的物質(zhì)狀態(tài)是一種結(jié)構(gòu)有序性(系統(tǒng)熵)的外在表現(xiàn)，是系統(tǒng)所有粒子在能量上的宏觀效果。晶體結(jié)構(gòu)對(duì)應(yīng)于物質(zhì)的基態(tài)，玻璃體對(duì)應(yīng)于亞穩(wěn)態(tài)。這些現(xiàn)象很容易與組合優(yōu)化問(wèn)題中的全局最優(yōu)解和局部最優(yōu)解對(duì)應(yīng)起來(lái)，快冷卻類(lèi)似于貪婪法或爬山法，慢冷卻類(lèi)似于下面的模擬退火法。2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)模擬退火的基本思想和步驟如下：設(shè)X＝{X1,X2,…,Xn}為所有可能狀態(tài)所構(gòu)成的集合，E:X—>R為代價(jià)函數(shù)，即優(yōu)化問(wèn)題：尋找X*∈X，使E(X*)＝minE(Xi)任意Xi∈X(1)給定一較高溫度T，隨機(jī)產(chǎn)生初始狀態(tài)X(2)按一定方式，對(duì)當(dāng)前狀態(tài)作一個(gè)較小的隨機(jī)擾動(dòng)，產(chǎn)生一個(gè)新的狀態(tài)X’X’＝X＋sign(η).δ其中δ為給定的步長(zhǎng)，η為[-1,1]的隨機(jī)數(shù)計(jì)算內(nèi)能的變化Δ＝E(X’)－E(X)(3)若Δ<0，則令X＝X’，轉(zhuǎn)第(5)步(4)若Δ≥0，則以概率exp(-Δ/kT)接受X’，即X＝X’(k為Boltzmann常數(shù)，它的近似值為1.38×10-23J/K)2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)具體操作：產(chǎn)生一個(gè)在[0，1]上服從均勻分布的隨機(jī)數(shù)x，若x<exp(-Δ/kT)，則X＝X’否則X保持不變

(5)按一定方式降溫，使T=Ti＋1，Ti＋1<Ti，如：Ti＋1＝αTi，(6)檢查退火是否結(jié)束是——轉(zhuǎn)向第(7)步否——轉(zhuǎn)向第(2)步(7)以當(dāng)前Xi作為最優(yōu)解輸出注：1、結(jié)束標(biāo)志：溫度是否小于某一閥值(循環(huán)次數(shù))、E的值變化是否明顯2、初始溫度的高低：下降是否充分慢對(duì)結(jié)果有影響2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)注：(1)按上述方法產(chǎn)生的狀態(tài)列Xi服從Boltzmann分布；(2)初始溫度的選取；T從一個(gè)足夠高的溫度下降，采用前面的步驟，系統(tǒng)逐漸達(dá)到平衡，當(dāng)T＝0時(shí)，E(Xi)達(dá)到最小值。為此，T(0)的選取對(duì)計(jì)算影響很大。A：均勻地對(duì){Xi}抽樣，取此時(shí)的E(Xi)的方差為T(mén)(0)；B：在可能得到的組合中，選取兩個(gè)狀態(tài)使ΔE最大，取ΔE的若干倍為T(mén)(0)；C：按經(jīng)驗(yàn)給出T(0)；2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)(3)抽樣的穩(wěn)定性檢驗(yàn)；A：E的均值是否穩(wěn)定；B：連續(xù)若干步中的E的變化是否都很小；C：按固定步數(shù)抽樣。(4)降溫過(guò)程的控制；Ti＋1＝αTi，α∈(0，1)一般情況下，在[0.2，0.9]中取數(shù)(5)結(jié)束標(biāo)志。T≤Tk時(shí)終止模擬退火算法的結(jié)構(gòu)框圖如下2023/1/16初始化，取T(0)，Xi，計(jì)算E(Xi)隨機(jī)擾動(dòng)ΔXi，計(jì)算ΔEΔE<0?產(chǎn)生(0，1)上均勻分布的隨機(jī)數(shù)ξNoe－ΔE/kT>ξ?YesXi＝Xi＋ΔXi，E＝E＋ΔEYesNo抽樣穩(wěn)定性?YesNoT>Tk?NoYesT＝T‘結(jié)束模擬退火算法的結(jié)構(gòu)框圖2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)二、Boltzmann機(jī)

1、Boltzmann機(jī)模型拓?fù)浣Y(jié)構(gòu)和Hopfield網(wǎng)絡(luò)相似，Boltzmann機(jī)沒(méi)有明顯的層狀結(jié)構(gòu)。由n個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元有兩個(gè)狀態(tài)（0和1），內(nèi)部神經(jīng)元之間相互結(jié)合聯(lián)系，有

wij=wji

（即連接權(quán)矩陣對(duì)稱(chēng)）如圖所示2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)輸入部中間部輸出部2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)2、Boltzmann機(jī)運(yùn)行方式神經(jīng)元的狀態(tài)變化是異步、隨機(jī)的。任意神經(jīng)元i進(jìn)行狀態(tài)更新時(shí)，下一狀態(tài)為1的概率為：

(*)

其中下一狀態(tài)為0的概率為：pi(0)=1-pi(1)2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)(*)式為Boltzmann概率函數(shù)（圖形）由圖形分析可得出，一般情況下，當(dāng)輸入增大時(shí)，狀態(tài)為1的概率將提高，當(dāng)激活值A(chǔ)i>0時(shí)，下一狀態(tài)為1的概率pi(1)將大于下一狀態(tài)為0的概率pi(0)，且隨著Ai值的增大，這種情況越來(lái)越明顯。反之當(dāng)激活值A(chǔ)i<0時(shí)亦有類(lèi)似結(jié)論。同時(shí)這種變化情況還與溫度有關(guān)，T越高，變化越平緩，狀態(tài)變化越容易，T越低，曲線(xiàn)越陡峭，狀態(tài)變化越難，當(dāng)T趨近于0時(shí)，曲線(xiàn)接近于躍階函數(shù)，pi(T=0)基本上等價(jià)于閥值型函數(shù)，此時(shí)的Boltzmann機(jī)與離散型Hopfield網(wǎng)絡(luò)是等價(jià)的。為了描述Boltzmann機(jī)的工作原理，定義其能量函數(shù)為：2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)

考慮第i個(gè)神經(jīng)元的狀態(tài)變化：則有若Ai>0，則pi(1)>0.5較大概率取vi＝1

若原來(lái)vi＝1，則Δvi＝0，則ΔEi＝0

若原來(lái)vi＝0，則Δvi>0，則ΔEi<0

若Ai<0，則pi(0)>0.5較大概率取vi＝0

若原來(lái)vi＝0，則Δvi＝0，則ΔEi＝0

若原來(lái)vi＝1，則Δvi<0，則ΔEi<02023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)

即是說(shuō)，不管何種情況，從統(tǒng)計(jì)角度上講，能量函數(shù)始終是朝小的方向變化。但是不排除某些情況下以小概率的沿著能量函數(shù)的增加方向變化。這有助于網(wǎng)絡(luò)狀態(tài)從局部極小中跳出，進(jìn)一步向全局最小變化。值得注意的是，在前面所講的確定性神經(jīng)網(wǎng)絡(luò)中，一旦進(jìn)入穩(wěn)態(tài)，網(wǎng)絡(luò)狀態(tài)就不會(huì)發(fā)生改變。但是在Boltzmann這類(lèi)隨機(jī)神經(jīng)網(wǎng)絡(luò)中，在相應(yīng)溫度下，網(wǎng)絡(luò)達(dá)到一種熱平衡狀態(tài)，這是一種概率意義下的穩(wěn)態(tài)，網(wǎng)絡(luò)狀態(tài)仍可能變化。為了有效地演化到能量函數(shù)的全局最小點(diǎn)，通常采用SA算法來(lái)運(yùn)行網(wǎng)絡(luò)，開(kāi)始在較高溫度時(shí)，各狀態(tài)出現(xiàn)的概率差異不大，比較容易跳出局部極小，溫度逐步減小，狀態(tài)出現(xiàn)概率差異加大，有助于阻止跳出能量函數(shù)的最小點(diǎn)。2023/1/163、Boltzmann機(jī)狀態(tài)轉(zhuǎn)移例子：如圖所示的Boltzmann機(jī)，網(wǎng)絡(luò)有三節(jié)點(diǎn)，分析其狀態(tài)轉(zhuǎn)移關(guān)系第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)θ2θ1θ3w12w13w232023/1/16

初始化網(wǎng)絡(luò)參數(shù)為：

w12=w21=0.1w13=w31=-0.7w23=w32=0.4θ1＝-0.9θ2＝-0.2θ3＝0.3

確定溫度T＝0.5和T＝1時(shí)網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)移關(guān)系

第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)2023/1/164、Boltzmann機(jī)狀態(tài)轉(zhuǎn)移的馬爾科夫鏈表示

Boltzmann機(jī)狀態(tài)轉(zhuǎn)移關(guān)系用圖示方法是較為復(fù)雜、不實(shí)用的，考慮用隨機(jī)過(guò)程中的馬爾科夫鏈的知識(shí)清晰地表示。馬爾科夫鏈即是時(shí)間和狀態(tài)均為離散的馬爾科夫過(guò)程。

Boltzmann機(jī)狀態(tài)轉(zhuǎn)移關(guān)系可以用馬爾科夫鏈來(lái)表示：設(shè)網(wǎng)絡(luò)的狀態(tài)為：S0、S1、…、Sm-1，引入矩陣P：

P＝(pij)m×m＝其中，元素pij表示由狀態(tài)Si轉(zhuǎn)移到狀態(tài)Sj的概率。第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)2023/1/16

即矩陣P每行元素之和等于1，上述矩陣稱(chēng)為狀態(tài)轉(zhuǎn)移概率矩陣。設(shè)t時(shí)刻狀態(tài)為Si的概率為Pi(t)，t+1時(shí)刻狀態(tài)為Sj的概率為Pj(t+1)，則根據(jù)狀態(tài)轉(zhuǎn)移概率矩陣，由全概率公式，有：按照上述公式可以得到下一時(shí)刻為各個(gè)狀態(tài)的概率，隨著迭代的進(jìn)行，在任意時(shí)刻各個(gè)狀態(tài)的概率亦可得到。但隨著迭代的進(jìn)行，網(wǎng)絡(luò)會(huì)逐步穩(wěn)定在某個(gè)水平上(即當(dāng)前溫度的極小點(diǎn))，即上述概率趨于一個(gè)平衡狀態(tài)。這時(shí)網(wǎng)絡(luò)降溫、迭代、降溫、…，直到符合結(jié)束標(biāo)志。第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)2023/1/16

例:分析3個(gè)節(jié)點(diǎn)的Boltzmann機(jī)在溫度等于1.0時(shí)的狀態(tài)轉(zhuǎn)移關(guān)系第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)θ2θ1θ32023/1/16

上述Boltzmann機(jī)狀態(tài)轉(zhuǎn)移關(guān)系可用圖示方法表示狀態(tài)轉(zhuǎn)移概率矩陣表示為其中S對(duì)應(yīng)的各個(gè)狀態(tài)的能量如下表：假設(shè)t=0時(shí)刻系統(tǒng)處于任何狀態(tài)的概率均為0.125，則可確定下一狀態(tài)的的概率：如S2的概率第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)狀態(tài)S0S1S2S3S4S5S6S7能量0.00.3-0.2-0.3-0.90.1-1.2-0.62023/1/16

同理，可以計(jì)算處其他各狀態(tài)的概率：隨著時(shí)間t的增加，在給定溫度下，達(dá)到各個(gè)狀態(tài)的概率將趨于一個(gè)平衡狀態(tài)。利用轉(zhuǎn)移概率矩陣所建立的馬爾科夫鏈，可以計(jì)算出當(dāng)t=13時(shí)，狀態(tài)分布概率不再發(fā)生變化，我們稱(chēng)之為熱平衡態(tài)，若進(jìn)行降溫，狀態(tài)轉(zhuǎn)移概率重新分布，利用馬爾科夫鏈可以計(jì)算下一個(gè)新的熱平衡，當(dāng)溫度從1.0按0.005的速度降到0.01時(shí)的狀態(tài)概率分布。第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)溫度T時(shí)間tP0(t)P1(t)P2(t)P3(t)P4(t)P5(t)P6(t)P7(t)1.000.1250.1250.1250.1250.1250.1250.1250.1251.010.1100.1030.1090.1330.1550.0960.1630.1332023/1/165、Boltzmann機(jī)的學(xué)習(xí)算法

Boltzmann機(jī)不僅可以解決優(yōu)化問(wèn)題，還可以利用適當(dāng)?shù)膶W(xué)習(xí)，實(shí)現(xiàn)聯(lián)想記憶，學(xué)習(xí)的實(shí)質(zhì)是修正網(wǎng)絡(luò)連接權(quán)值，使得訓(xùn)練集能夠在網(wǎng)絡(luò)上再現(xiàn)，與確定性神經(jīng)網(wǎng)絡(luò)不同的是，Boltzmann機(jī)的訓(xùn)練集通常是一組期望的狀態(tài)概率分布。學(xué)習(xí)過(guò)程分為兩個(gè)部分:

正相學(xué)習(xí)期和負(fù)相學(xué)習(xí)期

正相學(xué)習(xí)期:輸入部神經(jīng)元狀態(tài)固定在某個(gè)模式，輸出部神經(jīng)元同時(shí)固定在期望輸出模式上。第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)2023/1/16

負(fù)相學(xué)習(xí)期:只將輸入部神經(jīng)元狀態(tài)固定在某個(gè)模式，輸出部神經(jīng)元為自由單元。當(dāng)網(wǎng)絡(luò)輸入固定在某一模式，達(dá)到熱平衡態(tài)時(shí)，確定相連單元同時(shí)為1的平均概率，第二階段整個(gè)網(wǎng)絡(luò)完全自由動(dòng)作，達(dá)到熱平衡態(tài)時(shí)，確定相連單元同時(shí)為1的平均概率,根據(jù)修正網(wǎng)絡(luò)權(quán)值。假定網(wǎng)絡(luò)輸入輸出部神經(jīng)元數(shù)為V，則共有2v個(gè)可能狀態(tài)。訓(xùn)練集為S={S1,S2,…,Sr}

訓(xùn)練目標(biāo)控制各狀態(tài)的能量，使得狀態(tài)轉(zhuǎn)移概率按期望輸出。第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)2023/1/16

期望輸出概率分布設(shè)為：

P+(S1),P+(S2),…,P+(Sa),…,P+(Sr)

實(shí)際輸出概率分布設(shè)為：

P-(S1),P-(S2),…,P-(Sa),…,P-(Sr)

定義網(wǎng)絡(luò)的統(tǒng)計(jì)偏差：

當(dāng)P+(Sa)＝P-(Sa)時(shí)，偏差G＝0，網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程即為調(diào)整網(wǎng)絡(luò)權(quán)值，改變狀態(tài)的能量分布，獲得網(wǎng)絡(luò)的期望輸出。第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)2023/1/16

即按偏差的負(fù)梯度方向修正權(quán)值：即：其中T為網(wǎng)絡(luò)溫度，P+ij表示樣本訓(xùn)練達(dá)到平衡時(shí)連接權(quán)wij相連神經(jīng)元同時(shí)激發(fā)的平均概率，P-ij表示網(wǎng)絡(luò)自由動(dòng)作達(dá)到平衡時(shí)連接權(quán)wij相連神經(jīng)元同時(shí)激發(fā)的平均概率，α為學(xué)習(xí)參數(shù)，一般在區(qū)間(0,1)上選取。第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)2023/1/16

例如圖所示Boltzmann機(jī)，有兩個(gè)可見(jiàn)單元v1、v2，一個(gè)隱單元H。任取初始權(quán)值如圖所示，閥值為0。假定訓(xùn)練集為00和11組成，它們?cè)趘1v2單元等概率出現(xiàn)。首先，利用馬爾科夫鏈預(yù)測(cè)網(wǎng)絡(luò)在溫度為0.25時(shí)的熱平衡態(tài)概率分布，結(jié)果為：

Pj(t)表示t時(shí)刻網(wǎng)絡(luò)處于第j個(gè)狀態(tài)的概率，j表示V1HV2狀態(tài)的二進(jìn)制值。第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)溫度T時(shí)間tP0(t)P1(t)P2(t)P3(t)P4(t)P5(t)P6(t)P7(t)0.2500.1250.1250.1250.1250.1250.1250.1250.125t0.0970.0960.0950.4390.0990.0980.0130.0622023/1/16要計(jì)算偏差G的初值，根據(jù)假設(shè)期望V1V2為為00或11是等概率出現(xiàn)的，有P+(S00)＝P+(S11)=0.5當(dāng)網(wǎng)絡(luò)處于自由動(dòng)作時(shí)，可見(jiàn)單元狀態(tài)V1V2為00的概率P－(S00)，由狀態(tài)V1HV2為000和010決定：同樣，有可以計(jì)算出偏差G第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)為了減少偏差，利用權(quán)值修正公式：先計(jì)算，ij分別為1H和H2利用馬爾科夫鏈，計(jì)算和這樣2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)假定每次W1H的修正去掉1/4的偏差G：所以權(quán)值修正量新的權(quán)值為同理，WH2新值為現(xiàn)在再用這組新的權(quán)值運(yùn)行網(wǎng)絡(luò)，達(dá)到熱平衡態(tài)后又得到一組新的概率分布（見(jiàn)下表）2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)新的偏差G值為0.893，比前者減少了15％，事實(shí)上，本例不可能將偏差G減少到零，因?yàn)閷?duì)所給定的神經(jīng)元的閥值（均為零）沒(méi)有解存在。溫度T時(shí)間tP0(t)P1(t)P2(t)P3(t)P4(t)P5(t)P6(t)P7(t)0.250.1130.1090.1110.0250.1110.1090.3450.0782023/1/166、Boltzmann機(jī)的聯(lián)想記憶算法為了便于處理，將Boltzmann機(jī)的拓?fù)浣Y(jié)構(gòu)用下圖(略)表示。輸入模式Ak(a1,…,ah,…,an)k=1,2,…,m

輸入部：LA

隱單元：LBBk=(b1,…,bi,…,bp)

輸出部：LCCk=(c1,…,cj,…,cq)

連接權(quán)為wij和vhi第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)2023/1/16(1)初始化，給W、V賦值

(2)輸入模式(Ak,Ck)，Ak->LA,Ck->LC

隨機(jī)選取LB中神經(jīng)元i改變狀態(tài)，計(jì)算能量變化量ΔEi，按模擬退火思想，使網(wǎng)絡(luò)達(dá)到平衡狀態(tài)。

LB所有單元狀態(tài)向量為Dk=(dk1,dk2,…,dkp)

其中dki＝bi，（i=1,…,p）

(3)計(jì)算LA和LB處于相同狀態(tài)的對(duì)稱(chēng)概率第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)2023/1/16

其中計(jì)算LB和LC處于相同狀態(tài)的對(duì)稱(chēng)概率

(4)重復(fù)(2)的操作，構(gòu)成Dk=(dk1,dk2,…,dkp)第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)2023/1/16(5)計(jì)算

(6)調(diào)整連接權(quán)

0<α<1(7)重復(fù)(2)～(6)，直到滿(mǎn)足訓(xùn)練要求第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)三、Gaussian機(jī)

1、Gaussian機(jī)神經(jīng)元模型

netx1x2xnwi1wi2winεiθi2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)

神經(jīng)元的激活值ai是連續(xù)時(shí)間變化的，可用差分方程表示為：

神經(jīng)元的輸出選用S型函數(shù)，通常選取雙曲正切函數(shù)，即：2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)2、噪聲

Gaussian機(jī)最顯著的特征就是網(wǎng)絡(luò)輸入受噪聲的影響。噪聲服從以0為均值的高斯分布，方差為σ2，σ＝kT

其中k為常數(shù)，

T為網(wǎng)絡(luò)溫度

3、能量函數(shù)

4、系統(tǒng)參數(shù)2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)5、Gaussian機(jī)的子類(lèi)（1）MP模型（2）HNN模型（3）Boltzmann機(jī)模型

6、Gaussian機(jī)銳化與退火2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)E2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)P(Si)=1Ai5-500.51T=4.0T=2.0T=0.82023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)以狀態(tài)v1v2v3＝(111)為例A1＝w12v2+w13v3-θ1＝0.3A2＝w12v1+w23v3-θ2＝0.7A3＝w13v1+w23v3-θ3＝-0.6按照公式可以計(jì)算T＝0.5和T＝1時(shí)的各狀態(tài)更新概率2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)狀態(tài)節(jié)點(diǎn)T=1.0T=0.5T=0.2P(1)P(0)P(1)P(0)P(1)P(0)S0(000)10.710.290.860.140.990.0120.550.450.600.400.730.2730.430.570.350.650.180.82S1(001)123略S2(010)123略2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)移概率可用一個(gè)統(tǒng)一表達(dá)式：狀態(tài)保持不變的概率為：根據(jù)上面兩式便可確定不同溫度下各狀態(tài)轉(zhuǎn)移到其他狀態(tài)的概率。與Hopfield網(wǎng)絡(luò)的轉(zhuǎn)移對(duì)比如下圖2023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)0010101110110.3-0.2-0.3-0.61/32/3Hopfield網(wǎng)絡(luò)2023/1/16T＝0.5T＝1.0Boltzmann網(wǎng)絡(luò)第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)0010101110110.3-0.2-0.3-0.60.210.570010101110110.190.530.070.150.120.162023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)Hv1v1-0.50.42023/1/16T＝0.5T＝1.0Boltzmann網(wǎng)絡(luò)第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)0010101110110.3-0.2-0.3-0.60.210.570010101110110.190.530.070.150.120.162023/1/16第五章隨機(jī)神經(jīng)網(wǎng)絡(luò)T=1.0S0(t+1)(000)S1(t+1)(001)S2(t+1)(010)S3(t+1)(011)S4(t+1)(100)S5