人工神經(jīng)網(wǎng)絡 (3)ppt課件

1、武漢科技大學1人工神經(jīng)網(wǎng)絡(Artifical Neural Network)張凱 副教授武漢科技大學 計算機學院2要點簡介要點簡介1. 研討背景研討背景2. 隨機神經(jīng)網(wǎng)絡隨機神經(jīng)網(wǎng)絡3. 模擬退火算法模擬退火算法4. Boltzmann機機隨機神經(jīng)網(wǎng)絡隨機神經(jīng)網(wǎng)絡隨機神經(jīng)網(wǎng)絡是統(tǒng)計力學思想引入神經(jīng)網(wǎng)絡研討的結(jié)果。統(tǒng)計力學是研討大系統(tǒng)宏觀平衡性質(zhì)的學科，這種大系統(tǒng)的組成元素服從微觀機制。統(tǒng)計力學的主要目的是尋覓從微觀粒子原子、電子的運動開場的宏觀物體的熱力學性質(zhì)，由于所遇到的自在度數(shù)目很大，因此只能運用概率的方法進展研討。隨機神經(jīng)網(wǎng)絡隨機神經(jīng)網(wǎng)絡 名稱 網(wǎng)絡類型 網(wǎng)絡結(jié)構(gòu) 學習算法BP網(wǎng)絡多層

2、前向網(wǎng)絡含輸入層、隱層、輸出層。層內(nèi)神經(jīng)元無連接網(wǎng)絡按誤差減少的最大梯度方向調(diào)整權(quán)值Hopfield網(wǎng)絡反饋神經(jīng)網(wǎng)絡單層神經(jīng)網(wǎng)絡，層內(nèi)神經(jīng)元全互連網(wǎng)絡按照其用途來設計或訓練網(wǎng)絡權(quán)值Boltzmann 機隨機神經(jīng)網(wǎng)絡含輸入部、輸出部和中間部。神經(jīng)元互連網(wǎng)絡向誤差減小的方向運行概率大，但也可能向誤差增大方向運行BP網(wǎng)絡是一種“貪婪算法，容易墮入部分最小點。Hopfield網(wǎng)絡很難防止出現(xiàn)偽形狀，網(wǎng)絡是嚴厲按照能量減小的方向運轉(zhuǎn)的，容易墮入部分極小點，而無法跳出。所以，在用BP網(wǎng)絡和Hopfield網(wǎng)絡進展最優(yōu)化的計算時，由于限定條件的缺乏，往往會使網(wǎng)絡穩(wěn)定在誤差或能量函數(shù)的部分最小點，而不是全局最

3、小點，即所得的解不是最優(yōu)解。隨機神經(jīng)網(wǎng)絡隨機神經(jīng)網(wǎng)絡隨機神經(jīng)網(wǎng)絡隨機神經(jīng)網(wǎng)絡網(wǎng)絡墮入部分最小點的緣由主要有兩點：(1)網(wǎng)絡構(gòu)造上存在著輸入到輸出之間的非線性函數(shù)關(guān)系，從而使網(wǎng)絡誤差或能量函數(shù)所構(gòu)成的空間是一個含有多極點的非線性空間。(2)在算法上，網(wǎng)絡的誤差或能量函數(shù)只能一方向減小，不能有一點上升。6隨機神經(jīng)網(wǎng)絡隨機神經(jīng)網(wǎng)絡隨機神經(jīng)網(wǎng)絡的根本思想：網(wǎng)絡向誤差或能量函數(shù)減小方向運轉(zhuǎn)的概率大，同時向誤差或能量函數(shù)增大方向運轉(zhuǎn)的概率存在，這樣網(wǎng)絡跳出部分極小點的能夠性存在，而且向全局最小點收斂的概率最大。模擬退火算法(Simulated Annealing)來源于固體退火原理，將固體加溫至充高，再讓

4、其徐徐冷卻，加溫時，固體內(nèi)部粒子隨溫度升高變?yōu)闊o序狀，內(nèi)能增大，而徐徐冷卻時粒子漸趨有序，在每個溫度都到達平衡態(tài)，最后在常溫時到達基態(tài)，內(nèi)能減為最小。它由Metropolis算法和退火過程(Annealing Procedure，AP)組成。模擬退火算法模擬退火算法模擬退火算法的根本思緒模擬退火算法的根本思緒首先在高溫下進展搜索，此時各形狀出現(xiàn)概率相差不大，可以很快進入“熱平衡形狀，這時進展的是一種“粗搜索，也就是大致找到系統(tǒng)的低能區(qū)域；隨著溫度的逐漸降低，各形狀出現(xiàn)概率的差距逐漸被擴展，搜索精度不斷提高。這就可以越來越準確的找到網(wǎng)絡能量函數(shù)的全局最小點。9模擬退火算法的根本思緒模擬退火算法的

5、根本思緒當運用最速下降法(gradient descent)時，系統(tǒng)能夠墮入部分最小值(local minimum)模擬退火算法的根本思緒模擬退火算法的根本思緒仿真退火算法根本概念改動系統(tǒng)能量以組合最速下降與隨機過程的方式搜索能量函數(shù)的總體最小值在搜索的過程中，通常以最速下降法使其解答形狀在搜索空間中往能量函數(shù)值較低處挪動，但透過隨機過程，偶而往能量函數(shù)值較高處挪動，以跳過部分最小值模擬退火算法的根本思緒模擬退火算法的根本思緒最速下降 模擬退火模擬退火概念在模擬退火搜索過程中，當次一個解的能量函數(shù)值比現(xiàn)行解的能量函數(shù)值低時，移至此解。反之，那么允許少許機率挪動到能量函數(shù)值較高的次一個解，此機率

6、通常假設為兩個解間能量函數(shù)差額的Boltzmann機率分布函數(shù)。模擬退火算法的根本思緒模擬退火算法的根本思緒模擬退火的最初目的是尋覓代表復雜系統(tǒng)的代價函數(shù)的全局最小值。因此，這種方法為處理凹平面最優(yōu)問題提供了一個強有力的工具，其中心思想在于：在用模擬退火最優(yōu)化一個復雜系統(tǒng)如：一個擁有很多自在度的系統(tǒng)時，誤差或能量函數(shù)絕大部分的時間在下降，但不是不斷下降，即誤差或能量函數(shù)的總趨勢向減小的方向變化，但有時也向增大的方向變化，這樣可跳出部分極小點，向全局最小點收斂。模擬退火與傳統(tǒng)迭代最優(yōu)算法的比較：(1)當系統(tǒng)在非零溫度下時，從部分最優(yōu)中跳出是非常能夠的，因此不會墮入部分最優(yōu)。(2)系統(tǒng)最終形狀的總

7、特征可以在較高溫度下看到，而形狀的好的細節(jié)卻在低溫下表現(xiàn)，因此，模擬退火是自順應的.。模擬退火算法的根本思緒模擬退火算法的根本思緒 1. Metropolis抽樣過程 模擬退火算法原理模擬退火算法原理 1. Metropolis抽樣過程 假定一隨機變量在某一時辰的形狀為vi。在另一時辰的形狀為vj。假設這種形狀的轉(zhuǎn)移滿足以下條件： E表示系統(tǒng)從形狀vi轉(zhuǎn)移至形狀vj所引起的能量差。假設能量差E為負，這種轉(zhuǎn)移就導致形狀能量的降低，這種轉(zhuǎn)移就被接受。接下來，新形狀作為算法下一步的起始點。(|)(|)jiijP vvP vv模擬退火算法原理模擬退火算法原理模擬退火算法原理模擬退火算法原理假設能量差為

8、正，算法在這一點進展概率操作。首先，選定一個在0,1內(nèi)服從均勻分布的隨機數(shù)。假設e-E/T，那么接受這種轉(zhuǎn)移。否那么，回絕這種轉(zhuǎn)移；即在算法的下一步中回絕舊的形狀。如此反復，到達系統(tǒng)在此溫度下的熱平衡。這個過程稱作Metropolis抽樣過程。Metropolis抽樣過程就是在一確定溫度下，使系統(tǒng)到達熱平衡的過程。模擬退火算法原理模擬退火算法原理2. 退火過程降溫過程 在Metropolis抽樣過程中溫度T緩慢的降低。模擬退火過程就是經(jīng)過T參數(shù)的變化使形狀收斂于最小能量處。因此，T參數(shù)的選擇對于算法最后的結(jié)果有很大影響。初始溫度和終止溫度設置的過低或過高都會延伸搜索時間。降溫步驟太快，往往會漏

9、掉全局最優(yōu)點，使算法收斂至部分最優(yōu)點。降溫步驟太慢，那么會大大延伸搜索全局最優(yōu)點的計算時間，從而難以實踐運用。因此，T可以了解為一個控制參數(shù)。模擬退火算法原理模擬退火算法原理為尋覓在有限時間逼近全局最優(yōu)的模擬退火算法，設置了許多控制算法收斂的參數(shù)。在退火過程中指定了有限的退火溫度值和在每一溫度下的轉(zhuǎn)移數(shù)目。Kirlpatrick等人在退火步驟中設定的參數(shù)如下：(1)初始溫度值：初始溫度值T0要選的足夠高，保證模擬退火算法中一切能夠的轉(zhuǎn)移都能被接受。2022年5月16日星期一20模擬退火算法原理模擬退火算法原理(2)溫度的下降：原先運用指數(shù)函數(shù)實現(xiàn)溫度的下降。但是這種方法使降溫幅度過小，從而延伸

10、搜索時間。在實踐中，通常運用下式： 此處是一小于卻接近于1的常數(shù)。通常的取值在0.8至0.99之間。在每一溫度下，實驗足夠多的轉(zhuǎn)移次數(shù)。2022年5月16日星期一211,1,2,kkTTk模擬退火算法原理模擬退火算法原理(3)終止溫度：假設在延續(xù)的假設干個溫度下沒有可接受的新形狀，系統(tǒng)凍結(jié)或退火停頓。模擬退火尤其適宜處理組合優(yōu)化問題，下面以模擬退火算法處理組合優(yōu)化問題來進一步引見模擬退火算法的步驟。2022年5月16日星期一22許多工程上和實際上的問題，其目的都是在一個很大的解空間中尋求一個最優(yōu)解，這些問題統(tǒng)稱為組合優(yōu)化問題。在許多組合優(yōu)化問題中，一個解通常是滿足一定規(guī)那么的一些離散對象的陳列

11、，一切這些解的集合叫做解空間。通常用一個“代價函數(shù)C(x)來衡量一個解的優(yōu)劣，目的就是選擇一個解使其代價函數(shù)C(x)最小，如TSP問題、大規(guī)模集成電路規(guī)劃布線問題等。 2022年5月16日星期一23模擬退火求解組合優(yōu)化問題模擬退火求解組合優(yōu)化問題2022年5月16日星期一24 模擬退火算法 組合優(yōu)化問題樣本問題舉例狀態(tài)解能量代價函數(shù)溫度控制參數(shù)熱平衡時的能量最小代價熱平衡狀態(tài)最優(yōu)解模擬退火求解組合優(yōu)化問題模擬退火求解組合優(yōu)化問題設V=V1,V2,Vn為一切能夠的組合或形狀所構(gòu)成的集合。C()是V的函數(shù)，且 ，反映取形狀Vi為解的代價，目的是尋覓 使模擬退火算法運用于組合優(yōu)化問題的根本思想就是把

12、每種組合形狀Vi看成某一物質(zhì)體系的微觀形狀，C(Vi)可看成該物質(zhì)體系在Vi下的能量 ，溫度T為控制參數(shù)。模擬退火求解組合優(yōu)化問題模擬退火求解組合優(yōu)化問題*VV( )0iC V *()min ( )iiC VC VVV讓T從一個足夠高的值漸漸下降，對于每個T，對當前形狀V作隨機擾動產(chǎn)生一個新形狀V，計算其增量C=C(V)-C(V)，并以概率e-C/kT接受V作為新的當前形狀。根據(jù)統(tǒng)計力學的知識，當反復如此隨機擾動足夠次數(shù)后，形狀Vi的出現(xiàn)概率如下： 2022年5月16日星期一26()/()/iiC VkTC VkTiPee模擬退火求解組合優(yōu)化問題模擬退火求解組合優(yōu)化問題k為Boltzmann常

13、數(shù)第一步：初始化。根據(jù)所要處理的組合優(yōu)化問題，確定代價函數(shù)C()的表達式，隨機選擇初始形狀V=V(0)，設定初始溫度T0，終止溫度Tfinal，概率閾值。第二步：Metropolis抽樣過程 1在溫度T下根據(jù)某一規(guī)定的方式，根據(jù)當前解所處的形狀V，產(chǎn)生一個近鄰子集N(V)可包括V，也可不包括V，在N(V)內(nèi)隨機尋覓一個新形狀S作為下一個當前解的候選解，計算C=C(V)-C(V)。2022年5月16日星期一27模擬退火求解組合優(yōu)化問題模擬退火求解組合優(yōu)化問題模擬退火求解組合優(yōu)化問題模擬退火求解組合優(yōu)化問題2假設C0，那么計算概率e-C/T，假設其大于給定概率閾值，那么取下一形狀為V=V，否那么，

14、保管這一形狀。3按某一給定的收斂算法檢查算法在溫度T下能否應停頓，假設符合收斂條件那么表示已到達熱平衡，轉(zhuǎn)向第三步的退火過程，假設不符合收斂條件，那么轉(zhuǎn)向1繼續(xù)迭代，直至在此溫度下收斂。2022年5月16日星期一28模擬退火求解組合優(yōu)化問題模擬退火求解組合優(yōu)化問題第三步：退火過程。 按照一定的降溫方法得到一個新的溫度T，檢查T能否小于給定的溫度終止閾值Tfinal。假設小于，那么退火過程終了，當前形狀V即為算法最終輸出解。假設溫度T大于等于給定閾值，那么轉(zhuǎn)至Metropolis抽樣過程，在新的溫度下搜索形狀。留意：在上述退火過程中，模擬退火算法能否能到達能量E的最小值，取決于T0能否足夠高，和

15、T下降得能否充分慢，以及對每個T時系統(tǒng)能否穩(wěn)定。1T0的選擇方法： a. 均勻隨機抽樣Vi，取此時C(Vi)的方差為T0 b. 在一切能夠的組合形狀中，選兩個形狀使C 最大，取T0為C的假設干倍； c. 按閱歷給出。2022年5月16日星期一30模擬退火參數(shù)控制模擬退火參數(shù)控制模擬退火參數(shù)控制模擬退火參數(shù)控制(2) 退火過程中Tfinal 的選取方法： a 根據(jù)閱歷確定 b 檢驗系統(tǒng)的熵是已否到達最小，假設到達最小， 即可以為溫度已到達終止溫度。 c T下降n次后都沒有改善，即可以為能量已降到最低，沒有必要再降溫。2022年5月16日星期一31模擬退火參數(shù)控制模擬退火參數(shù)控制3Metropol

16、is抽樣過程的收斂算法： a.檢驗目的函數(shù)C()的均值能否穩(wěn)定； b.繼續(xù)假設干步，C()變化很小設定閾值； c.按一個固定步數(shù)抽樣。4降溫方法確實定： 根據(jù)Kirlpatrick的方法令 ，0.8,0.99TT模擬退火參數(shù)控制模擬退火參數(shù)控制模擬退火算法是一種通用的隨機搜索算法，它可用于處理眾多的優(yōu)化問題，并曾經(jīng)廣泛的運用于其他領域。如VLSL設計、圖像識別等。當待處理的問題復雜性較高，而且規(guī)模較大時，在對問題的領域知識甚少的情況下，采用模擬退火算法最適宜。由于模擬退火算法不像其他確定型啟發(fā)式算法那樣，需求依賴于問題的領域知識來提高算法的性能。模擬退火參數(shù)控制模擬退火參數(shù)控制但是，從另一方面

17、來說，知有關(guān)待處理問題的一些知識后，模擬退火算法卻無法充分利用它們，這使得模擬退火算法的優(yōu)點就成了缺陷。如何把傳統(tǒng)的啟發(fā)式搜索方法和模擬退火隨機搜索算法結(jié)合起來，這是一個有待研討的非常有意義的課題。2022年5月16日星期一34模擬退火參數(shù)控制模擬退火參數(shù)控制模擬退火算法具有跳出部分最優(yōu)圈套的才干，因此被Ackley、Hinton和Sejnowski用作Boltzmann機學習算法，從而使Boltzmann機抑制了Hopfield網(wǎng)絡經(jīng)常收斂到部分最優(yōu)點的缺陷。在Boltmann機中，即使系統(tǒng)落入部分最優(yōu)的圈套，經(jīng)過一段時間后，它還能重新跳出來，使系統(tǒng)最終將往全局最優(yōu)點的方向收斂。2022年5

18、月16日星期一35模擬退火參數(shù)控制模擬退火參數(shù)控制模擬退火算法在求解規(guī)模較大的實踐問題時，往往存在以下缺陷： (1)收斂速度比較慢。 (2)雖然實際上只需計算時間足夠長，模擬退火法就可以保證以概率1收斂于全局最優(yōu)點。但是在實踐算法的實現(xiàn)過程中，由于計算速度和時間的限制，在優(yōu)化效果和計算時間二者之間存在矛盾，因此難以保證計算結(jié)果為全局最優(yōu)點，優(yōu)化效果不甚理想。 (3)在每一溫度下很難斷定能否到達了平衡形狀。模擬退火參數(shù)控制模擬退火參數(shù)控制為此，人們對模擬退火算法提出了各種各樣的改良，其中包括并行模擬退火算法、快速模擬退火算法和對模擬退火算法中各個函數(shù)和參數(shù)的重新設計等。Boltzmann機機20

19、世紀80年代，Ackley, Hinton 和Sejnowski等人以模擬退火思想為根底，對Hopfield網(wǎng)絡引入了隨機機制，推出Boltzmann機Geoffrey Hinton David H. Ackley Boltzmann機機Boltzmann機是第一個受統(tǒng)計力學啟發(fā)的多層學習機，它是一類典型的隨機神經(jīng)網(wǎng)絡，屬于反響神經(jīng)網(wǎng)絡類型 其命名來源于Boltzmann在統(tǒng)計熱力學中的早期任務和網(wǎng)絡本身的動態(tài)分布行為 Boltzmann機結(jié)合BP網(wǎng)絡和Hopfield網(wǎng)絡在網(wǎng)絡構(gòu)造、學習算法和動態(tài)運轉(zhuǎn)機制的優(yōu)點，是建立在Hopfield網(wǎng)根底上的，具有學習才干，可以經(jīng)過一個模擬退火過程尋求解

20、答。不過，其訓練時間比BP網(wǎng)絡要長。40Boltzmann機的網(wǎng)絡構(gòu)造機的網(wǎng)絡構(gòu)造Boltzmann機的網(wǎng)絡構(gòu)造機的網(wǎng)絡構(gòu)造Boltzmann機由輸入部、輸出部和中間部構(gòu)成。輸入神經(jīng)元和輸出神經(jīng)元可稱為顯見神經(jīng)元，它們是網(wǎng)絡與外部環(huán)境進展信息交換的媒介。中間部的神經(jīng)元稱為隱見神經(jīng)元，它們經(jīng)過顯見神經(jīng)元與外部進展信息交換。每一對神經(jīng)元之間的信息傳送是雙向?qū)ΨQ的，即wij= wji ，而且本身無反響即wii=0。學習期間，顯見神經(jīng)元將被外部環(huán)境“約束在某一特定的形狀，而中間部隱見神經(jīng)元那么不受外部環(huán)境約束。412022年5月16日星期一42Boltzmann機的單個神經(jīng)元機的單個神經(jīng)元Boltzm

21、ann機中每個神經(jīng)元的興奮或抑制具有隨機性，其概率取決于神經(jīng)元的輸入。神經(jīng)元 i 的全部輸入信號的總和為 ui為： 2022年5月16日星期一43inijjijuw vb 式中bi是該神經(jīng)元的閾值。 Boltzmann機的網(wǎng)絡構(gòu)造機的網(wǎng)絡構(gòu)造神經(jīng)元的輸出 vi 依概率取1或0 vi取1的概率： vi取0的概率： 44/1(1)1iiu TP ve/(0) 1(1)1iiu Tiiu TeP vP ve 由此可見， vi 取1的概率受兩個要素的影響：(1) ui 越大 vi 那么取1的概率越大，而取0的概率越小。(2) 參數(shù)T稱為“溫度，在不同的溫度下vi 取1的概率P隨 ui 的變化如下圖。B

22、oltzmann機的網(wǎng)絡構(gòu)造機的網(wǎng)絡構(gòu)造pu的關(guān)系Boltzmann機的網(wǎng)絡構(gòu)造機的網(wǎng)絡構(gòu)造可見，T 越高時，曲線越平滑，因此，即使ui有很大變動，也不會對vi取1的概率變化呵斥很大的影響；反之，T 越低時，曲線越峻峭，當ui有稍許變動時就會使概率有很大差別。即溫度高時形狀變化接近隨機，隨著溫度的降低向確定性的動作接近。當T0時，每個神經(jīng)元不再具有隨機特性，而具有確定的特性，鼓勵函數(shù)變?yōu)殡A躍函數(shù)，這時Boltzmann機趨向于Hopfield 網(wǎng)絡。46Boltzmann機的網(wǎng)絡構(gòu)造機的網(wǎng)絡構(gòu)造Boltzmann機的任務原理機的任務原理 Boltzmann機采用下式所示的能量函數(shù)作為描畫其形狀

23、的函數(shù)。 將Boltzmann機視為一動力系統(tǒng)，能量函數(shù)的極小值對應系統(tǒng)的穩(wěn)定平衡點，由于能量函數(shù)有界，當網(wǎng)絡溫度以某種方式逐漸下降到某一特定值時，系統(tǒng)必趨于穩(wěn)定形狀Boltzmann機的運轉(zhuǎn)過程就是逐漸降低其能量函數(shù)的過程。4711112nnnijijiiijiEw v vb v 2022年5月16日星期一48每個神經(jīng)元 j 的能量為Boltzmann機在運轉(zhuǎn)時，假設每次只改動一個神經(jīng)元的形狀，如第 i 個神經(jīng)元，t 時辰到 t+1時辰，它們的能量變化差值為Ei Boltzmann機的任務原理機的任務原理(1)( )iiiiiEE tE tvu 111122nnjijijiijijiiiii

24、Ew v vb vvw vb v 有一個凹凸不平的盆，要使一個小球穩(wěn)定在最低的地方，假設把小球悄然地放入盆中，那么結(jié)果必然是小球穩(wěn)定在距放入地方最近的低洼處。但是穩(wěn)定所在的地方并不保證是最低的地方，這一動作與Hopfield網(wǎng)絡相當。Boltzmann機那么是大幅度搖擺剛放入小球的盆子，然后逐漸減小搖擺的幅度。這樣，小球才有能夠到盆子的最低處處。2022年5月16日星期一49Boltzmann機的學習算法機的學習算法假定Boltzmann機中有V1和V2兩種形狀：在V1形狀下神經(jīng)元i的輸出vi=1，V2形狀下神經(jīng)元i的輸出vi=0，而一切其他神經(jīng)元在這兩種形狀下的取值都是一致的，另外假設兩種形

25、狀出現(xiàn)的概率分別是 和 ： 2022年5月16日星期一501vP2vP/1/221/(1)(1)/(1)iiiE TviE TE TviivvPk PkePkPkeeEEE Boltzmann機的學習算法機的學習算法k 為常數(shù)Boltzmann機的學習算法機的學習算法對于網(wǎng)絡中恣意兩個形狀V1和V2的出現(xiàn)概率分別為 和 。它們之間的關(guān)系為 上式符合統(tǒng)計理學中己知的Boltzmann分布。Boltzmann機由此得名。2022年5月16日星期一511122()/1/vviEETvE TvPeeP1vP2vP2022年5月16日星期一52一方面： 這就闡明了能量低的形狀出現(xiàn)的概率大，能量高的形狀出

26、現(xiàn)的概率小。另一方面：溫度參數(shù)T也會影響B(tài)oltzmann機處于某種形狀的概率。121212121212()/()/11vvvvEETvvvvEETvvvvEEePPEEePP Boltzmann機的學習算法機的學習算法(1) T 很高時，各形狀出現(xiàn)的概率差別大大減小，也就是說網(wǎng)絡停留在全局最小點的概率，并不比部分最小點的概率甚至非部分最小點高很多。也即網(wǎng)絡不會陷在某個極小點中拔不出來，網(wǎng)絡在搜索過程中可以“很快的穿行于各極小點之間，但落于全局最小點的概率還是最大的。這一點保證網(wǎng)絡形狀落入全局最小點的能夠性大。 2022年5月16日星期一53Boltzmann機的學習算法機的學習算法(2) T

27、 很低時，情況正好相反。概率差距被加大，一旦網(wǎng)絡陷于某個極小點之后，雖然還有能夠跳出該極小點，但是所需的搜索次數(shù)將是非常多的。這一點保證網(wǎng)絡形狀一旦到達全局最小點，跳出的能夠性小。(3) T0Hopfield網(wǎng)絡)。差距被無限擴展，跳出部分最小點的概率趨于無窮小。這一點保證網(wǎng)絡形狀穩(wěn)定在全局最小點。2022年5月16日星期一54Boltzmann機的學習算法機的學習算法Boltzmann機的運轉(zhuǎn)步驟機的運轉(zhuǎn)步驟設一個Boltzmann機具有n個隨機神經(jīng)元p個顯見神經(jīng)元，q個隱見神經(jīng)元，第i個神經(jīng)元與第j個神經(jīng)元的銜接權(quán)值為wij，i，j1,2,n。T0為初始溫度，m1,2,M為迭代次數(shù)。Bol

28、tzmann機的運轉(zhuǎn)步驟為：第一步：對網(wǎng)絡進展初始化。設定初始溫度T0、終止溫度Tfinal和閾值，以及網(wǎng)絡各神經(jīng)元的銜接權(quán)值wij。2022年5月16日星期一56第二步：在溫度Tm條件下初始溫度為T0隨機選取網(wǎng)絡中的一個神經(jīng)元i，計算神經(jīng)元i的輸入信號總和ui：第三步：假設ui0，即能量差Ei0，取vi=1為神經(jīng)元i的下一形狀值。假設ui0，計算概率：1niijjijijuw vb/1/(1)iu TiPeBoltzmann機的運轉(zhuǎn)步驟機的運轉(zhuǎn)步驟2022年5月16日星期一57第四步：判別網(wǎng)絡在溫度Tm下能否到達穩(wěn)定，假設未到達穩(wěn)定，那么繼續(xù)在網(wǎng)絡中隨機選取另一神經(jīng)元j，令ji，轉(zhuǎn)至第二步反

29、復計算，直至網(wǎng)絡在Tm下到達穩(wěn)定。假設網(wǎng)絡在Tm下已到達穩(wěn)定那么轉(zhuǎn)至第五步計算。第五步：以一定規(guī)律降低溫度，使Tm+1Tm，判別Tm+1能否小于Tfinal，假設Tm+1大于等于Tfinal，那么Tm=Tm1，轉(zhuǎn)至第二步反復計算；假設Tm+1小于Tfinal ，那么運轉(zhuǎn)終了。此時在Tm下所求得的網(wǎng)絡穩(wěn)定形狀，即為網(wǎng)絡的輸出。 Boltzmann機的運轉(zhuǎn)步驟機的運轉(zhuǎn)步驟Boltzmann機學習留意問題機學習留意問題1初始溫度T0的選擇方法。初始溫度T0的選取主要有以下方法：隨機選取網(wǎng)絡中k個神經(jīng)元，選取這k個神經(jīng)元能量的方差作為T0；在初始網(wǎng)絡中選取使E最大的兩個神經(jīng)元，取T0為Emax的假設干

30、倍；按閱歷值給出T0等。2確定終止溫度閾值Tfinal的方法。主要根據(jù)閱歷選取，假設在延續(xù)假設干溫度下網(wǎng)絡形狀堅持不變，也可以為已到達終止溫度。2022年5月16日星期一58Boltzmann機學習留意問題機學習留意問題3概率閾值確實定方法。的選取方法主要有：在網(wǎng)絡初始化時按照閱歷確定或在網(wǎng)絡每次運轉(zhuǎn)過程中選取一個0,0.5之間均勻分布的隨機數(shù)。4網(wǎng)絡權(quán)值wij確實定方法。5在每一溫度下到達熱平衡的條件。通常在每一溫度下，實驗足夠多的次數(shù)，直至網(wǎng)絡形狀在此溫度下不再發(fā)生變化為止。2022年5月16日星期一59Boltzmann機學習留意問題機學習留意問題6降溫的方法。通常采用指數(shù)的方法進展降溫

31、，即：為加快網(wǎng)絡收斂速度也可采用倍乘一個小于1的降溫系數(shù)的方法進展快速降溫。2022年5月16日星期一6001log(1)mTTmBoltzmann機的學習規(guī)那么機的學習規(guī)那么Boltzmann機是一種隨機神經(jīng)網(wǎng)絡，可運用概率中的似然函數(shù)量度其模擬外界環(huán)境概率分布的性能。因此，Boltzmann機的學習規(guī)那么就是根據(jù)最大似然規(guī)那么，經(jīng)過調(diào)整權(quán)值wij，最小化似然函數(shù)或其對數(shù)。假設給定需求網(wǎng)絡模擬其概率分布的樣本集合，Vx是樣本集合中的一個形狀向量，Vx即可代表網(wǎng)絡中顯見神經(jīng)元的一個形狀，假設向量Vy表示網(wǎng)絡中隱見神經(jīng)元的一個能夠形狀，那么V=Vx Vy即可表示整個網(wǎng)絡所處的形狀。2022年5月16日星期一61Boltzmann機的學習規(guī)那么機的學習規(guī)那么由于網(wǎng)絡學習的最終