Boltzmann機網(wǎng)絡(luò)簡介.doc

題目：循環(huán)網(wǎng)絡(luò)及其應(yīng)用基于Boltzmann機網(wǎng)絡(luò)1. 網(wǎng)絡(luò)結(jié)構(gòu) 伯爾茲曼機網(wǎng)絡(luò)（Boltzmann machines，BM）在網(wǎng)絡(luò)結(jié)構(gòu)方面與Hopfield神經(jīng)網(wǎng)絡(luò)類似，網(wǎng)絡(luò)采取有教師的學(xué)習(xí)方法，每一個神經(jīng)元之間對稱的反饋互聯(lián)，即各對神經(jīng)元之間的傳輸權(quán)重系數(shù)是對稱的：，。但是，兩者之間在運行原理方面有根本區(qū)別。（1）Hopfield網(wǎng)絡(luò)的神經(jīng)元的結(jié)構(gòu)功能，及其在網(wǎng)絡(luò)中的地位是一樣的。BM中一部分神經(jīng)元與外部相連，可以起到網(wǎng)絡(luò)的輸入、輸出功能，或者嚴格的說可以受到外部條件的約束；而另一部分神經(jīng)元則不與外部相連，因而屬于隱單元；BM是具有隱單元的反饋互聯(lián)網(wǎng)絡(luò)。（2）神經(jīng)元的狀態(tài)為0或1的概率取決于相應(yīng)的輸入。（3）學(xué)習(xí)與工作原理有其獨特之處。BM網(wǎng)絡(luò)的神經(jīng)元特性取概率閾值模型，如圖1所示。對于第號神經(jīng)元，它的全部輸入信號的總和為，可表示如下 （1）或者 （2）神經(jīng)元的輸出為，只能取1或0，取1的概率由下式?jīng)Q定 （3） （4）式（3）就是我們熟悉的Sigmoid形式，但是前面分析中常用的參數(shù)改用了字母，并且稱之為溫度，這與在BM的分析中將與熱力學(xué)類比有關(guān)，在不同的溫度下隨的變化如圖2所示，溫度參數(shù)在BM神經(jīng)網(wǎng)絡(luò)的搜索過程中起重要的作用。 圖1 BM神經(jīng)元結(jié)構(gòu)圖2 BM神經(jīng)元的特性2訓(xùn)練方法2.1 狀態(tài)更新算法（1）網(wǎng)絡(luò)初始化給初始狀態(tài)賦-1，1之間的隨機數(shù)，設(shè)定起始溫度和目標溫度值。（2）求解內(nèi)部狀態(tài) 從N個神經(jīng)元中隨機選取一個神經(jīng)元，根據(jù)下式求解出神經(jīng)元的輸入總和，即內(nèi)部狀態(tài)。 （5） （6）（3）更新神經(jīng)元狀態(tài) 根據(jù)下面的公式更新神經(jīng)元的狀態(tài)： （7） （8）（4） 除i外的神經(jīng)元的輸出狀態(tài)保持不變，即除i外的神經(jīng)元的狀態(tài)由下面公式求解得出： 。 （9）（5） 令 ，按照下式計算出新的溫度參數(shù)： （10）（6） 第（5）步計算出的溫度參數(shù)是否小于目標溫度，小于目標溫度則算法結(jié)束，否則返回（2），進入下一輪計算。2.2 注意事項（1）概率閥值的確定方法在網(wǎng)絡(luò)初始化時按經(jīng)驗確定，或在運行過程中選取一個0，0.5之間均勻分布的隨機數(shù)。（2）網(wǎng)絡(luò)權(quán)值的確定方法（3）在每一溫度下達到熱平衡的條件（4）降溫方法通常采用指數(shù)降溫，即 為加快網(wǎng)絡(luò)收斂速度，也可采用一個倍乘小于1的降溫系數(shù)的辦法。3相關(guān)問題算法BM神經(jīng)元網(wǎng)絡(luò)的運行：最佳解的模擬退火法搜索模擬退火算法是最優(yōu)化處理理論和方法的一個方面，并不是在BM網(wǎng)絡(luò)中所專有的，恰恰相反，正是由于上述的網(wǎng)絡(luò)概率狀態(tài)對參數(shù)的強烈依賴使我們自然地想到，在網(wǎng)絡(luò)的運行過程中應(yīng)先高后低以便能夠在搜索速度和搜索精度兩個方面得到好處，快熟而又精確地獲得全局最優(yōu)解。就像在所有的自適應(yīng)運算中對迭代步長的處理那樣。而作為熱處理工藝的模擬退火方法也將工件高溫加熱，然后慢慢冷卻，所追求的物理目的就是將工件的微觀物質(zhì)結(jié)構(gòu)在高溫下進行充分的擾動、而在降溫的進程中生成微觀晶格有序化的低能量狀態(tài)，共同的理論思想使二者走到了一起，也是熱力學(xué)理論引入信息處理領(lǐng)域的最初嘗試和成功范例。模擬退火算法（Simulated Annealing，SA）它由Metropolis于1953年提出，是最優(yōu)化處理算法中的一種改進的蒙特卡羅方法、包括Metropolis算法和退火過程（Annealing Procedure，AP）組成。S Kirkpatrick（1983）和V Cerny（1985）進一步發(fā)展和應(yīng)用了這一方法。方法的概要是，首先在高溫下進行搜索，由于此時各狀態(tài)出現(xiàn)概率相差不大，系統(tǒng)可以很快進入“熱平衡狀態(tài)”，是一種快速找到系統(tǒng)概率的低能區(qū)的“粗搜索”過程。隨著溫度逐漸降低，各狀態(tài)出現(xiàn)概率的差距逐漸被擴大，搜索精度不斷提高。最后以一較高置信度達到網(wǎng)絡(luò)能量函數(shù)的全局最小點。簡要說明如下。（1）Metropolis抽樣過程Metropolis算法是模擬退火算法的基礎(chǔ)。它假定隨機變量在某一時刻的狀態(tài)為，在另一時刻狀態(tài)為。假設(shè)這種狀態(tài)的轉(zhuǎn)移滿足對稱條件。令表示系統(tǒng)從狀態(tài)轉(zhuǎn)移至狀態(tài)所引起的能量差。如果0，算法按概率操作結(jié)果隨機決定兌現(xiàn)或放棄這一轉(zhuǎn)移。概率操作的方法很多，其中取隨機數(shù)的方法很簡單。隨機生成一個在0,1區(qū)間內(nèi)均勻分布的隨機數(shù)，如果。則兌現(xiàn)這種轉(zhuǎn)移，否則拒絕這種轉(zhuǎn)移。反復(fù)迭代，達到系統(tǒng)當前溫度下的熱平衡（能量最?。?。這個過程稱作Metropolis抽樣過程。（2）退火過程退火過程就是降溫過程。即在Metropolis抽樣過程中將溫度緩慢降低，通過參數(shù)的變化使系統(tǒng)狀態(tài)收斂于全局最小能量處。參數(shù)的選擇對于算法最后的結(jié)果有很大的影響。初始溫度和終止溫度設(shè)置的過低或過高都會延長搜索時間。降溫步驟太快，往往會漏掉全局最優(yōu)點，使算法收斂至局部最優(yōu)點。叫我降溫步驟太慢，則會大大延遲搜索全局最優(yōu)點的計算時間，從而難以實際應(yīng)用。模擬退火的算法，得到許多研究者從不同角度和方面進行大量的研究，得到了廣泛的應(yīng)用。在BM網(wǎng)絡(luò)中為了達到最優(yōu)搜索結(jié)果，更是對模擬退火算法的應(yīng)用與實現(xiàn)進行了充分的研究，而其中的一個重要問題就是溫度降低策略。Kirkpatrick等進行了大量的研究，并給出了一些有用的原則。初始溫度：選取足夠高的，保證存在所有可能的轉(zhuǎn)移狀態(tài)。溫度下降策略：有不同降溫策略，例如 此處是一小于卻接近與1的常數(shù)。例如可在0.8至0.99之間取值。另外如 終止溫度：如果在連續(xù)的若干個溫度下沒有可接受的新狀態(tài)，算法結(jié)束。BM網(wǎng)絡(luò)的運行采用了模擬退火算法，具體步驟如下：設(shè)BM網(wǎng)絡(luò)具有個神經(jīng)元，其中個為顯見神經(jīng)元，個為隱見神經(jīng)元；號神經(jīng)元的連接權(quán)值為。請?zhí)貏e注意，這里討論的是網(wǎng)絡(luò)工作階段的運行問題。是已訓(xùn)練的最優(yōu)權(quán)值。第一步：網(wǎng)絡(luò)初始化。設(shè)定初始溫度、終止溫度、神經(jīng)元輸出取1的概率閾值。第二部：逐一調(diào)整每一個神經(jīng)元的狀態(tài)。首先，在溫度條件下，隨機選取網(wǎng)絡(luò)中的一個神經(jīng)元，計算神經(jīng)元的凈輸入 若即能量差0，由前述分析知，取1降低網(wǎng)絡(luò)能量，故兌現(xiàn)之u，取。若即能量差0，則按概率取值。先計算取1概率 若，取，若，取。然后，判斷網(wǎng)絡(luò)是否是一個局部穩(wěn)態(tài)，若是，則轉(zhuǎn)入第三步，降低溫度，實施退火；若不是一個局部穩(wěn)態(tài)，則反復(fù)隨機選取另一個神經(jīng)元重復(fù)本步過程，直到達到一個局部穩(wěn)態(tài)。第三步：模擬退火。重新逐一調(diào)整每一神經(jīng)元的狀態(tài)。按等策略降低系統(tǒng)溫度，重復(fù)第二步工作。第四步：終止。條件終止：如果在連續(xù)的若干個溫度下沒有可接受的新狀態(tài)，算法結(jié)束。無條件終止：，算法結(jié)束。4BM機的應(yīng)用介紹BM網(wǎng)絡(luò)的應(yīng)用結(jié)果的文獻相對其它類型的網(wǎng)絡(luò)少得多，其原因在前面已經(jīng)提及，主要就是計算工作量太大，限制了應(yīng)用者的興趣。但是許多研究者致力于網(wǎng)絡(luò)模型和計算方法改進的研究，還取得了一些重要進展，在各個技術(shù)領(lǐng)域的最優(yōu)化處理應(yīng)用也相當?shù)膹V泛。目前BM機已經(jīng)廣泛應(yīng)用到圖像、聲納、雷達等模式識別領(lǐng)域。下面結(jié)合一些實際的應(yīng)用來具體介紹一下。4.1 BM在最優(yōu)化計算方面的應(yīng)用目前已有許多利用BM進行一類復(fù)雜決策問題的BM求解實例。本節(jié)重點介紹用遺傳算法優(yōu)化的BM機。由于人工神經(jīng)網(wǎng)絡(luò)自身具有并行性、魯棒性等特點，附以一些其他算法，有可能解決目前優(yōu)化設(shè)計領(lǐng)域中存在的一些問題。國內(nèi)外已有很多學(xué)者對此進行了研究，也取得了令人滿意的結(jié)果。目前BM機已經(jīng)廣泛應(yīng)用到圖像、聲納、雷達等模式識別領(lǐng)域。但是BM機運用模擬退火算法學(xué)習(xí)理論上能跳出局部最優(yōu)值而獲得全局最優(yōu)值或者全局最優(yōu)值的近似值，是一種功能比較強大的網(wǎng)絡(luò)。但是其各個節(jié)點狀態(tài)的變化是個異步的過程，并且在權(quán)值調(diào)整時調(diào)整量的大小不容易確定。遺傳算法是一種并行計算的智能優(yōu)化算法，并且對于待尋優(yōu)的函數(shù)無連續(xù)性、可微性等限制，因而應(yīng)用范圍較廣。將遺傳算法應(yīng)用于BM機的學(xué)習(xí)中，用其并行尋優(yōu)能力調(diào)整BM機的權(quán)值變化，實現(xiàn)了不通過復(fù)雜的概率統(tǒng)計調(diào)整BM機的權(quán)值，同樣訓(xùn)練出來符合要求的網(wǎng)絡(luò)。4.1 .1 算法原理BM機學(xué)習(xí)過程中，在正向?qū)W習(xí)階段和反向?qū)W習(xí)階段，網(wǎng)絡(luò)中的自由活動的節(jié)點的輸出狀態(tài)按概率： （4-1）進行改變。式中，為網(wǎng)絡(luò)的溫度，為由節(jié)點狀態(tài)的變化而引起的網(wǎng)絡(luò)能量的變化值。并且經(jīng)過模擬退火算法不斷降低網(wǎng)絡(luò)的溫度，最終使網(wǎng)絡(luò)達到熱平衡狀態(tài)。當正向?qū)W習(xí)階段的網(wǎng)絡(luò)和反向?qū)W習(xí)階段的網(wǎng)絡(luò)都達到熱平衡狀態(tài)時，統(tǒng)計網(wǎng)絡(luò)中的任意兩個節(jié)點同時為1的平均概率，根據(jù)概率統(tǒng)為由節(jié)點狀態(tài)的變化而引起的網(wǎng)絡(luò)能量的變化值。并且經(jīng)過模擬退火算法不斷降低網(wǎng)絡(luò)的溫度，最終使網(wǎng)絡(luò)達到熱平衡狀態(tài)。當正向?qū)W習(xí)階段的網(wǎng)絡(luò)和反向?qū)W習(xí)階段的網(wǎng)絡(luò)都達到熱平衡狀態(tài)時，統(tǒng)計網(wǎng)絡(luò)中的任意兩個節(jié)點同時為1的平均概率，根據(jù)概率統(tǒng)計對網(wǎng)絡(luò)的權(quán)值進行調(diào)整，其調(diào)整公式為： （4-2）BM法中只規(guī)定了的值大于0，但是沒有給出具體值的求法，同時統(tǒng)率 和 也相當繁瑣。遺傳算法是一個迭代過程，首先在每次迭代中都保留一候選解，按其解的優(yōu)劣進行排序，再利用一些遺傳算子如交叉和變異等對其進行運算，產(chǎn)生一組新一代的候選解，重復(fù)此過程，直到滿足某種收斂指標為止。由這個定義可以看出遺傳算法的核心所在。因此用遺傳法中種群個體之間的競爭尋優(yōu)的方法調(diào)整BM機的權(quán)值。4.1 .2 算法的各子步驟的說明 （1）編碼應(yīng)用遺傳算法求解的首要問題是對所求問題解的編碼。編碼表示機制也是進化神經(jīng)網(wǎng)絡(luò)的核心問題。在遺傳算法中編碼方式有多種，各種方式各有利弊，但是二進制編碼是一種常用的、方便的編碼方式。由于BM機節(jié)點的輸出狀態(tài)只有0和1兩種形式，因此用二進制編碼方式十分方便。所以在編碼時選擇以各個網(wǎng)絡(luò)節(jié)點狀態(tài)的輸出值為基因值的二進制編碼方式。例如，一個染色體的編碼方式為01000100，表示一個有8個節(jié)點的BM機，其節(jié)點的輸出狀態(tài)分別為染色體上的基因值。同時，在對每個染色體編碼時產(chǎn)生一個與每一個染色體相對應(yīng)的神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣，用以存儲該神經(jīng)網(wǎng)絡(luò)的值時，遺傳算法結(jié)束。（2）適應(yīng)度函數(shù)適應(yīng)度函數(shù)表示子個體適應(yīng)環(huán)境的能力，反應(yīng)個體在競爭中生存能力的大小。在 BM 機的學(xué)習(xí)過程中，自由運行期結(jié)束后所得的實際輸出值和期望的輸出值的差別越小，表明該網(wǎng)絡(luò)越符合要求。因此，取適應(yīng)度函數(shù)值為實際輸出值和期望輸出值之差絕對值的倒數(shù)。當然，實際輸出值和期望輸出值之差可能為 0 ，這時，根據(jù)實際情況取其適應(yīng)度函數(shù)值為一個比其他情況適應(yīng)度函數(shù)值都大的數(shù)值。例如實際輸出值為0,1,0，期望輸出值為 0,0,1，則實際輸出值|0-0|+|1-0|=|0-1|=2，則其適應(yīng)度函數(shù)值為 1/2= 0.5 。（3）選擇操作采用什么選擇方法對遺傳算法的性能有很大的影響。在本節(jié)中，采取輪盤賭復(fù)制法進行選擇操作。首先求出目前群體中所有數(shù)字串的適應(yīng)度值，個體依概率： （4-3）被復(fù)制到下一代式中為第 為第個染色體的適應(yīng)度函數(shù)值，代表該整體中所有個體的適應(yīng)度函數(shù)值的和。這樣適應(yīng)度高的染色體將有更大的可能進入下一代，適應(yīng)度低的個體將逐漸被淘汰。（4）交叉操作交叉是遺傳算法中最主要的算子，尋優(yōu)的過程主要是通過交叉來實現(xiàn)的 ，因而其發(fā)生的概率應(yīng)該定得比較大。采用單點交叉的方法，選擇兩個染色體作為雙親染色體，隨機地選擇染色體中的一個位置作為交叉點進行交叉，生成兩個新的子個體。同時對參與交換個體網(wǎng)絡(luò)中相應(yīng)的權(quán)值矩陣做交換，產(chǎn)生兩個新的絡(luò)的權(quán)值矩陣。例如，兩個染色體編碼為01001101和01110001，在第4個等位基因處進行交叉操作，交叉后兩個染色體分別為01010001和01101101，同時在第4個網(wǎng)絡(luò)節(jié)點處交換兩個網(wǎng)絡(luò)對應(yīng)的權(quán)值。例如兩個網(wǎng)絡(luò)的權(quán)值矩陣為和，在第 4個節(jié)點處交換后兩個網(wǎng)絡(luò)的對應(yīng)的權(quán)值矩陣變?yōu)楹汀＃?）變異操作變異操作的作用主要是在選擇操作和交叉操作這兩個過程中，對種群中的個體可能丟失的一些有用的遺傳因子進行修復(fù)和補充，恢復(fù)群體基因的多樣性，避免種群陷入局部最優(yōu)解。本文中變異操作是在BM網(wǎng)絡(luò)達到熱平衡狀態(tài)后以較小的概率隨機地改變?nèi)旧w中某一位的基因的值。如隨機地選擇一個基因位使其基因值由0變?yōu)?或由1變?yōu)? 。但是，本算法最終的目的是調(diào)節(jié)網(wǎng)絡(luò)的權(quán)值，使網(wǎng)絡(luò)能達到符合期望要求的模式。在交叉操作中只是通過權(quán)值矩陣交換操作來改變已有權(quán)值矩陣的值，并不能產(chǎn)生新的不同于已有的權(quán)值矩陣的值。為了能在遺傳算法中引入一些新的權(quán)值矩陣的值，對產(chǎn)生變異的染色體的等位基因，調(diào)節(jié)其對應(yīng)的網(wǎng)絡(luò)節(jié)點輸入輸出的權(quán)值，例如對所有和該節(jié)點相連的邊，全部隨機地增加一個或者減少一個調(diào)整量（ 的值隨實際的情況而定）。（6）結(jié)束條件當達到進化的規(guī)定代數(shù)或者適應(yīng)度函數(shù)值達到一個滿意的值時，遺傳算法結(jié)束。4.1 .3 算法的步驟以相互回憶型網(wǎng)絡(luò)為例，其算法步驟如下：步驟 1 產(chǎn)生一個種群個數(shù)為 N 的 BM 機網(wǎng)絡(luò)群體。群體中每個個體染色體的基因由兩部分組成，一部分是由確定的輸入節(jié)點狀態(tài)值，剩余部分的基因值隨機確定。同時每個染色體都有一個所對應(yīng)的網(wǎng)絡(luò)的連接權(quán)值矩陣，同時設(shè)定網(wǎng)絡(luò)的初始溫度和終止溫度 ，以及遺傳算法的終止條件。步驟 2 讓群體中的每個個體的網(wǎng)絡(luò)進入自由運行期。在該階段，隨機地選取各個非輸入的節(jié)點，如果節(jié)點的輸出狀態(tài)改變后，網(wǎng)絡(luò)的能量變化小于0，則改變該網(wǎng)絡(luò)節(jié)點的狀態(tài)，否則按照公式（4-1）中的概率選擇是否改變該節(jié)點狀態(tài)的值，若公式（4-1）中的概率小于隨機產(chǎn)生的概率，則改變網(wǎng)絡(luò)節(jié)點的狀態(tài)輸出值，否則狀態(tài)輸出值不改變。重復(fù)進行該步驟若干次，保證每個網(wǎng)絡(luò)的節(jié)點都被選取過至少一次。步驟3 按照一定的方式降低網(wǎng)絡(luò)的溫度值，如 （4-4）式（4-4）中代表網(wǎng)絡(luò)降溫前的溫度，代表網(wǎng)絡(luò)降溫后的溫度，代表迭代的次數(shù)，重復(fù)步驟2。步驟 4重復(fù)步驟3，直到網(wǎng)絡(luò)的溫度由初始溫度降到規(guī)定的一個極小溫度，這時停止模擬退火，網(wǎng)絡(luò)達到一個熱平衡狀態(tài)。步驟 5對達到熱平衡狀態(tài)的群體中的個體按其適應(yīng)度值的大小進行上述選擇、交叉、變異操作。步驟 6重復(fù)步驟2、步驟3和步驟4，直至網(wǎng)絡(luò)達到了規(guī)定的學(xué)習(xí)代數(shù)或者適應(yīng)度函數(shù)的值滿足要求為止。這時的網(wǎng)絡(luò)為訓(xùn)練好的符合實際期望值的網(wǎng)絡(luò)。步驟 7對于一組輸入值，用訓(xùn)練好的網(wǎng)絡(luò)進行預(yù)測其輸出值的工作。4.1 .4 總結(jié)將遺傳算法運用到 BM 機的學(xué)習(xí)過程中，通過遺傳算法的個體之間的競爭尋優(yōu)來調(diào)節(jié)權(quán)值的變化，最終尋找到符合要求的網(wǎng)絡(luò)權(quán)值，訓(xùn)練出符合期望的網(wǎng)絡(luò)。通過實例驗證，可以看到按本文所提算法學(xué)習(xí)所得到的網(wǎng)絡(luò)預(yù)測天氣的準確率并不一定高于BM機，但是可以省略掉BM機在學(xué)習(xí)時統(tǒng)計實際輸入輸出模式和進行權(quán)值調(diào)整時系數(shù)的確定等過程。本方法經(jīng)過足夠多代的進化過程能確定符合要求的網(wǎng)絡(luò)的權(quán)值。當然由于引入種群，增加了一定的計算量，這是本方法的一個不足之處。4.2BM在語音識別方面的應(yīng)用本節(jié)重點介紹BM網(wǎng)絡(luò)識別英語中包含11個穩(wěn)定元音 等的單詞和短語。元音識別建立在前文介紹的典型BM網(wǎng)絡(luò)結(jié)構(gòu)和典型學(xué)習(xí)方法之上，由于對短語的識別要考慮前后文之間的約束，因此進一步構(gòu)建了有限狀態(tài)機環(huán)節(jié)。我們僅對元音識別的BM的基本情況作一簡要介紹。1.輸入語音的預(yù)處理和特征提取。依據(jù)人的元音發(fā)音時的聲頻參數(shù)，輸入語音的采樣率10KH ，12 bit量化；語音信號幀長為10 ms；對每一幀語音左FFT，得到128點的信號離散功率譜，對各進行高頻家重、對數(shù)壓縮、幅度歸一化，最終變成4 bit量化的128維輸入權(quán)向量。對于模式識別類的應(yīng)用，特征提取和特征向量的構(gòu)建是基礎(chǔ)，必須仔細進行，因為它對網(wǎng)絡(luò)工作能力的發(fā)揮具有關(guān)鍵意義，對BM網(wǎng)絡(luò)也不例外。2.網(wǎng)絡(luò)結(jié)構(gòu)方案。第一種方案是取128個輸入神經(jīng)元，每個神經(jīng)元4 bit離散取值，對應(yīng)128維4 bit量化的輸入空間；第二種方案是取16行128列 =2048個神經(jīng)元，每個神經(jīng)元0/1取值，每列對應(yīng)128維輸入向量，依據(jù)輸入向量每一維的取值，置對應(yīng)神經(jīng)元狀態(tài)為“1”。注意，兩種方案都能有效表達128維4 bit量化輸入向量對BM輸入層的約束，但是第一方案偏離了BM網(wǎng)絡(luò)神經(jīng)元為閾值模型的基本假設(shè)，因此對，的計算要作修正；第二方案的輸入層變成方陣，網(wǎng)絡(luò)連接要復(fù)雜許多。因此兩種方案的識別能力有明顯差異。隱層神經(jīng)元為40個神經(jīng)元。接收來自輸入神經(jīng)元的輸出并向每一個輸出神經(jīng)元提供輸入。隱層自身各對神經(jīng)元充分互連接。3.學(xué)習(xí)算法（1）128個輸入神經(jīng)元始終受到輸入矢量的鉗制。（2）8個輸出神經(jīng)元的狀態(tài)在學(xué)習(xí)態(tài)中受到每個元音對應(yīng)編碼的鉗制；在自由態(tài)則不受鉗制。（3）網(wǎng)絡(luò)在工作態(tài)，只有128個輸入神經(jīng)元受鉗制。（4）無論是學(xué)習(xí)還是工作，BM網(wǎng)絡(luò)采用同步方式，這就是說在每一個運行節(jié)拍上網(wǎng)絡(luò)中所有不受鉗制的神經(jīng)元同時進行狀態(tài)轉(zhuǎn)移，以節(jié)省運行時間。下面介紹學(xué)習(xí)算法的其它一些細節(jié)考慮。（1）模擬退火程序。網(wǎng)絡(luò)從一個初始溫度開始進行搜索，然后以0.85的因子進行降溫，即依次取 的溫度進行搜索，直到降溫至?xí)r，認為網(wǎng)絡(luò)進入穩(wěn)態(tài)。（2）系數(shù)的調(diào)整。調(diào)整算法采取固定步幅方案。當時，當時，。是一