計(jì)算智能-模擬退火算法

1、4.模擬退火算法4.1 模擬退火算法概述 模擬退火算法：基本思想是把某類優(yōu)模擬退火算法：基本思想是把某類優(yōu)化問(wèn)題的求解過(guò)程與統(tǒng)計(jì)熱力學(xué)中的熱平化問(wèn)題的求解過(guò)程與統(tǒng)計(jì)熱力學(xué)中的熱平衡問(wèn)題進(jìn)行對(duì)比，試圖通過(guò)模擬高溫物體衡問(wèn)題進(jìn)行對(duì)比，試圖通過(guò)模擬高溫物體退火過(guò)程的方法，來(lái)找到優(yōu)化問(wèn)題的全局退火過(guò)程的方法，來(lái)找到優(yōu)化問(wèn)題的全局最優(yōu)或近似全局最優(yōu)解。最優(yōu)或近似全局最優(yōu)解。4.1 模擬退火算法概述 一個(gè)物體（例如金屬）的退火過(guò)程大一個(gè)物體（例如金屬）的退火過(guò)程大體上是這樣的：首先對(duì)該物體加熱（熔體上是這樣的：首先對(duì)該物體加熱（熔化），那么物體內(nèi)的原子就可高速自由運(yùn)化），那么物體內(nèi)的原子就可高速自由運(yùn)行，

2、處于較高的能量狀態(tài)。但是作為一個(gè)行，處于較高的能量狀態(tài)。但是作為一個(gè)實(shí)際的物理系統(tǒng)，原子的運(yùn)行總是最低的實(shí)際的物理系統(tǒng)，原子的運(yùn)行總是最低的能態(tài)。一開始溫度較高時(shí)，高溫使系統(tǒng)具能態(tài)。一開始溫度較高時(shí)，高溫使系統(tǒng)具有較高的內(nèi)能，而隨著溫度的下降，原子有較高的內(nèi)能，而隨著溫度的下降，原子越來(lái)越趨向于低能態(tài)，最后整個(gè)物體形成越來(lái)越趨向于低能態(tài)，最后整個(gè)物體形成最低能量的基態(tài)。最低能量的基態(tài)。4.1 模擬退火算法概述模擬模擬退火退火算算法（法（ Simulated Annealing；SA） 最早的想法是由最早的想法是由N.Metropolis 等人等人于于1953 年所提出，在年所提出，在當(dāng)時(shí)并當(dāng)時(shí)

3、并沒(méi)有受到?jīng)]有受到重視重視。直到直到1983 年由年由Kirkpatrick et al. 提出提出蒙蒙特特卡卡羅羅模模擬擬（MonteCarlo Simulated）概念的概念的隨機(jī)搜尋隨機(jī)搜尋技巧，利用此方法技巧，利用此方法來(lái)來(lái)求解的求解的組組合合優(yōu)化問(wèn)題時(shí)優(yōu)化問(wèn)題時(shí)，才使此算法受到重，才使此算法受到重視視。4.1 模擬退火算法概述SA的的觀念觀念主要主要來(lái)來(lái)自自于固體加熱于固體加熱至一定的至一定的溫度后溫度后，固，固體間體間的分子的分子結(jié)構(gòu)會(huì)結(jié)構(gòu)會(huì)被打散瓦解被打散瓦解變?yōu)橐簯B(tài)結(jié)構(gòu)變?yōu)橐簯B(tài)結(jié)構(gòu)，接接著著再再對(duì)對(duì)其其降降溫過(guò)溫過(guò)程程加以控制，加以控制，當(dāng)當(dāng)完全冷完全冷卻卻能使其分子在能使其分

4、子在液態(tài)結(jié)構(gòu)轉(zhuǎn)變?yōu)橐簯B(tài)結(jié)構(gòu)轉(zhuǎn)變?yōu)楣坦腆w結(jié)構(gòu)體結(jié)構(gòu)時(shí)時(shí)，重新排列成我，重新排列成我們們所所預(yù)期預(yù)期的的穩(wěn)定狀態(tài)穩(wěn)定狀態(tài)4.1 模擬退火算法概述當(dāng)當(dāng)目前目前狀況狀況是落是落于區(qū)域于區(qū)域的最佳解的最佳解時(shí)時(shí)，模，模擬擬退火法退火法會(huì)會(huì)藉由藉由重新加重新加熱熱的的動(dòng)動(dòng)作，透作，透過(guò)隨機(jī)過(guò)隨機(jī)的的過(guò)過(guò)程程，以，以幾率性質(zhì)來(lái)幾率性質(zhì)來(lái)接受一接受一個(gè)暫劣個(gè)暫劣解解使使其演算法能跳其演算法能跳脫脫目前的目前的區(qū)域區(qū)域最佳解，而有最佳解，而有機(jī)會(huì)機(jī)會(huì)能能達(dá)達(dá)到另一到另一個(gè)個(gè)最佳解最佳解4.1 模擬退火算法概述l接受法接受法則則（Accepting Rule）l并并用退火程序（用退火程序（Annealing Sc

5、hedule）的）的參數(shù)參數(shù)演算法的演算法的進(jìn)進(jìn)行行l(wèi)而而Metroplis 接受法接受法則則的概念的概念則則在在于于能能使求解使求解時(shí)時(shí)跳跳脫脫陷入陷入?yún)^(qū)域區(qū)域最佳解最佳解l而模而模擬擬退火法能否成功退火法能否成功應(yīng)應(yīng)用在用在于于退火程退火程序的合理序的合理選擇選擇4.1 模擬退火算法概述l若令若令i 代表在代表在時(shí)間時(shí)間k 的的現(xiàn)現(xiàn)有解，其成本有解，其成本為為C(i)l下一下一個(gè)個(gè)搜搜尋尋到的解，其成本到的解，其成本為為C(j)l D D E = C(j) - C(i)為兩個(gè)為兩個(gè)解之解之間間的成本差的成本差l當(dāng)當(dāng)j 的成本大的成本大于于i 時(shí)，時(shí)，SA 會(huì)根據(jù)會(huì)根據(jù)一一幾率幾率決定決定是

6、否要接受是否要接受j來(lái)來(lái)取代取代i 成成為時(shí)間為時(shí)間k+1 的新解的新解4.1 模擬退火算法概述l因此因此當(dāng)當(dāng)搜搜尋尋到的新解比到的新解比現(xiàn)現(xiàn)有解之成本大有解之成本大時(shí)時(shí)，會(huì)會(huì)有一有一個(gè)幾率個(gè)幾率值值來(lái)決定來(lái)決定是否接受交是否接受交換換。lSA 基本上是以基本上是以Metrolopis 接受法接受法則為則為基基楚楚，再配合退火程序，藉由，再配合退火程序，藉由溫度逐漸溫度逐漸的的降低降低來(lái)調(diào)整來(lái)調(diào)整是否接受成本是否接受成本較較差新解的差新解的幾率幾率，當(dāng)溫度當(dāng)溫度越低越低時(shí)時(shí)，幾率幾率值也跟著降低值也跟著降低4.2 模擬退火算法流程四四個(gè)個(gè)基本要素基本要素l系系統(tǒng)狀態(tài)統(tǒng)狀態(tài)（Configurat

7、ion）：）：即在某一即在某一個(gè)溫度個(gè)溫度下，系下，系統(tǒng)產(chǎn)生統(tǒng)產(chǎn)生的初始解，的初始解，并當(dāng)并當(dāng)作目前作目前的的現(xiàn)現(xiàn)行解行解l搜搜尋尋法法則則（Search rule）：）：在退火的在退火的過(guò)過(guò)程程中，由目前系中，由目前系統(tǒng)狀態(tài)經(jīng)統(tǒng)狀態(tài)經(jīng)由由隨機(jī)擾動(dòng)隨機(jī)擾動(dòng)而而產(chǎn)生變產(chǎn)生變化化跳至另一跳至另一種狀態(tài)種狀態(tài)一般而言，一般而言，SA 較較常用的有梯度搜常用的有梯度搜尋尋法法（ Gradient Type） 和和迭代迭代改善法改善法（ IterativeImprovement4.2 模擬退火算法流程l成本函成本函數(shù)數(shù)（Cost Function）：用：用來(lái)來(lái)衡量衡量某一系某一系統(tǒng)狀態(tài)統(tǒng)狀態(tài)下之能量函下

8、之能量函數(shù)數(shù)l退火程序（退火程序（Annealing Process）：）：退火退火程序中包含的程序中包含的參數(shù)參數(shù)有初始有初始溫度溫度、降、降溫機(jī)制溫機(jī)制、冷冷卻卻率和率和終止溫度。終止溫度。在退火的在退火的過(guò)過(guò)程中，在程中，在溫溫度高的度高的時(shí)時(shí)候，候，雖雖然是然是較較差的目差的目標(biāo)標(biāo)值，但有可值，但有可能被接受能被接受當(dāng)當(dāng)成目前的目成目前的目標(biāo)標(biāo)值，但值，但隨著溫隨著溫度慢度慢慢的降低，接受慢的降低，接受較較差目差目標(biāo)標(biāo)值的值的概率逐漸概率逐漸降低降低。4.2 模擬退火算法流程4.2 模擬退火算法流程參數(shù)設(shè)定初始初始溫溫度度l為為了防止落入了防止落入?yún)^(qū)域極小區(qū)域極小的陷阱，在模的陷阱，在

9、模擬擬退火法中初始退火法中初始溫溫度度的的設(shè)定設(shè)定必必須須使得大部份的使得大部份的轉(zhuǎn)移轉(zhuǎn)移均可被接受均可被接受l初始初始溫溫度的度的設(shè)設(shè)定可以是一定可以是一個(gè)個(gè)定值定值，如如Kirkpatrick等等學(xué)學(xué)者者 ( 1983 ) 將將初始初始溫溫度定度定為為10Heragu 以及以及 Alfa ( 1992 )將將初始初始溫溫度定度定為為999l初始初始溫溫度亦可由所設(shè)定接受度亦可由所設(shè)定接受概率概率的的門檻門檻值值 P 0來(lái)反推求得，來(lái)反推求得，如如Kouvelis 以及以及 Chiang( 1992 ) 將初始將初始溫溫度定度定為為4.2 模擬退火算法流程終止條件終止條件l終止條件最簡(jiǎn)單的設(shè)

10、定方式是終止條件最簡(jiǎn)單的設(shè)定方式是指定一個(gè)固定的指定一個(gè)固定的終止溫度終止溫度，一般是一個(gè)接近於零較小的數(shù)，或，一般是一個(gè)接近於零較小的數(shù)，或是限制降溫次數(shù)不超過(guò)預(yù)定值是限制降溫次數(shù)不超過(guò)預(yù)定值l其它方式則為其它方式則為檢查所求得的解是否有所改善檢查所求得的解是否有所改善，如在如在1992 年年Kouvelis 與與 Chiang設(shè)定若經(jīng)設(shè)定若經(jīng)過(guò)數(shù)次降溫後所得的解仍未改善或移轉(zhuǎn)接受比過(guò)數(shù)次降溫後所得的解仍未改善或移轉(zhuǎn)接受比率低於一個(gè)定值，則將終止模擬退火法的運(yùn)算。率低於一個(gè)定值，則將終止模擬退火法的運(yùn)算。4.2 模擬退火算法流程降溫時(shí)機(jī)降溫時(shí)機(jī)l降溫時(shí)機(jī)降溫時(shí)機(jī)是是指在同一溫度下所指在同一溫

11、度下所應(yīng)反復(fù)應(yīng)反復(fù)進(jìn)行進(jìn)行Metropolis 演算的次數(shù)演算的次數(shù)l最直接的方式是設(shè)定一個(gè)固定長(zhǎng)度，但此長(zhǎng)度最直接的方式是設(shè)定一個(gè)固定長(zhǎng)度，但此長(zhǎng)度與與問(wèn)題問(wèn)題規(guī)模有規(guī)模有關(guān)關(guān)，如在，如在1992 年年Kouvelis 與與Chiang 將其將其設(shè)定為鄰近解個(gè)數(shù)之比率。設(shè)定為鄰近解個(gè)數(shù)之比率。l此外亦可設(shè)定降溫時(shí)機(jī)為移轉(zhuǎn)接受次數(shù)已達(dá)一定值，此外亦可設(shè)定降溫時(shí)機(jī)為移轉(zhuǎn)接受次數(shù)已達(dá)一定值，如如Heragu 以及以及 Alfa（1992）所使用的方式便是）所使用的方式便是l但此一方式當(dāng)溫度降至很低時(shí)，移轉(zhuǎn)接受之機(jī)率將會(huì)但此一方式當(dāng)溫度降至很低時(shí)，移轉(zhuǎn)接受之機(jī)率將會(huì)很小，進(jìn)而導(dǎo)致馬可夫鏈過(guò)長(zhǎng)，因此必

12、須同時(shí)限定馬很小，進(jìn)而導(dǎo)致馬可夫鏈過(guò)長(zhǎng)，因此必須同時(shí)限定馬可夫鏈的長(zhǎng)度，以免造成求解時(shí)間過(guò)長(zhǎng)可夫鏈的長(zhǎng)度，以免造成求解時(shí)間過(guò)長(zhǎng)4.2 模擬退火算法流程溫度控制參數(shù)溫度控制參數(shù)l溫度控制參數(shù)是指在演算過(guò)程中，若達(dá)到降溫時(shí)機(jī)溫度控制參數(shù)是指在演算過(guò)程中，若達(dá)到降溫時(shí)機(jī)時(shí)，由目前溫度減少到次一溫度的下降比率時(shí)，由目前溫度減少到次一溫度的下降比率l若溫度控制參數(shù)愈小，則溫度下降的差距愈大，那若溫度控制參數(shù)愈小，則溫度下降的差距愈大，那麼會(huì)造成在次一溫度達(dá)成均衡所需的馬可夫鏈長(zhǎng)度麼會(huì)造成在次一溫度達(dá)成均衡所需的馬可夫鏈長(zhǎng)度愈長(zhǎng)，使得求解時(shí)間增加。愈長(zhǎng)，使得求解時(shí)間增加。l因此，為了避免在新溫度下的馬可夫

13、鏈長(zhǎng)度過(guò)長(zhǎng)，因此，為了避免在新溫度下的馬可夫鏈長(zhǎng)度過(guò)長(zhǎng)，溫度控制參數(shù)不應(yīng)過(guò)小，溫度控制參數(shù)不應(yīng)過(guò)小，Kirkpatrick 等學(xué)者等學(xué)者（1983）將其設(shè)定為）將其設(shè)定為0.9，而一般則設(shè)定在，而一般則設(shè)定在0.5至至0.9 之間之間。4.2 模擬退火算法應(yīng)用 0-1背包問(wèn)題背包問(wèn)題 一個(gè)旅行者有一個(gè)最多能裝一個(gè)旅行者有一個(gè)最多能裝M公斤的背包，公斤的背包，現(xiàn)在有現(xiàn)在有N件物品，件物品， 它們的重量分別是它們的重量分別是W1，W2，.,Wn, 它們的價(jià)值分別為它們的價(jià)值分別為P1,P2,.,Pn.若每種物品只有一件。若每種物品只有一件。 求旅行者能獲得的最大總價(jià)值。求旅行者能獲得的最大總價(jià)值。

14、 4.2 模擬退火算法應(yīng)用例：已知背包的裝載量為例：已知背包的裝載量為m=10,現(xiàn)在有現(xiàn)在有n=5個(gè)物品，它們的重量和價(jià)值分別是個(gè)物品，它們的重量和價(jià)值分別是(2,3,5,1,4)和和(2,5,8,3,6)。試使用模擬退。試使用模擬退火算法求解該背包問(wèn)題。火算法求解該背包問(wèn)題。4.2 模擬退火算法應(yīng)用問(wèn)題的一個(gè)可行解用問(wèn)題的一個(gè)可行解用0和和1的序列表示，例如的序列表示，例如i=(10101)表示選擇第表示選擇第1、第、第3和第和第5個(gè)物品，個(gè)物品，而不選擇第而不選擇第2和第和第4個(gè)物品。個(gè)物品。第一步：初始化，假設(shè)初始解為第一步：初始化，假設(shè)初始解為i=(11001)，初始溫度為初始溫度為T

15、=10，計(jì)算，計(jì)算 f(i)=2+5+6=134.2 模擬退火算法應(yīng)用第二步：在第二步：在T溫度下局部搜索，直到溫度下局部搜索，直到“平平衡衡”。降降溫溫時(shí)時(shí)機(jī)用機(jī)用在同一在同一溫溫度下所度下所應(yīng)反復(fù)進(jìn)應(yīng)反復(fù)進(jìn)行行Metropolis 演算的次演算的次數(shù)，假設(shè)次數(shù)為數(shù)，假設(shè)次數(shù)為3。搜搜尋尋法法則：隨機(jī)改變某一位的則：隨機(jī)改變某一位的0,1值或交換值或交換某兩位的某兩位的0,1值。值。4.2 模擬退火算法應(yīng)用假設(shè)產(chǎn)生的新解假設(shè)產(chǎn)生的新解j=(11100)，f(j)=2+5+8=1513，所以接受新解。，所以接受新解。假設(shè)產(chǎn)生的新解假設(shè)產(chǎn)生的新解j=(11010)， f(j)=2+5+3=1013，計(jì)算接受概率，計(jì)算接受概率 P(T)=exp(10-13)/10)0.741， 產(chǎn)生一個(gè)隨機(jī)數(shù)產(chǎn)生一個(gè)隨機(jī)數(shù)random(0,1)，如果，如