一類(lèi)基于啟發(fā)式搜索的 激勵(lì)學(xué)習(xí)算法

1、2022-2-17一類(lèi)基于啟發(fā)式搜索的 激勵(lì)學(xué)習(xí)算法報(bào)告人：蘇姍2022-2-17主要內(nèi)容n激勵(lì)學(xué)習(xí)的基本介紹n時(shí)間差分算法和SARSA算法n基于啟發(fā)式的激勵(lì)學(xué)習(xí)n實(shí)驗(yàn)結(jié)果和分析n總結(jié)2022-2-17激勵(lì)學(xué)習(xí)的基本介紹 機(jī)器學(xué)習(xí)包括有監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)和激勵(lì)學(xué)習(xí)。激勵(lì)學(xué)習(xí)與有監(jiān)督學(xué)習(xí)不同，在學(xué)習(xí)中，agent不被告知哪個(gè)動(dòng)作是最好的，而是讓它自己與未知環(huán)境交互，不斷地試錯(cuò)，從環(huán)境中得到獎(jiǎng)懲信息，積累經(jīng)驗(yàn)，然后讓agent自己判斷哪個(gè)動(dòng)作是最好的。2022-2-17激勵(lì)學(xué)習(xí)的基本介紹 最優(yōu)控制策略 ：SA 2022-2-17激勵(lì)學(xué)習(xí)的基本介紹折算累積回報(bào)：狀態(tài)-動(dòng)作的值函數(shù)：最優(yōu)策略：rrr

2、rsktkktttV0221t.)()(),(1*sVrasttttQ),(maxarg*asQa返回St+1狀態(tài)最大的值函數(shù)2022-2-17時(shí)間差分算法和SARSA算法n蒙特卡羅算法 更新準(zhǔn)則： 常量 的蒙特卡羅算法， 是學(xué)習(xí)率，一次迭代之后才能得到折扣累積回報(bào)總和(即值函數(shù)的真實(shí)值)對(duì)估計(jì)的值函數(shù)進(jìn)行更新。rRktkkt0)()(sRstttVV)()()(ttssstVVV2022-2-17時(shí)間差分算法和SARSA算法n時(shí)間差分(temporal difference) 結(jié)合了動(dòng)態(tài)規(guī)劃和蒙特卡羅算法，一方面TD算法在環(huán)境模型未知的情況下可以直接從agent的經(jīng)驗(yàn)中學(xué)習(xí)，另一方面TD算法

3、利用估計(jì)的值函數(shù)進(jìn)行迭代。2022-2-17時(shí)間差分算法和SARSA算法nTD(0)算法 一步TD算法，agent獲得的瞬時(shí)獎(jiǎng)賞值僅向后回退一步，即只迭代的修改了相鄰狀態(tài)的估計(jì)值 更新規(guī)則：)()()(1ssstttVVrV)()()()(1ssssttttVVrVV時(shí)間差分)()(ssttVV rRktkkt02022-2-17時(shí)間差分算法和SARSA算法nSARSA算法 是一種典型的TD算法。 在動(dòng)作at+1的選擇上不同。SARSA算法采用隨機(jī)概率的方法，一定程度上避免了Q學(xué)習(xí)中易陷入局部最優(yōu)的問(wèn)題。返回),(),(),(),(11asasasasttttttttQQrQQ)()()()(

4、1ssssttttVVrVV更新規(guī)則2022-2-17基于啟發(fā)式的激勵(lì)學(xué)習(xí)n啟發(fā)式搜索 評(píng)估函數(shù)f(x)：從初始結(jié)點(diǎn)s0約束的經(jīng)過(guò)結(jié)點(diǎn)x到達(dá)目標(biāo)結(jié)點(diǎn)sr的所有路徑中最小路徑代價(jià)的估計(jì)值。 一般形式：f(x)=g(x)+h(x)2022-2-17基于啟發(fā)式的激勵(lì)學(xué)習(xí)n一般形式：f(x)=g(x)+h(x) g(x) h(x) s0 x srn g(x)是從初始節(jié)點(diǎn)s0到x點(diǎn)的實(shí)際代價(jià)； h(x)是從x點(diǎn)到目標(biāo)節(jié)點(diǎn)的最優(yōu)路徑的評(píng) 估代價(jià)。2022-2-17基于啟發(fā)式的激勵(lì)學(xué)習(xí)n激勵(lì)學(xué)習(xí)雖然適合處理環(huán)境模型未知的情況，但是只能從環(huán)境中得到才獎(jiǎng)懲函數(shù)。n對(duì)于激勵(lì)學(xué)習(xí)，在求解初期，簡(jiǎn)單的啟發(fā)信息會(huì)加速智

5、能體的搜索速度。 n提出基于啟發(fā)式的激勵(lì)學(xué)習(xí)： H-SARSA2022-2-17基于啟發(fā)式的激勵(lì)學(xué)習(xí) 設(shè)置一個(gè)總控制器C，包括兩個(gè)子控制器c1(啟發(fā)式)和c2(SARSA),每個(gè)控制器有兩個(gè)參數(shù)：優(yōu)先權(quán)M和選擇概率P。 首先比較優(yōu)先級(jí)，如果相同再比較選擇概率，值較大的控制器所決定的動(dòng)作將被總控制器所選擇，作為智能體的下一步動(dòng)作。Ms MhPs Ph2022-2-17基于啟發(fā)式的激勵(lì)學(xué)習(xí) Mh初始為一個(gè)不小的非負(fù)常量，Ph初始設(shè)為不小的常量(0Ph1)，Ms=0，Ps=0。 求解初期，agent經(jīng)驗(yàn)很少， Ms Mh。隨著經(jīng)驗(yàn)的增加，agent學(xué)習(xí)能力加強(qiáng)，Ms增加。當(dāng)Ms= Mh時(shí)，轉(zhuǎn)入激勵(lì)學(xué)習(xí)為主，啟發(fā)式為輔的階段。返回2022-2-17實(shí)驗(yàn)結(jié)果和分析 agent從S點(diǎn)出發(fā)，在盡可能短的時(shí)間內(nèi)到達(dá)G點(diǎn)。 到達(dá)G點(diǎn)，r=1000; 經(jīng)過(guò)可通行區(qū)域r=-0.02; 經(jīng)過(guò)不可通行區(qū)域和邊 界r=-5。S 圖一 20*20迷宮 G h(x)：當(dāng)前位置和目標(biāo)位置的最短距離),(),(),(),(11asasasasttttttttQQrQQ2022-2-17實(shí)驗(yàn)結(jié)果和分析2