DeepReinforcementLearning(深度強(qiáng)化學(xué)習(xí)分類)

1、強(qiáng)化學(xué)習(xí)分類Policy-basedorvalue-base強(qiáng)化學(xué)習(xí)兩大類，Policy-Based（PolicyGradients）Value-Based（Q-Learning）°Policy-Based直接預(yù)測(cè)環(huán)境狀態(tài)下應(yīng)采取Action,Value-Based預(yù)測(cè)環(huán)境狀態(tài)下所有Action期望價(jià)值（Q值），選擇Q值最高Action執(zhí)行。Value-Based適合少量離散取值A(chǔ)ction,Policy-Based適合Aciton種類多或連續(xù)取值A(chǔ)ction環(huán)境°PolicyNetwork、ValueNetwork。PolicyGradients方法訓(xùn)練策略網(wǎng)絡(luò)。模型通過(guò)

2、學(xué)習(xí)Action在Environment獲得反饋，用梯度更新模型參數(shù)。訓(xùn)練過(guò)程，模型接觸到好Action及高期價(jià)值，和差A(yù)ction及低期望價(jià)值。通過(guò)樣本學(xué)習(xí)，模型逐漸增加選擇好Action概率，降低選擇壞Action概率，完成策略學(xué)習(xí)。直接學(xué)習(xí)當(dāng)前環(huán)境應(yīng)該采取策略，如選擇Actionc概率，或Action具體數(shù)值。策略網(wǎng)絡(luò)是End-to-End（端對(duì)端）方法，直接產(chǎn)生最終策略。根據(jù)環(huán)境狀態(tài)和采取行動(dòng)預(yù)測(cè)后續(xù)環(huán)境狀態(tài)，利用信息訓(xùn)練強(qiáng)化學(xué)習(xí)模型，是Model-BasedRL°Model-FreeRL直接對(duì)策略或Action期望價(jià)值預(yù)測(cè)，計(jì)算效率高。復(fù)雜環(huán)境，主要用Model-FreeR

3、L，供給更多樣本訓(xùn)練，彌補(bǔ)沒(méi)有Model預(yù)測(cè)環(huán)境狀態(tài)問(wèn)題。Policy-oasedValue-oasedOutlineActor:訓(xùn)練的是策略網(wǎng)絡(luò)，輸入state,輸出采取每個(gè)策略的概率，通過(guò)梯度下降的方式進(jìn)行訓(xùn)練，不斷得提高reward比較高的行為出現(xiàn)的概率、outline-Inputofneuralnetwork:theobiervetioriofmachinerepresentedvectoror占matrix*Outputneuralnetwork:eachactioncorreEporidjio3parameterupdate參數(shù)更新可以略過(guò)，稍微有點(diǎn)復(fù)雜，總的來(lái)說(shuō)每個(gè)狀態(tài)對(duì)應(yīng)這一個(gè)

4、rewardR（t）,和一個(gè)轉(zhuǎn)移到這個(gè)狀態(tài)的概率p,在與環(huán)境interaction的時(shí)候，如果這個(gè)reward比較大，那么我們提高這個(gè)發(fā)生的概率，否則減小他。GradientAscent嚴(yán)卜滬域+的血恥迂釈鬥伽P（邛）=n=l咖P（Tf）T工gp仏血刃t=lL"韋n=lt=Lh口二亓XI?理問(wèn)叩卩用間Ifnrrimcthinetakesc1卅血nseirigs"irA(rn)isposi:veknegativeTuningEtoincreasep(aj時(shí))Tuniie白todecreaseValue-based(critic)iisidertheo.mdativeregar

5、dfl(rr)ofCritic:是一個(gè)評(píng)估者，預(yù)測(cè)環(huán)境狀態(tài)下所有Action期望價(jià)值（Q值），選擇Q值最高Action執(zhí)行。n取決于兩件ctor變強(qiáng)."S-IMPk-Critic*IXR1fnm卩以前的呵光（大馬歩飛）.bad苛jj慮齣叵光（大馬步飛）二good；?F帥的人作為一個(gè)critic”，起到評(píng)|時(shí)候，大馬步飛不是一步好棋仕討=弱，On-policyoroff-policyactor本身和目前的state。就圖而言,這一步卻可能是好棋。當(dāng)阿光比較弱的這個(gè)分類比較抽象，關(guān)鍵點(diǎn)在于一直在與環(huán)境交互的agent和你想要學(xué)的agent是不是同一個(gè)On-policyV5,Off-policyOn-policy:Theagentleanedandtheagentnt電牯ctingviiiththeewDnmen:isthes