機器學習 課件 第11章 強化學習_第1頁
機器學習 課件 第11章 強化學習_第2頁
機器學習 課件 第11章 強化學習_第3頁
機器學習 課件 第11章 強化學習_第4頁
機器學習 課件 第11章 強化學習_第5頁
已閱讀5頁，還剩19頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

第11章強化學習《機器學習》胡曉強化學習與監(jiān)督學習、無監(jiān)督學習在強化學習中，沒有可學習的（標注）數據；在一個不斷變化的狀態(tài)空間，解決一個決策鏈問題。有一個明確目標，通過嘗試達到目的。而規(guī)劃學習則是通過計算達到目的監(jiān)督學習無監(jiān)督學習強化學習訓練樣本智能體與環(huán)境交互軌跡和累積獎勵優(yōu)化目標期望總回報學習準則期望風險最小最大似然估計最大似然估計最小重構錯誤策略評估策略改進11.1強化學習概述11.1.1基本概念

強化學習涉及到一個過程、兩個主體(智能體和環(huán)境)，三個要素(狀態(tài)、動作和獎勵)

智能體（Agent）可感知外界環(huán)境的狀態(tài)(State)和接受反饋獎勵(Reward)，并具備學習能力(learning)和決策功能(policy)的實體環(huán)境（Environment）智能體從外部感知的所有事物和信息，稱為環(huán)境，用狀態(tài)描述11.1強化學習概述11.1.1基本概念

強化學習涉及到一個過程、兩個主體(智能體和環(huán)境)，三個要素(狀態(tài)、動作和獎勵)

動作（Action）對智能體能執(zhí)行行為的描述，其描述值可以是離散的或連續(xù)的

狀態(tài)轉移概率轉移模型

11.1強化學習概述11.1.2策略評估和策略控制

11.1強化學習概述11.1.2策略評估和策略控制價值函數(ValueFunction)智能體從某狀態(tài)(也可從初始狀態(tài))到終點狀態(tài)的一段行為軌跡稱為一幕(Episode)。

11.1強化學習概述

11.1強化學習概述

11.1強化學習概述

定義最優(yōu)狀態(tài)價值函數為

11.1強化學習概述策略評估

這是迭代策略評估(iterativepolicyevaluation)的基本公式11.1強化學習概述

策略控制

11.1強化學習概述11.1.3強化學習分類按模型分基于模型(Model-Based)和無模型(Model-Free)按策略分同軌策略(on-policy)和離軌策略(off-policy)兩類價值學習和策略學習11.2表格強化學習

11.2.1蒙特卡洛蒙特卡洛(MonteCarlo)基本思想：用大量隨機試驗估計未知量

首次訪問(firstvisit)每次訪問(everyvisit)11.2.2動態(tài)規(guī)劃(DynamicProgramming)廣義策略迭代(GeneralizedPolicyIteration,GPI)。

11.2.3時序差分

例11.2設從學生宿舍到教室上課經過表11.3中所示6個狀態(tài)，預計到達教室總時間等于經過時間加上剩余時間。

11.2.3時序差分

11.3深度強化學習

11.3深度強化學習

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論