綜述：基于深度強化學習的自動駕駛算法

這幾年隨著深度表征學習的發(fā)展，強化學習領域也得到了加強。本文會對目前最先進的自動駕駛DRL算法進行匯總和分類。01簡介自動駕駛系統(tǒng)（ADsystem），由多個級別的感知和控制任務組成，目前在感知方面，已經(jīng)可以通過深度學習架構來實現(xiàn)。但在控制層面，經(jīng)典的監(jiān)督學習已經(jīng)不再使用，因為代理需要在每一個瞬間做出動作決策，這些決策可能會改變場景條件。

自動駕駛各級別的任務02ADsystem的組成2.1感知模塊（PreceptionModule）感知模塊的目標是創(chuàng)建環(huán)境狀態(tài)的中間級別表示（例如所有障礙物和代理的鳥瞰圖），稍后將由最終產生駕駛策略的決策系統(tǒng)使用。該狀態(tài)將包括車道位置、可行駛區(qū)域、代理（例如汽車和行人）的位置、交通信號燈的狀態(tài)等。感知中的不確定性傳播到信息鏈的其余部分。強大的傳感對于安全至關重要，因此使用冗余源可以提高檢測的信心。這是通過語義分割、運動估計、深度估計、污點檢測等幾種感知任務的組合來實現(xiàn)的，這些任務可以有效地統(tǒng)一成一個多任務模型。多視角相機融合的鳥瞰2.2場景理解（SceneUnderstanding）該模塊的作用是將感知模塊獲得的信息映射到高級動作或決策層。該模塊旨在提供對場景的更高層次的理解，通過融合異構傳感器源（如激光雷達、相機、雷達、超聲波），抽象和概括場景信息，為決策制定提供簡化的信息。2.3定位和建圖（LocalizationandMapping）定位和建圖技術，又稱SLAM是自動駕駛的關鍵技術之一。由于問題的規(guī)模，傳統(tǒng)的SLAM技術通過語義對象檢測得到增強，以實現(xiàn)可靠的消歧。此外，局部高清地圖（HDmaps）可以用作物體檢測的先驗。2.4規(guī)劃和推動策略（PlanningandDrivingPolicy）軌跡規(guī)劃是自動駕駛中的關鍵模塊，在高清地圖或基于GPS的地圖上計劃路線，并引導代理生成運動層的命令。經(jīng)典運動計劃會忽略環(huán)境動態(tài)和差分約束，因此類似于A*算法之類的基于Djisktra的算法在此問題中并不適用。而快速探索隨機樹（RRT）通過隨機采樣和無障礙路徑生成來探索配置空間。目前有多種版本的RRT被用于自動駕駛管道中的運動規(guī)劃。2.5控制（Control）這是最底層的運動控制，即汽車的加速加速，方向盤的轉動角度，以及剎車。目前的車輛控制通常是基于經(jīng)典的最優(yōu)控制理論，通過狀態(tài)空間方程

中的汽車當前狀態(tài)

和控制輸入量

來控制汽車。此方法通常使用MPC模型和PID控制器使車輛跟隨軌跡。但是目前自動駕駛車輛通常使用的是強化學習，該方法的好處是可以處理隨機控制問題以及具有未知獎勵和狀態(tài)轉移概率的不適定問題。03

強化學習強化學習（RL）是于監(jiān)督學習（SueprvisedLearning）和非監(jiān)督學習（UnsupervisedLearning）之外的第三種機器學習（MachineLearning）方式。RL通過一個代理來完成行動策略。代理的目標是最大化在其生命周期內收到的累積獎勵。代理可以通過利用了解不同狀態(tài)-動作對的預期效用（即預期未來獎勵的折扣和）的知識來逐漸增加其長期獎勵。在形式化涉及單個RL代理的順序決策問題時，馬爾可夫決策過程(MDP)是最流行的解決方法。MDP由一個狀態(tài)集合

、一個動作集合

、一個轉移函數(shù)

和一個獎勵函數(shù)

組成。通過目標是找到最優(yōu)策略，從而產生最高的折扣獎勵總和期望值：其中，

是遵循策略

的狀態(tài)值方程，

是折扣系數(shù)，，

用于控制代理如何看待未來的獎勵，低

值鼓勵代理人的短視行為，其中代理人旨在最大化短期獎勵，而高

值導致代理人更具前瞻性并在更長的時間范圍內最大化獎勵。

為時間步數(shù)，它可以是有限的也可以是無限的。另一個與狀態(tài)函數(shù)方程相關的是狀態(tài)-動作方程，又稱為“Q值”：MDP決策的組成部分和關系圖在許多現(xiàn)實世界的應用領域中，智能體不可能觀察到環(huán)境狀態(tài)的所有特征；在這種情況下，決策問題被表述為部分可觀察的馬爾可夫決策過程（POMDP）。解決強化學習任務意味著找到一個策略

，該策略使狀態(tài)空間中軌跡上的期望折扣總和最大化。RL代理可以直接學習價值函數(shù)估計、策略和/或環(huán)境模型。動態(tài)規(guī)劃（DP）算法可用于在給定環(huán)境模型的獎勵和轉移函數(shù)方面計算最優(yōu)策略。與DP不同，在MonteCarlo方法中沒有完整環(huán)境知識的假設。蒙特卡洛方法在逐集意義上是增量的。情節(jié)完成后，價值估計和政策被更新。另一方面，時間差（TD）方法在逐步意義上是增量的，使其適用于非情節(jié)場景。與蒙特卡羅方法一樣，TD方法可以直接從原始經(jīng)驗中學習，而無需環(huán)境動態(tài)模型。與DP一樣，TD方法基于其他估計來學習它們的估計。文章對于RL和DRL的算法進行了綜合性的概述，這里不做詳細的解釋，建議系統(tǒng)性的學習這些算法。04

自動駕駛任務中的強化學習在自動駕駛中，RL可以完成的任務有：控制器優(yōu)化、路徑規(guī)劃和軌跡優(yōu)化、運動規(guī)劃和動態(tài)路徑規(guī)劃、為復雜導航任務開發(fā)高級駕駛策略、高速公路、交叉路口、合并和拆分的基于場景的策略學習，預測行人、車輛等交通參與者的意圖，并最終找到確保安全和執(zhí)行風險估計的策略。4.1狀態(tài)空間、動作空間和獎勵為了成功地將DRL應用于自動駕駛任務，設計適當?shù)臓顟B(tài)空間、動作空間和獎勵函數(shù)非常重要。4.1.2狀態(tài)空間自動駕駛汽車常用的狀態(tài)空間特征包括：本車的位置、航向和速度，以及本車的傳感器視野范圍內的其他障礙物。此外，我們通常使用一個以自主車輛為中心的坐標系，并在其中增強車道信息，路徑曲率、自主的過去和未來軌跡、縱向信息等。我們通常會使用一個鳥瞰圖來展示這些信息。鳥瞰圖4.1.3動作空間自主車輛的控制策略需要操縱一系列執(zhí)行器，比如方向盤，油門和剎車（暫時不考慮其他的執(zhí)行器）。有一點需要注意的是，這些控制器都是在連續(xù)空間中運行的，而大多數(shù)DRL控制器屬于離散空間。因此我們需要選擇合適的時間步長。獎勵為自動駕駛的DRL代理設計獎勵函數(shù)仍然是一個懸而未決的問題。AD任務的標準示例包括：向目的地行駛的距離、本車的速度、使本車保持靜止、與其他道路使用者或場景對象的碰撞，人行道上的違規(guī)行為，保持在車道上，保持舒適和穩(wěn)定性，同時避免極端加速、制動或轉向，并遵守交通規(guī)則。4.2運動規(guī)劃和軌跡優(yōu)化運動規(guī)劃是確保目標點和目的地點之間存在路徑的任務。但是動態(tài)環(huán)境和變化的車輛動力學中的路徑規(guī)劃是自動駕駛中的一個難題，比如通過十字路口，或者并入高速公路。有許多文章在這方面做了嘗試，并獲得了不錯的效果，比如論文

[4][5][6