協(xié)作機器人-感知、交互、操作與控制技術 課件 -8-操作控制

協(xié)作機器人操作控制目錄CONtants操作任務分類010203操作任務建模操作技能學習操作任務分類從是否需要進行力控制可以分為力控制操作任務和不需要力控制的操作任務；從被操作環(huán)境的動力學特性可以分為剛性接觸、柔性接觸、塑性接觸、摩擦接觸等；

從機器人-環(huán)境耦合特性可以分為瞬時耦合、松耦合和緊耦合三種，瞬時耦合包括拾取并放置任務，松耦合包括按壓按鈕、軸孔裝配或插入任務，緊耦合包括開關門、轉動閥門等；從機器人-環(huán)境接觸狀態(tài)是否可變分為定接觸狀態(tài)任務和變接觸狀態(tài)任務；從任務階段可分為單階段任務和多階段任務；從環(huán)境是否可變可分為定常操作任務和變化操作任務；從環(huán)境結構性特點可分為結構性操作任務和非結構性操作任務。操作任務建模機器人-環(huán)境接觸動力學模型如下所示：技能學習意義隨著機器人技術的發(fā)展，人們期望機器人具備更強的自主操作能力，在更多領域代替人類完成更加復雜的操作任務；在人工分析機器人行為特性和工作任務要求的基礎上,采用傳統(tǒng)復雜編程、遙操作或示教編程等常規(guī)方法可使機器人具備一定的操作技能，較好地勝任諸多結構化工作環(huán)境和單一固定任務的工作場景，完成快速、準確、可重復位置和力控制的任務；

采用傳統(tǒng)常規(guī)方法設計的機器人操作技能不能動態(tài)地適應非結構化工作環(huán)境或場景多變的工作場合，且機器人操作技能開發(fā)過程中存在著周期長、效率低、工作量大及不能滿足需求的多樣性等諸多難題；采用機器學習方法設計具備一定自主決策和學習能力的機器人操作技能學習系統(tǒng)，使機器人在復雜、動態(tài)的環(huán)境中學習并獲取操作技能，能彌補傳統(tǒng)編程等常規(guī)方法的缺陷，極大提高機器人對環(huán)境的適應能力。研究現(xiàn)狀近年來,機器人操作技能學習研究正逐漸成為機器人研究領域的前沿和熱點,新的學習方法被逐漸應用于機器人的操作技能學習中，諸多著名研究機構和公司,如DeepMind、加州大學伯克利分校、OpenAI、GoogleBrain、清華大學、等在此領域取得了一定的成果，但仍面臨著巨大挑戰(zhàn)?？捎枚喾N機器學習算法實現(xiàn)機器人操作技能學習，機器人訓練數(shù)據(jù)的產生方式決定了機器人學習所要采用的具體方法。機器人操作技能學習所需數(shù)據(jù)大致可由機器人與環(huán)境交互產生或由專家提供。因此，機器人操作技能學習方法分為基于強化學習的方法，基于示教學習的方法和基于小樣本數(shù)據(jù)學習的方法?；趶娀瘜W習的方法馬爾科夫過程MDP（S,A,R,P,r）優(yōu)化目標值函數(shù)基于值函數(shù)的方法分為基于模型學習的值函數(shù)方法和無模型的值函數(shù)方法。總體而言,基于無模型的值函數(shù)方法不需對系統(tǒng)建模，計算量小，但價值函數(shù)的獲取需要通過機器人與環(huán)境的不斷交互采樣估計得到。基于學習模型的值函數(shù)方法首先需要依據(jù)機器人與環(huán)境的交互數(shù)據(jù)學習得到系統(tǒng)模型，并基于該模型采用仿真形式得到最優(yōu)策略，故其在真實環(huán)境中所需的樣本少，但計算量大?；趶娀瘜W習的方法使用參數(shù)化策略

時，強化學習的優(yōu)化目標為：策略梯度的計算公式如下：策略參數(shù)更新公式如下：在機器人操作技能學習領域,策略搜索比基于價值函數(shù)的強化學習更具優(yōu)勢，主要體現(xiàn)在:1)采用策略搜索方法可以較為方便的融入專家知識,可依據(jù)獲取的專家策略對神經網絡參數(shù)進行初始化，以加速策略優(yōu)化的收斂過程;2)策略函數(shù)比價值函數(shù)具有更少的學習參數(shù)，基于策略搜索的強化學習算法更加高效?；趶娀瘜W習的方法基于參數(shù)化策略的方法基于強化學習的方法基于深度神經網絡的深度學習作為機器學習領域的新分支，其通過組合低層特征形成更加抽象的高層表示，以得到數(shù)據(jù)的分布式特征。近年來，諸多學者將深度學習和強化學習相結合得到的深度強化學習算法成功應用于視頻游戲、圍棋等領域。與常規(guī)強化學習方法相比，深度強化學習算法將具有強表征能力的深度神經網絡用于強化學習中價值函數(shù)和策略函數(shù)的表達，避免了人為手工設計特征，同時也易融入環(huán)境中的圖像感知信息，較適合于機器人操作技能學習。DQN網絡結構示意圖基于深度強化學習的方法基于人機交互強化學習的方法使用人機交互式強化學習時，強化學習的學習過程中不僅從環(huán)境獲得獎勵，同時還從人員處獲得獎勵、建議、評估、約束、動作修正、探索指導等等。COACH和策略搜索方法串行工作模式COACH和策略搜索方法并行工作模式基于示教學習的方法在機器人操作技能學習領域，示教學習是通過模仿給定的專家數(shù)據(jù)學習得到操作技能策略。示教學習可降低機器人搜索策略空間的復雜度，在一定程度上提高了機器人操作技能學習效率。近年來，示教學習已成為機器人操作技能學習的熱點領域之一。依據(jù)對示教數(shù)據(jù)的使用方式，大致可將示教學習分為行為克隆(Behaviorcloning)和逆強化學習(Inversereinforcementlearning)兩類。GMM/GMR擬合、GPR擬合、神經網絡擬合、HMM等基于小數(shù)據(jù)學習的方法無論是基于強化學習還是基于示教學習的機器人操作技能學習方法都需要一定量的訓練數(shù)據(jù)。能否使用少量訓練數(shù)據(jù)就可學習到新的操作技能成為了機器人快速應用于各領域的關鍵。近年來發(fā)展的遷移學習(Transferlearning)及元學習(Metalearning)具有利用先前數(shù)據(jù)經驗的機制，在面對新任務少量數(shù)據(jù)時,能夠實現(xiàn)基于小樣本數(shù)據(jù)的快速任務學習。遷移學習是從一個或多個源域(Sourcedomain)中抽取知識、經驗然后應用于目標域(Target

domain)的學習方法，已在諸如計算機視覺及控制等領域取得了一定的進展。在機器人操作技能學習領域，遷移學習可將基于一種或多種任務上學習到的能力遷移到另一種新的任務上，以提高機器人操作技能的學習效率?；谛?shù)據(jù)學習的方法元學習(Metalearning)及以此為基礎的一次性學習(One-shotlearning)是一種基于少量訓練數(shù)據(jù)對模型進行學習的機器學習方法。元學習通過在大量相關任務且每種任務包含少量標記數(shù)據(jù)的任務集上對策略進行訓練，能夠自動學得訓練任務集中的共有知識?？偨Y：

通過分析已有的機器人操作技能學習研究工作,機器人操作技能學習問題主要聚焦于兩方面：一是如何使機器人學習得到