機(jī)器人視覺伺服系統(tǒng)綜述

1、機(jī)器人視覺伺服系統(tǒng)綜述摘 要：對(duì)機(jī)器人視覺伺服系統(tǒng)進(jìn)行闡述，介紹了機(jī)器人視覺伺服系統(tǒng)的概念、發(fā)展歷程以及研究背景；并從不同的角度對(duì)機(jī)器人視覺伺服系統(tǒng)進(jìn)行了分類。最后介紹了該領(lǐng)域的研究現(xiàn)狀、所取得的成就，以及今后的發(fā)展趨勢(shì)。關(guān)鍵詞：機(jī)器人；視覺伺服；綜述Survey of robot visual servoing systemAbstract: : In this paper, the survey of robot visual servoing system are introduced. The paper reviews the concept and history backgrou

2、nd of robot visual servoing system. This article also classify the robot visual servo system from different aspects. Finally, it introduce the research status quo, achievements and future trends in the field. Key words: robot, visual servoing, summary1引言隨著先進(jìn)科學(xué)技術(shù)的不斷發(fā)展，機(jī)器人已經(jīng)在生產(chǎn)和生活中起到了越來越重要的作用，因次人們不斷對(duì)機(jī)

3、器人技術(shù)提出更高的要求。為了使機(jī)器人能夠完成更加復(fù)雜的工作，適應(yīng)更加復(fù)雜的環(huán)境，機(jī)器人不僅需要更加完善的控制統(tǒng)，還需要能夠更多的感知環(huán)境的變化。而影響其發(fā)展的一個(gè)重要原因就是機(jī)器人缺少像人一樣的感知能力，在人們?yōu)闄C(jī)器人添加各種外部傳感器的過程中，機(jī)器人視覺以其信息大、信息完整成為最重要的機(jī)器人感知功能1。機(jī)器人的視覺伺服系統(tǒng)是機(jī)器人的視覺和機(jī)器人控制的相結(jié)合的復(fù)雜系統(tǒng)。其內(nèi)容包括了圖像的采集與處理、運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)、自動(dòng)控制理論及其系統(tǒng)數(shù)據(jù)實(shí)時(shí)分析等領(lǐng)域于一體的新興交叉學(xué)科。隨著攝像技術(shù)和計(jì)算機(jī)技術(shù)的發(fā)展，以及相關(guān)理論的日益完善和實(shí)踐的不斷檢驗(yàn)，視覺伺服已具備了在實(shí)際中應(yīng)用的條件；而隨著機(jī)器人應(yīng)

4、用領(lǐng)域的不斷擴(kuò)展，重要性也不斷提高，與其相關(guān)技術(shù)問題已經(jīng)成為了當(dāng)前的研究熱點(diǎn)2。所以實(shí)現(xiàn)機(jī)器人視覺伺服控制有相當(dāng)?shù)碾y度，是機(jī)器人研究領(lǐng)域中具有挑戰(zhàn)性的課題。2機(jī)器人視覺伺服系統(tǒng)21機(jī)器人視覺伺服系統(tǒng)的定義視覺是一種復(fù)雜的感官, 視覺信息中包含有大量的數(shù)據(jù)，要從中提取特征信息，需要復(fù)雜的算法及耗費(fèi)大量的運(yùn)算時(shí)間，機(jī)器人視覺是通過光學(xué)裝置和非接觸式的傳感器自動(dòng)接受并處理真實(shí)物體圖像信息，并通過分析獲得所需要信息或用于控制機(jī)器人自身運(yùn)動(dòng)的裝置。機(jī)器人視覺作為一種很與人類眼睛類似的機(jī)器仿生系統(tǒng)。而從廣義角度講凡是通過光學(xué)裝置獲取真實(shí)物體的信息以及對(duì)相關(guān)信息的處理與執(zhí)行都是機(jī)器視覺，這就包括了可見視覺以

5、及非可見視覺,甚至包括人類 視覺不能直接觀察到的、物體 內(nèi)部信息的獲取與處理等3。而視覺伺服是利用視覺傳感器得到的圖像作為反饋信息,構(gòu)造機(jī)器人的位置閉環(huán)反饋 。所以它和一般意義上的機(jī)器視覺有所不同 ,機(jī)器視覺一般定義為: 自動(dòng)地獲取分析圖像以得到描述一個(gè)景物或控制某種動(dòng)作的數(shù)據(jù) 。而視覺伺服則是以實(shí)現(xiàn)對(duì)機(jī)器人控制為目的而進(jìn)行圖像的自動(dòng)獲取與分析, 因此它是利用機(jī)器視覺的原理,從直接得到的圖像反饋信息中，快速進(jìn)行圖像處理 ,在盡量短的時(shí)間內(nèi)給出反饋信息 ,參與控制決策的產(chǎn)生,構(gòu)成機(jī)器人位置閉環(huán)控制系統(tǒng)4。廣泛應(yīng)用于電子、汽車、機(jī)械等工業(yè)部門和醫(yī)學(xué)、軍事領(lǐng)域。2.2機(jī)器人視覺伺服系統(tǒng)的發(fā)展歷史、方

6、向及研究背景機(jī)器視覺是隨著20世紀(jì) 60年代末計(jì)算機(jī)與電子技術(shù)的快速發(fā)展而出現(xiàn)的新型學(xué)科。到20世紀(jì)70年代，Marr首次提出較為完善的視覺理論框架，該理論核心是從二維圖像恢復(fù)物體的三維形狀；Marr的理論強(qiáng)調(diào)表示的重要性，提出從不同層次去研究信息處理的問題 。當(dāng)時(shí)出現(xiàn)了將視覺信息用于工業(yè)生產(chǎn)中機(jī)械手定位的研究，已經(jīng)有了一些實(shí)用性的視覺系統(tǒng) ,如應(yīng)用于集成電路生產(chǎn)、精密電子產(chǎn)品裝配等。到了80年代后期, 出現(xiàn)了專門的圖像處理硬件，人們開始系統(tǒng)地研究機(jī)器人視覺控制系統(tǒng)，在此之前，由于硬件條件的限制，視覺伺服系統(tǒng)發(fā)展非常緩慢，而進(jìn)入90年代后, 隨著計(jì)算機(jī)處理能力的增強(qiáng)和成本價(jià)格的下降 ,以及圖像

7、處理硬件和CCD攝像機(jī)的快速發(fā)展,機(jī)器人視覺系統(tǒng)吸引了更多的科研人員對(duì)其進(jìn)行研究。90年代后期視覺伺服控制技術(shù)從結(jié)構(gòu)形式、圖像處理方法、控制策略發(fā)展明顯加快1。機(jī)器人視覺伺服系統(tǒng)由視覺傳感向控制器提供外部信息 ,調(diào)整機(jī)器人的位置和姿態(tài)。 研究?jī)?nèi)容涉及到圖像處理、機(jī)器視覺 、控制理論、運(yùn)動(dòng)學(xué)等多個(gè)領(lǐng)域。機(jī)器人視覺伺服控制是機(jī)器人領(lǐng)域重要的研究方向之一，而視覺傳感器是機(jī)器人系統(tǒng)中最重要的“感官”之一， 它的引入改變了機(jī)器人對(duì)操作對(duì)象及環(huán)境必須精確建模的要求5。視覺通常采用CCD攝像機(jī)來實(shí)現(xiàn),在成像過程中會(huì)受到多種因素的影響，使得視覺信息中不可避免地夾雜有噪聲，增加了圖像處理的難度；另外目前的攝像機(jī)

8、采樣速率不高 ,并且在傳輸大量數(shù)據(jù)的視覺信息時(shí)需占用較多的時(shí)間；成像過程的非線性等。當(dāng)前機(jī)器人視覺伺服研究的主要內(nèi)容可以歸納為視覺伺服系統(tǒng)結(jié)構(gòu)、快速有效的圖像處理算法以及視覺伺服控制器的設(shè)計(jì)等幾個(gè)主要方面7。通過視覺伺服控制，機(jī)器人可實(shí)現(xiàn)對(duì)動(dòng)態(tài)、不確定的場(chǎng)合操作。因此，這方面的研究對(duì)開發(fā)手眼協(xié)調(diào)的系統(tǒng)應(yīng)用在航空航天領(lǐng)域、自動(dòng)化生產(chǎn)、自動(dòng)檢測(cè)等方面具有相當(dāng)重要的研究意義9。3.機(jī)器人伺服系統(tǒng)的主要分類3.1不同的分類標(biāo)準(zhǔn)可以從不同的角度，如反饋信息類型、控制結(jié)構(gòu)和圖像處理時(shí)間等方面對(duì)機(jī)器人控制系統(tǒng)進(jìn)行分類。根據(jù)不同的標(biāo)準(zhǔn)，機(jī)器人視覺伺服系統(tǒng)可以被劃分為不同的類型。根據(jù)攝像機(jī)的數(shù)目的不同，可以分為

9、單目視覺伺服系統(tǒng)、雙目視覺伺服系統(tǒng)以及多目視覺伺服系統(tǒng)。單目視覺無法直接得到目標(biāo)的三維信息，一般通過移動(dòng)獲得深度信息。單目視覺適用于工作任務(wù)比較簡(jiǎn)單且深度信息要求不高的工作環(huán)境。多目視覺伺服可以觀察到目標(biāo)的不同部分，可以得到更為豐富的信息，但視覺控制器的設(shè)計(jì)比較復(fù)雜，且相對(duì)于雙目視覺伺服更加難以保證系統(tǒng)的穩(wěn)定性。 雙目視覺可以得到深度信息，當(dāng)前的視覺伺服系統(tǒng)主要采用雙目視覺。根據(jù)攝像機(jī)放置位置的不同，可以分為手眼系統(tǒng)和固定攝像機(jī)系統(tǒng)。 手眼系統(tǒng)能得到目標(biāo)的精確位置 ，可以實(shí)現(xiàn)精確控制，由于手眼系統(tǒng)只能觀察到目標(biāo)而無法觀察到機(jī)器人末端， 因此需要通過已知的機(jī)器人運(yùn)動(dòng)學(xué)模型來求解目標(biāo)與機(jī)器人末端的

10、位置關(guān)系，對(duì)標(biāo)定誤差以及運(yùn)動(dòng)學(xué)誤差比較敏感6。固定放置的攝像機(jī)既可以觀察到目標(biāo)也可以觀察到機(jī)器人末端，并且可以得到大的工作空間場(chǎng)景，能得到機(jī)器人末端相對(duì)于目標(biāo)的相對(duì)速度，但無法得到目標(biāo)的準(zhǔn)確信息，且機(jī)器人運(yùn)動(dòng)可能造成目標(biāo)圖像的遮擋 。為了克服兩種攝像機(jī)放置位置的不足，當(dāng)前的一種解決方法是兩種方式的協(xié)作使用7。從控制結(jié)構(gòu)的角度, 可分為開環(huán)控制系統(tǒng)和閉環(huán)控制系統(tǒng)。開環(huán)控制的視覺信息只用來確定運(yùn)動(dòng)前的目標(biāo)位姿。 閉環(huán)控制的視覺信息用作反饋, 這種情況下能抵抗攝像機(jī)與機(jī)器人的標(biāo)定誤差8。此外, 也可根據(jù)任務(wù)進(jìn)行分類, 如基于視覺的定位、 跟蹤或抓取等9。根據(jù)反饋信息類型的差別，還可以將視覺伺服分為基

11、于位置的視覺伺服和基于圖像的視覺伺服。 基于位置的誤差信號(hào)定義在三維笛卡兒空間 ，而基于圖像的的誤差信號(hào)定義在二維圖像空間。這里我們主要討論根據(jù)此種方法的分類。3.2基于位置的視覺伺服系統(tǒng)基于位置的視覺伺服是根據(jù)得到的圖像，由目標(biāo)的幾何模型和攝像機(jī)模型估計(jì)出目標(biāo)相對(duì)于攝像機(jī)的位置，得到當(dāng)前機(jī)器人的末端位姿和估計(jì)的目標(biāo)位姿的誤差，通過視覺控制器進(jìn)行調(diào)節(jié)。 基于位置的視覺伺服的結(jié)構(gòu)如圖1所示 ?；谖恢玫囊曈X伺服需要通過圖像進(jìn)行三維重構(gòu)，在三維笛卡兒空間計(jì)算誤差。這種方法的優(yōu)點(diǎn)在于誤差信號(hào)和關(guān)節(jié)控制器的輸入信號(hào)都是空間位姿，實(shí)現(xiàn)起來比較容易。但由于根據(jù)圖像估計(jì)目標(biāo)的空間位姿，機(jī)器人的運(yùn)動(dòng)學(xué)模型誤差

12、和攝像機(jī)的標(biāo)定誤差都直接影響系統(tǒng)的控制精度，且沒有對(duì)圖像進(jìn)行直接控制，易使目標(biāo)離開視場(chǎng)10。機(jī)器人對(duì)象關(guān)節(jié)控制器笛卡爾空間控制位姿給定末端位姿笛卡爾空間位姿估計(jì)獲取圖像特征攝像機(jī)圖1 基于位置控制的伺服結(jié)構(gòu)圖3.2基于圖像的視覺伺服系統(tǒng)基于圖像的視覺伺服直接計(jì)算圖像誤差，產(chǎn)生相應(yīng)的控制信號(hào)，不需要三維重建，但需要計(jì)算圖像雅可比矩陣?；趫D像的視覺伺服的結(jié)構(gòu)如圖2所示11?；趫D像視覺伺服的突出優(yōu)點(diǎn)是對(duì)標(biāo)定誤差和空間模型誤差不敏感，缺點(diǎn)是設(shè)計(jì)控制器困難，伺服過程中容易進(jìn)入圖像雅可比矩陣的奇異點(diǎn)， 一般需要估計(jì)目標(biāo)的深度信息，而且只在目標(biāo)位置附近的鄰域范圍內(nèi)收斂。而求解圖像雅可比矩陣是基于圖像視覺

13、伺服的一個(gè)主要任務(wù)15。攝像機(jī)對(duì)象關(guān)節(jié)控制器圖像空間控制圖像給定輸出圖像獲得圖像特征圖2 基于圖像控制的伺服結(jié)構(gòu)圖3.3混合視覺伺服系統(tǒng)由于基于位置和基于圖像的視覺伺服方法都具有一些難以克服的缺點(diǎn), 人們提出了混和視覺伺服方法. 混合視覺伺服的主要思想是采用圖像伺服控制一部分自由度 ,余下的自由度采用其他技術(shù)控制 ,不需要計(jì)算圖像雅可比矩陣. 混合視覺伺服以 Malis提出的2.5D 視覺伺服方法最具有代表性。這種方法可對(duì)基于位置和基于圖像兩種結(jié)構(gòu)進(jìn)行取長(zhǎng)補(bǔ)短, 系統(tǒng)的穩(wěn)定性和收斂域都有所提高5。4.總結(jié)及展望機(jī)器人視覺是一個(gè)交叉性學(xué)科。相關(guān)學(xué)科以及硬件的發(fā)展制約著機(jī)器人視覺伺服系統(tǒng)的發(fā)展。當(dāng)

14、前的發(fā)展來看，為了提高系統(tǒng)的動(dòng)態(tài)性能，目前多數(shù)的研究集中在解決如何由感知到的視覺信息確定機(jī)器人該怎樣運(yùn)動(dòng)的問題， 隨著系統(tǒng)采樣速率的進(jìn)一步提高，有必要深入研究整個(gè)視覺伺服系統(tǒng)的動(dòng)態(tài)性能14。需要結(jié)合機(jī)器人的動(dòng)力學(xué)特性及視覺過程的動(dòng)態(tài)特性綜合考慮13。對(duì)視覺伺服系統(tǒng)的主要發(fā)展方向概括如下：(1)圖像特征提取與追蹤。對(duì)于圖像特征信息的提取直接關(guān)系到伺服系統(tǒng)性能的優(yōu)劣。特征的選擇不僅需要考慮識(shí)別的準(zhǔn)確性，而且需要考慮整個(gè)系統(tǒng)的性能。如何快速準(zhǔn)確地得到理想的圖像特征是目前需要努力的方向。(2)多傳感器融合。每一種傳感器都有一定的使用范圍，如將多種傳感器結(jié)合起來一起使用，利用各種傳感器的優(yōu)勢(shì)彌補(bǔ)各自的缺

15、點(diǎn)，可以得到更加準(zhǔn)確、可靠的結(jié)果。(3)主動(dòng)視覺的應(yīng)用。這是當(dāng)前機(jī)器人視覺領(lǐng)域的一個(gè)熱點(diǎn)， 它強(qiáng)調(diào)機(jī)器人利用視覺伺服系統(tǒng)與周圍環(huán)境進(jìn)行交互的能力5。參考文獻(xiàn)：1趙清杰, 連廣宇,孫增圻.機(jī)器人視覺伺服綜述J.清華大學(xué),2011,16（3）：850.2 孫鴻林,孫煒,石玉秋等.基于模糊控制機(jī)器人視覺伺服系統(tǒng)J.控制與工程,2006,6（17）：2662.3段彥婷，蔡陳生，王鵬飛等，機(jī)器人視覺伺服技術(shù)發(fā)展慨況綜述J.2007.4鐘金明，徐剛，張海波，機(jī)器人視覺伺服系統(tǒng)的研究與發(fā)展J. 現(xiàn)代制造工程,2005(8).5倪受東，劉洋，袁祖強(qiáng)，機(jī)器人視覺伺服綜述J.機(jī)床與液壓，2007,35（9）：22

16、7.6劉歡，魏立峰，王健，機(jī)器人視覺伺服系統(tǒng)的標(biāo)定.7 王麟琨，徐德，譚民，機(jī)器人視覺伺服研究進(jìn)展J.機(jī)器,2004,26（3）:277.8高成，佟維妍，吳連印等，開環(huán)和閉環(huán)結(jié)合的機(jī)器人視覺伺服J.系統(tǒng)仿真學(xué)報(bào)，2008，20（4）：1084.9田夢(mèng)倩，羅翔，機(jī)器人視覺伺服系統(tǒng)機(jī)構(gòu)及實(shí)現(xiàn)J.制造業(yè)自動(dòng)化,2005,27（12）：4010 沈曉晶，潘俊民，機(jī)器人視覺伺服系統(tǒng)控制結(jié)構(gòu)的研究J.工業(yè)儀表與自動(dòng)化裝置,2002,411 方勇純，機(jī)器人視覺伺服系統(tǒng)研究綜述J.智能系統(tǒng)學(xué),2008,3(2):109.12 鐘金明，徐剛，張海波，基于圖像的機(jī)器人視覺伺服系統(tǒng)仿真J.機(jī)床與液壓，2005，4.

17、13 林靖，陳輝堂，王月娟等，機(jī)器人視覺伺服系統(tǒng)的研究J.控制理論與應(yīng)用，2000，17（4）：47614楊延西，劉丁，閆振杰，圖像反饋機(jī)器人視覺伺服系統(tǒng)仿真J.系統(tǒng)仿真學(xué)報(bào)，2003，15（12）：173715 鐘金明，徐剛，張海波，圖像反饋機(jī)器人視覺伺服系統(tǒng)理論與實(shí)驗(yàn)研究J.機(jī)電工程技術(shù)，2004，33（12）：12.16 O.Faugeras， F.Lustman.Motion and structure from motion in a piecewise pIanar environment J .Int.J.Pattern Recoghit.Arif.InteII.1988， vo

18、I （2） no.3， Oct.： 485 - 508.17 Malis E, Chaumette F . Multi-cameras visual servoing A .Pro-ceedings of the IEEE International Conference on Robotics and Au -tomation C . San Francisco , CA , USA: 2000. 3183-3188.18 M Vargas , F R Rubio , A R Malpesa . Pose - estimationand control in a 3D visual servoing systemA . Proc ofthe 14th IFAC C. Beijing, 1999. 317-323.19 BuiTrong Tuyen, Pha m Thuong Ca.t Neuralnetwork based visu-al Control, Automation, Robotics and Vision, 2002 . I CARCV 2002. 7th Internati