機(jī)器人視覺(jué)伺服系統(tǒng)綜述

1、機(jī)器人視覺(jué)伺服系統(tǒng)綜述摘要：對(duì)機(jī)器人視覺(jué)伺服系統(tǒng)進(jìn)行闡述，介紹了機(jī)器人視覺(jué)伺服系統(tǒng)的概念、發(fā)展歷程以及研究背景；并從不同的角度對(duì)機(jī)器人視覺(jué)伺服系統(tǒng)進(jìn)行了分類。最后介紹了該領(lǐng)域的研究現(xiàn)狀、所取得的成就，以及今后的發(fā)展趨勢(shì)。關(guān)鍵詞：機(jī)器人；視覺(jué)伺服；綜述SurveyofrobotvisualservoingsystemAbstract:Inthispaper;thesurveyofrobotvisualservoingsystemareintroduced.Thepaperreviewstheconceptandhistorybackgroundofrobotvisualservoingsyste

2、m.Thisarticlealsoclassifytherobotvisualservosystemfromdifferentaspects.Finally,itintroducetheresearchstatusquo,achievementsandfuturetrendsinthefield.Keywords:robot,visualservoing,summary1 .引言隨著先進(jìn)科學(xué)技術(shù)的不斷發(fā)展，機(jī)器人已經(jīng)在生產(chǎn)和生活中起到了越來(lái)越重要的作用，因次人們不斷對(duì)機(jī)器人技術(shù)提出更高的要求。為了使機(jī)器人能夠完成更加復(fù)雜的工作，適應(yīng)更加復(fù)雜的環(huán)境，機(jī)器人不僅需要更加完善的控制統(tǒng)，還需要能夠更多

3、的感知環(huán)境的變化。而影響其發(fā)展的一個(gè)重要原因就是機(jī)器人缺少像人一樣的感知能力，在人們?yōu)闄C(jī)器人添加各種外部傳感器的過(guò)程中，機(jī)器人視覺(jué)以其信息大、信息完整成為最重要的機(jī)器人感知功能10機(jī)器人的視覺(jué)伺服系統(tǒng)是機(jī)器人的視覺(jué)和機(jī)器人控制的相結(jié)合的復(fù)雜系統(tǒng)。其內(nèi)容包括了圖像的采集與處理、運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)、自動(dòng)控制理論及其系統(tǒng)數(shù)據(jù)實(shí)時(shí)分析等領(lǐng)域于一體的新興交叉學(xué)科。隨著攝像技術(shù)和計(jì)算機(jī)技術(shù)的發(fā)展，以及相關(guān)理論的日益完善和實(shí)踐的不斷檢驗(yàn)，視覺(jué)伺服已具備了在實(shí)際中應(yīng)用的條件；而隨著機(jī)器人應(yīng)用領(lǐng)域的不斷擴(kuò)展，重要性也不斷提高，與其相關(guān)技術(shù)問(wèn)題已經(jīng)成為了當(dāng)前的研究熱點(diǎn)20所以實(shí)現(xiàn)機(jī)器人視覺(jué)伺服控制有相當(dāng)?shù)碾y度，是機(jī)器

4、人研究領(lǐng)域中具有挑戰(zhàn)性的課題。2 .機(jī)器人視覺(jué)伺服系統(tǒng)3 .1機(jī)器人視覺(jué)伺服系統(tǒng)的定義視覺(jué)是一種復(fù)雜的感官，視覺(jué)信息中包含有大量的數(shù)據(jù)，要從中提取特征信息，需要復(fù)雜的算法及耗費(fèi)大量的運(yùn)算時(shí)間，機(jī)器人視覺(jué)是通過(guò)光學(xué)裝置和非接觸式的傳感器自動(dòng)接受并處理真實(shí)物體圖像信息，并通過(guò)分析獲得所需要信息或用于控制機(jī)器人自身運(yùn)動(dòng)的裝置。機(jī)器人視覺(jué)作為一種很與人類眼睛類似的機(jī)器仿生系統(tǒng)。而從廣義角度講凡是通過(guò)光學(xué)裝置獲取真實(shí)物體的信息以及對(duì)相關(guān)信息的處理與執(zhí)行都是機(jī)器視覺(jué)，這就包括了可見(jiàn)視覺(jué)以及非可見(jiàn)視覺(jué)，甚至包括人類視覺(jué)不能直接觀察到的、物體內(nèi)部信息的獲取與處理等30而視覺(jué)伺服是利用視覺(jué)傳感器得到的圖像作為反

5、饋信息，構(gòu)造機(jī)器人的位置閉環(huán)反饋。所以它和一般意義上的機(jī)器視覺(jué)有所不同，機(jī)器視覺(jué)一般定義為：自動(dòng)地獲取分析圖像以得到描述一個(gè)景物或控制某種動(dòng)作的數(shù)據(jù)。而視覺(jué)伺服則是以實(shí)現(xiàn)對(duì)機(jī)器人控制為目的而進(jìn)行圖像的自動(dòng)獲取與分析，因此它是利用機(jī)器視覺(jué)的原理，從直接得到的圖像反饋信息中，快速進(jìn)行圖像處理，在盡量短的時(shí)間內(nèi)給出反饋信息，參與控制決策的產(chǎn)生，構(gòu)成機(jī)器人位置閉環(huán)控制系統(tǒng)40廣泛應(yīng)用于電子、汽車(chē)、機(jī)械等工業(yè)部門(mén)和醫(yī)學(xué)、軍事領(lǐng)域。2.2機(jī)器人視覺(jué)伺服系統(tǒng)的發(fā)展歷史、方向及研究背景機(jī)器視覺(jué)是隨著20世紀(jì)60年代末計(jì)算機(jī)與電子技術(shù)的快速發(fā)展而出現(xiàn)的新型學(xué)科。到20世紀(jì)70年代，Marr首次提出較為完善的視覺(jué)

6、理論框架，該理論核心是從二維圖像恢復(fù)物體的三維形狀；Marr的理論強(qiáng)調(diào)表示的重要性，提出從不同層次去研究信息處理的問(wèn)題。當(dāng)時(shí)出現(xiàn)了將視覺(jué)信息用于工業(yè)生產(chǎn)中機(jī)械手定位的研究，已經(jīng)有了一些實(shí)用性的視覺(jué)系統(tǒng)，如應(yīng)用于集成電路生產(chǎn)、精密電子產(chǎn)品裝配等。到了80年代后期，出現(xiàn)了專門(mén)的圖像處理硬件，人們開(kāi)始系統(tǒng)地研究機(jī)器人視覺(jué)控制系統(tǒng)，在此之前，由于硬件條件的限制，視覺(jué)伺服系統(tǒng)發(fā)展非常緩慢，而進(jìn)入90年代后，隨著計(jì)算機(jī)處理能力的增強(qiáng)和成本價(jià)格的下降，以及圖像處理硬件和CCLM像機(jī)的快速發(fā)展，機(jī)器人視覺(jué)系統(tǒng)吸引了更多的科研人員對(duì)其進(jìn)行研究。90年代后期視覺(jué)伺服控制技術(shù)從結(jié)構(gòu)形式、圖像處理方法、控制策略發(fā)展明

7、顯加快1。機(jī)器人視覺(jué)伺服系統(tǒng)由視覺(jué)傳感向控制器提供外部信息，調(diào)整機(jī)器人的位置和姿態(tài)。研究?jī)?nèi)容涉及到圖像處理、機(jī)器視覺(jué)、控制理論、運(yùn)動(dòng)學(xué)等多個(gè)領(lǐng)域。機(jī)器人視覺(jué)伺服控制是機(jī)器人領(lǐng)域重要的研究方向之一，而視覺(jué)傳感器是機(jī)器人系統(tǒng)中最重要的“感官”之一，它的引入改變了機(jī)器人對(duì)操作對(duì)象及環(huán)境必須精確建模的要求5。視覺(jué)通常采用CCD®像機(jī)來(lái)實(shí)現(xiàn)，在成像過(guò)程中會(huì)受到多種因素的影響，使得視覺(jué)信息中不可避免地夾雜有噪聲，增加了圖像處理的難度；另外目前的攝像機(jī)采樣速率不高，并且在傳輸大量數(shù)據(jù)的視覺(jué)信息時(shí)需占用較多的時(shí)間；成像過(guò)程的非線性等。當(dāng)前機(jī)器人視覺(jué)伺服研究的主要內(nèi)容可以歸納為視覺(jué)伺服系統(tǒng)結(jié)構(gòu)、快速有

8、效的圖像處理算法以及視覺(jué)伺服控制器的設(shè)計(jì)等幾個(gè)主要方面7。通過(guò)視覺(jué)伺服控制，機(jī)器人可實(shí)現(xiàn)對(duì)動(dòng)態(tài)、不確定的場(chǎng)合操作。因此，這方面的研究對(duì)開(kāi)發(fā)手眼協(xié)調(diào)的系統(tǒng)應(yīng)用在航空航天領(lǐng)域、自動(dòng)化生產(chǎn)、自動(dòng)檢測(cè)等方面具有相當(dāng)重要的研究意義9。3 .機(jī)器人伺服系統(tǒng)的主要分類3.1 不同的分類標(biāo)準(zhǔn)可以從不同的角度，如反饋信息類型、控制結(jié)構(gòu)和圖像處理時(shí)間等方面對(duì)機(jī)器人控制系統(tǒng)進(jìn)行分類。根據(jù)不同的標(biāo)準(zhǔn)，機(jī)器人視覺(jué)伺服系統(tǒng)可以被劃分為不同的類型。根據(jù)攝像機(jī)的數(shù)目的不同，可以分為單目視覺(jué)伺服系統(tǒng)、雙目視覺(jué)伺服系統(tǒng)以及多目視覺(jué)伺服系統(tǒng)。單目視覺(jué)無(wú)法直接得到目標(biāo)的三維信息，一般通過(guò)移動(dòng)獲得深度信息。單目視覺(jué)適用于工作任務(wù)比較簡(jiǎn)

9、單且深度信息要求不高的工作環(huán)境。多目視覺(jué)伺服可以觀察到目標(biāo)的不同部分，可以得到更為豐富的信息，但視覺(jué)控制器的設(shè)計(jì)比較復(fù)雜，且相對(duì)于雙目視覺(jué)伺服更加難以保證系統(tǒng)的穩(wěn)定性。雙目視覺(jué)可以得到深度信息，當(dāng)前的視覺(jué)伺服系統(tǒng)主要采用雙目視覺(jué)。根據(jù)攝像機(jī)放置位置的不同，可以分為手眼系統(tǒng)和固定攝像機(jī)系統(tǒng)。手眼系統(tǒng)能得到目標(biāo)的精確位置，可以實(shí)現(xiàn)精確控制，由于手眼系統(tǒng)只能觀察到目標(biāo)而無(wú)法觀察到機(jī)器人末端，因此需要通過(guò)已知的機(jī)器人運(yùn)動(dòng)學(xué)模型來(lái)求解目標(biāo)與機(jī)器人末端的位置關(guān)系，對(duì)標(biāo)定誤差以及運(yùn)動(dòng)學(xué)誤差比較敏感6。固定放置的攝像機(jī)既可以觀察到目標(biāo)也可以觀察到機(jī)器人末端，并且可以得到大的工作空間場(chǎng)景，能得到機(jī)器人末端相對(duì)于

10、目標(biāo)的相對(duì)速度，但無(wú)法得到目標(biāo)的準(zhǔn)確信息，且機(jī)器人運(yùn)動(dòng)可能造成目標(biāo)圖像的遮擋。為了克服兩種攝像機(jī)放置位置的不足，當(dāng)前的一種解決方法是兩種方式的協(xié)作使用70從控制結(jié)構(gòu)的角度，可分為開(kāi)環(huán)控制系統(tǒng)和閉環(huán)控制系統(tǒng)。開(kāi)環(huán)控制的視覺(jué)信息只用來(lái)確定運(yùn)動(dòng)前的目標(biāo)位姿。閉環(huán)控制的視覺(jué)信息用作反饋，這種情況下能抵抗攝像機(jī)與機(jī)器人的標(biāo)定誤差80止匕外，也可根據(jù)任務(wù)進(jìn)行分類，如基于視覺(jué)的定位、跟蹤或抓取等網(wǎng)。根據(jù)反饋信息類型的差別，還可以將視覺(jué)伺服分為基于位置的視覺(jué)伺服和基于圖像的視覺(jué)伺服?；谖恢玫恼`差信號(hào)定義在三維笛卡兒空間，而基于圖像的的誤差信號(hào)定義在二維圖像空間。這里我們主要討論根據(jù)此種方法的分類。3.2 基

11、于位置的視覺(jué)伺服系統(tǒng)基于位置的視覺(jué)伺服是根據(jù)得到的圖像，由目標(biāo)的幾何模型和攝像機(jī)模型估計(jì)出目標(biāo)相對(duì)于攝像機(jī)的位置，得到當(dāng)前機(jī)器人的末端位姿和估計(jì)的目標(biāo)位姿的誤差，通過(guò)視覺(jué)控制器進(jìn)行調(diào)節(jié)?；谖恢玫囊曈X(jué)伺服的結(jié)構(gòu)如圖1所示?；谖恢玫囊曈X(jué)伺服需要通過(guò)圖像進(jìn)行三維重構(gòu)，在三維笛卡兒空間計(jì)算誤差。這種方法的優(yōu)點(diǎn)在于誤差信號(hào)和關(guān)節(jié)控制器的輸入信號(hào)都是空間位姿，實(shí)現(xiàn)起來(lái)比較容易。但由于根據(jù)圖像估計(jì)目標(biāo)的空間位姿，機(jī)器人的運(yùn)動(dòng)學(xué)模型誤差和攝像機(jī)的標(biāo)定誤差都直接影響系統(tǒng)的控制精度，且沒(méi)有對(duì)圖像進(jìn)行直接控制，易使目標(biāo)離開(kāi)視場(chǎng)100位姿給定末端位姿3.3 基于圖像的視覺(jué)伺服系統(tǒng)基于圖像的視覺(jué)伺服直接計(jì)算圖像誤差

12、，產(chǎn)生相應(yīng)的控制信號(hào)，不需要三維重建，但需要計(jì)算圖像雅可比矩陣。基于圖像的視覺(jué)伺服的結(jié)構(gòu)如圖2所示1L基于圖像視覺(jué)伺服的突出優(yōu)點(diǎn)是對(duì)標(biāo)定誤差和空間模型誤差不敏感，缺點(diǎn)是設(shè)計(jì)控制器困難，伺服過(guò)程中容易進(jìn)入圖像雅可比矩陣的奇異點(diǎn)，一般需要估計(jì)目標(biāo)的深度信息，而且只在目標(biāo)位置附近的鄰域范圍內(nèi)收斂。而求解圖像雅可比矩陣是基于圖像視覺(jué)伺服的一個(gè)主要任務(wù)15。圖像給定輸出圖像圖2基于圖像控制的伺服結(jié)構(gòu)圖3.4 混合視覺(jué)伺服系統(tǒng)由于基于位置和基于圖像的視覺(jué)伺服方法都具有一些難以克服的缺點(diǎn)，人們提出了混和視覺(jué)伺服方法.混合視覺(jué)伺服的主要思想是采用圖像伺服控制一部分自由度，余下的自由度采用其他技術(shù)控制，不需要計(jì)

13、算圖像雅可比矩陣.混合視覺(jué)伺服以Malis提出的2.5D視覺(jué)伺服方法最具有代表性。這種方法可對(duì)基于位置和基于圖像兩種結(jié)構(gòu)進(jìn)行取長(zhǎng)補(bǔ)短，系統(tǒng)的穩(wěn)定性和收斂域都有所提54 .總結(jié)及展望機(jī)器人視覺(jué)是一個(gè)交叉性學(xué)科。相關(guān)學(xué)科以及硬件的發(fā)展制約著機(jī)器人視覺(jué)伺服系統(tǒng)的發(fā)展。當(dāng)前的發(fā)展來(lái)看，為了提高系統(tǒng)的動(dòng)態(tài)性能，目前多數(shù)的研究集中在解決如何由感知到的視覺(jué)信息確定機(jī)器人該怎樣運(yùn)動(dòng)的問(wèn)題，隨著系統(tǒng)采樣速率的進(jìn)一步提高，有必要深入研究整個(gè)視覺(jué)伺服系統(tǒng)的動(dòng)態(tài)性能14。需要結(jié)合機(jī)器人的動(dòng)力學(xué)特性及視覺(jué)過(guò)程的動(dòng)態(tài)特性綜合考慮130對(duì)視覺(jué)伺服系統(tǒng)的主要發(fā)展方向概括如下：(1)圖像特征提取與追蹤。對(duì)于圖像特征信息的提取直

14、接關(guān)系到伺服系統(tǒng)性能的優(yōu)劣。特征的選擇不僅需要考慮識(shí)別的準(zhǔn)確性，而且需要考慮整個(gè)系統(tǒng)的性能。如何快速準(zhǔn)確地得到理想的圖像特征是目前需要努力的方向。(2)多傳感器融合。每一種傳感器都有一定的使用范圍，如將多種傳感器結(jié)合起來(lái)一起使用，利用各種傳感器的優(yōu)勢(shì)彌補(bǔ)各自的缺點(diǎn)，可以得到更加準(zhǔn)確、可靠的結(jié)果。主動(dòng)視覺(jué)的應(yīng)用。這是當(dāng)前機(jī)器人視覺(jué)領(lǐng)域的一個(gè)熱點(diǎn)，它強(qiáng)調(diào)機(jī)器人利用視覺(jué)伺服系統(tǒng)與周?chē)h(huán)境進(jìn)行交互的能力50參考文獻(xiàn)：1趙清杰，連廣宇，孫增圻.機(jī)器人視覺(jué)伺服綜述J.清華大學(xué)，2011,16(3):850.2孫鴻林，孫煒，石玉秋等.基于模糊控制機(jī)器人視覺(jué)伺服系統(tǒng)J.控制與工程，2006,6(17):266

15、2.3段彥婷，蔡陳生，王鵬飛等，機(jī)器人視覺(jué)伺服技術(shù)發(fā)展慨況綜述J.2007.4鐘金明，徐剛，張海波，機(jī)器人視覺(jué)伺服系統(tǒng)的研究與發(fā)展J.現(xiàn)代制造工程,2005(8).5倪受東，劉洋，袁祖強(qiáng)，機(jī)器人視覺(jué)伺服綜述J.機(jī)床與液壓，2007,35(9):227.6劉歡，魏立峰，王健，機(jī)器人視覺(jué)伺服系統(tǒng)的標(biāo)定.7王麟琨，徐德，譚民，機(jī)器人視覺(jué)伺服研究進(jìn)展J.機(jī)器,2004,26(3):277.8高成，佟維妍，吳連印等，開(kāi)環(huán)和閉環(huán)結(jié)合的機(jī)器人視覺(jué)伺服J.系統(tǒng)仿真學(xué)報(bào)，2008,20(4):1084.9田夢(mèng)倩，羅翔，機(jī)器人視覺(jué)伺服系統(tǒng)機(jī)構(gòu)及實(shí)現(xiàn)J.制造業(yè)自動(dòng)化,2005,27(12):4010沈曉晶，潘俊民，

16、機(jī)器人視覺(jué)伺服系統(tǒng)控制結(jié)構(gòu)的研究J.工業(yè)儀表與自動(dòng)化裝置,2002,411方勇純，機(jī)器人視覺(jué)伺服系統(tǒng)研究綜述J.智能系統(tǒng)學(xué),2008,3(2):109.12鐘金明，徐剛，張海波，基于圖像的機(jī)器人視覺(jué)伺服系統(tǒng)仿真J.機(jī)床與液壓，2005,4.13林靖，陳輝堂，王月娟等，機(jī)器人視覺(jué)伺服系統(tǒng)的研究J.控制理論與應(yīng)用，2000,17(4):47614楊延西，劉丁，閆振杰，圖像反饋機(jī)器人視覺(jué)伺服系統(tǒng)仿真J.系統(tǒng)仿真學(xué)報(bào)，2003,15(12):173715鐘金明，徐剛，張海波，圖像反饋機(jī)器人視覺(jué)伺服系統(tǒng)理論與實(shí)驗(yàn)研究J.機(jī)電工程技術(shù)，2004,33(12):12.16 O.Faugeras,F.Lust

17、man.MotionandstructurefrommotioninapiecewiseplanarenvironmentJ.Int.J.PatternRecoghit.Arif.InteII.1988,voI(2)no.3,Oct.：485-508.17 MalisE,ChaumetteF.Multi-camerasvisualservoingA.Pro-ceedingsoftheIEEEInternationalConferenceonRoboticsandAu-tomationC.SanFrancisco,CA,USA:2000.3183-3188.18 MVargas,FRRubio,ARMalpesa.Pose-estimationandcontrolina3DvisualservoingsystemA.Procofthe14thIFACC.Beijing,1999.317-323.19 BuiTrongTuyen,PhamThuongCa.tNeuralnetworkbasedvisu-alControl,Automation,RoboticsandV