基于機(jī)器視覺的工件智能抓取關(guān)鍵技術(shù)研究應(yīng)用

基于機(jī)器視覺工業(yè)機(jī)器人工件搬運(yùn)技術(shù)研究1.1研究背景自19世紀(jì)60年代問世以來，工業(yè)機(jī)器人不斷發(fā)展和完善，現(xiàn)已得到廣泛應(yīng)用，機(jī)器人產(chǎn)業(yè)也逐漸成熟。當(dāng)前，全世界已擁有100多萬臺(tái)工業(yè)機(jī)器人廣泛應(yīng)用在焊接、搬運(yùn)、裝配、噴涂、修邊、拾料、包裝、堆垛和上下料等單調(diào)或復(fù)雜作業(yè)中，為公司節(jié)約了大量勞動(dòng)成本，大大提高了勞動(dòng)生產(chǎn)率。工業(yè)機(jī)器人是面向工業(yè)領(lǐng)域多關(guān)節(jié)機(jī)械手或多自由度機(jī)器人，它在穩(wěn)定產(chǎn)品品質(zhì)、提高生產(chǎn)效率和改進(jìn)勞動(dòng)條件等方面有著十分重要作用，它應(yīng)用可以使公司大大縮短新產(chǎn)品換產(chǎn)周期和節(jié)約勞動(dòng)成本，從而提高了產(chǎn)品市場(chǎng)競(jìng)爭(zhēng)力。隨著當(dāng)代工業(yè)革命進(jìn)一步發(fā)展，工業(yè)生產(chǎn)日益趨向自動(dòng)化，工業(yè)機(jī)器人技術(shù)也正朝著智能、柔性方向發(fā)展。許多發(fā)達(dá)國(guó)家對(duì)于智能工業(yè)機(jī)器人研究都較為注重，國(guó)內(nèi)也早已將其納入國(guó)家高科技發(fā)展規(guī)劃。國(guó)家層面注重也必將給工業(yè)機(jī)器人技術(shù)帶來新跨越式發(fā)展，機(jī)器人發(fā)展也必將對(duì)社會(huì)經(jīng)濟(jì)和生產(chǎn)力發(fā)產(chǎn)生更加深遠(yuǎn)影響1.2研究目和意義對(duì)于工作在自動(dòng)化生產(chǎn)線上或柔性制造系統(tǒng)中工業(yè)機(jī)器人來說，其完畢最多一類操作是“抓取—放置”動(dòng)作，例如流水線上工件搬運(yùn)、裝配以及各工位之間工件轉(zhuǎn)移和上下料。機(jī)器人要完畢此類操作是通過復(fù)雜計(jì)算：一方面，機(jī)器人必要懂得怎么抓，另一方面機(jī)器人應(yīng)當(dāng)懂得怎么放；同步在這個(gè)過程還要隨著著機(jī)器人運(yùn)動(dòng)學(xué)分析過程。老式工業(yè)機(jī)器人完畢此類操作，必要通過精準(zhǔn)逐點(diǎn)示教后，才干一步一步按照固定程序執(zhí)行。在這個(gè)過程中，工件相對(duì)于機(jī)器人初始位姿（位置和姿態(tài)）和終結(jié)位姿是事先規(guī)定，但諸多狀況下，特別是流水線場(chǎng)合，工件位姿經(jīng)常是不固定。這就導(dǎo)致實(shí)際目的工件位姿與抱負(fù)工件位姿總是有偏差，這種偏差哪怕很小都會(huì)導(dǎo)致機(jī)器人操作任務(wù)失敗。這種由于環(huán)境變化而導(dǎo)致機(jī)器人不能較好地完畢任務(wù)狀況極大地限制了機(jī)器人實(shí)際應(yīng)用。這就規(guī)定工業(yè)機(jī)器人具備一定環(huán)境適應(yīng)能力，即工業(yè)機(jī)器人智能化。智能工業(yè)機(jī)器人智能特性在于它具備與外部世界、對(duì)象、環(huán)境和人互相協(xié)調(diào)工作機(jī)能，詳細(xì)體當(dāng)前機(jī)器視覺、接近覺、觸覺和力覺等方面。機(jī)器視覺是用機(jī)器代替人眼來做測(cè)量和判斷，其本質(zhì)是使計(jì)算機(jī)具備認(rèn)知周邊環(huán)境信息能力。這種能力不但使機(jī)器能感知周邊物體形狀、位置、姿態(tài)、運(yùn)動(dòng)等等信息，并且能相應(yīng)地對(duì)這些信息進(jìn)行描述、理解和辨認(rèn)。將機(jī)器視覺與機(jī)器人結(jié)合到一起，也就產(chǎn)生了機(jī)器人視覺。機(jī)器人視覺技術(shù)是用來模仿人類視覺，使機(jī)器人通過獲取視覺信息從而對(duì)操作環(huán)境進(jìn)行鑒別，給機(jī)器人賦予更強(qiáng)大應(yīng)對(duì)能力，大大增強(qiáng)了機(jī)器人柔性。因而基于視覺引導(dǎo)機(jī)器人擁有著遼闊發(fā)展空間，具備重要科研和應(yīng)用價(jià)值。1.3國(guó)內(nèi)外現(xiàn)狀當(dāng)前，機(jī)器視覺技術(shù)已經(jīng)從最初實(shí)驗(yàn)室階段逐漸走向成熟，并且在工業(yè)生產(chǎn)線上已有實(shí)際應(yīng)用。德國(guó)、日本、美國(guó)和韓國(guó)處在智能工業(yè)機(jī)器人領(lǐng)域應(yīng)用研究前沿。日本從最初模仿到當(dāng)前獨(dú)創(chuàng)，找到了自己技術(shù)創(chuàng)新之路。德國(guó)西門子公司也緊跟著時(shí)代步伐，將機(jī)器視覺滲入到各個(gè)領(lǐng)域，應(yīng)用到汽車發(fā)動(dòng)機(jī)裝配，生產(chǎn)線工件分揀等領(lǐng)域。美國(guó)更是機(jī)器人技術(shù)創(chuàng)新發(fā)源地，其機(jī)器視覺廣泛應(yīng)用在工業(yè)和軍事上，機(jī)械手經(jīng)銷商，涉及Fanuc公司，Motman公司和Staubli公司都推出了“揀選”系統(tǒng)。如圖1.1所示，日本川崎設(shè)計(jì)工業(yè)機(jī)器人重要應(yīng)用在基于視覺系統(tǒng)大型物品裝卸、樹脂成形機(jī)械抓取和汽車車門邊角打磨工程等領(lǐng)域。這種機(jī)器人可以結(jié)合詳細(xì)實(shí)際應(yīng)用和目的辦法，配備不同選裝件和有關(guān)參數(shù)，可以適應(yīng)各種應(yīng)用場(chǎng)合。通過使用機(jī)器人內(nèi)部搭載原則機(jī)器人語言，它還可以實(shí)現(xiàn)高性能動(dòng)作控制和時(shí)序控制。圖1.1基于視覺系統(tǒng)大型物品裝卸圖1.2所示是美國(guó)普渡大學(xué)研究一種基于視覺控制Bin-picking系統(tǒng)，該系統(tǒng)可以從各種零件中分揀出圓形零件，它是通過簡(jiǎn)樸圓弧邊界特性來辨認(rèn)圓形零件。圖1.3所示是瑞典ABB公司最新推出第二代拾取機(jī)器人FlexPickerIRB360，該機(jī)器人擁有有效載荷大、操作速度快、簡(jiǎn)樸有效等長(zhǎng)處，可以在2D視覺協(xié)助下，以高達(dá)2次/秒速度撿取傳送帶上物品。總來說，美國(guó)、日本、歐洲某些發(fā)達(dá)國(guó)家在機(jī)器人視覺技術(shù)有著豐富經(jīng)驗(yàn)，已經(jīng)開發(fā)出多款成熟產(chǎn)品，廣泛應(yīng)用在微裝配、空間和軍事領(lǐng)域。圖1.2Bin-Picking機(jī)器人圖1.3ABBFlex-Picker機(jī)器人國(guó)內(nèi)對(duì)工業(yè)機(jī)器人研究起步較晚，從90年代初期起，國(guó)內(nèi)在工業(yè)機(jī)器人領(lǐng)域才獲得一定進(jìn)展。隨著近幾年科技進(jìn)步，國(guó)內(nèi)在這方面發(fā)展迅速，獲得了不少科研成果，機(jī)器人構(gòu)造和控制理論不斷得到創(chuàng)新，生產(chǎn)制造工藝也逐漸成熟，不斷有自主知識(shí)產(chǎn)權(quán)機(jī)器人產(chǎn)品相繼問世，此外還相繼建立了20各種機(jī)器人產(chǎn)業(yè)化基地，實(shí)行了100多項(xiàng)機(jī)器人應(yīng)用工程，機(jī)器人產(chǎn)業(yè)不斷壯大和發(fā)展。新松機(jī)器人自動(dòng)化股份有限公司研制機(jī)器人是擁有自主知識(shí)產(chǎn)權(quán)和核心技術(shù)工業(yè)搬運(yùn)機(jī)器人，它可用于鍛造生產(chǎn)和鑄件落砂等工作條件惡劣場(chǎng)合，減少工人勞動(dòng)強(qiáng)度。北京航空航天大學(xué)于1994年成功研制了七自由度機(jī)器人操作臂，并且研制出一系列改進(jìn)型冗余自由度機(jī)器人實(shí)驗(yàn)樣機(jī)。方躍提出了采用靈活角來度量操作器靈活限度，將機(jī)器人工作空間依照靈活限度不同劃分為相應(yīng)有限靈活工作空間，高同以梯度投影法為基本，采用線性加權(quán)法，研究冗余度機(jī)器人多指標(biāo)融合優(yōu)化問題。冗余自由度機(jī)器人另一種研究重點(diǎn)是運(yùn)動(dòng)學(xué)逆解，如圖1.5所示，為深圳眾為興技術(shù)股份有限公司生產(chǎn)四自由度分揀機(jī)器人。該機(jī)器人在分類分揀應(yīng)用中具備視覺導(dǎo)引功能，重點(diǎn)簡(jiǎn)介了眾為興SCARA機(jī)器人及視覺系統(tǒng)，并在現(xiàn)場(chǎng)用實(shí)物生動(dòng)展示了具備視覺功能眾為興機(jī)器人在分類分揀應(yīng)用。眾為興公司開發(fā)研制SCARA機(jī)器人，可應(yīng)用在搬運(yùn)、分揀某些較小規(guī)則工件。圖1.5眾為興展出SCARA機(jī)器人1.4本課題研究?jī)?nèi)容本文是針對(duì)基于視覺引導(dǎo)工業(yè)機(jī)器人工件搬運(yùn)技術(shù)進(jìn)行研究，簡(jiǎn)樸講，就是在一臺(tái)6軸工業(yè)機(jī)器人基本上引入機(jī)器視覺，運(yùn)用機(jī)器人對(duì)視覺理解，完畢工業(yè)生產(chǎn)中工件抓取和放置操作。在這個(gè)操作過程中，工件辨認(rèn)與定位和機(jī)器人運(yùn)動(dòng)學(xué)反解是兩個(gè)核心環(huán)節(jié)。工件辨認(rèn)與定位是為機(jī)器人提供操作和如何操作信息，而機(jī)器人運(yùn)動(dòng)學(xué)反解精確性直接影響到操作能否完畢和相應(yīng)操作精度。整個(gè)工件搬運(yùn)詳細(xì)流程是：在機(jī)器人工作之前，先通過上方攝像機(jī)實(shí)時(shí)地采集工件圖像，并送到圖像解決系統(tǒng)，以便擬定所感興趣工件以及該工件相對(duì)于機(jī)器人位姿，最后將位姿信息反解成工業(yè)機(jī)器人熟悉關(guān)節(jié)角度和角度控制信息，從而實(shí)現(xiàn)運(yùn)用視覺引導(dǎo)機(jī)器人精確地抓取工件。同步依照已抓取工件放置規(guī)定，進(jìn)一步引導(dǎo)機(jī)器人完畢工件定點(diǎn)放置，從而實(shí)現(xiàn)機(jī)器人搬運(yùn)操作。本課題研究?jī)?nèi)容環(huán)繞物體辨認(rèn)這個(gè)中心展開，重要涉及如下幾種方面：如何獲取圖像獲取圖像是進(jìn)行本課題研究前提，順利通過攝像頭設(shè)備獲取到原始圖像是一切研究主線如何對(duì)圖像進(jìn)行預(yù)解決視覺系統(tǒng)中直接使用圖像，必要在進(jìn)行灰度校正、噪聲過濾等圖像預(yù)解決。將圖像中感興趣特性有選取地突出，衰減其不需要特性，預(yù)解決后輸出圖像并不需要去逼近原圖像。如何對(duì)預(yù)解決后來圖像進(jìn)行特性辨認(rèn)和特性提取已經(jīng)把待測(cè)目的工件進(jìn)行過圖像預(yù)解決，接下來要針對(duì)靜態(tài)工件特性提取，最后要依照已經(jīng)提取目的工件特性進(jìn)行分類。特性提取意義于要區(qū)別不同種類工件就要把它們之間不同信息提取出來，作為辨認(rèn)前提條件。普通來說，提取普通特性涉及周長(zhǎng)、邊沿、面積、曲率、角度和物體質(zhì)心等如何依照提取特性對(duì)目的進(jìn)行分類和目的定位目的分類是指對(duì)得到不同目的進(jìn)行區(qū)別并將其歸為某一已知類過程。對(duì)于圖像目的來說普通運(yùn)用圖像特性來對(duì)目的進(jìn)行描述，然后對(duì)其分類。通過模版匹配計(jì)算目的上空間點(diǎn)和像素點(diǎn)之間相應(yīng)關(guān)系。然后創(chuàng)立模版，對(duì)后續(xù)圖像進(jìn)行目的定位。如何跟蹤目的對(duì)于運(yùn)動(dòng)目的，通過跟蹤可以得到目的速度和加速度，并可以對(duì)將來目的浮現(xiàn)位置進(jìn)行預(yù)測(cè)6.如何將目的在圖像中位置轉(zhuǎn)化到機(jī)器人基坐標(biāo)系中并進(jìn)行機(jī)器人運(yùn)動(dòng)學(xué)反解通過相機(jī)標(biāo)定得到圖像坐標(biāo)與機(jī)器人基坐標(biāo)之間轉(zhuǎn)換關(guān)系，將目的在圖像中位置信息轉(zhuǎn)化為機(jī)器人基坐標(biāo)系中詳細(xì)坐標(biāo)，并通過該坐標(biāo)進(jìn)行機(jī)器人運(yùn)動(dòng)學(xué)逆解，得到關(guān)節(jié)運(yùn)動(dòng)信息如何規(guī)劃途徑并控制機(jī)器人進(jìn)行目的抓取通過前面得到運(yùn)動(dòng)學(xué)逆解，合理設(shè)立機(jī)器人抓取運(yùn)動(dòng)規(guī)劃，涉及途徑規(guī)劃和手部抓取規(guī)劃，途徑規(guī)劃是研究按照何種途徑，將機(jī)器人手部坐標(biāo)系原點(diǎn)和目的抓取坐標(biāo)系原點(diǎn)重疊問題，抓取點(diǎn)規(guī)劃是針對(duì)不同形狀物體，如何選取適當(dāng)夾持點(diǎn)位置問題。1.5本課題研究辦法1.5.1獲取圖像1)硬件簡(jiǎn)介一種穩(wěn)定視覺系統(tǒng)構(gòu)建需要依照任務(wù)特點(diǎn)和現(xiàn)場(chǎng)環(huán)境特點(diǎn)進(jìn)行，例如精度，目的尺寸，檢測(cè)速度，安裝空間大小等規(guī)定，都將影響系統(tǒng)硬、軟件選取。典型視覺系統(tǒng)涉及硬件諸多，但最重要最基本三件設(shè)備是：光源、鏡頭和相機(jī)。本節(jié)重要給出本系統(tǒng)所用硬件參數(shù)并對(duì)其進(jìn)行簡(jiǎn)樸簡(jiǎn)介1.光源由于所有非發(fā)光物體都是通過反射光才干在傳感器上留下影像，因此光源對(duì)的選取是保證視覺系統(tǒng)正常工作基本。在選取視覺系統(tǒng)光源時(shí)要注意，使用光源要把感興趣目的和背景區(qū)別開來，削減非關(guān)懷目的或噪聲干擾，并且光源自身不會(huì)帶來額外干擾，鏡頭鏡頭與人眼晶狀體具備類似功能，如果沒有安裝鏡頭進(jìn)行拍攝，得到圖像將是花白色，不包括任何場(chǎng)景信息。因此鏡頭作用是匯聚目的反射回光，在感光原件上產(chǎn)生細(xì)節(jié)豐富，銳利圖像。鏡頭參數(shù)選取普通是依照配用攝像機(jī)感光原件大小來進(jìn)行，如果兩者參數(shù)不適當(dāng)，將浮現(xiàn)圖像記錄不完整，視場(chǎng)角不符合規(guī)定或者畫面在焦點(diǎn)外問題本文選取是COMUPTAR公司M0814-MP2型號(hào)鏡頭，參數(shù)如表所示：性能指標(biāo)參數(shù)靶面尺寸2/3’’焦距8最大成像尺寸8.8*6.6控制光圈手動(dòng)聚焦手動(dòng)變焦手動(dòng)接口C-接口尺寸33.5*28.2攝像機(jī)本系統(tǒng)使用是Basler公司acA2500-14gm型號(hào)工業(yè)相機(jī)，如圖所示，該相機(jī)性能指標(biāo)和參數(shù)如表所示：圖3BasleracA2500-14gm型號(hào)工業(yè)相機(jī)性能指標(biāo)參數(shù)傳感器類型AptinaMT9PCMOS，rollingshutter有效圖像元素2592*1944像素尺寸2.2x2.2數(shù)據(jù)位數(shù)12鏡頭接口C-mount，CS-mount傳播方式GigabitEthernet幀率14供電規(guī)定ViaPoweroverEthernet(802.3af)or+12VDC(±10%)viathecamera′s6-pinHiroseconnector外形尺寸42x29x29表1BasleracA2500-14gm型號(hào)工業(yè)相機(jī)參數(shù)拍攝參數(shù)設(shè)定為了提高圖像解決速度并兼顧辨別率，選取拍攝參數(shù)如下表：圖像尺寸待定色彩待定ISO速度待定幀頻待定記錄頻率待定2）軟件簡(jiǎn)介OpenCV全稱是：OpenSourceComputerVisionLibrary。OpenCV是一種基于（開源）發(fā)行跨平臺(tái)計(jì)算機(jī)視覺庫，可以運(yùn)營(yíng)在Linux、Windows和MacOS操作系統(tǒng)上。它輕量級(jí)并且高效——由一系列C函數(shù)和少量C++類構(gòu)成，同步提供了Python、Ruby、MATLAB等語言接口，實(shí)現(xiàn)了圖像解決和計(jì)算機(jī)視覺方面諸多通用算法，它可以完畢如下工作：1.圖像數(shù)據(jù)操作（內(nèi)存分派與釋放，圖像復(fù)制、設(shè)定和轉(zhuǎn)換）2.圖像/視頻輸入輸出（支持文獻(xiàn)或攝像頭輸入，圖像/視頻文獻(xiàn)輸出）3.矩陣/向量數(shù)據(jù)操作及線性代數(shù)運(yùn)算（矩陣乘積、矩陣方程求解、特性值、奇異值分解）支持各種動(dòng)態(tài)數(shù)據(jù)構(gòu)造（鏈表、隊(duì)列、數(shù)據(jù)集、樹、圖）4.基本圖像解決（去噪、邊沿檢測(cè)、角點(diǎn)檢測(cè)、采樣與插值、色彩變換、形態(tài)學(xué)解決、直方圖、圖像金字塔構(gòu)造）5.構(gòu)造分析（連通域/分支、輪廓解決、距離轉(zhuǎn)換、圖像矩、模板匹配、霍夫變換、多項(xiàng)式逼近、曲線擬合、橢圓擬合、狄勞尼三角化）6.攝像頭定標(biāo)（尋找和跟蹤定標(biāo)模式、參數(shù)定標(biāo)、基本矩陣預(yù)計(jì)、單應(yīng)矩陣預(yù)計(jì)、立體視覺匹配）7.運(yùn)動(dòng)分析（光流、動(dòng)作分割、目的跟蹤）8.目的記別（特性辦法、HMM模型）HALCON軟件簡(jiǎn)介HALCON是一款來自德國(guó)慕尼黑世界頂級(jí)機(jī)器視覺編程環(huán)境，該軟件以面向問題為基本，涉及工業(yè)領(lǐng)域中光學(xué)工程、精密制造、包裝、半導(dǎo)體、印刷、機(jī)械等行業(yè)。使用它可以迅速構(gòu)建一種精確、穩(wěn)定、高效率視覺解決方案。該軟件具備強(qiáng)大函數(shù)庫，能導(dǎo)出C++、C、VB等語言，縮短了代碼編寫時(shí)間，為構(gòu)建獨(dú)立視覺系統(tǒng)提供了以便。運(yùn)用HALCON軟件構(gòu)建一種獨(dú)立視覺系統(tǒng)分為三個(gè)環(huán)節(jié)：該軟件最大特點(diǎn)是模范化和模塊化，所有算子都具備同一輸入輸出格式，下面是一種典型算子構(gòu)造：Operator(iconicinput:iconicoutput:controlinput:controloutput)HALCON語言數(shù)據(jù)有兩種：一種是控制參數(shù)，包括數(shù)字、數(shù)組，字符串等；另一種是圖形參數(shù)，包括圖像，區(qū)域和邊沿?cái)?shù)據(jù)等。從典型算子構(gòu)造可以看出，圖形參數(shù)一方面輸入?yún)?shù)，然后是控制參數(shù)，并且順序是輸入數(shù)據(jù)和輸出數(shù)據(jù)相間隔，也即是：Operator(輸入圖形參數(shù)：輸出圖形參數(shù)：輸入控制參數(shù)：輸出控制參數(shù)）。1.5.2圖像預(yù)解決圖像灰度化將RGB彩色圖像轉(zhuǎn)化為單通道圖像，灰度范疇為0-255，可以很大限度上提高運(yùn)算速度Image<gray,byte>cam_gray=cam.Convert<gray,byte>();Cam是攝像機(jī)采集彩色圖像直方圖均衡化對(duì)于工件和背景灰度相差不大狀況，可以通過直方圖均衡化增長(zhǎng)圖像對(duì)比度，使工件在背景中更突出cvEqualizeHist函數(shù)可以增大圖像灰度動(dòng)態(tài)范疇，從而增長(zhǎng)對(duì)比度圖像濾波消除噪聲信息對(duì)于環(huán)境中各種干擾，相機(jī)成像噪聲，可以通過預(yù)解決階段消除或者削弱噪聲影響，詳細(xì)可以使用各種濾波算子，如中值濾波，高斯平滑濾波，均值濾波，在OpenCV中均有相應(yīng)函數(shù)可以調(diào)用1.5.3圖像辨認(rèn)模式辨認(rèn)應(yīng)用與圖像信號(hào)解決領(lǐng)域就成為了圖像辨認(rèn)，它是一種運(yùn)用計(jì)算機(jī)對(duì)圖像進(jìn)行描述和分類技術(shù)，在機(jī)器視覺中具備廣泛應(yīng)用，涉及文字，條碼，車牌辨認(rèn)，目的分類等應(yīng)用場(chǎng)合，辨認(rèn)過程其實(shí)是一種分類過程，將滿足判斷條件對(duì)象歸為一類，而不滿足條件劃分為其她類，一方面對(duì)目的圖像進(jìn)行特性提取，然后將它和已知模式向量進(jìn)行比較，比較過程是函數(shù)計(jì)算過程，通過計(jì)算得到相似限度值，依照該值判斷目的與否與已知庫中目的相似，從而得到相應(yīng)辨認(rèn)或者不辨認(rèn)信號(hào)，依照分類原則選取不同，可以將辨認(rèn)辦法分為：基于概率記錄辦法辨認(rèn)，基于模版匹配辦法辨認(rèn)，基于多傳感器信息融合辦法辨認(rèn)等。普通，圖像辨認(rèn)有如下三步，如圖所示圖3圖像辨認(rèn)環(huán)節(jié)重要有三個(gè)任務(wù)：圖像分割、目的分類、圖像匹配圖像分割要將圖像分割為區(qū)域，就要有分割原則，這個(gè)原則就叫做閾值，獲取適當(dāng)閾值辦法諸多，普通可以分為手動(dòng)獲取和自動(dòng)獲取，當(dāng)進(jìn)行手動(dòng)獲取時(shí)，普通借鑒圖像灰度直方圖分布來協(xié)助選取，最簡(jiǎn)樸自動(dòng)全局閾值辦法是：一方面選取一種初始閾值預(yù)計(jì)值（然后運(yùn)用該閾值對(duì)圖像進(jìn)行初始分割得到G1和G2區(qū)域。對(duì)G1和G2區(qū)域中所有像素計(jì)算灰度平均值，計(jì)算得到新閾值為T=，運(yùn)用新閾值對(duì)圖像進(jìn)行重新分割，然后重復(fù)前面兩步，直至先后兩次T值之差不大于設(shè)定值時(shí)停止。然后運(yùn)用最后得到最佳閾值將區(qū)域分割為兩某些，從而得到二值圖像：對(duì)于本系統(tǒng)，由于拍攝到目的圖像和背景灰度差別較大，可以直接擬定閾值范疇，此辦法進(jìn)行分割成果如圖所示，從圖中可以看出，目的區(qū)域和背景區(qū)域分割較好，但是有許多非目的區(qū)域也被劃分為一類（重要是傳送帶邊沿），因此還需要后續(xù)區(qū)域標(biāo)記辦法，運(yùn)用區(qū)域連通性將這些目的區(qū)域和非目的區(qū)域給分開來區(qū)域聯(lián)通標(biāo)記是建立在像素點(diǎn)鄰接性基本之上，鄰接性是一種相似性度量辦法，慣用類型有4-鄰接、8-鄰接、和對(duì)角鄰接XXPXX4-鄰接XXXXPXXXX8-鄰接XXPXX對(duì)角鄰接提取連通成分過程事實(shí)上也是標(biāo)記連通成分過程，普通做法是給圖像中每個(gè)連通區(qū)域分派一種唯一編號(hào)，這樣圖像成為標(biāo)注圖像。得到各個(gè)編號(hào)區(qū)域，就能計(jì)算區(qū)域面積，中重心，圓度，外接/內(nèi)切圓半徑等特性參數(shù)，以供所需區(qū)域選取，本例采用面積特性進(jìn)行選取，得到目的模版圖像目的分類目的分類是對(duì)得到不同目的進(jìn)行區(qū)別并將其歸為某一已知類過程。對(duì)于圖像目的來說普通運(yùn)用圖像特性來對(duì)目的進(jìn)行描述，然后再對(duì)其分類，目的分類是目的記別過程中重要環(huán)節(jié)當(dāng)前已經(jīng)廣泛應(yīng)用于圖像分割，目的記別，變化檢測(cè)，字符辨認(rèn)等場(chǎng)合。依照待分類目的外形，可將分類任務(wù)分為兩類。第一類是針對(duì)搜索目的外形固定，并且不同類型目的特性區(qū)域明顯，這種狀況可以采用模版匹配辦法對(duì)其進(jìn)行分類，第二類是針對(duì)目的外形不是特別明顯，人工無法選取出適當(dāng)分類辦法對(duì)其進(jìn)行分類，這種狀況下就需要運(yùn)用已知類型信息目的圖像對(duì)分類器進(jìn)行訓(xùn)練，讓分類器對(duì)后續(xù)圖像進(jìn)行分類。慣用分類器有三種，分別是基于多層感知分類器MLP，基于支持向量機(jī)分類器SVM，基于高斯混合模型分類器GMM，本文采用MLP分類器，詳細(xì)環(huán)節(jié)為：圖X目的分類普通環(huán)節(jié)一方面創(chuàng)立某一類型分類器，然后對(duì)始終目的進(jìn)行分析，得到描述該類型目的特性向量，然后運(yùn)用特性向量對(duì)分類器進(jìn)行訓(xùn)練，得到鑒別函數(shù)，這時(shí)分類器就獲得了分類原則，然后對(duì)后續(xù)未知目的進(jìn)行分類，同樣也需要對(duì)目的進(jìn)行特性提獲得到特性向量，然后運(yùn)用分類器對(duì)向量進(jìn)行計(jì)算，得到分類成果。這里使用是OpenCV或者Halcon中提供分類器3圖像匹配用創(chuàng)立模版圖像辦法可以用于檢測(cè)圖像來擬定目的位置，但是通過圖像分割辦法來得到一種穩(wěn)定目的記別系統(tǒng)是非常困難。例如背景發(fā)生拜年話，目的被某些遮擋，目的與攝像機(jī)間距離變化，各種目的浮現(xiàn)等都導(dǎo)致分割困難，而圖像匹配可以解決這些問題。圖像匹配是指運(yùn)用已知目的模式，對(duì)不同步刻或視角下拍攝兩幅圖像間尋找相似或相近目的模式，使盼望目的建立起相應(yīng)關(guān)系過程，圖像匹配算法按照特性選取層次不同分為兩大類，基于灰度值有關(guān)匹配是運(yùn)用圖像直接灰度值特性，其計(jì)算過程為：移動(dòng)模版至待匹配圖像各個(gè)位置，計(jì)算每個(gè)位置時(shí)模版自身與所覆蓋區(qū)域相似性計(jì)算值，將得到一系列計(jì)算值進(jìn)行比較，極值處便是目的所在位置。這種辦法計(jì)算量大，達(dá)不到實(shí)時(shí)性規(guī)定，并且不能適應(yīng)光照條件變化、尺度變化，遮擋等狀況，為理解決實(shí)時(shí)性規(guī)定，采用基于圖像特性匹配辦法，這種匹配辦法有較好魯棒性，基于特性匹配是指，對(duì)模版圖像和匹配圖像分別進(jìn)行特性提取，用相似性度量函數(shù)計(jì)算相應(yīng)特性之間相似限度匹配辦法，特性選取有諸多，普通來說灰度變化大地方是信息量最豐富地方，例如，角點(diǎn)，輪廓，邊沿，直線，紋理等。本文采用是基于形狀匹配辦法，該辦法是各種技術(shù)綜合，既用到了金字塔匹配模型，也用到了圖像輪廓特性，該辦法普通流程如圖，匹配后得到目的在圖像中位置坐標(biāo)如下表：序號(hào)目的個(gè)數(shù)坐標(biāo)角度精確度11（289.042，311.058）-0.0005298.36521（145.325，178.698）6.3254199.452...........................圖X.基于形狀匹配環(huán)節(jié)目的跟蹤目的跟蹤是一種對(duì)運(yùn)動(dòng)目的或者運(yùn)動(dòng)相機(jī)采集到圖像序列進(jìn)行持續(xù)擬定目的位置過程，目的定位是目的跟蹤基本，通過跟蹤可以得到目的運(yùn)動(dòng)軌跡從而可以對(duì)將來目的浮現(xiàn)位置進(jìn)行預(yù)測(cè)，通過軌跡可以得到目的速度和加速度，從而可覺得運(yùn)動(dòng)學(xué)研究提供一種測(cè)量手段。此外，通過目的跟蹤可以對(duì)預(yù)先設(shè)定好浮現(xiàn)范疇和形狀目的進(jìn)行監(jiān)視，如果其浮現(xiàn)范疇或者形狀發(fā)生變化時(shí)，便發(fā)出相應(yīng)報(bào)警信號(hào)。目的跟蹤可以分為兩大辦法：第一類是基于邊沿特性辦法;第二類是基于目的內(nèi)部投影點(diǎn)信息辦法，如光流法，模版匹配法。本位采用第二類中模版匹配辦法，由于匹配計(jì)算量較大，可采用如下途徑減少運(yùn)算量：一方面計(jì)算第一副圖像中目的位姿，由于目的運(yùn)動(dòng)持續(xù)性，對(duì)得到位姿進(jìn)行限制，定義一種跟蹤范疇圓（下一種目的也許浮現(xiàn)區(qū)域），然后在指定范疇內(nèi)對(duì)后續(xù)圖像進(jìn)行目的匹配。由于本文采用傳送帶運(yùn)動(dòng)狀態(tài)為勻速直線運(yùn)動(dòng)，因而只要計(jì)算出目的速度和位置便能寫出軌跡方程來。定義參照坐標(biāo)系：在傳送帶上定義參照坐標(biāo)系目，是為了將目的位姿與機(jī)器人基坐標(biāo)系聯(lián)系起來。參照坐標(biāo)系X軸與傳送帶中線重疊，方向指向目的運(yùn)動(dòng)方向，y軸指向機(jī)器人一側(cè)，Z軸垂直于傳送帶平面向上。左側(cè)方框區(qū)域代表相機(jī)視野范疇，右側(cè)外圓區(qū)域?yàn)闄C(jī)器人工作空間范疇，內(nèi)圓區(qū)域代表機(jī)器人工作空間與傳送帶在平面相交區(qū)域。工件從左側(cè)進(jìn)入，在計(jì)時(shí)起點(diǎn)處開始計(jì)時(shí)。相機(jī)對(duì)通過計(jì)時(shí)起點(diǎn)目的進(jìn)行持續(xù)拍照，估算出目的重心在參照坐標(biāo)系中坐標(biāo)和速度。在進(jìn)行實(shí)驗(yàn)之前通過離線測(cè)量辦法，得到參照坐標(biāo)系與機(jī)器人基座之間相對(duì)位姿，同樣可以計(jì)算出參照坐標(biāo)系在攝像機(jī)坐標(biāo)系下位姿由離線測(cè)量得到位姿關(guān)系和，可以計(jì)算出機(jī)器人基座于攝像機(jī)之間位姿矩陣。然后通過目的定位得到目的位姿，再計(jì)算出目的重心相對(duì)于參照坐標(biāo)系位姿，由可以得到目的重心坐標(biāo)（），過重心點(diǎn)做一條平行于參照坐標(biāo)系x軸直線，與機(jī)器人工作空間區(qū)域相交與兩點(diǎn)：，。這兩點(diǎn)便是目的進(jìn)出工作空間坐標(biāo)點(diǎn)。由這兩點(diǎn)結(jié)合運(yùn)動(dòng)速度就可以計(jì)算出目的何時(shí)進(jìn)入和離開機(jī)器人工作空間范疇，在這個(gè)時(shí)間段中選取任一時(shí)刻即可對(duì)目的進(jìn)行抓取。目的速度V計(jì)算，可以在攝像機(jī)視野內(nèi)，取間隔10張兩幅圖像，計(jì)算目的中心在運(yùn)動(dòng)方向位移，除以拍攝這10張圖像所經(jīng)歷時(shí)間，即可得到目的速度。1.5.6IRB120型機(jī)器人控制工業(yè)機(jī)器人控制辦法分類：分類根據(jù)類型特點(diǎn)依照控制量所處空間關(guān)節(jié)空間運(yùn)動(dòng)規(guī)劃和控制對(duì)象為各個(gè)關(guān)節(jié)角，是其她控制辦法基本笛卡爾空間在關(guān)節(jié)空間控制基本上實(shí)現(xiàn)通過給定途徑上各點(diǎn)出位姿，來保證運(yùn)動(dòng)擬定性依照控制量位置以末端執(zhí)行器位置為被控對(duì)象，在三維空間或者關(guān)節(jié)空間對(duì)機(jī)器人進(jìn)行控制速度使任務(wù)動(dòng)作以指定速度進(jìn)行，例如目的跟蹤過程加速度考慮到機(jī)器人慣性負(fù)載，對(duì)加速段和減速段之間過度進(jìn)行規(guī)劃，使之運(yùn)營(yíng)平穩(wěn)力（力矩）考慮到目的抓取時(shí)握緊力或者使用工具時(shí)力矩等因素依照控制算法PID控制由比例、積分和微分單元構(gòu)成，理論成熟自適應(yīng)控制系統(tǒng)舒服發(fā)生變化或者收到干擾時(shí)，系統(tǒng)通過變化自身參數(shù)來自我調(diào)節(jié)，使輸出仍滿足性能規(guī)定神經(jīng)網(wǎng)絡(luò)控制屬于黑箱控制，具備較好學(xué)習(xí)能力本研究所完畢內(nèi)容屬于較為簡(jiǎn)樸抓取任務(wù)，因此使用位置控制辦法就能滿足規(guī)定機(jī)器人抓取運(yùn)動(dòng)規(guī)劃?rùn)C(jī)器人抓取運(yùn)動(dòng)規(guī)劃涉及途徑規(guī)劃和手部抓取方式規(guī)劃。途徑規(guī)劃是研究按照何種途徑，將機(jī)器人手部坐標(biāo)系原點(diǎn)與目的抓取坐標(biāo)系原點(diǎn)重疊問題；抓去店規(guī)劃是針對(duì)不同形狀物體，如何選取適當(dāng)夾持點(diǎn)位置問題途徑