機器視覺技術(shù)與應(yīng)用實戰(zhàn)-金屬工件單目3D定位引導(dǎo)案例

機器人3D視覺引導(dǎo)金屬工件單目3D定位引導(dǎo)案例

機器人3D視覺引導(dǎo)，是通過處理點云數(shù)據(jù)，對工件進行定位，同時確定其位置（x、y、z、a）信息，引導(dǎo)機器人進行工作，實現(xiàn)了工業(yè)機器人自動化產(chǎn)線的真正柔性工裝。應(yīng)用場景主要有，散亂工件或者無序來料的定位抓取、堆疊產(chǎn)品的立體識別定位、3D定位碼垛等。行業(yè)背景案例背景

為了解決客戶對產(chǎn)品無需抓取的需求以及對不同精度和工作距離的需求，通過識別算法、高端精度自動化標定、抓取規(guī)劃、軌跡規(guī)劃，實現(xiàn)單目/雙目/激光線掃/TOF等多場景應(yīng)用。五金產(chǎn)品來料量大且來料不規(guī)范，多數(shù)是一整箱一整箱的產(chǎn)品無序堆疊在一起，在生產(chǎn)的過程中，必須要有人工進行物料的投放，這就造成了成本的增加。如果是規(guī)則堆放的物料，可以通過對一個機械手的路徑進行示教后進行產(chǎn)品投放；如果產(chǎn)品是不規(guī)則的樣品，這需要通過3D定位的方式去引導(dǎo)機械手進行產(chǎn)品投放。單目3D引導(dǎo)指用單個相機加上視覺算法來實現(xiàn)3D機械手的定位糾偏。視覺定位需求：（1）檢測內(nèi)容：定位視野范圍內(nèi)的所有刀片位置坐標（2）料框大?。?00mm*80mm產(chǎn)品大?。?0mm*30mm）（3）安裝高度：≥250mm（4）精度要求：≤2mm（5）檢測速度：1pcs/s（6）通訊方式：TCP/IP網(wǎng)絡(luò)通訊技術(shù)優(yōu)勢：（1）替代人工測量高度差，避免其耗時長的缺點；視覺自動定位，耗時短、誤判率低；（2）替代人工移動機械手實時查看高度位置校準精度差。金屬工件單目3D定位引導(dǎo)案例硬件選型與安裝

通過項目的檢測需求和目前所有的產(chǎn)品檢測參數(shù)進行匹配，選擇的硬件參數(shù)能滿足項目技術(shù)要求和成本最低的配套方案，3D傳感器參數(shù)明細如表10.2所示。視覺器件的選擇，主要看客戶的視覺檢測要求，特別是檢測精度。3D傳感器參數(shù)明細表產(chǎn)品型號VD300-10VD300-20VD300-30VD300-40相機分辨率1280128012801280Z方向重復(fù)精度（um)0.20.40.81.2X方向分辨率(mm)0.0095~0.0120.02-0.0230.043~0.0630.095~0.160安裝凈距離(mm)204080303測量范圍Z(mm)14.53080282FOV_X(mm)12~1525~2955~80120~200外殼尺寸（mm)201x68x163235x68x137235x68x137325x68x135掃描速度(mm/s)10~100激光種類2M界面USB3.0輸入微分編碼器,激光安全啟用，觸發(fā)輸出兩路輸出，RS-485串口輸入電壓DC+24V工作溫度0~50攝氏度儲存溫度-30~70攝氏度軟件配置獨立GUI和SDK和實時可視化金屬工件單目3D定位引導(dǎo)案例硬件選型與安裝

（1）視覺控制器的選擇：視覺控制器選擇VDCPT-2,參數(shù)如第9章節(jié)表9.1所示。

（2）傳感器的選擇：因為客戶對成本要求較低，精度較低，所以選擇用單相機來實現(xiàn)產(chǎn)品的無序分揀功能。視覺理論精度為2mm/5=0.4mm/pix，相機分辨率最少要大于100mm/0.4mm/pix=250pix，并且視野范圍必須要比產(chǎn)品范圍要大，單目相機還存在Z方向的畸變；所以我們選擇500萬像素相機，分辨率為2592*1944pix，視野范圍為：100mm*80mm，可以滿足客戶檢測要求。

（3）鏡頭的選擇：視場長度/芯片長度=工作距離/焦距來平衡計算，可以選擇16mm焦距的鏡頭，滿足視野范圍和客戶安裝高度的要求。

（4）光源的選擇：通過實際樣品的打光測試后，背光源打光測試的效果穩(wěn)定性最好，所以選擇背光源。金屬工件單目3D定位引導(dǎo)案例硬件選型與安裝（5）安裝示意圖本項目案例的安裝高度如下圖。相機與光源的安裝圖金屬工件單目3D定位引導(dǎo)案例軟件應(yīng)用（1）運行界面介紹初始打開VDRobotGuide(針對3D機械手引導(dǎo)而開發(fā)的專用軟件)軟件界面顯示如圖10.34所示：手動模式：用于模式切換，鼠標單擊切換到自動模式。與機器人自動運行需切換到自動模式。坐標：顯示定位到的坐標值X、Y、Z、A、B、C，未定位到顯示定位失敗。實時顯示：勾選表示相機實時取圖。更新圖像：在不勾選實時顯示時，手動點擊更新圖像可以刷新圖像。定位：用于手動測試。添加圖像：用于手動添加以前保存的圖片（必須去除實時顯示勾選）。軟件初始界面圖金屬工件單目3D定位引導(dǎo)案例軟件應(yīng)用（2）相機標定標定前準備：準備一個標定板并保持平整，使標定板的高度與定位物體高度一致。機器人操作：機器人工具選擇世界坐標系，移動到拍照位（LR3），把標定板移至視野范圍的中間位置,再移動LR寄存器保存的點位dm1(LR20)位置。點擊相機標定進入左圖所示界面，點擊添加后再點擊取點。進入標定參數(shù)界面查看是否獲取坐標信息成功，右圖表示不成功。相機標定設(shè)置圖標定參數(shù)界面設(shè)置圖金屬工件單目3D定位引導(dǎo)案例軟件應(yīng)用進入圖像質(zhì)量檢測界面，通過調(diào)節(jié)標定板提取設(shè)定參數(shù)來使標定OK。打開未找到標定板界面顯示如左圖所示?？赏ㄟ^修改參數(shù)或者微移動機器人來找到標定板，找到界面顯示如右圖所示。濾波器尺寸：一般設(shè)置成3或5.圖像質(zhì)量檢測界面設(shè)置圖定位正常顯示效果圖金屬工件單目3D定位引導(dǎo)案例軟件應(yīng)用MarkThresh:Mark點閾值。一般設(shè)置成112，可以適當(dāng)?shù)臏p小。MinMarkDiam:最小Mark點直徑,默認5，可以適當(dāng)減小為3。InitThresh:初始化閾值。MinThresh:最小閾值。Smoothing*100:平滑度，可以適當(dāng)減小到80。MinCentLength:最小連續(xù)長度。MaxMarkDiam：最大Mark點直徑。標定獲取位置正確顯示如上圖10.39所示：機器人LR寄存器中保存了十四個點位為dm1-dm14，移動一個機器人點位，重復(fù)步驟3所示，分別獲取完十四個點位信息并保持OK后，顯示如下圖所示。標定獲取正確效果圖機器人點位保存設(shè)置圖金屬工件單目3D定位引導(dǎo)案例軟件應(yīng)用選中image0行點擊設(shè)置映射如左圖，再點擊標定完成標定，可以看到標定結(jié)果如右圖。位置映射設(shè)置圖標定結(jié)果設(shè)置圖金屬工件單目3D定位引導(dǎo)案例軟件應(yīng)用點擊手眼標定界面中的標定如下圖所示，可以通過標定結(jié)果的質(zhì)量中的最大值來判斷標定是否OK，一般越小越好，圖中0.001。手眼標定詳細參數(shù)設(shè)置圖金屬工件單目3D定位引導(dǎo)案例軟件應(yīng)用（3）定位工具點擊定位工具如左圖所示，進入定位工具界面，去除工件下面的螺絲，點擊添加點擊保存，保存一張圖片做模板，再點擊定位進入創(chuàng)建模板界面。加載剛保存的圖片，點擊清除模板，點擊矩形1選中工件生成模板輪廓如右圖所示。標定結(jié)果設(shè)置圖模板添加設(shè)置圖金屬工件單目3D定位引導(dǎo)案例軟件應(yīng)用（3）定位工具點擊圓形，選中（-），來刪除中心多余的輪廓，再點擊保存模板如左圖所示。移動中間的矩形框到中心位置，如右圖所示。模板保存設(shè)置圖模板中心位置設(shè)置圖金屬工件單目3D定位引導(dǎo)案例軟件應(yīng)用（3）定位工具進入匹配界面點擊模板查找，查看是否定位到，如果NG需重新做模板，OK則點擊保存參數(shù)完成模板的創(chuàng)建如左圖所示。手動測試：模板創(chuàng)建完成后點擊運行界面的定位，可以手動測試定位結(jié)果如右圖所示。模板定位結(jié)果判斷確認圖手動測試確認金屬工件單目3D定位引導(dǎo)案例（4）數(shù)據(jù)結(jié)果通訊協(xié)議設(shè)定此功能是根據(jù)工位和通訊方式設(shè)定協(xié)議。設(shè)置界面如圖所示：工位選擇：選擇在工位配置里已配置完成的工位。設(shè)備名稱：選擇在通訊配置里已配置完成的通訊。寄存器地址：華數(shù)機器人必須要有寄存器地址，如IR3，以“IR”開頭。其它機器人品牌的寄存器地址不做要求。觸發(fā)命令：任意給一個觸發(fā)信號當(dāng)做觸發(fā)命令，把命令傳遞給機器人，已讓機器人開始執(zhí)行程序。通訊協(xié)議設(shè)置圖金屬工件單目3D定位引導(dǎo)案例（4）數(shù)據(jù)結(jié)果當(dāng)工位選擇，設(shè)備名稱，寄存器地址，觸發(fā)命令配置完成后，點擊確定輸入，左側(cè)的輸入配置則顯示對應(yīng)輸入的信息：輸出配置：根據(jù)輸入的配置和完成視覺工具以后，按照需要輸出即可，可任意在輸出結(jié)果中添加所輸出的信息，通常的結(jié)果顯示有X1,Y1,R1,Name01,Count01值。X1表示圖像X坐標，Y1表示圖像Y坐標，R1表示圖像中心點坐標，Name01表示工位名稱，Count01表示輸出數(shù)量。選中輸出結(jié)果名稱，點擊“添加結(jié)果”，右側(cè)輸出配置就會顯示所添加的信息。詳情如下圖所示：通訊參數(shù)設(shè)置與結(jié)果輸出金屬工件單目3D定位引導(dǎo)案例3D單目定位引導(dǎo)項目應(yīng)用視頻3D雙目定位引導(dǎo)項目應(yīng)用視頻了解其他案例請掃碼金屬工件單目3D定位引導(dǎo)案例

本章小結(jié)

本章第一節(jié)主要介紹了機械手視覺引導(dǎo)的理論基礎(chǔ)，深入的講解了2D視覺與機械手的坐標變換，3D視覺與機械手的坐標變換。第二節(jié)與第三節(jié)分別分享了五金刀片的機械手引導(dǎo)案例與金