機器視覺技術(shù)及應(yīng)用 課件 第八章 機器視覺引導(dǎo)

機器視覺引導(dǎo)第八章第八章機器視覺引導(dǎo)機器視覺引導(dǎo)定位8.1項目任務(wù)一：移動抓取8.2項目任務(wù)二：移動抓取固定裝配8.3第八章

機器視覺引導(dǎo)機器視覺引導(dǎo)定位018.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的形式1.固定相機模式（eye-to-hand）相機安裝在設(shè)備機架上，不隨機器人（手）的運動而運動。相機對傳送過來的來料進行拍攝和粗定位，將定位信息傳輸給機器人（手），以便機器人（手）根據(jù)定位信息抓取來料，確保抓取的穩(wěn)定性。相機的視野范圍包括了機器人（手）和工作區(qū)域。在這種模式下，機器人的手是移動的，而相機保持固定不動。通過使用固定相機模式，相機可以提供對整個工作區(qū)域的全局視野，用于感知和定位機器人（手）以及目標物體的位置和姿態(tài)。相機采集到的圖像數(shù)據(jù)可以通過機器視覺算法進行處理和分析，以實現(xiàn)目標物體的定位、路徑規(guī)劃和運動控制等操作。這種模式常用于需要對大型工作區(qū)域進行定位引導(dǎo)的場景，例如物料搬運、裝配和包裝等。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的形式2.移動相機模式（eye-in-hand）也稱固定物體模式，即相機安裝于機械手頂端隨機械手一同運動。相機被安裝在機器人（手）的末端，相機的視野范圍主要集中在機器人（手）的工作區(qū)域內(nèi)。在這種模式下，機器人（手）是移動的，而相機隨著機器人（手）的運動而變換位置和姿態(tài)。相機的安裝位置接近于目標物體，使得相機能夠提供更加細節(jié)和精確的圖像信息，用于實時感知和定位目標物體。機器人（手）的運動可以根據(jù)相機采集到的圖像數(shù)據(jù)進行調(diào)整和控制，以實現(xiàn)精確的定位和抓取操作。這種模式常用于需要進行精細操作和高精度定位的場景，例如裝配、精密加工和微操作等。固定相機模式和移動相機模式在功能上都可實現(xiàn)定位抓取與引導(dǎo)放置。兩者在保證功能的同時，能夠提供更多的安裝可能性以應(yīng)對不同的環(huán)境與硬件條件限制。針對不同的設(shè)備安裝場景，為提升硬件安裝的適應(yīng)性，固定相機模式與移動相機模式也可結(jié)合使用。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要實訓(xùn)項目機器視覺實訓(xùn)平臺以鋰電池為產(chǎn)品載體，根據(jù)桌面流水搬運線是否參與，上料單元上引導(dǎo)抓取，以及裝配單元上裝配方式的不同來區(qū)分，實訓(xùn)平臺可模擬工業(yè)現(xiàn)場上的8種引導(dǎo)定位應(yīng)用場景。

抓取傳送放置上料單元流水線搬運單元裝配單元固定相機引導(dǎo)抓取引導(dǎo)抓取引導(dǎo)裝配無引導(dǎo)移動相機引導(dǎo)抓取無引導(dǎo)裝配無引導(dǎo)可以將1臺工業(yè)彩色相機安裝在吸嘴上端，作為移動相機；或者將相機安裝在上料單元上端，作為固定相機。另外兩臺工業(yè)彩色相機可以分別安裝在皮帶流水線上端、裝配單元上端，作為固定端相機。三臺相機的安裝方式可以根據(jù)實訓(xùn)場景不同進行調(diào)整。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要實訓(xùn)項目1.固定抓在上料單元上，由固定相機拍照，引導(dǎo)機械手抓取。在裝配單元上，無相機拍照引導(dǎo)，機械手按既定位置自主裝配。2.移動抓在上料單元上，由機械手上的移動相機拍照，引導(dǎo)機械手抓取。在裝配單元上，無相機拍照引導(dǎo)，機械手按既定位置自主裝配。3.固定抓固定裝4.固定抓移動裝5.移動抓固定裝在上料單元上，由機械手上的移動相機拍照，引導(dǎo)機械手抓取。在裝配單元上，固定相機拍照，引導(dǎo)機械手裝配。6.固定抓皮帶抓移動裝7.移動抓皮帶抓固定裝8.移動抓移動裝8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具對于相機引導(dǎo)機械手抓取產(chǎn)品，其標定步驟一般為：(1)棋盤格標定。用棋盤格標定板給相機做非線性標定；(2)N點標定。通常做9點標定。標定片不動，機器手帶動相機移動九個位置拍照，提取九點位置；或者機器手吸取標定片移動放置到9個位置，相機在固定拍照位拍照，但需要保證取放過程中標定片姿態(tài)不變動；(3)標定旋轉(zhuǎn)中心。通常做2點旋轉(zhuǎn)。機器手吸取標定片時，通過2點旋轉(zhuǎn)，即已知圓弧上2點坐標和兩點到圓心的夾角，可求出圓心坐標。結(jié)合機器人的旋轉(zhuǎn)中心，可計算工件實際發(fā)生的偏移量和旋轉(zhuǎn)，把補償量發(fā)送給機器人（手）。手眼標定工具手眼標定方法1）軟件用戶與運動機構(gòu)工程師約定動作與指令流程；2）軟件層面，完成對待標定相機、標定模式、特征類型等參數(shù)的配置；3）運動機構(gòu)（吸嘴/夾爪）帶動標定特征（標定板/實物），按約定流程進行運動（位移、旋轉(zhuǎn)），并發(fā)送指令給軟件；4）每次運動到約定點位，相機同步進行取像，對當前位置圖像進行特征抓取，獲取特征點圖像坐標；5）軟件結(jié)合每次運動收到的指令（機構(gòu)物理坐標）與計算得到的圖像坐標，通過計算，最終取得由圖像到現(xiàn)實的坐標空間映射關(guān)系，完成標定。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具手眼標定可分為手動模式與自動模式。通常在項目前期的調(diào)試階段，當硬件設(shè)備或通訊不滿足自動標定的條件時，用戶可使用“手動模式”開展標定。視覺軟件方面主要做的工作包括設(shè)置業(yè)務(wù)模式，配置工具輸入，配置標定校準等視覺參數(shù)，手動執(zhí)行程序，然后PLC等運動機構(gòu)方面移動到適當位置并提供物理坐標，最后視覺軟件根據(jù)圖像坐標和機械手物理坐標，計算標定，形成標定文件。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具自動模式。在外部條件滿足的情況下，推薦用戶直接采用“自動標定”的模式。一個典型的自動標定流程可參考圖。也即視覺軟件和PLC等運動結(jié)構(gòu)方面約定好標定指令，根據(jù)約定，視覺軟件和PLC運動機構(gòu)自動配合，完成標定。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具2.“手眼標定”工具在V+程序設(shè)計界面中，“引導(dǎo)”組中，有“手眼標定”工具。手眼標定工具手眼標定工具包含五個配置頁面和一個結(jié)果頁面：標定配置圖像指令校準執(zhí)行結(jié)果在V+程序設(shè)計界面中，“引導(dǎo)”模塊組中，包含“手眼標定”工具。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具2.“手眼標定”工具手眼標定工具包含五個配置頁面：標定配置、圖像、指令、校準、執(zhí)行、結(jié)果。（1）標定配置標定配置頁面的主要功能為配置標定指令的輸入、設(shè)定標定場景類型。用戶完成本頁面的配置后，工具將按配置情況動態(tài)生成后續(xù)頁面。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具2.“手眼標定”工具（2）圖像頁面圖像頁面主要功能為配置輸入圖像，以及確定主機位的安裝方式、標定移動步數(shù)。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具2.“手眼標定”工具（3）指令頁面指令頁面如圖所示，主要展示標定運行所需的指令內(nèi)容。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具2.“手眼標定”工具（3）指令頁面參考指令中“[]”部分的內(nèi)容，需要用戶按實際情況給定。如[N]代表當前標定流程的序號，[C]代表對應(yīng)的機位號，[P]代表標定運動的點位序號，而[X][Y][R]則代表運動機構(gòu)在拍照位的坐標數(shù)據(jù)。而不帶“[]”部分的內(nèi)容，則屬于固定指令字符。V+軟件和運動結(jié)構(gòu)（PLC）經(jīng)過約定，設(shè)置PLC和V+的標定指令。PLC標定控制指令格式主要為：指令頭+第幾個標定程序+固定指令+相機號+點位號+XYR。1）固定指令。主要有：1）SC--標定開始；2）HBF--從相機棋盤格標定；3）HBM--(主相機)棋盤格標定；4）HNM--主相機多點標定(固定)；5）HNME--主相機多點標定結(jié)束；6）EC--標定結(jié)束。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具2）示例指令。對于“移動抓+皮帶抓+固定裝”場景，三個相機機位聯(lián)合標定的完整指令如下所示。1）標定流程開始 Calib,[N],SC,0,0,0,0,02）從機位2棋盤格標定 Calib,[N],HBF,2,0,[X],[Y],[R]3）從機位3棋盤格標定 Calib,[N],HBF,3,0,[X],[Y],[R]4）主機位棋盤格標定 Calib,[N],HBM,1,0,[X],[Y],[R]5）主機位(平移1) Calib,[N],HNM,1,1,[X],[Y],[R]6）主機位(平移2) Calib,[N],HNM,1,2,[X],[Y],[R]7）主機位(平移3) Calib,[N],HNM,1,3,[X],[Y],[R]8）主機位(平移4) Calib,[N],HNM,1,4,[X],[Y],[R]9）主機位(平移5) Calib,[N],HNM,1,5,[X],[Y],[R]10）主機位(平移6) Calib,[N],HNM,1,6,[X],[Y],[R]8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具2）示例指令。對于“移動抓+皮帶抓+固定裝”場景，三個相機機位聯(lián)合標定的完整指令如下所示。11）主機位(平移7) Calib,[N],HNM,1,7,[X],[Y],[R]12）主機位(平移8) Calib,[N],HNM,1,8,[X],[Y],[R]13）主機位(平移9) Calib,[N],HNM,1,9,[X],[Y],[R]14）主機位(旋轉(zhuǎn)1) Calib,[N],HNM,1,10,[X],[Y],[R]15）主機位(旋轉(zhuǎn)2) Calib,[N],HNM,1,11,[X],[Y],[R]16）主機位多點標定結(jié)束 Calib,[N],HNME,1,0,0,0,017）標定流程結(jié)束 Calib,[N],EC,0,0,0,0,0N:當前標定業(yè)務(wù)的序號(若存在多組標定時作為唯一性標志)，通常取1。XYR:拍照時運動機構(gòu)的實際坐標,示例:200.2,8.8,30.5手眼標定工具指令分析：V+軟件和運動結(jié)構(gòu)（PLC）經(jīng)過約定，設(shè)置PLC和V+的標定指令：PLC標定控制指令格式主要為：指令頭+第幾個標定程序+固定指令+相機號+點位號+XYR。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具2.“手眼標定”工具（4）校準頁面校準頁面不是常規(guī)頁面。僅當用戶在“標定配置”頁面-特征樣式中選擇“棋盤格”選項，或在單相機模式選擇“實物”選項并啟用“畸變校準”時，才出現(xiàn)此頁面。此頁面主要用于配置棋盤格（標定片）特征的算法參數(shù)，包括校準模式、特征符號、基準符號及塊尺寸設(shè)定。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具2.“手眼標定”工具（5）執(zhí)行頁面執(zhí)行頁面主要展示標定執(zhí)行過程中的結(jié)果圖像及視覺計算數(shù)據(jù)，其中視覺計算數(shù)據(jù)為運動機構(gòu)在各拍照位的坐標數(shù)據(jù)與圖像經(jīng)視覺算法處理后得到的特征點坐標。此頁面支持用戶按需切換手動/自動標定模式。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具2.“手眼標定”工具（6）結(jié)果頁面結(jié)果頁面主要展示標定結(jié)果的各項數(shù)據(jù)、可供用戶參考的標定評價，以及主、從機位經(jīng)過標定最終產(chǎn)生的標定文件（ToolBlock）。標定文件被視覺軟件放置在程序文件夾下的“/Config/Guide/Calibratoin”文件夾下。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具2.“手眼標定”工具（6）結(jié)果頁面點擊“高級配置”，彈出如圖所示的ToolBlock視覺工具塊，視覺工具塊主要有CogCalibCheckboardTool，CogCalibNPointToNPointTool工具?？梢源蜷_CogCalibNPointToNPointTool工具，查看9個平移點的校準情況。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具3.“標準位示教”工具“標準位示教”工具是一種用于識別和定位工件的V+視覺工具。通過“標準位示教”工具，可以對工件進行視覺檢測、辨識和定位。此工具記錄特征點的圖像上的坐標與空間上的坐標以及特征角度。機器手將工件移動到相機拍照位置，并通過相機拍攝工件的圖像。在圖像中，機器手會標記并記錄工件上的特征點，這些特征點可能是關(guān)鍵的位置、輪廓或其他能夠用于定位和檢測的特征?！皹藴饰皇窘獭惫ぞ咧饕獙崿F(xiàn)引導(dǎo)抓取、補正等場景的示教功能，即通過對示教產(chǎn)品進行特征定位，建立標準位置的特征模板。工具配置共分為3步：8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具3.“標準位示教”工具（1）輸入設(shè)置用戶在此頁面需要配置輸入的信號數(shù)據(jù)與圖像。其中信號數(shù)據(jù)配置標準位示教指令的數(shù)據(jù)源；支持鏈接工具外部數(shù)據(jù)或手動輸入字符串。數(shù)據(jù)格式為“Train,[N],TTN,C,0,[X],[Y],[A]”（“[]”部分內(nèi)容為需要外部按實際情況傳入的數(shù)據(jù)），“[X],[Y],[A]”分別代表把產(chǎn)品放置到示教位置時運動機構(gòu)的坐標；而“輸入圖像”，具體是指把產(chǎn)品放置在示教位置后，相機在固定拍照位取到的圖像。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具3.“標準位示教”工具（2）“標定設(shè)置”界面。點擊“下一步”，進入“標定設(shè)置”界面。8.1機器視覺引導(dǎo)定位?視覺引導(dǎo)定位的主要視覺工具3.“標準位示教”工具（3）特征抓取點擊下一步，進入“特征抓取”界面。工具成功運行后，將輸出示教產(chǎn)品在標準位置的特征點圖像坐標。標準位示教工具特征抓?。鹤ト′囯姵氐奶卣髦担簿褪菍蔷€的交點，也即中心點（AC-BD）的X/Y值，和邊線AB的姿態(tài)，即R值。將成功運行的視覺工具塊（ToolBlock）可以導(dǎo)出為vpp文件，為后續(xù)引導(dǎo)抓取抓取的時候?qū)胧褂?。第八?/p>

機器視覺引導(dǎo)項目任務(wù)一：移動抓取028.2項目任務(wù)一：移動抓取任務(wù)要求：對于移動相機拍照引導(dǎo)抓取，即場景2，該項目模擬了一種自動化生產(chǎn)線上引導(dǎo)抓取和自主裝配的過程。在上料單元九宮格內(nèi)任意放置若干3種不同類型的鋰電池，機械手在上料區(qū)依照規(guī)定順序走九宮格。在每一處駐留時，移動相機拍照，經(jīng)過視覺處理區(qū)分料號，引導(dǎo)移動模組抓取工件，在裝配單元上放置好工件。然后，機械手回到上料單元的下一處九宮格位。循環(huán)往復(fù)，直至上料區(qū)所有的工件都取完放置好，程序結(jié)束。8.2項目任務(wù)一：移動抓取?任務(wù)實施1.硬件配置2.程序流程設(shè)計3.HMI界面設(shè)計8.2項目任務(wù)一：移動抓取?硬件配置（1）添加相機該項目只配置1臺相機：移動相機。在“設(shè)備”→“2D相機”→雙擊“海康威視”，添加相機到左側(cè)設(shè)備欄中，編輯相機名稱，選擇相機對應(yīng)的IP地址，格式選擇Mono8，曝光5000μs。相機名取為移動CCD，IP地址：192.168.10.10；點擊“打開”，連接成功后，可以點擊圖層框右下角“打開視頻”，配合光源硬件查看圖像效果，通過調(diào)節(jié)光源亮度、鏡頭焦距等，得到合適的圖像。8.2項目任務(wù)一：移動抓取?硬件配置（2）添加光源添加兩個光源控制器（德創(chuàng)1、德創(chuàng)2），端口號分別為串口COM1和COM2，波特率為19200，8位數(shù)據(jù)位，1位停止位，無校驗。德創(chuàng)1控制4個通道光源，分別是：1）左條光；2）右條光；3）左面光；4）右面光。德創(chuàng)2控制4個通道光源，分別是：1）皮帶旁條光；2）移動相機環(huán)光；3）固定相機環(huán)光；4）皮帶相機環(huán)光。亮度可設(shè)置的范圍為0~255。8.2項目任務(wù)一：移動抓取?硬件配置（3）添加PLC“設(shè)備管理”→“PLC”→“三菱”，添加三菱PLC。如圖8-16所示。PLC端設(shè)置以下基本參數(shù)，通訊方式：TCP，IP地址：192.168.1.20，端口號：502，編碼：ASCII，數(shù)據(jù)格式：CDAB。8.2項目任務(wù)一：移動抓取所有需要用到的PLC和視覺軟件傳輸交換數(shù)據(jù)的寄存器地址和讀寫信號均和PLC端約定確認，通過“添加”功能進行逐一添加。所需用到的寄存器地址約定如下：1）PLC數(shù)據(jù)發(fā)送：D120-D149：相機標定數(shù)據(jù)頭+標定指令+點位號；D150-D165：相機標定X、Y、R坐標信息；D166：移動相機九宮格拍照點位號；D168：TPM指令代碼（標定、訓(xùn)練吸嘴等）。2）PLC數(shù)據(jù)接收：D170：視覺軟件返回X軸坐標； D172：視覺軟件返回Y軸坐標；D174：視覺軟件返回R軸坐標； D190：視覺軟件返回結(jié)果。8.2項目任務(wù)一：移動抓取?V+程序設(shè)計流程（1）標定程序流程設(shè)計程序流程設(shè)計的第一步進行標定。如圖所示，拆除九宮格，將標定片放置在裝配單元上預(yù)定的固定初始位置（裝配單元上左后邊角處）。機械手吸取標定片，進行移動。將標定片放置在上料區(qū)（左側(cè)面光源）中心區(qū)后，機械手抬起，觸發(fā)移動相機拍照取像。機械手按照做9點平移和2點旋轉(zhuǎn)（回到中心點，然后吸取標定片旋轉(zhuǎn)30度）的路徑路線，依次觸發(fā)移動相機進行拍照取像。視覺軟件根據(jù)取像結(jié)果，進行分析和標定，形成標定文件。8.2項目任務(wù)一：移動抓取?標定程序設(shè)計1）等待觸發(fā)。在“信號”工具組中的“PLC掃描”工具，掃描接受PLC中的D168地址發(fā)來的“標定”指令--1，“觸發(fā)條件”設(shè)置變?yōu)?。也即如果收到PLC發(fā)送到D168地址的數(shù)據(jù)為1，就觸發(fā)標定流程。8.2項目任務(wù)一：移動抓取?標定程序設(shè)計2）解析指令字符串。觸發(fā)之后用“通訊”工具組中的“讀PLC”工具讀取PLC中的地址D120開始長度為92的指令字符串。8.2項目任務(wù)一：移動抓取?標定程序設(shè)計2）解析指令字符串。PLC發(fā)來的指令字符串中帶有空格和不可打印字符，占據(jù)了指令實際長度，為保證后續(xù)手眼標定工具讀取正確的指令，這里需要將其刪除。用“數(shù)據(jù)”工具組中的“字符串操作”工具將前面“讀PLC”工具接受到的字符串值去掉空格和不可打印字符，并將經(jīng)過“字符串操作”上述操作后的值輸出，輸出變量命名為“@Trim2”。8.2項目任務(wù)一：移動抓取?標定程序設(shè)計3）打開光源。用“圖像”組中的“光源設(shè)定”工具，將移動相機拍照所需光源打開，各光源的強度設(shè)置如圖所示。采用“系統(tǒng)”組中的“延時”工具，將光源打開延時200ms，以確保取像時，有穩(wěn)定的和足夠強度的光源。8.2項目任務(wù)一：移動抓取?標定程序設(shè)計4）手眼標定工具。“引導(dǎo)”行業(yè)模塊中，“手眼標定”工具將手（機械手）和眼（相機）的坐標系統(tǒng)一起來，解決相機與機械手之間的坐標轉(zhuǎn)換關(guān)系，讓機械手能夠精確抓取到相機定位的目標?！笆盅蹣硕ā惫ぞ咧?，首先進行“標定配置”。“標定配置”頁面，“數(shù)據(jù)來源”即手眼標定需要的指令，即“字符串操作”工具輸出的“@Trim2”，標定模式：單相機；特征樣式：棋盤格。“①圖像”頁面，安裝方式：固定安裝；移動步數(shù)：9+2；圖像來源：相機取像；選擇設(shè)備管理內(nèi)已有的1個相機，其中：機位編號1，即移動相機，在左側(cè)取料區(qū)拍照，此為主相機1?！阿谥噶睢表撁?，此頁不需要進行配置，可以直接點擊右下角下一步。機位從中心點開始，按照S型走完9點平移后，回到中心點，再吸取標定片做30度旋轉(zhuǎn)。8.2項目任務(wù)一：移動抓取?標定程序設(shè)計4）手眼標定工具?！阿坌省表撁妫颂幮枰鶕?jù)采用的標定片，對主相機進行Checkboard配置，即配置標定片相關(guān)參數(shù)。校準模式：Linear；特征符號：詳盡棋盤格；基準符號：Standardrectangles；基準符號有Standardrectangles、DotGridAxes、DataMatrix、DataMatrixWithGridPitch等幾種形式。塊尺寸（mm）：3×3?！阿軋?zhí)行”頁面，此處不需要進行配置，可以直接點擊右下角下一步，也可查看實時狀態(tài)。8.2項目任務(wù)一：移動抓取?標定程序設(shè)計4）手眼標定工具。所有的標定計算完成后，彈出一個“標定完成”提示窗口，點擊“確定”，即可覆蓋當前的分數(shù)，生成新的標定文件。點擊【指令詳情】，可以實時查看輸入指令接收時間及信息，輸出指令發(fā)送時間及信息。點擊【N點詳情】按鈕，可以實時查看當前計算狀態(tài)，及拆分和計算出的圖像X、圖像Y（計算出的視野中心圖像坐標X/Y）、物理X、物理Y、物理R（軸發(fā)送的機械手坐標X/Y/R）。8.2項目任務(wù)一：移動抓取?標定程序設(shè)計4）手眼標定工具?！阿萁Y(jié)果”：此處不需要進行配置，可以查看標定的結(jié)果分數(shù)。顯示標定后生成標定文件的具體參數(shù)，支持對參數(shù)項設(shè)上下限，若最終結(jié)果超限，則工具自動提示。標定文件自動被保存在硬盤指定的文件夾下，如為程序文件夾下的“/Config/Guide/Calibratoin/”文件夾下的“1295_主機位1.vpp”文件。8.2項目任務(wù)一：移動抓取?標定程序設(shè)計5）關(guān)閉光源。用“圖像”組中的“光源設(shè)定”工具，將已經(jīng)打開的各光源關(guān)閉。6）反饋信息。視覺軟件向PLC反饋“手眼標定”工具運行結(jié)果信息。采用“流程”工具組中的“分支”工具，建立“手眼標定”工具是否成功運行的兩個分支。如圖所示。當“手眼標定”工具執(zhí)行成功，用“通訊”工具組中的“寫PLC”工具，將“1”寫入到PLC的D190地址中。失敗，則將“2”寫入到PLC的D190地址中。8.2項目任務(wù)一：移動抓取?標定程序設(shè)計（1）標定程序流程設(shè)計移動抓取的標定標定操作流程展示8.2項目任務(wù)一：移動抓取?V+程序設(shè)計流程（1）訓(xùn)練吸嘴（標準位示教）程序流程設(shè)計在抓取任務(wù)之前，一定需要標準位示教，給抓取的點位一個標準值，讓之后的自動抓取流程都能參照標準位置進行抓取，此步驟叫“標準位示教”，也俗稱“訓(xùn)練吸嘴”。將鋰電池放置在裝配單元上預(yù)定的固定初始位置（裝配單元上左后邊角處，電池凸起部分朝外）。機械手吸取鋰電池，進行移動，將鋰電池放置在上料區(qū)（左側(cè)面光源）中心區(qū)后，觸發(fā)移動相機拍照取像。視覺軟件根據(jù)取像結(jié)果，進行特征分析，輸出系統(tǒng)變量，導(dǎo)出視覺工具塊文件。8.2項目任務(wù)一：移動抓取?訓(xùn)練吸嘴（標準位示教）程序流程設(shè)計1）等待觸發(fā)。在“信號”工具組中的“PLC掃描”工具，掃描接受PLC中的D168地址發(fā)來的“訓(xùn)練吸嘴”指令--3，“觸發(fā)條件”設(shè)置變?yōu)?。也即如果收到PLC發(fā)送到D168地址的數(shù)據(jù)為3，就觸發(fā)訓(xùn)練吸嘴流程。8.2項目任務(wù)一：移動抓取?訓(xùn)練吸嘴（標準位示教）程序流程設(shè)計2）解析指令字符串。觸發(fā)之后用“通訊”工具組中的“讀PLC”工具讀取PLC中的地址D120開始長度為92的指令字符串。PLC發(fā)來的指令字符串中帶有空格和不可打印字符，占據(jù)了指令實際長度，為保證后續(xù)手眼標定工具讀取正確的指令，這里需要將其刪除。用“數(shù)據(jù)”工具組中的“字符串操作”工具將前面“讀PLC”工具接受到的字符串值去掉空格和不可打印字符，并將經(jīng)過“字符串操作”上述操作后的值輸出，輸出變量命名為“@Trim2”。8.2項目任務(wù)一：移動抓取?訓(xùn)練吸嘴（標準位示教）程序流程設(shè)計3）打開光源。用“圖像”組中的“光源設(shè)定”工具，將移動相機拍照所需光源打開，如左條光、右條光的光強都設(shè)置為255。采用“系統(tǒng)”組中的“延時”工具，將光源打開延時200ms，以確保取像時，有穩(wěn)定的和足夠強度的光源。4）取像。用““圖像”工具組中的“取像”工具取到相機拍照的圖像。采用“系統(tǒng)”工具組中的“延時”工具，延時100ms，以確保取到穩(wěn)定圖像。5）關(guān)閉光源。用“圖像”組中的“光源設(shè)定”工具，將打開光源關(guān)閉。8.2項目任務(wù)一：移動抓取?訓(xùn)練吸嘴（標準位示教）程序流程設(shè)計6）標準位示教?！阿佥斎朐O(shè)置”：信號數(shù)據(jù)來自于解析出的PLC發(fā)出的訓(xùn)練吸嘴指令字符串“@Trim2”，數(shù)據(jù)格式為“Train,[N],TTN,C,0,[X],[Y],[A]”。圖像為相機拍照取得的圖像。“②標定設(shè)置”：可打開文件夾，選擇前面標定形成的標定文件。如圖所示。8.2項目任務(wù)一：移動抓取?訓(xùn)練吸嘴（標準位示教）程序流程設(shè)計6）標準位示教?！阿厶卣髯ト　保禾卣髯ト∵x取“高級”模式，如圖所示。8.2項目任務(wù)一：移動抓取?訓(xùn)練吸嘴（標準位示教）程序流程設(shè)計6）標準位示教?！阿厶卣髯ト　保阂曈X工具塊中各工具主要有：CogPMAlignTool,CogFixtureTool,CogFindCornerTool(A,B,C,D),CogFitLineTool(AC,BD),CogIntersectLineLineTool(AC-BD),CogFitLineTool(AB)。抓取鋰電池的特征值，也就是對角線的交點，也即中心點（AC-BD）的X/Y值，和邊線AB的姿態(tài)，即R值。將成功運行的視覺工具塊（ToolBlock）可以導(dǎo)出為vpp文件，為后續(xù)特征抓取的時候?qū)胧褂谩?.2項目任務(wù)一：移動抓取?訓(xùn)練吸嘴（標準位示教）程序流程設(shè)計7）寫入系統(tǒng)變量。先用“數(shù)據(jù)”工具組中的“數(shù)值計算”工具，用“deg”函數(shù)，將前面工具輸出的角度值由弧度轉(zhuǎn)變成角度值。8.2項目任務(wù)一：移動抓取?訓(xùn)練吸嘴（標準位示教）程序流程設(shè)計7）寫入系統(tǒng)變量。把解析出來的機械手的坐標和姿態(tài)（RobotX/RobotY/RobotR）,以及抓取的圖像特征坐標值（ImageX/ImageY/轉(zhuǎn)換后的ImageR）值，分別寫入系統(tǒng)變量（1TRX/1TRY/1TRR，1TIX/1TIY/1TIR）。8.2項目任務(wù)一：移動抓取?訓(xùn)練吸嘴（標準位示教）程序流程設(shè)計8）反饋信息。視覺軟件向PLC反饋“標準位示教”工具運行結(jié)果信息。采用“流程”工具組中的“分支”工具，建立“標準位示教”工具是否成功運行的兩個分支。當“標準位示教”工具執(zhí)行成功，用“通訊”工具組中的“寫PLC”工具，將“1”寫入到PLC的D190地址中。失敗，則將“2”寫入到PLC的D190地址中。整個訓(xùn)練吸嘴的程序設(shè)計流程如圖所示。移動抓取之標準位示教移動抓取之標準位示教的操作演示8.2項目任務(wù)一：移動抓取?V+程序設(shè)計流程（3）移動抓取程序流程設(shè)計經(jīng)過標定程序和訓(xùn)練吸嘴程序后，就可以進行移動抓取程序流程設(shè)計。在上料單元在九宮格內(nèi)放有若干不同類型的鋰電池，機械手在上料區(qū)依照順序走九宮格。在每一處駐留時，移動相機拍照，視覺軟件處理，引導(dǎo)移動模組抓取工件，放置在裝配單元上。移動相機繼續(xù)在九宮格內(nèi)平移拍照，發(fā)送坐標，引導(dǎo)機械手抓取電池并排在裝配單元上。直到左側(cè)所有的鋰電池都抓完，移動相機遍歷九宮格，沒有檢測到工件。機械手回到原點，運行結(jié)束。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計1）等待觸發(fā)。在“信號”工具組中的“PLC掃描”工具，掃描接受PLC中的D168地址發(fā)來的“移動抓取”指令--21，“觸發(fā)條件”設(shè)置變?yōu)?1。也即如果收到PLC發(fā)送到D168地址的數(shù)據(jù)為21，就觸發(fā)移動抓取程序流程。2）解析指令字符串。PLC發(fā)來的字符串中帶有空格和不可打印字符。用“數(shù)據(jù)”工具組中的“字符串操作”工具來去空格和不可打印字符。如下圖所示，鏈接讀PLC寄存器中讀到的Value值字符串，選擇所有空格和不可打印字符進行刪除，并將出來后的字符串作為結(jié)果（“@Trim2”）進行輸出。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計2）解析指令字符串。將去除空格和不可打印字符后的字符串（@Trim2）進行分隔，分隔符為“,”。分隔后的子串從頭開始，以0依次索引排序。索引號0為機械手的X坐標值（RobotX，為字符串類型），將其進行輸出（“@Split1”）。索引號1為機械手的Y坐標值（RobotY，為字符串類型），將其進行輸出（“@Split2”）。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計先后用“數(shù)據(jù)”工具組中的“格式轉(zhuǎn)換”工具將前面解析出來的機械手的坐標X/Y字符串值轉(zhuǎn)換為實數(shù)類型。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計3）寫入系統(tǒng)變量。用“系統(tǒng)”工具組中的“寫變量”工具，將解析及格式轉(zhuǎn)化后的變量寫入系統(tǒng)變量TrigX，TrigY（機械手坐標值）。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計4）打開光源。用“圖像”組中的“光源設(shè)定”工具，將移動相機拍照所需光源打開，如左條光、右條光的光強都設(shè)置為255。采用“系統(tǒng)”組中的“延時”工具，將光源打開延時200ms，以確保取像時，有穩(wěn)定的和足夠強度的光源。5）取像。用“圖像”工具組中的“取像”工具取到相機拍照的圖像。采用“系統(tǒng)”工具組中的“延時”工具，延時100ms，以確保取到穩(wěn)定圖像。6）關(guān)閉光源。用“圖像”組中的“光源設(shè)定”工具，將打開光源關(guān)閉。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計7）特征定位?！耙龑?dǎo)”工具組中的特征定位工具和“標準位示教”工具幾乎完全一樣。主要目的輸出抓取鋰電池的中心點X/Y/R和結(jié)果圖像。“①輸入設(shè)置”：“信號數(shù)據(jù)”--因為之前工具已經(jīng)輸出軸的坐標TrigX/TrigY，在此處，指令不需要實時軸位置，直接手動寫入指令：Train,1,TTN,1,0,0,0,0?！皥D像”為取像工具輸出的Image?！阿跇硕ㄔO(shè)置”：可打開文件夾，選擇前面標定形成的標定文件，即手眼標定工具輸出的主機位1的標定文件?！阿厶卣髯ト　保狠敵鲣囯姵氐闹行狞cXYR和結(jié)果圖像，即抓取鋰電池的特征值，也就是對角線的交點，也即中心點（AC-BD）的X/Y值，和邊線AB的姿態(tài)，即R值。注意：此工具右側(cè)輸出X/Y/R，必須分別選擇左側(cè)ToolBlock輸出的X/Y/R，否則沒有結(jié)果。在此“特征定位”中的“③特征抓取”中，將前面“標準位示教”程序中的“③特征抓取”導(dǎo)出的VPP文件進行導(dǎo)入，抓取更準確。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計8）數(shù)據(jù)格式轉(zhuǎn)化。用“數(shù)據(jù)”工具組中的“格式轉(zhuǎn)化”工具將前面“特征定位”輸出的圖像姿態(tài)弧度值轉(zhuǎn)換成角度值。9）料號判斷。“判斷料號”工具為“ToolBlock”工具，用于區(qū)分鋰電池型號。主要思路是獲取目標區(qū)域，對其進行灰度直方圖運算，輸出其目標區(qū)域的灰度平均值，然后將其作為Toolblock的終端輸出?！芭袛嗔咸枴钡腡oolBlock工具樹中有CogPMAlignTool，CogFixtureTool，CogHistogramTool-Top，CogHistogramTool-Tail等。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計9）料號判斷。對三類鋰電池進行分析，發(fā)現(xiàn)鋰電池的尾部和側(cè)部有差異，有的有缺口，有的沒有缺口。因而，分別設(shè)置鋰電池的尾部和邊部有缺口為目標區(qū)域，如圖所示，對其運用“Histogram”算法，進行灰度值平均值統(tǒng)計，將其區(qū)域直方圖統(tǒng)計的均值進行終端輸出（Top、Tail）。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計10）數(shù)據(jù)運算。①邏輯運算。采用“數(shù)據(jù)”工具組中的“邏輯運算”工具，將視覺工具輸出的Top、Tail和閾值（50），分別進行比較。如目標區(qū)域的灰度平均值小于50則輸出為True，代表此處為全黑色，表示目標區(qū)域沒有缺口；否則，輸出為False，代表此處有缺口。對Top、Tail目標區(qū)域的分析判斷結(jié)果分別輸出，命名為@Top，@Tail。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計10）數(shù)據(jù)運算。②字符拼接運算。如圖8-39所示，使用“數(shù)據(jù)”工具組的“字符串操作”工具，將邏輯運行輸出的兩個bool值進行拼接（@Top+@Tail），輸出拼接結(jié)果“@Combine1”，并選擇bool轉(zhuǎn)byte，True為1，F(xiàn)alse為0。工件上側(cè)邊緣頭部和尾部都沒有缺口則為true和true，輸出11，鋰電池類型為產(chǎn)品A型；兩側(cè)沒缺口，尾部帶缺口（Tail>50），輸出為01，鋰電池類型為產(chǎn)品B型；兩側(cè)有缺口，尾部沒缺口，輸出為10，鋰電池類型為產(chǎn)品C型。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計11）分支操作。如圖所示，用“流程”工具組中的“分支”工具，對于@Combine1的輸出建立三個分支，分別表示三種鋰電池型號：11（A型號）、10（B型號）、01（C型號）三種分支。先使用“變量”菜單欄創(chuàng)建string類型變量“Model”，為存儲料號名稱的變量。根據(jù)不同分支，將三條分支分別通過“系統(tǒng)”工具組中的“寫變量”工具，將料號名稱（A、B、C）寫到創(chuàng)建的變量“Model”中。也即根據(jù)視覺軟件分析的結(jié)果，將系統(tǒng)變量Model中寫入對應(yīng)的鋰電池型號?！傲鞒獭惫ぞ呓M中的“分支選擇”工具為空，不需要輸入?yún)?shù)，但有收束分支為1條流程的作用，這里不可缺少。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計12）計算圖像坐標。因為受限于相機的工作距離和景深等因素，移動相機沒辦法拍到上料區(qū)九宮格內(nèi)的所有鋰電池。要實現(xiàn)上料區(qū)全視野范圍可以拍到電池，就需要機械手遍歷9宮格，觸發(fā)移動相機拍照。當相機在進行標定的時候，鋰電池的圖像中心坐標值為CalibX和CalibY，系統(tǒng)已經(jīng)記錄保存其位置。而當相機進行移動拍照時，其圖像中心坐標值也應(yīng)該隨著機械手的移動而移動。要在標定位置時的圖像中心坐標值的基礎(chǔ)上做一定的偏移。此時，圖像坐標值X的計算公式為：@ImageX+@TrigX-CalibX。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計12）計算圖像坐標。@ImageX：也即本次“移動相機引導(dǎo)抓取”流程中的之前“特征定位”工具后輸出的ImageX。@TrigX：PLC發(fā)送過來的機械手坐標X，寫入系統(tǒng)變量中的TrigX，也即當前拍照時的軸坐標X。如果平移9次，就有9個不同坐標值。CalibX：標定時，在中心位置拍照時的機械手坐標X。此為固定坐標，每個設(shè)備機臺坐標值可能會不一樣。此坐標值已經(jīng)存儲在PLC數(shù)據(jù)地址中，可在觸摸屏上【參數(shù)設(shè)置】→“參數(shù)設(shè)置2”界面上的，“移動相機左拍照位置”查詢到。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計12）計算圖像坐標。用“數(shù)據(jù)”工具組中的“數(shù)值計算”工具，計算在全局視野中的圖像坐標值。同樣，圖像坐標Y值坐標計算公式為：@ImageY+@TrigY-CalibY。用“數(shù)據(jù)”工具組中的“數(shù)值計算”工具，計算中在全局視野中的圖像坐標值。注：所有由移動相機計算出的圖像坐標均需計算偏移量（包括移動抓取和移動組裝）。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計13）引導(dǎo)計算?！耙龑?dǎo)”工具組中的“引導(dǎo)計算”工具有三種模式選擇，包括“引導(dǎo)抓取”、“引導(dǎo)組裝”、“位置補正”等模式。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計13）引導(dǎo)計算。在此場景中，選擇“引導(dǎo)抓取”模式，主要目的是通過“特征數(shù)據(jù)”和“訓(xùn)練數(shù)據(jù)”，計算輸出軸的絕對抓取位置坐標AbsoluteX/AbsoluteY/AbsoluteR。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計14）寫入系統(tǒng)變量。將偏移計算的圖像坐標的X/Y和角度轉(zhuǎn)換后的R、“引導(dǎo)計算”工具輸出的軸抓取絕對位置分別存入“變量管理”中創(chuàng)建的6個系統(tǒng)變量（1Image_X/1Image_Y/1Image_R，1Robot_X/1Robot_Y/1Robot_R），以便后續(xù)組裝的引導(dǎo)計算中進行調(diào)用。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計15）發(fā)送坐標值給PLC。將經(jīng)過引導(dǎo)計算的坐標值進行格式轉(zhuǎn)化，然后寫入PLC數(shù)據(jù)地址區(qū)域，引導(dǎo)機械手以標準位示教的姿態(tài)來抓取工件。①格式轉(zhuǎn)換。首先，采用“數(shù)據(jù)”工具組中的“格式轉(zhuǎn)換”工具，將數(shù)據(jù)從Double類型轉(zhuǎn)換為PLC能夠接受的Real類型。依次將引導(dǎo)計算工具輸出的軸的絕對抓取位置坐標AbsoluteX/AbsoluteY/AbsoluteR從Double類型轉(zhuǎn)換成Real類型。8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計15）發(fā)送坐標值給PLC。將經(jīng)過引導(dǎo)計算的坐標值進行格式轉(zhuǎn)化，然后寫入PLC數(shù)據(jù)地址區(qū)域，引導(dǎo)機械手以標準位示教的姿態(tài)來抓取工件。②給PLC發(fā)送數(shù)據(jù)。將轉(zhuǎn)換后的坐標值，機械手的坐標X/Y/R寫入和PLC約定好的數(shù)據(jù)存儲區(qū)（D120/D172/D174）8.2項目任務(wù)一：移動抓取?移動抓取程序流程設(shè)計16）反饋信息給PLC。使用“流程”工具組中的“分支”工具，給PLC的D190地址寫入不同數(shù)據(jù)。當“標準位示教”工具成功執(zhí)行，用“通訊”工具組中的“寫PLC”工具將1寫入PLC的D190地址；如果工具未能成功執(zhí)行，則將3寫入D190地址。8.2項目任務(wù)一：移動抓取?3.HMI界面設(shè)計

如圖所示，將移動抓取流程中的特征抓取圖像、以及是否成功抓取顯示在HMI界面上。將鋰電池的料號類型、經(jīng)過引導(dǎo)計算后的鋰電池的中心點坐標X/Y和姿態(tài)R同樣在HMI界面上顯示出來。移動抓取移動抓取操作演示第八章

機器視覺引導(dǎo)項目任務(wù)二：移動抓取固定裝配038.2項目任務(wù)二：移動抓取固定裝配任務(wù)要求：對于移動相機引導(dǎo)抓取和固定相機引導(dǎo)裝配，即場景5，該項目模擬了一種自動化生產(chǎn)線上引導(dǎo)抓取和引導(dǎo)裝配的過程。如圖所示，在上料單元有三種不同類型的鋰電池，在九宮格內(nèi)任意放置。通過移動相機在上料區(qū)走九宮格拍照，經(jīng)過視覺處理區(qū)分鋰電池料號并引導(dǎo)移動模組抓取工件。固定相機位于料盤上方拍照，經(jīng)過視覺處理找到即區(qū)分料盤類別，引導(dǎo)移動模組進行精準裝配，將鋰電池放置在相匹配的料盤中。8.2項目任務(wù)二：移動抓取固定裝配任務(wù)分析：首先第一步驟是添加設(shè)備、進行通訊。然后完成程序任務(wù)流程設(shè)計，需要通過DCCKVisionPlus程序編寫完成。根據(jù)工藝流程，移動相機在上料區(qū)走九宮格拍照，引導(dǎo)移動模組抓取工件。固定相機位于料盤上方拍照，引導(dǎo)移動模組進行精準裝配。程序任務(wù)流程主要包括四個子流程，即標定（2個相機聯(lián)合標定）、標準位示教（示范抓取工件的正確姿態(tài)）、移動相機引導(dǎo)抓取和固定相機引導(dǎo)組裝等。8.2項目任務(wù)二：移動抓取固定裝配?硬件配置（1）添加相機該項目需要配置2臺相機：移動相機、右側(cè)光源上方固定組裝相機。2臺相機的IP地址分別為：1號相機為移動CCD：192.168.10.10；2號相機為固定CCD：192.168.20.10。點擊“打開”，連接成功后，可以點擊圖層框右下角“打開視頻”，配合光源硬件查看圖像效果，通過調(diào)節(jié)光源亮度、鏡頭焦距等，得到合適的圖像。（2）添加光源添加兩個光源控制器（德創(chuàng)1、德創(chuàng)2），端口號分別為串口COM1和COM2，德創(chuàng)1控制4個通道光源。德創(chuàng)2控制4個通道光源。（3）添加PLC“設(shè)備管理”→“PLC”→“三菱”，添加三菱PLC。所有需要用到的寄存器地址和讀寫信號均和PLC端約定確認。8.2項目任務(wù)二：移動抓取固定裝配?程序流程設(shè)計（1）標定程序流程設(shè)計此場景需要在左、右側(cè)面上進行吸嘴操作，因而需要在左右兩個工作平臺上進行聯(lián)合標定，即在左側(cè)進行9+2點主相機拍照，并在右側(cè)進行1次從相機拍照，以實現(xiàn)兩個平臺的聯(lián)合標定和坐標系的統(tǒng)一。將移動相機設(shè)置為主相機，裝配單元上固定相機為從相機。將標定片放置在裝配單元上預(yù)定的固定初始位置。機械手吸取標定片，進行移動，將標定片放置在上料區(qū)中心區(qū)后，觸發(fā)移動相機拍照取像。主相機做9點平移和2點旋轉(zhuǎn)標定。標定結(jié)束后，機械手吸取標定片，搬運到從相機的下方。固定相機拍照，進行從相機的標定。從而2個相機的聯(lián)合標定結(jié)束，形成主、從相機的2個標定文件。8.2項目任務(wù)二：移動抓取固定裝配?標定程序流程設(shè)計1）等待觸發(fā)。在“信號”工具組中的“PLC掃描”工具，掃描接受PLC中的D168地址發(fā)來的“標定”指令--1，“觸發(fā)條件”設(shè)置變?yōu)?。觸發(fā)之后用“通訊”工具組中的“讀PLC”工具讀取PLC中的地址D120的指令字符串。2）解析指令字符串。使用“通訊”工具組中的“讀PLC”工具讀取PLC發(fā)來的，從D120開始的長度為92的字符串。用“數(shù)據(jù)”工具組中的“字符串操作”工具去掉空格和不可打印字符，將處理后的字符串作為結(jié)果（“@Trim2”）進行輸出。將（“@Trim2”）進行分隔，分隔符為“,”。索引號3為待標定相機的機位編號，輸出為“@Split1”：移動CCD相機設(shè)置為1，固定CCD相機設(shè)置為2。8.2項目任務(wù)二：移動抓取固定裝配?標定程序流程設(shè)計3）打開光源。運用“流程”工具組中的“分支”工具，根據(jù)之前分割出相機號的變量“@Split1”值（1、2）來選擇打開相應(yīng)位置的光源，即通過“圖像”工具組中的“光源設(shè)定”工具來打開光源控制器所控制的相應(yīng)光源通道。如圖所示。如果@Split為1，進入分支1：控制主相機1（移動相機）對應(yīng)的光源開啟。左側(cè)取料位對應(yīng)光源亮起，左、右側(cè)條光和左側(cè)面光開啟。如果@Split為2，進入分支2：控制從相機2（右側(cè)固定組裝相機）放料區(qū)對應(yīng)的光源開啟，左、右側(cè)條光和右側(cè)面光開啟。8.2項目任務(wù)二：移動抓取固定裝配?標定程序流程設(shè)計用“流程”工具組中的“分支選擇”工具歸攏分支。采用“系統(tǒng)”工具組中的“延時”工具，將光源打開延時200ms。4）手眼標定。采用“引導(dǎo)”工具中的“手眼標定”工具，進行手眼標定。首先“標定配置”：“數(shù)據(jù)來源”即手眼標定需要的指令，即“字符串操作”工具輸出的“@Trim2”，標定模式：多相機；機位數(shù)量：2，特征樣式：棋盤格。5）關(guān)閉光源。用“圖像”工具組中的“光源設(shè)定”工具將所有的光源熄滅。6）反饋信息。標定步驟完成后，需要發(fā)送信號給PLC。根據(jù)“手眼標定”工具運行成功與否建立兩個分支。當“手眼標定”工具執(zhí)行成功，用“通訊”工具組中的“寫PLC”工具，將“1”寫入到PLC的D190地址中。失敗，則將“2”寫入到PLC的D190地址中。8.2項目任務(wù)二：移動抓取固定裝配?標定程序流程設(shè)計此場景的標定流程圖如圖所示，包括PLC和V+通訊方式。聯(lián)合標定結(jié)束后，形成一個主相機的標定文件和一個從相機的標定文件，被系統(tǒng)存放在在當前程序文件夾下的“\Config\Guide\Calibration\”文件夾下，如“807_主機位1.vpp文件，807_從機位2.vpp文件”8.2項目任務(wù)二：移動抓取固定裝配?標準位示教程序流程設(shè)計使用“引導(dǎo)”工具組中的“標準位示教”工具。建立6個Double類型系統(tǒng)變量，分別是相機1拍照下的軸和圖像中心點坐標值和姿態(tài)值。使用“系統(tǒng)”工具組中的“寫變量”工具，將前面“標準位示教”工具輸出的機械手的坐標值和姿態(tài)X/Y/R，分別寫入變量1TRX/1TRY/1TRR；將前面“標準位示教”輸出的圖像中心點的ImageX/ImageY和經(jīng)過轉(zhuǎn)換的圖像姿態(tài)值分別寫入變量1TIX/1TIY/1TIR。8.2項目任務(wù)二：移動抓取固定裝配?移動抓取程序流程設(shè)計1）等待觸發(fā)。通過“信號”工具組中的“PLC掃描”工具，掃描PLCD的168地址，“觸發(fā)條件”設(shè)置變?yōu)?1。（注：為觸發(fā)自動運行時場景5的1號相機）。2）解析指令。使用“通訊”工具組中的“讀PLC”工具，讀取D120-D165地址內(nèi)的字符串。使用“數(shù)據(jù)”工具組中的“字符串操作”工具，將讀出的字符串刪除空格和不可打印字符，輸出字符串，命名為“@Trim2”。用分隔符“,”分隔“@Trim2”，輸出字符串索引0，也即機械手X坐標值，命名為變量“@Split1”。輸出字符串索引1，也即機械手Y坐標值，命名變量“@Split2”，為后續(xù)調(diào)用。前面“字符串操作”工具分割輸出的都是string類型，使用“數(shù)據(jù)”工具組中的“格式轉(zhuǎn)換”工具分別將它們轉(zhuǎn)換為Double類型。3）寫入系統(tǒng)變量。雙擊“變量”菜單，添加兩個Double類型系統(tǒng)變量，命名為TrigX和TrigY。用“系統(tǒng)”工具組中的“寫變量”工具，分別將“@Split1”、“@Split2”經(jīng)格式轉(zhuǎn)換后的X和Y，即當前拍照位置的軸的X，Y坐標值，相應(yīng)寫入到變量TrigX和TrigY中。8.2項目任務(wù)二：移動抓取固定裝配?移動抓取程序流程設(shè)計4）光源打開和取像。用“圖像”工具組中的“光源設(shè)定”工具，打開“德創(chuàng)1”光源控制器的通道1~3通道光源，并設(shè)置合適亮度。采用“系統(tǒng)”工具組中的“延時”工具，延時100ms，保證取像效果。運用“圖像”工具組中的“取像”工具，移動相機拍照抓取圖像。采用“系統(tǒng)”工具組中的“延時”工具，延時200ms。然后，用“圖像”工具組中的“光源設(shè)定”工具，關(guān)閉相應(yīng)光源。8.2項目任務(wù)二：移動抓取固定裝配?移動抓取程序流程設(shè)計5）特征定位。主要目的輸出抓取鋰電池圖像特征值X/Y/R和結(jié)果圖像。采用“引導(dǎo)”工具組中的“特征定位”工具。在此“特征定位”中的“③特征抓取”中，將前面“標準位示教”導(dǎo)出的VPP文件進行導(dǎo)入，抓取更準確?！疤卣鞫ㄎ弧惫ぞ邔D像的X/Y/R輸出，分別為ImageX/ImageY/ImageR。輸出的ImageR為弧度值，需要用“數(shù)據(jù)”工具組中的“數(shù)值計算”工具將其轉(zhuǎn)換為角度值。6）判斷料號?！芭袛嗔咸枴惫ぞ邽椤癟oolBlock”工具，用于區(qū)分鋰電池型號。主要思路是獲取目標區(qū)域，對其進行灰度直方圖運算，輸出其目標區(qū)域的灰度平均值，然后將其作為Toolblock的終端輸出?！芭袛嗔咸枴钡腡oolBlock工具樹中有PMAlign、Fixtue、Histogram等。對三類鋰電池進行分析。分別設(shè)置鋰電池的尾部和邊部有缺口為目標區(qū)域，對其運用“Histogram”算法，進行灰度值平均值統(tǒng)計，同時進行終端輸出（Top、Tail）。8.2項目任務(wù)二：移動抓取固定裝配?移動抓取程序流程設(shè)計7）數(shù)據(jù)處理。使用“數(shù)據(jù)”工具組的“邏輯運算”工具，對ToolBlock的終端輸出結(jié)果（Top、Tail）進行分析判斷。如目標區(qū)域的灰度平均值小于50則輸出為True，代表此處為全黑色，表示目標區(qū)域沒有缺口；否則，輸出為False，代表此處有缺口。對Top、Tail目標區(qū)域的分析判斷結(jié)果分別輸出，命名為@Top，@Tail。8.2項目任務(wù)二：移動抓取固定裝配?移動抓取程序流程設(shè)計7）數(shù)據(jù)處理。使用“數(shù)據(jù)”工具組的“字符串操作”工具，將邏輯運行輸出的兩個bool值進行拼接（@Top+@Tail），輸出拼接結(jié)果“@Combine1”，并選擇bool轉(zhuǎn)byte。輸出11，表示鋰電池類型為產(chǎn)品A型；輸出為01，表示產(chǎn)品B型；輸出為10，表示產(chǎn)品C型。8.2項目任務(wù)二：移動抓取固定裝配?移動抓取程序流程設(shè)計8）流程分支處理。使用“流程”工具組中的“分支”工具，來使得不同鋰電池類型（11、01、10）走各自分支。先使用“變量”菜單欄創(chuàng)建string類型變量“Model”，為存儲料號名稱的變量。根據(jù)不同分支，將三條分支分別通過“系統(tǒng)”工具組中的“寫變量”工具，將料號名稱（A，B，C）分別寫到創(chuàng)建的變量“Model”中?！傲鞒獭惫ぞ呓M中的“分支選擇”工具為空，不需要輸入?yún)?shù)，但有收束分支為1條流程的作用，這里不可缺少。8.2項目任務(wù)二：移動抓取固定裝配?移動抓取程序流程設(shè)計9）計算圖像坐標。用“數(shù)據(jù)”工具組中的“數(shù)值計算”工具來計算有偏移量的圖像坐標。計算公式為：@ImageX+@TrigX-CalibX。Y軸坐標計算公式為：@ImageY+@TrigY-CalibY。10）引導(dǎo)計算。“引導(dǎo)”工具組中的“引導(dǎo)計算”工具有三種模式選擇，包括“引導(dǎo)抓取”、“引導(dǎo)組裝”、“位置補正”等模式。在此場景中，選擇“引導(dǎo)抓取”模式，主要目的是通過“特征數(shù)據(jù)”和“訓(xùn)練數(shù)據(jù)”，計算輸出軸的絕對抓取位置坐標AbsoluteX/AbsoluteY/AbsoluteR。8.2項目任務(wù)二：移動抓取固定裝配?移動抓取程序流程設(shè)計11）寫入變量。將偏移計算的圖像坐標的X/Y和角度轉(zhuǎn)換后的R、“引導(dǎo)計算”工具輸出的軸抓取絕對位置分別存入“變量管理”中創(chuàng)建的6個系統(tǒng)變量（1Image_X/1Image_Y/1Image_R，1Robot_X/1Robot_Y/1Robot_R），以便后續(xù)組裝的引導(dǎo)計算中進行調(diào)用。12）發(fā)送數(shù)據(jù)給PLC。PLC無法接受Double類型變量，需要用“數(shù)據(jù)”工具組中的“格式轉(zhuǎn)換”工具將引導(dǎo)計算輸出的軸的絕對X/Y/R轉(zhuǎn)換為Real類型。將格式轉(zhuǎn)換后的三個值用“通訊”工具組中的“寫PLC”工具，分別發(fā)送到PLC地址的D170、D172、D174（對應(yīng)軸的X/Y/R坐標）。13）執(zhí)行情況反饋回PLC。以本流程前面“特征定位”工具輸出的成功與否作為判斷而執(zhí)行分支的依據(jù)。“特征定位”成功則發(fā)送1給PLC的D190地址；失敗則發(fā)3（表示當前宮格無產(chǎn)品），PLC接受到3后，則往九宮格內(nèi)下一位置走。8.2項目任務(wù)二：移