《機械臂智能控制》 課件 項目4　機械臂進階

任務4-1機器臂搬運分揀《智能機械臂控制》任務解析搬運分揀第一臺機械臂Dobot1用于搬運物塊，第二臺機械臂Dobot2用于分揀物塊。1.1硬件安裝搬運分揀第一臺機械臂Dobot1用于搬運物塊，第二臺機械臂Dobot2用于分揀物塊。（1）機械臂底座接口知識鏈接1：機械臂接口底座接口序號說明1復位按鍵，復位MCU程序此時底座指示燈變?yōu)辄S色。約5秒后，復位成功，底座指示燈變?yōu)榫G色2功能按鍵。

短按一下：執(zhí)行脫機程序

長按2s以上：啟動回零操作3UART接口/通信接口，可連接藍牙、WIFI模塊。采用Dobot協(xié)議4USB接口，連接PC進行通信5電源，連接電源適配器6外設接口，可連接氣泵、擠出機、傳感器等外部設備。詳見：Dobot-Magician-User-Guide-V1.7.0.pdf知識鏈接1：機械臂接口底座接口（1）機械臂底座接口——外設接口PeripheralInterface接口說明SW1氣泵盒電源接口/自定義12V可控電源輸出SW2自定義12V可控電源輸出Stepper1自定義步進電機接口:3D打印擠出機接口（3D打印模式）傳送帶電機接口滑軌電機接口Stepper2自定義步進電機接口GP1氣泵盒控制信號接口/光電傳感器接口/顏色傳感器接口/自定義通用接口GP2自定義通用接口/顏色傳感器接口/滑軌回零開關接口知識鏈接1：機械臂接口底座接口（1）機械臂底座接口——外設接口：引腳定義詳見：Dobot-Magician-User-Guide-V1.7.0.pdf步進電機1步進電機2復用IO復用IO接口類型說明IO電平輸入、電平輸出PWM脈沖寬度調制接口，即：改變平均電壓大小REV正反轉控制ADC模擬信號轉數(shù)字信號接口知識鏈接1：機械臂接口底座接口（1）機械臂底座接口——通信接口CommunicationInterface接口說明電源接口5V、GND；12V、GND串口UARTRX，TX復位nRSTEIO18電平輸出（3.3V）EIO19電平輸入（3.3V）EIO20StopKey；電平輸入（3.3V）（2）小臂外設接口知識鏈接1：機械臂接口小臂接口序號標識說明1GP3R軸舵機接口/自定義通用接口2GP4自動調平接口/光電傳感器接口/顏色傳感器接口/自定義通用接口3GP5激光雕刻信號接口/光電傳感器接口/顏色傳感器接口/自定義通用接口4SW33D打印加熱端子接口（3D打印模式）/自定義12V可控電源輸出5SW43D打印加熱風扇（3D打印模式）/激光雕刻電源接口/自定義12V可控電源輸出6ANALOG3D打印熱敏電阻接口（3D打印模式）（2）小臂外設接口：引腳定義知識鏈接1：機械臂接口小臂接口接口類型說明電源接口12V、5V、GNDPWM脈沖寬度調制接口，即：改變平均電壓大小ADC模擬信號轉數(shù)字信號接口（3）機械臂底座——指示燈知識鏈接1：機械臂接口指示燈狀態(tài)說明綠色常亮正常黃色常亮啟動狀態(tài)藍色常亮脫機狀態(tài)藍色閃爍正在執(zhí)行回零操作、正在進行自動調平紅色常亮處于限位狀態(tài)、報警未清除、3D打印套件連接錯誤微型傳送帶42步進電機步距角=1.8度聯(lián)動軸直徑=36mm知識鏈接2：傳送帶傳送帶傳送帶參數(shù)運行負載500g有效運載長度600mm最大速度120mm/s最大加速度1200mm/s2尺寸700mmx215mmx60mm重量4.2kg傳送帶傳送帶與機械臂的連接方式知識鏈接2：傳送帶Stepper1針腳定義傳送帶傳送帶與機械臂的連接方式知識鏈接2：傳送帶傳送帶測試【傳送帶測試】選擇電機編號：STEPPER1理論速度:<=120mm/s實測：速度<=75mm/s知識鏈接2：傳送帶傳感器【功能】:檢測開關前方一定距離是否有物體。如檢測到物體，紅色指示燈亮，讀取結果為1，否則燈滅，讀取結果為0知識鏈接3：光電開關連接方式：傳感器測試【光電傳感器測試】知識鏈接3：光電開關傳感器【功能】：識別3種基本的顏色：藍色、綠色、紅色。

當檢測到相應的顏色時，對應的變量值為1,其他變量值為0。舉例：如檢測紅色木塊，得到的結果為：R=1，G=0，B=0知識鏈接4：顏色識別傳感器顏色識別傳感器供電電源3-5V可檢測不發(fā)光物體顏色白色LED：亮、滅可控連接方式傳感器測試【顏色傳感器測試】知識鏈接4：顏色識別傳感器任務實施：積木搬運分揀Step01:硬件安裝搬運分揀【注意事項】：關機->斷電->安裝請在機械臂完全斷電的情況下，斷開或者連接外部設備，關閉機械臂時，待指示燈熄滅后，機械臂才完全斷電。搬運分揀Step01:硬件安裝安裝工具Step01:硬件安裝搬運分揀參照下圖：1.擺放機械臂、傳送帶、定位板。

2.安裝傳送帶、光電開關和顏色傳感器。機械臂1機械臂2傳送帶定位板定位板搬運分揀

將傳送帶電機線連接到第一臺機械臂（右側的）的底座接口Stepper1上。

Step01:硬件安裝——傳送帶搬運分揀將顏色傳感器導線接到第二臺機械臂（左側的）底座接口GP2Step01:硬件安裝——顏色傳感器搬運分揀將紅外光電傳感器導線接到第二臺機械臂（左側的）小臂接口GP4Step01:硬件安裝——光電開關搬運分揀設置兩臺機械臂的回零點。

機械臂回零點可以設置高一點，防止回零過程中碰撞導致丟步。如果丟步需要重新回零機械臂

（1）打開DobotStudio，連接機械臂并單擊“示教在線”。Step02:回零點設置搬運分揀（2）按住“解鎖”按鈕，調整機械臂到需要設置的零點位置，松手則位置坐標自動保存

雙擊數(shù)字可以對位置值做微調。Step02:回零點設置搬運分揀（3）在該點位位置單擊鼠標右鍵，選擇“設置為回零位置”。Step02:回零點設置搬運分揀（4）設置成功后，會彈出“確認”窗口。單擊“歸零”操作，確定是否成功，如沒有，請按機械臂底座后面的reset鍵復位后重復上述操作。

Step02:回零點設置搬運分揀第一臺機械臂Dobot1用于搬運物塊，第二臺機械臂Dobot2用于分揀物塊。運行兩個DobotStudio客戶端，分別打開Blockly，編寫“搬運”和“分揀”程序。Step03:軟件設計圖形化編程第一臺機械臂:搬運程序pickplace【獲取“調試點”位置】按住搬運機械臂的“解鎖”鍵將機械臂移動到第一塊積木的位置。讓吸盤處于積木上方正中間位置。根據(jù)獲取值修改XYZStep03:軟件設計——搬運程序圖形化編程第一臺機械臂:搬運程序pickplace【獲取“放置點”位置】勾選“吸盤”，讓吸盤吸住積木，按住小臂“解鎖”鍵，將積木移動到傳送帶上搬運的起始位置根據(jù)獲取值修改XYZStep03:軟件設計——搬運程序圖形化編程OyxjkO機械臂坐標運動方向坐標Step03:軟件設計——搬運程序吸盤下壓根據(jù)積木位置，修正X、Y坐標X、Y坐標的微調量計算吸盤上升【積木搬運程序】321654987圖形化編程【傳送帶“停止”位置】設置傳送帶的運行速度和時間來控制傳送帶運行距離，從而使積木到達光電開關位置，準確地停留在分揀機械臂抓取范圍內?？紤]：通過光電開關控制傳送帶啟停？Step03:軟件設計——搬運程序設置傳送帶電機速度設置運行時間停止運行【控制傳送帶延時停止】圖形化編程第二臺機械臂:分揀程序sorting【獲取“抓取點”位置】按住搬運機械臂的“解鎖”鍵將機械臂移動到積木停放的位置。讓吸盤處于積木上方正中間位置。根據(jù)獲取值修改XYZStep03:軟件設計——分揀程序圖形化編程第二臺機械臂:分揀程序sorting【獲取“顏色識別”位置】勾選吸盤，讓吸盤吸住積木，按住小臂“解鎖”鍵，將積木移動到顏色傳感器上方（距離顏色傳感器不要太遠，5mm~10mm即可）根據(jù)獲取值修改XYZStep03:軟件設計——分揀程序圖形化編程第二臺機械臂:分揀程序sorting【獲取“放置”位置】按住小臂“解鎖”鍵，用機械臂將積木移動到想要的放置位置（位置需可達）根據(jù)獲取值修改XYZStep03:軟件設計——分揀程序圖形化編程第二臺機械臂:分揀程序sorting【識別顏色、分類擺放】Step03:軟件設計——分揀程序圖形化編程第二臺機械臂:分揀程序sorting【抓取、顏色識別、分類擺放積木】讀取光電傳感器數(shù)值，控制機械臂吸取積木，進行顏色識別，按照顏色，分別擺放積木準備抓取時，Z軸方向要高于積木Step03:軟件設計——分揀程序搬運分揀Step04:系統(tǒng)運行調試第一臺機械臂Dobot1用于搬運物塊，第二臺機械臂Dobot2用于分揀物塊。搬運分揀任務4-1基礎：傳送帶-光電-顏色傳感器測試通過DobotStudio進行Blockly圖形化編程，實現(xiàn)：（1）傳送帶啟停測試（2）光電傳感器測試，輸出測試結果（3）顏色傳感器測試，輸出測試結果【作業(yè)提交】：代碼截圖，提交職教云任務實施搬運分揀任務4-1進階：積木搬運分揀（圖形化編程）通過DobotStudio進行Blockly圖形化編程，實現(xiàn)積木搬運分揀。（1）學號尾號為奇數(shù)：實現(xiàn)3x3x2個積木搬運分揀。（2）學號尾號為偶數(shù)：實現(xiàn)2x2x2個積木搬運分揀?！咀⒁狻浚嚎紤]Z軸高度的變化【作業(yè)提交】：代碼截圖，機械臂搬運分揀拍照任務實施Thankyou機器人，有“控”玩。傳感器測試【顏色傳感器測試】知識鏈接4：顏色識別傳感器任務4-2有“感情”的傳送帶《智能機械臂控制》python

“有感情”的傳送帶（python）根據(jù)人臉表情，調整傳送帶速度（0-120mm/s）（基于任務3-4

人臉識別工程）任務解析人臉檢測detectMultiScale()OpenCVHaar特征分類器人臉圖像處理人臉表情識別預測CNN分類模型表情標簽（0-6）傳送帶速度控制python任務解析攝像頭圖像66*20120mm/s知識鏈接1：OpenCV人臉檢測人臉檢測（1）Haar特征和級聯(lián)分類器

Haar特征和級聯(lián)分類器是一種經典的“目標檢測算法”，適用于檢測物體在圖像中的位置、大小和姿態(tài)等。在OpenCV中，提供了訓練好的Haar特征和級聯(lián)分類器XML文件，該文件中會描述人體各個部位的Haar特征值。包括：人臉、眼睛、嘴唇等等。Haar特征和級聯(lián)分類器存放目錄：OpenCV安裝目錄中\(zhòng)data\haarcascades目錄下。知識鏈接1：OpenCV人臉檢測人臉檢測（1）Haar特征和級聯(lián)分類器OpenCV-pythonhaarcascade各種分類器文件位置打開分別輸入命令：condaactivatepp_py37pipshowopencv-python為方便程序調用、移植，本任務中，將分類器放到當前工程文件夾face/haarcascades目錄下知識鏈接1：OpenCV人臉檢測人臉檢測（2）多尺度測函數(shù)detectMultiScale()OpenCV中的detectMultiScale函數(shù)可基于物體的特征定位（如Haar特征）檢測圖像中是否包含指定的物體。

檢測器以移動窗口形式搜索圖像，并在每一個窗口運行特征定位，判斷是否存在特定的物體。如果特征定位返回積極的結果，則說明該窗口存在目標物體，算法會保留該窗口位置以及物體在圖像中的精確輪廓。知識鏈接1：OpenCV人臉檢測人臉檢測（3）使用detectMultiScale()進行人臉檢測【參數(shù)說明】image——待檢測圖片，一般為灰度圖像，加快檢測速度；scaleFactor——搜索窗口的比例系數(shù)，每次圖像尺寸減小的比例，默認為1.1，即每次縮小10%minNeighbors——默認3，每一個目標至少要被檢測到3次才算是真的目標flags——使用默認值，新版未使用minSize——檢測到的人臉最小尺寸maxSize——檢測到的人臉最大尺寸【返回值】：目標對象的矩形框向量組知識鏈接2：傳送帶控制傳送帶（1）電機速度設置函數(shù)dType.SetEMotor(api,index,isEnabled,speed,isQueued=0)api:Dobot庫的對象.index：電機編號：0：Stepper1；1：

Stepper2isEnabled：開關狀態(tài)：0：關，1：開speed：運轉速度，脈沖數(shù)/秒isQueued：隊列模式使用開關狀態(tài)：1∶使用隊列模式，0：不使用隊列模式返回：隊列模式：隊列命令索引；立即模式：0知識鏈接2：傳送帶控制傳送帶（2）已知：42步進電機，步距角=1.8度；聯(lián)動軸直徑=36mm求解：速度V(mm/s)對應的脈沖數(shù)/秒①每周脈沖數(shù)已知：步距角=1.8度可得：每周脈沖數(shù)Pulses=360.0/1.8=200②1mm對應的脈沖數(shù)已知：聯(lián)動軸直徑=36mm可得：聯(lián)動軸周長C=3.14*36.0≈113.04mm200脈沖/113.04mm=1.769脈沖/mm;每走1mm，需要發(fā)送1.769個脈沖

③傳送帶最大速度120mm/s;

速度脈沖最大值

=120*1.769≈212脈沖/秒知識鏈接2：傳送帶控制傳送帶（2）已知：42步進電機，步距角=1.8度；聯(lián)動軸直徑=36mm求解：速度V(mm/s)對應的脈沖數(shù)/秒

④步進電機進行了10*16的細分，則：任意速度V(mm/s),對應的每秒脈沖數(shù)為：P=V*1.769*10.0*16.0

步進電機速度范圍：0~212脈沖/秒任務實施：人臉表情驅動傳送帶python注意：確保機械臂已經關機、斷電；傳送帶斷電?。?！Step01:環(huán)境準備傳送帶與機械臂底座stepper1連接pycharm工程