《機械臂智能控制》 課件 任務5-1 積木識別

智能產(chǎn)品設計制作綜合實訓

——機械臂視覺抓取系統(tǒng)合作QQ：243001978CONTENTS目錄積木識別與抓取撲克牌識別與抓取合作QQ：243001978Part1積木識別與抓取1.1靜態(tài)積木識別與定位抓取

OpenCV識別，定位吸取，定位抓?。?）1.2靜態(tài)積木識別與任意位置抓取

相機標定，坐標系變換，隨意位置抓?。?）實訓安排Part2撲克牌識別與抓取2.1撲克牌識別（OpenCV）（4）2.2靜態(tài)撲克牌任意位置吸?。?）2.3撰寫實訓報告（4）任務5-1積木識別《智能機械臂控制》主講教師：吳蓬勃知識鏈接1：積木識別抓取的流程工作流程1.積木識別獲取積木中心像素坐標2.坐標變換像素坐標->機械臂坐標3.抓取機械臂運動控制知識鏈接2：圖像預處理OpenCV圖像噪聲是指存在于圖像數(shù)據(jù)中不必要的或多余的干擾信息，噪聲會讓圖像變得不清楚，妨礙人們對圖像進行理解。（1）來源：噪聲可能來自于圖像獲取、傳輸、處理或存儲過程中的各種因素。（2）表現(xiàn)形式：噪聲在圖像中常表現(xiàn)為一些孤立的像素點或像素塊，它們與要研究的對象不相關，以無用的信息形式出現(xiàn)，擾亂圖像的可觀測信息。積木識別——預備知識：圖像的噪聲知識鏈接2：圖像預處理OpenCV圖像噪聲種類：高斯噪聲、椒鹽噪聲、斑點噪聲、泊松噪聲等。積木識別——預備知識：圖像的噪聲高斯噪聲椒鹽噪聲每個像素點的噪聲服從獨立同分布的高斯分布像素值突然變?yōu)樽畲蠡蜃钚≈抵R鏈接2：圖像預處理OpenCV圖像噪聲種類：高斯噪聲、椒鹽噪聲、斑點噪聲、泊松噪聲等。積木識別——預備知識：圖像的噪聲高斯噪聲產(chǎn)生原因：圖像在拍攝時不夠明亮、亮度不夠均電路各元器件自身噪聲和相互影響；傳感器長期工作溫度過高等。采用高斯濾波器進行處理知識鏈接2：圖像預處理OpenCV圖像噪聲種類：高斯噪聲、椒鹽噪聲、斑點噪聲、泊松噪聲等。積木識別——預備知識：圖像的噪聲椒鹽噪聲產(chǎn)生原因：一般低光照條件下，圖像的噪聲多為椒鹽噪聲而不是高斯噪聲，比如礦井下的圖像。椒鹽噪聲通常使用中值濾波器進行處理。知識鏈接2：圖像預處理OpenCVS0:原圖S1:高斯模糊減少圖像噪聲、降低細節(jié)層次積木識別：知識鏈接3：標準的HSV空間視覺識別汽車剮蹭——掉漆知識鏈接3：標準的HSV空間視覺識別汽車油漆：紅？汽車油漆調(diào)色是個技術活知識鏈接3：標準的HSV空間視覺識別【HSV空間】H:色調(diào)，色彩信息。角度度量：0~360°S:飽和度，顏色的深度：0%—100%V:色調(diào)，色彩的明亮程度：0%—100%RGBHSVRGB顏色空間僅適合于顯示系統(tǒng)，HSV空間則更適合于圖像處理知識鏈接3：OpenCV的HSV空間視覺識別H:色調(diào)，色彩信息，0-180S:飽和度，顏色的深度，0-255V:色調(diào)，色彩的明亮程度，0-255【轉換】：Ho=H/360*180;So=S/100*255Vo=V/100*255

黑灰白紅橙黃綠青藍紫hmin000015611263578100125hmax1801801801018025347799124155smin00043434343434343smax2554330255255255255255255255vmin04622146464646464646vmax46220255255255255255255255255典型顏色HSV范圍知識鏈接3：RGB->HSVOpenCVS2:HSV圖方便單一顏色的提取S1:高斯模糊減少圖像噪聲以及降低細節(jié)層次知識鏈接4：腐蝕去噪OpenCVS2:HSV圖方便單一顏色的提取S3:腐蝕去除噪聲點知識鏈接5：二值化與輪廓標識OpenCVS4:去除背景部分將圖像轉化為二值化圖像S5:識別結果紅色積木輪廓添加黃框獲取積木坐標S0:原圖S1:高斯模糊S2:RGB->HSVS3:腐蝕S4:二值化S5:輪廓標識知識鏈接：積木識別流程OpenCV知識鏈接6：旋轉角度OpenCVrect=cv2.minAreaRect(cnt)Rect=((x,y),(w,h),angle)①

rect[0]返回矩形的中心點像素坐標（x,y）②

rect[1]返回矩形的寬和高（w,h）③

rect[2]返回矩形的旋轉角度α

。x1軸順時針旋轉最先重合的邊為寬度w;α為x1軸順時針旋轉到w的角度，α取值范圍為(0°,90°]旋轉角度α（OpenCV4.5版本）夾爪（與x1

平行）旋轉角度:可以使用寬、高的值來確定。知識鏈接6：旋轉角度OpenCVOpenCV4.5版本旋轉角度angle:0-180知識鏈接7：中心點坐標OpenCV#獲取最小外接矩陣rect=cv2.minAreaRect(points)#獲取矩形四個頂點坐標，浮點型box=cv2.boxPoints(rect)OpenCV4.5版本注：四個點的順序，需根據(jù)坐標值確定block_angle=77box=[

[331.72372226.27055][396.45773210.82268][426.19125335.42035][361.45724350.86823]]中心點坐標任務實施：積木識別Step01：新建工程積木識別（1）在磁盤根目錄下新建文件夾Robot（2）打開Pycharm，新建工程Step01：新建工程積木識別（3）輸入Robot文件夾路徑、勾選編譯器Step01：新建工程積木識別（4）在Conda環(huán)境下，選擇pp_py37虛擬環(huán)境Step01：新建工程積木識別（5）創(chuàng)建工程Step02：創(chuàng)建目錄積木識別（1）創(chuàng)建目錄（2）輸入目錄名稱：S1_ColorBlockFinderStep02：創(chuàng)建目錄積木識別（3）在目錄S1_ColorBlockFinder下，創(chuàng)建3個子目錄Step03：創(chuàng)建python文件積木識別（1）在目錄S11_ColorBlock_Finder下，創(chuàng)建python文件S11_BlockRecognize.pyStep03：拷貝python文件積木識別（2）

將攝像頭文件VideoStream.py拷貝到

S11_ColorBlock_Finder目錄下，最終文件結構如下圖：Step04：

代碼文件解析BlockRecognize.py

主函數(shù)文件攝像頭配置FindBlockPixelLocation積木識別，獲取中心坐標PickBlock主函數(shù)VideoStream.py攝像頭圖像捕獲相機參數(shù)配置相機開啟捕獲圖像已提供源代碼任務實施：積木識別OpenCV任務5-1積木識別（python）通過pycharm進行python編程，添加視頻采集文件VideoStream.py編寫代碼S11_BlockRecognize.py