機器人操作系統(tǒng)（ROS2）入門與實踐課件：ROS2中的圖像視覺應(yīng)用

機器人操作系統(tǒng)（ROS2）入門與實踐

9.3基于圖像視覺的目標(biāo)追蹤實現(xiàn)

ROS2中的圖像視覺應(yīng)用9.2OpenCV顏色特征提取和目標(biāo)定位9.1視覺圖像數(shù)據(jù)的獲取9.4基于圖像視覺的人臉檢測實現(xiàn)9.5本章小結(jié)9.1視覺圖像數(shù)據(jù)的獲取

詳細操作步驟見教材P260-P272頁

視覺圖像數(shù)據(jù)的獲取是通過訂閱相機驅(qū)動節(jié)點發(fā)布的話題，從話題中獲取相機發(fā)出的消息包來實現(xiàn)的。機器人頭部安裝的是KinectV2RGB-D相機，對應(yīng)的話題名稱為“/kinect2/qhd/image_raw”，話題中的消息包格式為sensor_msgs::Image。9.2OpenCV顏色特征提取和目標(biāo)定位

詳細操作步驟見教材P272-P291頁

在9.1節(jié)的實驗里，實現(xiàn)了從機器人的頭部相機獲取機器人的視覺圖像。這一次將繼續(xù)深入，使用OpenCV實現(xiàn)機器人視覺中的顏色特征提取和目標(biāo)定位功能。1）對機器人視覺圖像進行顏色空間轉(zhuǎn)換，從RGB空間轉(zhuǎn)換到HSV空間，排除光照影響。2）對轉(zhuǎn)換后的圖像進行二值化處理，將目標(biāo)物體分割提取出來。3）對提取到的目標(biāo)像素進行計算統(tǒng)計，得出目標(biāo)物的質(zhì)心坐標(biāo)。9.2OpenCV顏色特征提取和目標(biāo)定位9.3基于圖像視覺的目標(biāo)追蹤實現(xiàn)

詳細操作步驟見教材P292-P310頁

在9.2節(jié)的實驗里，使用OpenCV實現(xiàn)機器人視覺中的顏色特征提取和目標(biāo)定位功能。如圖所示，這一次將對目標(biāo)定位功能進行擴展，根據(jù)目標(biāo)位置計算速度并輸出給機器人，讓機器人跟隨球進行移動，實現(xiàn)一個目標(biāo)跟隨的閉環(huán)控制。9.3基于圖像視覺的目標(biāo)追蹤實現(xiàn)9.4基于圖像視覺的人臉檢測實現(xiàn)本節(jié)借助現(xiàn)成的人臉識別算法庫來實現(xiàn)人臉檢測，這個算法庫的調(diào)用在wpr_simulaiton2的face_detector.py節(jié)點中已經(jīng)實現(xiàn)，直接使用即可。face_detector.py節(jié)點會訂閱話題“/face_detector_input”，作為人臉圖像的輸入。圖像中的人臉被檢測到后，其坐標(biāo)值會發(fā)布到話題“/face_position”中去。所以，這個實驗只需要編寫一個節(jié)點，從相機的話題中獲取圖片，轉(zhuǎn)發(fā)給face_detector.py節(jié)點進行人臉檢測。然后從face_detector.py的“/face_position”話題獲取人臉坐標(biāo)結(jié)果即可。9.4基于圖像視覺的人臉檢測實現(xiàn)

詳細操作步驟見教材P311-P326頁9.5本章小結(jié)

本章主要是對ROS2中的圖像視覺進行介紹、編程及仿真。首先編程并仿真實現(xiàn)了從機器人的頭部相機獲取視覺圖像；接著，使用OpenCV，編程并仿真實現(xiàn)機器人視覺中的顏色特征提取和目標(biāo)定位功能；然后，對目標(biāo)定位功能進行擴展，根據(jù)目標(biāo)位置計算速度并輸出