第10章 ROS2的三維視覺應(yīng)用

機器人操作系統(tǒng)（ROS2）入門與實踐機器人操作系統(tǒng)（ROS2）入門與實踐第1章LinuxUbuntu入門基礎(chǔ)第2章ROS2安裝與系統(tǒng)架構(gòu)第3章ROS2編程基礎(chǔ)第4章ROS2機器人運動控制第5章激光雷達(dá)在ROS2中的使用第6章IMU在ROS2中的使用第7章ROS2中的SLAM環(huán)境建圖第8章ROS2中的NAV2自主導(dǎo)航第9章ROS2中的圖像視覺應(yīng)用第10章ROS2的三維視覺應(yīng)用第11章ROS2的機械臂應(yīng)用第12章基于ROS2的綜合應(yīng)用第10章10.2使用PCL進(jìn)行物品檢測

10.1RGB-D相機的三維點云數(shù)據(jù)獲取10.3本章小結(jié)第10章ROS2的三維視覺應(yīng)用

在這一節(jié)實驗中，將會了解三維視覺相機采集的數(shù)據(jù)是以什么形式存在于ROS2系統(tǒng)中。以及如何轉(zhuǎn)換成三維點云庫PCL的數(shù)據(jù)格式，為后續(xù)使用PCL對點云數(shù)據(jù)進(jìn)行進(jìn)一步處理奠定基礎(chǔ)。

三維點云數(shù)據(jù)的獲取是通過訂閱三維相機驅(qū)動節(jié)點發(fā)布的話題，從話題中獲取相機發(fā)出的消息包來實現(xiàn)的。本實驗中，使用的虛擬機器人配備的是KinectV2相機，話題名稱是"/kinect2/sd/points"。話題中的消息包格式為sensor_msgs::PointCloud2。本實驗將會實現(xiàn)一個訂閱者節(jié)點，訂閱相機發(fā)布的話題"/kinect2/sd/points"。從此話題中接收sensor_msgs::PointCloud2類型的消息包，并將其中的點云數(shù)據(jù)轉(zhuǎn)換成PCL的格式，然后把所有三維點的坐標(biāo)值顯示在終端程序里。10.1RGB-D相機的三維點云數(shù)據(jù)獲取10.1RGB-D相機的三維點云數(shù)據(jù)獲取

詳細(xì)操作步驟見教材P329-P338頁10.1RGB-D相機的三維點云數(shù)據(jù)獲取

在10.1節(jié)的實驗里，實現(xiàn)了從ROS機器人頭部的RGB-D相機獲取三維點云數(shù)據(jù)。這一次將繼續(xù)深入，使用PCL實現(xiàn)三維特征提取，并對桌面上的物體進(jìn)行檢測和定位。

具體實現(xiàn)步驟如下：1）將機器人頭部相機采集到的三維點云消息包進(jìn)行格式轉(zhuǎn)換。從ROS2的點云格式轉(zhuǎn)換為PCL點云格式，方便后面調(diào)用PCL的函數(shù)對點云數(shù)據(jù)進(jìn)行處理。2）先使用PCL函數(shù)對點云數(shù)據(jù)進(jìn)行平面提取，將桌面的高度確定下來。3）將桌面高度以下的點集剔除掉，僅保留桌面之上的物體點云。4）使用歐幾里德分割法對保留下來的物體點云進(jìn)行點云簇的提取，將桌面上的多個相隔較遠(yuǎn)的點云簇區(qū)分開。這時可以認(rèn)為每個點云簇就表示一個物體的點云集合。計算每個物體點云集合的質(zhì)心坐標(biāo)，用來表示物體的空間位置。10.2使用PCL進(jìn)行物品檢測10.2使用PCL進(jìn)行物品檢測

詳細(xì)操作步驟見教材P339-P356頁

從輸出信息可以看出，機器人檢測到桌子的高度為0.78米；桌子上有2個物體；兩個物體和機器人的距離一致，都是1.09米；橫向位置不一致，0號物體在機器人右側(cè)0.3米處，1號物體在機器人左側(cè)0.2米處；兩個物體質(zhì)心距離地面的高度都是0.99米。10.3本章小結(jié)

本章主要是對ROS2中的三維視覺進(jìn)行介紹、編程及仿真。首先編程并仿真實現(xiàn)