智能機器人創(chuàng)新實踐 課件 第八章 移動機器人視覺追蹤

智能機器人創(chuàng)新實踐第八章

移動機器人視覺追蹤

18移動機器人視覺追蹤2主要實現(xiàn)EAIbot移動機器人追蹤網球移動的項目。這個項目的實驗效果如下圖所示。這個項目旨在幫助讀者進一步掌握RGB-D相機的使用，通過兩種視覺目標檢測實現(xiàn)方法，完成移動機器人視覺追蹤的任務。8移動機器人視覺追蹤3本次實驗為實現(xiàn)視覺追蹤的效果，采用了如下兩種方法實現(xiàn)：采用OpenCV實現(xiàn)目標檢測

首先借助OpenCV將攝像頭所取每一幀圖像轉換為BGR格式圖片，通過目標網球在圖片中的位置和面積大小來控制EAIbot機器人的運動。采用EasyDL物體檢測模型實現(xiàn)目標檢測

在百度AI開放平臺EasyDL圖像中的物體檢測模塊創(chuàng)建并訓練好目標檢測模型，然后通過調用百度API接口完成目標檢測，最后利用移動機器人的目標跟蹤算法對目標網球進行自動跟蹤。具體的項目執(zhí)行步驟如下圖所示。8移動機器人視覺追蹤4視覺追蹤原理：傳統(tǒng)目標檢測算法

傳統(tǒng)目標檢測算法分三步：選取區(qū)域，提取圖像特征和分類器分類。常用的圖像特征有四種：顏色、形狀、梯度和模式。顏色特征主要有RGB如圖、HSV和Colornames三種。RGB的優(yōu)點是能直觀表達顏色，如下圖。8移動機器人視覺追蹤5視覺追蹤原理：傳統(tǒng)目標檢測算法

HSV(色調H、飽和度S和明度V)的優(yōu)點是受明亮度變化影響?。ㄈ缦聢D），ColorNames比RGB能更好的表達顏色。常見的有Color空間不變特征（color-SIFT）算法、HSV空間不變特征（HSV-SIFT）算法、色調直方圖不變特征（Hue-SIFT）算法。8移動機器人視覺追蹤6視覺追蹤原理：基于深度學習的目標檢測算法

基于深度學習的目標檢測主要是通過各種神經網絡來實現(xiàn)目標檢測，也可以細分為三種：基于候選區(qū)域的目標檢測算法、基于回歸的目標檢測算法和基于增強學習的目標檢測算法?；诨貧w的目標檢測算法包括YOLO系列算法和SSD算法。①

其方式就是徹底去掉了region思想，直接在一個神經網絡中進行回歸分類。②

其特點是算法速度快，但是檢測多個目標時，有時會忽略較小的目標而影響精度。8移動機器人視覺追蹤7基于EasyDL的物體檢測模型：EasyDL平臺簡介

EasyDL是一個專業(yè)面向于企業(yè)客戶和面向個人開發(fā)者用戶的零基礎門檻定制AI應用開發(fā)服務平臺，為所有零算法基礎門檻的應用開發(fā)者客戶提供了定制高精度AI模型應用的專業(yè)服務，包括數據處理、模型開發(fā)訓練、服務管理、模型應用部署功能模塊，在本次實驗中要用到其中的物體檢測功能。8移動機器人視覺追蹤8基于EasyDL的物體檢測模型：模型訓練

在本項目中，選取黃綠色網球作為目標檢測對象，采取在不同環(huán)境下不同明亮程度所拍攝的網球圖片作為數據集。8移動機器人視覺追蹤9基于EasyDL的物體檢測模型：模型訓練及評估

導入已創(chuàng)建好的數據集并進行標注。在全部圖片標注完成后，配置訓練環(huán)境為TeslaGPU_P4_8G現(xiàn)存單卡_12核CPU_40G內存，數據增強策略選取默認配置。8移動機器人視覺追蹤10基于EasyDL的物體檢測模型：模型訓練及評估

在模型訓練完成后，另外選取不在數據集中的網球圖片，進行模型校驗，查看模型目標檢測的準確度。完成模型校驗，即可查看完整的模型評估報告。在報告中，可以看到模型訓練的整體情況說明，包括基本結論、mAP、精確率、召回率。8移動機器人視覺追蹤11機器人視覺追蹤實