《機械臂智能控制》 課件 任務(wù)6-1 撲克牌識別-數(shù)據(jù)集制作

任務(wù)6-1撲克牌識別——數(shù)據(jù)集制作《智能機械臂控制》主講教師：吳蓬勃任務(wù)解析：撲克牌動態(tài)抓取視覺抓取撲克牌識別機械臂抓取撲克牌動態(tài)抓取坐標(biāo)變換S0:原圖S1:高斯模糊S2:RGB->HSVS3:腐蝕S4:二值化S5:輪廓標(biāo)識知識鏈接1：積木識別流程OpenCV知識鏈接1：基于OpenCV的積木識別OpenCV傳統(tǒng)計算機視覺存在的問題：易受到光照、角度等因素影響特征提取依賴人工設(shè)計的提取器泛化能力及魯棒性較差知識鏈接2：基于深度學(xué)習(xí)的撲克牌識別深度學(xué)習(xí)深度學(xué)習(xí)在計算機視覺領(lǐng)域的三個典型應(yīng)用：

目標(biāo)分類目標(biāo)檢測語義分割知識鏈接2：基于深度學(xué)習(xí)的撲克牌識別深度學(xué)習(xí)第1步：在圖像中找到物體：前景和背景區(qū)分開主體檢測知識鏈接2：基于深度學(xué)習(xí)的撲克牌識別深度學(xué)習(xí)第2步：判斷物體的種類（分類）？圖片分類知識鏈接3：PP-ShiTu圖像識別系統(tǒng)深度學(xué)習(xí)（1）PP-ShiTu輕量級通用圖像識別系統(tǒng)輸入圖像主體檢測物體特征提取向量檢索底庫圖片gallery（訓(xùn)練集圖片）底庫圖片gallery特征庫識別結(jié)果特征提取知識鏈接3：PP-ShiTu圖像識別系統(tǒng)深度學(xué)習(xí)（2）快速體驗

PP-ShiTuandroiddemo任務(wù)實施：撲克牌數(shù)據(jù)集制作Step01：數(shù)據(jù)采集數(shù)據(jù)集【環(huán)境準(zhǔn)備】：新建文件夾：1_Materials，其中包含：新建文件夾程序文件Step01：數(shù)據(jù)采集數(shù)據(jù)集（1）

每個同學(xué)4張撲克牌，每張撲克牌不少于50張圖像要求：調(diào)整撲克牌姿態(tài)、背景、光照、角度等（2）保存圖片到文件夾。

文件夾命名：數(shù)字+花色字符

；例如：

方塊3對應(yīng)3DStep01：數(shù)據(jù)采集數(shù)據(jù)集（3）

規(guī)范圖片名稱通過pycharm運行S11_changeFileName.py，修改圖片名稱：前綴為：數(shù)字+花色字符_學(xué)號末3位_

Step02：數(shù)據(jù)標(biāo)注數(shù)據(jù)集（1）使用labelImg，對采集的圖像進(jìn)行圖像標(biāo)注打開圖像所在文件夾設(shè)置結(jié)果保存文件夾Step02：數(shù)據(jù)標(biāo)注數(shù)據(jù)集畫矩形打開下一張（2）用矩形框選圖中撲克牌，類別命名規(guī)則：數(shù)字+花色字符。框選撲克牌，輸入類別運行S12_xml_splitPic.pyStep03：圖像分割數(shù)據(jù)集讀取標(biāo)注的XML配置文件截取圖像中的目標(biāo)物品生成單獨的物品圖像存儲Step03：圖像分割數(shù)據(jù)集原圖與標(biāo)注文件分割后的圖片運行S13_dataSetSplit.pyStep04：數(shù)據(jù)集劃分?jǐn)?shù)據(jù)集將圖像數(shù)據(jù)集按照一定比例劃分為：訓(xùn)練集和測試集。Step05：數(shù)據(jù)集信息文件生成數(shù)據(jù)集與分類任務(wù)數(shù)據(jù)集不同，圖像檢索任務(wù)的數(shù)據(jù)集分為以下三部分：訓(xùn)練數(shù)據(jù)集（traindataset）：用來訓(xùn)練模型，使模型能夠?qū)W習(xí)該集合圖像特征。底庫數(shù)據(jù)集（gallerydataset）：用來提供圖像檢索任務(wù)中的底庫數(shù)據(jù)，該集合可與訓(xùn)練集或測試集相同，也可以不同，當(dāng)與訓(xùn)練集相同時，測試集的類別體系應(yīng)與訓(xùn)練集的類別體系相同。測試數(shù)據(jù)集（querydataset）：用來測試模型的好壞，通常要對測試集的每一張測試圖片進(jìn)行特征提取，之后和底庫數(shù)據(jù)的特征進(jìn)行距離匹配，得到識別結(jié)果，后根據(jù)識別結(jié)果計算整個測試集的指標(biāo)?！咀⒁狻坑?xùn)練集、底庫數(shù)據(jù)集和測試數(shù)據(jù)集，均使用

txt

文件指定。Step05：數(shù)據(jù)集信息文件生成數(shù)據(jù)集目標(biāo)：生成含有數(shù)據(jù)集信息的txt文件。用途：分類模型訓(xùn)練、特征提取。內(nèi)容格式：數(shù)據(jù)的路徑數(shù)據(jù)的label信息數(shù)據(jù)的uniqueid。注：當(dāng)?shù)讕鞌?shù)據(jù)集和檢索時的查詢數(shù)據(jù)不同時，無需增加uniqueidStep05：數(shù)據(jù)集信息文件生成數(shù)據(jù)集運行S14_process_format.py任務(wù)數(shù)據(jù)集任務(wù)6-1撲克牌數(shù)據(jù)集制作【作業(yè)提交】：

（1）數(shù)