計(jì)算機(jī)視覺-第10章1-目標(biāo)檢測(cè)和物體追蹤

人工智能視覺課程-目標(biāo)檢測(cè)和物體追蹤人工智能學(xué)院01項(xiàng)目導(dǎo)入02項(xiàng)目任務(wù)03項(xiàng)目目標(biāo)04知識(shí)鏈接05項(xiàng)目準(zhǔn)備06任務(wù)實(shí)施07任務(wù)拓展08項(xiàng)目小結(jié)項(xiàng)目導(dǎo)入2024/1/153物體追蹤對(duì)圖像序列中的目標(biāo)進(jìn)行檢測(cè)->識(shí)別->跟蹤的過程

項(xiàng)目導(dǎo)入2024/1/154物體追蹤

項(xiàng)目導(dǎo)入2024/1/155視頻目標(biāo)的檢測(cè)與跟蹤目標(biāo)檢測(cè)物體關(guān)聯(lián)

01項(xiàng)目導(dǎo)入02項(xiàng)目任務(wù)03項(xiàng)目目標(biāo)04知識(shí)鏈接05項(xiàng)目準(zhǔn)備06任務(wù)實(shí)施07任務(wù)拓展08項(xiàng)目小結(jié)本章的任務(wù)是使得電腦具有識(shí)別并追蹤視頻中的人體的能力。電腦可以將一段視頻中的每個(gè)人檢測(cè)出來，并用唯一的id標(biāo)記，同時(shí)畫出行人的運(yùn)動(dòng)軌跡。項(xiàng)目任務(wù)2024/1/15701項(xiàng)目導(dǎo)入02項(xiàng)目任務(wù)03項(xiàng)目目標(biāo)04知識(shí)鏈接05項(xiàng)目準(zhǔn)備06任務(wù)實(shí)施07任務(wù)拓展08項(xiàng)目小結(jié)知識(shí)目標(biāo)了解目標(biāo)檢測(cè)相關(guān)算法的基本概念了解物體追蹤的流程技能目標(biāo)掌握基于YOLO的目標(biāo)檢測(cè)方法掌握基于卡爾曼濾波和目標(biāo)檢測(cè)結(jié)果的物體追蹤方法掌握物體追蹤的可視化方法項(xiàng)目目標(biāo)2024/1/159職業(yè)素養(yǎng)目標(biāo)培養(yǎng)學(xué)生嚴(yán)謹(jǐn)、細(xì)致、規(guī)范的職業(yè)素質(zhì)培養(yǎng)學(xué)生團(tuán)隊(duì)協(xié)作、表達(dá)溝通能力培養(yǎng)學(xué)生跟蹤新技術(shù)、創(chuàng)新設(shè)計(jì)能力培養(yǎng)學(xué)生的技術(shù)標(biāo)準(zhǔn)意識(shí)、操作規(guī)范意識(shí)、服務(wù)質(zhì)量意識(shí)等項(xiàng)目目標(biāo)2024/1/151001項(xiàng)目導(dǎo)入02項(xiàng)目任務(wù)03項(xiàng)目目標(biāo)04知識(shí)鏈接05項(xiàng)目準(zhǔn)備06任務(wù)實(shí)施07任務(wù)拓展08項(xiàng)目小結(jié)輸入：一張圖片輸出：一個(gè)或多個(gè)邊界框+類別標(biāo)簽知識(shí)鏈接-目標(biāo)檢測(cè)2024/1/1512知識(shí)鏈接-目標(biāo)檢測(cè)2024/1/1513Detectionasregression？直接輸出包圍框坐標(biāo)每張圖片需要不同數(shù)量的輸出

知識(shí)鏈接-目標(biāo)檢測(cè)2024/1/1514Detectionas

classification？參考第七章汽車檢測(cè)項(xiàng)目將圖像用滑動(dòng)窗口分割成為不同的區(qū)域CNN每次對(duì)一個(gè)區(qū)域進(jìn)行分類效率低

知識(shí)鏈接-目標(biāo)檢測(cè)2024/1/1515Regionproposal候選框根據(jù)紋理、顏色等信息，找到候選框?qū)蜻x框區(qū)域做分類三類方法：R-CNNYOLOSSD知識(shí)鏈接-目標(biāo)檢測(cè)2024/1/1516R-CNN（Region-BasedConvolutionalNeuralNetwork）R-CNN（2014）FastR-CNN（2015）FasterR-CNN（2015）知識(shí)鏈接-RCNN2024/1/1517RegionProposal生成候選區(qū)域特征提取器分類器R-CNN通過基本算法（比如selectivesearch）產(chǎn)生候選框?qū)γ總€(gè)候選框分別輸入一個(gè)卷積網(wǎng)絡(luò)，輸出特征特征分別經(jīng)過分類和回歸器，得到類別和最后的框問題訓(xùn)練時(shí)間長(zhǎng)（84h）預(yù)測(cè)時(shí)間長(zhǎng)（>47s）知識(shí)鏈接-RCNN2024/1/15182024/1/1519FastR-CNN直接輸入卷積網(wǎng)絡(luò)使用ROIPooling統(tǒng)一候選框大小網(wǎng)絡(luò)輸出類別和位置信息問題仍使用傳統(tǒng)算法得到候選框2.3s知識(shí)鏈接-RCNN2024/1/1520FasterR-CNN用網(wǎng)絡(luò)從特征圖產(chǎn)生候選框（RPN）基于錨框進(jìn)行過濾（二分類）和變換（以接近和它最近的真實(shí)框）0.2s知識(shí)鏈接-RCNN2024/1/1521最早一類基于錨框和CNN的目標(biāo)檢測(cè)算法FasterR-CNN和MaskR-CNN是在追求高精度場(chǎng)景下的常用算法知識(shí)鏈接-RCNNSSD（SingleShotDetection）取消RPN網(wǎng)絡(luò)一個(gè)基礎(chǔ)網(wǎng)絡(luò)抽取特征，多個(gè)卷積層，每段都生成錨框，淺層擬合小物體，深層擬合大物體，對(duì)每個(gè)錨框進(jìn)行類別和變換預(yù)測(cè)錨框大量重疊，浪費(fèi)計(jì)算量知識(shí)鏈接-SSD2024/1/1522YOLO（YouOnlyLookOnce）端到端的單個(gè)神經(jīng)網(wǎng)絡(luò)將圖片均分為S*S的錨框，每個(gè)錨框預(yù)測(cè)B個(gè)目標(biāo)框一個(gè)類別存在于一個(gè)給定目標(biāo)框中的概率需要根據(jù)網(wǎng)絡(luò)輸出進(jìn)行簡(jiǎn)單運(yùn)算得到優(yōu)化版本可達(dá)155幀率YOLOv1（2015）->YOLOv2（2016）->YOLOv3（2018）->YOLOv5（2020）…知識(shí)鏈接-YOLO2024/1/1523YOLOv1網(wǎng)絡(luò)結(jié)構(gòu)乘法運(yùn)算多物體追蹤將相同ID分配給包含相同目標(biāo)的邊界框

卡爾曼濾波法動(dòng)態(tài)系統(tǒng)的狀態(tài)估計(jì)算法可用來確定當(dāng)前幀中物體和上一幀中的對(duì)應(yīng)關(guān)系，并且在物體遇到遮擋的時(shí)候補(bǔ)全軌跡。知識(shí)鏈接-物體追蹤2024/1/1524知識(shí)鏈接-物體追蹤2024/1/1525最簡(jiǎn)單的方法–計(jì)算前后兩幀IOU最高的識(shí)別框知識(shí)問答2024/1/1526什么是IoUIOU（IntersectionOverUnion）交并比目標(biāo)檢測(cè)的量化方法之一預(yù)測(cè)的邊界框和真實(shí)的物體包圍框的交并比知識(shí)鏈接-IOU2024/1/1527最簡(jiǎn)單的方法–計(jì)算前后兩幀IOU最高的識(shí)別框知識(shí)鏈接-物體追蹤2024/1/1528最簡(jiǎn)單的方法–計(jì)算前后兩幀IOU最高的識(shí)別框知識(shí)鏈接-物體追蹤2024/1/1529指定識(shí)別目標(biāo)最簡(jiǎn)單的方法–計(jì)算前后兩幀IOU最高的識(shí)別框知識(shí)鏈接-物體追蹤2024/1/1530最簡(jiǎn)單的方法–計(jì)算前后兩幀IOU最高的識(shí)別框知識(shí)鏈接-物體追蹤2024/1/1531最簡(jiǎn)單的方法–計(jì)算前后兩幀IOU最高的識(shí)別框知識(shí)鏈接-物體追蹤2024/1/1532找到IoU最大的匹配最簡(jiǎn)單的方法–計(jì)算前后兩幀IOU最高的識(shí)別框知識(shí)鏈接-物體追蹤2024/1/1533更新跟蹤框最簡(jiǎn)單的方法–計(jì)算前后兩幀IOU最高的識(shí)別框知識(shí)鏈接-物體追蹤2024/1/1534最簡(jiǎn)單的方法–計(jì)算前后兩幀IOU最高的識(shí)別框知識(shí)鏈接-物體追蹤2024/1/1535最簡(jiǎn)單的方法–計(jì)算前后兩幀IOU最高的識(shí)別框知識(shí)鏈接-物體追蹤2024/1/1536最簡(jiǎn)單的方法–計(jì)算前后兩幀IOU最高的識(shí)別框知識(shí)鏈接-物體追蹤2024/1/1537最簡(jiǎn)單的方法–計(jì)算前后兩幀IOU最高的識(shí)別框識(shí)別框丟失知識(shí)鏈接-物體追蹤2024/1/1538最簡(jiǎn)單的方法–計(jì)算前后兩幀IOU最高的識(shí)別框識(shí)別框丟失知識(shí)鏈接-物體追蹤2024/1/1539最簡(jiǎn)單的方法–計(jì)算前后兩幀IOU最高的識(shí)別框識(shí)別框丟失知識(shí)鏈接-物體追蹤2024/1/1540使用卡爾曼濾波更新軌跡位置使用上一次的最優(yōu)結(jié)果預(yù)測(cè)當(dāng)前的值同時(shí)使用觀測(cè)值修正當(dāng)前值，得到最優(yōu)結(jié)果知識(shí)鏈接-卡爾曼濾波2024/1/1541使用卡爾曼濾波更新軌跡位置使用上一次的最優(yōu)結(jié)果預(yù)測(cè)當(dāng)前的值同時(shí)使用觀測(cè)值修正當(dāng)前值，得到最優(yōu)結(jié)果知識(shí)鏈接-卡爾曼濾波2024/1/1542過程噪聲（模型自身的誤差）協(xié)方差矩陣（描述不同觀測(cè)信息之間的關(guān)系）對(duì)當(dāng)前狀態(tài)的初步估計(jì)狀態(tài)