目標檢測綜述

區(qū)域選擇這一步是為了對目的的位置進行定位。由于目的可能出現(xiàn)在特性提取由于目的的形態(tài)多樣性，光照變化多樣性，背景多樣性等因（SIFT、HOG等）分類器重要有SVM,AdaboostRegionProposal對于滑動窗口存在的問題，regionproposal提供了較好的解決方案。proposal（候選區(qū)域）是預先找出圖中目的可能出現(xiàn)的位置。但由于regionproposal（幾regionproposalPAMI“Whatmakesforeffectivedetection提取+分類。對于圖像分類，不得不提的是ImageNet（ILSVRC）GeoffreyHintonKrizhevsky使用卷積ILSVRCTop-5error15.3%，而使用傳統(tǒng)辦法的ResNet和谷歌的InceptionV4模型的top-5error4%CNN對其進行圖像分類是一種不錯的選擇。，RBG（RossB.Girshick）大R-CNN框架，使得目的檢測獲得巨大突破，并啟動了基于深度學習目的R-CNN(CVPR,TPAMI) (Region-basedConvolutionNetworksforAccurateObjectdetectionandSegmentation)R-CNN的目的檢測流程：selectivesearchregionproposalregionproposal縮放（warp）227x227CNN，CNNfc7層的輸出作為特性。regionproposalCNNSVMCNN模型，以及用于分類的SVM：使用在ImageNet上預訓練的模型SVM。regionproposalCNN全連接層輸入需要確保上圖少畫了一種過程——SVM分好類的regionproposal做邊框回歸（bounding-boxregression)regionproposal進行糾正的線性回歸proposalregionproposal跟目的位置偏移較大，即便是分類對的了，但是由于IoU(regionproposalGroundTruth的窗口的交集比并集的比值)0.5小結：R-CNNPASCALVOCDPMHSC34.3%直接提高到66%(mAP)regionproposal+CNN的巨大優(yōu)勢。R-CNN框架也存在著諸多問題:訓練分為多個階段，環(huán)節(jié)繁瑣:微調(diào)網(wǎng)絡+SVM+訓練耗時，占用磁盤空間大：5000G速度慢:GPU,VGG1647s。針對速度慢的這個問題，SPP-NET給出了較好的解決方案。SPP-NET(ECCV,TPAMI) (SpatialPyramidPoolinginDeepConvolutionalNetworksforVisualRecognition)先看一下R-CNN為什么檢測速度這樣慢，一張圖都需要47s！認真看下成一張圖像進行后續(xù)解決(CNN提特性+SVM分類)，事實上對一張圖像進行了次regionproposal不regionproposalregionproposal的卷積層特性輸入到全連節(jié)省大量時間regionproposal的尺度不同，直接這樣輸入全連接層必定是不行的，由于全連接層輸入必須是固定的長度。SPP-NET正好能512張?zhí)匦詧Dwindowregionproposal對應到特性圖的采樣（spatialpyramidpooling）window4*4,2*2,1*1的塊，然max-poolingwindowSPP層之后都得到了一種長度為(4*4+2*2+1)*512維度的特性向量，將這個作為全連接層的輸入SPP-NETR-CNN能夠大大加緊目的檢測的速訓練分為多個階段，環(huán)節(jié)繁瑣:微調(diào)網(wǎng)絡+SVM+器）針對這兩個問題，RBGFastR-CNN,一種精簡而快速的目的檢測框架。FastR-R-CNNSPP-NETFastR-CNNR-CNN框架圖對比，能夠發(fā)現(xiàn)重要有兩處不同：一是最后一種卷積層后加了一種ROIpoolinglayer，二是損失函數(shù)使用了多任務損失函數(shù)(multi-taskloss)CNN網(wǎng)絡中訓練。ROIpoolinglayer事實上是SPP-NET的一種精簡版，SPP-NET對每個proposalROIpoolinglayer只需要下采樣到一7x7VGG16conv5_3512regionproposal7*7*512維度的特性向量作為全連接層的輸入。R-CNNFastR-CNNsoftmax替代SVM分類，同時運用多任務損失函數(shù)邊框回歸也加入到了網(wǎng)絡中，這樣整個的訓練過程是端到端的(regionproposal提取階段)。FastR-CNN在網(wǎng)絡微調(diào)的過程中，將部分卷積層也進行了微調(diào)，獲得了測試的成果為66.9%(mAP)VOC+VOC上測試成果為（數(shù)據(jù)集的擴充能大幅提高目的檢測性能VGG16缺點：regionproposalselectivesearch，目的檢測時間大多消耗0.32s（regionproposalselectivesearch先提取處來CNNregionproposal并對其分類？FasterR-CNN框架就是符合這樣需要的目的檢測框架。 ObjectDetectionwithRegionProposalNetworks)regionproposal+CNN分類的這種目的檢測框架中，regionproposal質(zhì)量目的檢測的性能（假陽例少。RPN(RegionProposalNetworks)網(wǎng)絡應運而生。RPNregionproposal，使用的辦法本anchorregionproposal。RPN網(wǎng)絡構造圖（ZF模型，給定輸入圖像（假設分600*100040*603*3的卷積核（滑動窗口）與特性圖進行卷積，最后一層卷256featuremap3*3256維的特性向量，后邊接clslayerreglayer分別用于分類和邊框回歸（FastR-CNN類似，只但是這里的類別只有目的和背景兩個類別。3*3滑窗對應的每個特性區(qū)域同時預測輸入圖像3種尺度（128,256,512）3種長寬比（1:1,1:2,2:1）regionproposalanchor。因此對于這個40*60featuremap0(40*60*9)anchor，也就是預測0regionproposal16*16（中42*2pooling操作9anchor，對應了三種尺9anchor外的窗口regionproposal。NIPSFasterR-CNN使用RPN網(wǎng)絡+FastR-CNNFastR-CNNregionproposal現(xiàn)在是用RPN（selectivesearchRPNFastR-CNN4階段的訓練辦法:ImageNetRPN使用(1)RPNregionproposalFastR-CNN使用(2)FastR-CNNRPN,固定(2)FastR-CNN的卷積層，使用(3)RPNregionproposal微RPNFastR-CNNproposalregionproposalRPN30070%，目的檢測5幀（selectivesearch+FastR-CNN2~3s一張。需要注proposalROIpooling層，這才是一種真正意義上的使用一種CNN網(wǎng)絡實現(xiàn)端到端目的檢測的框架。的提高。然而FasterR-CNN還是達不到實時的目的檢測，預先獲取regionproposalproposalYOLO這類目的檢測辦法的出現(xiàn)讓實時性也變的成為可能。總的來說，從R-CNN,SPP-NETFastR-CNN,FasterR-CNN一路走來，基于深度學習目的檢測的流程變得regionproposal的R-CNN系列目的檢測辦法是現(xiàn)在目的最重要的一種分支。FasterR-CNN的辦法現(xiàn)在是主流的目的檢測辦法，但是速度上并不能滿足實 YOLO7*72個邊框（涉及每個邊框是目的的置信度以7*7*2個目的窗口，然后根據(jù)閾值去除可能性比NMS去除冗余窗口即可。YOLOGoogLeNet的模型比較類似，重4096維的全連接層，然后后邊又7*7*307*7就是劃分的網(wǎng)格數(shù)，現(xiàn)在要在4維坐標信息(中心點坐標+長寬)，120(VOC20個類別)，總共就是(4+1)*2+20=304096維的全圖特性直接在每個網(wǎng)格上回歸出目YOLO45張圖像。并且由于每個網(wǎng)絡預測目的窗口時使用的falsepositive比例大幅減少（充足的上下文信息YOLOregionproposal7*7的網(wǎng)格回歸會使得目的不YOLO的檢測精度并不是很高。 (SSD:SingleShotMultiBoxYOLO7*7的粗糙網(wǎng)格內(nèi)回歸對目regionproposal的思想實現(xiàn)精確某些的定位？SSD結合YOLO的回歸思想以及FasterR-CNN的anchorYOLO預測某個位置使用的是全圖的特性，SSD預測某FasterR-CNNanchor機(c)。FasterR-CNNanchorfeaturemap上，這樣能夠運用（不同層的featuremap3*3滑窗感受野不同F(xiàn)asterR-CNN同樣比較精確。SSDVOCmAP能夠達成72.1%GPU58幀每秒?？偨Y：YOLO的提出給目的檢測一種新的思路，SSD的性能則讓我們看到了目的檢測在實際應用中真正的可能性。四.提高目的檢測辦法R-CNNYOLO目的檢測框架給了我難分樣本挖掘（hardnegativemining）R-CNNSVM分類器時使FastR-CNNFasterR-CNN由于使用端到端的訓練TrainingRegion-basedObjectDetectorswithOnlineHardExampleMining(oral)將難分樣本挖掘(hardexamplemining)SGDFastR-CNN在訓練的過程中根據(jù)regionproposal的損失自動選用適宜的regionproposal作為正OHEM（OnlineHardExampleMinin