基于Faster R-CNN算法的探地雷達(dá)管線目標(biāo)智能識(shí)別

基于Faster

R-CNN算法的探地雷達(dá)管線目標(biāo)智能識(shí)別主要內(nèi)容一、簡(jiǎn)述目標(biāo)檢測(cè)與識(shí)別二、Faster

R-CNN發(fā)展歷程及其原理三、管線目標(biāo)智能識(shí)別的研究四、研究前景展望一、簡(jiǎn)述目標(biāo)檢測(cè)與識(shí)別目標(biāo)檢測(cè)與識(shí)別：在圖像或者視頻中對(duì)可變數(shù)量的目標(biāo)進(jìn)行查找和分類。也就是將圖像或者視頻中的目標(biāo)與其他不感興趣的部分進(jìn)行區(qū)分，判斷目標(biāo)是否存在，確定目標(biāo)位置，識(shí)別目標(biāo)種類的一種計(jì)算機(jī)視覺任務(wù)。一、簡(jiǎn)述目標(biāo)檢測(cè)與識(shí)別目標(biāo)檢測(cè)

VS

圖像分類一、簡(jiǎn)述目標(biāo)檢測(cè)與識(shí)別目標(biāo)檢測(cè)

VS

目標(biāo)分割一、簡(jiǎn)述目標(biāo)檢測(cè)與識(shí)別基于區(qū)域建議，如R-CNN、Fast

R-CNN、Faster

R-CNN；基于回歸，如YOLO、SSD；基于搜索，如基于視覺注意的AttentionNet，基于強(qiáng)化學(xué)習(xí)的算法。目標(biāo)檢測(cè)方法的發(fā)展歷程手動(dòng)設(shè)計(jì)特征深度網(wǎng)絡(luò)學(xué)習(xí)特征滑動(dòng)窗口proposal或直接回歸傳統(tǒng)分類器深度網(wǎng)絡(luò)多步驟端到端準(zhǔn)確度低、實(shí)時(shí)性差準(zhǔn)確度高、實(shí)時(shí)性好一、簡(jiǎn)述目標(biāo)檢測(cè)與識(shí)別傳統(tǒng)目標(biāo)檢測(cè)方法

VS

深度學(xué)習(xí)目標(biāo)檢測(cè)方法一、簡(jiǎn)述目標(biāo)檢測(cè)與識(shí)別面向雙曲線形態(tài)特征的探地雷達(dá)(Ground

Penetrating

Radar,GPR)圖像識(shí)別探地雷達(dá)作為一種重要的無損探測(cè)技術(shù)，可以準(zhǔn)確快速對(duì)淺層地表進(jìn)行成像，以獲取埋設(shè)目標(biāo)的空間與幾何信息，在大規(guī)模管線普查和詳查中扮演著重要角色?，F(xiàn)階段面向雙曲線形態(tài)特征的GPR圖像識(shí)別方式可分為基于雙曲線性質(zhì)、時(shí)域信號(hào)分析、數(shù)字圖像分析、機(jī)器學(xué)習(xí)、數(shù)學(xué)模型、綜合性方法以及深度學(xué)習(xí)方法等七種。一、簡(jiǎn)述目標(biāo)檢測(cè)與識(shí)別面向雙曲線形態(tài)特征的探地雷達(dá)(Ground

Penetrating

Radar,GPR)圖像識(shí)別由于地下管線所處環(huán)境復(fù)雜，存在各種噪聲源的干擾，且難以采集大量數(shù)據(jù)，所以采集到的雷達(dá)圖像數(shù)量不足且質(zhì)量較差。現(xiàn)階段識(shí)別方法仍存在識(shí)別時(shí)間成本高，難以有效識(shí)別復(fù)雜交叉的目標(biāo)特征這兩點(diǎn)不足。深度學(xué)習(xí)中的

CNN

模型使研究者不必消耗過多精力在探地雷達(dá)雙曲線特征的描述上，而是通過構(gòu)造正負(fù)樣本集的方法，用深度學(xué)習(xí)模型區(qū)分雙曲線形態(tài)與雜波特征。已有學(xué)者證實(shí)了在地雷目標(biāo)識(shí)別中，CNN

所提取的特征相對(duì)于人工設(shè)計(jì)特征(EHD，TFCM)的優(yōu)越性。二、Faster

R-CNN發(fā)展歷程及其原理目標(biāo)檢測(cè)方法整體架構(gòu)二、Faster

R-CNN發(fā)展歷程及其原理CNN網(wǎng)絡(luò)二、Faster

R-CNN發(fā)展歷程及其原理CNN網(wǎng)絡(luò)二、Faster

R-CNN發(fā)展歷程及其原理CNN網(wǎng)絡(luò)二、Faster

R-CNN發(fā)展歷程及其原理CNN網(wǎng)絡(luò)二、Faster

R-CNN發(fā)展歷程及其原理R-CNN網(wǎng)絡(luò)Ross Girshick等人于2014年提出深度（高級(jí)）特征二、Faster

R-CNN發(fā)展歷程及其原理R-CNN網(wǎng)絡(luò)的流程①訓(xùn)練分類網(wǎng)絡(luò)（AlexNet）②模型做fine-tuning③特征提取提取候選框（選擇性搜索）對(duì)于每一個(gè)區(qū)域：修正區(qū)域?yàn)镃NN的輸入，利用網(wǎng)絡(luò)對(duì)候選框提取到特征。二、Faster

R-CNN發(fā)展歷程及其原理R-CNN網(wǎng)絡(luò)的流程③特征提取提取候選框（選擇性搜索）step1：生成區(qū)域集R，可參見論文《EfficientGraph-Based

ImageSegmentation》step2：計(jì)算區(qū)域集R里相鄰區(qū)域的相似度S={s1,s2,s3,……}step3：找出相似度最高的兩個(gè)區(qū)域，將其合并為新集，加入?yún)^(qū)域集Rstep4：從S中移除所有與step3中有關(guān)的子集step5：計(jì)算新集與所有子集的相似度step6：跳至step3，直至S為空二、Faster

R-CNN發(fā)展歷程及其原理R-CNN網(wǎng)絡(luò)的流程④訓(xùn)練SVM分類器：每個(gè)類別對(duì)應(yīng)一個(gè)SVM分類器⑤回歸器精修候選框位置：利用線性回歸模型判定框的準(zhǔn)確度二、Faster

R-CNN發(fā)展歷程及其原理R-CNN的不足Selective Search候選區(qū)域選取算法耗時(shí)嚴(yán)重重疊區(qū)域特征重復(fù)計(jì)算整個(gè)模型分步驟進(jìn)行，過程繁瑣二、Faster

R-CNN發(fā)展歷程及其原理Fast

R-CNN網(wǎng)絡(luò)Ross Girshick等人提出ROI(Regions ofInterest) Pooling多任務(wù)網(wǎng)絡(luò)同時(shí)完成分類、回歸（共享卷積特征）為Faster

R-CNN的提出打下基礎(chǔ)二、Faster

R-CNN發(fā)展歷程及其原理Fast

R-CNN網(wǎng)絡(luò)中的ROI

Pooling①根據(jù)輸入的image，將ROI映射到feature

map對(duì)應(yīng)位置②將映射后的區(qū)域劃分為相同大小的sections（sections數(shù)量與輸出的維度相對(duì)應(yīng)）③對(duì)每個(gè)section進(jìn)行max

pooling操作二、Faster

R-CNN發(fā)展歷程及其原理Fast

R-CNN網(wǎng)絡(luò)中的ROI

Pooling①根據(jù)輸入的image，將ROI映射到feature

map對(duì)應(yīng)位置②將映射后的區(qū)域劃分為相同大小的sections（sections數(shù)量與輸出的維度相對(duì)應(yīng)）③對(duì)每個(gè)section進(jìn)行max

pooling操作output二、Faster

R-CNN發(fā)展歷程及其原理Fast

R-CNN網(wǎng)絡(luò)性能提升R-CNNFast

R-CNNTrainingtime84h9.5hspeedup1X8.8XTesttimeperimage47s0.32sspeedup1X146X二、Faster

R-CNN發(fā)展歷程及其原理FastR-CNN的不足仍采用Selective Search選擇性搜索算法,候選區(qū)域選取算法耗時(shí)嚴(yán)重候選區(qū)域選取算法難以融入GPU二、Faster

R-CNN發(fā)展歷程及其原理Faster

R-CNN網(wǎng)絡(luò)Ross Girshick等人提出RPN(Region ProposalNetworks)網(wǎng)絡(luò)實(shí)現(xiàn)“端到端”的檢測(cè)二、Faster

R-CNN發(fā)展歷程及其原理Faster

R-CNN網(wǎng)絡(luò)流程主干網(wǎng)絡(luò)：13con+13relu+4poolingRPN：3×3，背景前景區(qū)分，初步回歸定位ROI Pooling精確分類與回歸定位二、Faster

R-CNN發(fā)展歷程及其原理RPN網(wǎng)絡(luò)3×3，背景前景區(qū)分，初步回歸定位粗分類粗定位Anchor二、Faster

R-CNN發(fā)展歷程及其原理Faster

R-CNN網(wǎng)絡(luò)性能提升算法TesttimeperimagemAP(VOC2007)特征CNN--將圖片分成多個(gè)區(qū)域，將每個(gè)區(qū)域歸到不同類別R-CNN50s66.0利用SS選擇性搜索生成區(qū)域，每張圖片提取約2000個(gè)區(qū)域Fast

R-CNN2s66.9每張圖只經(jīng)過一次CNN處理即提取出特征映射，用SS選擇性搜索生成預(yù)測(cè)，結(jié)合了R-CNN中的三種模型Faster

R-CNN0.2s66.9利用RPN代替SS選擇性搜索，算法更快三、管線目標(biāo)智能識(shí)別的研究基于Faster

R-CNN的檢測(cè)網(wǎng)絡(luò)三、管線目標(biāo)智能識(shí)別的研究數(shù)據(jù)采集與預(yù)處理試驗(yàn)采用鄭州地下管線實(shí)測(cè)探地雷達(dá)B-Scan剖面圖像作為基礎(chǔ)。探地雷達(dá)采用美國(guó)GSSISIR-20探地雷達(dá)，對(duì)約15km市政路面進(jìn)行地下管線的探測(cè)。三、管線目標(biāo)智能識(shí)別的研究數(shù)據(jù)采集與預(yù)處理篩選剪裁（355→150）；數(shù)據(jù)集擴(kuò)增；通過反轉(zhuǎn)鏡像、平移裁剪和顏色變換等（150→300），并且沒有對(duì)原圖像進(jìn)行形變和噪聲的改變，不會(huì)影響地下管線檢測(cè)的準(zhǔn)確率。三、管線目標(biāo)智能識(shí)別的研究試驗(yàn)環(huán)境深度學(xué)習(xí)框架為Caffe（Convolutional

Architecture

for

Fast

Feature

Embedding）框架。電腦設(shè)備條件為：Inter(R)Core(TM)i7-7800XCPU@3.50GHz，6核12線程處理器，運(yùn)行內(nèi)存（RAM）64.0GB，NVIDIA

Titan

V。該模型搭載在Ubuntu

16.04操作系統(tǒng)之上，使用深度學(xué)習(xí)框架Caffe

1.0版本，計(jì)算機(jī)語言Python2.7，并裝載了并行計(jì)算構(gòu)架CUDA8.0版本，和基于CUDA的深度學(xué)習(xí)GPU加速庫CUDNN

9.0版本，在此基礎(chǔ)上搭建FasterR-CNN檢測(cè)網(wǎng)絡(luò)。三、管線目標(biāo)智能識(shí)別的研究試驗(yàn)與結(jié)果分析圖像標(biāo)注：通過Matlab

R2017a，用矩形框把地下管線信號(hào)部分框選出來，矩形框需完全包圍地下管線區(qū)域，以保證地下管線區(qū)域的準(zhǔn)確性。自動(dòng)生成groundtruth.txt文件并將標(biāo)注信息保存在其中（如000001.jpgpipeline22272276389）。三、管線目標(biāo)智能識(shí)別的研究試驗(yàn)與結(jié)果分析數(shù)據(jù)集處理：將groundtruth.txt文件轉(zhuǎn)為xml文件，制作VOC2007數(shù)據(jù)集中的trainval.txt

；train.txt

；

test.txt

和

val.txt。三、管線目標(biāo)智能識(shí)別的研究試驗(yàn)與結(jié)果分析模型訓(xùn)練：對(duì)VGG-16網(wǎng)絡(luò)和ZFNet網(wǎng)絡(luò)進(jìn)行比較，訓(xùn)練1：使用VGG-16網(wǎng)絡(luò)模型，迭代次數(shù)為3000次、3500次、4000次；訓(xùn)練2：使用ZFNet網(wǎng)絡(luò)模型，迭代次數(shù)為3000次、3500次、4000次。用數(shù)據(jù)集處理生成的文件夾替換VOC2007數(shù)據(jù)集中的Annotations、ImageSets和JPEGImages。三、管線目標(biāo)智能識(shí)別的研究試驗(yàn)與結(jié)果分析模型訓(xùn)練：對(duì)VGG-16網(wǎng)絡(luò)和ZFNet網(wǎng)絡(luò)進(jìn)行比較，訓(xùn)練1：使用VGG-16網(wǎng)絡(luò)模型，迭代次數(shù)為3000次、3500次、4000次；訓(xùn)練2：使用ZFNet網(wǎng)絡(luò)模型，迭代次數(shù)為3000次、3500次、4000次。用數(shù)據(jù)集處理生成的文件夾替換VOC2007數(shù)據(jù)集中的Annotations、ImageSets和JPEGImages。三、管線目標(biāo)智能識(shí)別的研究試驗(yàn)與結(jié)果分析模型訓(xùn)練：對(duì)VGG-16網(wǎng)絡(luò)和ZFNet網(wǎng)絡(luò)進(jìn)行比較，訓(xùn)練1：使用VGG-16網(wǎng)絡(luò)模型，迭代次數(shù)為3000次、3500次、4000次；訓(xùn)練2：使用ZFNet網(wǎng)絡(luò)模型，迭代次數(shù)為3000次、3500次、4000次。用數(shù)據(jù)集處理生成的文件夾替換VOC2007數(shù)據(jù)集中的Annotations、ImageSets和JPEGImages。三、管線目標(biāo)智能識(shí)別的研究試驗(yàn)與結(jié)果分析檢測(cè)分析：重新隨機(jī)生成數(shù)據(jù)集、增減數(shù)據(jù)集容量、增減迭代次數(shù)等檢測(cè)試驗(yàn)，由試驗(yàn)結(jié)果知，既能保證較高的識(shí)別準(zhǔn)確率又能使模型訓(xùn)練的時(shí)間不至于過長(zhǎng)的較優(yōu)方案為VGG-16網(wǎng)絡(luò)模型，迭代次數(shù)為3500次，AP保持在90％以上（置信度≥0.8時(shí)顯示矩形框）。三、管線目標(biāo)智能識(shí)別的研究試驗(yàn)與結(jié)果分析檢測(cè)分析：重新隨機(jī)生成數(shù)據(jù)集、增減數(shù)據(jù)集容量、增減迭代次數(shù)等檢測(cè)試驗(yàn)，由試驗(yàn)結(jié)果知，既能保證較高的識(shí)別準(zhǔn)確率又能使模型訓(xùn)練的時(shí)間不至于過長(zhǎng)的較優(yōu)方案為VGG-16網(wǎng)絡(luò)模型，迭代次數(shù)為3500次，AP保持在90％以上。三、管線目標(biāo)智能識(shí)別的研究試驗(yàn)與結(jié)果分析檢測(cè)分析：重新隨機(jī)生成數(shù)據(jù)集、增減數(shù)據(jù)集容量、增減迭代次數(shù)等檢測(cè)試驗(yàn)，由試驗(yàn)結(jié)果知，既能保證較高的識(shí)別準(zhǔn)確率又能使模型訓(xùn)練的時(shí)間不至于過長(zhǎng)的較優(yōu)方案為VGG-16網(wǎng)絡(luò)模型，迭代次數(shù)為3500次，AP保持在90％以上。四、研究前景展望基于Faster

R-CNN的目標(biāo)檢測(cè)與識(shí)別算法和GPR技術(shù)相結(jié)合，可