基于計算機(jī)視覺的螺栓缺陷智能檢測技術(shù)研究與應(yīng)用

1、 基于計算機(jī)視覺的螺栓缺陷智能檢測技術(shù)研究與應(yīng)用 盧佳祁 姚志東 劉業(yè)森 王罡Summary：隨著計算機(jī)視覺與機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，自動化檢測技術(shù)在建筑工程檢測領(lǐng)域揮著重要的作用。采用無人設(shè)備進(jìn)行圖像數(shù)據(jù)采集，然后用機(jī)器學(xué)習(xí)對圖像數(shù)據(jù)進(jìn)行分析，成為當(dāng)前智能檢測技術(shù)的通用方法。深度學(xué)習(xí)作為主要的機(jī)器學(xué)習(xí)方法，因其魯棒性較高而普遍應(yīng)用在圖像分析中。本文首先通過顯著性檢測方法選取待檢測螺栓感興趣區(qū)域，再使用ResNet-18卷積神經(jīng)網(wǎng)絡(luò)對感興趣區(qū)域進(jìn)行螺栓缺陷的識別與分類。并以某鋼結(jié)構(gòu)橋梁上的螺栓為例，利用該方法對無人機(jī)采集的螺栓外觀圖像進(jìn)行了識別。結(jié)果表明，該方法可有效識別螺栓缺陷與類別，識別準(zhǔn)確率

2、高。Key：計算機(jī)視覺;高強(qiáng)螺栓;深度學(xué)習(xí);顯著性檢測;缺陷檢測引言鋼結(jié)構(gòu)螺栓連接在加工制作和安裝方面具有明顯的優(yōu)越性，在國內(nèi)外鋼框架結(jié)構(gòu)中被大量采用，尤其是橋梁等大型鋼結(jié)構(gòu)設(shè)施的主要連接方式之一1。隨著我國鋼結(jié)構(gòu)橋梁建設(shè)的高速發(fā)展，高強(qiáng)螺栓的應(yīng)用越來越廣泛。但隨著橋梁的運行，螺栓聯(lián)接結(jié)構(gòu)長期承受振動、沖擊和疲勞，導(dǎo)致螺栓出現(xiàn)松動甚至脫落，影響整個結(jié)構(gòu)的安全。因此，螺栓狀態(tài)的實時檢測，具有重要的工程意義。當(dāng)前螺栓外觀檢測方式，主要依靠人工現(xiàn)場以手持?jǐn)?shù)碼相機(jī)或手持裂縫觀測儀人工操作為主。隨著技術(shù)的發(fā)展，也逐漸采用輔助機(jī)械伸展臂搭載攝像頭采集圖像進(jìn)行人機(jī)交互分析的檢測手段2，但其深度、廣度及自動化

3、水平普遍不高。隨著我國鋼結(jié)構(gòu)橋梁施工工藝的發(fā)展，建筑規(guī)模逐年增大，結(jié)構(gòu)上所使用的螺栓也隨之增加。如港珠澳大橋，全橋總長55公里，使用高強(qiáng)螺栓80多萬套，而且分布在橋體結(jié)構(gòu)的各個角落，傳統(tǒng)的人工檢測方式已無法應(yīng)對海量螺栓的外觀檢測，而且檢測過程中對安全性及時效性要求較高。因此，螺栓外觀檢測亟待需要采用智能化的檢測技術(shù)，與目標(biāo)精確定位、圖像矯正、高精度識別等先進(jìn)技術(shù)深入融合，提高檢測技術(shù)自動化水平。近幾年，隨著無人機(jī)技術(shù)的發(fā)展，搭載攝像設(shè)備的無人機(jī)在地圖測繪、建筑安全檢測、資源調(diào)查、交通規(guī)劃等各領(lǐng)域都有重要的應(yīng)用，該技術(shù)也可以同樣適用于鋼結(jié)構(gòu)橋梁螺栓外觀檢測上，通過對無人機(jī)采集的螺栓影像數(shù)據(jù)的分析

4、、識別、判斷，感知被檢測螺栓的狀態(tài)，進(jìn)而做出應(yīng)對措施。因此，對采集的圖像數(shù)據(jù)的分析、判斷和識別，是基于無人機(jī)的螺栓檢測中重要的技術(shù)。深度學(xué)習(xí)是當(dāng)前圖像識別的主流技術(shù)，該方法通過大量的圖像樣本，提取、學(xué)習(xí)圖像特征，并進(jìn)行識別，從而判斷被檢測目標(biāo)圖像樣本的類別和狀態(tài)3。本文將深度學(xué)習(xí)算法引入到螺栓的智能檢測中。首先采用圖像顯著性檢測方法4檢測待識別的感興趣區(qū)域，在使用ResNet-185卷積神經(jīng)網(wǎng)絡(luò)判斷待檢測螺栓是否存在缺陷已經(jīng)缺陷的類別，該方法可以對無人機(jī)傳輸回來的影像數(shù)據(jù)進(jìn)行快速、有效的識別和判斷，從而對螺栓外觀狀態(tài)進(jìn)行判定，輔助工作人員做出應(yīng)對措施，經(jīng)計算，識別準(zhǔn)確率較高，可以滿足螺栓日常安

5、全檢測需要。1方法和流程首先通過無人機(jī)對螺栓樣本進(jìn)行采集，并對采集回來的圖像樣本進(jìn)行自動清洗、甄別、矯正和裁剪，并進(jìn)行分類和標(biāo)注，得到學(xué)習(xí)樣本庫。識別時，首先使用顯著性檢測法提取待識別螺栓的感興趣區(qū)域，并將感興趣區(qū)域圖像輸入到分類卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行分析判斷。具體的流程圖如圖1所示：1.1學(xué)習(xí)樣本集構(gòu)建本文選取某座鋼結(jié)構(gòu)橋梁作為目標(biāo)，利用無人機(jī)對橋梁上各部位的螺栓進(jìn)行拍照，樣本采集。圖像樣本經(jīng)過以上算法處理后，再以被標(biāo)識出來的螺栓為中心，將該圖像樣本自動裁剪成6464分辨率大小的單一螺栓樣本，并對其類別逐一標(biāo)注，作為訓(xùn)練正樣本。由于受采集對象限制，脫落、缺失、銹蝕的螺栓樣本數(shù)據(jù)嚴(yán)重缺失，為了保證

6、樣本庫的多樣性，本文多渠道收集螺栓樣本，獲取了脫落、缺失、銹蝕的螺栓樣本圖片，經(jīng)過同樣的數(shù)據(jù)處理方法，裁剪成6464分辨率大小的單一螺栓樣本，并對其狀態(tài)逐一標(biāo)注，作為訓(xùn)練負(fù)樣本，并對采集到的樣本通過放大、縮小、顏色空間變換、旋轉(zhuǎn)、翻轉(zhuǎn)等操作，對數(shù)據(jù)進(jìn)行擴(kuò)充，以提高后續(xù)模型的泛化性能。1.2感興趣區(qū)域檢測采用顯著性檢測法對螺栓待檢測感興趣區(qū)域進(jìn)行提取，顯著性檢測算法與目標(biāo)檢測算法不同，顯著性檢測算法，是無差別地檢測圖中有邊界且顯著的目標(biāo)區(qū)域。這類模型旨在預(yù)測人眼的顯著目標(biāo)觀察方式，顯著性檢測算法是很多計算機(jī)視覺任務(wù)的第一步，將顯著性區(qū)域作為感興趣區(qū)域，并針對這些顯著性區(qū)域進(jìn)行進(jìn)一步判斷和預(yù)測。顯

7、著性檢測算法通常檢測速度較快，深度學(xué)習(xí)的圖像分類算法，可以只在顯著性區(qū)域上運行，以縮小檢測范圍，加快檢測速度，提高檢測精度。這里選擇文獻(xiàn)15的方法進(jìn)行顯著性感興趣區(qū)域檢測，該算法先計算出一批的建議框，這些建議框為待檢測螺栓可能存在的區(qū)域，再通過非極大值抑制剔除多余的建議框。無論螺栓連接節(jié)點是否存在缺陷，都會在螺栓節(jié)點板上留下明顯痕跡，因此可以通過顯著性檢測法提取出來。實現(xiàn)該算法時可以通過調(diào)用OpenCV的saliency.ObjectnessBING_ create（）模塊實現(xiàn)。1.3螺栓缺陷分類模型許多不同結(jié)構(gòu)的知名卷積神經(jīng)網(wǎng)絡(luò)可以用于特征提取，如AlexNet、MobileNets、Goo

8、gleNet。其中，ResNet-18的模型效率強(qiáng)且易于優(yōu)化。ResNet-18有17個卷積層和8個跳躍連接，然后是一個全局平均池化層、一個全連接層和一個Sigmoid層。該網(wǎng)絡(luò)的輸入大小為64643，使用ImageNet6進(jìn)行預(yù)訓(xùn)練，有利于提高模型的識別精度。2計算案例本文以某鋼結(jié)構(gòu)橋梁上的高強(qiáng)螺栓為例，通過無人機(jī)進(jìn)行螺栓樣本采集，經(jīng)過數(shù)據(jù)標(biāo)準(zhǔn)化處理，形成螺栓樣本庫，再利用本文介紹的方法，進(jìn)行識別和判定。該鋼結(jié)構(gòu)橋梁為某跨河鐵路橋，形式為鉚接鋼桁梁橋，采用具備定位復(fù)拍功能的大疆M300無人機(jī)進(jìn)行圖像數(shù)據(jù)采集，采集到130張清晰的螺栓圖像。將無人機(jī)所采集的原始圖像樣本進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化處理，前景突

9、出，目標(biāo)清晰，然后利用本文的感興趣區(qū)域提取法，可以自動識別出影像中螺栓的形狀和位置，并用紅框標(biāo)識出來，如圖3所示。在此基礎(chǔ)上，自動處理成6464分辨率的學(xué)習(xí)樣本，形成待檢測樣本。但是在圖像的前處理過程中，對于部分圖像樣本在定位和識別時出現(xiàn)了誤差較大的情況，如圖4所示：（a）圖中，受圖像采集時光線的影響，拍攝的圖像樣本中，螺栓的影子明顯，對螺栓形狀的判斷造成了干擾;（b）圖中，拍攝角度是仰角拍攝，圖像采集設(shè)備沒有正對螺栓，導(dǎo)致螺栓影像發(fā)生變形和偏移，而且影像樣本背景復(fù)雜，不僅識別出了螺栓，還識別出圖背景中的相似的形狀。這些因素都導(dǎo)致了樣本圖片中，螺栓的誤標(biāo)識。因此，在利用無人機(jī)進(jìn)行圖像樣本采集時

10、，需要對巡航路線、拍照時間、拍照角度等等提前規(guī)劃，采集高質(zhì)量的螺栓樣本圖片，以減少圖像樣本中螺栓形狀的誤判，提高識別準(zhǔn)確率。學(xué)習(xí)樣本構(gòu)建好以后，利用本文的識別方法，對無人機(jī)新采集的螺栓圖像樣本進(jìn)行了識別，識別率如表1所示，識別結(jié)果如圖5、圖6所示。如表1所示，本方法對于外觀正常的螺栓識別率較高達(dá)到了91.34%，對脫落螺栓和偏移螺栓的識別，準(zhǔn)確率分別為82.16%和87.56%，而對于銹蝕螺栓的識別準(zhǔn)確率較低，僅為78.14%。圖7是對各外觀螺栓的正確的識別結(jié)果，圖8是誤識別的螺栓樣本。分析造成誤識別的主要原因是，螺栓的銹蝕負(fù)樣本非常少，對于新采集的表面銹蝕的螺栓樣本，因此，可通過多補充螺栓負(fù)

11、樣本，擴(kuò)充學(xué)習(xí)樣本庫，增加樣本庫的多樣性的方式，提高螺栓識別的準(zhǔn)確性。樣本越豐富，越多樣化，模型越智能，識別的準(zhǔn)確性越高。3結(jié)論本文提出的識別方法，可以很好的完成識別的任務(wù)。而且本方法對新樣本識別速度快，在0.1s之內(nèi)就可以完成新樣本的處理、裁剪及識別，對無人機(jī)嵌入系統(tǒng)的性能要求不高，可實時傳送識別結(jié)果，可作為螺栓外觀日常檢測方法。圖像樣本的拍攝質(zhì)量，直接影響最終的識別結(jié)果，無人機(jī)拍攝時的光照條件、拍攝角度、拍攝位置等因素都會影響圖像樣本中螺栓形狀的定位和判斷。因此，在利用無人機(jī)進(jìn)行圖像樣本采集時，需要對巡航路線、拍照時間、拍照角度等提前規(guī)劃，采集高質(zhì)量的螺栓樣本圖片，減少圖像樣本中螺栓形狀的

12、誤判，提高螺栓樣本的識別率。從識別結(jié)果可以看出，本算法對于樣本數(shù)量相對較多的螺栓，識別準(zhǔn)確率較高，本文采集到的正常狀態(tài)的螺栓樣本數(shù)最多，因此其識別準(zhǔn)確率最高。由于當(dāng)前鋼結(jié)構(gòu)橋梁的日常維護(hù)工作較好，脫落、偏移以及銹蝕的螺栓樣本較少，學(xué)習(xí)樣本庫中負(fù)樣本相對缺乏，其中銹蝕螺栓學(xué)習(xí)樣本個數(shù)最少，因此對其表面紋理識別的誤差較大，對于銹蝕等螺栓的識別準(zhǔn)確率最低?？赏ㄟ^多方采集的方式，補充負(fù)樣本，充實、完善學(xué)習(xí)樣本庫，提高螺栓識別的準(zhǔn)確率。Reference1陶曉燕，沈家華，史志強(qiáng).我國鋼橋高強(qiáng)度螺栓連接的發(fā)展歷程及展望J.鐵道建筑，2017，57（9）：1-4.2鐘繼衛(wèi)，王波，王翔，等.橋梁智能檢測技術(shù)研

13、究與應(yīng)用J.橋梁建設(shè)，2019，49（S1）：1-6.3Qi Yang et al.Deep convolutional neural networks for rice grain yield estimation at the ripening stage using UAV-based remotely sensed imagesJ.Field Crops Research，2019，235：142-153.4Ming-Ming Cheng，Yun Liu，Wen-Yan Lin，Ziming Zhang，Paul L.Rosin，Philip H.S.Torr.BING：Binarized normed gradients for objectness estimation at 300fpsJ.Computational Visual Media，2019，5（1）.5He K，Zhang X，Ren S，et al.Deep residual learning for image recognitionC/Proceedings of the IEEE conference on computer vision and pattern recognition.