基于深度學(xué)習(xí)的鋁合金壓鑄件外觀缺陷檢測(cè)方法

基于深度學(xué)習(xí)的鋁合金壓鑄件外觀缺陷檢測(cè)方法

0基于深度學(xué)習(xí)的鑄件外觀缺陷檢測(cè)方法作為車輛的主要部件，125壓鑄件由于裝配工藝等設(shè)備的故障、重量低或員工操作不當(dāng)，不可避免地會(huì)出現(xiàn)各種缺陷。這些尺寸的外觀缺陷主要包括肉不足、收縮孔、厚肉、空氣和寒冷的皮膚。在實(shí)際生產(chǎn)中，這些外觀缺陷的檢測(cè)大多依靠人工檢查，生產(chǎn)線檢查工人的勞動(dòng)量大，效率低，誤檢率高，并且存在無(wú)法實(shí)時(shí)跟蹤產(chǎn)品質(zhì)量指標(biāo)等一系列的問(wèn)題。針對(duì)特征明顯的缺陷，工廠中往往采用基于傳統(tǒng)的機(jī)器視覺(jué)的缺陷檢測(cè)方法，這些方法主要包括兩種形式：1）通過(guò)數(shù)字圖像處理技術(shù)進(jìn)行缺陷檢測(cè)；2）通過(guò)人工設(shè)計(jì)復(fù)雜的特征提取器進(jìn)行特征提取，并采用分類器進(jìn)行缺陷的識(shí)別近年來(lái)，如Faster-RCNN當(dāng)前缺陷檢測(cè)工作主要是針對(duì)鋼材、鐵軌、轎車殼體和PCB板等表面，較少對(duì)復(fù)雜壓鑄件表面進(jìn)行研究。而鑄件外觀缺陷檢測(cè)主要存在以下難點(diǎn)：1）缺陷部位體積小，下采樣的過(guò)程中會(huì)造成像素點(diǎn)的丟失，增加了檢測(cè)的難度；待檢測(cè)物體固定的位置會(huì)為小型缺陷保留上下文信息，而這些上下文信息會(huì)增加小型缺陷的誤檢率；2）鑄件的背景復(fù)雜，對(duì)缺陷檢測(cè)的干擾大；3）各種缺陷數(shù)據(jù)樣本數(shù)量極不平衡，數(shù)據(jù)量少的缺陷無(wú)法實(shí)現(xiàn)端到端檢測(cè)，為訓(xùn)練增加了難度。針對(duì)上述的難點(diǎn)，本文提出一種基于深度學(xué)習(xí)的鑄件外觀缺陷檢測(cè)方法，具體流程圖如圖1所示，具體包括圖像獲取、數(shù)據(jù)傳輸和缺陷檢測(cè)等3大模塊。本文具體貢獻(xiàn)如下：1）制作一個(gè)大型的鑄件外觀缺陷數(shù)據(jù)集ALU-DEF，包括缺陷圖片7816張，具體包括的缺陷有缺肉、多肉、氣孔、縮孔、冷隔等；2）提出密排的錨點(diǎn)設(shè)計(jì)方法來(lái)提高小缺陷的正檢率；采用對(duì)比訓(xùn)練方法進(jìn)行訓(xùn)練，將有無(wú)缺陷的2種類別數(shù)據(jù)同時(shí)用于模型的訓(xùn)練，通過(guò)訓(xùn)練過(guò)程中2種類別數(shù)據(jù)的對(duì)比，來(lái)減少上下文信息對(duì)小型缺陷檢測(cè)的影響；3）在神經(jīng)網(wǎng)絡(luò)中引入注意力機(jī)制，通過(guò)注意力機(jī)制讓模型更加關(guān)注圖片中的缺陷區(qū)域，來(lái)減少鑄件外觀背景的干擾；4）提出一種將深度學(xué)習(xí)與輪廓發(fā)現(xiàn)相結(jié)合的方法實(shí)現(xiàn)對(duì)小樣本缺陷的端到端檢測(cè)。1缺陷檢測(cè)算法1.1缺陷部位像素的消失Refine-ACTDD缺陷檢測(cè)算法主要基于RefineDet算法進(jìn)行改進(jìn)的由于缺陷部位像素在整張圖片中所占的比例很小，在下采樣的過(guò)程中缺陷部位會(huì)消失，增加了對(duì)小缺陷檢測(cè)的難度。本文采用將一張大圖片分割為2×2張小圖片，然后依次進(jìn)行檢測(cè)的方法，如圖3所示。1.2散點(diǎn)的設(shè)置及重新設(shè)計(jì)基于錨點(diǎn)的目標(biāo)檢測(cè)算法，在訓(xùn)練的過(guò)程中，算法主要關(guān)注的區(qū)域是錨點(diǎn)中的區(qū)域，在進(jìn)行預(yù)測(cè)的時(shí)候，模型也是在錨點(diǎn)的基礎(chǔ)上進(jìn)行預(yù)測(cè)的。因此對(duì)小型物體來(lái)說(shuō)，適當(dāng)?shù)腻^點(diǎn)設(shè)計(jì)可以明顯的提高模型對(duì)小缺陷的正檢率為獲得適合本數(shù)據(jù)集的錨點(diǎn)大小，對(duì)數(shù)據(jù)集中缺陷目標(biāo)的長(zhǎng)寬進(jìn)行統(tǒng)計(jì)和K-Means聚類操作，缺陷區(qū)域尺寸散點(diǎn)分布圖如圖4所示，聚類操作的結(jié)果及錨點(diǎn)大小和比例的設(shè)置如表2所示。根據(jù)聚類的結(jié)果以及為獲得均勻鋪排的錨點(diǎn)，將Conv4_3、Conv5_3、Conv_fc7和Conv6_2的錨點(diǎn)的大小依次為16、32、64和128。由于小目標(biāo)的長(zhǎng)寬比多為1，將Conv4_3的卷積層的長(zhǎng)寬比只設(shè)置為一種比例形式，這樣可以明顯減少計(jì)算量。密排錨點(diǎn)的方法是對(duì)Conv4_3卷積層上的錨點(diǎn)進(jìn)行重新設(shè)計(jì)來(lái)提高對(duì)小目標(biāo)缺陷檢測(cè)的正檢率，設(shè)計(jì)方式如圖5所示。原始的錨點(diǎn)設(shè)計(jì)是以每個(gè)像素點(diǎn)為中心，在像素點(diǎn)的周圍設(shè)計(jì)長(zhǎng)度和長(zhǎng)寬比不同的錨點(diǎn)，如圖5(a)所示。而本方法是在彼此相鄰的四個(gè)像素點(diǎn)中間新增了一個(gè)長(zhǎng)寬比為1的錨點(diǎn)，具體形式如圖5(b)所示。在(a)圖中，錨點(diǎn)與真實(shí)值間最大IOU(IntersectionoverUnion)值是A1，將錨點(diǎn)進(jìn)行重新設(shè)計(jì)后，IOU的最大值變?yōu)锳2，可以看出經(jīng)過(guò)重新設(shè)計(jì)的錨點(diǎn)能夠獲得更大的IOU值，所以缺陷檢測(cè)中小型缺陷會(huì)獲得更大的IOU值，正檢率也會(huì)因此得到提高。1.3senet算法鑄件表面背景復(fù)雜，對(duì)模型的檢測(cè)會(huì)造成很大的干擾。為減少?gòu)?fù)雜背景的影響，在網(wǎng)絡(luò)中引入注意力機(jī)制，即在模型中增加一個(gè)Attention模塊，使模型對(duì)圖片特征的提取更加充分，并且缺陷相關(guān)特征所占的權(quán)重系數(shù)更大。本文采用的Attention機(jī)制來(lái)自于SENet算法(Squeeze-and-ExcitationNetworks),具體結(jié)構(gòu)如圖6所示，SENet算法主要包括Squeeze和Excitation兩項(xiàng)操作對(duì)于Squeeze操作，需要在channel方向上進(jìn)行全局的平均池化操作，把H*W的輸入特征圖轉(zhuǎn)化為1*1的特征圖，即將channel方向上的整個(gè)空間特征編碼為一個(gè)全局特征，公式如下： (1.1)式中：X獲得各channel方向上的全局特征后，Excitation階段模型需要學(xué)習(xí)各全局特征間的非線性關(guān)系，采用Relu激活函數(shù)來(lái)增加非線性的變化。同時(shí)為減少參數(shù)的計(jì)算量，在Relu操作前后采用2個(gè)全連接層結(jié)構(gòu)，第一個(gè)全連接層主要進(jìn)行參數(shù)壓縮的作用，第二個(gè)全連接層起到恢復(fù)原始維度的作用，其中壓縮系數(shù)為R；最后使用Sigmoid函數(shù)獲得各個(gè)channel上全局特征的權(quán)重大小W (1.2)Attention模塊放置于TCB模塊后，可以將經(jīng)過(guò)特征整合后的特征圖在進(jìn)行進(jìn)一步的特征提取，獲得注意力特征圖。注意力的特征圖與TCB模塊輸出的特征圖相比，其對(duì)特征的提取會(huì)更加的充分，帶有缺陷特征會(huì)賦予更大的權(quán)重系數(shù)，因此將注意力特征圖輸入到ODM模塊中進(jìn)行最終的檢測(cè)時(shí)復(fù)雜背景的干擾會(huì)得到明顯的降低。1.4冷隔缺陷端到端檢測(cè)方法深度學(xué)習(xí)模型在進(jìn)行訓(xùn)練時(shí)，需要保證各個(gè)類別間樣本的數(shù)量差距不能過(guò)大，否則會(huì)嚴(yán)重影響神經(jīng)網(wǎng)絡(luò)的泛化能力。但是，各種缺陷工件的數(shù)量是極不平衡的。本文中冷隔缺陷的數(shù)量相比其他缺陷的數(shù)量相差10倍以上，導(dǎo)致冷隔缺陷無(wú)法和其余缺陷樣本一起進(jìn)行訓(xùn)練。為實(shí)現(xiàn)對(duì)冷隔缺陷端到端檢測(cè)的目的，本文提出一種將深度學(xué)習(xí)與輪廓發(fā)現(xiàn)相結(jié)合的端到端檢測(cè)方法。冷隔缺陷發(fā)生的位置在工件上是確定的，所以在數(shù)據(jù)集中增加一種類別，該類別為冷隔缺陷敏感區(qū)域，用于確定冷隔缺陷可能發(fā)生的位置。如圖7所示，將待檢測(cè)圖片輸入到神經(jīng)網(wǎng)絡(luò)中，判斷該圖片是否存在冷隔敏感區(qū)域。若圖片中不存在冷隔敏感區(qū)域，則正常輸出神經(jīng)網(wǎng)絡(luò)的檢測(cè)結(jié)果；否則根據(jù)網(wǎng)絡(luò)檢測(cè)的具體坐標(biāo)對(duì)冷隔區(qū)域進(jìn)行截取并對(duì)該區(qū)域進(jìn)行輪廓發(fā)現(xiàn)處理，來(lái)判斷該區(qū)域是否發(fā)生冷隔缺陷。對(duì)于輪廓發(fā)現(xiàn)方法，待檢測(cè)圖片需要通過(guò)灰度化處理轉(zhuǎn)化為灰度圖；并對(duì)灰度圖進(jìn)行二值化計(jì)算，具體計(jì)算如下： (1.3)其中X運(yùn)用開操作運(yùn)算，過(guò)濾掉二值化圖片中的小噪聲；最后進(jìn)行發(fā)現(xiàn)輪廓操作，計(jì)算輪廓的面積，當(dāng)輪廓的面積大于設(shè)定的閾值時(shí)，該工件判定為缺陷件，否則為無(wú)冷隔缺陷。1.5人臉檢測(cè)準(zhǔn)確性技術(shù)針對(duì)小目標(biāo)的檢測(cè)，一種較好的解決方法就是通過(guò)上下文信息來(lái)增加小目標(biāo)檢測(cè)的準(zhǔn)確率，如在人臉檢測(cè)中頭發(fā)的存在可以提高人臉檢測(cè)準(zhǔn)確率針對(duì)上面出現(xiàn)的問(wèn)題，提出一種對(duì)比訓(xùn)練方法。為減少上下文信息的干擾，本文在數(shù)據(jù)集中新增加一類沒(méi)有缺肉缺陷的類別，使得網(wǎng)絡(luò)模型在訓(xùn)練的過(guò)程中對(duì)這兩種類別進(jìn)行對(duì)比訓(xùn)練，通過(guò)不斷的迭代訓(xùn)練使網(wǎng)絡(luò)辨別這兩種類別，進(jìn)而判斷物體是否存在缺陷，達(dá)到降低誤檢率的目的。2數(shù)據(jù)集和評(píng)估指標(biāo)2.1冷隔敏感區(qū)域圖片壓面在工廠內(nèi)一共采集缺陷圖片為2500張，具體包括的缺陷類型有缺肉、縮孔、多肉、氣孔和冷隔缺陷等，額外包括冷隔敏感區(qū)域圖片305張。為增強(qiáng)模型的泛化能力，對(duì)所采集的數(shù)據(jù)集進(jìn)行了數(shù)據(jù)增強(qiáng)操作，包括圖像的對(duì)稱、旋轉(zhuǎn)等2項(xiàng)操作，并且過(guò)濾掉一些效果較差的圖片后一共獲得7816張圖片，并將數(shù)據(jù)集按照8：1：1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，部分缺陷圖片如圖9所示，各種類缺陷圖片數(shù)量如表3所示。2.2缺陷件或者是良品件本文選擇的模型評(píng)價(jià)指標(biāo)分別為正檢率和MAP這2個(gè)評(píng)價(jià)指標(biāo)。對(duì)于某個(gè)待檢測(cè)的圖片，該圖片的檢測(cè)結(jié)果只能是缺陷件或者是良品件，則正檢率指的是檢測(cè)正確的圖片數(shù)占檢測(cè)圖片的總數(shù)，即 (2.1)對(duì)于MAP，是用于衡量模型的一個(gè)綜合性指標(biāo)， (2.2) (2.3) (2.4) (2.5)其中，TP指將正樣本識(shí)別為正樣本的數(shù)量，F(xiàn)P指將負(fù)樣本誤識(shí)別為正樣本的數(shù)量，F(xiàn)N指將正樣本誤判為負(fù)樣本的數(shù)量，c表示樣本中類別的數(shù)量。3結(jié)果3.1圖像采集模塊本文搭建的鑄件外觀缺陷實(shí)驗(yàn)平臺(tái)如圖10所示，實(shí)驗(yàn)平臺(tái)包括3大模塊，分別為圖像采集模塊、數(shù)據(jù)傳輸模塊和缺陷檢測(cè)模塊。在檢測(cè)的時(shí)候，當(dāng)圖像采集模塊中的機(jī)械臂運(yùn)動(dòng)到工件的待檢測(cè)位置后，PLC控制器為視覺(jué)控制器發(fā)送信號(hào)，視覺(jué)控制器接收到信號(hào)后開始采集圖像。視覺(jué)控制器通過(guò)數(shù)據(jù)傳輸模塊的CPE（CustomerPremiseEquipment）設(shè)備連接到5G網(wǎng)絡(luò)，將采集的圖像通過(guò)5G網(wǎng)絡(luò)傳輸?shù)饺毕輽z測(cè)模塊的云端服務(wù)器。服務(wù)器端收到請(qǐng)求后，會(huì)對(duì)發(fā)送的圖片進(jìn)行檢測(cè)，最后將檢測(cè)結(jié)果通過(guò)5G網(wǎng)絡(luò)反饋到視覺(jué)控制器終端來(lái)指導(dǎo)下一步的工作。3.2缺肉缺陷實(shí)驗(yàn)為驗(yàn)證對(duì)比訓(xùn)練策略的實(shí)際效果，本文采用2種不同的訓(xùn)練策略分別進(jìn)行訓(xùn)練，并將訓(xùn)練后的權(quán)重系數(shù)保存下來(lái)進(jìn)行測(cè)試。制作了含有200張圖片的測(cè)試集，其中包含100張缺肉缺陷圖片和100張無(wú)缺陷圖片。實(shí)驗(yàn)結(jié)果如表4所示，從表中可以看出通過(guò)采用對(duì)比訓(xùn)練策略，正檢率由88.5%提升至95%，其中錯(cuò)檢數(shù)得到了明顯的改善，錯(cuò)檢率由10.5%下降至1.5%。但是由于神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的過(guò)程中需要對(duì)2種相似的物體進(jìn)行區(qū)分，使得漏檢數(shù)得到小幅度的上升。但總體的正檢率獲得了6.5%的提升，取得了顯著的效果?？梢钥闯鐾ㄟ^(guò)采用對(duì)比訓(xùn)練的策略，能夠明顯的降低背景信息對(duì)小缺陷檢測(cè)的影響。3.3錨點(diǎn)改進(jìn)對(duì)比為驗(yàn)證密排錨點(diǎn)設(shè)計(jì)的實(shí)際效果，在模型訓(xùn)練的過(guò)程中，監(jiān)測(cè)正樣本與GroundTruth之間的平均IOU值隨迭代次數(shù)的變化，如圖11所示。從圖中可以看出，在經(jīng)過(guò)10000次左右的迭代后，密排錨點(diǎn)的IOU平均值明顯高于設(shè)計(jì)之前的IOU的平均值。這說(shuō)明在訓(xùn)練的過(guò)程中，GroundTruth會(huì)與其最適合的錨點(diǎn)進(jìn)行位置損失的計(jì)算，會(huì)使模型訓(xùn)練的更加充分，在檢測(cè)時(shí)回歸的位置會(huì)更加準(zhǔn)確。為進(jìn)一步驗(yàn)證重新設(shè)計(jì)的錨點(diǎn)對(duì)召回率的影響，統(tǒng)計(jì)錨點(diǎn)設(shè)計(jì)前后測(cè)試集中圖片的召回率隨IOU的變化曲線圖，如圖12所示。從圖中可以看出，經(jīng)過(guò)錨點(diǎn)重新設(shè)計(jì)的Refine-ACTDD模型明顯具有更高的召回率。實(shí)際檢測(cè)的效果如圖13所示，從對(duì)比的效果圖中可以看出，小型缺陷檢測(cè)的召回率得到明顯的改善。3.4athention機(jī)制對(duì)不同件外觀缺陷錯(cuò)檢率的影響為驗(yàn)證Attention模塊對(duì)復(fù)雜背景的鑄件外觀缺陷檢測(cè)的具體影響，在訓(xùn)練集上分別對(duì)有無(wú)Attention模塊的模型進(jìn)行了訓(xùn)練和結(jié)果測(cè)試。由于復(fù)雜背景的干擾，會(huì)導(dǎo)致鑄件外觀缺陷檢測(cè)的錯(cuò)檢率明顯提高，因此統(tǒng)計(jì)了模型在增加Attention機(jī)制前后各類別缺陷錯(cuò)檢率大小，具體的結(jié)果如表5所示。從表中可以看出，在增加Attention機(jī)制后，縮孔和多肉缺陷的錯(cuò)檢率得到較大的下降，分別降低了2.47%和2.5%，這主要是因?yàn)殍T件外觀的背景形狀和顏色等與縮孔缺陷和多肉缺陷相似，因此上述2種缺陷更易受到背景的干擾，檢測(cè)結(jié)果如圖14所示。從圖中可以看出，增加Attention機(jī)制后可以明顯減少工件表面的特殊形狀、顏色和切削液殘留等復(fù)雜背景的干擾，能夠降低鑄件外觀缺陷的錯(cuò)檢率。3.5模型檢測(cè)性能分析為驗(yàn)證Refine-ACTDD算法模型的整體效果，將其與原算法RefineDet和目前廣泛應(yīng)用于工業(yè)界的目標(biāo)檢測(cè)算法Faster-RCNN和YOLOv3算法進(jìn)行對(duì)比實(shí)驗(yàn)。在模型訓(xùn)練后，對(duì)上述算法的Recall和Precision進(jìn)行了統(tǒng)計(jì)，選取2種典型的缺陷類型，分別是小體積缺陷的缺肉缺陷和較大體積缺陷的多肉缺陷，其Precision-Recall曲線如圖15、16所示。從Recall-Precision的曲線圖中可以看出，Refine-ACTDD相比RefineDet、YOLOv3和Faster-RCNN具有較好的性能。模型檢測(cè)的正檢率和MAP如表6和表7所示，從表中可以看出，Refine-ACTDD具有最高的平均正檢率95.44%，與YOLOv3、Faster-RCNN和RefineDet相比，平均正檢率分別高出16%、1.94%和2.62%，MAP分別高出17.9%、11.82%和3.3%。如圖17所示，YOLOv3以0.015s的檢測(cè)時(shí)間在上述算法中具有最快的檢測(cè)速度，但是正檢率表現(xiàn)較差；Faster-RCNN具有較高的正檢率但檢測(cè)時(shí)間確高達(dá)0.039s；Refine-ACTDD相比于RefineDet僅以0.003s的時(shí)間代價(jià)獲得最高的正檢率，并且檢測(cè)的時(shí)間明顯快于Faster-RCNN算法，這說(shuō)明Refine-ACTDD算法兼具高的正檢率和檢測(cè)效率。具體檢測(cè)的效果圖如圖18所示，結(jié)合曲線圖15、16可以看出來(lái)，Refine-ACTDD無(wú)論檢測(cè)較大缺陷還是小型缺陷都表現(xiàn)較好，與RefineDet算法相比，其在小缺陷的檢測(cè)上效果得到了提升。Faster-RCNN在小型缺陷檢測(cè)上具有較高的召回率，但是由于鑄件外觀復(fù)雜的背景干擾，因而鑄件的背景也會(huì)誤判為缺陷，導(dǎo)致MAP較低。YOLOv3算法在小型缺陷的檢測(cè)方面表現(xiàn)較差，漏檢數(shù)較多。Refine-ACTDD算法通過(guò)密排錨點(diǎn)的設(shè)計(jì)和注意力機(jī)制的加入，較好解決了上述問(wèn)題。4小樣本缺陷檢測(cè)算法本文提出了一種基于深度學(xué)習(xí)的缺陷外觀缺陷檢測(cè)算法。該算法基于RefineDet算法進(jìn)行改進(jìn)，采用密排錨點(diǎn)的方法，提高了小型缺陷檢測(cè)的召回率