基于MobileNetV2-SSD的燒結(jié)臺車車輪檢測

01研究背景燒結(jié)臺車是燒結(jié)機主要運行部件，通常由在軌道上首尾相接的燒結(jié)小車組成，每臺燒結(jié)小車包括數(shù)十至上百套臺車車廂和車輪系統(tǒng)，通過這些車輪系統(tǒng)在軌道上順利運行，進而確保整個燒結(jié)臺車的運行。在生產(chǎn)中，燒結(jié)臺車由于載重較大，并且需要長時間運行，車輪系統(tǒng)很容易出現(xiàn)故障，為保證安全生產(chǎn)，經(jīng)常需要對燒結(jié)臺車車輪加注潤滑脂進行潤滑，國內(nèi)多年來針對燒結(jié)臺車車輪的加油潤滑方法一直是采用燒結(jié)機停機狀態(tài)下通過人工進行加油潤脂，這種方法由于停機時間有限，車輪無法得到有效潤滑，同時停機狀態(tài)會影響到燒結(jié)機的作業(yè)率，并且人工操作存在一定的安全問題。通過機器視覺實時檢測出燒結(jié)臺車車輪的位置，輔助加油槍出槍，完成自動加油，無需停機，成本較低，并且大大提高了燒結(jié)機的作業(yè)效率。目標檢測是進行場景內(nèi)容理解等高級視覺任務(wù)的前提，目前已應(yīng)用于智能視頻監(jiān)控、基于內(nèi)容的圖像檢索、機器人導航和增強實現(xiàn)等任務(wù)中。傳統(tǒng)的目標檢測方法主要使用方向梯度直方圖、尺度不變特征變換等圖像特征對滑動窗口進行判別，由于滑動窗口需要大量的計算開銷，從而無法滿足應(yīng)用場景的實時檢測需求，因此，基于候選框的目標檢測算法開始得到廣泛應(yīng)用，同時隨著深度卷積網(wǎng)絡(luò)在計算機視覺領(lǐng)域的突破性發(fā)展，其主要通過權(quán)值共享策略將網(wǎng)絡(luò)的層次不斷加深，從而使網(wǎng)絡(luò)具有更強的解析能力，同時由于智能硬件的算力不斷提高，對于復(fù)雜網(wǎng)絡(luò)的計算速率越來越快，目前的主流檢測網(wǎng)絡(luò)在足夠算力的硬件條件下完全能達到工業(yè)檢測的實時標準。02研究方法研究對象為燒結(jié)臺車車輪，試驗數(shù)據(jù)為燒結(jié)現(xiàn)場采集的燒結(jié)臺車圖像數(shù)據(jù)?？紤]到燒結(jié)廠房24h不間斷工作，白天夜晚光照強度不一致，且現(xiàn)場環(huán)境比較惡劣，熱氣、沙塵都會對燒結(jié)臺車的成像產(chǎn)生影響，因此，在不同光照強度下以不同的角度對燒結(jié)臺車車輪進行圖像采集，得到了不同尺寸的車輪圖像，同時通過圖像增強對數(shù)據(jù)集進行進一步擴充，生成不同噪聲的燒結(jié)臺車車輪圖像，并以擴充后的數(shù)據(jù)集進行模型訓練，增強模型的泛化性能，處理后的數(shù)據(jù)如圖1所示。圖1不同光照強度不同環(huán)境下不同尺寸的燒結(jié)臺車車輪針對燒結(jié)臺車車輪的檢測方案主要以SSD網(wǎng)絡(luò)為檢測框架主體，其中backbone部分用輕量化的網(wǎng)絡(luò)MobileNetV2替代傳統(tǒng)的VGG或ResNet網(wǎng)絡(luò)，該檢測網(wǎng)絡(luò)的整體結(jié)構(gòu)圖如圖2所示。圖2

MobileNetV2-SSD目標檢測網(wǎng)絡(luò)結(jié)構(gòu)圖該檢測網(wǎng)絡(luò)的特征提取部分采用MobileNetV2的主體架構(gòu)，去除了最后的平均池化層和卷積層，并用第五個Bottleneck和平均池化層前的卷積層生成兩個FeatureMap，大小為14x14x96、10x10x1280，額外的特征提取層分為四個模塊，每個模塊的結(jié)構(gòu)與MobileNetV2的Bottleneck結(jié)構(gòu)類似，同樣采用了倒殘差結(jié)構(gòu)，這四個塊每個都生成一個FeatureMap，大小分別為5x5x512，5x5x256，3x3x256，1x1x256，加上主干網(wǎng)絡(luò)，該檢測網(wǎng)絡(luò)共生成6個尺寸不同的FeatureMap，形成多尺度特征圖，并在特征圖的每個位置上生成了不同尺度和長寬比的Priorbox（先驗框）并直接進行檢測，最后通過非極大抑制篩選出最精確的檢測框。采用的檢測網(wǎng)絡(luò)整體架構(gòu)為SSD，該網(wǎng)絡(luò)不需要額外生成候選框區(qū)域，直接由卷積層生成特征圖進行檢測，因此檢測速度遠遠快于Faster-RCNN等檢測網(wǎng)絡(luò)，同時該網(wǎng)絡(luò)可生成多尺度特征圖以及設(shè)定不同長寬比的先驗框，使得該網(wǎng)絡(luò)針對不同尺寸的目標都有很好的檢測效果；另外該網(wǎng)絡(luò)的主干部分為輕量級網(wǎng)絡(luò)MobileNetV2，因此相比較其他的SSD檢測網(wǎng)絡(luò)，該網(wǎng)絡(luò)的檢測速度有了進一步的提高，更適合在移動端或嵌入式設(shè)備上使用。03研究結(jié)果提出的輕量型目標檢測網(wǎng)絡(luò)MobileNetV2-SSD應(yīng)用到工業(yè)現(xiàn)場，得到不同光照條件、不同工作環(huán)境下的燒結(jié)臺車車輪檢測效果圖如圖3所示。圖3

不同生產(chǎn)環(huán)境下不同尺寸的燒結(jié)臺車車輪檢測效果為了檢驗?zāi)Ｐ驮诓煌布碌臋z測能力，分別在不同算力的GPU、CPU以及一些移動端、嵌入式設(shè)備上對模型的檢測速率進行了測試，測試結(jié)果見表1。表1

MobileNetV2-SSD檢測模型在不同硬件下的檢測效果為了驗證燒結(jié)臺車車輪檢測模型MobileNetV2-SSD的優(yōu)越性，將數(shù)據(jù)集放在不同的目標檢測網(wǎng)絡(luò)上進行測試，其中包括Faster-RCNN、VGG16-SSD、MobileNetV2-Yolov3以及Tiny-YOLOV4等，測試結(jié)果如圖4所示。（a）準確率

（b）召回率（c）平均類別準確率

（d）檢測速率圖4不同檢測模型的檢測效果對比04研究結(jié)論提出的目標檢測模型MobileNetV2-SSD，主干網(wǎng)絡(luò)采用了輕量型的MobileNetV2，大大減少了網(wǎng)絡(luò)參數(shù)，使其可以搭載在移動端或嵌入式設(shè)備上運行，以應(yīng)對燒結(jié)現(xiàn)場復(fù)雜的工作環(huán)境；整體檢測架構(gòu)采用了基于多尺度特征圖的SSD檢測，針對不同尺寸大小的目標均有非常好的檢測效果。同時模型在數(shù)據(jù)集上的準確率、召回率以及mAP上都達到了90%以上，具有非常高的檢測精度。在檢測速率方面，GPU上整體表現(xiàn)為40fps以上，CPU上的檢測速度在30~40fps之間，在移動端和嵌入式設(shè)備上也可以做到3~6次/s以上的檢測，基本滿足了工業(yè)實時檢測的標