機器視覺-第10章-機器視覺應(yīng)用實例VIP

機器視覺：10.機器視覺應(yīng)用實例狹孔內(nèi)部缺陷檢測系統(tǒng)醫(yī)用大輸液外觀缺陷檢測系統(tǒng)火星探測車視覺系統(tǒng)

視覺SLAMImageNet與大規(guī)模視覺識別ImageNet與大規(guī)模視覺識別挑戰(zhàn)賽1.1ImageNet介紹Part142009年在CVPR上發(fā)表論文ImageNet:ALarge-ScaleHierarchicalImageDatabase，首次展示了ImageNet數(shù)據(jù)集。數(shù)據(jù)集包括超過1400萬幅經(jīng)手工標(biāo)注（注明其中的對象類型）的圖像。2010年以來，ImageNet項目每年舉辦一次競賽，即ILSVRC。

2017年后，

改由Kaggle維護1.1ImageNet介紹Part15目前ImageNet有14,197,122幅圖像，分為21,841個類別。1.2大規(guī)模視覺識別挑戰(zhàn)賽Part16ILSVRC是機器視覺領(lǐng)域最具權(quán)威的學(xué)術(shù)競賽之一，該競賽采用ImageNet數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練和性能評估。具體包括：（1）圖像分類與目標(biāo)定位（CLS-LOC）圖像分類的任務(wù)是要判斷圖片中物體在1000個分類中所屬的類別，主要采用top-5錯誤率的評估方式，即對每張圖給出5次猜測結(jié)果，只要5次中有一次命中真實類別就算正確分類，最后統(tǒng)計沒有命中的錯誤率。2012年之前，圖像分類最好的成績是26%的錯誤率，2012年AlexNet的出現(xiàn)降低了10個百分點，錯誤率降低到16%。2015年由ResNet實現(xiàn)了3.57%的錯誤率，首次超越了人類。1.2大規(guī)模視覺識別挑戰(zhàn)賽Part17（2）目標(biāo)檢測（DET）目標(biāo)檢測是在定位的基礎(chǔ)上更進(jìn)一步，在圖片中同時檢測并定位多個類別的物體。具體來說，是要在每一張測試圖片中找到屬于200個類別中的所有物體，如人、勺子、水杯等。評判方式為考量模型在每一個單獨類別中的識別準(zhǔn)確率。平均檢出率（meanAveragePrecision）也是重要指標(biāo)，2016年這一成績達(dá)到了66.2%。1.2大規(guī)模視覺識別挑戰(zhàn)賽Part18（3）視頻目標(biāo)檢測（VID）視頻目標(biāo)檢測目標(biāo)是檢測出視頻每一幀中包含的多個類別的物體，與圖片目標(biāo)檢測任務(wù)類似。要檢測的目標(biāo)物體有30個類別，是目標(biāo)檢測200個類別的子集。2016年南京信息工程大學(xué)隊伍在這一項目上獲得冠軍，他們提供的兩個模型分別在10個類別中勝出，并且平均檢出率超過80%。1.2大規(guī)模視覺識別挑戰(zhàn)賽Part19（4）場景分類（Scene）場景分類是識別圖片中的場景，比如森林、劇場、會議室、商店等，即要識別處圖像中的背景。這個項目由MITPlaces團隊組織，使用Places2數(shù)據(jù)集，包括400個場景的超過1000萬張圖片。評判標(biāo)準(zhǔn)與圖像分類相同，均為top-5錯誤率，5次猜測中有一次正確即認(rèn)為成功分類，最后統(tǒng)計錯誤率。該賽題在2016年最佳成績的錯誤率僅為9%。1.2大規(guī)模視覺識別挑戰(zhàn)賽Part110（4）場景分類：任務(wù)示意1.2大規(guī)模視覺識別挑戰(zhàn)賽Part111ILSVRC圖像分類任務(wù)的獲勝者從2012年開始均使用深度學(xué)習(xí)的方法，冠軍錯誤率逐年遞減，但網(wǎng)絡(luò)層數(shù)不斷升高火星探測車視覺系統(tǒng)火星探測車視覺系統(tǒng)簡介Part213火星是除了地球以外人類了解最多的行星火星探測車是目前對火星表面進(jìn)行詳細(xì)探測最為有效的工具2004年，NASA的火星探測器勇氣號和機遇號在火星登陸，隨后開始工作，其中機遇號工作長達(dá)15年，為人類研究探測火星表面提供了大量珍貴的數(shù)據(jù)2020年，中國發(fā)射首個火星探測器“天文一號”。2021年，中國的火星車“祝融號”在火星著陸并開始工作。火星探測車視覺系統(tǒng)簡介Part214火星車(MER)的視覺系統(tǒng)共使用10個相機，包括：1個著陸相機:安裝于著陸器下部；2個導(dǎo)航相機：構(gòu)成立體視覺系統(tǒng)，安裝于車體前；4個避障相機分成2對，分別安裝于車體前、后部，每對相機同樣構(gòu)成立體視覺系統(tǒng)；2個全景相機：安裝在車體頂部，構(gòu)成立體視覺系統(tǒng)，用于拍攝火星表面圖像；1個用于科學(xué)觀測的顯微成像相機火星探測車視覺系統(tǒng)簡介Part215機遇號火星車整體結(jié)構(gòu)與視覺傳感器：火星探測車視覺系統(tǒng)簡介Part216火星車相機參數(shù)：配置參數(shù)下降相機導(dǎo)航相機(Navcam)避險相機(Hazcam)全景相機(Pancam)數(shù)量1242CCD讀出時間（全幅）5.4s5.4s5.4s5.4s像素尺寸光學(xué)角分辨率0.82mrad/pixel0.82mrad/pixel0.82mrad/pixel0.82mrad/pixel焦距14.67mm14.67mm5.58mm43mm視場角立體基線長度無0.20m0.10m0.30m距火星表面高度約1500m1.54m0.52米(前相機)0.51m(后相機)1.54m質(zhì)量207克220克245克270克2.1下降圖像運動估計Part217在MER進(jìn)入火星大氣層期間，著陸系統(tǒng)會受到風(fēng)的影響導(dǎo)致著陸點偏移。為補償風(fēng)速，下降圖像運動估計子系統(tǒng)(DIMES)收集火星表面下降相機采集連續(xù)圖像中包含的表面特征的實時圖像相關(guān)性的結(jié)果，以計算探測車下降過程中的水平速度并進(jìn)行運動補償。2.1下降圖像運動估計Part218利用著陸器狀況信息和相機模型，DIMES將每幅圖像重投影到地表，然后通過關(guān)聯(lián)兩個場景來計算圖像之間的水平位移。2.2視覺避險與自主導(dǎo)航Part219MER的避險功能通過立體視覺相機和軟件實現(xiàn)。為了分析給定大小的地圖單元，將該單元內(nèi)的所有XYZ點擬合到一個平面上，該平面擬合的參數(shù)用于評估MER在不同方位下的安全程度，進(jìn)一步在此地圖上進(jìn)行路徑規(guī)劃。2.3雙目視覺測距Part220MER立體測距采用基于區(qū)域的算法，使用絕對差值之和（SAD）標(biāo)準(zhǔn)進(jìn)行匹配。2.3雙目視覺測距Part221雙目測距誤差和地面與相機的距離相關(guān)；參見8.3節(jié)內(nèi)容。2.4視覺里程計Part222視覺里程計利用單目或雙目攝像機得到圖像序列，然后通過特征提取、匹配與跟蹤估計載體運動信息進(jìn)行導(dǎo)航定位。2.4視覺里程計Part223視覺里程計算法選擇點特征，使用多分辨率區(qū)域相關(guān)法進(jìn)行立體匹配，然后通過跟蹤匹配特征來估計相鄰幀之間的六自由度運動。醫(yī)用大輸液外觀燈檢系統(tǒng)醫(yī)用大輸液外觀檢測系統(tǒng)簡介Part325基于機器視覺的醫(yī)用大輸液外觀缺陷系統(tǒng)，可自動檢測常見的大輸液瓶外觀缺陷。醫(yī)用大輸液外觀檢測系統(tǒng)簡介Part326整體處理流程：3.1針對畫面抖動的圖像配準(zhǔn)Part327實際大輸液外觀缺陷設(shè)備因為相機抖動、伺服系統(tǒng)的精度、機械結(jié)構(gòu)的剛性的問題，會造成多次輸液瓶外觀圖像之間存在微小的抖動偏移量，引起后續(xù)誤檢。為解決該問題，可采用圖像配準(zhǔn)的方法。3.1針對畫面抖動的圖像配準(zhǔn)Part328(1)基于特征的圖像匹配方法在一個圖像中檢測稀疏的特征集并且與另一圖像中的特征匹配。3.1針對畫面抖動的圖像配準(zhǔn)Part329

3.1針對畫面抖動的圖像配準(zhǔn)Part330

3.1針對畫面抖動的圖像配準(zhǔn)Part331大輸液圖像配準(zhǔn)方法比較定義mSE為n-1個圖像對的均方根誤差，并作為評判標(biāo)準(zhǔn)。使用上述各方法進(jìn)行實驗，得到比較結(jié)果：實驗方法具體算法mSE(pixel)FPS特征匹配法ORB+BF(Optimized)-128444模板匹配法改進(jìn)CCOEFF方法<3320相關(guān)系數(shù)法<1103.2高性能橢圓檢測Part332醫(yī)用輸液瓶本身為圓柱形，從豎直方向所采集的瓶口、瓶身以及瓶底拉環(huán)等外觀缺陷位置的圖像皆為較為標(biāo)準(zhǔn)的圓形，圓形透視投影后為橢圓，因此需要進(jìn)行準(zhǔn)確的圖像橢圓檢測。設(shè)計基于弧支撐線的方法，以達(dá)到較好的效率和精度以滿足工業(yè)檢測需求?；诨≈尉€的圓形檢測主要包括獲取弧支撐線段、成對線段分析和驗證與擬合三個步驟。3.2高性能橢圓檢測Part333（1）獲取弧支撐線段使用快速線段檢測器，篩選其中的弧線段。3.2高性能橢圓檢測Part334（2）成對線段分析利用弧支撐線的方向性做一些早期決策后可以得到屬于一個圓的部分線段，進(jìn)而得到多個帶有圓心O坐標(biāo)和半徑R的初始圓。3.2高性能橢圓檢測Part335（3）驗證和擬合使用均值漂移聚類和非極大值抑制移除候選圓中的重復(fù)項。同時使用最小二乘法對圓進(jìn)行擬合，再根據(jù)邊緣像素點的數(shù)量和圓的完整度進(jìn)行驗證最終得到無重復(fù)的圖像中的圓幾何特征。3.3輕量級網(wǎng)絡(luò)圖像分類Part336設(shè)計輕量級圖像分類網(wǎng)絡(luò)，以滿足大輸液檢測的準(zhǔn)確率與時間效率的要求。理論上，采用深度可分離卷積，計算的3×3卷積比傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)計算量下降8-9倍。3.4硬件系統(tǒng)實現(xiàn)Part337自動燈檢機俯視圖。其中位置4是負(fù)責(zé)瓶底缺陷和瓶身缺陷的工位，位置11是負(fù)責(zé)瓶口缺陷和瓶身缺陷的工位，位置6、7、8是負(fù)責(zé)瓶內(nèi)異物同時肩負(fù)瓶身缺陷的工位，位置10是負(fù)責(zé)缺陷輸液瓶分類的執(zhí)行機構(gòu)。3.4硬件系統(tǒng)實現(xiàn)Part338（1）瓶底檢測工位瓶底檢測工位的示意如圖，其中光源為白色的環(huán)形光源，從輸液瓶的底部向上打光。工業(yè)相機和光源均位于瓶子下部，屬于同側(cè)明場照明方式。工業(yè)相機放置在底部的盒子內(nèi)，一個方形的反光鏡在工業(yè)相機和輸液瓶的中軸線的交叉點呈45度角放置，用于將照明圖像反射至相機。光源位于反光鏡的上方。3.4硬件系統(tǒng)實現(xiàn)Part339（2）瓶口檢測工位瓶口工位由一個相機、四個反光鏡和兩個光源組成。通過四個反光鏡，得到瓶口頂部以及側(cè)面三個角度的圖像。兩個光源分別是從工業(yè)相機同側(cè)打光和對側(cè)打光，用于照明并提高針對某些特征的對比度。狹孔內(nèi)部缺陷檢測系統(tǒng)狹孔內(nèi)部缺陷檢測系統(tǒng)簡介Part441發(fā)動機制造中需要檢測多種通孔、細(xì)盲孔等內(nèi)部缺陷，如凸輪軸孔、氣缸缸孔等孔內(nèi)的劃傷、裂紋、砂眼、異物等。4.1成像系統(tǒng)設(shè)計Part442由于孔內(nèi)空間狹小，常規(guī)相機無法“看”到指定深度，一般的工業(yè)內(nèi)窺鏡由于原理局限，成像精度低，眩光干擾大，無法滿足要求，因此，需根據(jù)需求設(shè)計專用成像系統(tǒng)。成像系統(tǒng)設(shè)計主要包括以下三種：（1）平面反射鏡法;（2）錐面反射鏡法;（3）球面反射鏡法。4.1成像系統(tǒng)設(shè)計Part443內(nèi)孔檢測成像原理比較4.1成像系統(tǒng)設(shè)計Part444球面反射鏡法成像無需旋轉(zhuǎn)機構(gòu)，成像系統(tǒng)更為簡潔，易于加工，因而在實際中優(yōu)先選擇球面反射鏡成像方案。4.1成像系統(tǒng)設(shè)計Part445球面反射鏡法成像無需旋轉(zhuǎn)使用標(biāo)準(zhǔn)0.3mm污點檢測卡進(jìn)行光學(xué)模擬成像，對比效果如圖。4.2狹孔缺陷檢測算法設(shè)計Part446采用對比度受限的自適應(yīng)直方圖均衡化方法（CLAHE）進(jìn)行圖像預(yù)處理，改善光照不均問題。4.2狹孔缺陷檢測算法設(shè)計Part447使用基于高分辨率圖像切片處理的Yolov5模型進(jìn)行缺陷檢測4.3實驗結(jié)果與分析Part448針對實際采集數(shù)據(jù)，將缺陷劃分為劃痕、砂眼、磕碰三類，對應(yīng)數(shù)據(jù)集及網(wǎng)絡(luò)參數(shù)如表所示。訓(xùn)練集驗證集迭代次數(shù)權(quán)重類別數(shù)類別69741826200yolov5s.pt3劃痕砂眼磕碰4.3實驗結(jié)果與分析Part449使用帶有高分辨率圖像帶框切片策略的改進(jìn)一階段缺陷檢測模型對圖像增強后小孔內(nèi)壁缺陷數(shù)據(jù)集進(jìn)行訓(xùn)練和驗證，訓(xùn)練后的模型在驗證集上的各項指標(biāo)如表所示。缺陷類別標(biāo)簽數(shù)量檢測精度(P)查全率(R)mAP0.5all135710.9220.9220.903劃痕82210.9470.9320.927砂眼52350.9010.9110.892磕碰1150.9170.9230.889視覺SLAM視覺SLAMPart551自主定位：不依靠外界定位信息，如GPS等，對自身進(jìn)行定位定位依賴于具有足夠精度的環(huán)境地圖，而創(chuàng)建地圖又以準(zhǔn)確定位為基礎(chǔ)?；谝曈X的同時定位與建圖（SLAM）則為解決這一問題提供了有效方法。SLAM技術(shù)最早由Smith等人于1986年提出。經(jīng)過30余年的發(fā)展，SLAM被廣泛應(yīng)用于無人駕駛、定位導(dǎo)航、虛擬現(xiàn)實、智能物流等領(lǐng)域中。5.1視覺SLAM系統(tǒng)原理Part552視覺SLAM系統(tǒng)的基本框架：5.1視覺SLAM系統(tǒng)原理Part553（1）傳感器數(shù)據(jù)SLAM系統(tǒng)可使用視覺、激光雷達(dá)、慣性等傳感器作為數(shù)據(jù)來源在視覺的SLAM系統(tǒng)中，不同類型的視覺傳感器獲取信息有所差別，常見的包括：單目相機、雙目相機、深度相機、魚眼相機、全景相機等。5.1視覺SLAM系統(tǒng)原理Part554（2）前端視覺里程計首先與獲得的數(shù)據(jù)接觸并對其進(jìn)行處理，在系統(tǒng)中處在靠前的位置，也叫做前端前端首先對每一幀圖像進(jìn)行處理進(jìn)一步利用每一幀圖像恢復(fù)出相機的運動情況以及周圍的環(huán)境信息。根據(jù)視覺傳感方式的不同，可能使用PnP算法獲立體視覺算法等求解5.1視覺SLAM系統(tǒng)原理Part555（3）后端優(yōu)化在前端對位姿估計完成后，再對估計出的位姿信息進(jìn)行優(yōu)化，以減小誤差和各類噪聲的影響，盡可能地提高精度光束平差法是SLAM后端優(yōu)化中采用的主要非線性方法5.1視覺SLAM系統(tǒng)原理Part556

5.1視覺SLAM系統(tǒng)原理Part557（4）回環(huán)檢測對構(gòu)建的地圖進(jìn)行閉環(huán)，目的是識別出相機運行到之前來過的地方，以此作為可靠的依據(jù)來對之前每一幀的相機位姿和地