表面質(zhì)量檢測(cè)系統(tǒng)

1、基于機(jī)器視覺技術(shù)的產(chǎn)品表面質(zhì)量檢測(cè)系統(tǒng)王巖松1章春娥2（1北京凌云光子集團(tuán) 北京 100089 2北京交通大學(xué)信息科學(xué)研究所 北京100044）摘要：介紹了基于機(jī)器視覺技術(shù)的表面檢測(cè)系統(tǒng)的設(shè)計(jì)方案和系統(tǒng)構(gòu)成原理，并且針對(duì)表面檢測(cè)系統(tǒng)中廣泛應(yīng)用的高精度定位配準(zhǔn)算法以及Blob分析算法從原理上進(jìn)行了闡述，同時(shí)給出了當(dāng)前通用的表面檢測(cè)系統(tǒng)的處理單元構(gòu)成特點(diǎn)?；诒疚乃榻B的機(jī)器視覺技術(shù)的表面檢測(cè)系統(tǒng)已經(jīng)在工業(yè)現(xiàn)場(chǎng)得到了批量推廣應(yīng)用，對(duì)于以后開展類似的表面檢測(cè)系統(tǒng)具有一定的參考價(jià)值和指導(dǎo)意義。關(guān)鍵字：機(jī)器視覺表面檢測(cè)斑點(diǎn)分析（Blob分析）A Surface Inspecting System Bas

2、ed onMachine Vision TechnologyWang YansongZhang Chun-eA LUSTER LightTech Group Company，100089Institute of Information Science, Beijing Jiaotong University, Beijing, 100044Abstract：An introduction to some general design schemes and constructing principlesabout surface inspecting system based on machi

3、ne vision technology. Some algorithms widely used in surface inspecting system such as high resolution Search-alighment algorithm and Blob analysis algorighm are desrcibed in detail theoretically.The constructing way of processing uint in general surface inspecting system is also presented in this p

4、aper. Up to now, a great deal of surface inspecting systems based on the technology introduced in this paper have been successfully used in some industrial factory。KayWords:Machine VisionSurface InspectionBlob Analysis1機(jī)器視覺及系統(tǒng)機(jī)器視覺就是用機(jī)器代替人眼來做測(cè)量和判斷。機(jī)器視覺系統(tǒng)是指通過機(jī)器視覺產(chǎn)品，如CCD、CMOS和光電管等，將被攝取的目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給專用的

5、圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào)；圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來抽取目標(biāo)的特征，再根據(jù)判別的結(jié)果控制現(xiàn)場(chǎng)的設(shè)備。典型的工業(yè)機(jī)器視覺應(yīng)用系統(tǒng)包括如下部分：光源，鏡頭，CCD照相機(jī)，圖像處理單元（或圖像采集卡），圖像處理軟件，監(jiān)視器，通訊/輸入輸出單元等1。機(jī)器視覺是一項(xiàng)綜合技術(shù)，其中包括數(shù)字圖像處理技術(shù)、機(jī)械工程技術(shù)、控制技術(shù)、光源照明技術(shù)，光學(xué)成像技術(shù)、傳感器技術(shù)、模擬與數(shù)字視頻技術(shù)、計(jì)算機(jī)軟硬件技術(shù)、人機(jī)接口技術(shù)等。其中圖像處理軟件中的圖像處理算法是整個(gè)機(jī)器視覺的核心部分。圖像處理技術(shù)包含數(shù)字圖像處理學(xué)、計(jì)算機(jī)圖形學(xué)中的大量?jī)?nèi)容，涉及圖像分割、圖像測(cè)量、圖像融

6、合、圖像匹配、模式識(shí)別、計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)等大量前沿技術(shù)。圖像處理算法選擇的合理性、算法的適用性、算法的處理速度和處理精度等均將直接絕對(duì)最終機(jī)器視覺質(zhì)量檢測(cè)系統(tǒng)的檢測(cè)結(jié)果。本文設(shè)計(jì)的表面檢測(cè)系統(tǒng)使用了上述多項(xiàng)機(jī)器視覺技術(shù)，特別在圖像處理方面使用了高精度子像素定位配準(zhǔn)、斑點(diǎn)（Blob）分析等算法，對(duì)于提高檢測(cè)準(zhǔn)確性以及多種類產(chǎn)品自適應(yīng)檢測(cè)起到了決定性作用2。2表面質(zhì)量檢測(cè)系統(tǒng)設(shè)計(jì)方案與構(gòu)成圖1 系統(tǒng)組成原理框圖由于表面質(zhì)量檢測(cè)系統(tǒng)所涉及到的行業(yè)多，每個(gè)系統(tǒng)的設(shè)計(jì)方案都有著自己的特點(diǎn)，從通用型表面質(zhì)量檢測(cè)系統(tǒng)設(shè)計(jì)角度看，系統(tǒng)可由吹風(fēng)展平機(jī)構(gòu)、照明光源、CCD相機(jī)、鏡頭、機(jī)箱、圖像采集、圖像處理、控制單

7、元、監(jiān)視單元、執(zhí)行機(jī)構(gòu)和報(bào)警單元等組成，如圖1所示。不同的系統(tǒng)在組成上稍有區(qū)別。圖像照明光源采取了線性光源以產(chǎn)生照明能量集中的、光強(qiáng)分布均勻的一條光帶；同時(shí)吹風(fēng)展平機(jī)構(gòu)可以使檢測(cè)對(duì)象運(yùn)動(dòng)到CCD掃描線附近時(shí)保證不產(chǎn)生任何畸變；當(dāng)產(chǎn)品高速運(yùn)動(dòng)時(shí)，CCD線掃描相機(jī)通過消雜光光路對(duì)當(dāng)前掃描線進(jìn)行逐行采集，采集到的數(shù)據(jù)送入圖像采集單元進(jìn)行存儲(chǔ)。在經(jīng)過圖像處理單元進(jìn)行復(fù)雜的表面檢測(cè)運(yùn)算后，如果發(fā)現(xiàn)表面質(zhì)量缺陷，則控制報(bào)警單元進(jìn)行聲光報(bào)警，同時(shí)執(zhí)行單元向生產(chǎn)線發(fā)送相應(yīng)的控制指令將質(zhì)量次品與好品分倉(cāng)處理。監(jiān)視器可以醒目的匯報(bào)缺陷產(chǎn)生位置、缺陷面積大小等信息，便于用于可以迅速獲取信息。以印刷行業(yè)的產(chǎn)品表面質(zhì)量

8、檢測(cè)系統(tǒng)為例，系統(tǒng)包含了圖像采集卡、I/O輸入輸出卡、D/A轉(zhuǎn)換卡，PLC控制系統(tǒng)等部件，以微機(jī)系統(tǒng)作為處理和控制的中心單元。這種組成結(jié)果可以滿足大部分表面檢測(cè)系統(tǒng)的應(yīng)用需求。結(jié)構(gòu)組成如圖2所示。 圖2 印刷質(zhì)量檢測(cè)系統(tǒng)結(jié)構(gòu)示意圖3高精度定位配準(zhǔn)算法高精度定位配準(zhǔn)算法在表面檢測(cè)系統(tǒng)的機(jī)器視覺技術(shù)中占有重要的地位，是圖像與標(biāo)準(zhǔn)模板進(jìn)行缺陷檢測(cè)的必要條件。論文中所設(shè)計(jì)的高精度定位配準(zhǔn)算法將金字塔分層思想和互相關(guān)計(jì)算想結(jié)合，定位配準(zhǔn)精度可以達(dá)到1/64像素。同時(shí)算法采用了MMX方式進(jìn)行優(yōu)化，定位時(shí)間大大縮短。該定位配準(zhǔn)算法中的金字塔分層思想是：用不同帶寬的低通濾波器對(duì)原始圖像進(jìn)行低通濾波，得到一組不

9、同“分辨率”的圖像；然后從最高級(jí)（最粗的“分辨率”）開始，將模板和目標(biāo)圖像進(jìn)行匹配，將結(jié)果作為預(yù)測(cè)值，對(duì)下一級(jí)（較高的“分辨率”）的圖像進(jìn)行匹配，在子像素匹配時(shí)使用雙線性插值算法，最后可以達(dá)到要求的定位速度和定位精度。從理論上講，若每層的收斂范圍是m個(gè)像素，則第n層的收斂范圍可達(dá)到m×n個(gè)像素。在圖像定位核與圖像坐標(biāo)中心選取以后，根據(jù)初始定位信息可以計(jì)算得到實(shí)際圖像與模板圖像的夾角信息，然后將實(shí)際圖像根據(jù)進(jìn)行旋轉(zhuǎn)，此過程可以利用雙線性插值實(shí)現(xiàn)。設(shè)實(shí)際圖像上某一點(diǎn)，經(jīng)過旋轉(zhuǎn)以后為，則 （1）旋轉(zhuǎn)以后兩幅圖像之間就只存在X方向和Y方向上的偏移差異和。定位配準(zhǔn)算法采用分層逐步匹配方式可以得

10、到最佳的和。分層定位配準(zhǔn)的過程可以用圖3來說明，圖3示意了1/4個(gè)像素的定位精度，1個(gè)像素范圍內(nèi)的搜索定位過程。如圖3（a）所示，首次匹配在9個(gè)點(diǎn)中找到相關(guān)程度最好的點(diǎn)，結(jié)果如圖3（a）中的黑點(diǎn)。然后將搜索步長(zhǎng)與搜索范圍縮小一半，進(jìn)行第二層搜索，此時(shí)搜索精度為1/2像素，在15個(gè)點(diǎn)中（最多25個(gè)點(diǎn)）找到相關(guān)程度最好的匹配點(diǎn)，如圖3（b）中黑點(diǎn)；接下來在第三層中找到匹配最好的點(diǎn)，判斷此時(shí)搜索精度為1/4個(gè)象素，已經(jīng)達(dá)到要求的匹配精度，則搜索結(jié)束，最后定位到的匹配點(diǎn)為圖3（c）中的黑點(diǎn)所示（a）表面層搜索（b）第二層搜索（c）第三層搜索圖3 金字塔思想的定位配準(zhǔn)算法示意圖經(jīng)過大量實(shí)驗(yàn)數(shù)據(jù)測(cè)試，僅僅

11、對(duì)于求定位偏移距離這一項(xiàng)，采用了金字塔分解及網(wǎng)格擴(kuò)散方式與普通的全遍歷方式相比，搜索區(qū)域大大減小，并且能夠迅速收斂，同時(shí)還能夠解決圖像互相關(guān)搜索中存在的錯(cuò)誤相關(guān)峰。設(shè)搜索步長(zhǎng)為，搜索范圍為，找到最佳定位匹配點(diǎn)需要遍歷的點(diǎn)數(shù)為 （2）上式中第一式為全遍歷公式，第二式為采用金字塔思想所需進(jìn)行的遍歷公式。如果兩幅圖像之間的搜索范圍為4個(gè)像素，定位精度要求為14個(gè)像素精度，則定位到最佳匹配點(diǎn)所需遍歷點(diǎn)數(shù)個(gè)，而個(gè)，可以看到，搜索區(qū)域大大減少，而且確定搜索路徑所需迭代次數(shù)僅為。該定位配準(zhǔn)算法具有很好的適用性，對(duì)于圖案中的一些變形和缺損的容忍性較好?？梢杂糜诒砻鏅z測(cè)的下述應(yīng)用中：l 正常圖像定位配準(zhǔn)l 帶噪

12、聲圖像定位配準(zhǔn)l 帶一定旋轉(zhuǎn)的圖像定位配準(zhǔn)l 帶一定縮放比例的圖像定位配準(zhǔn)l 對(duì)比度不一致的圖像定位配準(zhǔn)l 部分缺損的圖像定位配準(zhǔn)4Blob分析算法斑點(diǎn)分析算法，也稱為Blob分析算法，常用于對(duì)目標(biāo)圖像進(jìn)行圖形特征提取和分類。通過在圖像中尋找一個(gè)或多個(gè)相似灰度的“斑點(diǎn)”，并將這些“斑點(diǎn)”按照四鄰域或者八鄰域方式進(jìn)行連通分析，就可以形成一個(gè)Blob單元。通過對(duì)Blob單元進(jìn)行圖形特征分析，可以將單純的圖案灰度信息迅速轉(zhuǎn)化為圖案的形狀信息，包括圖形質(zhì)心、圖形面積、圖形周長(zhǎng)、圖形外接最小矩形以及其他圖形信息。Blob分析算法在表面檢測(cè)中扮演著重要的角色，可以將真實(shí)缺陷與虛假缺陷根據(jù)圖形特征不同進(jìn)行判

13、別。Blob分析算法也可以用于顆粒計(jì)數(shù)領(lǐng)域中。Blob分析算法中最重要的兩個(gè)步驟是Blob圖像分割和Blob特征提取。4.1Blob圖像分割Blob分析算法首先包含了“圖像分割”步驟，只有對(duì)于目標(biāo)圖案的有效分割才能進(jìn)行后續(xù)的相似灰度Blob分析。論文中設(shè)計(jì)的Blob分析算法在圖像分割方面使用了多種方法，可以針對(duì)表面檢測(cè)的各種領(lǐng)域進(jìn)行靈活應(yīng)用，包括：l 固定閾值分割（Fixed Threshold）固定閾值分割使用單一閾值將圖像分割為Blob對(duì)象和圖像背景兩部分。固定閾值分割對(duì)于高對(duì)比度以及背景一致性很好的圖像具有較好的效果。l 可變閾值分割（Adaptive Threshold）可變閾值分割方

14、法由于采用了一些圖像統(tǒng)計(jì)方法來預(yù)測(cè)最佳的分割閾值，因此可以適用于一些對(duì)比度和一致性較差的圖像，每個(gè)像素均對(duì)應(yīng)自己獨(dú)立的分割閾值。這些統(tǒng)計(jì)方法包括：最小均值方式、最大均值方式以及均方差等統(tǒng)計(jì)信息等。經(jīng)過選擇有效的圖像分割方式，滿足用戶檢測(cè)需求的特征形成了Blob，而其他非檢測(cè)目標(biāo)構(gòu)成了圖像背景，在對(duì)于Blob進(jìn)行特征提取后，可以設(shè)計(jì)對(duì)應(yīng)的過濾器來“篩選”出真實(shí)的缺陷Blob。4.2Blob特征提取在經(jīng)過圖像分割后，圖像的灰度信息經(jīng)過Blob特征提取過程就可以轉(zhuǎn)化為Blob信息隊(duì)列。其中根據(jù)表面質(zhì)量檢測(cè)應(yīng)用需求，針對(duì)性設(shè)置算法，可以提取更多Blob形狀信息。目前Blob分析算法中所提取的典型Blo

15、b特征包括：l Blob面積與外接矩形面積比例 （3）l Blob 延伸率特征 （4）l 最小外接橢圓的長(zhǎng)軸角度（與X軸方向夾角） （5）除了上述典型Blob形狀參數(shù)以外，本Blob分析算法還可以計(jì)算Blob形狀的質(zhì)心，Blob中孔洞個(gè)數(shù)，Blob周長(zhǎng)、外接橢圓長(zhǎng)軸和短軸、類圓度以及一些灰度特征，如最大最小灰度、灰度均值、灰度方差等。當(dāng)圖像灰度信息經(jīng)過Blob分析算法處理后，便轉(zhuǎn)化為目視更加直觀的Blob形狀信息，用戶可以根據(jù)這些Blob特征設(shè)計(jì)組合式的多級(jí)分類器，在經(jīng)過多個(gè)分類器過濾后，可以在一定程度上滿足各種表面檢測(cè)用戶的缺陷檢測(cè)需求。5處理單元構(gòu)成在表面質(zhì)量檢測(cè)的各種系統(tǒng)中，通用的處理方式都是基于PC機(jī)的檢測(cè)處理系統(tǒng)。作為核心處理單元，計(jì)算機(jī)負(fù)責(zé)系統(tǒng)的全部管理動(dòng)作，系統(tǒng)需要綜合考慮與相機(jī)、采集卡、編碼器、外部PLC、以及PC本身外設(shè)的連接與通信控制，同時(shí)提供各種人機(jī)界面；當(dāng)檢測(cè)到表面質(zhì)量瑕疵時(shí)，監(jiān)視器上將顯示有瑕疵圖像，并明顯標(biāo)識(shí)瑕疵位置，啟動(dòng)聲光報(bào)警裝置，同時(shí)發(fā)出IO控制指令，將好品與缺陷品分倉(cāng)控制。典型的表面檢測(cè)系統(tǒng)處理單元構(gòu)成如下圖，本系統(tǒng)考慮了兩臺(tái)相機(jī)來并行檢測(cè)表面的質(zhì)量瑕疵：圖4 表面檢測(cè)系統(tǒng)處理單元構(gòu)成6.總結(jié)本文探討了基于機(jī)器視覺的產(chǎn)品表面檢測(cè)系統(tǒng)的各項(xiàng)相關(guān)技術(shù)，首先介紹了機(jī)器視覺和機(jī)器視覺系統(tǒng)的基本概念，同時(shí)針對(duì)通用的表