基于差異區(qū)域邊界的pcb缺陷檢測與識別算法

基于差異區(qū)域邊界的pcb缺陷檢測與識別算法

0pcb檢測算法近年來，我國pc產(chǎn)業(yè)快速發(fā)展。2009年國內(nèi)pc產(chǎn)量為143.7億元，占全球pc產(chǎn)量的35.1%。它是pc生產(chǎn)的第一個大國。PCB結(jié)構(gòu)復(fù)雜,生產(chǎn)工序繁多,不可避免地存在斷路、短路、缺損、毛刺等缺陷。為保證質(zhì)量,在PCB生產(chǎn)過程中必須對PCB裸板進行缺陷檢測,將不合格的PCB裸板剔除出生產(chǎn)流水線。目前國內(nèi)企業(yè)仍在采用傳統(tǒng)的人工目測、電子檢測等方法,這些方法存在效率低、容易漏檢、無法檢測高精度PCB、接觸檢測易損傷PCB等諸多缺點,已不能滿足PCB高效率、高精度、高性能的生產(chǎn)需求。自動光學(xué)檢測(AOI)具有穩(wěn)定可靠、高精度、高效率和非接觸的優(yōu)點,已成為PCB檢測的重要發(fā)展方向,其中機器視覺檢測算法是其關(guān)鍵技術(shù)。國內(nèi)外學(xué)者對此提出了不少算法,可歸納為以下3類:參考法、基于設(shè)計準(zhǔn)則法、混合法。參考法是對比待測PCB和標(biāo)準(zhǔn)PCB,差異區(qū)域則為缺陷,常見算法是通過差影計算、異或計算識別缺陷,通過統(tǒng)計相關(guān)區(qū)域連通域個數(shù)、連通域面積識別缺陷類型?；谠O(shè)計準(zhǔn)則法是通過檢測待測PCB是否滿足預(yù)先定義的設(shè)計準(zhǔn)則來檢測缺陷。混合法是將兩者結(jié)合起來檢測PCB缺陷。本文基于機器視覺檢測技術(shù),針對PCB裸板設(shè)計一套在線缺陷檢測系統(tǒng)。在同一位置對標(biāo)準(zhǔn)PCB采集多幅圖像并計算其灰度平均值獲取標(biāo)準(zhǔn)圖,然后將待測PCB圖與其進行對比。采用改進的Hough變換快速提取特征點進行仿射變換配準(zhǔn)。提出通過分析缺陷區(qū)域輪廓與覆銅區(qū)、背景區(qū)鄰域關(guān)系,并結(jié)合缺陷屬于缺料缺陷或多料缺陷來識別缺陷類型的方法。1裸面檢測系統(tǒng)1.1圖像采集系統(tǒng)工作流程圖1所示檢測系統(tǒng)主要硬件結(jié)構(gòu)如下:光源模塊、圖像采集模塊、機械裝置、工業(yè)控制計算機(以下簡稱工控機)。其中,圖像采集模塊包括CCD攝像機、圖像采集卡;機械裝置包括工作臺、上料裝置、分離裝置及其運動控制器。所有模塊的動作都由工控機控制。圖2為待測PCB裸板全局圖像,由48個相同圓形PCB圖案組成,其大小為340mm×250mm。一次無法完成全局圖像采集,故采用4臺攝像機對全局圖像對稱地分4塊采集。檢測系統(tǒng)工作流程如下:上料裝置接收到工控機發(fā)出的信號后,將上道工序加工完成的PCB裸板放置到工作臺上,并對其進行固定;工控機開啟光源系統(tǒng),4臺CCD攝像機完成對待測PCB圖像的采集,經(jīng)圖像采集卡傳輸給工控機;工控機對PCB圖像進行處理,識別缺陷并顯示結(jié)果;對于有缺陷的PCB,通過分離裝置將其分離出生產(chǎn)流水線,合格的PCB繼續(xù)進入下一道工序。其中,PCB裸板圖像由48個圓形PCB圖案組成,工控機控制4臺攝像機采集4幅局部圖像,其中一幅局部圖像如圖3所示。每幅圖像包括12個圓形PCB圖案,4幅局部圖像位置索引依次標(biāo)記為P1、P2、P3、P4;將P1、P2、P3、P4分別與標(biāo)準(zhǔn)PCB相應(yīng)位置圖案進行對比,識別缺陷類型及其坐標(biāo)位置;最后輸出缺陷所在局部圖像位置索引、缺陷類型、缺陷在局部圖形中的坐標(biāo)位置。1.2熒光照明方式的選擇考慮到PCB裸板的覆銅區(qū)和基板區(qū)顏色差異不大,且覆銅區(qū)表面平整,容易形成鏡面反射,使用正面照明采集到的圖像容易失真,覆銅區(qū)與基板區(qū)區(qū)分難度大,又由于PCB厚度較小,且基板材料有一定的透光性,而覆銅區(qū)的透光性相對較差,因此選用背光照明方式更為合適。選擇性價比較高的LED平板燈,并在其上放置透光毛玻璃作為漫射板,組成漫射背光照明裝置,放置在工作臺的下方。采集到的PCB圖像中基板區(qū)與覆銅區(qū)有較大的灰度差異,有利于目標(biāo)區(qū)域的提取。圖4a、圖4b所示分別為采用背光照明和正面照明采集到的圖像截取的同一位置一塊圓形圖案。1.3圖像標(biāo)準(zhǔn)圖的獲取參考對比法缺陷檢測要求,同一規(guī)格產(chǎn)品中至少有一幅通過人工事先挑選的標(biāo)準(zhǔn)PCB圖和待測圖進行比較。由于PCB圖像采集時受光照、相機抖動等各種因素的影響,采集到的標(biāo)準(zhǔn)圖像也不完全相同,為了讓標(biāo)準(zhǔn)圖像有更好的容錯性,同時也為了使標(biāo)準(zhǔn)PCB圖像包含最大化的基準(zhǔn)特征,采用多幅標(biāo)準(zhǔn)圖像平均法獲取標(biāo)準(zhǔn)圖。將標(biāo)準(zhǔn)PCB放置于同一位置,按照上文所述,分4塊分別進行多次圖像采集并計算其灰度平均值,得到4幅標(biāo)準(zhǔn)PCB圖像。2不穩(wěn)定因素影響由于圖像采集過程中受待測PCB位置誤差、工作臺及相機抖動等不穩(wěn)定因素影響,待測圖和標(biāo)準(zhǔn)圖在空間上不可能完全對齊。檢測前必須對標(biāo)準(zhǔn)PCB圖與待測PCB圖進行精確配準(zhǔn),才能準(zhǔn)確進行對比并識別缺陷。2.1圖像配準(zhǔn)的數(shù)學(xué)模型圖像配準(zhǔn)通常被定義為兩幅圖像在空間和灰度上的映射,分別用二維矩陣I1和I2表示兩幅圖像,I1為參考圖像,I2為待配準(zhǔn)圖像,I1(x,y)和I2(x,y)分別表示相應(yīng)位置(x,y)上的灰度值,則圖像配準(zhǔn)的數(shù)學(xué)模型可表示為其中,f表示二維空間坐標(biāo)變換,g表示一維灰度變換。PCB圖像灰度的細微差異對檢測結(jié)果幾乎無影響,檢測考察的重點是圖像輪廓形狀。因此,配準(zhǔn)可簡化為尋找能夠在空間正確匹配兩幅PCB圖像的幾何變換模型。鑒于PCB圖像以規(guī)則的線條、圓盤形狀為主,采用相對簡單且變換前后直線仍映射為直線、直線保持平行關(guān)系的二維仿射變換,其變換公式為其中,x和y是變換前的像素坐標(biāo)值,x′和y′是變換后的像素坐標(biāo)值。計算3組以上標(biāo)準(zhǔn)PCB與待測PCB特征點坐標(biāo),代入式(2)即可求出變換參數(shù)矩陣然后可通過仿射變換對待配準(zhǔn)PCB圖像進行平移、旋轉(zhuǎn)、縮放,實現(xiàn)與標(biāo)準(zhǔn)PCB圖的精確配準(zhǔn)。2.2holl3直線檢測PCB圖像中用于定位的標(biāo)志線對稱分布在6塊局部區(qū)域(圖3中矩形區(qū)域)。每塊局部區(qū)域有幾條相互垂直的細短標(biāo)志線,將標(biāo)志線交點作為配準(zhǔn)特征點,選取分別包含標(biāo)志線的6塊局部區(qū)域作為目標(biāo)區(qū)域。對100幅相同類型的PCB圖進行驗證,其標(biāo)志線均在這6塊目標(biāo)區(qū)域之內(nèi)。圖5a為其中一塊目標(biāo)區(qū)域。對6塊目標(biāo)區(qū)域分別進行二值化處理,然后采用限定區(qū)域Hough變換峰值檢測獲取直線方程。二值圖像可以進行一種從直角坐標(biāo)系(x,y)到極坐標(biāo)系(θ,ρ)的映射變換,這一過程稱為Hough變換,變換公式如下:直線檢測前設(shè)定區(qū)域,便可有效地控制檢測范圍,減少運算量,快速獲取直線方程。PCB標(biāo)志線均為水平線或豎直線,PCB圖標(biāo)志線與水平或豎直方向的夾角在一個較小范圍內(nèi),分析100組標(biāo)志線的夾角,結(jié)果均未超過5°。因此,將夾角限制在10°內(nèi)進行Hough變換,必然不會遺漏任何直線,即將θ限制在[-90°,-80°]∪[-10°,10°]∪[80°,90°]區(qū)間內(nèi)。原始檢測得到的峰值矩陣長度大大減小,從而減小了運算量,提高了運算效率。對圖5a所示的目標(biāo)區(qū)域進行直線檢測的結(jié)果如圖5b所示,聯(lián)立4條直線方程即可獲取L0與L1、L2、L3的交點在該局部區(qū)域的坐標(biāo),通過坐標(biāo)變換即可計算出標(biāo)志線交點在全局圖像中的坐標(biāo)位置。同理可獲取其余5個目標(biāo)區(qū)域中特征點坐標(biāo)。采用該方法獲取以下一組仿射參數(shù):3缺陷檢測3.1去除偽缺陷處理PCB缺陷檢測的主要過程如圖6所示,圖6a、圖6b分別為截取的一個圓形PCB圖案的標(biāo)準(zhǔn)圖與待測圖,采用上文所述配準(zhǔn)方法計算得到的仿射變換參數(shù)對待測圖進行仿射變換處理,圖6c為截取的仿射變換圖像。將原始待測圖、仿射變換圖分別與標(biāo)準(zhǔn)圖做差影運算,結(jié)果如圖6d、圖6e所示。圖像在獲取、配準(zhǔn)過程中必然存在細微誤差,配準(zhǔn)后差影圖中仍然不可避免地存在偽缺陷,需要進行去除偽缺陷處理。相對于真缺陷,偽缺陷區(qū)域形狀細短、灰度值較低,可通過閾值分割、形態(tài)學(xué)處理等予以消除。設(shè)定閾值T0=80,對差影圖進行閾值分割,結(jié)果如圖6f所示。再采用3×3的方形模板對圖像進行開運算處理,去除大部分細短的圖像邊緣,設(shè)定面積閾值TS=20,通過游程編碼區(qū)域標(biāo)記算法消去面積小于TS的目標(biāo)區(qū)域,去除偽缺陷處理的最終結(jié)果如圖6g所示。將缺陷區(qū)域映射到經(jīng)過仿射變換的待測PCB圖中,如圖6h所示,最終檢測結(jié)果顯示,7處缺陷全部被檢測出來。3.2分類邊界段數(shù)n常見的PCB缺陷主要有短路、斷路、缺損、毛刺、余銅、針孔,如圖7所示。分析這6種缺陷可知,按照缺陷區(qū)域閉合邊界外側(cè)與覆銅區(qū)、基板區(qū)的相鄰關(guān)系,邊界可以被分成不同段數(shù),如短路缺陷區(qū)域的閉合邊界外側(cè)有2段與覆銅區(qū)相鄰,2段與基板區(qū)相鄰,整個閉合邊界被分成4段。同理可知,斷路缺陷區(qū)域邊界分成4段,毛刺和缺損區(qū)域邊界分成2段,余銅和針孔仍為1個閉合邊界。圖7中將各類缺陷區(qū)域邊界標(biāo)注出來。因此,根據(jù)缺陷區(qū)域的邊界分段,再結(jié)合缺陷屬于缺料缺陷或多料缺陷,即可方便地進行缺陷分類。直接依據(jù)缺陷區(qū)域邊界外側(cè)與覆銅區(qū)、基板區(qū)的相鄰關(guān)系進行邊界分段,獲取邊界被分成的段數(shù)N0的算法較為繁瑣,可先對缺陷區(qū)域進行膨脹處理,邊界檢測獲取膨脹后圖像的區(qū)域邊界,該邊界即為原缺陷區(qū)域邊界外側(cè)一圈,稱之為分類邊界。通過對分類邊界按照其屬于覆銅區(qū)、基板區(qū)將其分成N1段,易知N0、N1是相等的關(guān)系。獲取分類邊界段數(shù)N1的具體算法步驟如下:(1)以圖像左上角為坐標(biāo)原點,對去除偽缺陷后的差影圖使用5×5的方形結(jié)構(gòu)元素進行膨脹處理,再進行邊界檢測,將獲取的分類邊界各點坐標(biāo)值依次存放在一個二維數(shù)組B之中。(2)設(shè)定閾值T0=80,對待測圖進行閾值分割,獲取二值圖,記為I0。(3)設(shè)定初始N=1,按照數(shù)組B中的坐標(biāo)值返回I0中,記下第一點像素值E1(0或1),依次判斷邊界坐標(biāo)在I0中對應(yīng)點的像素值,設(shè)第i點像素值為Ei(i=1,2,…,n),當(dāng)像素值變換一次后,N←N+1,直至終止點,記下終止點像素值為En。(4)最終結(jié)果分三種情況:若N=1,則N1=N=1;若N≠1且En≠E1,則N1=N;若N≠1且En=E1,則N1=N-1。圖8為邊界分段算法流程圖。對于缺陷屬于缺料缺陷或多料缺陷的判斷,可以通過對缺陷區(qū)域任取一點,若該點對應(yīng)于標(biāo)準(zhǔn)圖像素點的灰度值大于待測圖中像素點的灰度值,則為多料缺陷,否則為缺料缺陷。常見缺陷種類識別方法見表1,只需檢測缺陷區(qū)域外圍一圈像素值并比較兩點灰度值即可將缺陷分類,計算量小,算法運行效率高。3.3檢測結(jié)果及驗證對3.1中缺陷檢測結(jié)果按照3.2所述缺陷分類方法對缺陷進行分類,結(jié)果顯示,該方法能夠快速準(zhǔn)確地對缺陷進行分類。圖9所示為分類邊界的分段。具體檢測結(jié)果見表2。其中,以圖像左上角為坐標(biāo)原點,缺陷位置用缺陷區(qū)域重心點坐標(biāo)表示,缺陷面積用缺陷區(qū)域像素點個數(shù)表示。為驗證系統(tǒng)檢測效率,在CPU為AMD4000+2.11GHz,內(nèi)存為1.00GB的臺式電腦上,對20張340mm×250mm的PCB裸板進行耗時測試,每張平均耗時約45s,基本能滿足生產(chǎn)實時性的需求。其中,合格PCB檢測最快;缺陷越多,檢測耗時越長。為了驗證系統(tǒng)的檢測精度和穩(wěn)定性,隨機抽取圖2所示的合格的和有缺陷的PCB各200張進行檢測試驗。結(jié)果顯示,有195張有缺陷PCB被檢測出來,有2張合格PCB被誤識別為有缺陷PCB,檢測準(zhǔn)確率為98.3%。其中,正確檢測有缺陷PCB的準(zhǔn)確率與誤將正常PCB檢測為有缺陷PCB的誤判率分別為97.5%、1.0%。對誤檢PCB圖像進行分析,誤檢的原因有以下3點:(1)遺漏了細微毛刺缺陷,主要原因是相機分辨率不夠,對此可以通過使用更高分辨率的工業(yè)攝像機來提高檢測精度;(2)PCB基板裁剪出現(xiàn)較大偏差,導(dǎo)致采集到的PCB圖像標(biāo)志線偏離限定區(qū)域Hough檢測范圍,從而產(chǎn)生配準(zhǔn)誤差;(3)PCB出現(xiàn)中間隆起的變形導(dǎo)致采集到的圖像出現(xiàn)較大變形。4pcb將缺陷納入設(shè)計工序(1)本文設(shè)計了一套基于機器視覺的PCB缺陷在線檢測系統(tǒng),對生產(chǎn)流水線上的PCB進行圖像采集,采用參考對比法檢