基于hancon雙目立體視覺焊縫檢測

基于halcon的雙目立體視覺焊縫檢測基于halcon的雙目立體視覺焊縫檢測1前言現(xiàn)代焊接生產(chǎn)中，對焊接技術(shù)和質(zhì)量的要求愈來愈高。自動化和智能化在焊接生產(chǎn)上的應(yīng)用日趨廣泛。近年來圖像處理技術(shù)和機器視覺技術(shù)得到空前的發(fā)展，如果把機器視覺技術(shù)用在焊縫成形質(zhì)量評判中，可以提高評判效率，為焊接質(zhì)量評判的智能化打下基礎(chǔ)。機器視覺是運用計算機來模擬人的視覺，從不同事物的圖像中獲取信息，進行相應(yīng)處理并加以分析、理解，最終應(yīng)用于實際的檢測與測量等。機器視覺檢測和測量方法不但可以有效提高生產(chǎn)效率與自動化程度，且易于實現(xiàn)信息的集成，從而滿足數(shù)字化自動化生產(chǎn)的要求。機器視覺中的立體視覺技術(shù)把二維景物的分析推廣到了三維景物，該項技術(shù)可方便實現(xiàn)從圖像獲取到三維景物表面重建的完整體系，對于整個機器視覺的發(fā)展具有重要意義。雙目立體視覺是立體視覺中的一個重要的分支，它直接模擬人視覺處理景物的方式，可以在各種條件下靈活地測量景的立體信息。2雙目視覺檢測基本理論如圖1所示，設(shè)點P為空間焊縫某一特征點，該點在兩相機平面O1和O2的投影點依次為P1和P2。圖1雙目視覺原理根據(jù)空間解析幾何理論，很顯然，式（3）中的4個方程均具有平面解析式的形式，前2方程代表2平面相交，得到的是直線O1P1P的方程，同理直線02P2P的方程由后2個方程得出。兩直線方程相交，即可求出P點的空間三維坐標(biāo)?？梢?，若采用單相機模型，則理論上僅能解出一條直線的空間方程，無法得出空間點的準(zhǔn)確三維坐標(biāo)，而雙目視覺理論則能夠克服這個缺陷，從而使焊縫的精確測量有了可能。圖像處理為實現(xiàn)準(zhǔn)確測量的目的，必須對采集到的圖像進行數(shù)字化處理。首先，經(jīng)過相機采集到的焊縫圖像不可避免地存在一些污染痕跡，這

些痕跡會對有效捕捉焊縫特征點產(chǎn)生影響，這在計算機圖形學(xué)中被稱之為噪點，要進行降噪處理以剔除噪點。其次，初步采集到的圖像為全信息圖像，欲提取有效焊縫信息，必須對圖像進行二值化處理，以便計算機有效區(qū)分焊縫輪面坐標(biāo)系O—XlYl,O—XrYr的轉(zhuǎn)換矩陣分別為Ml為Ml和Mr,那么根據(jù)透鏡成像原理，程：針對左右相機，可得如下2個方m/11mim/11mi21mi311mi12mi22mi321mi13mi23mi331mi14mi24mi341XYZ1u2V211mru2V211mr11mr21mr311mr12mr22mr321mr13mr23mr331mr14mr24mr341X

Y

Z1(2)式中：(u1,v1,1)和(u2,v2,1)依次為pl和p2的齊次相機平面坐標(biāo)；(X,Y,Z,1)為點P在空間絕對坐標(biāo)系中的齊次坐標(biāo)。將式(1)和式(2)展開并聯(lián)立有:(umi—m1)x+(umi—mi)y+(umi—mi)z=mi—ui(vmi】m1；x+(vm：2-mi；y+(vm：-m「)z=m；1ui(umr-mr)X+(umr-mr)Y+(umr-mr)Z=mr-ur(vmr-mr)X+(vmr-mr)Y+(Vmr-mr)Z=mr-ur焊縫檢測設(shè)P和Q為焊縫圖像邊緣上的2個像素點，其經(jīng)過計算得出的三維坐標(biāo)為(XP,YP,ZP)和(XQ,YQ,ZQ),那么，根據(jù)空間2點距離公式有P和Q兩點間的距離為:d(4)d(4)由此，可計算焊縫邊緣上任意兩點的距離。垂直于焊縫軸線并與其輪廓相交的線段長度可認(rèn)為是焊縫寬度，同時已知空間點坐標(biāo)也可計算曲線長度，從而有效計算長度。焊縫高度信息可由左右相機采集到校正后圖像立體匹配之后得到的深度圖中圖像灰度值的變化得到3焊縫檢測系統(tǒng)為實現(xiàn)對焊縫檢測，需要一套完備的軟硬件系統(tǒng)，系統(tǒng)主要結(jié)構(gòu)模塊包括圖像采集模塊、圖像處理模塊、雙目視覺計算模塊以及最后的焊縫尺寸計算模塊。下面分別對各個模塊進行詳細(xì)介紹。圖像采集模塊橋面裂縫檢測雙目視覺測量系統(tǒng)圖像采集模塊的核心是雙目相機。本系統(tǒng)兩個CCD工業(yè)相機，將兩個USB工業(yè)相機固定在支架上與計算機相連，同過調(diào)用halcon程序即可同時采集兩幅清晰的焊縫縫圖像。圖像處理模塊圖像處理的步驟為：1）通過在程序中多次調(diào)用算子mean_image對圖像進行均值濾波處

理，從而剔除對檢測結(jié)果不利的噪點。2）利用算子emphasize對降噪后的圖像進行增強處理，為裂縫邊緣檢測做準(zhǔn)備。3）利用算子var_threshold進行自動閾值分割，進而利用算子region_to_bin對圖像進行二值化，二值化后圖像如圖2所示。圖2二值化焊縫圖像4）由圖2可知焊縫二值化圖像效果較差，因此在程序中利用形態(tài)學(xué)算子closing_circle對圖像進行閉運算得到效果較好的二值化圖像如圖4所示。圖3二值化圖像5）由圖3可知改進后的二值化圖像雖仍具有許多孔洞，但利用圖3已可以提取焊縫的左右邊緣。在程序中利用halcon算子threshold_sub_pix即可根據(jù)二值化圖像提取出圖像中的輪廓信息，接著通過使用算子select_shape_xld通過對輪廓位置及長度的篩選，提取出焊縫的左右輪廓并濾掉由二值化圖像中不需要的孔洞帶來的其他輪廓。提取出的輪廓如圖4所示。6）根據(jù)提取出的焊縫的兩個輪廓，利用算子distance_cc可計算出兩輪廓間最長與最短的坐標(biāo)距離。Sff緬口：3603-U觸址靠=n04電Q%■固適應(yīng)窗口，困1國％?岫a室圖4焊縫左右輪廓雙目視覺計算模塊相機標(biāo)定節(jié)中對雙目視覺基本理論與坐標(biāo)計算方法作了介紹，其中轉(zhuǎn)換矩陣Ml和Mr中的某些參數(shù)是相機的固有屬性，稱為內(nèi)參數(shù)（如鏡頭畸變系數(shù)），這些參數(shù)是已知的。而將三維空間點投影到二維平面過程中的平移矩陣和旋轉(zhuǎn)矩陣中的參數(shù)是未知的，為求解這些參數(shù)，以及得到相機實際內(nèi)參需要在檢測前對相機進行標(biāo)定。本文采用自制10cm標(biāo)定板機halcon標(biāo)定函數(shù)對左右相機進行標(biāo)定。經(jīng)標(biāo)定之后，相機的內(nèi)外參數(shù)即可求得，代入乂1和Mr矩陣，即可參與計算。圖像匹配與尺寸計算以上分析可見，空間點P的三維坐標(biāo)是通過這一點在左右相機平面上的二維坐標(biāo)計算可得。因此，從理論上講，必須精確尋得點P在左右相機平面中的像點，才能進行準(zhǔn)確計算。這一過程稱為圖像的匹配過程。本文中采用halcon自帶函數(shù)binocular_disparity即可實現(xiàn)圖像的匹配。經(jīng)匹配計算之后，即可得出同一空間點在兩相機平面中的二維坐標(biāo)。然后即可得到圖像坐標(biāo)之間與實際物理距離之間比值關(guān)系K，根據(jù)比例K及上節(jié)計算得到的輪廓之間的坐標(biāo)距離，即可得到兩輪廓間的實際物理距離。將實際得到的結(jié)果在halcon圖形窗口中顯示如下：命縮口.焊縫最小寬度九10312mm焊縫最大寬度7,8298伙1

焊縫高度3rt志前I