基于虛擬儀器的三維視覺檢測(cè)系統(tǒng)設(shè)計(jì)

1、112工具技術(shù)基于虛擬儀器的三維視覺檢測(cè)系統(tǒng)設(shè)計(jì)彭明仔1,2王宇華 馬 平 丘永亮2211廣東工業(yè)大學(xué) 佛山科學(xué)技術(shù)學(xué)院摘 要:把計(jì)算機(jī)視覺領(lǐng)域中的明暗恢復(fù)形狀(ShapeFromShading,簡(jiǎn)稱SFS)技術(shù)應(yīng)用于工業(yè)產(chǎn)品的三維視覺檢測(cè),利用單幅產(chǎn)品圖像的明暗灰度變化來得到物體表面形狀信息,并采用全面像素不確定度進(jìn)行檢測(cè)分析。該檢測(cè)系統(tǒng)采用LabVIEW及其視覺開發(fā)工具來實(shí)現(xiàn),可廣泛應(yīng)用于工業(yè)自動(dòng)在線三維視覺形貌檢測(cè)和質(zhì)量控制。關(guān)鍵詞:虛擬儀器, 形貌恢復(fù), 視覺檢測(cè)DesignofThreeDimensionsInspectionSystemBasedonVirtualInstrumen

2、tPengMingzi WangYuhua MaPingetalAbstract:Applyingtheshapefromshadingtechnologyofthecomputervisionfieldtotheindustryproduct3Dvisioninspec-tion,the3Dshapeinformationisobtainedbythechangingofbrightnesswithinaproductimage,andthefullpixelsuncertaintyanalysisisusedtoinspectandanalyzetheresult.Thesystemisd

3、evelopedonLabVIEWandthevisionexplorationtool,andcanbebroadlyusedintheonline3Dvisioninspectionandqualitycontrolofindustryautomatization.Keywords:virtualinstrument, shaperecovery, visioninspection1 引言近年來機(jī)器視覺技術(shù)得到了迅猛發(fā)展,應(yīng)用遍及各個(gè)領(lǐng)域。虛擬儀器則是計(jì)算機(jī)軟、硬技術(shù)與儀器技術(shù)融合的產(chǎn)物。而LabVIEW平臺(tái)內(nèi)嵌的IMAQVision軟件包實(shí)現(xiàn)了機(jī)器視覺技術(shù)與虛擬儀器技術(shù)的完美結(jié)合。本系統(tǒng)

4、通過采用單幅圖像來重構(gòu)三維形貌)明暗恢復(fù)形狀1,可獲取圖像對(duì)應(yīng)像素點(diǎn)的三維信息,把該技術(shù)與虛擬儀器技術(shù)相結(jié)合,開發(fā)了基于虛擬儀器的三維視覺測(cè)量系統(tǒng)。 2 虛擬儀器視覺系統(tǒng)結(jié)構(gòu)與原理2.1 硬件配置系統(tǒng)由光源、CCD攝像頭、圖像采集卡、PC機(jī)等收稿日期:2006年10月組成,考慮到實(shí)時(shí)圖像采集的測(cè)量精度和速度要求,采用的配置為:SCHOTT冷光源,敏通MTV-1881EX黑白CCD攝像機(jī),NI公司IMAQPCI-1407圖像采集卡,試驗(yàn)臺(tái)架等。硬件結(jié)構(gòu)原理如圖1所示。圖1 硬件結(jié)構(gòu)原理IMAQPCI-1407是高精度的單色圖像采集卡,支持RS-170和CCIR視屏標(biāo)準(zhǔn),具有將視頻信號(hào)轉(zhuǎn)換為數(shù)字信

5、號(hào)的8位模擬信號(hào)轉(zhuǎn)換器,實(shí)時(shí)采集的視頻圖像通過DMA控制器直接傳輸至計(jì)算機(jī)內(nèi)存。它充分利用了PCI總線的高速性能,具有高精度的業(yè)大學(xué)出版社,20002 王因明.光學(xué)計(jì)量?jī)x器設(shè)計(jì).上海工業(yè)大學(xué):機(jī)械工業(yè)出版社,19983 張善鍾.精密儀器結(jié)構(gòu)設(shè)計(jì)手冊(cè).哈爾濱工業(yè)大學(xué):機(jī)械工業(yè)出版社,1993第一作者:郭敬濱,天津大學(xué)精密測(cè)試技術(shù)及儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室,300072天津市9 結(jié)語該小型深度尺寸測(cè)量?jī)x基于光切原理設(shè)計(jì)。光切法測(cè)量與利用光學(xué)傳感器進(jìn)行的一般光學(xué)非接觸測(cè)量相比,不僅測(cè)量精度高而且儀器結(jié)構(gòu)簡(jiǎn)單、操作方便。利用該小型深度尺寸測(cè)量?jī)x除可對(duì)2mm以內(nèi)的微小高度尺寸測(cè)量外,還可對(duì)采用柔性材料制造的微

6、小零件進(jìn)行測(cè)量,測(cè)量精度可達(dá)?01001mm。參考文獻(xiàn)1 苑偉政,馬炳和.微機(jī)械與微細(xì)加工技術(shù).陜西:西北工2007年第41卷l6113標(biāo)點(diǎn),光源矢量為(ps,qs,-1),物體表面法矢為(p,q,-1)。根據(jù)透視投影模型7推導(dǎo)得到一個(gè)含有兩個(gè)未知量的非線性方程:I(u,v)=(u-fps)p+(v-fqs)q+1ps2+qs2up+vq+1)+f(p+q)圖像輸出和外部觸發(fā)能力,配有簡(jiǎn)單易用的NI-I-MAQ圖像采集驅(qū)動(dòng)程序。2.2 軟件結(jié)構(gòu)虛擬儀器的核心是軟件,由系統(tǒng)開發(fā)平臺(tái)、應(yīng)用軟件包、設(shè)備驅(qū)動(dòng)程序三部分組成。考慮到性能和成本,選用LabVIEW作為軟件開發(fā)平臺(tái)。利用Lab-VIEW可快

7、速生成顯示、分析和控制的圖形化用戶界面,并提供了高水平的機(jī)器視覺和圖像處理軟件包IMAQVision2,可實(shí)現(xiàn)系統(tǒng)所設(shè)計(jì)的基本功能。IMAQVision集成了圖像采集、系統(tǒng)校準(zhǔn)、圖像分析、圖像處理、圖像存儲(chǔ)以及機(jī)器視覺測(cè)量的各種函數(shù),軟件系統(tǒng)結(jié)構(gòu)如圖2所示。zuzv=,q=。zz求解該方程組后即可得到表面高度值z(mì)(x,y),而x、y的坐標(biāo)可直接由二維圖像標(biāo)定后得到每個(gè)其中 p=像素點(diǎn)所對(duì)應(yīng)的空間坐標(biāo)值,然后可直接獲取每個(gè)像素點(diǎn)的空間三維坐標(biāo)尺寸。3.2 系統(tǒng)特點(diǎn)系統(tǒng)采用了LabVIEW圖形化編程語言為開發(fā)環(huán)境,同時(shí)把計(jì)算機(jī)視覺領(lǐng)域中的明暗恢復(fù)形狀的方法來實(shí)現(xiàn)三維數(shù)據(jù)的獲取。(1)虛擬儀器開發(fā)的

8、特點(diǎn):采用IMAQVision及LabVIEW軟件實(shí)現(xiàn)對(duì)場(chǎng)圖2 軟件系統(tǒng)的結(jié)構(gòu)景目標(biāo)圖像的采集、處理及分析。使用軟件的工具包和子VI功能,實(shí)現(xiàn)了對(duì)圖像的預(yù)處理,并通過CLF節(jié)點(diǎn)調(diào)用動(dòng)態(tài)鏈接庫提高了系統(tǒng)速度。采用圖形化編程界面,使程序的編制、維護(hù)及后續(xù)開發(fā)更加簡(jiǎn)便、快捷。(2)系統(tǒng)采用了基于明暗恢復(fù)形狀方法來實(shí)現(xiàn)表面三維數(shù)據(jù)測(cè)量,特點(diǎn)如下:圖3 系統(tǒng)設(shè)計(jì)原理圖3 三維測(cè)量系統(tǒng)的原理和特點(diǎn)實(shí)現(xiàn)表面三維檢測(cè)是系統(tǒng)的關(guān)鍵所在,IMAQVision中沒有相應(yīng)的函數(shù)來獲取三維數(shù)據(jù),為此采用基于明暗恢復(fù)形狀技術(shù)來得到對(duì)應(yīng)圖像上每個(gè)像素點(diǎn)處的高度尺寸。明暗恢復(fù)形狀的基本任務(wù)是通過分析物體的單幅二維圖像的灰度信

9、息,重建物體表面三維形狀信息的技術(shù)。該系統(tǒng)設(shè)計(jì)原理如圖3所示。3.1 系統(tǒng)實(shí)現(xiàn)的原理基本思路是從灰度信息中找到與物體表面形狀相關(guān)的線索。若把物體表面灰度表示為I(x,y),物體表面反射系數(shù)均為Q,光源與物體表面的法矢夾角為H,根據(jù)Lambertian反射原理度可表示為由光學(xué)透視成像約束條件可知I(x,y)=QcosH5能進(jìn)行實(shí)時(shí)在線非接觸測(cè)量,便于自動(dòng)控制。設(shè)備簡(jiǎn)單,易于實(shí)現(xiàn),成本低,并對(duì)物體表面無任何要求。測(cè)量系統(tǒng)不僅能對(duì)產(chǎn)品零件進(jìn)行二維尺寸檢測(cè),還可對(duì)單幅圖像表面進(jìn)行三維形貌恢復(fù),進(jìn)而實(shí)現(xiàn)三維測(cè)量?？捎蓡畏鶊D像得到物體表面三維尺寸數(shù)據(jù),具有快速、低成本和易于實(shí)現(xiàn)等特點(diǎn)。本系統(tǒng)結(jié)構(gòu)吸收了視覺

10、檢測(cè)的在線、非接觸、高速高效等特點(diǎn),通過分析單幅實(shí)時(shí)拍攝的產(chǎn)品圖像,實(shí)現(xiàn)了對(duì)物體三維形貌的恢復(fù),再打印報(bào)表程序生成檢測(cè)報(bào)告清單,并輸出分析結(jié)果進(jìn)行質(zhì)量控制與分析。4 系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)(1)圖像采集程序設(shè)計(jì)采用LabVIEW及圖像采集卡PCI-1407的驅(qū)動(dòng)程序,設(shè)計(jì)了實(shí)時(shí)圖像采集及存儲(chǔ)模塊,圖像采集流:,則物體表面灰,114工具技術(shù)圖像重建部分是三維數(shù)據(jù)獲取的主要步驟,把采集處理后的圖像數(shù)據(jù)導(dǎo)入算法程序計(jì)算,得到三圖4 圖像采集流程維坐標(biāo)尺寸。為了加速算法運(yùn)行和簡(jiǎn)化G語言算法編寫的不便,通過利用CLF節(jié)點(diǎn)調(diào)用在VC+610環(huán)境下編譯生成的動(dòng)態(tài)鏈接庫dll文件3的方法,大大提高了內(nèi)存開銷和運(yùn)算效

11、率6。LabVIEW提供了一個(gè)調(diào)用庫函數(shù)節(jié)點(diǎn)CLF,利用它可實(shí)現(xiàn)Dll和API函數(shù)的調(diào)用,調(diào)用程序如圖6所示。(4)檢測(cè)分析模塊設(shè)計(jì)為了精確地評(píng)價(jià)和分析物體表面形貌,系統(tǒng)采用全面像素不確定度評(píng)價(jià)方法7,可保證對(duì)每個(gè)像素所對(duì)應(yīng)檢測(cè)點(diǎn)均進(jìn)行不確定度分析,從而全面地獲取物體各點(diǎn)合格性信息,避免物體不合格而關(guān)鍵檢測(cè)部位合格引起的誤判斷(如圓球工件)。該方法將物體所有三維恢復(fù)結(jié)果的像素點(diǎn)均作為評(píng)定數(shù)據(jù)源,更全面地保證評(píng)定的可靠性。系統(tǒng)界面設(shè)計(jì)如圖7所示。為了驗(yàn)證該系統(tǒng)的正確性,采用單幅圖像(見圖8)進(jìn)行測(cè)量,原始圖像大小為128128像素,光源方向?yàn)?001)。圖像三維恢復(fù)結(jié)果如圖9所示,表面局部高度測(cè)

12、量結(jié)果見表1。試驗(yàn)表明該測(cè)量方法精度可達(dá)mm級(jí),基本符合實(shí)際應(yīng)用的需要。使用NI-IMAQ提供的snap函數(shù)實(shí)現(xiàn)圖像采集,并可采用ImageDisplay或WindDraw函數(shù)在前面板窗口顯示采集到的圖片。該snap函數(shù)可實(shí)現(xiàn)單幅圖像實(shí)時(shí)的采集,也可實(shí)現(xiàn)多幅圖像的實(shí)時(shí)采集(見圖5),同時(shí)還可通過Trigger函數(shù)接收外部觸發(fā)信號(hào)來驅(qū)動(dòng)采集卡進(jìn)行圖像采集。圖像保存格式有BMP、PNG和JPEG等。(2)圖像處理模塊設(shè)計(jì)各類圖像系統(tǒng)中圖像的傳送和轉(zhuǎn)換總要造成某些降質(zhì)。為了減少光學(xué)系統(tǒng)失真和環(huán)境噪聲影響,確保圖像的三維恢復(fù)形狀信息,系統(tǒng)設(shè)計(jì)了圖像處理模塊。系統(tǒng)的圖像預(yù)處理包括圖像平滑和噪聲濾波,采用

13、方法有時(shí)域和頻域?yàn)V波。由于中值濾波法在過濾噪聲的同時(shí)還能很好地保護(hù)邊緣輪廓的信息,計(jì)算時(shí)可先采用中值濾波函數(shù)NthOder進(jìn)行濾波處理,再把圖像導(dǎo)入算法進(jìn)行重建。(3)算法實(shí)現(xiàn)模塊設(shè)計(jì)圖5圖像采集程序設(shè)計(jì)圖6 算法實(shí)現(xiàn)程序設(shè)計(jì)2007年第41卷l6115量的不足,時(shí)間短,效率高,適合于柔軟、較難進(jìn)行測(cè)量的物體。試驗(yàn)結(jié)果表明該方法是簡(jiǎn)單可行的,可廣泛應(yīng)用于工業(yè)在線視覺檢測(cè)和數(shù)字化加工。參考文獻(xiàn)1 RZhangandPSTsai.ShapefromShading:ASurvey.IEEETrans.PatterAnalysisandMachineIntelligence,1999,21(8):69

14、07052 NI公司.NI-IMAQUserManual,19983 陳金平,王生澤等.LabVIEW與C語言接口的方法.自動(dòng)化儀表,2005,25(7)4 裴忠發(fā),趙敬斌等.基于LabVIEW的機(jī)器視覺實(shí)現(xiàn).機(jī)電工程,2002,19(4)5 楊樂平,李海濤等.LabVIEW高級(jí)程序設(shè)計(jì).北京:清華大學(xué)出版社,20036 宋麗梅.基于單幅適時(shí)測(cè)量圖像三維形貌恢復(fù)的研究.天津大學(xué)博士論文,20047 ATankus,NSochenandYYeshurun.AnewperspectiveShape-from-Shading.InProceedingsoftheofIEEEInternational

15、ConferenceonComputerVision,volumeII,862869,Nice,France,Oct.2003第一作者:彭明仔,碩士研究生,廣東工業(yè)大學(xué)機(jī)電學(xué)院,510090廣州市圖8原始圖像圖7三維檢測(cè)系統(tǒng)界面設(shè)計(jì)亞洲最大復(fù)合材料生產(chǎn)基地在哈飛建成近日,亞洲最大復(fù)合材料生產(chǎn)基地在哈爾濱飛機(jī)工業(yè)集團(tuán)有限責(zé)任公司建成。該基地具備國(guó)際先進(jìn)的復(fù)合材料生產(chǎn)能力,可為大型飛行器生產(chǎn)復(fù)合材料大部件。該基地占地面積近7萬平方米,擁有進(jìn)口固化爐、大型熱壓罐、復(fù)合材料數(shù)控下料銑、激光鋪層定位系統(tǒng)、自動(dòng)鋪帶機(jī)、RTM成型設(shè)備、縫合設(shè)備以及先進(jìn)的無損檢測(cè)設(shè)備等國(guó)圖9 三維恢復(fù)結(jié)果表1 表面局部三維高

16、度測(cè)量結(jié)果271435542818308829145877291865433012384830132099301092153018241031112054311396503115545231160868311466863118129632104100321255823213781532141750321404003215168832177648321878513219781933100822321940743311020833125622331279583313658533132888331277513314212733150052331460973315986033161964際上先進(jìn)的復(fù)合材料生產(chǎn)設(shè)備,其中有能夠滿足復(fù)合材料大部件研制生產(chǎn)要求的鋪層、固化、加工、裝配、噴漆、檢測(cè)設(shè)備,具備年產(chǎn)150架份飛機(jī)復(fù)合材料構(gòu)件的能力,可年產(chǎn)各種飛機(jī)復(fù)合材料構(gòu)件1000多個(gè)品種,復(fù)合材料制品達(dá)30多噸,產(chǎn)值過億元。據(jù)介紹,復(fù)合材料是航空材料中的新貴,以其重量輕、強(qiáng)度高、耐磨損、抗疲勞等優(yōu)勢(shì)成為飛機(jī)結(jié)構(gòu)材料的首選,同時(shí)復(fù)合材料使用量的多少和比例成為衡量