三維計算機(jī)視覺及其在焊接中的應(yīng)用

1、三維計算機(jī)視覺及其在焊接中的應(yīng)用摘要：隨著視覺傳感、圖像處理和人工智能等技術(shù)的發(fā)展，計算機(jī)視覺以其信息量大、精度高、通用性好、檢測范圍大等特點，在焊接領(lǐng)域得到了廣泛的應(yīng)用。簡要地介紹了目前出現(xiàn)的三維計算機(jī)視覺技術(shù)和方法，綜述了該技術(shù)在焊接中的典型應(yīng)用，并在此基礎(chǔ)上提出了目前存在的問題和未來的發(fā)展趨勢。關(guān)鍵詞：三維計算機(jī)視覺；焊接；應(yīng)用；發(fā)展焊接過程是一個電、光、熱、力等綜合作用下的復(fù)雜的物理化學(xué)過程，為實現(xiàn)焊接生產(chǎn)的機(jī)械化和自動摘要：隨著視覺傳感、圖像處理和人工智能等技術(shù)的發(fā)展，計算機(jī)視覺以其信息量大、精度高、通用性好、檢測范圍大等特點，在焊接領(lǐng)域得到了廣泛的應(yīng)用。簡要地介紹了目前出現(xiàn)的三維計

2、算機(jī)視覺技術(shù)和方法，綜述了該技術(shù)在焊接中的典型應(yīng)用，并在此基礎(chǔ)上提出了目前存在的問題和未來的發(fā)展趨勢。關(guān)鍵詞：三維計算機(jī)視覺；焊接；應(yīng)用；發(fā)展焊接過程是一個電、光、熱、力等綜合作用下的復(fù)雜的物理化學(xué)過程，為實現(xiàn)焊接生產(chǎn)的機(jī)械化和自動化，科技人員不斷地致力于開發(fā)機(jī)械、機(jī)電、電磁、電容、超聲、紅外、光電、激光、視覺、電弧、光譜等多種形式的弧焊傳感器。事實上，人類感知外界環(huán)境，80%以上是通過視覺得到的。同樣，熟練的焊工主要通過其視覺來從事焊接操作與控制。隨著計算機(jī)視覺技術(shù)的發(fā)展，借助于CCD攝像機(jī)、紅外攝像儀、X射線探傷儀、高速攝像機(jī)等圖像傳感設(shè)備及智能化的處理方法，許多機(jī)器人及特定的自動焊機(jī)也具

3、備了一定的視覺功能。它們不僅可以模擬熟練焊工的視覺感知能力，而且可以超越人類局限，完成諸如：獲取并處理強弧光及飛濺干擾下的焊縫圖像、實時提取焊接熔池特征參數(shù)、預(yù)測焊縫的組織、結(jié)構(gòu)及性能等工作，實現(xiàn)在人類難以直接作業(yè)的特殊場合（如水下、空間、核輻射環(huán)境等）下的自動焊接，確保焊縫質(zhì)量的穩(wěn)定性和可靠性。筆者介紹了三維計算機(jī)視覺技術(shù)，綜述該技術(shù)在焊接中的典型應(yīng)用實例，并在此基礎(chǔ)上指出了當(dāng)前存在的問題及未來的發(fā)展趨勢。1三維計算機(jī)視覺在使用攝像機(jī)對一個3D目標(biāo)進(jìn)行攝像得到目標(biāo)的二維圖像的過程中，丟失了一些形狀信息，同時另外一些信息以各種各樣的形式，如：陰影、紋理、輪廓、遮擋、光流等信息保留在物體的圖像中

4、，因此通過物體的圖像、圖像中隱含的線索和其他已知條件、假設(shè)條件可以得到物體的形狀信息和尺寸。三維計算機(jī)視覺就是研究由2D圖像恢復(fù)場景目標(biāo)即3D信息的一門學(xué)科。目前用于三維恢復(fù)的方法主要有：結(jié)構(gòu)光法、立體視覺法、光流法、光度立體法、陰影法和紋理法。結(jié)構(gòu)光成像和三維恢復(fù)經(jīng)典的結(jié)構(gòu)光三維視覺方法是將基準(zhǔn)光柵條紋結(jié)構(gòu)光投影到物體表面，條紋隨著物體表面形狀的變化而發(fā)生畸變，攝像機(jī)攝取物體表面圖像，然后采用計算機(jī)圖像技術(shù)，從被物體表面形狀所調(diào)制了的畸變條紋模式中，提取出物體的三維信息。工業(yè)應(yīng)用中很少采用基準(zhǔn)光柵條紋結(jié)構(gòu)光，而是采用一種簡化的激光掃描照射系統(tǒng)。這種方法的計算精度高，但價格昂貴、設(shè)備龐大，限制

5、了其應(yīng)用范圍。立體視覺方法屬于雙目或者多目視覺，采用兩個或者多個攝像機(jī)從不同的位置拍攝圖像，通過三角測距原理得到物體的三維尺寸。其缺點是設(shè)備安裝復(fù)雜，需要在多幅圖像之間進(jìn)行對應(yīng)點的匹配。光流法當(dāng)目標(biāo)在相機(jī)前運動或相機(jī)在一個固定的環(huán)境中運動時我們都能獲得對應(yīng)的圖像變化，這些變化可用來恢復(fù)（獲得）相機(jī)和目標(biāo)間的相對運動以及場景中多個目標(biāo)間的相互關(guān)系。在具體技術(shù)上就是通過求解光流方程來求取表面朝向。要求：（1）圖像要有足夠的采樣密度；（2）在圖像平面中每一點上的灰度變化應(yīng)該完全是由圖像中模式的運動引起的，不應(yīng)該包括反射性質(zhì)變化帶來的影響。其缺點是需要控制照明或物體運動且條件要求苛刻，適用范圍窄。光度

6、立體法屬單目視覺，基本原理是在同一光照條件下，物體不同的表面朝向?qū)?yīng)圖像中的不同灰度即反射圖方程。由于反射圖方程屬于病態(tài)方程，所以通過變換光源得到不同光照條件下的圖像，利用反射圖方程組來求解表面朝向，進(jìn)而計算三維尺寸。應(yīng)用的最理想情況是：成像光源和攝像機(jī)為無窮遠(yuǎn)，物體表面為均勻漫反射表面，則可以得到理想反射圖方程；物體表面為光滑表面，并且已知物體表面的特征點高度。陰影法屬單目視覺，成像的基本原理同光度立體法，但不需要控制光源，是一種簡單可行的方法。此方法需要采用附加的約束如惟一性、連續(xù)性（表面、形狀）、相容性（對稱、外極線）等來求解反射圖方程，進(jìn)而求得三維尺寸。運用的理想情況同光度立體法。紋理

7、法屬單目視覺，利用物體表面上紋理的變化可以去確定表面取向并進(jìn)而恢復(fù)表面的形狀。在獲取圖像的透射投影過程中，原始的紋理結(jié)構(gòu)有可能發(fā)生變化，這種變化隨紋理所在表面朝向的不同而不同，因而帶有物體表面取向的信息。要求紋理元清晰、均勻、有固定的形狀。2三維計算機(jī)視覺在焊接中的應(yīng)用當(dāng)焊接控制要求和精度提高到一定程度時，就需要用到工件、焊縫、熔池等目標(biāo)的空間坐標(biāo)、位置狀態(tài)等三維信息。文獻(xiàn)4-7采用簡化的激光掃描照射系統(tǒng)已將三維恢復(fù)用于焊縫跟蹤、坡口形狀與接頭形式檢測、多道焊排道等方面。為了獲取熔池表面的三維信息，文獻(xiàn)8-9設(shè)計了一套由強脈沖激光柵格狀多結(jié)構(gòu)光條紋和高電子快門攝像機(jī)組成的熔池視覺檢測系統(tǒng)，攝像

8、機(jī)的電子快門與激光脈沖同步。試驗裝置如圖1A所示。圖1B為獲得的TIC焊熔池表面的三維圖像，電流為118A，弧長為3mm，材料為SS304不銹鋼。采用一定的圖像處理算法可提取結(jié)構(gòu)光條紋的柵格框架和輪廓，如圖1C所示。進(jìn)而可計算出熔池正面的高度。圖1結(jié)構(gòu)光視覺傳感文獻(xiàn)10開發(fā)了一套基于雙目立體視覺的機(jī)器人路徑規(guī)劃系統(tǒng)，該系統(tǒng)將雙目攝像機(jī)安裝在機(jī)器人的末端執(zhí)行器上，使其能跟隨焊槍沿焊縫走向一起移動，采用自然光作為視覺系統(tǒng)的光源。經(jīng)典的雙目立體視覺采用兩個圖像平面上特征點匹配，并根據(jù)三角測量原理來確定對象的三維坐標(biāo)。對于焊縫來說，坡口邊緣內(nèi)外不存在明確的特征點，所以無法使用特征點匹配。針對在局部圖像

9、窗口中，焊縫可以近似為直線段的特點，作者設(shè)計了一種簡化的特征匹配算法來計算焊縫三維坐標(biāo)，并通過人工神經(jīng)網(wǎng)絡(luò)提高了精度和速度。該系統(tǒng)可以實現(xiàn)對直線和曲線焊縫的路徑規(guī)劃。文獻(xiàn)11對填絲脈沖CTAW低碳鋼對接焊熔池圖像視覺傳感進(jìn)行了研究。在文獻(xiàn)中，首次將三維計算機(jī)視覺中的陰影恢復(fù)形狀方法引入到焊接熔池表面高度信息提取上，通過對成像實際條件的深入分析，提出了符合實際成像條件的通用反射圖模型，并提出了求解方程的基本算法；針對實際焊接熔池圖像的特點，引入了表面光滑約束、邊界條件、灰度加權(quán)調(diào)整。在基本算法的基礎(chǔ)上形成了改進(jìn)算法，成功地由單幅熔池圖像獲得了熔池正面三維形狀信息。圖2A是填絲CTAW的凸起形熔池

10、圖像，圖2B是計算的結(jié)果。圖2采用陰影恢復(fù)形狀法計算熔池表面高度3存在的問題鑒于焊接過程的復(fù)雜性以及先進(jìn)制造業(yè)對焊接技術(shù)更高層次的需求，當(dāng)前還必須解決以下問題。3.1三維計算機(jī)視覺的計算仍局限于mARR理論的計算機(jī)視覺理論框架目前在焊接中應(yīng)用的三維恢復(fù)算法，僅僅強調(diào)計算理論，整個處理過程也是自底向上沒有反饋的，沒有充分地利用知識，忽視了知識的表示、推理和知識庫的構(gòu)建。3.2視覺傳感系統(tǒng)復(fù)雜目前使用的視覺傳感系統(tǒng)一般都較為復(fù)雜，如結(jié)構(gòu)光三維視覺傳感系統(tǒng)有激光發(fā)生器、CCD攝像機(jī)、光學(xué)轉(zhuǎn)換機(jī)構(gòu)、機(jī)械掃描機(jī)構(gòu)等組成，因此需要研制更為簡單化的、高可靠性的視覺傳感系統(tǒng)。積極推廣單目被動視覺的研究，簡化視

11、覺傳感系統(tǒng)。3.3視覺計算速度慢焊接質(zhì)量的視覺傳感與閉環(huán)控制、機(jī)器人焊接的路徑規(guī)劃與姿態(tài)控制等都要求計算視覺傳感與控制具有很強的實時性和很高的控制精度，常用的視覺計算方法很難滿足實時控制的要求，因此在視覺計算中可采用并行計算信息處理技術(shù)。發(fā)展趨勢隨著電子技術(shù)、計算機(jī)技術(shù)、自動控制技術(shù)以及信息和軟件技術(shù)迅速地引入到焊接領(lǐng)域，焊接生產(chǎn)自動化、智能化已經(jīng)成為21世紀(jì)焊接技術(shù)發(fā)展的重要方向。采用最新的計算機(jī)視覺理論，開發(fā)焊接機(jī)器人視覺傳感與控制技術(shù)，研制能夠識別目標(biāo)環(huán)境、實時精確跟蹤軌跡并調(diào)整焊接參數(shù)的智能焊接機(jī)器人已經(jīng)成為焊接領(lǐng)域的重要發(fā)展趨勢之一。國內(nèi)外許多研究人員對機(jī)器人視覺系統(tǒng)在焊接接頭特征識別、焊接參數(shù)優(yōu)化、焊槍姿態(tài)調(diào)節(jié)、焊接路徑規(guī)劃、焊縫跟蹤、焊縫熔透控制等方面的應(yīng)用開展了卓有成效的研究。在此基礎(chǔ)上，國外知名的焊接機(jī)器人廠家，如KUKA，CMF，Motoman，Adept等相繼開發(fā)出裝備有新型視覺傳感系統(tǒng)的機(jī)器人。與普通機(jī)器人相比，新型機(jī)器人因具有更為廣闊的應(yīng)用領(lǐng)域、更為強大的功能及更為優(yōu)越的性能，而受到廣泛歡迎，其售價通常是普通機(jī)器人的2倍。國內(nèi)也