面向大視場高精度視覺測量的攝像標定方法

面向大視場高精度視覺測量的攝像標定方法

1大視場三維靶標標定近年來，基于機械視覺的測量系統(tǒng)越來越受航空工業(yè)的加工、安裝和質量改進的影響。由于相機中央測量部件的精度直接影響到該測量系統(tǒng)的測量精度。攝像機標定的過程就是根據若干三維空間點(靶點)及其在成像平面上對應的二維圖像點來確定攝像機成像模型中的各參數的過程。攝像機標定一般可分為傳統(tǒng)標定方法[1~3]、主動視覺中的標定方法[4~6]和自標定方法三類。傳統(tǒng)標定方法需要在攝像機前放置一個標定參照物又稱靶標,靶標上具有多個已知其精確三維坐標的靶點,通過建立靶標上各靶點空間坐標與相應圖像坐標間的關系,來計算攝像機模型中的內部參數和外部參數。主動視覺中的標定方法需要攝像機按照某種軌跡運動,利用運動軌跡的幾何特性與圖像點坐標的關系求解攝像機參數。自標定方法不需要已知靶點的三維坐標信息,只需利用多幅圖像間一定數目對應點的圖像坐標關系來求解攝像機參數。由于主動視覺中的標定方法需要精確控制攝像機的移動軌跡,通常實現(xiàn)難度較大,一般用于一些特定場合。而自標定方法雖然實現(xiàn)起來較為靈活方便,但標定結果穩(wěn)定性不高。這兩種標定方法的標定精度一般都不及應用標定靶標的傳統(tǒng)標定方法,因此視覺測量系統(tǒng)中多采用標定靶標對攝像機進行標定。航空工業(yè)中,部件裝配以及檢測對大空間的測量要求越來越高,測量范圍通常為2~10m,甚至更大。要通過視覺測量方法實現(xiàn)這樣大范圍內的零部件位置與姿態(tài)的跟蹤、檢測,需要以紅外發(fā)光二極管(IR-LED)等主動發(fā)光目標為工作靶點,通過自適應控制發(fā)光靶點的亮度并進行離焦拍攝,使測量范圍內無論靶點距離攝像機遠近都能獲得高質量的靶點圖像,基于這些靶點圖像和標定出的系統(tǒng)參數解算靶點的三維坐標,進而獲得作為工作靶點載體的零部件的位置姿態(tài)信息。為了保證大視場視覺測量系統(tǒng)精度,參與系統(tǒng)標定的靶點需要與系統(tǒng)測量模式下的工作靶點相一致,并且由標定靶點分布構成的標定空間應與測量空間基本一致。目前應用較多的標定靶標可以分為三維靶標和二維靶標。以Tsai的方法為代表的基于三維靶標的標定方法要求已知靶標中多個靶點的三維坐標,通過建立與其圖像點二維坐標的關系來求解攝像機參數。該方法的標定精度取決于三維靶標的大小和制作精度,滿足大視場測量標定的靶標加工十分困難,并且靶點間易存在遮擋。為克服這些缺點出現(xiàn)了在三坐標測量機測頭處固定一個靶點,利用三坐標測量機的高精度位移,在空間中構造出一個虛擬的立體靶標的方法[9~11]。該方法一定程度上解決了三維靶標加工難度大和存在遮擋的問題,文獻提出了一種基于虛擬立體靶標的校準控制點到對應反投射線距離最小的相機參數校準方法,文獻將遺傳算法應用于基于虛擬立體靶標的相機參數校準方法中。但是對于大視場的攝像機標定,常見的三坐標測量機的測量空間相對較小,靶點的移動范圍無法覆蓋整個標定空間,因此標定精度相對較低(實驗驗證見4.2節(jié))。以Zhang的方法為代表的基于二維靶標的標定方法要求攝像機在3個以上不同方位拍攝一個已知靶點坐標的二維靶標,利用不同圖像對應點之間的關系求解標定參數。該方法簡單靈活,但應用于攝像機大視場測量標定則存在難以克服的問題:1)大尺寸二維靶標加工困難,靶點位置精度難以保證;2)使用尺寸較小的二維靶標,雖然能通過增加靶標的擺放位置使其充滿整個標定空間,但是由于各個擺放位置之間沒有聯(lián)系與約束,不能有效描述整個標定空間的攝像機模型,影響標定精度。對于二維靶標用于大視場攝像機標定存在的問題,文獻進行了深入分析和實驗驗證,并提出通過在標定空間中擺放多個較小的二維靶標,利用小靶標之間固定的相對位置建立起靶標之間的聯(lián)系,使多個靶標分布于整個標定空間,從而更為準確地求解標定參數的方法。但是該方法使用的二維靶標不能主動發(fā)光,當標定空間較大時靶點圖像提取精度相對較低。而要以主動發(fā)光目標作為靶點制作多塊標定靶標,一方面作為電子元件的發(fā)光靶點,即使在每塊小標定板上,各個靶點間準確的相對位置關系也難以獲得;另一方面,對大量標定靶點同時進行亮度自適應控制以保證其成像光斑質量難度較大。針對以IR-LED為工作靶點的大視場視覺測量中存在的攝像機標定問題,本文提出一種新的標定方法。采用亮度自適應控制的單個IR-LED作為標定靶點,在利用三坐標測量機形成虛擬立體靶標的基礎上,攝像機根據標定空間大小,在多個方位對虛擬立體靶標進行圖像采集,各個攝像機方位下拍攝的虛擬立體靶標在標定空間中構成一個大型靶標,該大型虛擬立體靶標可以根據標定空間的大小改變大小及形狀,同時也可以根據三坐標測量機的大小改變該大型虛擬立體靶標中小靶標的數量(即攝像機拍攝方位的數量)。攝像機在每個方位都標定出一組攝像機的內、外參數,然后以攝像機內參數和攝像機在各個方位下拍攝的虛擬立體靶標在攝像機坐標系下的位置及姿態(tài)參數為優(yōu)化變量,建立以所有三維靶點位置重投影誤差平方和為最小的目標函數,采用非線性優(yōu)化方法求解攝像機標定參數的最優(yōu)解。2歸一化圖像坐標系攝像機標定的任務是確定攝像機成像模型中的各參數。圖1為針孔攝像機模型,涉及5個坐標系,即以像素(pixel)為單位的圖像坐標系o0uv、以毫米(mm)為單位的圖像坐標系o1xy、歸一化圖像坐標系onxnyn、攝像機坐標系OcXcYcZc和世界坐標系OwXwYwZw。π為攝像機圖像平面,πn為焦距歸一化圖像平面。設空間點P在世界坐標系的坐標為Pw=[Xw,Yw,Zw]T,在攝像機坐標系下的坐標為Pc=[Xc,Yc,Zc]T,在圖像坐標系下投影點p的無畸變圖像齊次坐標為p=[u,v,1]T,在歸一化圖像坐標系下投影點pn的歸一化圖像齊次坐標為pn=[xn,yn,1]T。攝像機坐標系與世界坐標系之間的關系可以用旋轉矩陣R與平移向量t來描述。根據攝像機透視投影模型可得式中A為攝像機的內參數矩陣,I為3階單位矩陣,0=T,αx、αy分別為圖像坐標系u軸、v軸方向上的有效焦距,u0、v0是攝像機主點坐標,γ為圖像坐標系u軸、v軸的不垂直因子。由于攝像機成像系統(tǒng)存在畸變,考慮徑向畸變、切向畸變、薄棱鏡畸變,空間點P在圖像坐標系下帶畸變的投影點pd的齊次坐標為pd=[xd,yd,1]T,攝像機成像系統(tǒng)的畸變模型為式中[xnd,ynd,1]T是空間點P在歸一化圖像坐標系下帶畸變的投影點的齊次坐標,k1、k2為徑向畸變參數,p1、p2為切向畸變參數,s1、s2為薄棱鏡畸變參數。3虛擬立體靶標的求解在三坐標測量機的測頭處固定一個IR-LED靶點,設定世界坐標系為三坐標測量機原點,靶點在測量機坐標系下的坐標即為該靶點在世界坐標系下的坐標。在三坐標測量機的測量空間內均勻取n個預定位置Pwi(i=1,2,…,n,n≥6),但是為保證標定精度通常會選取上百個不等的預定位置作為靶點坐標。同時設定m個攝像機拍攝方位,要求攝像機在m個拍攝方位下拍攝的虛擬立體靶標組合在一起能夠充滿整個標定空間。賦予靶點初始預設位置標志i=1、初始拍攝方位標志j=1。將攝像機根據測量空間大小固定于第j(j=1,2,…,m)個拍攝方位,三坐標測量機按照事先設定的軌跡移動測頭,每移動到一個預定位置Pwi,攝像機采集一幅靶點圖像,由此在三坐標測量機的移動空間中形成一個虛擬的三維靶標T[如圖2(a)所示]。圖2(a)中,πj表示第j個拍攝方位的攝像機成像平面,Rj、tj分別表示第j個拍攝方位下攝像機坐標系相對于世界坐標系的旋轉矩陣和平移向量。根據每個靶點的三維坐標與其圖像點的二維坐標建立攝像機模型關系,計算出攝像機在此方位下的攝像機內參數(Aj、k1j、k2j、p1j、p2j、s1j、s2j)、外參數(Rj、tj)。根據第j個方位下拍攝的虛擬三維靶標求解攝像機內外參數的過程主要基于兩步法來實現(xiàn),即第一步基于不含畸變的攝像機模型,根據Abdel-Aziz和Karara提出的直接線性變換(DLT)方法計算出攝像機非畸變模型下的內外部參數(Aj、Rj、tj)。第二步以這些參數作為初始值,再基于包含各種畸變的攝像機模型,對內外參數進行非線性最優(yōu)估計,獲得攝像機在該方位下的內、外參數的最優(yōu)解。改變攝像機的方位,重復拍攝虛擬三維靶標過程,使虛擬的三維靶標經過多個攝像機方位的拍攝充滿整個攝像機的測量空間[如圖2(b)所示],即j=m。每一個攝像機方位下的虛擬立體靶標Tj及其對應的二維圖像反映了靶標所占測量空間區(qū)域的成像關系。將虛擬立體靶標統(tǒng)一轉換到攝像機坐標系下,所有虛擬立體靶標組成一個充滿整個測量空間的大型立體靶標。以攝像機內參數和攝像機在各個方位下拍攝的虛擬立體靶標在攝像機坐標系下的位置及姿態(tài)參數為優(yōu)化變量,建立以所有三維靶點位置重投影誤差平方和為最小的目標函數,采用非線性優(yōu)化方法求解攝像機標定參數的最優(yōu)解。標定方法的基本流程如圖3所示。3.1非線性畸變參數的求解式中[Xwi,Ywi,Zwi,1]T為虛擬立體靶標第i個靶點在世界坐標系下的齊次坐標。將世界坐標系設在三坐標測量機原點處,則[Xwi,Ywi,Zwi,1]T即為靶點在測量機坐標系下的坐標;[ui,vi,1]T為第i個靶點的齊次圖像坐標;Zci為第i個靶點在攝像機坐標系下的Zc軸分量;M為投影矩陣。將(4)式整理可得如下兩個關于mij的線性方程:(5)式表示,若已知靶標上的n個靶點的空間坐標[Xwi,Ywi,Zwi,1]T(i=1,2,…,n)和它們的圖像點坐標[ui,vi,1]T,則有2n個關于M的線性方程。當2n>11,即已知6個以上空間靶點與它們的圖像點,便可以求解出投影矩陣M。記第j個攝像機方位求出的投影矩陣為Mj,對矩陣Mj進行RQ分解,即可求出攝像機在非畸變模型下的內、外參數Aj、Rj、tj。由于攝像機系統(tǒng)存在非線性畸變,因此還需要對線性模型標定結果再考慮非線性畸變的情況做進一步優(yōu)化。引入k1、k2、p1、p2、s1、s2畸變參數,與線性模型的參數αx、αy、u0、v0一起構成非線性模型的攝像機內部參數,并建立以空間點重投影誤差為最小的目標函數,其表達式為式中disi(Aj,k1j,k2j,p1j,p2j,s1j,s2j,Rj,tj)為在第j個攝像機拍攝方位下空間點Pwi根據非線性成像模型重投影到歸一化圖像平面的圖像點與Pij在歸一化圖像平面上的實際圖像點pNij之間的距離的平方和。本文采用Levenberg-Marquardt迭代算法獲得(6)式的最優(yōu)解。3.2相對虛擬立體靶標的數字視頻拍攝方法如圖2(b)所示,根據測量空間與虛擬立體靶標大小,靈活放置攝像機對虛擬立體靶標進行圖像采集,使得靶標經過攝像機在多個方位的拍照充滿整個測量空間。攝像機在第j個攝像機方位下根據3.1節(jié)方法計算出攝像機內外參數Aj、k1j、k2j、p1j、p2j、s1j、s2j、Rj、tj。為了更精確的反映整個測量空間的攝像機模型,將所有虛擬立體靶標的坐標統(tǒng)一轉換到攝像機坐標系下,則攝像機在世界坐標系下相對虛擬立體靶標的方位Rj、tj轉換為虛擬立體靶標在攝像機坐標系下相對攝像機的方位其中虛擬立體靶標經過攝像機在多個方位下的拍攝,形成一個充滿整個測量空間的大型虛擬立體靶標。其中每一個小虛擬靶標能夠精確反映其所占空間的攝像機模型,并且各小虛擬靶標之間相對位置關系固定,因此該大型虛擬立體靶標能夠更好地反映整個測量空間的攝像機模型。考慮到每一個攝像機方位下,虛擬的三維靶標圖像點只能占據CCD成像靶面的一部分,而通常圖像中心區(qū)域畸變小,更接近線性成像模型,圖像邊緣區(qū)域則更能反映攝像機系統(tǒng)的畸變情況。因此選取圖像點集中在CCD靶面中間區(qū)域的攝像機方位下(記其方位序號為ζ)所獲得的線性內參數矩陣Aζ,以及圖像點靠近CCD靶面邊緣區(qū)域的攝像機方位下(記其方位序號為η)所獲得的畸變系數k1η、k2η、p1η、p2η、s1η、s2η,連同坐標變換后虛擬立體靶標相對攝像機的方位參數作為優(yōu)化初值,統(tǒng)一建立以所有靶點重投影誤差平方和為最小的目標函數,其表達式為式中j表示攝像機的第j個拍攝方位,i表示每個攝像機方位下拍攝的第i個靶點。采用LevenbergMarquardt迭代算法獲得(7)式的最優(yōu)解,此解即為攝像機的最終標定參數。4實驗4.1光斑中心提取光學測量中背景光通常會對測量精度產生干擾,采用添加紅外濾鏡的CCD攝像機,過濾掉室內絕大部分可見光線,以IR-LED發(fā)光點作為標定靶點,有效降低背景光對標定的干擾。IR-LED發(fā)光單元極小,距離攝像機較遠時可視為點光源。在大視場視覺測量與標定中,對IR-LED靶點進行離焦拍攝,使其圖像所呈光斑近似符合二維高斯分布。通過特別設計的硬件電路,使IR-LED的亮度控制與攝像機采集建立反饋機制,自動調節(jié)IR-LED靶點的亮度,保證在2~10m范圍內無論標定靶點距離攝像機遠近其成像光斑灰度分布始終與圖4所示近似。LED靶點成像光斑的中心提取有多種方法,包括灰度質心法、高斯曲面擬合法、拋物面擬合法等[15~18]?；叶荣|心法的抗噪能力較弱,精度有限;高斯曲面擬合法精度高、穩(wěn)定性好;而拋物面擬合法則是高斯曲面擬合法的一種簡化算法,精度和穩(wěn)定性相對較差。因此本文采用精度及穩(wěn)定性相對較高的高斯曲面擬合法來求取LED發(fā)光點的中心。IR-LED投射在CCD平面上的光斑能量近似于(8)式所示的二維高斯函數分布,即式中(x0,y0)為真實光斑中心坐標,σ為高斯函數的標準差,I0為LED投射在CCD平面上的總能量。對成像光斑像素進行內插細分,然后將灰度數值擬合成二維高斯曲面I(x,y),進而求出曲面的極值點(x0,y0),也就是光斑的中心。距離攝像機7500mm左右,對IR-LED靶點重復采集100次,采用高斯曲面擬合方法求得的光斑中心的重復定位均方根(RMS)誤差、最大誤差如表1所示。表1數據說明高斯曲面擬合法求取光斑中心具有較高的穩(wěn)定性,同時該數據也直接反映光斑中心提取的隨機噪聲水平,為4.2節(jié)仿真實驗中對靶點圖像坐標添加噪聲大小提供依據。由于IR-LED靶點發(fā)射角度有限,通常在±45°以內,一旦攝像機的拍攝方位超出這一角度,就無法拍攝到靶點,因此攝像機拍攝方位設置在每個靶點的發(fā)射角內。實驗攝像機采用BaslerA102f數碼攝像機,像素物理尺寸為0.00645mm×0.00645mm,圖像分辨率為1392pixel×1040pixel,鏡頭標稱焦距為12.5mm。采用意大利DEA公司生產的GAMMA1103型三坐標測量機構造虛擬立體靶標,虛擬立體靶標的靶點按照X方向點間距300mm、Y方向點間距100mm、Z方向點間距100mm分布,共5×7×7=245個靶點。整個標定由18個攝像機方位組成,沿攝像機Zc軸方向分為兩個排面。每一排的9個虛擬立體靶標的圖像在攝像機成像平面的分布如圖5所示。4.2選擇適用的光斑中心誤差仿真攝像機內部參數參照實際實驗所用的攝像機參數,設定為αx=1945.233、αy=1944.927、γ=0、u0=657.221、v0=547.674?；儏祂1=-0.149、k2=0.171,p1=-0.011、p2=0.002、s1=0.014、s2=-0.002。參考IR-LED靶點采用高斯曲面擬合方法求得光斑中心的重復定位均方根誤差量級(見表1),在獲得的靶點圖像坐標上添加期望為0.00pixel、標準差σ為0.01pixel的隨機高斯噪聲,重復100次標定實驗。表2為面向大視場視覺測量的攝像機標定方法的100個標定結果中隨機選取的10個標定結果。可見該方法標定結果與攝像機設定參數接近,并且由圖6可見,標定結果穩(wěn)定。表3為18個攝像機方位中隨機選取9個攝像機方位,各自利用單個虛擬立體靶標對攝像機進行標定的結果,可見單個攝像機方位的標定結果與設定的攝像機參數差別均較大,并且各攝像機方位的標定結果之間也有較大差別。該結果說明單一攝像機方位下拍攝虛擬立體靶標的標定結果只能較為精確地反映立體靶標成像區(qū)域內的攝像機模型,不能用于整個大視場的攝像機標定。4.3虛擬立體檢驗靶標的標定在三坐標測量機的測頭處固定一個IR-LED靶點,三坐標測量機按照4.1節(jié)實驗設置的要求移動靶點。實驗設備如圖7所示。為了對比標定效果,實驗分為三組。實驗一采用本文方法對攝像機進行標定,標定中的虛擬靶標布點與仿真實驗一致,攝像機擺放位置(18個方位)也與仿真實驗大致相同,該實驗中多個虛擬立體靶標基本分布于整個標定空間,圖像覆蓋整個成像平面,如圖8(a)所示。實驗二采用單一攝像機方位在大視場中拍攝虛擬立體靶標進行攝像機標定,該實驗中虛擬立體靶標圖像僅覆蓋成像平面的部分區(qū)域,如圖8(b)所示。實驗三采用單一攝像機方位在近距離拍攝虛擬立體靶標,對攝像機進行標定,由于拍攝距離近,單個虛擬立體靶標也基本覆蓋整個成