數(shù)碼相機定位的優(yōu)化設(shè)計

1、西南民族大學(xué)學(xué)報·自然科學(xué)版第35卷第6期Journal of Southwest University for NationalitiesNatural Science Edition Nov.2009_收稿日期：2009-06-11作者簡介：張廣生(1957-, 男, 西南民族大學(xué)計算機科學(xué)與技術(shù)學(xué)院副教授.文章編號: 1003-2843(200906-1183-06數(shù)碼相機定位的優(yōu)化設(shè)計張廣生, 馬志霞, 王齊峰, 史騰飛, 張煜(西南民族大學(xué)計算機科學(xué)與技術(shù)學(xué)院, 四川成都 610041摘 要: 研究的是數(shù)碼相機在交通管制中定位物體特征點的優(yōu)化設(shè)計問題. 將數(shù)碼相機成像問題簡

2、化為針孔成像問題后, 研究了靶標(biāo)圖像與數(shù)碼相機像平面上圖像間的旋轉(zhuǎn)和平移關(guān)系, 為了使二維圖像獲取三維信息, 建立起圖像間的透視投影模型. 利用該模型, 通過確立標(biāo)定點與相應(yīng)的二維圖像坐標(biāo), 運用最小二乘法求解投影矩陣, 實現(xiàn)對相機內(nèi)、外部參數(shù)的標(biāo)定. 標(biāo)定過程中, 運用數(shù)字圖像處理技術(shù), 對圖像進行二值化處理, 提高了數(shù)據(jù)的準(zhǔn)確度和科學(xué)可信性, 由此解得較為精確的內(nèi)、外部參數(shù), 獲得基于此模型的圓心在像平面的坐標(biāo)表示, 分別為A(321,189、B(422,196、C(639,212、D(582,502、E(284,501. 使用BP 神經(jīng)網(wǎng)絡(luò)方法對已建立的模型進行檢測, 通過對比BP 神經(jīng)

3、網(wǎng)絡(luò)與透視投影求得圓心值與實際圓心值的均方根誤差, 論證了該模型有較高的精度和穩(wěn)定性. 并基于已有工作, 建立了雙目視覺定位模型, 得到兩部相機間的相對位置關(guān)系. 在模型的進一步討論中, 研究了橢圓中心偏移問題, 對像平面上橢圓的中心坐標(biāo)進行了修定, 得到實際的中心為：A(325,191、B(427,201、C(642,216、D(584,504、E(288,505. 以及討論了圖形的畸變問題, 確定了相應(yīng)的關(guān)系.關(guān)鍵字：透視投影; 圖像二值化; BP神經(jīng)網(wǎng)絡(luò); 雙目視覺系統(tǒng) 中圖分類號: O224 文獻標(biāo)識碼: A1 基本假設(shè)(1將數(shù)碼相機的成像原理簡化成小孔成像的原理進行解決.(2忽略由于

4、簡化相機為針孔模型, 圖像產(chǎn)生的畸變. (3兩部相機的型號、規(guī)格和內(nèi)部參數(shù)完全相同.2 模型分析問題一：在處理靶標(biāo)上的像和相機像平面上像的關(guān)系時, 可采用透視投影的方法結(jié)合圖形幾何轉(zhuǎn)化建立模型, 確定兩像間的轉(zhuǎn)換關(guān)系. 現(xiàn)實世界中, 物體具有三維特征, 然而電子設(shè)備中呈現(xiàn)的都是二維的圖像. 因此, 要實現(xiàn)數(shù)碼相機定位就必須將物體三維特征與二維的數(shù)據(jù)間映射, 引入兩個坐標(biāo)系.世界坐標(biāo)系：為使被顯示的三維物體數(shù)字化, 要在實物所在的空間中定義世界坐標(biāo)系. 坐標(biāo)系的長度單位和坐標(biāo)軸方向適合描述物體, 世界坐標(biāo)系是不變的.屏幕坐標(biāo)系：在圖形顯示器屏幕上定義二維直角坐標(biāo)系, 稱為屏幕坐標(biāo)系. 問題二：可

5、利用已建立的基礎(chǔ)模型, 進一步處理問題, 此時有兩點引起注意：(1圖1、圖2中A 的形狀近乎沒有發(fā)生變化, 忽略兩者間的差別, 近似認(rèn)為兩者相同, 以方便求解.(2數(shù)碼相機所得圖像為點位圖, 可對圖像進行二值化處理獲得“0、1”(黑、白 圖, 方便運用窮舉掃描, 獲取標(biāo)定點求解M 矩陣, 得到像平面圓心坐標(biāo). 西南民族大學(xué)學(xué)報·自然科學(xué)版 問題三：利用BP 神經(jīng)網(wǎng)絡(luò)技術(shù)針對先前建立的模型進行來檢驗.問題四：利用雙目視覺相機標(biāo)定法, 分別建立相機坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系, 進而求出兩部相機間的相對位置.3 模型的建立及求解問題一：(1建立坐標(biāo)系以O(shè) 點為照相機的透視中心, 以c c

6、 c Z Y X , , 為軸建立坐標(biāo)系, 其中, c X 軸和c Y 軸與圖像的v u , 軸平行, c Z 為照相機的主光軸與像平面垂直, 光軸與像平面的交點為成像平面坐標(biāo)系的原點, 由點O 與c c c Z Y X , , 軸組成的直角坐標(biāo)系稱為照相機坐標(biāo)系.(2相機坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系相機坐標(biāo)系與世界坐標(biāo)系屬于外部參數(shù), 且滿足, c w c w c w X X Y R Y T Z Z =+其中(33ijR r ×=為旋轉(zhuǎn)變量, (Txyz T t t t =為平移變量.(3相機坐標(biāo)系與像平面坐標(biāo)系之間的關(guān)系結(jié)合幾何光學(xué)知識空間點在相機坐標(biāo)系下的坐標(biāo)P (, , c

7、c c X Y Z 的齊次坐標(biāo)的矩陣形式為=c c c c Z Y X f fy x Z 010000000. (1(4靶標(biāo)圖像與像平面坐標(biāo)系之間的關(guān)系相機采集的數(shù)字圖像, 以m n ×數(shù)組的形式進行存儲. 在像平面坐標(biāo)系中, 由于相機內(nèi)部參數(shù)的影響, 建立如下坐標(biāo)關(guān)系1010x y C u x dx v y C dy=. (2 其中, 縱橫比dxdyS = , x y C C 為偏轉(zhuǎn)量. 結(jié)合(1、(2式得透視投影模型=. (3 投影矩陣M 為43×矩陣, 同時也代表了二維圖像與三維圖像間的基本關(guān)系, 因此,當(dāng)知道物點的世界坐標(biāo) 第6期 就可以求出相應(yīng)的理想化的圖像坐標(biāo).

8、(5模型的求解計算模擬標(biāo)定物的特征點在世界坐標(biāo)系的坐標(biāo)表示及其二維對應(yīng)點像 , (i i v u 的坐標(biāo). 由(3式求得方程3433323114131211m u m Z u m Y u m X u m m Z m Y m X i wi i wi i wi i wi wi wi =+. 3433323124232221m v m Z v m Y v m X v m m Z m Y m X i wi i wi i wi i wi wi wi =+.n 個坐標(biāo)點可得2n 個關(guān)于M 的線性方程, 六個以上點的世界坐標(biāo)及其圖像點的坐標(biāo)可得M 矩陣, 為提高精度選取10個點.若已知某點的世界坐標(biāo)(, ,

9、 w w w X Y Z , 利用投影矩陣M 得相應(yīng)點的圖像坐標(biāo)+, 2122232431323334w w w w w w m X m Y m Z m v m X m Y m Z m +=+.假定相機的內(nèi)部參數(shù)(', , , x y f s C C 已知, 帶入方程求得外部參數(shù)R, T.M 矩陣與相機的內(nèi)外參數(shù)的關(guān)系可以寫成300001001001T T T T x x x x x z T T T T y y y y y z T T T z z r t m m C r C r t C t r t m m m C r C r t C t r t m r t +=+. 若標(biāo)點在同一個平面

10、, 那么世界坐標(biāo)是線性相關(guān)的, 即0w w w AX BY CZ +=, 可求得3, , , , x y r C C .3343r m m =1333413( T T Tx x C r C r r m m m =+= 1333423( T T Ty y C r C r r m m m =+=23413|m m m =×23423|m m m =×由以上求出的參數(shù)可以進一步求得以下參數(shù)：34113( x m r m C m =34223(y m r m C m =3414( x x m t m C = 3424(y y m t m C =3424(y y m t m C =3

11、4z t m =綜上由空間給定的點及圖像坐標(biāo), 可求出M 矩陣, 獲得內(nèi)外參數(shù), 由世界坐標(biāo)(, , w w w X Y Z 及投影矩陣M 可得圖像坐標(biāo)系下的坐標(biāo)(, u v , 則像平面坐標(biāo)為(, , x y R u v =. 問題二： 對于問題二的求解, 在已知條件下利用問題一建立的模型給出各個待求變量的實際解, 進而給出靶標(biāo)上圓的圓心在像平面上的坐標(biāo).首先是給出標(biāo)定物的世界坐標(biāo)和與之相對應(yīng)的二維圖像坐標(biāo).(1標(biāo)定物的世界坐標(biāo)(, , wi wi wi X Y Z 的選取世界坐標(biāo)坐標(biāo)系的x 軸, y軸是平行于真實圖像的平面, 利用畫圖軟件調(diào)整像素比例,得到在像素坐標(biāo)下每個圓的中心點和上下左

12、右邊緣點的坐標(biāo)(, w w X Y . 選取w Z 的過程圖2 西南民族大學(xué)學(xué)報·自然科學(xué)版 如圖2所示, 兩幅圖的中心定在圓A 和其像的圓心處.Z =wS S w圓像(w為像距, 利用數(shù)字圖像處理技術(shù)獲取圖像二值化掃描后的像素個數(shù), 累加得到S 像.(2二維對應(yīng)點的圖像坐標(biāo)對圖像進行二值化處理, 建立圖像平面內(nèi)的二維平面直角像素坐標(biāo)系,(a二值化處理圖像, 掃描后找到橢圓在x 和y 方向上的四個切點i Q (b連接相對的兩個切點, 得到橢圓中心(c沿切點做切線, 得到4條切線相交的矩形區(qū)域, 連接矩形對角線, 得到其與橢圓相交的4個點i J 即兩條對角線的斜率21, k k .(d

13、利用c+圖像編程由Sobel 邊緣檢測算法抽取橢圓的邊框.(e求標(biāo)定點：此時, 圖中只有突地邊緣一圈的值為0, 掃描可得各個標(biāo)點的位置, 掃描圖示如圖.利用勾股定理求出i w , 由此可以得到圖像中長軸、短軸的(, , i i i u v w 坐標(biāo). 帶入獲得投影矩陣M, 進而得R 、T 的數(shù)值. 由此就可以確立像與像平面之間的關(guān)系.(3計算求解具體的數(shù)據(jù)：(略. 最終求得靶標(biāo)上圓的圓心像坐標(biāo)分別為： A(32,189, B(422,196, C(639,212, D(582,502, E(284,501. 問題三 (模型的檢驗 ：通過透視投影的模型, 建立了圖像與其世界坐標(biāo)系之間的關(guān)系. 采

14、用BP 神經(jīng)網(wǎng)絡(luò)技術(shù)對模型進行檢驗.(1 BP神經(jīng)網(wǎng)絡(luò) BP 神經(jīng)網(wǎng)絡(luò)由輸入層、隱層和輸出層組成, 隱層可以是一層也可以是多層. 在理論上, 含有一個隱層的三層BP 神經(jīng)網(wǎng)絡(luò)在隱層神經(jīng)元節(jié)點數(shù)可以任意設(shè)定的情況下, 能夠以任意精度逼近任意連續(xù)函數(shù). 在大多數(shù)應(yīng)用情況下可采用一個(如圖 隱層的三層BP 神經(jīng)網(wǎng)絡(luò). 如圖為一個三層BP 網(wǎng)絡(luò), 設(shè)輸入層由n 個節(jié)點, 輸出層由m 個節(jié)點, 隱層由l 個節(jié)點, 樣本數(shù)為N, 輸入向量為12, , , n x x x , ji w 為隱層節(jié)點與輸入層節(jié)點的連接權(quán)值, 隱層節(jié)點的輸入和輸出為1(* nj i j i NET x o =.其中1( j j

15、O f NET =, 隱層節(jié)點的作用函數(shù)1f . 選取S 型變換函數(shù), 設(shè)輸出層節(jié)點k 與隱層節(jié)點j 的連接權(quán)值為kj w , 輸出層節(jié)點的函數(shù)2f 選用線性變換, 則節(jié)點k 的輸出為21(* lk kj j j y f w o =.誤差函數(shù)為平方型誤差函數(shù), 對所有樣本總誤差為2111( 2n mkp kp p k E y y =.為提避免陷入局部最小解, 引入1(1 ( (1 n jt ji jp ip ji p w t w t x w t =+=+ 1(1 ( (1 nkj kj kp jp kj p w t w t x w t =+=+.圖3 第6期 其中, kp jp 分別為樣本p

16、輸入時, 輸出層節(jié)點k 和隱層節(jié)點j 的誤差項, 計算公式如下*(1*( kp kp kp kp kp y y y y =, 1*(1*kpmjp jp jp kj k o o w =.(2測試試驗評定標(biāo)準(zhǔn)：透視投影法和BP 網(wǎng)絡(luò)法得到的點圓心坐標(biāo)與圓心實際世界坐標(biāo)的均方根誤差e = , 其中e 為均方根誤差；, , m m m X Y Z 為由神經(jīng)網(wǎng)絡(luò)和透視攝影方法計算出的圓心世界坐標(biāo)值；, w w X Y 圓的心實際世界坐標(biāo)值.(3計算機分析結(jié)果神經(jīng)網(wǎng)絡(luò)計算出的均方根誤差(單位：mm1 2 3 4 5 神經(jīng)網(wǎng)絡(luò)標(biāo)定： 0.2351 0.2785 0.3266 0.2571 0.1651 一般線性標(biāo)定：0.5914 0.8725 0.6142 0.8569 1.4985由檢驗結(jié)果, 神經(jīng)網(wǎng)絡(luò)的精度明顯高于線性方法的精度, 同時具有較高的穩(wěn)定性.問題四：相機間相對位置：兩部相機光學(xué)中心間的距離. 對于兩個相機同時觀察, 利用單個相機標(biāo)定法來確定各自的內(nèi)外參數(shù), 設(shè)照相機1C 和2C 的同影矩陣為1M 和2M , 線