數(shù)碼相機定位的優(yōu)化設計

1、西南民族大學學報·自然科學版第35卷第6期Journal of Southwest University for NationalitiesNatural Science Edition Nov.2009_收稿日期：2009-06-11作者簡介：張廣生(1957-, 男, 西南民族大學計算機科學與技術學院副教授.文章編號: 1003-2843(200906-1183-06數(shù)碼相機定位的優(yōu)化設計張廣生, 馬志霞, 王齊峰, 史騰飛, 張煜(西南民族大學計算機科學與技術學院, 四川成都 610041摘 要: 研究的是數(shù)碼相機在交通管制中定位物體特征點的優(yōu)化設計問題. 將數(shù)碼相機成像問題簡

2、化為針孔成像問題后, 研究了靶標圖像與數(shù)碼相機像平面上圖像間的旋轉和平移關系, 為了使二維圖像獲取三維信息, 建立起圖像間的透視投影模型. 利用該模型, 通過確立標定點與相應的二維圖像坐標, 運用最小二乘法求解投影矩陣, 實現(xiàn)對相機內(nèi)、外部參數(shù)的標定. 標定過程中, 運用數(shù)字圖像處理技術, 對圖像進行二值化處理, 提高了數(shù)據(jù)的準確度和科學可信性, 由此解得較為精確的內(nèi)、外部參數(shù), 獲得基于此模型的圓心在像平面的坐標表示, 分別為A(321,189、B(422,196、C(639,212、D(582,502、E(284,501. 使用BP 神經(jīng)網(wǎng)絡方法對已建立的模型進行檢測, 通過對比BP 神經(jīng)

3、網(wǎng)絡與透視投影求得圓心值與實際圓心值的均方根誤差, 論證了該模型有較高的精度和穩(wěn)定性. 并基于已有工作, 建立了雙目視覺定位模型, 得到兩部相機間的相對位置關系. 在模型的進一步討論中, 研究了橢圓中心偏移問題, 對像平面上橢圓的中心坐標進行了修定, 得到實際的中心為：A(325,191、B(427,201、C(642,216、D(584,504、E(288,505. 以及討論了圖形的畸變問題, 確定了相應的關系.關鍵字：透視投影; 圖像二值化; BP神經(jīng)網(wǎng)絡; 雙目視覺系統(tǒng) 中圖分類號: O224 文獻標識碼: A1 基本假設(1將數(shù)碼相機的成像原理簡化成小孔成像的原理進行解決.(2忽略由于

4、簡化相機為針孔模型, 圖像產(chǎn)生的畸變. (3兩部相機的型號、規(guī)格和內(nèi)部參數(shù)完全相同.2 模型分析問題一：在處理靶標上的像和相機像平面上像的關系時, 可采用透視投影的方法結合圖形幾何轉化建立模型, 確定兩像間的轉換關系. 現(xiàn)實世界中, 物體具有三維特征, 然而電子設備中呈現(xiàn)的都是二維的圖像. 因此, 要實現(xiàn)數(shù)碼相機定位就必須將物體三維特征與二維的數(shù)據(jù)間映射, 引入兩個坐標系.世界坐標系：為使被顯示的三維物體數(shù)字化, 要在實物所在的空間中定義世界坐標系. 坐標系的長度單位和坐標軸方向適合描述物體, 世界坐標系是不變的.屏幕坐標系：在圖形顯示器屏幕上定義二維直角坐標系, 稱為屏幕坐標系. 問題二：可

5、利用已建立的基礎模型, 進一步處理問題, 此時有兩點引起注意：(1圖1、圖2中A 的形狀近乎沒有發(fā)生變化, 忽略兩者間的差別, 近似認為兩者相同, 以方便求解.(2數(shù)碼相機所得圖像為點位圖, 可對圖像進行二值化處理獲得“0、1”(黑、白 圖, 方便運用窮舉掃描, 獲取標定點求解M 矩陣, 得到像平面圓心坐標. 西南民族大學學報·自然科學版 問題三：利用BP 神經(jīng)網(wǎng)絡技術針對先前建立的模型進行來檢驗.問題四：利用雙目視覺相機標定法, 分別建立相機坐標系與世界坐標系之間的關系, 進而求出兩部相機間的相對位置.3 模型的建立及求解問題一：(1建立坐標系以O 點為照相機的透視中心, 以c c

6、 c Z Y X , , 為軸建立坐標系, 其中, c X 軸和c Y 軸與圖像的v u , 軸平行, c Z 為照相機的主光軸與像平面垂直, 光軸與像平面的交點為成像平面坐標系的原點, 由點O 與c c c Z Y X , , 軸組成的直角坐標系稱為照相機坐標系.(2相機坐標系與世界坐標系之間的關系相機坐標系與世界坐標系屬于外部參數(shù), 且滿足, c w c w c w X X Y R Y T Z Z =+其中(33ijR r ×=為旋轉變量, (Txyz T t t t =為平移變量.(3相機坐標系與像平面坐標系之間的關系結合幾何光學知識空間點在相機坐標系下的坐標P (, , c

7、c c X Y Z 的齊次坐標的矩陣形式為=c c c c Z Y X f fy x Z 010000000. (1(4靶標圖像與像平面坐標系之間的關系相機采集的數(shù)字圖像, 以m n ×數(shù)組的形式進行存儲. 在像平面坐標系中, 由于相機內(nèi)部參數(shù)的影響, 建立如下坐標關系1010x y C u x dx v y C dy=. (2 其中, 縱橫比dxdyS = , x y C C 為偏轉量. 結合(1、(2式得透視投影模型=. (3 投影矩陣M 為43×矩陣, 同時也代表了二維圖像與三維圖像間的基本關系, 因此,當知道物點的世界坐標 第6期 就可以求出相應的理想化的圖像坐標.

8、(5模型的求解計算模擬標定物的特征點在世界坐標系的坐標表示及其二維對應點像 , (i i v u 的坐標. 由(3式求得方程3433323114131211m u m Z u m Y u m X u m m Z m Y m X i wi i wi i wi i wi wi wi =+. 3433323124232221m v m Z v m Y v m X v m m Z m Y m X i wi i wi i wi i wi wi wi =+.n 個坐標點可得2n 個關于M 的線性方程, 六個以上點的世界坐標及其圖像點的坐標可得M 矩陣, 為提高精度選取10個點.若已知某點的世界坐標(, ,

9、 w w w X Y Z , 利用投影矩陣M 得相應點的圖像坐標+, 2122232431323334w w w w w w m X m Y m Z m v m X m Y m Z m +=+.假定相機的內(nèi)部參數(shù)(', , , x y f s C C 已知, 帶入方程求得外部參數(shù)R, T.M 矩陣與相機的內(nèi)外參數(shù)的關系可以寫成300001001001T T T T x x x x x z T T T T y y y y y z T T T z z r t m m C r C r t C t r t m m m C r C r t C t r t m r t +=+. 若標點在同一個平面

10、, 那么世界坐標是線性相關的, 即0w w w AX BY CZ +=, 可求得3, , , , x y r C C .3343r m m =1333413( T T Tx x C r C r r m m m =+= 1333423( T T Ty y C r C r r m m m =+=23413|m m m =×23423|m m m =×由以上求出的參數(shù)可以進一步求得以下參數(shù)：34113( x m r m C m =34223(y m r m C m =3414( x x m t m C = 3424(y y m t m C =3424(y y m t m C =3

11、4z t m =綜上由空間給定的點及圖像坐標, 可求出M 矩陣, 獲得內(nèi)外參數(shù), 由世界坐標(, , w w w X Y Z 及投影矩陣M 可得圖像坐標系下的坐標(, u v , 則像平面坐標為(, , x y R u v =. 問題二： 對于問題二的求解, 在已知條件下利用問題一建立的模型給出各個待求變量的實際解, 進而給出靶標上圓的圓心在像平面上的坐標.首先是給出標定物的世界坐標和與之相對應的二維圖像坐標.(1標定物的世界坐標(, , wi wi wi X Y Z 的選取世界坐標坐標系的x 軸, y軸是平行于真實圖像的平面, 利用畫圖軟件調(diào)整像素比例,得到在像素坐標下每個圓的中心點和上下左

12、右邊緣點的坐標(, w w X Y . 選取w Z 的過程圖2 西南民族大學學報·自然科學版 如圖2所示, 兩幅圖的中心定在圓A 和其像的圓心處.Z =wS S w圓像(w為像距, 利用數(shù)字圖像處理技術獲取圖像二值化掃描后的像素個數(shù), 累加得到S 像.(2二維對應點的圖像坐標對圖像進行二值化處理, 建立圖像平面內(nèi)的二維平面直角像素坐標系,(a二值化處理圖像, 掃描后找到橢圓在x 和y 方向上的四個切點i Q (b連接相對的兩個切點, 得到橢圓中心(c沿切點做切線, 得到4條切線相交的矩形區(qū)域, 連接矩形對角線, 得到其與橢圓相交的4個點i J 即兩條對角線的斜率21, k k .(d

13、利用c+圖像編程由Sobel 邊緣檢測算法抽取橢圓的邊框.(e求標定點：此時, 圖中只有突地邊緣一圈的值為0, 掃描可得各個標點的位置, 掃描圖示如圖.利用勾股定理求出i w , 由此可以得到圖像中長軸、短軸的(, , i i i u v w 坐標. 帶入獲得投影矩陣M, 進而得R 、T 的數(shù)值. 由此就可以確立像與像平面之間的關系.(3計算求解具體的數(shù)據(jù)：(略. 最終求得靶標上圓的圓心像坐標分別為： A(32,189, B(422,196, C(639,212, D(582,502, E(284,501. 問題三 (模型的檢驗 ：通過透視投影的模型, 建立了圖像與其世界坐標系之間的關系. 采

14、用BP 神經(jīng)網(wǎng)絡技術對模型進行檢驗.(1 BP神經(jīng)網(wǎng)絡 BP 神經(jīng)網(wǎng)絡由輸入層、隱層和輸出層組成, 隱層可以是一層也可以是多層. 在理論上, 含有一個隱層的三層BP 神經(jīng)網(wǎng)絡在隱層神經(jīng)元節(jié)點數(shù)可以任意設定的情況下, 能夠以任意精度逼近任意連續(xù)函數(shù). 在大多數(shù)應用情況下可采用一個(如圖 隱層的三層BP 神經(jīng)網(wǎng)絡. 如圖為一個三層BP 網(wǎng)絡, 設輸入層由n 個節(jié)點, 輸出層由m 個節(jié)點, 隱層由l 個節(jié)點, 樣本數(shù)為N, 輸入向量為12, , , n x x x , ji w 為隱層節(jié)點與輸入層節(jié)點的連接權值, 隱層節(jié)點的輸入和輸出為1(* nj i j i NET x o =.其中1( j j

15、O f NET =, 隱層節(jié)點的作用函數(shù)1f . 選取S 型變換函數(shù), 設輸出層節(jié)點k 與隱層節(jié)點j 的連接權值為kj w , 輸出層節(jié)點的函數(shù)2f 選用線性變換, 則節(jié)點k 的輸出為21(* lk kj j j y f w o =.誤差函數(shù)為平方型誤差函數(shù), 對所有樣本總誤差為2111( 2n mkp kp p k E y y =.為提避免陷入局部最小解, 引入1(1 ( (1 n jt ji jp ip ji p w t w t x w t =+=+ 1(1 ( (1 nkj kj kp jp kj p w t w t x w t =+=+.圖3 第6期 其中, kp jp 分別為樣本p

16、輸入時, 輸出層節(jié)點k 和隱層節(jié)點j 的誤差項, 計算公式如下*(1*( kp kp kp kp kp y y y y =, 1*(1*kpmjp jp jp kj k o o w =.(2測試試驗評定標準：透視投影法和BP 網(wǎng)絡法得到的點圓心坐標與圓心實際世界坐標的均方根誤差e = , 其中e 為均方根誤差；, , m m m X Y Z 為由神經(jīng)網(wǎng)絡和透視攝影方法計算出的圓心世界坐標值；, w w X Y 圓的心實際世界坐標值.(3計算機分析結果神經(jīng)網(wǎng)絡計算出的均方根誤差(單位：mm1 2 3 4 5 神經(jīng)網(wǎng)絡標定： 0.2351 0.2785 0.3266 0.2571 0.1651 一般線性標定：0.5914 0.8725 0.6142 0.8569 1.4985由檢驗結果, 神經(jīng)網(wǎng)絡的精度明顯高于線性方法的精度, 同時具有較高的穩(wěn)定性.問題四：相機間相對位置：兩部相機光學中心間的距離. 對于兩個相機同時觀察, 利用單個相機標定法來確定各自的內(nèi)外參數(shù), 設照相機1C 和2C 的同影矩陣為1M 和2M , 線