基于向量相似度匹配準則的圖像配準與拼接_秦佳

1、30卷第6期2013年6月微電子學與計算機MI C R O E L E C T R O N I C S &C OM P U T E R V o l .30N o .6J u n e 2013收稿日期:2012-08-30;修回日期:2012-10-11基金項目:國家自然科學基金資助項目(60808028基于向量相似度匹配準則的圖像配準與拼接秦佳1,2,楊建峰1,薛彬1,卜凡1,2(1中國科學院西安光學精密機械研究所光譜成像技術重點實驗室,陜西西安710119;2中國科學院研究生院,北京100049摘要:針對圖像配準與拼接中存在的特征點誤匹配問題,提出了基于向量相似度的特征匹配準則.首先

2、在尺度空間檢測S I F T (S c a l e I n v a r i a n t F e a t u r e T r a n s f o r m a t i o n 特征點,生成包含特征點信息的S I F T 向量.采用向量相似度方法進行特征點匹配,并通過互映射原理進一步篩選,刪除誤匹配點對.然后用隨機抽樣一致性算法計算初始投影變換矩陣,并用L e v e n b e r g -M a r q u a r d t (L -M 算法對矩陣求精.最后通過圖像融合實現(xiàn)了圖像拼接.實驗結果表明該準則提高了特征點匹配精度,能處理存在投影變換的圖像配準與拼接.關鍵詞:圖像拼接;特征匹配;尺度不變特征

3、變換;向量相似度;互映射原理中圖分類號:T P 751文獻標識碼:A 文章編號:1000-7180(201306-0022-04I m a g e R e gi s t r a t i o n a n d M o s a i c B a s e d o n V e c t o r S i m i l a r i t y M a t c h i n g P r i n c i p l e Q I N J i a 1,2,Y A N G J i a n -f e n g 1,X U E B i n 1,B U F a n 1,2(1K e y L a b o r a t o r y o f S p

4、 e c t r u m I m a g i n g T e c h n o l o g y ,X i a n I n s t i t u t e o f O p t i c s a n d P r e c i s i o n M e c h a n i c s ,C h i n e s e A c a d e m y o f S c i e n c e s ,X i a n 710119,C h i n a ;2G r a d u a t e U n i v e r s i t y o f C h i n e s e A c a d e m y o f S c i e n c e s ,B

5、e i j i n g 100049,C h i n a A b s t r a c t :T o r e s o l v e t h e m i s m a t c h i n g p r o b l e m i n i m a g e r e g i s t r a t i o n a n d i m a g e m o s a i c ,t h i s p a p e r p r o p o s e s a n i m p r o v e d f e a t u r e m a t c h i n g p r i n c i p l e b a s e d o n v e c t o r

6、 s i m i l a r i t y .F i r s t ,b y d e t e c t i n g f e a t u r e p o i n t s i n s c a l e s p a c e ,S I F T (S c a l e I n v a r i a n t F e a t u r e T r a n s f o r m a t i o n v e c t o r s ,w h i c h r e p r e s e n t l o c a l p r o p e r t i e s ,a r e c o m p u t e d ;t h e f e a t u r

7、e p o i n t s a r e m a t c h e d b y u s i n g v e c t o r s i m i l a r i t y m e t h o d a n d m i s m a t c h i n g p o i n t c o u p l e s a r e f u r t h e r d e l e t e d w i t h t h e a p p l i c a t i o n o f m u t u a l m a p p i n g t h e o r y .A n d t h e n ,t h e t r a n s f o r m m a

8、t r i x i s c a l c u l a t e d b y r a n d o m s a m p l e c o n s e n s u s a l g o r i t h m.F u r t h e r m o r e ,i t i s o p t i m i z e d b y L e n v e n b e r g -M a r q u a r d t (L -M a l g o r i t h m.F i n a l l y ,t h r o u g h i m a g e f u s i o n ,i m a g e m o s a i c i s r e a l i

9、z e d .T h e e x p e r i m e n t a l r e s u l t s i n d i c a t e n e w p r i n c i p l e i m p r o v e s t h e m a t c h i n g p r e c i s i o n .T h e m e t h o d c a n d e a l w i t h i m a g e r e g i s t r a t i o n a n d m o s a i c w i t h p r o je c t i v e t r a n sf o r m a t i o n .K e y

10、 w o r d s :i m ag e m o s a i c ;f e a t u r e m a t chi n g ;s c a l e i n v a r i a n t f e a t u r e t r a n s f o r m a t i o n ;v e c t o r s i m i l a r i t y ;m u t u a l m a p p i n gt h e o r y 1引言探月工程二期將首次實現(xiàn)我國地外天體的軟著陸,使我國掌握深空探測和空間科學領域的核心技術,獲得月球及地月空間的科學數(shù)據(jù).全景相機作為著陸探測器的重要載荷之一,將和其他載荷互相配合,共同完成

11、月表形貌與地質構造調查的科學目標.其中一項重要的任務是對巡視區(qū)進行全景成像1-2.全景成像是指將拍攝獲得的具有重疊區(qū)域的月表圖像,在不降低圖像分辨率的條件下,拼接成單幅大視場圖像.全景成像有效地擴展了單幅圖像的場景范圍,為后續(xù)的科學研究奠定了基礎3-4.圖像配準與圖像融合是圖像拼接技術的兩個關鍵步驟.圖像配準方法一般可分為基于區(qū)域的方法第6期秦佳,等:基于向量相似度匹配準則的圖像配準與拼接法和基于特征的方法,其中采用最多的是基于圖像特征的配準方法.尺度不變特征變換(S I F T5算法可以處理兩幅圖像之間發(fā)生平移,旋轉,仿射變換,光照變換,視角變化情況下的匹配問題,是目前被廣泛采用的算法.研究

12、者針對基于S I F T特征的圖像配準與拼接進行了大量的探索,但是在特征匹配方面大部分采用的是基于距離的匹配方法.由于S I F T 描述符向量維度高,傳統(tǒng)基于距離的匹配方法6判定匹配關系將產(chǎn)生較大偏差.同時,由于曝光、光照、拍攝角度等差異,誤匹配可能比正確的匹配具有更近距離,進而導致誤匹配.本文從向量相似度角度,提出了基于向量相似度的特征匹配準則,并結合互映射原理進一步提高了特征匹配精度,成功實現(xiàn)了圖像拼接,驗證了準則的有效性.2S I F T特征匹配算法簡介S I F T配準算法2由D a v i dG.L o w e于1999年提出,2004年完善總結.該算法利用圖像關鍵點的S I F

13、T特征向量進行匹配,是國內外特征點配準領域的研究熱點.2.1檢測尺度空間極值點一幅二維圖像在不同尺度下的尺度空間表示可由圖像與高斯核卷積得到:L(x,y,=G(x,y,*I(x,y(1式中,G(x,y,為高斯卷積核.要提取穩(wěn)定的具有尺度無關的特征點,需在二維平面空間和D O G (D i f f e r e n c eo fG a u s s i a n尺度空間中同時檢測局部極值點.其中每一個像素要跟同一尺度周圍鄰域8個像素和相鄰尺度對應位置周圍鄰域9×2個像素總共26個像素進行比較,僅保留極值點進行后續(xù)計算.2.2確定關鍵點位置和尺度極值點的搜索是在離散空間中進行的,檢測到的極值點

14、并不是真正意義上的極值點,需使用子像元插值得到連續(xù)空間極值點.通過擬合三維二次函數(shù)以精確定位關鍵點的位置和尺度,同時剔除低對比度的關鍵點和不穩(wěn)定的邊緣響應點,提高特征點的抗噪聲能力.2.3分配關鍵點方向利用關鍵點鄰域像素的梯度方向分布特性,在以關鍵點為中心的鄰域窗口內采樣,并用直方圖統(tǒng)計鄰域像素的梯度方向,梯度直方圖范圍為0 360°,分為36個柱,每10°一個柱.直方圖的峰值代表了該特征點處鄰域內圖像梯度的主方向,為了提高算子魯棒性,取大于等于主峰值80%能量的方向為輔方向.2.4生成特征向量將坐標軸旋轉為關鍵點的方向,然后以特征點為中心取16×16個像素的窗口

15、,分成16個4×4的子區(qū)域,在每個子區(qū)域上計算8個方向的梯度直方圖,一個4×4的子區(qū)域可以得到8維的描述符,則16個子區(qū)域可以得到128維的方向描述符,即形成一個128維的S I F T特征向量.2.5特征向量匹配生成圖像的S I F T特征向量后,采用相似性判定準則進行匹配判斷,得到滿足準則的S I F T匹配點對.目前經(jīng)常被采用的是最近鄰距離比值方法(N N D R,其主要思想在于當采用高維度空間的特征描述符進行歐氏距離度量時,誤匹配點對間可能具有相同或相似距離,正確匹配相比誤匹配有著明顯小的距離.另外歸一化互相關(N C C算法及K L T 追蹤算法也是常用的匹配算法

16、.3向量相似度匹配準則3.1向量相似度準則相似度是指兩個對象之間的相似程度.根據(jù)研究對象的不同,出現(xiàn)了多種相似度的細化概念,如向量相似度、系統(tǒng)相似度、形狀相似度等等.相似性函數(shù)是用函數(shù)的方法來表征兩向量相似的程度,根據(jù)向量中元素的不同,相似性函數(shù)可分為二元向量的相似性函數(shù)和一般向量的相似性函數(shù)7.由于S I F T 特征點描述符為128維向量,所以采用一般向量的相似性函數(shù)判定相似性.這樣尋找匹配點就轉化為判定向量相似問題了.從向量方向和大小的角度綜合表征向量間的相似程度.設向量X=(x1,x2, x n,Y=(y1,y2,y n,向量相似度為,定義如下:定義1向量X與Y的范數(shù)相似度為=1-X-

17、YX(2式中,X,Y分別為向量X,Y的向量范數(shù).定義2向量X與Y的方向相似度為=1-90°(3=a c o sX,YX×Y(4式中,X,Y為向量X,Y的向量內積.定義3向量相似度為向量范數(shù)相似度與向量方向相似度的乘積,即:32微電子學與計算機2013年=×(5進一步分析可知,若向量X 與Y 為歸一化向量,當0<<90°時,(0,1,取值越大,兩向量越接近.具體應用時,判斷特征點匹配就是比較特征向量的向量相似度與閾值的關系.3.2互映射匹配為進一步剔除誤匹配點對,引入了互映射理論.根據(jù)互映射原理,即匹配點對之間映射關系的對稱性.對分別位于參考圖

18、像和待配準圖像上的匹配點對p ,q 可以表示為p <=>q ,匹配映射時應存在兩點間的對應關系p q 和p q .具體計算時若兩點映射僅是單向映射關系,則剔除該點對,若是雙向映射關系則保留點對.最終的匹配結果為參考圖像與待配準圖像的匹配點對集合與待配準圖像與參考圖像的匹配點對集合的交集.4實驗結果與分析為了驗證基于向量相似度的匹配準則,提取圖像的S I F T 特征點8,在不同閾值下進行特征匹配實驗,并與傳統(tǒng)基于距離的匹配準則作對比分析,如圖表1所示.在P e n t i u m (R 2.95G H z ,內存1G B 的P C 機上采用M a t l a b 7.0軟件平臺實現(xiàn)

19、.本文準則的最佳閾值為0.99,傳統(tǒng)基于距離的匹配準則的最佳閾值為D a v i d G.L o w e 推薦的0.6.基于本文匹配準則下不同閾值的對比如表1所示.閾值的微小改變(從0.98到0.99,消除了誤匹配點對,說明了本文準則較高的靈敏度.表1中2(a ,(b 是傳統(tǒng)基于距離的匹配準則與本文提出準則的對比實驗結果.均取最佳閾值時,本文準則在沒有明顯減少匹配點對的情況下誤匹配率由5.6%降至0,提高了匹配精度,保證了圖像配準的準確性.本文提出的匹配準則,考慮了向量各維度間的差異,即向量方向間的重合度,也就是方向相似度.同時也考慮了向量整體數(shù)值差異,即范數(shù)相似度.體現(xiàn)了向量同時具有方向和大

20、小的本質,更加真實地反映了向量的相似程度,在判別條件上要比基于距離的匹配準則苛刻,因此匹配精度更高.表1中3(a ,(b 是基于本文準則下加入互映射匹配前后的實驗結果對比.可以看出,加入互映射匹配后,誤匹配點對被剔除,誤匹配率由3.7%下降到0.8%.加入互映射匹配使由傳統(tǒng)的單向匹配判別,增加為雙向匹配判別,提高了判別的穩(wěn)定性以及重復性,降低了誤匹配率.大量實驗表明,當存在較多誤匹配點對時,互映射匹配能更好地消除誤匹配點對.本文算法與傳統(tǒng)算法的對比分析如表1所示.表1本文匹配準則與傳統(tǒng)匹配準則的對比1(a1(b 2(a 2(b 3(a 3(b 匹配算法本文算法本文算法傳統(tǒng)算法本文算法本文算法本

21、文算法閾值0.980.990.60.990.980.98匹配點數(shù)19073143122269255誤匹配點數(shù)4080102誤匹配率2.105.603.70.85投影矩陣計算本文采用魯棒性的隨機樣本一致性算法(RA N S A C 迭代求精,對匹配點對進行提純,得到內點集合,并結合最小二乘法計算兩幅圖像的變換關系,最后得到初始投影矩陣.由于特征點檢測的誤差以及線性解法的結果往往不穩(wěn)定,因此就要通過上一步得到的內點集合對投影矩陣進行非線性優(yōu)化,本文采用了L -M (L e v -e n b e r g -M a r qu a r d t 算法優(yōu)化投影矩陣,得到了精度較高的投影矩陣.6圖像融合由于拍

22、攝時間或者相機曝光時間等拍攝參數(shù)的不同,使采集到的圖像間存在較大的亮度差異,直接拼接會產(chǎn)生明顯的亮度差異以及拼縫.在拼接前,本文先進行了亮度調整,首先對兩幅待拼接圖像匹配的特征點求鄰域亮度平均值,然后使用最小二乘法擬合出亮度差異函數(shù),調整圖像亮度,減小待拼接圖像的亮度差異,滿足人眼視覺特性.其中兩圖像亮度間的關系可以表示為I '=a I +b (6式中,I ,I 為兩圖像亮度函數(shù),a ,b 為變換參數(shù).采用漸入漸出法消除拼縫,重疊區(qū)域像素的權值與像素點到重疊區(qū)域邊界距離有關,公式為I (x ,y =w I 1(x ,y +(1-w I 2(x ,y (7為了驗證該準則,使用全景相機拍攝

23、得到若干幅圖像,對圖像進行配準,拼接,得到了如圖1所示的拼接圖像,圖像無明顯拼縫,過渡自然.本文圖像拼接算法流程如圖2所示.7結束語應用向量相似度準則及互映射原理匹配S I F T 特征點,利用匹配點對得到了兩幅圖像之間的亮度變換關系,最后通過重采樣實現(xiàn)了圖像拼接.特征點42第6期秦佳,等:基于向量相似度匹配準則的圖像配準與拼接法 圖1兩幅室外圖像的拼接結果 圖2本文算法流程圖 匹配實驗表明,本文準則克服了傳統(tǒng)基于距離匹配方法只衡量特征向量整體差異而忽略向量各分量差異的弊病,有效地剔除了誤匹配點對,利用互映射原理對匹配點對進行雙向判斷,進一步剔除了誤匹配點,兩次匹配有效地提高了匹配精度,據(jù)此實

24、現(xiàn)了效果良好的圖像配準與拼接.實際上,S I F T 向量各維度對描述該特征點信息的重要程度是不同的,而本文并沒有考慮各個分量的權重關系,如果能按照一定規(guī)則賦予向量各維度以不同的權重,理論上將會有更高的匹配精度.參考文獻:1曾丹,史浩,張琦.多相似內容圖像的特征匹配J .計算機輔助設計與圖形學報,2011,23(10:1725-1733.2易盟,郭寶龍,張旭.基于復合Z e r n i k e 矩相角估計的圖像配準J .光學精密工程,2012,20(5:1117-1125.3張錕,張昌芳,李杰.利用特征點序列截斷的圖像匹配判決算法J .中國圖像圖形學報,2011,16(6:1051-1056.

25、4郝志成,朱明.基于多約束準則匹配算法的序列圖像配準J .光學學報,2010,30(3:702-707.5L o w e D G.D i s t i n c t i v e i m a ge f e a t u r e s f r o m s c a l e -i n v a r -i a n t d e y p o i n t s J .I n t e r n a t i o n a l J o u r n a l o f C o m p u t e r V i s i o n ,2004,60(2:91-110.6B e i s J S ,L o w e G.S h a p e i n d e x i n g u s i n g a p p r o x i m a t e n e a r e s t -n e i g hb o r s e a rc h i n h i g hd i me n s i o n a l s p a c e s C /P r o c e e d i n g s of I E E E C o m p u t e r S o c i e t y C o n f e r -e n c