一種完全仿射不變量的圖像比較法.doc

東北石油大學(xué)本科生畢業(yè)設(shè)計（論文）一種完全仿射不變量的圖像比較法10GuoshenYu CMAP,Ecole Polytechnique, 91128 Palaiseau Cedex,FranceJean-Michel Morel*CMLA,ENS Cachan,61av.duPresident Wilson,Cachan 94235,France文摘一種完全仿射不變量的圖像比較法,對Affine-SIFT(ASIFT)作出簡要介紹。當(dāng)SIFT僅遵循四個參數(shù)即縮放、旋轉(zhuǎn)和平移時是完全不變的,新方法對兩個剩下參數(shù): 定義相機(jī)軸方向和定義相機(jī)角度方向。針對任何預(yù)測;模擬所有的視圖都取決于這兩個參數(shù)是否可行。這個方法可以依靠識別特征所進(jìn)行的非常大的仿射扭曲來衡量一個新的參數(shù),過渡傾斜。先進(jìn)的方法過渡傾斜幾乎不超過2 (SIFT)、2.5(Harris- Affine，Hessian -Affine)和10個(MSER)。ASIFT能處理過渡傾斜在36和更高的(見圖1)。索引詞影像匹配，仿射不變性，尺度不變，放射正?；琒IFT。1介紹局部圖像檢測器通過圖像比較按其增量不變性屬性可進(jìn)行分類。他們都是平移不變的。Harris 角點(diǎn)檢測3是旋轉(zhuǎn)不變的。這Harris Lap lace（拉普斯）,Hessian（海賽函數(shù)）-Laplace和DOG(Difference of -Gaussian（高斯函數(shù)）)區(qū)域檢測器8、10、6,2是旋轉(zhuǎn)不變和尺度不變的。一些基于力矩區(qū)域檢測器5,1,包括Harris -Affine（仿射）Hess ian-Affine區(qū)域9,10檢測器,一個邊緣檢測點(diǎn)17,一個4熵檢測,兩個水平線檢測的MSER (“最穩(wěn)定極值7地區(qū)”)和LLD (“水平線描述符”)15的設(shè)計是仿射不變的轉(zhuǎn)變。MSER,特別說明,已被證實(shí)通常比其他仿射不變檢測效果更好,緊隨其后的是海賽-仿射和哈里斯-仿射（12、8、10)。這些方法通過修補(bǔ)局部斑塊,區(qū)域,或相當(dāng)經(jīng)歷了一個未知的仿射變換。歸一化變換后他們得到一個標(biāo)準(zhǔn)的對象,仿射變換的影響已經(jīng)消除。然而,當(dāng)一個較大比例變換出現(xiàn)時 (事實(shí)上比3大),SIFT仍優(yōu)于所有的其他方法6。事實(shí)上,實(shí)踐證明數(shù)學(xué)上的14,SIFT是完全尺度不變的,指出6沒有完全尺度的歸一化方法或仿射不變性:“然而,這些方法是尚未完全仿射不變量,當(dāng)他們開始與初始特征尺度和地點(diǎn)選擇用一種無仿射變換方式時，卻由于開發(fā)全仿射空間成本過高?！眻D1 .圖像對高的轉(zhuǎn)變傾斜t 36度。底部:ASIFT發(fā)現(xiàn)正確的116場。SIFT，哈里斯-仿射,海賽-Affine,MSER完全失效。2仿射相機(jī)型號形變引起的視點(diǎn)的變化,可以在局部地區(qū)模擬為仿射平面轉(zhuǎn)換,給出了對象的分段光滑的界線12。因此,(局部)攝像機(jī)圖像變形模型下運(yùn)動是U(x,y) -U(ax + by+ e,cx +dy+ f),A=是任何線性平面圖用正值的決定因素。任何此類圖的分解圖2. 公式(1)的幾何解釋A= (1)我們注意到A=,在此 0, t決定了A, 屬于 0,180), 表示了平面的旋轉(zhuǎn)與角度、Tt(t 1)被稱為傾斜度。圖2顯示。解釋一個攝像機(jī)運(yùn)動(1): 和= arccos1 / t是相機(jī)的視角角度和以為參數(shù)的相機(jī)自旋轉(zhuǎn)。在這個仿射模型相機(jī)遠(yuǎn)離平面物體。從正面的位置,一個攝像機(jī)運(yùn)動平行于該對象的平面形象包括旋轉(zhuǎn)。這個平面包含正常和光軸在一個固定垂直面上來確定一個角度。這個角度被稱為經(jīng)度。其光軸然后做出a轉(zhuǎn)角垂直于圖像平面u.這個參數(shù)被稱為緯線。傾斜t1被定義為tcos= 1。鏡頭可以繞其光軸(旋轉(zhuǎn)參數(shù))旋轉(zhuǎn)。最后但并非最不重要,攝像機(jī)可以向前或向后移動,這是通過測量變焦參數(shù)。簡而言之,(1)模型的圖像變形u(x,y)u(A(x,y)攝像機(jī)運(yùn)動所致一個正面視點(diǎn)= 1,t0= 1, = 0到斜視圖特征由,t, 和。3. 高傾斜旋轉(zhuǎn)方程(1)定義了絕對傾斜,即當(dāng)鏡頭通過比從一個正視圖到斜視圖得圖像形變率。但相比圖像u1 (x,y)=U(A(x,y)和u2(x,y)=u(B(x,y)一般從兩個相機(jī)的傾斜位置得到。圖3. 絕對的傾斜與過渡傾斜之間的區(qū)別。左：經(jīng)度 = ，緯度=30度，=60度，絕對傾斜t=1/cos=2/,t=1/cos=2,過度傾斜T（u1,u2）=t/t=.右：=+90度，=60，=75.3度，t=2,t=4,T(u1,u2)=tt=8.定義1.給出了一個平面圖像的兩個視點(diǎn), u1(x,y)=U(A(x,y), u2(x,y) = U(B(x,y),我們稱過渡傾斜T(u1,u2)和過渡旋轉(zhuǎn) (u1,u2)獨(dú)特參數(shù)滿足BA =的條件,用公式(1)表示。圖3從不同的觀點(diǎn)對兩幅圖像的仿射過渡進(jìn)行闡述。特別是絕對傾斜與過渡傾斜之間差異。與這兩個絕對傾斜t和t,在兩個正交方向= + / 2上,一個能確認(rèn)過渡傾斜u2和 u1之間的結(jié)果T=tt。因此,兩個中等程度的傾斜會導(dǎo)致一個大的過渡傾斜!因?yàn)樵趯?shí)際情況下傾斜可達(dá)到6度甚至8度,很容易明白過渡傾斜可以到36度,64度,和更多。圖1顯示了ASIFT結(jié)果在圖像對正交的視點(diǎn)(過渡旋轉(zhuǎn)= 90,絕對傾斜t 6),以致過渡傾斜t=36度。這根本就不是一個例外的情況。過渡傾斜的相關(guān)概念已經(jīng)被證實(shí)，這一事實(shí)是最高過渡傾斜Tmax允許匹配兩個圖像絕對傾斜t和t是相互獨(dú)立的從t到t.實(shí)驗(yàn)結(jié)果已經(jīng)檢查SIFT,逐步發(fā)展到Tmax2?？蓪?shí)現(xiàn)過度傾斜的哈里斯-傾斜仿射和海賽-仿射都接近2.5。MSER具有良好的魯棒性,過渡傾斜Tmax在5至10之間。但這種表示只有當(dāng)圖像間沒有較大尺度轉(zhuǎn)換和圖像包含高對比度對象時才得以驗(yàn)證。ASIFT的過渡傾斜通常大于36度,圖像匹配超出人們能力范圍(見圖1)。4ASIFT算法仿真和標(biāo)準(zhǔn)化相結(jié)合的理念是SIFT算法最主要的成功因素。事實(shí)上,尺度變化模糊量，并不能歸一化。因此SIFTA旋轉(zhuǎn)和轉(zhuǎn)換標(biāo)準(zhǔn)化,而模擬量全都放大。David Pritchard的SIFT延伸 16模擬四個額外傾斜。這實(shí)際是該算法的第一步,如下所述，總結(jié)了如圖4。圖4。ASIFT概論。許多對旋轉(zhuǎn)和傾斜的圖像是通過SIFT算法從圖像A、B進(jìn)行比較得到。1。每個圖像轉(zhuǎn)換通過模擬的方向照射相機(jī)軸變化造成的所有可能的線性失真。這些失真現(xiàn)象取決于兩個參數(shù):經(jīng)度和緯度。圖像經(jīng)過-旋轉(zhuǎn)其次是傾斜參數(shù)t = | 1/cos|。數(shù)字圖像中，傾斜被作為一個t-subsampling(二次抽樣),因此需要前一種應(yīng)用抗鋸齒過濾器在方向x,即高斯卷積法和標(biāo)準(zhǔn)偏差C=,在此c = 0.814。2。對于有限的小數(shù)量的緯度和經(jīng)度這些旋轉(zhuǎn)和傾斜是可以實(shí)現(xiàn)的，這些采樣參數(shù)的步長確保模擬圖像貼近任何其它可能產(chǎn)生的觀點(diǎn)值。3。所有的模擬圖像互相比較彼此尺度不變,旋轉(zhuǎn)不變,轉(zhuǎn)換不變的算法(典型的SIFT)。自從SIFT規(guī)范相機(jī)轉(zhuǎn)換平行于它的焦平面和相機(jī)繞其光軸旋轉(zhuǎn),但是模擬了尺度轉(zhuǎn)換,所有六個相機(jī)參數(shù)歸一化要么通過ASIFT模擬4。模擬緯度對應(yīng)傾斜t = 1,a,a2.an，且a 1。以一個a=是一個很好的準(zhǔn)確性和稀疏度。N的值能上達(dá)到5或更大。這樣,所有從過渡傾斜1 到32和更多的方法進(jìn)行探索。5。經(jīng)度遵循每一個t的算術(shù)系列0,b / t，.,kb / t在b = 72度是一個良好的折中辦法K是最后的整數(shù),kb / t 180度。6。復(fù)雜度:每個傾斜是一個關(guān)于t的sub-sampling（二次抽樣）通過t除以圖像面積。旋轉(zhuǎn)圖像的數(shù)量對每個傾斜是(180/72)t = 2.5t。因此,該方法復(fù)雜度是與傾斜的數(shù)量成正比?？刂颇M圖像總面積相當(dāng)于控制該算法的復(fù)雜度。事實(shí)上,SIFT搜索時間和內(nèi)存的大小是與圖像面積成正比的。這種復(fù)雜性可以進(jìn)一步降低a)二次抽樣查詢和檢索的圖像;b)鑒定成功的雙(t，);c)回到最初的分辨率只有這些對。7。這種描述的結(jié)尾是一個具體的例子，多分辨率搜索策略如何在實(shí)際上可以做到只有兩次算法速度要比SIFT慢。把一個a=, n=5。最大絕對傾斜為每個圖像是5.7和最大過渡傾斜上升至32。模擬圖像面積是52.5 = 12.5倍的原面積。通過一個33原面積二尺抽樣,這個面積降低到1.4倍的原始圖像面積。如果這用于減少查詢和搜索圖像,綜合比較復(fù)雜性是等價的與SIFT兩倍的復(fù)雜性相比。圖5顯示相對稀疏的樣本范圍經(jīng)緯的需要。完成一個完全仿射的認(rèn)可。一個數(shù)學(xué)證明ASIFT是完全仿射不變的。圖13 給出了ASIFT 是完全仿射不變量的數(shù)學(xué)證明(明顯的精度問題)。圖5。抽樣(塊點(diǎn))參數(shù)=arccos 1/ t 在一個天頂觀測角度觀半球體。5實(shí)驗(yàn)和結(jié)果ASIFT對比四種最先進(jìn)的算法SIFT6,Hessian-Affine, Harris - Affine 9,10和7MSER檢測器，所有編碼都用SIFT描述符6。圖像用于試驗(yàn)的尺寸大小600450。絕對傾斜試驗(yàn)圖6顯示設(shè)置為采用最大評估對絕對傾斜和過渡傾斜的各個算法實(shí)現(xiàn)。一本雜志和海報被拍到用于實(shí)驗(yàn)。不像SIFT及ASIFT, Hessian- Affine, Harris -Affine，MSER檢測不是規(guī)律的魯棒性變化。因此,集中在傾斜,圖像對，選擇比較自由比例變化。海報如圖7，被拍到與一個反射相機(jī)與觀點(diǎn)角度，相機(jī)軸和正常的海報之間，變化從0(正面視圖)= 80?？磥砦矬w不太實(shí)際的持續(xù)較大的緯度。表1比較ASIFT與他們的性能ASIFT與其他算法從數(shù)量的正確的比較。其中的一個匹配的結(jié)果如圖7。對這些圖像SIFT過程中角度小于45度。圖6。相機(jī)的位置對系統(tǒng)進(jìn)行比較Harris-Affine和Hessian-Affine 的性能急劇下降，當(dāng)角度從45到65 度時。超出這個值,他們完全失效。MSER大幅轉(zhuǎn)彎在45度角的時候也未能在65度。ASIFT作用,直至80度。/tSIFTHarAffHesAffMSERASIFT80/5.8300211075/3.9210415265/2.45125646845/1.4171542615707表1。絕對的傾斜比較適合的觀點(diǎn)不變性角度在45 80度之間。緯度角度與絕對的傾斜都列在左列。 圖7 .對應(yīng)的簽名海報正面的看法在80度,絕對傾斜t = 5.8傾斜。ASIFT(顯示),SIFT, Harris-Affine,Hessian-Affine 和MSER (顯示)發(fā)現(xiàn)分別為110,3 - 0和2個正確的結(jié)果。以上實(shí)驗(yàn)和其他許多得出最大絕對傾斜的以下結(jié)論。SIFT幾乎沒有超過一個tmax = 2絕對傾斜。這個限制是tmax哈里斯- 2.5仿射和Hessian-Affine。MSER性能在很大程度上決定于圖像的類型。對于圖像與高度對比地區(qū),MSER達(dá)到一個絕對的傾斜t 4。然而,如果圖像不包含高度與地區(qū)對比，如果尺度轉(zhuǎn)換大于3,MSER的性能衰減強(qiáng)烈,甚至在小傾斜。對于ASIFT一個Tmax=5.8的絕對傾斜，對應(yīng)的極端觀點(diǎn)角80度總是達(dá)到的。過渡傾斜測試圖8顯示SIFT,Harris-Affine和Harris-Affine失效于看似簡單的例子。事實(shí)上,小絕對傾斜t1 =t2 = 2結(jié)合經(jīng)度角度1 = 0和2 =50產(chǎn)生適度傾斜-3，沒有達(dá)到這些方法。ASIFT性能完美。MSER作用很好在這些優(yōu)化條件下:高對比圖像和無尺度變化。 圖8該雜志拍攝的照片對應(yīng)關(guān)系以絕對的傾斜t1 = t2= 2經(jīng)度角1 = 0和2 = 50度，過渡傾斜T= 3。ASIFT(顯示),SIFT (顯示), Harris-Affine, Hessian- Affine和MSERF發(fā)現(xiàn)分別為745,3、1、3、87正確的匹配。表2算法的性能對比，一組雜志圖像都有一個t = 4絕對傾斜。因此最大過渡傾斜16。這些圖像,SIFT,Harris-Affine和Hessian- Affine 與1.9的過渡傾斜相抗?fàn)?。大于這個值他們都徹底失效。MSER性能穩(wěn)定到達(dá)T7.7的過渡傾斜。超過個價值、對應(yīng)可靠識別的數(shù)量非常小。ASIFT完美性能達(dá)到T=16。,如圖1、ASIFT實(shí)際上達(dá)到過渡傾斜大到36。圖9說明一個圓形建筑。在一個觀點(diǎn)的改變,左右兩邊維持大的過渡傾斜。ASIFT發(fā)現(xiàn)123對應(yīng)覆蓋該建筑物的左、中、右位置的部分。其它方法或是失敗,或在中央部分找到少量匹配項。 圖9。圓形建筑、過渡傾斜1.8、1(2)。ASIFT(顯示), SIFT, Harris- Affine, Hessian-Affine和MSER(顯示)找到123,13、5、7和13個正確的結(jié)果。6結(jié)論圖10顯示一個最后圖像對的中度過渡傾斜除了ASIFT所有的方法都失敗。這是因?yàn)闃?biāo)準(zhǔn)化方法,理想化的原則,沒能在實(shí)踐中正確處理與小形狀、大絕對傾斜,和低對比度的問題。模擬方法目前更為廣泛。首先限制性,他們被證明是可行的,由于觀察范圍是非常稀疏的采樣如圖5所示。SIFT方法的魯棒性對中度過渡傾斜的關(guān)鍵是稀疏取樣問題。7.參考文獻(xiàn)1 A. Baumberg. Reliable feature matching across widely separated views. Proc. IEEE CVPR, 1:774781, 2000.2/TSIFTHarAffHesAffMSERASIFT10/1.922321449105420/3.34513984230/5.33213256440/7.70002835150/10.20001929360/12.41001714570/14.3000139080/15.60001210690/16.0000988表2過度傾斜性能.第一幅圖1=0和兩幅圖的絕對傾斜t1=t2=4. 第二個圖像 的經(jīng)度2和生成過渡傾斜 T于第一列.圖10.圖像匹配：道路交通標(biāo)志.過度傾斜T2.6ASIFT(顯示)，SIFT, Harris-Affine, Hessian- Affine和MSER,分別找到50,0，0，0和1個正確匹配。2 L. Fevrier. A wide-baseline matching library for Zeno. Technicalreport, 2007.3 C. Harris and M. Stephens. A combined corner and edge detector.Alvey Vision Conference, 15:50, 1988.4 T. Kadir, A. Zisserman, and M. Brady. An Affine InvariantSalient Region Detector. ECCV, 228241, 2004.5 T. Lindeberg and J. Garding. Shape-adapted smoothing in estimation of 3-d depth cues from affine distortions of local 2-d brightness structure. ECCV, 389400, 1994.6 D.G Lowe. Distinctive image features from scale-invariant key points. IJCV, 60(2):91110, 2004.7 J. Matas, O. Chum, M. Urban, and T. Pajdla. Robust widebaseline stereo from maximally stable extremal regions. Image and Vision Computing, 22(10):761767, 2004.8 K. Mikolajczyk and C. Schmid. Indexing based on scale invariant interest points. Proc. ICCV, 1:525531, 2001.9 K. Mikolajczyk and C. Schmid. An affine invariant interest point detector. Proc. ECCV, 1:128142, 2002.10 K. Mikolajczyk and C. Schmid. Scale and Affine Invariant Interest Point Detectors. IJCV, 60(1):6386, 2004.11 K. Mikolajczyk and C. Schmid. A Performance Evaluation of Local Descriptors. IEEE Trans. PAMI, 16151630, 2005.12 K. Mikolajczyk, T. Tuytelaars, C