基于尺度不變特征變換圖像匹配1

1、基于尺度不變特征變換的圖像匹配基于尺度不變特征變換的圖像匹配v 特征特征匹配匹配v 尺度不變特征變換尺度不變特征變換（SIFTSIFT）v 基于基于SIFTSIFT的圖像匹配的圖像匹配v 匹配算法匹配算法實(shí)驗(yàn)結(jié)果與分析實(shí)驗(yàn)結(jié)果與分析特征匹配 特征匹配是指通過分別提取兩個或多個圖像的特征匹配是指通過分別提取兩個或多個圖像的特征（點(diǎn)、線、面等特征），對特征進(jìn)行參數(shù)描述，特征（點(diǎn)、線、面等特征），對特征進(jìn)行參數(shù)描述，然后運(yùn)用所描述的參數(shù)來進(jìn)行匹配的一種算法。然后運(yùn)用所描述的參數(shù)來進(jìn)行匹配的一種算法。 與基于灰度的匹配方法相比，特征相對于幾何與基于灰度的匹配方法相比，特征相對于幾何圖象和輻射度影響來說

2、更不易變化，但特征提取方圖象和輻射度影響來說更不易變化，但特征提取方法的計算代價通常較大。法的計算代價通常較大。 圖像匹配的核心問題：將圖像匹配的核心問題：將不同的分辨率、不同的亮度屬性、不同的位置（平移和旋轉(zhuǎn)）、不同的比例尺、不同的非線性變形的圖像對應(yīng)起來的圖像對應(yīng)起來。尺度不變特征算法的提出 David G.Lowe在在1999年所發(fā)表，年所發(fā)表，2004年總結(jié)年總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測方法，并了現(xiàn)有的基于不變量技術(shù)的特征檢測方法，并正式提出了一種基于尺度空間的、對圖像縮放、正式提出了一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征旋轉(zhuǎn)甚至仿射變換保持不

3、變性的圖像局部特征描述算子描述算子尺度不變特征變換（尺度不變特征變換（SIFT算法算法）。）。圖像尺度空間 高斯卷積核是實(shí)現(xiàn)尺度變換的唯一線性核高斯卷積核是實(shí)現(xiàn)尺度變換的唯一線性核 尺度空間理論是通過對原始圖像進(jìn)行尺度變尺度空間理論是通過對原始圖像進(jìn)行尺度變換換, 獲得圖像多尺度下的尺度空間表示序列獲得圖像多尺度下的尺度空間表示序列, 對對這些序列進(jìn)行尺度空間主輪廓的提取這些序列進(jìn)行尺度空間主輪廓的提取, 并以該主并以該主輪廓作為一種特征向量輪廓作為一種特征向量, ,提取提取的的特征特征點(diǎn)點(diǎn)可能是可能是角點(diǎn)、角點(diǎn)、邊緣點(diǎn)、暗區(qū)域的亮點(diǎn)以及亮區(qū)域的暗點(diǎn)邊緣點(diǎn)、暗區(qū)域的亮點(diǎn)以及亮區(qū)域的暗點(diǎn)等等尺度

4、空間的生成：Koendetink證明高斯卷積核是實(shí)現(xiàn)尺度變換的唯一變換核，而證明高斯卷積核是實(shí)現(xiàn)尺度變換的唯一變換核，而Lindeberg等人則進(jìn)一步證明高斯核是唯一的線性核。二維高斯等人則進(jìn)一步證明高斯核是唯一的線性核。二維高斯函數(shù)定義如下：函數(shù)定義如下： 代表了高斯正態(tài)分布的方差。代表了高斯正態(tài)分布的方差。一幅二維圖像，在不同尺度下的尺度空間表示可由圖像與高斯一幅二維圖像，在不同尺度下的尺度空間表示可由圖像與高斯核卷積得到：核卷積得到： 式中，式中，( (x,y) )代表圖像的像素位置，代表圖像的像素位置，稱為尺度空間因子，其值稱為尺度空間因子，其值越小則表征該圖像被平滑的越少，相應(yīng)的尺度

5、也就越小。大尺越小則表征該圖像被平滑的越少，相應(yīng)的尺度也就越小。大尺度對應(yīng)于圖像的概貌特征，小尺度對應(yīng)于圖像的細(xì)節(jié)特征。度對應(yīng)于圖像的概貌特征，小尺度對應(yīng)于圖像的細(xì)節(jié)特征。L L代代表了圖像的尺度空間。表了圖像的尺度空間。高斯尺度空間是一種模擬人眼視覺機(jī)理的理想數(shù)學(xué)模型。高斯尺度空間是一種模擬人眼視覺機(jī)理的理想數(shù)學(xué)模型。( , , )( , , )( , )L x yG x yI x y221()2( , , )/222xyG x yeSIFTSIFT變換思想變換思想 SIFT算法首先在尺度空間進(jìn)行特征檢測，并確定關(guān)鍵點(diǎn)算法首先在尺度空間進(jìn)行特征檢測，并確定關(guān)鍵點(diǎn)(Keypoints)的位置和

6、關(guān)鍵點(diǎn)所處的尺度，然后使用關(guān)鍵點(diǎn)鄰的位置和關(guān)鍵點(diǎn)所處的尺度，然后使用關(guān)鍵點(diǎn)鄰域梯度的主方向作為該點(diǎn)的方向特征，以實(shí)現(xiàn)算子對尺度和域梯度的主方向作為該點(diǎn)的方向特征，以實(shí)現(xiàn)算子對尺度和方向的無關(guān)性。為了有效的在尺度空間檢測到穩(wěn)定的關(guān)鍵點(diǎn)，方向的無關(guān)性。為了有效的在尺度空間檢測到穩(wěn)定的關(guān)鍵點(diǎn)，提出了高斯差分尺度空間（提出了高斯差分尺度空間（DOG scale-space）。利用不同尺）。利用不同尺度的高斯差分核與圖像卷積生成。度的高斯差分核與圖像卷積生成。( , ,)( ( , ,)( , ,)( , )( , ,)( , ,)D x yG x y kG x yI x yL x y kL x yDO

7、G算子計算簡單，是尺度歸一化的算子計算簡單，是尺度歸一化的LoG算子的近似。算子的近似。SIFTSIFT變換思想變換思想 Lowe在圖像二維平面空間和在圖像二維平面空間和DoG(Difference -of-Gaussian)尺度空間中同時檢測局部極值以作為特征尺度空間中同時檢測局部極值以作為特征點(diǎn)，以使特征具備良好的獨(dú)特性和穩(wěn)定性。對于圖像點(diǎn)，以使特征具備良好的獨(dú)特性和穩(wěn)定性。對于圖像上的點(diǎn)，計算其在每一尺度下上的點(diǎn)，計算其在每一尺度下DoG算子的響應(yīng)值，這算子的響應(yīng)值，這些值連起來得到特征尺度軌跡曲線。特征尺度曲線的些值連起來得到特征尺度軌跡曲線。特征尺度曲線的局部極值點(diǎn)即為該特征的尺度。

8、尺度軌跡曲線上完全局部極值點(diǎn)即為該特征的尺度。尺度軌跡曲線上完全可能存在多個局部極值點(diǎn)，這時可認(rèn)為該點(diǎn)有多個特可能存在多個局部極值點(diǎn)，這時可認(rèn)為該點(diǎn)有多個特征尺度。征尺度。SIFTSIFT特征匹配算法特征匹配算法步驟步驟 SIFT特征匹配算法包括兩個階段特征匹配算法包括兩個階段:第一階段是第一階段是SIFT特征的生特征的生成，即從多幅待匹配圖像中提取出對尺度縮放、旋轉(zhuǎn)、亮度成，即從多幅待匹配圖像中提取出對尺度縮放、旋轉(zhuǎn)、亮度變化無關(guān)的特征向量；第二階段是變化無關(guān)的特征向量；第二階段是SIFT特征向量的匹配。特征向量的匹配。一幅圖像一幅圖像SIFT特征向量的生成算法總共包括特征向量的生成算法總共

9、包括4步：步：(1)尺度空間極值檢測，以初步確定關(guān)鍵點(diǎn)位置和所在尺度。尺度空間極值檢測，以初步確定關(guān)鍵點(diǎn)位置和所在尺度。(2)通過擬和三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺度，通過擬和三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺度，同時去除低對比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)同時去除低對比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)。(3)利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個關(guān)鍵點(diǎn)指利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。(4)生成生成SIFT特征向量。特征向量。SIFT特征向量的匹配 當(dāng)兩幅圖像的當(dāng)兩幅圖像的SIFT特征向量生成

10、后，采用關(guān)鍵點(diǎn)特征向量生成后，采用關(guān)鍵點(diǎn)特征向量的歐式距離來作為兩幅圖像中關(guān)鍵點(diǎn)的相似特征向量的歐式距離來作為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量。取圖像性判定度量。取圖像1中的某個關(guān)鍵點(diǎn)，并找出其與圖中的某個關(guān)鍵點(diǎn)，并找出其與圖像像2中歐式距離最近的前兩個關(guān)鍵點(diǎn)，在這兩個關(guān)鍵點(diǎn)中歐式距離最近的前兩個關(guān)鍵點(diǎn)，在這兩個關(guān)鍵點(diǎn)中，如果最近的距離除以次近的距離少于某個比例閾中，如果最近的距離除以次近的距離少于某個比例閾值，則接受這一對匹配點(diǎn)。降低這個比例閾值，值，則接受這一對匹配點(diǎn)。降低這個比例閾值，SIFT匹配點(diǎn)數(shù)目會減少，但更加穩(wěn)定。匹配點(diǎn)數(shù)目會減少，但更加穩(wěn)定。建立DOG尺度空間 SIFT方法是通

11、過尋找尺度空間中的極值來確定特征點(diǎn)，方法是通過尋找尺度空間中的極值來確定特征點(diǎn)，首先必須來構(gòu)建圖像的高斯差分首先必須來構(gòu)建圖像的高斯差分(DOG)金字塔尺度空間，然金字塔尺度空間，然后在后在DOG金字塔尺度空間中進(jìn)行極值檢測。金字塔尺度空間中進(jìn)行極值檢測。 DOG差分尺度空間由不同尺度的高斯差分核與圖像卷積生差分尺度空間由不同尺度的高斯差分核與圖像卷積生成：成： k為常數(shù)為常數(shù) 在建立高斯金字塔過程中，高斯金字塔一般選擇為在建立高斯金字塔過程中，高斯金字塔一般選擇為4階，每階，每一階有一階有s層尺度圖像，層尺度圖像，s一般選擇為一般選擇為5層。其中，第層。其中，第1階的第階的第l層層是放大是放

12、大2倍的原始圖像，其目的是為了得到更多的特征點(diǎn)。在倍的原始圖像，其目的是為了得到更多的特征點(diǎn)。在同一階中相鄰兩層的尺度因子比例系數(shù)是同一階中相鄰兩層的尺度因子比例系數(shù)是k。下一階的第。下一階的第l層層由上一階的中間層尺度圖像進(jìn)行子抽樣獲得，其尺度因子是由上一階的中間層尺度圖像進(jìn)行子抽樣獲得，其尺度因子是上一層的上一層的k倍。倍。 ( , ,)( ( , ,)( , ,)( , )( , ,)( , ,)D x yG x y kG x yI x yL x y kL x y高斯差分金字塔 如如下下圖圖1 1左圖所示，左圖所示，DOGDOG金字塔通過高斯金字塔中相鄰尺度空金字塔通過高斯金字塔中相鄰尺

13、度空間函數(shù)相減得到的，在圖中，間函數(shù)相減得到的，在圖中，DOGDOG金字塔的第金字塔的第l l層的尺度因子與高層的尺度因子與高斯金字塔的第斯金字塔的第l l層是一致的，其他階也一樣層是一致的，其他階也一樣。 Original image 412Sampling withstep 4 4 =2 高斯DOG金字塔高斯差分金字塔 Lowe的sigma初值為常量，用戶設(shè)定，實(shí)驗(yàn)時取1.6，做高斯卷積的時候可以取sigma,k*sigma,k*k*sigma. 這里k = pow( 2.0, 1.0 / intvls ，其中intvls就是你想做幾層高斯金字塔，一般intvls=3 高斯金字塔與高斯差分

14、金字塔尺度空間極值檢測 尋找范圍：差分金字塔中的第0層和最上面的一層排除中間的差分圖像中，像素的橫坐標(biāo)或者縱坐標(biāo)中任一個值與圖像邊界值之間的差值小于5的點(diǎn)排除。 為了檢測到DOG空間的最大值和最小值，DOG尺度空間中的中間層(最底層和最頂層除外)的每個像素點(diǎn)需要跟同一層的相鄰8個像素點(diǎn)以及它上一層和下一層的9個相鄰像素點(diǎn)總共26個相鄰像素點(diǎn)進(jìn)行比較，以確保在尺度空間和二維圖像空間都檢測到局部極值。初步確定關(guān)鍵點(diǎn)位置和所在尺度。特征點(diǎn)過濾和位置確定 由于由于DOGDOG值對噪聲和邊緣較敏感，因此，在上面值對噪聲和邊緣較敏感，因此，在上面DOGDOG尺度中尺度中檢測到局部極值點(diǎn)還要經(jīng)過進(jìn)一步的處理

15、，將候選特征點(diǎn)中低檢測到局部極值點(diǎn)還要經(jīng)過進(jìn)一步的處理，將候選特征點(diǎn)中低對比度對噪聲敏感的候選特征點(diǎn)或位于邊緣的候選特征點(diǎn)過濾對比度對噪聲敏感的候選特征點(diǎn)或位于邊緣的候選特征點(diǎn)過濾掉。然后才能確定穩(wěn)定特征點(diǎn)的位置和尺度等信息。掉。然后才能確定穩(wěn)定特征點(diǎn)的位置和尺度等信息。 得到候選的特征點(diǎn)后，需要利用其周圍的數(shù)據(jù)對特征點(diǎn)進(jìn)得到候選的特征點(diǎn)后，需要利用其周圍的數(shù)據(jù)對特征點(diǎn)進(jìn)行精確的定位。行精確的定位。SIFTSIFT特征是通過擬和三維二次函數(shù)來精確確特征是通過擬和三維二次函數(shù)來精確確定特征點(diǎn)的位置和尺度的定特征點(diǎn)的位置和尺度的. .關(guān)鍵點(diǎn)位置不精確三維曲面擬合 Taylor展開式n過濾低對比度點(diǎn)

16、過濾低對比度點(diǎn)n過濾邊緣響應(yīng)點(diǎn)過濾邊緣響應(yīng)點(diǎn)特征點(diǎn)過濾和位置確定 X = (x, y,)T ,D是D(x, y, )在候選特征點(diǎn)處的值。令 =0可以得到特征點(diǎn)的精確位置和尺度：XD(X)XDXDX2-12XXDD)XD(TXXDX21XXDDD(X)2T2TT)XD( 可以用來衡量特征點(diǎn)的對比度，即如果可以用來衡量特征點(diǎn)的對比度，即如果則則 為不穩(wěn)定的特征點(diǎn)。為不穩(wěn)定的特征點(diǎn)。?)XD(X在候選的特征點(diǎn)處用在候選的特征點(diǎn)處用 展開式得到展開式得到：特征點(diǎn)過濾和位置確定 因?yàn)橐驗(yàn)镈oG算子會產(chǎn)生較強(qiáng)的邊緣響應(yīng)算子會產(chǎn)生較強(qiáng)的邊緣響應(yīng)，一個定義不好的一個定義不好的高斯差分算子的極值在橫跨邊緣的地方

17、有較大的主曲率，高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。而在垂直邊緣的方向有較小的主曲率。YYXYXYXXDDDDH 特征點(diǎn)特征點(diǎn)兩個方向?qū)?shù)的大小反映在兩個方向?qū)?shù)的大小反映在Hessian矩陣的特征矩陣的特征值中：值中： 式中式中DXX、DXY、DYY均為二階方向?qū)?shù)，設(shè)矩陣均為二階方向?qū)?shù)，設(shè)矩陣H的特的特征值為征值為、()，則有則有：2XYYYXXYYXX)(D-DD(H)DetDDTr(H)?精確確定關(guān)鍵點(diǎn)的位置和尺度 其中其中Tr(H)Tr(H)為矩陣的跡，為矩陣的跡，Det(H)Det(H)為矩陣行列式值，為矩陣行列式值，設(shè)設(shè)=，則有：

18、，則有：2221)()(Det(H)(H)Tr? 對于邊緣，由于在兩個主方向的方向?qū)?shù)差別對于邊緣，由于在兩個主方向的方向?qū)?shù)差別較大，較大，(+1)(+1)2 2的值將會較大，因此對于的值將會較大，因此對于不滿足不滿足 （lowslows論文中論文中=10=10）即可認(rèn)為該點(diǎn)在邊緣上，此時應(yīng)該將其剔除。即可認(rèn)為該點(diǎn)在邊緣上，此時應(yīng)該將其剔除。221)(Det(H)(H)Tr? (a)原始影像 (b) 在DoG檢測的初始關(guān)鍵點(diǎn) (c)用對比度限制 (d)用對比度和邊緣響應(yīng)去除為每個關(guān)鍵點(diǎn)指定方向參數(shù) 在在DOG尺度空尺度空間檢測到的局部極值點(diǎn)在經(jīng)過精確化點(diǎn)間檢測到的局部極值點(diǎn)在經(jīng)過精確化點(diǎn)的位

19、置、剔除低對比度的點(diǎn)、消除邊緣響應(yīng)后所保留的點(diǎn)的位置、剔除低對比度的點(diǎn)、消除邊緣響應(yīng)后所保留的點(diǎn)被稱為關(guān)鍵點(diǎn)被稱為關(guān)鍵點(diǎn)(Keypoint)，此時的關(guān)鍵點(diǎn)信息包括位置信息，此時的關(guān)鍵點(diǎn)信息包括位置信息及尺度信息。及尺度信息。 SIFT算法以算法以關(guān)鍵點(diǎn)鄰域圖元點(diǎn)的梯度方向分布特性作關(guān)鍵點(diǎn)鄰域圖元點(diǎn)的梯度方向分布特性作為指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。在實(shí)際計算時，為指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。在實(shí)際計算時，以關(guān)鍵點(diǎn)為中心的鄰域窗口采樣，計算每個像素點(diǎn)的梯度以關(guān)鍵點(diǎn)為中心的鄰域窗口采樣，計算每個像素點(diǎn)的梯度向量，計算公式如下：向量，計算公式如下：確定特征點(diǎn)主方向 在實(shí)際計算過程中，在

20、以特征點(diǎn)為中心的鄰域在實(shí)際計算過程中，在以特征點(diǎn)為中心的鄰域窗口內(nèi)采樣，并用梯度方向直方圖統(tǒng)計鄰域像素的窗口內(nèi)采樣，并用梯度方向直方圖統(tǒng)計鄰域像素的梯度方向。梯度直方圖的范圍是梯度方向。梯度直方圖的范圍是0一一360，其中每其中每10為一柱，總共為一柱，總共36柱。梯度方向直方圖的峰值則代表柱。梯度方向直方圖的峰值則代表了該特征點(diǎn)處鄰域梯度的主方向，即作為該特征點(diǎn)了該特征點(diǎn)處鄰域梯度的主方向，即作為該特征點(diǎn)的方向。一個關(guān)鍵點(diǎn)可能會被指定具有多個方向的方向。一個關(guān)鍵點(diǎn)可能會被指定具有多個方向。生成SIFT特征向量 通過以上步驟，已經(jīng)得到了每個特征點(diǎn)的位置、尺度、通過以上步驟，已經(jīng)得到了每個特征點(diǎn)

21、的位置、尺度、方向。然后需要為每個特征點(diǎn)建立一個描述符，使其不隨方向。然后需要為每個特征點(diǎn)建立一個描述符，使其不隨各種變化而變化，比如光線變化、視角變化等。并且特征各種變化而變化，比如光線變化、視角變化等。并且特征點(diǎn)描述符要盡量與眾不同，以便于特征點(diǎn)間的匹配。點(diǎn)描述符要盡量與眾不同，以便于特征點(diǎn)間的匹配。生成SIFT特征向量高斯加權(quán)的范圍（越靠近關(guān)鍵點(diǎn)的像素梯度方向信息貢獻(xiàn)越大）。然后在每44的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點(diǎn)，如圖右，一個關(guān)鍵點(diǎn)由22共4個種子點(diǎn)組成，每個種子點(diǎn)有8個方向向量信息。這種鄰域方向性信息聯(lián)合的思想增強(qiáng)了算法抗噪聲的能

22、力，同時對于含有定位誤差的特征匹配也提供了較好的容錯性。每一組梯度方向直方圖占據(jù)的圖像寬度hist_width = 1.5 * scl_octv 描述字計算所需要的圖像寬度 radius = hist_width * sqrt(2) * ( d + 1.0 ) * 0.5 + 0.5以關(guān)鍵點(diǎn)為中心取88的窗口。圖5-4左部分的中央黑點(diǎn)為當(dāng)前關(guān)鍵點(diǎn)的位置，每個小格代表關(guān)鍵點(diǎn)鄰域所在尺度空間的一個像素，箭頭方向代表該像素的梯度方向，箭頭長度代表梯度模值，圖中藍(lán)色的圈代表生成SIFT特征向量 實(shí)際計算過程中，為了增強(qiáng)匹配的穩(wěn)健性，實(shí)際計算過程中，為了增強(qiáng)匹配的穩(wěn)健性，Lowe建建議對每個關(guān)鍵點(diǎn)使用議

23、對每個關(guān)鍵點(diǎn)使用44共共16個種子點(diǎn)來描述。首先將坐個種子點(diǎn)來描述。首先將坐標(biāo)軸旋轉(zhuǎn)為特征點(diǎn)的方向，以保證旋轉(zhuǎn)不變性；標(biāo)軸旋轉(zhuǎn)為特征點(diǎn)的方向，以保證旋轉(zhuǎn)不變性；對任意一對任意一個特征點(diǎn)，在其所在的尺度空間個特征點(diǎn)，在其所在的尺度空間(即高斯金字塔結(jié)構(gòu)的某即高斯金字塔結(jié)構(gòu)的某一層一層)，取以特征點(diǎn)為中心的，取以特征點(diǎn)為中心的16 16像素大小的鄰域，再像素大小的鄰域，再將此鄰域均勻地分為將此鄰域均勻地分為4 4個子區(qū)域個子區(qū)域(每個子區(qū)域大小為每個子區(qū)域大小為4像素像素4像素像素)，對每個子區(qū)域計算梯度方向直方圖，對每個子區(qū)域計算梯度方向直方圖(直方圖直方圖均勻分為均勻分為8個方向個方向)。然后

24、，對。然后，對4 4個子區(qū)域的個子區(qū)域的8方向梯度方向梯度直方圖根據(jù)位置依次排序，這樣就構(gòu)成了一個直方圖根據(jù)位置依次排序，這樣就構(gòu)成了一個448=128維的向量，即為維的向量，即為SIFT特征向量，此時特征向量，此時SIFT特特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，再繼續(xù)將特征向量的長度歸一化，則再繼續(xù)將特征向量的長度歸一化，則可可以進(jìn)一步去除光照以進(jìn)一步去除光照變化的影響。變化的影響。SIFT特征向量特性?SIFTSIFT特征是圖像的局部特征，其對旋轉(zhuǎn)、尺度縮放、亮度變化特征是圖像的局部特征，其對旋轉(zhuǎn)、尺度縮放、亮度變化保持不

25、變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定；定；?獨(dú)特性好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進(jìn)行快速、獨(dú)特性好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進(jìn)行快速、準(zhǔn)確的匹配。準(zhǔn)確的匹配。 ?多量性，即使少數(shù)的幾個物體也可以產(chǎn)生大量多量性，即使少數(shù)的幾個物體也可以產(chǎn)生大量SIFTSIFT特征向量。特征向量。 ?高速性，經(jīng)優(yōu)化的高速性，經(jīng)優(yōu)化的SIFTSIFT匹配算法甚至可以達(dá)到實(shí)時的要求。匹配算法甚至可以達(dá)到實(shí)時的要求。 可擴(kuò)展性，可以很方便的與其他形式的特征向量進(jìn)行聯(lián)合?？蓴U(kuò)展性，可以很方便的與其他形式的特征向量進(jìn)行聯(lián)合。 Il

26、luminationScaleRotationAffine基于SIFT的圖像匹配 當(dāng)兩幅圖像的當(dāng)兩幅圖像的SIFTSIFT特征向量生成后，下一步采用特征向特征向量生成后，下一步采用特征向量的距離作為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量。有多種量的距離作為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量。有多種距離可以衡量兩個特征之間的差別，歐氏距離距離可以衡量兩個特征之間的差別，歐氏距離、HausdorffHausdorff距離距離等。等。 用用KDKD樹搜索算法樹搜索算法搜索最近搜索最近鄰點(diǎn)鄰點(diǎn)，也可以用其他優(yōu)化方，也可以用其他優(yōu)化方法提高特征點(diǎn)的匹配效率，如法提高特征點(diǎn)的匹配效率，如BBF(Best Bin

27、First)BBF(Best Bin First)搜索算搜索算法。然后，使用法。然后，使用RANSACRANSAC方法消除錯匹配點(diǎn)對。最后，采用雙方法消除錯匹配點(diǎn)對。最后，采用雙向匹配方法去除重復(fù)匹配點(diǎn)對，得到用于計算圖像間變換的向匹配方法去除重復(fù)匹配點(diǎn)對，得到用于計算圖像間變換的同名特征點(diǎn)集。同名特征點(diǎn)集。 RANSAC算法去除外點(diǎn) RANSAC算法的基本思想是：在進(jìn)行參數(shù)估計時，不是不加區(qū)分地對待算法的基本思想是：在進(jìn)行參數(shù)估計時，不是不加區(qū)分地對待所有可用的輸人數(shù)據(jù)，而是迭代地在輸入數(shù)據(jù)中采樣所謂的最小點(diǎn)集，所有可用的輸人數(shù)據(jù)，而是迭代地在輸入數(shù)據(jù)中采樣所謂的最小點(diǎn)集，根據(jù)每次采樣所得到

28、的最小點(diǎn)集估計出所要確定的模型參數(shù)，同時根據(jù)根據(jù)每次采樣所得到的最小點(diǎn)集估計出所要確定的模型參數(shù)，同時根據(jù)一定的判斷準(zhǔn)則來判別輸入數(shù)據(jù)中哪些是與該參數(shù)相一致的，即內(nèi)點(diǎn)，一定的判斷準(zhǔn)則來判別輸入數(shù)據(jù)中哪些是與該參數(shù)相一致的，即內(nèi)點(diǎn)，哪些是不一致的，即外點(diǎn)。如此迭代一定次數(shù)后，將對應(yīng)輸人數(shù)據(jù)中內(nèi)哪些是不一致的，即外點(diǎn)。如此迭代一定次數(shù)后，將對應(yīng)輸人數(shù)據(jù)中內(nèi)點(diǎn)比例最高的所估計參數(shù)值以及所篩選出來的內(nèi)點(diǎn)作為點(diǎn)比例最高的所估計參數(shù)值以及所篩選出來的內(nèi)點(diǎn)作為RANSAC最后解。最后解。將此解作為其他方法的初始值進(jìn)一步優(yōu)化計算，從而得到最終估計參數(shù)。將此解作為其他方法的初始值進(jìn)一步優(yōu)化計算，從而得到最終估計

29、參數(shù)。RANSAC算法中有算法中有3個需要確定的參數(shù)：區(qū)分內(nèi)點(diǎn)與外點(diǎn)的距離閾值個需要確定的參數(shù)：區(qū)分內(nèi)點(diǎn)與外點(diǎn)的距離閾值t、隨機(jī)采樣的最大次數(shù)隨機(jī)采樣的最大次數(shù)N以及最小內(nèi)點(diǎn)個數(shù)比例。以及最小內(nèi)點(diǎn)個數(shù)比例。RANSAC算法剔算法剔除除SIFTSIFT外點(diǎn)的流程如圖：隨機(jī)抽樣一次性算法去除外點(diǎn)，隨機(jī)選擇外點(diǎn)的流程如圖：隨機(jī)抽樣一次性算法去除外點(diǎn)，隨機(jī)選擇3 3個特征點(diǎn)個特征點(diǎn)進(jìn)行圓線擬合，可降低匹配特征點(diǎn)共線的風(fēng)險同時在一定程度上避免了進(jìn)行圓線擬合，可降低匹配特征點(diǎn)共線的風(fēng)險同時在一定程度上避免了內(nèi)點(diǎn)過近，多次循環(huán)內(nèi)點(diǎn)過近，多次循環(huán)R R算法，算法，幾點(diǎn)注意和通用做法 v 噪聲對提取極值點(diǎn)的影響

30、，通常噪聲對提取極值點(diǎn)的影響，通常先對圖像進(jìn)行歸一化處理，然后擴(kuò)大圖像為原先對圖像進(jìn)行歸一化處理，然后擴(kuò)大圖像為原來的兩倍，預(yù)濾波剔除噪聲，來的兩倍，預(yù)濾波剔除噪聲，然然后建立高斯后建立高斯差分金字塔尺度空間差分金字塔尺度空間；v 特征點(diǎn)提取人工干預(yù)設(shè)定特征點(diǎn)提取人工干預(yù)設(shè)定閾值，閾值，閥值大則提出的特征多，但干擾點(diǎn)也多，且計閥值大則提出的特征多，但干擾點(diǎn)也多，且計算復(fù)雜；閥值小則極值點(diǎn)算復(fù)雜；閥值小則極值點(diǎn)數(shù)目會減少，但更加穩(wěn)定數(shù)目會減少，但更加穩(wěn)定；v SIFTSIFT算法算法在確定特征點(diǎn)主方向時采用梯度直方圖統(tǒng)計法，算法簡單但不科學(xué)，在確定特征點(diǎn)主方向時采用梯度直方圖統(tǒng)計法，算法簡單但不

31、科學(xué)，后廣泛采用主成分變換；后廣泛采用主成分變換；v 兩幅影像間的相似性度量標(biāo)準(zhǔn)：歐式距離、兩幅影像間的相似性度量標(biāo)準(zhǔn)：歐式距離、Hausdorff距離等；距離等；v 原始原始K-DK-D樹搜索算法存在對高維度空間搜索效率降低的缺點(diǎn)，為提高匹配匹配效樹搜索算法存在對高維度空間搜索效率降低的缺點(diǎn)，為提高匹配匹配效率，常采用優(yōu)化搜索方法，如改進(jìn)率，常采用優(yōu)化搜索方法，如改進(jìn)BBFBBF（近似的最近鄰算法），通過限制（近似的最近鄰算法），通過限制K-DK-D樹樹中葉子結(jié)點(diǎn)數(shù)，對葉結(jié)點(diǎn)設(shè)一個最大數(shù)目從而可以縮短搜索時間；中葉子結(jié)點(diǎn)數(shù)，對葉結(jié)點(diǎn)設(shè)一個最大數(shù)目從而可以縮短搜索時間；v 匹配結(jié)束后，使用匹配

32、結(jié)束后，使用RANSACRANSAC方法消除錯匹配點(diǎn)對。方法消除錯匹配點(diǎn)對。SIFT算法存在的缺點(diǎn)在相同參數(shù)下，背景復(fù)雜的圖像提取的特征點(diǎn)多，而背景簡單在相同參數(shù)下，背景復(fù)雜的圖像提取的特征點(diǎn)多，而背景簡單的圖像提取的特征點(diǎn)少，即的圖像提取的特征點(diǎn)少，即SIFTSIFT算法對紋理簡單的圖像特征提算法對紋理簡單的圖像特征提取效果不理想；取效果不理想；?背景高度相似的圖像，在特征匹配時可能出現(xiàn)錯誤匹配，即背景高度相似的圖像，在特征匹配時可能出現(xiàn)錯誤匹配，即siftsift算法對背景存在高度相似性的圖像匹配效果不令人滿意；算法對背景存在高度相似性的圖像匹配效果不令人滿意；?特征提取時，可能提取到位于運(yùn)動目標(biāo)上的特征點(diǎn)，其運(yùn)動特征提取時，可能提取到位于運(yùn)動目標(biāo)上的特征點(diǎn)，其運(yùn)動趨勢與背景運(yùn)動趨勢有較大差異趨勢與背景運(yùn)動趨勢有較大差異；?當(dāng)背景某些區(qū)域紋理豐富而某些區(qū)域紋理簡單時，提取的特當(dāng)背景某些區(qū)域紋理豐富而某些區(qū)域紋理簡單時，提取的特征很集中，特征點(diǎn)分布不均勻；征很集中，特征點(diǎn)分布不均勻；?SIFTSIFT特征提取與匹配速度慢，無法達(dá)到實(shí)時處理的要求；特征提取與匹配速度慢，無法達(dá)到實(shí)時處理的要求；?SIFTSIFT特征匹配采用歐式距離作為相似性測度，但該閾值需人特征匹配采用歐式距離作為相似性測度，但該閾值需人工干預(yù)，無法達(dá)到自適應(yīng)要求。工干預(yù)，無法達(dá)到