SIFT特征提取算法詳解

1、SIFT特征提取算法總結(jié)主要步驟1）、尺度空間的生成；2）、檢測(cè)尺度空間極值點(diǎn)；3）、精確定位極值點(diǎn)；4）、為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)；5）、關(guān)鍵點(diǎn)描述子的生成。尺度空間的生成尺度空間理論目的是模擬圖像數(shù)據(jù)的多尺度特征，髙斯卷積核是實(shí) 現(xiàn)尺度變換的唯一線性核.于是一副二維圖像的尺度空間定義為厶（口兒b） = G（x.y.a） I（x.y）其中,是尺度可變高斯函數(shù),G（?！卑?/2<72X y）是空間坐標(biāo)疋是尺度坐標(biāo)w的大小決定圖像的平滑程度，大尺 度對(duì)應(yīng)圖像的概貌特征,，小尺度對(duì)應(yīng)圖像的細(xì)節(jié)持征.大附值對(duì)應(yīng)粗 糙尺度（低分辨率）反之.對(duì)應(yīng)精細(xì)尺度倚分辨率構(gòu)造高斯差分尺度空間（DOG sca

2、le-space）：jQ = (GU y.歸-G(s o) */(x,y)二以兀;-Z(x;y5 o)L(x,y, <t ), <t = 1.6 a good tradeoffU F , »； 1干-t,« *'1!匚！ 1L ；k：1IIp'D(x,y, <t ),<t = 1.6 a good tradeoff關(guān)于尺度空間的理解說明：圖中的2是必須的，尺度空間是連續(xù)的。在Lowe 的論文中，將第0層的初始尺度定為1.6，圖片的初始尺度定為0.5.在檢測(cè)極值點(diǎn)前 對(duì)原始圖像的高斯平滑以致圖像丟失高頻信息，所以Lowe建議在建立尺度空

3、 間前首先對(duì)原始圖像長寬擴(kuò)展一倍，以保留原始圖像信息，增加特征點(diǎn)數(shù)量。 尺度越大圖像越模糊。A(noKtGaussianGaussian (DOG)next octave 是由first octave 降采樣得到(如 2) 疋F"cr)比-2%尺度空間的所有取值， s為每組層數(shù)，一般為 35 在DOG尺度空間下的極值點(diǎn)檢測(cè)尺度空間極值點(diǎn)為了尋找尺度空間的極值點(diǎn)，每一個(gè)釆樣 點(diǎn)要和它所有的相鄰點(diǎn)比較，看其是否比 它的圖像域和尺度域的相鄰點(diǎn)大或者小。 如圖，中間的檢測(cè)點(diǎn)和它同尺度的8個(gè)相鄰 點(diǎn)和上下相鄰尺度對(duì)應(yīng)的9 x 2個(gè)點(diǎn)共26個(gè) 點(diǎn)比較，以確保在尺度空間和二維圖像空 間都檢測(cè)到極值

4、點(diǎn)。如杲一個(gè)點(diǎn)在DOG尺 度空間本層以及上下兩層的26個(gè)領(lǐng)域中是 最大或最小值時(shí)，就認(rèn)為該點(diǎn)是圖像在該 尺度下的一個(gè)特征點(diǎn)同一組中的 相鄰尺度（由于 k的取值關(guān)系，肯定是上下層）之間進(jìn)行尋找Gaussian SpikeDoG SpaceLevdSize： 2MX2NOctave IG創(chuàng)u曲an SpaceLevel Size： MxNDdG Spaceclave 2G訓(xùn)i$si 帥 SpateLevel Size： M'2xN/2DoG Space在極值比較的過程中，每一組圖像的首末兩層是無法進(jìn)行極值比較的，為了滿足尺度變化的連續(xù)性我們?cè)诿恳唤M圖像的頂層繼續(xù)用高斯模糊生成了3幅圖像,高

5、斯金字塔有每組S+3層圖像。DOG金字塔每組有S+2層圖像.精確定位極值點(diǎn)通過擬和三維二次函數(shù)以精確確定關(guān)犍點(diǎn)的位置和尺度(達(dá)到亞像素精度人 同時(shí)去除低對(duì)比度的關(guān)犍點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)(因?yàn)镈oG算子會(huì)產(chǎn)生 較強(qiáng)的邊緣響應(yīng))，以增遢匹配穩(wěn)定性、提高抗噪聲能力。 空間尺度函數(shù)ZKx,jta) = D(x5jTal-&2 fit*求導(dǎo)并令其為0得到精確的位置fJ二#(2) 在己經(jīng)檢測(cè)到的特征點(diǎn)中更去掉低對(duì)比度用無征貿(mào)命不穩(wěn)定的邊緣 響應(yīng)點(diǎn)。去除低對(duì)匕擔(dān)的點(diǎn)把公式(2代入公式，只取前兩項(xiàng)可得:7 r+r若|Plx l|>0.03,該特征點(diǎn)就保留下來,否則丟棄。 邊緣響應(yīng)的去除.一個(gè)定

6、義不好的高斯差分算子的極值在橫跨邊緣的 地方有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。主曲率通 過一個(gè)2x2 的 HessiianH>f；Hd:導(dǎo)數(shù)由采樣點(diǎn)相鄰差估計(jì)得到。D的主曲率和H的特征值成正比，令茂為最大特征值3為最小的特征值, 則TtHh = />f, + 門沖=a + j#,【如(H) =昏一(門沖F二門丄令比聲、則：lill' I j I + J)3(n# + .i)ai f + 1 J3= = = r'If ratio > (r+1)2/(r), throw it out (SIFT uses r=10)"娛表示DOG金字塔中

7、某一尺度的圖像x方向求導(dǎo)兩次通過擬和三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺度(達(dá)到亞像素精度)？為每個(gè)關(guān)犍點(diǎn)扌旨定方向參數(shù)利用關(guān)犍點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)犍點(diǎn)指定方向參數(shù), 使算子具備旋轉(zhuǎn)不變性。+1,>) - U.X.+1)-噴工atanZMx.j + l)-*”) - £<耳-I,/)式中為Xy泌梯度的模值和方向公式。其中厲用的尺度為每個(gè)關(guān)犍 點(diǎn)各自所在的尺度。至此，圖像的關(guān)犍點(diǎn)己檢測(cè)完畢，每個(gè)關(guān)犍點(diǎn)有三個(gè)信息位置、 所處尺度.方亂由此可以確定一個(gè)SIFT特征區(qū)域。直方圖中的峰值就是主方向，其他的達(dá)到最大值80% 的方向可作為輔助方向Identify pe

8、ak and assign orientation and sum of magnitude to key pointThe user may choose a threshold to exclude key points based on their assig ned sum of magn itudes.利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具備 旋轉(zhuǎn)不變性。以關(guān)鍵點(diǎn)為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計(jì)鄰域像素的梯度方向。梯度直方圖的范圍是0360度，其中每10度一個(gè)柱，總共 36個(gè)柱。隨著距中心點(diǎn)越遠(yuǎn)的領(lǐng)域其對(duì)直方圖的貢獻(xiàn)也響應(yīng)減小丄owe論文中還提到

9、要使用高斯函數(shù)對(duì)直方圖進(jìn)行平滑，減少突變的影響。關(guān)鍵點(diǎn)描述子的生成步驟旋轉(zhuǎn)主 將坐標(biāo)軸旋轉(zhuǎn)為關(guān)璉點(diǎn)的方底，以確 方向 保旋轉(zhuǎn)不變性生成描 述子對(duì)于一個(gè)關(guān)鍵點(diǎn)產(chǎn)生128個(gè)數(shù)拜，即 最終形成128維的SIFT特征向量歸一化將特征向量的長度歸一化，則可以進(jìn) 處理J 一步去除光照變化的影響匕通過對(duì)關(guān)鍵點(diǎn)周圍圖像區(qū)域分塊，計(jì)算塊內(nèi)梯度直方圖，生成具有獨(dú)特性的向量，這個(gè)向量是該區(qū)域圖像信息的一種抽象，具有唯一性。關(guān)犍點(diǎn)描述子的生成首先將坐標(biāo)軸錠轉(zhuǎn)為關(guān)鍵點(diǎn)的方向，以確保旋轉(zhuǎn)不變性。以特征點(diǎn) 為中心取8七的鄰域作為采樣窗口，將采樣點(diǎn)與特征點(diǎn)的相對(duì)方向通 過高斯加權(quán)后歸入包含8個(gè)方問直方圖,最后菽得才2%的32

10、維特征 描述子°示意圖如下；rmage gradientsKeypoint descriptor每一個(gè)小格都代表了特征點(diǎn)鄰域所在的尺度空間的一個(gè)像素，箭頭方向代表了像素梯度方向，箭頭長度代表該像素的幅值。然后在4X4的窗口內(nèi)計(jì)算8個(gè)方向的梯度方向直方圖。繪制每個(gè)梯度方向的累加可形成一個(gè)種子點(diǎn)。每個(gè)直方圖有8方向的梯度方向，每一個(gè)描述符包含一個(gè)位于關(guān)鍵點(diǎn)附近的四個(gè)直方圖 數(shù)組.這就導(dǎo)致了 SIFT的特征向量有128維.（先是一個(gè)4 X4的來計(jì)算岀一個(gè)直方圖, 每個(gè)直方圖有 8個(gè)方向。所以是 4 X 4 X 8=128 維）將這個(gè) 向量歸一化之后，就進(jìn)一步 去除了光照的影響。旋轉(zhuǎn)為主方向

11、維關(guān)鍵點(diǎn)描述子生成步驟1確定計(jì)算描述子所需的圖像區(qū)域描述子梯度方向直方圖由關(guān)鍵點(diǎn)所在尺度的模糊圖像計(jì)算產(chǎn)生.圖像區(qū)域的半徑通過下式計(jì)算：radius =3(7 知 x©x(d + l)+l2°oct是關(guān)鍵點(diǎn)所在組(octave)的組內(nèi)尺度，d3.在圖像半徑區(qū)域內(nèi)對(duì)每個(gè)像素點(diǎn)求其梯度幅值和方向，然后對(duì)每個(gè)梯 度幅值乘以高斯權(quán)重參數(shù)，生成方向直方圖.忑:該點(diǎn)與關(guān)鍵點(diǎn)的列距離; yk :該點(diǎn)與關(guān)鍵點(diǎn)的行距離;%：等于描述子窗口寬度3（7 X直方圖列數(shù)（取U）的一半;4.在窗口寬度為2X2的區(qū)域內(nèi)計(jì)算g個(gè)方向的梯度方向直方圖，繪制每個(gè) 梯屢方向的累加值，即可形成一個(gè)種子點(diǎn)。然后再在

12、下一個(gè)2X2的區(qū)域 內(nèi)進(jìn)行直方圖統(tǒng)計(jì)，形成下一個(gè)種子點(diǎn)，共生成16個(gè)種子點(diǎn)一5*描述子向量元素門限化及門限化后的描述子向量規(guī)范化*描述子向董元素門限化：方向直方圖每*方向上梯度幅值限制在一定門限值以下（門限一般取 山2）.描述子向量元素規(guī)范化：四彳州八憐小逸）為得到的128描述子向量，L = （lvl2,-Jm）為規(guī)范化后的向量匚二闿q厶叫丿T212&基本概念及一些補(bǔ)充什么是局部特征？?局部特征從總體上說是圖像或在視覺領(lǐng)域中一些有別于其周圍的地方?局部特征通常是描述一塊區(qū)域，使其能具有高可區(qū)分度?局部特征的好壞直接會(huì)決定著后面分類、識(shí)別是否會(huì)得到一個(gè)好的結(jié)果局部特征需具備的特性?重復(fù)性

13、?可區(qū)分性?準(zhǔn)確性?數(shù)量以及效率?不變性局部特征提取算法-sift?SIFT算法由D.GLowe 1999 年提岀，2004年完善總結(jié)。后來Y.Ke將其描述子部分用PCA代替直方圖的方式，對(duì)其進(jìn)行改進(jìn)。?SIFT算法是一種提取局部特征的算法，在尺度空間尋找極值點(diǎn)，提取位置，尺度，旋轉(zhuǎn)不變量?SIFT特征是圖像的局部特征，其對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。?獨(dú)特性好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進(jìn)行快速、準(zhǔn)確的匹配。?多量性，即使少數(shù)的幾個(gè)物體也可以產(chǎn)生大量SIFT特征向量。?可擴(kuò)展性，可以很方便的與其他形式的特征向量進(jìn)行聯(lián)合。尺度

14、空間理論?尺度空間理論目的是模擬圖像數(shù)據(jù)的多尺度特征?其基本思想是在視覺信息圖像信息處理模型中引入一個(gè)被視為尺度的參數(shù)，通過連續(xù)變化尺度參數(shù)獲得不同尺度下的視覺處理信息，然后綜合這些信息以深入地挖掘圖像的本質(zhì)特征。描述子生成的細(xì)節(jié)?以極值點(diǎn)為中心點(diǎn)，并且以此點(diǎn)所處于的高斯尺度sigma值作為半徑因子。對(duì)于遠(yuǎn)離中心點(diǎn)的梯度值降低對(duì)其所處區(qū)域的直方圖的貢獻(xiàn)，防止一些突變的影響。?每個(gè)極值點(diǎn)對(duì)其進(jìn)行三線性插值，這樣可以把此極值點(diǎn)的貢獻(xiàn)均衡的分到直方圖中相鄰的柱子上歸一化處理?在求岀4*4*8 的128維特征向量后，此時(shí) SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響。而圖像的對(duì)比度變化相當(dāng)于每個(gè)像素點(diǎn)乘上一個(gè)因子，光照變化是每個(gè)像素點(diǎn)加上一個(gè)值，但這些對(duì)圖像歸一化的梯度沒有影響。因此將特征向量的長度歸一化，則可以進(jìn)一步去除光照變化的影響。?對(duì)于一些非線性的光照變化， SIFT并不具備不變性，但由于這類變化影響的主要是梯度 的幅值變化，對(duì)梯度的方向影響較小，因此作者通過限制梯度幅值的值來減少這類變化造成的影 響。PCA-SIFT 算法?PCA -SIFT與標(biāo)準(zhǔn)SIFT有相同的亞像素位置，尺度和主方向。但在第4步計(jì)算描述子的設(shè)計(jì)，采用的主成分分析的技術(shù)。?下面介紹一下其特征描述子計(jì)算的部分：?用特征點(diǎn)周圍的 41 X 41的