sift算法詳解及應(yīng)用(課程)2014-3-24課件

1、2022/9/31/605.3 尺度不變特征變換匹配算法 Scale Invariant Feature Transform （SIFT）第5章 視覺圖像特征信息提取2022/9/32SIFT簡(jiǎn)介SIFT算法實(shí)現(xiàn)細(xì)節(jié)提綱SIFT算法的應(yīng)用領(lǐng)域SIFT算法的擴(kuò)展與改進(jìn)2022/9/33SIFT簡(jiǎn)介 傳統(tǒng)的特征提取方法 成像匹配的核心問題是將同一目標(biāo)在不同時(shí)間、不同分辨率、不同光照、不同位姿情況下所成的像相對(duì)應(yīng)。傳統(tǒng)的匹配算法往往是直接提取角點(diǎn)或邊緣，對(duì)環(huán)境的適應(yīng)能力較差，急需提出一種魯棒性強(qiáng)、能夠適應(yīng)不同光照、不同位姿等情況下能夠有效識(shí)別目標(biāo)的方法。2022/9/35SIFT簡(jiǎn)介 將一幅圖像映射

2、（變換）為一個(gè)局部特征向量集；特征向量具有平移、縮放、旋轉(zhuǎn)不變性，同時(shí)對(duì)光照變化、仿射及投影變換也有一定不變性。Original image courtesy of David Lowe2022/9/36SIFT簡(jiǎn)介 SIFT算法特點(diǎn) SIFT特征是圖像的局部特征，其對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。 獨(dú)特性(Distinctiveness)好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進(jìn)行快速、準(zhǔn)確的匹配。 多量性，即使少數(shù)的幾個(gè)物體也可以產(chǎn)生大量SIFT特征向量。 經(jīng)過優(yōu)化的SIFT算法可滿足一定的速度需求。 可擴(kuò)展性，可以很方便的與其他形式

3、的特征向量進(jìn)行聯(lián)合。 2022/9/37 目標(biāo)的自身狀態(tài)、場(chǎng)景所處的環(huán)境和成像器材的成像特性等因素影響圖像配準(zhǔn)/目標(biāo)識(shí)別跟蹤的性能。而SIFT算法在一定程度上可解決： 目標(biāo)的旋轉(zhuǎn)、縮放、平移（RST） 圖像仿射/投影變換（視點(diǎn)viewpoint） 光照影響（illumination） 目標(biāo)遮擋（occlusion） 雜物場(chǎng)景（clutter） 噪聲 SIFT算法可以解決的問題SIFT簡(jiǎn)介Back2022/9/38SIFT算法實(shí)現(xiàn)細(xì)節(jié) SIFT算法實(shí)現(xiàn)步驟簡(jiǎn)述SIFT算法的實(shí)質(zhì)可以歸為在不同尺度空間上查找特征點(diǎn)（關(guān)鍵點(diǎn)）的問題。SIFT算法實(shí)現(xiàn)物體識(shí)別主要有三大工序，1、提取關(guān)鍵點(diǎn)；2、對(duì)關(guān)鍵點(diǎn)

4、附加詳細(xì)的信息（局部特征）也就是所謂的描述器；3、通過兩方特征點(diǎn)（附帶上特征向量的關(guān)鍵點(diǎn)）的兩兩比較找出相互匹配的若干對(duì)特征點(diǎn)，也就建立了景物間的對(duì)應(yīng)關(guān)系。 2022/9/310所謂關(guān)鍵點(diǎn)，就是在不同尺度空間的圖像下檢測(cè)出的具有方向信息的局部極值點(diǎn)。根據(jù)歸納，我們可以看出特征點(diǎn)具有的三個(gè)特征： 尺度 方向 大小關(guān)鍵點(diǎn)檢測(cè)的相關(guān)概念1. 哪些點(diǎn)是SIFT中要查找的關(guān)鍵點(diǎn)（特征點(diǎn)）？ 這些點(diǎn)是一些十分突出的點(diǎn)不會(huì)因光照條件的改變而消失，比如角點(diǎn)、邊緣點(diǎn)、暗區(qū)域的亮點(diǎn)以及亮區(qū)域的暗點(diǎn)，既然兩幅圖像中有相同的景物，那么使用某種方法分別提取各自的穩(wěn)定點(diǎn)，這些點(diǎn)之間會(huì)有相互對(duì)應(yīng)的匹配點(diǎn)。 2022/9/3

5、12 根據(jù)文獻(xiàn)Scale-space theory: A basic tool for analysing structures at different scales我們可知，高斯核是唯一可以產(chǎn)生多尺度空間的核，一個(gè)圖像的尺度空間，L（x,y,) ,定義為原始圖像I(x,y)與一個(gè)可變尺度的2維高斯函數(shù)G(x,y,) 卷積運(yùn)算。 關(guān)鍵點(diǎn)檢測(cè)高斯函數(shù)尺度是自然存在的，不是人為創(chuàng)造的！高斯卷積只是表現(xiàn)尺度空間的一種形式關(guān)鍵點(diǎn)檢測(cè)的相關(guān)概念2022/9/314關(guān)鍵點(diǎn)檢測(cè)r為模糊半徑， 在減小圖像尺寸的場(chǎng)合經(jīng)常使用高斯模糊。在進(jìn)行欠采樣的時(shí)，通常在采樣之前對(duì)圖像進(jìn)行低通濾波處理。這樣就可以保證在采樣

6、圖像中不會(huì)出現(xiàn)虛假的高頻信息。 關(guān)鍵點(diǎn)檢測(cè)的相關(guān)概念2022/9/315在實(shí)際應(yīng)用中，在計(jì)算高斯函數(shù)的離散近似時(shí)，在大概3距離之外的像素都可以看作不起作用，這些像素的計(jì)算也就可以忽略。通常，圖像處理程序只需要計(jì)算關(guān)鍵點(diǎn)檢測(cè)高斯模板大小的選擇0.000000670.000022920.000191170.000387710.000191170.000022920.000000670.000022920.000786330.006559650.013303730.006559650.000786330.000022920.000191170.006559650.054721570.11098164

7、0.054721570.006559650.000191170.000387710.013303730.110981640.225083520.110981640.013303730.000387710.000191170.006559650.054721570.110981640.054721570.006559650.000191170.000022920.000786330.006559650.013303730.006559650.000786330.000022920.000000670.000022920.000191170.000387710.000191170.00002292

8、0.00000067高斯模板關(guān)鍵點(diǎn)檢測(cè)的相關(guān)概念2022/9/316高斯模糊具有圓對(duì)稱性。高斯模糊具有線性可分的性質(zhì)，也可以在二維圖像上對(duì)兩個(gè)獨(dú)立的一維空間分別進(jìn)行計(jì)算。這樣可以大大減少了運(yùn)算的次數(shù)。 對(duì)一幅圖像進(jìn)行多次連續(xù)高斯模糊的效果與一次更大的高斯模糊可以產(chǎn)生同樣的效果，大的高斯模糊的半徑是所用多個(gè)高斯模糊半徑平方和的平方根。例如，使用半徑分別為 6 和 8 的兩次高斯模糊變換得到的效果等同于一次半徑為 10 的高斯模糊效果， 根據(jù)這個(gè)關(guān)系，使用多個(gè)連續(xù)較小的高斯模糊處理不會(huì)比單個(gè)高斯較大處理時(shí)間要少。 高斯模糊的性質(zhì)關(guān)鍵點(diǎn)檢測(cè)關(guān)鍵點(diǎn)檢測(cè)的相關(guān)概念2022/9/317 關(guān)鍵點(diǎn)檢測(cè)DOG通

9、過研究Lowe教授的論文發(fā)現(xiàn)，所有特征點(diǎn)的檢測(cè)都是基于了尺度不變的特性，特征點(diǎn)的檢測(cè)占據(jù)了論文的大部分的篇章，具有十分重要的意義！Lindeberg在文獻(xiàn)Scale-space theory: A basic tool for analysing structures at different scales指出尺度規(guī)范化的LoG算子具有真正的尺度不變性。LoG算子即（Laplacion of Gaussian）,可以由高斯函數(shù)梯度算子GOG構(gòu)建尺度規(guī)范化的GoG算子尺度規(guī)范化的LoG算子2022/9/318LOG算子與高斯核函數(shù)的關(guān)系通過推導(dǎo)可以看出，LOG算子與高斯核函數(shù)的差有直接關(guān)系，由此

10、引入一種新的算子DOG（Difference of Gaussians），即高斯差分算子。關(guān)鍵點(diǎn)檢測(cè)DOG2022/9/320DoG高斯差分金字塔對(duì)應(yīng)DOG算子，我們要構(gòu)建DOG金字塔我們可以通過高斯差分圖像看出圖像上的像素值變化情況。（如果沒有變化，也就沒有特征。特征必須是變化盡可能多的點(diǎn)。）DOG圖像描繪的是目標(biāo)的輪廓。關(guān)鍵點(diǎn)檢測(cè)DOG2022/9/321關(guān)鍵點(diǎn)檢測(cè)DOG2022/9/323DoG局部極值檢測(cè) 關(guān)鍵點(diǎn)精確定位 為了提高關(guān)鍵點(diǎn)的穩(wěn)定性，需要對(duì)尺度空間DoG函數(shù)進(jìn)行曲線擬合。利用DoG函數(shù)在尺度空間的Taylor展開式：其極值點(diǎn) 由于DoG值對(duì)噪聲和邊緣較敏感,因此,在上面Do

11、G尺度空間中檢測(cè)到局部極值點(diǎn)還要經(jīng)過進(jìn)一步的檢驗(yàn)才能精確定位為特征點(diǎn)。2022/9/324DoG局部極值檢測(cè) 去除邊緣響應(yīng) 僅僅去除低對(duì)比度的極值點(diǎn)對(duì)于極值點(diǎn)的穩(wěn)定性是遠(yuǎn)遠(yuǎn)不夠的。DoG函數(shù)在圖像邊緣有較強(qiáng)的邊緣響應(yīng)，因此我們還需要排除邊緣響應(yīng)。 DoG函數(shù)的（欠佳的）峰值點(diǎn)在橫跨邊緣的方向有較大的主曲率，而在垂直的方向有較小的主曲率。主曲率可以通過計(jì)算在該點(diǎn)位置尺度的22的Hessian矩陣得到，導(dǎo)數(shù)由采樣點(diǎn)相鄰差來估計(jì)：表示DOG金字塔中某一尺度的圖像x方向求導(dǎo)兩次2022/9/326關(guān)鍵點(diǎn)方向分配 通過尺度不變性求極值點(diǎn)，可以使其具有縮放不變的性質(zhì)，利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性，

12、我們可以為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，從而使描述子對(duì)圖像的旋轉(zhuǎn)具有不變性。 像素點(diǎn)的梯度表示梯度幅值：梯度方向：我們通過求每個(gè)極值點(diǎn)的梯度來為極值點(diǎn)賦予方向。2022/9/327關(guān)鍵點(diǎn)方向分配 方向直方圖的生成 確定關(guān)鍵點(diǎn)的方向采用梯度直方圖統(tǒng)計(jì)法，統(tǒng)計(jì)以關(guān)鍵點(diǎn)為原點(diǎn)，一定區(qū)域內(nèi)的圖像像素點(diǎn)對(duì)關(guān)鍵點(diǎn)方向生成所作的貢獻(xiàn)。2022/9/328關(guān)鍵點(diǎn)方向分配 關(guān)鍵點(diǎn)主方向：極值點(diǎn)周圍區(qū)域梯度直方圖的主峰值即特征點(diǎn)的主方向 關(guān)鍵點(diǎn)輔方向：在梯度方向直方圖中，當(dāng)存在另一個(gè)相當(dāng)于主峰值 80%能量的峰值時(shí)，則將這個(gè)方向認(rèn)為是該關(guān)鍵點(diǎn)的輔方向。 這可以增強(qiáng)匹配的魯棒性，Lowe的論文指出大概有15%關(guān)鍵點(diǎn)具有多

13、方向，但這些點(diǎn)對(duì)匹配的穩(wěn)定性至為關(guān)鍵。 關(guān)鍵點(diǎn)的主方向與輔方向2022/9/330關(guān)鍵點(diǎn)描述 描述的目的 描述的思路 通過對(duì)關(guān)鍵點(diǎn)周圍圖像區(qū)域分塊，計(jì)算塊內(nèi)梯度直方圖，生成具有獨(dú)特性的向量，這個(gè)向量是該區(qū)域圖像信息的一種抽象，具有唯一性。 描述的目的是在關(guān)鍵點(diǎn)計(jì)算后，用一組向量將這個(gè)關(guān)鍵點(diǎn)描述出來，這個(gè)描述子不但包括關(guān)鍵點(diǎn)，也包括關(guān)鍵點(diǎn)周圍對(duì)其有貢獻(xiàn)的像素點(diǎn)。用來作為目標(biāo)匹配的依據(jù)，也可使關(guān)鍵點(diǎn)具有更多的不變特性，如光照變化、3D視點(diǎn)變化等。2022/9/331關(guān)鍵點(diǎn)描述 下圖是一個(gè)SIFT描述子示例。其中描述子由228維向量表征，也即是22個(gè)8方向的方向直方圖組成。左圖的種子點(diǎn)由88單元組成

14、。每一個(gè)小格都代表了特征點(diǎn)鄰域所在的尺度空間的一個(gè)像素，箭頭方向代表了像素梯度方向，箭頭長(zhǎng)度代表該像素的幅值。然后在44的窗口內(nèi)計(jì)算8個(gè)方向的梯度方向直方圖。繪制每個(gè)梯度方向的累加可形成一個(gè)種子點(diǎn)，如右圖所示：一個(gè)特征點(diǎn)由4個(gè)種子點(diǎn)的信息所組成。2022/9/332關(guān)鍵點(diǎn)描述 Lowe實(shí)驗(yàn)結(jié)果表明：描述子采用448128維向量表征，綜合效果最優(yōu)（不變性與獨(dú)特性）。2022/9/333關(guān)鍵點(diǎn)匹配 分別對(duì)模板圖（參考圖，reference image）和實(shí)時(shí)圖（觀測(cè)圖，observation image）建立關(guān)鍵點(diǎn)描述子集合。目標(biāo)的識(shí)別是通過兩點(diǎn)集內(nèi)關(guān)鍵點(diǎn)描述子的比對(duì)來完成。具有128維的關(guān)鍵點(diǎn)描

15、述子的相似性度量采用歐式距離。2022/9/334關(guān)鍵點(diǎn)匹配原圖像目標(biāo)圖像窮舉匹配2022/9/335 模板圖中關(guān)鍵點(diǎn)描述子： 實(shí)時(shí)圖中關(guān)鍵點(diǎn)描述子： 任意兩描述子相似性度量： 要得到配對(duì)的關(guān)鍵點(diǎn)描述子， 需滿足：關(guān)鍵點(diǎn)匹配2022/9/336關(guān)鍵點(diǎn)匹配Back2022/9/337SIFT算法的應(yīng)用 SIFT算法目前在軍事、工業(yè)和民用方面都得到了不同程度的應(yīng)用，其應(yīng)用已經(jīng)滲透了很多領(lǐng)域，典型的應(yīng)用如下： 物體識(shí)別 機(jī)器人定位與導(dǎo)航 圖像拼接 三維建模 手勢(shì)識(shí)別 視頻跟蹤 筆記鑒定 指紋與人臉識(shí)別 犯罪現(xiàn)場(chǎng)特征提取 2022/9/338SIFT算法的應(yīng)用 物體識(shí)別2022/9/339SIFT算法

16、的應(yīng)用 圖像拼接2022/9/340 三維建模SIFT算法的應(yīng)用2022/9/341SIFT算法的應(yīng)用 手勢(shì)識(shí)別目前，手勢(shì)識(shí)別已應(yīng)用于手機(jī)等設(shè)備上。2022/9/342 筆記鑒定SIFT算法的應(yīng)用2022/9/343 來自網(wǎng)友的創(chuàng)意周正龍的老虎SIFT算法的應(yīng)用圖1 周正龍的華南虎照片與年畫上的華南虎照片12點(diǎn)匹配圖2 周正龍的華南虎照片與真實(shí)的華南虎照片0點(diǎn)匹配Back2022/9/344SIFT算法的擴(kuò)展與改進(jìn) SIFT在圖像的不變特征提取方面擁有無與倫比的優(yōu)勢(shì)，但其并不是完美的，仍然存在著實(shí)時(shí)性不高、有時(shí)特征點(diǎn)較少、對(duì)邊緣模糊的目標(biāo)無法準(zhǔn)確提取特征點(diǎn)等缺陷。自從1999年，SIFT算法問

17、世以來，人們從未停止對(duì)它的優(yōu)化和改進(jìn)。2022/9/345SIFT算法的擴(kuò)展與改進(jìn) PCA-SIFTPCA（Principal Component Analysis），即主成分分析，是一種數(shù)據(jù)降維技術(shù)。由Y.ke 2004年提出。通過降維技術(shù)，可有效化簡(jiǎn)SIFT算子的128維描述子。2022/9/346CSIFT（Colored scale invariant feature transform ）彩色尺度特征不變變換，可以針對(duì)彩色圖像進(jìn)行圖像的不變特征提取。由 Farag 2006年提出。SIFT算法的擴(kuò)展與改進(jìn) CSIFT2022/9/347SIFT算法的擴(kuò)展與改進(jìn) SURFSURF（SU

18、RF Speeded Up Robust Features），聲稱是SIFT算法的增強(qiáng)版，SURF算法的計(jì)算量小，運(yùn)算速度快，提取的特征點(diǎn)幾乎與SIFT相同，由Bay 2006年提出。SIFTSURF特征點(diǎn)檢測(cè)用不同尺度的圖片與高斯函數(shù)做卷積用不同大小的box filter與原始圖像(integral image)做卷積，易于并行方向特征點(diǎn)鄰接矩形區(qū)域內(nèi)，利用梯度直方圖計(jì)算特征點(diǎn)鄰接圓域內(nèi)，計(jì)算x、y方向上的Haar小波響應(yīng)描述符生成20*20(單位為pixel)區(qū)域劃分為4*4(或2*2)的子區(qū)域，每個(gè)子域計(jì)算8bin直方圖20*20(單位為sigma)區(qū)域劃分為4*4子域，每個(gè)子域計(jì)算5*5個(gè)采樣點(diǎn)的Haar小波響應(yīng)，記錄dx,dy,|dx|,|dy|。2022/9/348SIFT算法的擴(kuò)展與改進(jìn)methodTimeScaleRotation