《人工智能開源硬件與python編程實踐》課件-項目6-基于邊緣與角點檢測的圖像匹配-

1、人工智能開源硬件與python編程實踐課件-項目6-基于邊緣與角點檢測的圖像匹配-人工智能開源硬件與python編程實踐課件-項目6-基于情境導(dǎo)入無人機航拍得到的圖像，往往需要進行圖像比對、拼接、整合等圖像配準(zhǔn)工作；圖像配準(zhǔn)技術(shù)的流程是：首先對兩幅圖像進行特征提取得到特征點，再通過進行相似性度量找到匹配的特征點對，然后通過匹配的特征點對得到圖像空間坐標(biāo)變換參數(shù)；特征提取是配準(zhǔn)技術(shù)中的關(guān)鍵，尋找準(zhǔn)確性高的特征提取方法將為特征匹配的成功提供保障。情境導(dǎo)入無人機航拍得到的圖像，往往需要進行圖像比對、拼接、整任務(wù)與目標(biāo)了解圖像特征檢測與配準(zhǔn)技術(shù)的基本原理、相關(guān)算法和應(yīng)用框架；掌握運用人工智能開源硬件設(shè)

2、計智能應(yīng)用系統(tǒng)的方法，掌握Python語言的編程方法；應(yīng)用人工智能開源硬件和Python相關(guān)算法模塊設(shè)計圖像匹配功能；針對生活應(yīng)用場景，進一步開展創(chuàng)意設(shè)計，設(shè)計具有實用價值的圖像匹配應(yīng)用系統(tǒng)。任務(wù)與目標(biāo)了解圖像特征檢測與配準(zhǔn)技術(shù)的基本原理、相關(guān)算法和應(yīng)知識拓展：圖像特征匹配技術(shù) 圖像特征匹配技術(shù)包括特征檢測、特征描述和特征匹配等方面；特征檢測過程主要是利用各種特征檢測子提取出圖像中比較明顯的形狀特征、紋理特征等；特征描述則是確定表征圖像特征信息的向量，也就是將從圖像區(qū)域提取的特征信息，按照一定的計算、存儲規(guī)則轉(zhuǎn)換為特征描述子信息結(jié)構(gòu)。不同圖像中的多個特征有著一定的關(guān)聯(lián)，通過歐氏距離或者漢明距離

3、進行特征匹配。知識拓展：圖像特征匹配技術(shù) 圖像特征匹配技術(shù)包括特征檢測、特知識拓展：圖像特征提取 圖像特征包括顏色特征、紋理特征、形狀特征以及局部特征點等；斑點通常是指與周圍有著顏色和灰度差別的區(qū)域；角點則是圖像中一邊物體的拐角或者線條之間的交叉部分；特征檢測過程常常利用各種特征檢測子提取出圖像中比較明顯的形狀特征、紋理特征等 。知識拓展：圖像特征提取 圖像特征包括顏色特征、紋理特征、形狀知識拓展：角點檢測過程 提取檢測子。在兩張待匹配的圖像中尋找那些最容易識別的像素點（角點），比如紋理豐富的物體邊緣點等；提取描述子。對于檢測出的角點，用一些數(shù)學(xué)上的特征對其進行描述，如梯度直方圖，局部隨機二值

4、特征等；匹配。通過各個角點的描述子來判斷它們在兩張圖像中的對應(yīng)關(guān)系。常用方法如 flann；去外點。去除錯誤匹配的外點，保留正確的內(nèi)點。常用方法有Ransac, GTM。知識拓展：角點檢測過程 提取檢測子。在兩張待匹配的圖像中尋找知識拓展：圖像匹配基本方法 不同圖像的各個特征可能存在著關(guān)聯(lián)，通過歐氏距離或者漢明距離測度可以來比較這些特征，進而匹配這些特征；高維度的圖像特征一般通過歐氏距離作為評判參數(shù)；二進制特征由于其結(jié)構(gòu)簡潔，一般都是使用漢明距離進行評判。知識拓展：圖像匹配基本方法 不同圖像的各個特征可能存在著關(guān)聯(lián)知識拓展：歐氏距離 指在m維空間中兩個點之間的真實距離，或者向量的自然長度（即該

5、點到原點的距離）；n維空間的歐氏距離計算公式是： 知識拓展：歐氏距離 指在m維空間中兩個點之間的真實距離，或者知識拓展：漢明距離 漢明距離表示兩個（相同長度）字對應(yīng)位不同的數(shù)量，以d（x,y）表示兩個字x,y之間的漢明距離。對兩個字符串進行異或運算，并統(tǒng)計結(jié)果為1的個數(shù)，那么這個數(shù)就是漢明距離。漢明距在圖像處理領(lǐng)域也有這廣泛的應(yīng)用，是比較二進制圖像非常有效的手段。漢明距離的本質(zhì)是兩個數(shù)異或后字符1的個數(shù)，可以直接使用異或?qū)崿F(xiàn)：def hammingDistance(self, x: int, y: int) - int: return bin(xy).count(1) 知識拓展：漢明距離 漢明

6、距離表示兩個（相同長度）字對應(yīng)位不同設(shè)計與實踐特征提取的實現(xiàn) 圖像匹配的實現(xiàn)Python綜合編程調(diào)試、驗證及完善設(shè)計與實踐特征提取的實現(xiàn) 特征提取的實現(xiàn) （1）image.find_keypoints()方法，可以從ROI元組(x, y, w, h)中提取ORB鍵點；可以使用image.match_descriptor函數(shù)來比較兩組關(guān)鍵點，以獲取匹配區(qū)域；threshold是控制提取的數(shù)量的參數(shù)（取值0-255）。對于默認(rèn)的AGAST角點檢測器，該值應(yīng)在20左右。對于FAST角點檢測器，該值約為60-80。閾值越低，提取的角點會越多。 特征提取的實現(xiàn) （1）image.find_keypoin

7、t特征提取的實現(xiàn) （2）scale_factor參數(shù)介于1.35-1.5之間。較高的比例因子會使運行更快，但圖像匹配相應(yīng)較差。corner_detector 是從圖像中提取特征點所使用的角點檢測器算法，可以是image.CORNER_FAST 或 image.CORNER_AGAST。 設(shè)置好圖形匹配應(yīng)用的攝像頭視頻采集工作參數(shù)，即可在指定的圖像區(qū)域內(nèi)啟動圖像特征提取過程，Python編程方法如下： img.find_keypoints(max_keypoints=150, threshold=10, normalized=True)特征提取的實現(xiàn) （2）scale_factor參數(shù)介于1.3

8、圖像匹配的實現(xiàn) image.match_descriptor()方法，用于相似度的度量。這個測度值越接近0，LBPF特征點匹配得就越好。對于ORB描述符來說，函數(shù)返回的是kptmatch對象。 threshold 是用來為ORB鍵點過濾不明確匹配服務(wù)的。filter_outliers是用來為ORB特征點過濾異常值服務(wù)的。 圖像匹配的實現(xiàn) image.match_descriptor特征提取模塊 #第一次找當(dāng)前圖像中心區(qū)域的特征點kpts1 = img.find_keypoints(max_keypoints=150, threshold=10, scale_factor=1.25) draw_

9、keypoints(img, kpts1) #color=(255,0,0) img.draw_string(0, 0, FPS:%.2f%(clock.fps()特征提取模塊 #第一次找當(dāng)前圖像中心區(qū)域的特征點特征匹配模塊 kpts2 = img.find_keypoints(max_keypoints=150, threshold=10, normalized=True) if (kpts2): match = image.match_descriptor(kpts1, kpts2, threshold=100)#85 if (match.count()15):#10S led.red.o

10、n() led.green.on() led.blue.on() img.draw_rectangle(match.rect(),threshold=90) img.draw_cross(match.cx(), match.cy(), size=10) print(kpts2, matched:%d dt:%d%(match.count(), match.theta()特征匹配模塊 kpts2 = img.find_keypoi實驗過程及程序運行結(jié)果 實驗中用到的兩支筆 對黑筆提取特征的情況圖像匹配結(jié)果實驗過程及程序運行結(jié)果 實驗中用到的兩支筆 對黑筆提取特征的分析與思考比較歐氏距離與漢明距離的異同。自行編寫一個Python函數(shù)，實現(xiàn)對二進制圖像特征的匹配。 項目5中介紹了利用閾值編輯工具自行設(shè)置顏色模型參數(shù)的方法，可否利用本項目提取物體特征參數(shù)的方法，將某種物體的特征參數(shù)保存成特征模板文件，方便后續(xù)應(yīng)用的使用?。針對某種應(yīng)用場景，例如