HALCON形狀匹配總結(jié).doc

1、HALCON形狀匹配總結(jié)Halcon有三種模板匹配方法：即 Component-Based、Gray-Value-Based、Shaped_based,分別是基于組件（或成分、 元素）的匹配，基于灰度值的匹配和基于形狀的匹配，此外 還有變形匹配和三維模型匹配也是分屬于前面的大類 本文只對(duì)形狀匹配做簡(jiǎn)要說(shuō)明和補(bǔ)充：Shape_Based匹配方法：上圖介紹的是形狀匹配做法的一般流程及模板制作的兩種方法。先要補(bǔ)充點(diǎn)知識(shí)：形狀匹配常見的有四種情況一般形狀匹配模板shape_model、線性變形匹配模板 planar_deformable_model、局部可變形模板 local_deformable_m

2、odel、和比例縮放模板 Scale_model 第一種是不支持投影變形的模板匹配，但是速度是最高的， 第二種和第四種是支持投影變形的匹配，第三種則是支持局 部變形的匹配。一般形狀匹配模板是最常用的，模板的形狀和大小一經(jīng)制作 完畢便不再改變，在查找模板的過程中，只會(huì)改變模板的方 向和位置等來(lái)匹配目標(biāo)圖像中的圖像。這個(gè)方法查找速度很 快，但是當(dāng)目標(biāo)圖像中與模板對(duì)應(yīng)的圖像存在比例放大縮小或是投影變形如傾斜等,均會(huì)影響查找結(jié)果。涉及到的算子通常為 create_shape_model 和 find_shape_model線性變形匹配模板 planar_deformable_model是指模板在行列方

3、向上可以進(jìn)行適當(dāng)?shù)目s放。行列方向上可以分別獨(dú)立的 進(jìn)行一個(gè)適當(dāng)?shù)目s放變形來(lái)匹配。主要參數(shù)有行列方向查找縮放比例、圖像金字塔、行列方向匹配分?jǐn)?shù)（指可接受的匹 配分?jǐn)?shù)，大于這個(gè)值就接受，小于它就舍棄）、設(shè)置超找的角度、己經(jīng)超找結(jié)果后得到的位置和匹配分?jǐn)?shù)線性變形匹配又分為兩種：帶標(biāo)定的可變形模板匹配和不帶 標(biāo)定的可變形模板匹配。涉及到的算子有：不帶標(biāo)定的模板：創(chuàng)建和查找模板算子create_planar_uncalib_defbrmable_model 禾口find planar uncalib deformable model帶標(biāo)定模板的匹配：先讀入攝像機(jī)內(nèi)參和外參read_cam_par禾口 r

4、ead_pose創(chuàng)建和查找模板算子create_planar_calib_defdrmable_model 禾口find planar calib deformable model局部變形模板 是指在一張圖上查找模板的時(shí)候，可以改變 模板的尺寸，來(lái)查找圖像上具有局部變形的模板。例如包裝 紙袋上圖案查找。參數(shù)和線性變形額差不多算子如下：create_locaLdeformable_model 禾口find_local_defbrmable_model 比例縮放末班匹配 是介于一般形狀匹配和線性變形匹配之 間的一種方法。它可以匹配放大或是縮小的模板，但是僅限 于模板大小的縮放，即行列縮放因子一樣。

5、這也是它和線性 縮放最大的不同。涉及到的算子如下：ereate_sCalebshape_model和 find_scale_shape_modelHALCON形狀匹配LIntExport Herrorcreate_shape_model(const Hobject& Template ,/reduce domain后的模板圖像HlongNumLevels,金字塔的層數(shù)，可設(shè)為“ auto ”010的整數(shù)DoubleAngle Start,模板旋轉(zhuǎn)的起始角度DoubleAngleExtent,模板旋轉(zhuǎn)角度范圍，>；=0DoubleAngleStep,/旋轉(zhuǎn)角度的步長(zhǎng)，>=O a

6、nd<=pi/16const char* Optimization, /設(shè)置模板優(yōu)化和模板創(chuàng)建方法const char* Me trie,/ 匹配方法設(shè)置Hlong Contrast, 設(shè)置對(duì)比度Hlong MinContrast,/設(shè)置最小對(duì)比度Hlong* Mode 1ID ） 輸出模板句柄進(jìn)一步分析：NumLevels越大，找到匹配使用的時(shí)間就越小。另外必須保 證最高層的圖像具有足夠的信息（至少四個(gè)點(diǎn)）。可以通過inspect_shape_model函數(shù)查看設(shè)置的結(jié)果。如果最高層金字 塔的消息太少，算法內(nèi)部會(huì)自動(dòng)減少金字塔層數(shù)，如果最底 層金字塔的信息太少，函數(shù)就會(huì)報(bào)錯(cuò)。如果設(shè)為a

7、uto ,算法會(huì)自動(dòng)計(jì)算金字塔的層數(shù)，我們可以通過 get_shape_model_params函數(shù)查看金字塔的層數(shù)。如果金字 塔的層數(shù)太大，模板不容易識(shí)別出來(lái)，這是需要將 find_shape_model 函數(shù)中 MinScore 和 Greediness 參數(shù)設(shè)置 的低一些。如果金字塔層數(shù)太少找到模板的時(shí)間會(huì)增加。可 以先使用inspect_shape_model函數(shù)的輸出結(jié)果來(lái)選擇一個(gè) 較好的金字塔層數(shù)。參數(shù)Angle Start、Angle Extent定義了模板可能發(fā)生旋轉(zhuǎn)的范 圍。注意模板在find_shape_model函數(shù)中只能找到這個(gè)范圍 內(nèi)的匹配。參數(shù) Angle Step

8、定義了旋轉(zhuǎn)角度范圍內(nèi)的步長(zhǎng)。 如果在find_shape_model函數(shù)中沒有指定亞像素精度，這個(gè) 參數(shù)指定的精度是可以實(shí)現(xiàn)find_shape_mode函數(shù)中的角度的。參數(shù)AngleStep的選擇是基于目標(biāo)的大小的，如果模板 圖像太小不能產(chǎn)生許多不同離散角度的圖像，因此對(duì)于較小 的模板圖像 AngleStep應(yīng)該設(shè)置的比較大。如果AngleExtent不是Angle Step的整數(shù)倍，將會(huì)相應(yīng)的修改Angle Step。如果選擇complete pre gene ration,不同角度的模板圖像將會(huì)產(chǎn)生并保存在內(nèi)存中。用來(lái)存儲(chǔ)模板的內(nèi)存與旋轉(zhuǎn)角度的 數(shù)目和模板圖像的的點(diǎn)數(shù)是成正比的。因此，如

9、果Angle Step太小或是Angle Extent太大，將會(huì)出現(xiàn)該模型不再 適合（虛擬）內(nèi)存的情況。在任何情況下，模型是完全適合 主存儲(chǔ)器的，因?yàn)檫@避免了操作系統(tǒng)的內(nèi)存分頁(yè)，使得尋找 匹配模板的時(shí)間變短。 由于find_shape_model函數(shù)中的角度 可以使用亞像素精度，一個(gè)直徑小于 200像素的模板可以選 擇 AngleStep >= 1.如果選擇 AngleStep= auto （or 向 0 后兼容）,create_shape_model將會(huì)基于模板的大小自動(dòng)定義 一個(gè)合適的角度步長(zhǎng).自動(dòng)計(jì)算出來(lái)的 Angle Step可以使用 get_shape_model_params

10、 函數(shù)查看。如果沒有選擇complete pregeneration,該模型會(huì)在每一層金字塔上建立在一個(gè)參考的位置。這樣在 find_shape_model 函數(shù)運(yùn)行時(shí)，該模型必須轉(zhuǎn)化為不同的角度和尺度在運(yùn)行時(shí) 在。正因?yàn)槿绱?，匹配該模型可能需要更多的時(shí)間。對(duì)于特別大的模板圖像，將參數(shù) Optimization設(shè)置為不同 于none的其他數(shù)值是非常有用的。如果Optimization = bone所，有的模型點(diǎn)將要存儲(chǔ)。在其他情況下，按照Optimization的數(shù)值會(huì)將模型的點(diǎn)數(shù)減少.如果模型點(diǎn)數(shù)變少 了,必須在find_shape_model函數(shù)中將參數(shù)Greediness設(shè)為一個(gè)比較小的

11、值，比如：0.7、0.8o對(duì)于比較小的模型，減 少模型點(diǎn)數(shù)并不能提高搜索速度，因?yàn)檫@種情況下通常顯著 更多的潛在情況的模型必須進(jìn)行檢查。如果 Optimization設(shè) 置為auto , create_shape_model自動(dòng)確定模型的點(diǎn)數(shù)。 Optimization的第二個(gè)值定義了模型是否進(jìn)行預(yù)處理(pre gene rated completely ), 是通過選擇 pre gene ration 或 者no_pregeneration 來(lái)設(shè)置的。如果不使用第二個(gè)值(例如： 僅僅設(shè)置了第一個(gè)值)，默認(rèn)的是系統(tǒng)中的設(shè)置，是通過 set_system( regenerate _shape_m

12、odels ，設(shè) 置)來(lái)的，對(duì)于 默認(rèn)值是(pregenerate_shape_models = *false 模型沒有)，進(jìn)行預(yù)處理模型的預(yù)處理設(shè)置通常會(huì)導(dǎo)致比較低的運(yùn)行時(shí) 間，因?yàn)槟Ｐ筒恍枰谶\(yùn)行時(shí)間時(shí)轉(zhuǎn)換。然而在這種情況下，內(nèi)存的要求和創(chuàng)建模板所需要的時(shí)間是比較高的。還應(yīng)該指出，不能指望這兩個(gè)模式返回完全相同的結(jié)果，因?yàn)樵?運(yùn)行時(shí)變換一定會(huì)導(dǎo)致變換模型和預(yù)處理變換模型之間不 同的內(nèi)部數(shù)據(jù)。比如，如果模型沒有 completely pre gene rated ,在find_shape_model函數(shù)中通常返回一個(gè)較 低的scores,這可能需要將 MinScore設(shè)置成一個(gè)較低的值。此外

13、，在兩個(gè)模型中插值法獲得的位置可能略有不同。如果 希望是最高精確度，應(yīng)該使用最小二乘調(diào)整得到模型位置。 參數(shù)Contras決定著模型點(diǎn)的對(duì)比度。對(duì)比度是用來(lái)測(cè)量目 標(biāo)與背景之間和目標(biāo)不同部分之間局部的灰度值差異。Contrast的選擇應(yīng)該確保模板中的主要特征用于模型中。Contrast也可以是兩個(gè)數(shù)值，這時(shí)模板使用近似 edges_image函數(shù)中滯后閾值的算法進(jìn)行分割。這里第一個(gè)數(shù)值是比較低的閾值，第二個(gè)數(shù)值是比較高的閾值。Contrast 也可以包含第三個(gè)，這個(gè)數(shù)值是在基于組件尺寸選擇重要模型組件時(shí)所設(shè)置的閾值，比如，比指定的最小尺寸的點(diǎn)數(shù)還少 的組件將被抑制。這個(gè)最小尺寸的閾值會(huì)在每相鄰

14、的金字塔層 之間除以2。如果一個(gè)小的模型組件被抑制，但是不使用滯后 閾值，然而在Contrast中必須指定三個(gè)數(shù)值，在這種情況下前 兩個(gè)數(shù)值設(shè)置成相同的數(shù)值。這個(gè)參數(shù)的設(shè)置可以 在inspect_shape_model函數(shù)中查看效果。如果Contrast設(shè)置 為auto create, _shape_model將 會(huì)自動(dòng)確定三個(gè)上面描 述的數(shù)值?；蛘邇H僅自動(dòng)設(shè)置對(duì)比度(auto_contrast ),滯后閾值(*auto_contrast_hyst )最或小是尺寸(auto_min_size )中一個(gè)。其他沒有自動(dòng)設(shè)置的數(shù)值可以按照上面的格式再進(jìn)行設(shè)置。可以允許各種組合，例如：如果設(shè)置auto

15、_contrast , auto_min_size ,對(duì)比度和最小尺寸自動(dòng)確 定；如果設(shè)置auto_min_size ，,20,30最小尺，寸會(huì)自動(dòng)設(shè)定， 而滯后閾值被設(shè)為20和30。有時(shí)候可能對(duì)比度閾值自動(dòng)設(shè) 置的結(jié)果是不滿意的，例如，由于一些具體應(yīng)用的原因當(dāng)某一個(gè)模型組件是被包含或是被抑制時(shí)，或是目標(biāo)包含幾種 不同的對(duì)比度時(shí)，手動(dòng)設(shè)置這些參數(shù)效果會(huì)更好。因此對(duì)比度閾值可以使用determine_shape_model_params 函數(shù)自動(dòng) 確定，也可以在調(diào)用 create_shape_model之前使用 inspect_shape_mode 函數(shù)檢查效果。MinContrast用來(lái)確定在

16、執(zhí)行 find_shape_model函數(shù)進(jìn)行識(shí) 別時(shí)模型的哪一個(gè)對(duì)比度必須存在，也就是說(shuō)，這個(gè)參數(shù)將 模型從噪聲圖像中分離出來(lái)。因此一個(gè)好的選擇應(yīng)該是在圖 像中噪聲所引起的灰度變化范圍。例如，如果灰度浮動(dòng)在 10 個(gè)灰度級(jí)內(nèi)，MinContrast應(yīng)該設(shè)置成10。如果模板和搜索 圖像是多通道圖像，Metric參數(shù)設(shè)置 成ignore_color_polarity在一，個(gè)，通道中的噪聲必須乘以通道 個(gè)數(shù)的平方根再去設(shè)置 MinContrast。例如，如果灰度值在 一個(gè)通道的浮動(dòng)范圍是 10個(gè)灰度級(jí)，圖像是三通道的，那 么MinContrast應(yīng)該設(shè)置為17。很顯然，MinContrast必須小

17、于 Contrast 如果要在對(duì)比度較低的圖像中識(shí)別模板，MinContrast必須設(shè)置為一個(gè)相對(duì)較小的數(shù)值。如果要是模 板即使嚴(yán)重遮擋(occluded )也能識(shí)別出來(lái)，MinContrast應(yīng)該設(shè)置成一個(gè)比噪聲引起的灰度浮動(dòng)范圍略大的數(shù)值，這 樣才能確保在find_shape_model函數(shù)中提取出模板準(zhǔn)確的 位置和旋轉(zhuǎn)角度。如果 MinContrast設(shè)置為auto ,最小對(duì)比 度會(huì)基于模板圖像中的噪聲自動(dòng)定義。因此自動(dòng)設(shè)定僅僅在 搜索圖像和模板圖像噪聲近似時(shí)才可以使用。此外，在某些 情況下為了遮擋的魯棒性，采用自動(dòng)設(shè)定數(shù)值是比較好的。使用get_shape_model_params函數(shù)

18、可以查詢自動(dòng)計(jì)算的最小對(duì)比度。參數(shù)Metric定義了在圖像中匹配模板的條件。如果Me trie =use_polarity ,圖像中的目標(biāo)必須和模型具有一樣的對(duì)比度。例 如，如果模型是一個(gè)亮的目標(biāo)在一個(gè)暗的背景上，那么僅 僅那些比背景亮的目標(biāo)可以找到。如果Metric =ignore_global_polarity ，在兩者對(duì)比度完全相反時(shí)也能找到目 標(biāo)。在上面的例子中，如果目標(biāo)是比背景暗的也能將目標(biāo) 找到。find_shape_model函數(shù)的運(yùn)行時(shí)間在這種情況下將會(huì)略 微增加。如果 Metric = ignore_local_polarity 即使局部，對(duì) 比度改變也能找到模型。例如，當(dāng)目

19、標(biāo)包含一部分中等灰度， 并且其中部分比較亮部分比較暗時(shí)，這種模式是非常有用 的。由于這種模式下find_shape_model函數(shù)的運(yùn)行時(shí)間顯著增 加，最好的方法是使用create_shape_model創(chuàng)建幾個(gè)反映目標(biāo) 可能的對(duì)比度變化的模型，同時(shí)使用find_shape_models 去匹配他們。上面三個(gè)metries僅僅適用于單通道圖像。如果 是多通道圖像作為模板圖像或搜索圖像，僅僅第一個(gè)通道被使 用。如果 Metric= ignore_color_pol arity , J即使顏色對(duì)比度局部變化也能找到模型。例如，當(dāng)目 標(biāo)的部分區(qū)域顏色發(fā)生變化 （e.g.從紅到綠）的情況。如果不能 提

20、前知道目標(biāo)在哪一個(gè)通道是可見的這種模式是非常有用 的。在這種情況下find_shape_model函數(shù)的運(yùn)行時(shí)間也會(huì)急劇增加。ignore_color_polarity 可以使用于具有任意通道數(shù)目 的圖像中。如果使用于單通道圖像，他的效果和ignore_local_polarity 是完全相同的當(dāng)。Me trie = ignore_color_polarity 時(shí)，create_shape_model創(chuàng)建的模板通道數(shù)目和find_shape_model中的圖像通道數(shù)目可以是不同的。例如， 可以使用綜合生成的單通道圖像創(chuàng)建模型。另外，這些通道 不需要是經(jīng)過光譜細(xì)分（像RGB圖像）的。這些通道還可

21、以包 括具有在不同方向照亮同一個(gè)目標(biāo)所獲得的圖像。模型圖像Template的domain區(qū)域的重心是模板的初始位 置，可以在set_shape_model_origin函數(shù)中設(shè)置不同的初始 位置。LIntExport Herror find_shape_model(const Hobject&Image,搜索圖像HlongModellD, 模板句柄DoubleAngle Start, /搜索時(shí)的起始角度DoubleAngleExtent, /搜索時(shí)的角度范圍，必須與創(chuàng)建模板時(shí)的有交集。DoubleMinScore, /輸岀的匹配的質(zhì)量系數(shù) Score都得大于該值HlongNumMatc

22、hes,/定義要輸出的匹配的最大個(gè)數(shù)DoubleMaxOverlap,/當(dāng)找到的目標(biāo)存在重疊時(shí)，且重疊大于該值時(shí)選擇一個(gè)好的輸出const char* SubPixel, /計(jì)算精度的設(shè)置，五種模式，多 選2, 3Hlong NumLevels, /搜索時(shí)金字塔的層數(shù)Double Greediness , 貪婪度，搜索啟發(fā)式，一般都設(shè)為0.9,越高速度快容易出現(xiàn)找不到的情況Halcon:HTuple*Row, /輸出匹配位置的行坐標(biāo)Halcon:HTuple *Column,輸出匹配位置的列坐標(biāo)Halcon:HTuple*Angle,輸出匹配角度Halcon:HTuple *Score )/輸

23、出匹配質(zhì)量進(jìn)一步分析：注意Row、Column的坐標(biāo)并不是模板在搜索圖像中的精確 位置，因此不能直接使用他們。這些數(shù)值是為了創(chuàng)建變換矩 陣被優(yōu)化后的，你可以用這個(gè)矩陣的匹配結(jié)果完成各種任 務(wù)，比如調(diào)整后續(xù)步驟的ROLScore是一個(gè)0到1之間的數(shù)，是模板在搜索圖像中可見比 例的近似測(cè)量。如果模板的一半被遮擋，該值就不能超過0.5。Image的domain定義了模型參考點(diǎn)的搜索區(qū)域，模型參考 點(diǎn)是在create_shape_model中用來(lái)創(chuàng)建模型的圖像的 domain區(qū)域的重心。不考慮使用函數(shù) set_shape_model_origin設(shè)置不同的初始位置。在圖像domain區(qū)域的這些點(diǎn)內(nèi)搜索

24、模型，其中模型完全屬于這幅 圖像。這意味著如果模型超出圖像邊界，即使獲得的質(zhì)量系 數(shù)(score)大于MinScore也不能找到模型。這種性能可以通過 set_system( border_shape_models , true 這樣)那改些變超，出 圖像邊界，質(zhì)量系數(shù)大于 MinScore的模型也能找到。這時(shí) 那些在圖像外面的點(diǎn)看作是被遮擋了，可以降低質(zhì)量系數(shù)。 在這種模式下搜索的時(shí)間將要增加。參數(shù)Angle Start和Angle Extent確定了模型搜索的旋轉(zhuǎn)角度， 如果有必要，旋轉(zhuǎn)的范圍會(huì)被截取成為create_shape_model函數(shù)中給定的旋轉(zhuǎn)范圍。這意味著創(chuàng)建模型和搜索時(shí)的角

25、度 范圍必須真正的重疊。在搜索時(shí)的角度范圍不會(huì)改變?yōu)槟?2*pi的。為了簡(jiǎn)化介紹，在該段落剩下的部分所有角度都用 度來(lái)表示，而在find_shape_model函數(shù)中使用弧度來(lái)設(shè)置 的。因此，如果創(chuàng)建模板時(shí)，AngleStart=- 20、AngleExtent=40 ,在搜索模板函數(shù) find_shape_model 中設(shè) 置 AngleStart=350 、AngleExtent=20 ,盡管角度模 360 后是重疊的，還是會(huì)找不到模板的。為了找到模板，在這個(gè)例子中 必須將 AngleStart=350 改為 AngleStart=- 10。參數(shù) MinScore定義模板匹配時(shí)至少有個(gè)什么

26、樣的質(zhì)量系數(shù)才算是在 圖像中找到模板。MinScore設(shè)置的越大，搜索的就越快。如果模板在圖像中沒有被遮擋，MinScore可以設(shè)置為0.8這么高甚至0.9。NumMatches定義了在圖像上找到模板的最大的個(gè)數(shù)。如果匹配時(shí)的質(zhì)量系數(shù)大于 MinScore的目標(biāo)個(gè)數(shù)多于NumMatches ,僅僅返回質(zhì)量系數(shù)最好的NumMatches個(gè)目標(biāo)位置。如果找的匹配目標(biāo)不足NumMatches ,那么就只返回找到的這幾個(gè)。參數(shù) MinScore優(yōu)于Num Matches o 如果模型具有對(duì)稱性，會(huì)在搜索圖像的同一位置和不同角度 上找到多個(gè)與目標(biāo)匹配的區(qū)域。參數(shù)MaxOverlap是0到1Z間的，定義了

27、找到的兩個(gè)目標(biāo)區(qū)域最多重疊的系數(shù)，以便 于把他們作為兩個(gè)不同的目標(biāo)區(qū)域分別返回。如果找到的兩 個(gè)目標(biāo)區(qū)域彼此重疊并且大于MaxOverlap，僅僅返回效果最好的一個(gè)。重疊的計(jì)算方法是基于找到的目標(biāo)區(qū)域的任意方 向的最小外接矩形（看smallest_rectangle2） o如果 Ma xO ve ria p=0,找到的目標(biāo)區(qū)域不能存在重疊，如果 MaxOverla p=l ,所有找到的目標(biāo)區(qū)域都要返回。SubPixel確定找到的目標(biāo)是否使用亞像素精度提取。如果 SubPixel設(shè)置為none，（或者false背景兼容），模型的位置僅 僅是一個(gè)像素精度和在 create_shape_model中定義的角度 分辨率。如果 SubPixel 設(shè) 置為interpo lation（或true ）,位 置和角度