圖像邊緣特征檢測實現(xiàn)多目標跟蹤的有序匹配算法研究

圖像邊緣特征檢測實現(xiàn)多目標跟蹤的有序匹配算法研究

王琪(江蘇聯(lián)合職業(yè)技術(shù)學院揚州分院繼續(xù)教育部江蘇揚州225003)0引言在視頻車輛檢測方面，單一的特征計算相對簡單高效，對高速公路這類簡單環(huán)境情況下的目標檢測具有較好效果。但其實用性不強，對噪聲干擾較為敏感，特別在有行道樹、云彩、行人天橋、建筑物等相似干擾目標出現(xiàn)時，誤檢率迅速增加。對于解決城區(qū)復雜交通場景下的目標檢測問題，單靠某一種特征計算很難完成檢測任務(wù)，每種特征計算都有一定的適用范圍，多特征組合方法是當前主流[1]。另外，基于先驗知識的特征計算很容易受到環(huán)境噪聲干擾，適應(yīng)性差。區(qū)域統(tǒng)計特征計算由于具有相對穩(wěn)定、魯棒性強、抗干擾能力強等優(yōu)點，已成為當前目標檢測的熱點。1特征提取特征提取在圖像處理研究中具有重要的地位，眾多學者對特征提取的方法進行了大量的研究。特征提取的種類不僅是對形狀特征的提取，還有對顏色特征、空間特征的提取。在目前的形狀特征提取研究中，有兩種表示方法：一種是以圖像輪廓或邊界進行特征提取，另一種是對圖像所在區(qū)域進行特征提取[2]。前者目標是圖像的邊界，后者目標是圖像的整個區(qū)域。以下是比較常見的特征提取方法：1)邊界描述特征法。基于Hough的邊界特征法的基本思想主要是通過對邊緣特征的描述獲取圖像的基本形狀參數(shù)。Hough是利用圖像的區(qū)域特性將邊緣組成一種封閉的區(qū)域邊界，其基本思想是將集中的點連成線。邊界直方圖的基本思想是求出圖像的邊緣，然后做出有關(guān)于邊緣方向的直方圖。2)幾何法。將形狀的表達方式變?yōu)閿?shù)學的幾何表達方式。每個圖像都有周長和面積等幾何參數(shù)。3)區(qū)域參數(shù)法。每一個實物都有其區(qū)域，而這個方法就是將實物區(qū)域作為不變量來描述形狀。為了更好地解決在城市復雜環(huán)境下的車載多目標檢測問題，本文通過對特征的選擇對比分析發(fā)現(xiàn)，統(tǒng)計特征以及組合特征均能在復雜環(huán)境下具有較好的魯棒性。本文選擇提取車輛外框以及人的頭肩等區(qū)域信息，這些區(qū)域均具有明顯的固定邊緣和線性特征，這也是本文檢測的目標區(qū)別于其他目標(如：橋梁、樹等非規(guī)則目標)較為顯著之處。在此基礎(chǔ)上，提出采用Harr與HOG組合特征的兩步目標檢測算法。Harr特征能夠很好地表達目標邊緣和線性，盡管該特征比較粗略，但通過AdaBoost級聯(lián)分類器，可以舍棄那些大量的且對檢測不起作用的特征，而保留少量的對目標檢測起關(guān)鍵作用的特征，因此檢測效率很高[3]。2有序匹配算法現(xiàn)有特征匹配的圖像檢測方法中，一般都是特征間的一對一匹配，一組匹配特征間是獨立匹配的，不考慮所選取的目標圖像描述特征間的邏輯關(guān)系與結(jié)構(gòu)等，這就使得匹配結(jié)果通常表現(xiàn)出局部性，難以從全局上實現(xiàn)目標圖像的準確檢測[4]。因此，本文提出一種基于圖同構(gòu)理論的特征匹配方法，綜合編輯距離、層次關(guān)系等特征，計算目標特征的結(jié)構(gòu)級相似性，對目標圖像特征的表示有向圖中以點、邊有序交替匹配的方式來判斷目標的有向圖近似同構(gòu)，從而實現(xiàn)基于子圖同構(gòu)判定的目標圖像檢測。以上特征匹配思想的基礎(chǔ)是圖匹配問題，其本質(zhì)上是一個NP完全問題，這類問題的常用解決方案是通過計算和匹配結(jié)構(gòu)的相似性實現(xiàn)，其指導思想是：基于相鄰元素相似性倒推元素自身相似度，即，若節(jié)點的鄰居節(jié)點相似，則節(jié)點本身也相似，其核心是相似度傳播算法。最典型的兩個基于結(jié)構(gòu)的本體匹配算法SF和GMO，其核心思想都是：擁有相似父/子概念的概念可能相似，擁有相似屬性的概念可能相似。基于子圖近似同構(gòu)的特征匹配方法(CharactoreMatchingbasedSubgraphIsomorphism,SICM)框架如圖1所示。由圖1可知，SICM是一個順序匹配器，主要包括4個主要功能模型：錨點與子圖提取、結(jié)構(gòu)相似度量、子圖近似同構(gòu)判定、基于子圖同構(gòu)的目標匹配。所謂錨點，是指待目標中第一對確定為相似的屬性特征，表現(xiàn)在有向標記圖中就是第一對確定匹配的節(jié)點，其形式化定義如下：2.1定義1對于待匹配目標的特征雙重編碼A和B，計算其對應(yīng)的有向圖G(A)和G(B)的相似度需要完成如下計算：①特征編輯距離相似度；②特征層次關(guān)系相似度；③特征其他關(guān)系相似度；④結(jié)構(gòu)相似度。具體解釋如下：圖1特征雙重編碼有序匹配算法框架(1)則x與y間編輯距離相似度計算如式(2)：(2)其中，α、β為權(quán)重調(diào)整參數(shù)，且02)特征層次關(guān)系相似度：設(shè)x在G(A)中入度集為xin={xi∈V(A)|?xiHcx}，出度集為xout={xj∈V(A)|?xHcxj}，類似y在G(B)中入(出)度集分別為yin、yout，則x與y層次關(guān)系相似性計算如式(3)：(3)xin?yin={x|x∈xin,y∈yin:Se(x,y)∈OM(x,y)}表示x、y父節(jié)點中可匹配的節(jié)點集；xout?yout={x|x∈xout,y∈yout:Se(x,y)∈OM(x,y)}表示x、y子節(jié)點中可匹配的節(jié)點集。3)節(jié)點間其他關(guān)系相似性：記與x、y存有R關(guān)系的節(jié)點集合分別為xR={x′∈V(A)|r∈RA:?(x′rx)∨(xrx′)}和yR={y′∈V(B)|r∈RB:?(y′ry)∨(yry′)}，若?r1∈RA,r2∈RB，有式(4)成立：(4)則記節(jié)點集為xR?yR，以加權(quán)后得到節(jié)點間其他關(guān)系相似度計算如式(5)：(5)4)結(jié)構(gòu)相似性：設(shè)為A、B的一對錨點，x、y的導出子圖G(x)、G(y)與G(A)、G(B)間結(jié)構(gòu)相似度計算如式(6)：S(G(x),G(y))=η·Se(x,y)+φ·SHc(x,y)+ξ·SR(x,y)(6)η+φ+ξ=1為權(quán)重參數(shù)。若兩個有向圖G、G′點、邊間保持一一對應(yīng)關(guān)系，且對應(yīng)點(邊)間保持相同關(guān)聯(lián)關(guān)系，則G和G′同構(gòu)，記為G?G′。由于圖像檢測中只需關(guān)鍵特征的相似度滿足閾值要求即可判定為匹配，因此本文提出了圖的近似同構(gòu)概念。2.2定義2設(shè)給定目標A和B，其有向圖分別為G(A)和G(B)，若根節(jié)點a∈G(A)，在G(B)中存在一點b，有為A、B的一對錨點；對于G(A)和b的導出子圖G(Bb)，有V(A)?V(Bb),E(A)?E(Bb)，?x∈V(A):?y∈V(Bb):OM(x,y)，?e∈E(A):?e′∈E(Bb):OM(e,e′)，滿足S(G(A),G(Bb))≥θ，θ為匹配閾值，則稱A與B是圖近似同構(gòu)的，記為G(A)≈G(B)?；趫D近似同構(gòu)，SICM算法思想是：按廣度優(yōu)先遍歷法，在確定匹配錨點后，基于節(jié)點出入度進行節(jié)點與邊的有序交替匹配，直至在G(B)中找到一個與G(A)近似同構(gòu)的子圖。算法的主要步驟是：①在G(B)中找到根節(jié)點a∈G(A)的錨點b；②生成錨點導出有向圖G(Bb)；③判定G(A)與G(Bb)是否滿足圖近似同構(gòu)。若滿足則認為其是可匹配的，否則，迭代上述過程直至收斂。3圖像邊緣特征檢測所謂邊緣特征檢測，就是計算圖像中像素亮度變化差別很大的點的導數(shù)，應(yīng)用求導方法檢測數(shù)字圖像的灰度值不連續(xù)的現(xiàn)象[5]。如圖2所示。圖2圖像邊緣及相應(yīng)導數(shù)3.1梯度算子梯度和一階導數(shù)相對應(yīng)，相應(yīng)梯度算子就對應(yīng)相應(yīng)的一階導數(shù)算子，等式是一個連續(xù)函數(shù)f(x,y)在(x,y)處的梯度計算：(7)梯度是一個矢量，存在幅值和相位，相位和幅值分別如下：(8)(9)3.2Laplacian算子Laplacian算子是一種應(yīng)用于二階導數(shù)的算子，一個連續(xù)函數(shù)f(x,y)在(x,y)處定義如下：(10)Laplacian算子在圖像處理中也需要利用模板實現(xiàn)，且模板有兩個特別之處；第一是在模板的中心處該系數(shù)必須為正數(shù)；第二是模板內(nèi)的所有系數(shù)之和為零。(11)(12)拉普拉斯算子檢測圖像的邊緣，經(jīng)常會產(chǎn)生有雙像素的邊界，此外對噪聲也比較敏感，所以一般不會使用這種方法對圖像邊緣檢測。4有序匹配算法的圖像邊緣特征檢測4.1Prewitt算子Prewitt算子是一種對像素點在該領(lǐng)域內(nèi)各個方向上的像素差，并且在圖像的像素邊緣出現(xiàn)的極大值或極小值判斷邊緣，從而確定邊緣，消除不確定的邊緣，平滑噪聲的效果明顯。檢測的具體方向模塊各自檢測相應(yīng)的對象，一個檢測水平方向邊緣，另外一個則是檢測垂直方向的邊緣，方向模塊如表1所示。表1Prewitt算子方向模塊一個連續(xù)的函數(shù)f(x,y)，應(yīng)用Prewitt算子算法，得到以下數(shù)學公式：Gx=|[f(x-1,y-1)+f(x-1,y)+f(x-1,y+1)]-[f(x+1,y-1)+f(x+1,y)+f(x+1,y+1)]|Gy=|[f(x-1,y+1)+f(x,y+1)+f(x+1,y+1)]-[f(x-1,y-1)+f(x,y-1)+f(x+1,y-1)]|(13)則p(x,y)=Gx+Gy(14)若P(x,y)大于或等于閾值T，則(x,y)表示邊緣處的像素點，P(x,y)則表示為邊緣圖像，但是，應(yīng)用這種方法檢測圖像邊緣，會存在一個問題，錯誤判斷圖像的邊緣，因為有些噪聲點的灰度值很高，或者本來應(yīng)該有的邊緣點因為其灰度值比較低，在檢測邊緣時沒能正確檢測出來，導致出現(xiàn)多余的邊緣或者丟失了圖像的某些邊緣。對于灰度值較低的圖像邊緣，使其灰度值增加，可以對圖像進行銳化，然后再Prewitt算子邊緣檢測，圖像銳化的效果就是使圖像灰度的反差增強，把模糊的圖像變得更加清楚，增加其對比性，這里選擇拉普拉斯算子的方法具有很好的銳化效果，能夠增強圖像灰度突變區(qū)。這種方法既能保留原圖像的灰度值，還能突出圖像的細節(jié)信息。拉普拉斯銳化方程如式(15)：(15)應(yīng)用Prewitt算子圖像邊緣檢測源程序如下：I=imread(檢測圖像)；J1=edge(I，′prewitt′，0.04)；0.04%為梯度閾值Figure，imshow(I)；Figure，imshow(J1)；4.2Log算子Log算子是一種結(jié)合高斯濾波和拉普拉斯算子兩種算子的方法對圖像進行邊緣檢測，Log算子邊緣檢測方程式如下：?2g(x,y)=?2[h(x,y)×f(x,y)]=?2h(x,y)×f(x,y)(16)σ等于2的Log算子檢測圖像的邊緣，檢測結(jié)果如圖3，其源程序如下：I=imread(檢測圖像);BW1=edge(I，′log′，0.003)；%σ=2imshow(BW1)；title(′σ=2′)圖3Log算子圖像邊緣檢測4.3Canny算子Canny算子是使用雙閾值法檢測邊緣，這兩個閾值有不同的用法，其優(yōu)勢在于不易受噪聲影響，能檢測出圖像真正的弱邊緣，提升邊緣敏感度，檢測性能較好。邊緣檢測源程序如下：I=imread(檢測圖像)；imshow(I)；BW1=edge(I，′canny′，0.2)；Figure，imshow(BW1)；Canny算子檢測效果如圖4。圖4Canny算子檢結(jié)果圖5有序匹配算法的多目標跟蹤5.1道路背景提取在系統(tǒng)調(diào)試測試過程中，道路背景提取是其基礎(chǔ)，以下說明這個測試過程中遇到的幾個典型問題及其解決辦法：①車輛在沒有停車標志的路段進行倒庫處理。用串口給上位機發(fā)送此處的圖像，將圖像和識別停車標志P的程序進行比對，發(fā)現(xiàn)該處算法存在漏洞，經(jīng)多次改進后讓車輛實現(xiàn)只在有停車標志的路段進行停車處理。②程序沒有改動但車輛行駛行為識別效果完全不一樣。經(jīng)調(diào)研分析后發(fā)現(xiàn)，電池供電不足會導致這種現(xiàn)象。③無端客戶端出現(xiàn)系統(tǒng)安裝包突然無法下載現(xiàn)象。查閱K60的相關(guān)資料后可知，是由于插拔下載器不當導致K60進行自鎖保護，對其進行解鎖即可繼續(xù)使用。5.2常規(guī)道路檢測圖5是車輛行駛在雙車道的左車道時的情況，其中有幾行的中心線略偏右，從圖5中可以看出中心線略偏右的那幾行沒有右邊界，這種情況下程序中先預估右邊界值，然后中心值取左右邊界值之和的一半，由圖5可看出調(diào)試結(jié)果和程序設(shè)定的一致，擬合出的中心線近似一條直線且在圖像的中間。圖5雙車道路段圖6是車輛行駛在單車道時的情況。圖6和圖7雖然都是車輛在直道處的情況，但在程序上是分別處理的。因為單車道的情況是所有路況中最容易判別的，雙車道的情況容易和過彎混淆。由圖7可以看出單車道路段處程序擬合出的中心線在圖像的中間位置且近似直線，所以本文針對此類路段設(shè)計的算法是正確的。圖6單車道路段圖7是車輛行駛到有行駛方向指示路口時的情況，在這種情況下，中心線的擬合要稍作調(diào)整，否則容易出現(xiàn)箭頭所在行的中心值偏右的情況，這是因為箭頭處也有黑白跳變的明顯特征，從而導致查找道路左邊界時發(fā)生誤判。由圖7可知，中心線擬合正確，沒有出現(xiàn)各行中心值差別很大的情況。圖7有行駛方向指示的路口圖8和圖9是車輛進彎道前和進彎道后的情況(以左拐為例)。車輛進入彎道前，可以采集到道路兩邊邊界值，通過計算左右邊界值的平均值即可得到中心線。車輛進入彎道后，左側(cè)邊界值無法找到，這種情況下每行的中心值是按如下方法計算得到?，F(xiàn)設(shè)A為任一行的中心值，B為該行右邊界的邊界值，C為該行的上一行的中心值，D為上一行的右邊界值，則A=C+(D-B)，由圖10所示，擬合出的中心線和右邊界變化趨勢一致，所以擬合出的中心線正確。圖8進入彎道前的中心擬合線圖9進入彎道后的中心擬合線5.3有交通燈路口處的車輛識別圖10是車輛在十字路口判別到有交通燈情況下的識別圖，由圖10右邊的標志位turn