一種多特征融合跟蹤算法

一種多特征融合跟蹤算法

目標跟蹤廣泛應用于許多領(lǐng)域，如場景監(jiān)控、運動記錄、機器人獨立導航、車輛自動駕駛系統(tǒng)、視頻編輯、壓縮、引擎等。在實際的跟蹤過程中，不同的資源用于代表目標，如顏色、邊緣、光流、紋理、運動、cift函數(shù)點等。然而，由于背景的變化很難預測目標表面的特性，目標特征隨著其自身的運動而不斷變化。因此，使用單一資源通常很難與簡單的資源一起跟蹤目標。不同資源的組合是解決這一問題的有效手段。近年來,研究人員提出了大量基于多特征融合的跟蹤算法,其主要區(qū)別在于特征提取和融合策略的不同.王永忠等針對跟蹤過程中的特征進行了研究,通過選擇對當前場景區(qū)分性較高的特征模型進行目標的跟蹤和模型更新.Birchfield等通過融合目標的顏色和梯度特征來跟蹤人的頭部運動它假設(shè)兩特征在跟蹤過程中對跟蹤結(jié)果的貢獻始終是固定的.在此基礎(chǔ)上,Li等提出了一種乘性融合策略,在粒子濾波的框架下,通過融合顏色、結(jié)構(gòu)和邊緣等多種特征,實現(xiàn)對目標的跟蹤,用三種特征觀測概率的乘積作為目標狀態(tài)的觀測似然概率.由于采用了特征觀測概率的乘積,導致融合的結(jié)果對噪聲非常敏感,當場景中有相似目標或背景復雜時容易丟失目標.Wang等將該融合策略應用到粒子濾波跟蹤算法中,把顏色和邊緣作為目標的特征描述,用觀測概率的加權(quán)和作為目標狀態(tài)的觀測似然概率.這種加性融合的結(jié)果雖然一定程度上抑制了噪聲,但它并不能提高融合跟蹤的可信度.鐘小品等使用粒子濾波技術(shù),統(tǒng)計樣本的二階中心矩并求Frobenius范數(shù)以表征特征受噪聲的污染程度最后適時切換乘性和加性兩種融合策略.針對加性和乘性融合中所出現(xiàn)的問題,本文提出了一種新的多特征融合跟蹤算法.首先,我們定義了一種特征不確定性度量,該度量可以有效反映不同特征在跟蹤過程中的不確定性;然后,為了克服加性和乘性融合策略的不足,提出了一種新的融合策略,該融合策略可以利用特征的不確定性自適應地調(diào)節(jié)不同特征對跟蹤結(jié)果的貢獻;最后,將該融合策略應用于粒子濾波的跟蹤框架中,實現(xiàn)了對目標的跟蹤.對比乘性融合,新的融合策略減少了對噪聲的放大和對估計目標峰值的抑制.因此能有效解決相似目標靠近時分辨困難的問題,對目標相互遮擋或背景出現(xiàn)強干擾時有著較好的跟蹤穩(wěn)定性.對比加性融合,新的融合策略提高了其觀測似然函數(shù)中對應于目標真實狀態(tài)處的峰值的尖銳程度,對后驗概率分布的預測更加準確,跟蹤結(jié)果也因此更加可靠.1基于序列蒙特卡洛和遞歸貝葉斯估計的估計算法為了定義貝葉斯跟蹤問題,考慮如下隨時間變化的目標狀態(tài):其中,xt是目標在時刻t的狀態(tài)向量,ξt是過程噪聲.跟蹤的目的是根據(jù)如下測量方程,遞歸估計目標的狀態(tài):其中,zt是狀態(tài)xt的觀測值,et是觀測噪聲.定義{ξ1:t},{e1:t}分別為過程噪聲序列和測量噪聲序列.一般我們假設(shè){ξ1:t}是獨立同分布的噪聲序列,{e1:t}是獨立同分布的噪聲序列,且兩噪聲序列和初始狀態(tài)彼此相互獨立.從貝葉斯估計角度,跟蹤問題就是根據(jù)給定觀察序列{z1:t}遞歸估計目標狀態(tài){xt},即構(gòu)造目標狀態(tài)的后驗概率分布p(xt|z1:t).通常假設(shè)動態(tài)模型符合一階馬爾可夫狀態(tài)轉(zhuǎn)移,并且觀測關(guān)于狀態(tài)是條件獨立的.求解過程可由以下兩部分完成:1)預測過程2)更新過程對于非線性、非高斯的動態(tài)系統(tǒng),式(3)和式(4)的積分是無法解析計算的.粒子濾波是基于序列蒙特卡洛和遞歸貝葉斯的估計方法.它將積分運算轉(zhuǎn)化為有限樣本點的求和運算,即后驗概率分布p(xt|z1:t)可近似表述為N是粒子的數(shù)目;wt,j是時刻t第j個粒子的權(quán)值,滿足歸一化條件,即∑Nj=1wj=1;δ(·)是狄拉克函數(shù).假如粒子從重要性分布q(xt,j|xt-1,j,z1:t)中采樣得到,則遞歸貝葉斯估計過程可看作如下權(quán)值更新過程:選取先驗分布p(xt|xt-1)作為重要性采樣函數(shù),則權(quán)值更新過程(6)可以簡化為在算法的實際實現(xiàn)過程中,選取橢圓描述目標狀態(tài)x,x={cx,cy,lx,ly,θ}.其中,cx,cy,lx,ly和θ分別是橢圓中心坐標、長軸、短軸以及偏轉(zhuǎn)角.在粒子濾波算法中,式(1)的選擇是很重要的.由于難以獲得任意目標的運動特性,本文選取最簡單也是最常用的一階線性系統(tǒng)作為粒子濾波的狀態(tài)轉(zhuǎn)移模型:其中,A是狀態(tài)轉(zhuǎn)移矩陣,在這里取其為單位矩陣W為均值為0的高斯噪聲.2自適應特征融合跟蹤算法本節(jié)通過分析粒子濾波中出現(xiàn)的四種情況,定義了一種特征不確定性的度量.同時,借鑒乘性融合和加性融合的模型,提出了一種新的自適應特征融合跟蹤算法.2.1子研究特征在各時段的分布目標跟蹤過程中,針對不同的場景,每種特征對目標位置估計的準確度是不一樣的.怎樣度量各種特征在跟蹤過程中的不確定性(或確定性)是一個棘手的問題.在實際粒子濾波跟蹤算法中,當特征的鑒別能力較弱且粒子分布相對分散時容易造成目標丟失由此,本文從特征的鑒別能力和粒子空間分布兩個方面去分析特征在跟蹤中的不確定性.首先,對特征的似然函數(shù)(所有粒子在某種特征下的觀測概率刻畫了目標狀態(tài)的一個似然函數(shù))而言,不同的特征似然函數(shù)的尖銳程度是不同的.似然函數(shù)的尖銳程度越高,即觀測概率值僅集中在少數(shù)幾個粒子上,說明該特征的鑒別能力越強,此時不確定性越小.反之不確定性越大.其次,對粒子的空間分布而言,不同時刻,粒子的聚散程度是不同的.粒子濾波跟蹤過程中,目標的位置是由各粒子加權(quán)求和估計得到.粒子空間分布越集中,目標位置估計的方差越小,不確定性越小,反之亦然.結(jié)合上述分析,我們將單個特征作為一個虛擬的粒子濾波跟蹤過程.每種特征對應的粒子經(jīng)過預測后,都重采樣.經(jīng)過預測后,觀察概率值在粒子上的分布發(fā)生變化,經(jīng)過重采樣后,特征對應的粒子空間分布也發(fā)生改變.各種特征在各時刻的分布總體表現(xiàn)為以下四種情況,如圖1所示:1)粒子空間分布很聚集,則經(jīng)加權(quán)求和后,目標位置估計的方差很小;觀測概率值僅集中在少數(shù)幾個優(yōu)秀粒子上,該特征鑒別能力較高;經(jīng)過重采樣后,優(yōu)秀粒子被大量復制為下一步的跟蹤提供好的條件,該特征在跟蹤中的不確定性最低.2)粒子空間分布很聚集,目標位置估計的方差很小;觀測概率值在粒子上分布很均勻,特征的鑒別能力不是很高;該特征在跟蹤中的不確定性高于1).3)粒子空間分布很發(fā)散,目標位置估計的方差很大;概率值僅集中在少數(shù)幾個粒子上,該特征的鑒別能力較高;該特征在跟蹤中的不確定性也高于1).4)粒子的空間位置很發(fā)散,則經(jīng)加權(quán)求和后,目標位置估計的方差很大;觀測概率值在粒子上分布很均勻,該特征的似然概率分布很平緩,鑒別能力差;該特征在跟蹤中的不確定性最高.根據(jù)上述分析,定義了一種自適應的特征不確定性度量如下:其中,βit+1表示t+1時刻第i種特征的不確定性.σt是時刻t所有粒子空間位置的方差,表示粒子空間分布的分散程度.σt=tr(Σ),Σ表示粒子兩個位置坐標的協(xié)方差矩陣,σ越大粒子的空間位置越分散.H(pti)是時刻t第i種特征下所有粒子觀測概率值的熵,表示觀測概率值在粒子上的分散程度.在信息論中,熵是不確定性的量度:其中,p(zi|xj)表示第i種特征在第j個粒子狀態(tài)下的觀測概率值.H(pi)越大,則在此特征下觀測概率值在粒子上的分布越均勻.2.2基于特征不確定性的自適應融合策略在跟蹤的過程中,融合多種特征是提高跟蹤魯棒性的有效策略.文獻提出了乘性融合的策略在目標狀態(tài)給定的情況下,假設(shè)目標的各種觀測是條件獨立的.在乘性融合框架下,n種特征融合后的觀測概率如下:文獻提出了加性融合的策略,它與混合密度模型具有相同的形式.在加性融合框架下,n種特征融合后的觀測如下:其中,φi表示第i種特征所對應觀測概率的權(quán)值,滿足:∑ni=1φi=1.以上兩種融合策略各有優(yōu)缺點.由圖2可知:對比兩種單特征(Feature1,Feature2)的概率密度,乘性融合(Productrule)使概率密度分布變得更加尖銳.這說明融合后的概率密度鑒別能力更強了,這一結(jié)論支持了多特征融合提高跟蹤精度的觀點.然而它抑制了分布的多峰性,放大了噪聲.當兩個相似目標相互靠近甚至出現(xiàn)相互遮擋情況時,或背景出現(xiàn)強干擾時,乘性融合對目標位置的估計會發(fā)生很大的偏差,甚至跟蹤錯目標,這是跟蹤過程中應盡量避免的.對于加性融合(Sumrule)而言,融合的結(jié)果雖然并沒有提高概率密度的峰值,但是它對噪聲不敏感,多峰也沒有被抑制.這說明對于復雜的密度估計問題,加權(quán)和是一種很有效的工具.但是從概率的觀點看,加性融合模型并沒有提高后驗概率的置信度,融合后概率密度的鑒別能力并沒有增強,并沒有提高融合跟蹤的可信度.為了克服上述兩種融合策略的缺點,本文提出一種基于特征不確定性的自適應融合策略.在假設(shè)n種觀測特征是條件獨立的情況下,將每種特征的觀測概率值加上一個正比于該特征不確定性的均勻分布,做歸一化處理后,再取乘積.表達式如下:其中,βi表示特征i對應的不確定性,U(x)是一個離散的均勻分布.當n=2時,將式(13)展開得:結(jié)合式(14),對于兩種特征而言,新的融合算法展開后為:兩特征的乘性融合結(jié)果,加上兩特征加性融合的結(jié)果,再加上一個正比于兩特征不確定性乘積的均勻分布.本文的融合策略利用各種特征的不確定性調(diào)節(jié)其在觀測概率中所占的比重,其實質(zhì)是將乘性融合、加性融合統(tǒng)一到一個自適應的框架下當β1趨近于0時,即特征1的不確定性達到最小式(13)的第1項趨近于p(z1|x),特征1在觀測概率中所占的信息權(quán)重達到了其最大值.當β1趨近于∞時,即特征1的不確定性達到最大,式(13)的第1項趨近于1,即只有特征2在跟蹤中起作用.由圖2可知:對比乘性融合,本文的融合策略(Ourrule)對噪聲放大較小,沒有抑制分布的多峰性,能更好地處理相似目標靠近甚至相互遮擋情況對比加性融合,本文的融合使觀測概率分布變得更尖銳,提高了后驗概率密度的置信度,增強了鑒別能力,從而使跟蹤結(jié)果更加可靠.3基于邊緣特征的目標選取方法在實際應用中,選取對目標描述差異較大且相互獨立的顏色和邊緣特征來表征目標.本節(jié)首先給出兩種特征的提取方法,并由此給出目標候選區(qū)與模板相似度的計算和粒子的觀測概率模型,最后結(jié)合前文提出的多特征融合框架,給出算法的具體實現(xiàn).3.1圖像邊緣特征顏色是描述目標的一種主要特征,前人對目標顏色特征的描述進行了大量研究.文獻中提出了一種顏色直方圖來描述目標的顏色特征,它計算簡單、處理快速,對目標的部分遮擋、旋轉(zhuǎn)等比較魯棒其表達式為其中,I(x,y)是候選區(qū)像素點,Bc表示顏色直方圖的長度.邊緣是描述目標時另一種常用的特征.本文選擇在圖像灰度信息下通過加權(quán)梯度方向直方圖來描述目標的邊緣特征.首先,對圖像處理區(qū)域進行高斯平滑處理,在橢圓內(nèi)均勻采像素點I(x,y),對于每個點求其邊緣強度G和方向角α:以兩個軸線為界將橢圓分為4個部分,對于每個部分,將邊緣方向角量化成Be級的方向直方圖,并將每部分的方向直方圖對齊.其次,將每個點的邊緣強度信息融進去,得到各部分加權(quán)梯度方向直方圖.最后,將四部分的直方圖組合并歸一化.對于直方圖描述,Bhattacharyya距離是一種常用的相似度性量.htar和hmod分別表示當前歸一化后的候選區(qū)直方圖和模板直方圖.則兩直方圖的相似度為在此基礎(chǔ)上,兩種特征的觀測概率定義為其中,i∈{1,2},顏色是第1種特征,邊緣是第2種特征.3.2基于權(quán)值融合的觀測概率的估計跟蹤算法總結(jié)如下:步驟2.預測:由xt=Axt-1+W,根據(jù)上一幀的狀態(tài)xt-1得到當前幀的預測狀態(tài)xt;步驟3.計算觀測概率p(z1|xt,j),p(z2|xt,j),將兩者分別做歸一化處理,根據(jù)式(10)求兩特征觀測概率的熵H(pt1),H(pt2);步驟4.分別將顏色及邊緣特征下對應的粒子重采樣,在給定處理框內(nèi)計算兩種特征下N個粒子的位置方差,以防止個別粒子偏移較遠,引起方差過大;步驟5.由式(13)計算兩特征融合后的觀測概率p(z1,z2|x),由式(9)計算兩種特征的不確定性β1,β2,并將兩者做歸一化處理;步驟6.更新:根據(jù)特征融合后求得的似然概率更新粒子的權(quán)值wt,j=wt-1,jp(zt|xt,j),計算目標的當前的估計狀態(tài):步驟7.根據(jù)粒子權(quán)值分布決定是否重采樣,若1/(∑Nt=1w2t,j)<N/2,則從{xt,j}Nj=1中重新采樣N次得到{xt,jl}Nl=1,令粒子權(quán)值wt,l=1/N,否則不做處理;步驟8.轉(zhuǎn)步驟2.4邊緣跟蹤特征的不確定性:主要采用混合自適應的跟蹤策略為了驗證融合策略的有效性,我們不僅將本文算法和單特征跟蹤進行了比較,還與乘性融合及加性融合跟蹤進行了比較.另外,為了驗證算法的普適性,在數(shù)據(jù)源的選取上,本文在公共視頻集的基礎(chǔ)上選擇紅外和光學兩種不同的數(shù)據(jù)源.因此,實驗包括不同數(shù)據(jù)源情況下本文算法與單特征跟蹤(實驗1和實驗2)的比較,以及不同數(shù)據(jù)源情況下與乘性融合和加性融合的比較(實驗3和實驗4).為敘述簡潔,定義單一以邊緣為特征的跟蹤為邊緣跟蹤,類似地定義顏色跟蹤、乘性跟蹤和加性跟蹤.實驗參數(shù)設(shè)置如下:目標初始位置手動給定;粒子數(shù)目N設(shè)為100;均勻分布U(x)=1/N;方向直方圖取Be=18;光學視頻下顏色直方圖取Bc=216;紅外視頻下灰度信息直方圖取Bc=64;λ取值如表1所示.實驗1是紅外視頻序列下的行人跟蹤1.眾所周知,紅外視頻序列跟蹤的難點是視頻噪聲較大,導致目標易受背景干擾.同時,此視頻還存在另一個非常棘手的問題:行人之間的相互遮擋.如圖3所示,當目標被行人部分遮擋時(37幀),顏色跟蹤跟丟目標,而邊緣跟蹤和本文算法可以一直跟蹤目標.這是由于目標和其他行人的灰度信息十分相似,所用的顏色特征不能準確地分辨出目標.而邊緣特征是基于目標梯度方向的信息,雖然有部分遮擋,但兩者的邊緣特征有著明顯的區(qū)別.因此,這種情況下利用單一邊緣特征可以跟蹤目標,而本文的融合策略在跟蹤過程中可以自適應地提高顏色特征的不確定性,從而減少它在跟蹤過程中的信息權(quán)重,可以一直跟蹤目標.實驗2是光學視頻序列下的車輛跟蹤.該視頻序列受到諸多因素干擾.首先,車輛不斷進出陰影區(qū),導致車輛表面顏色不斷發(fā)生變化.其次,背景中存在樹枝等邊緣信息很強的干擾物.這些干擾因素會嚴重影響邊緣跟蹤的結(jié)果.如圖4所示,當車輛進入陰影區(qū)時,其表面光照產(chǎn)生了很大變化,雖然顏色跟蹤在121幀沒有跟丟目標,但估計出的目標位置已經(jīng)明顯偏離了目標的真實位置.而當車輛再次進入陰影區(qū)時(346幀),顏色跟蹤完全失效了.對于邊緣跟蹤而言,由于背景中樹枝等強邊緣信息的干擾,從邊緣獲取的信息非常不可靠,所以,在第246幀,邊緣跟蹤也完全跟丟了目標.因此,由于環(huán)境的復雜性,使用單一特征很難獲得魯棒的跟蹤結(jié)果.而本文的融合策略在跟蹤過程中可以根據(jù)外界環(huán)境的改變,自適應地調(diào)整特征的不確定性,進而調(diào)整其在觀測概率中所占的權(quán)重.所以,在整個視頻序列中,本文的算法可以較魯棒地跟蹤目標.為了進一步說明在跟蹤過程中特征不確定性與外界環(huán)境變化的關(guān)系.我們給出了實驗2中兩種特征的不確定性(見圖5).第1行是不同階段的視頻樣本,第2行是兩特征的不確定性.明顯可以看出特征的不確定性隨著環(huán)境的變化時刻在發(fā)生著改變我們可以把整個視頻序列大致分為五個階段:第一階段,目標剛進入視場區(qū),目標的顏色特征很明顯此時,其不確定性要明顯小于邊緣特征;第二階段目標長時間進入陰影區(qū),此時邊緣特征不確定性較小;第三階段,目標不斷地進出陰影區(qū),顏色特征和邊緣特征的不確定性交替變化;第四階段,目標出陰影區(qū),邊緣特征的不確定性要高于顏色特征;第五階段和第三階段類似.因此,由于目標所處環(huán)境的復雜性,利用單一特征跟蹤通常難以獲得滿意的效果.實驗3選自紅外視頻序列下的行人跟蹤(視頻出處同實驗1).該跟蹤主要難點來自其他相似行人的干擾和路燈的遮擋.如圖6所示,當目標經(jīng)過路燈時(486幀),乘性跟蹤和加性跟蹤都跟丟目標.這是由于路燈對目標有部分遮擋,從而使得路燈的干擾特征(邊緣、灰度)和目標自身非常相似,這種情況下,乘性融合的結(jié)果放大了噪聲,抑制目標的真實分布;而加性融合則降低了跟蹤的可信度.因此,兩者都跟丟了目標.而本文的融合策略則有效地避免了這些問題,當目標遇到和自身十分相似的行人或路燈干擾時,兩個特征的不確定性會自適應地進行調(diào)整,融合的結(jié)果沒有過分放大噪聲,可以將目標和行人或路燈有效地區(qū)分開來.另外,這種融合策略還保持了確定性特征的優(yōu)先權(quán),為下一步跟蹤提供了很好的先驗.實驗4選自光學視頻序列下的車輛跟蹤.該視頻跟蹤中遇到的難點主要是樹木對車輛的遮擋和背景中邊緣信息的干擾.如圖7所示,當目標經(jīng)過對其有遮擋的樹木時(116幀),加性跟蹤跟丟目標.這是由于樹木對車輛的遮擋導致車輛自身顏色特征發(fā)生突變,而背景干擾又增加了邊緣信息的不確定性,這種情況下,加性融合的結(jié)果并不能提高后驗概率的置信度,因此,目標的丟失是必然的.目標剛出第二個遮擋區(qū)時(291幀),由于背景的顏色特征和目標自身很相似,只能結(jié)合邊緣特征對目標輪廓的捕捉跟蹤目標.而乘性融合在相似特征干擾下對噪聲太敏感,最終跟丟目標.本文算法雖然由于外界的干擾在個別幀對目標位置的估計偏差可能較大,但可以馬上恢復跟蹤.其主要原因是:本文的融合策略不僅提高了后驗概率的可信度,而且可以在跟蹤過程中自適應地調(diào)整顏色及邊緣特征的不確定性,即使在相似背景的干擾下,仍然可以較魯棒地跟蹤目標.