基于鄰域線性搜索與卡爾曼濾波的單目視覺跟蹤定位系統(tǒng)

基于鄰域線性搜索與卡爾曼濾波的單目視覺跟蹤定位系統(tǒng)

計算機視覺是計算機科學(xué)和人工智能的重要分支。它不僅是一個工程領(lǐng)域，也是一個非常挑戰(zhàn)的科學(xué)領(lǐng)域?？茖W(xué)家的晉升被吸引來進行研究。計算機視覺研究的主要內(nèi)容是通過各種成像系統(tǒng)代替視覺器官作為信號輸入手段,由計算機來代替大腦完成對信息的處理和理解。運動目標跟蹤定位作為計算機視覺中的一個重要領(lǐng)域已經(jīng)成為目前研究的熱點問題,它通過視覺傳感器對運動目標連續(xù)運動的圖像序列的采集,從圖像序列中對運動目標進行檢測、跟蹤、定位,最終實現(xiàn)對運動目標行為的描述和理解。目前的計算機視覺跟蹤定位主要有多目視覺傳感器跟蹤定位、雙目視覺跟蹤定位和單目視覺跟蹤定位,但由于利用多目視覺傳感器和雙目視覺跟蹤定位中存在著視場小、立體匹配難、系統(tǒng)結(jié)構(gòu)龐大等缺陷,在很多場合已逐漸被結(jié)構(gòu)簡單、標定步驟少的單目視覺所代替。本實驗中通過單目視覺實現(xiàn)了對運動目標的跟蹤定位,設(shè)計了基于鄰域線性搜索與卡爾曼濾波器相結(jié)合的跟蹤算法,有效地減少了傳統(tǒng)的跟蹤算法對目標位置預(yù)測搜索的迭代時間,解決了在相鄰幀圖像中由于目標位置發(fā)生劇烈變化而容易出現(xiàn)目標丟失的問題,系統(tǒng)簡單便攜,具有較高的應(yīng)用價值。1系統(tǒng)的設(shè)計原理單目視覺跟蹤定位系統(tǒng)主要通過一臺攝像機對運動目標進行連續(xù)的圖像序列的采集,應(yīng)用設(shè)計好的算法在圖像序列中對目標進行檢測、跟蹤、定位,并將運動目標的運動軌跡進行重建,對每時刻目標的三維空間位置坐標結(jié)果輸出保存。系統(tǒng)原理框圖如圖1所示。由于要對運動目標進行精確的跟蹤定位,所以在試驗前要對攝像機的內(nèi)參數(shù)進行標定測量,因此單目跟蹤定位系統(tǒng)主要包括攝像機標定、運動目標檢測、運動目標跟蹤、運動目標定位4個部分。1.1傳統(tǒng)的自標定方法攝像機標定是通過攝像機獲取物體的一系列二維像片來確定攝像機內(nèi)外參數(shù),解決三維物點與二維像點的對應(yīng)關(guān)系問題,它是計算機視覺領(lǐng)域里從二維圖像提取三維空間信息必不可少的關(guān)鍵一步。目前,攝像機標定方法根據(jù)標定方式的不同,主要可以歸結(jié)為以下2種:傳統(tǒng)的標定方法和自標定方法。傳統(tǒng)的攝像機標定方法是指用一個結(jié)構(gòu)已知、精度很高的標定塊作為空間參照物,通過空間點和圖像點之間的對應(yīng)關(guān)系來建立攝像機模型參數(shù)的約束,然后通過參數(shù)估計來求得這些參數(shù)。傳統(tǒng)的方法典型代表有DLT方法(directlineartransformation)、考慮畸變補償?shù)膬刹椒?以及簡易標定方法。傳統(tǒng)的標定方法的優(yōu)點在于可以獲得較高的精度,但它是一種靜止的標定方法,且標定過程費時費力,在實際應(yīng)用中比較有局限。自標定方法(self-calibration)是指直接由未標定的2幅或多幅圖像來確定攝像機參數(shù)的過程,它克服了傳統(tǒng)方法的缺點,不需要標定塊,僅僅依靠多幅圖像對應(yīng)點之間的關(guān)系進行標定,但它一般沒有考慮攝像機畸變,算法迭代復(fù)雜,精度較低。張正友標定方法鑒于傳統(tǒng)標定方法和自標定之間,簡單實用,而且在標定過程中考慮了鏡頭畸變,標定結(jié)果相對準確,因此在本實驗中采用張正友標定法對三星PL60攝像機內(nèi)參數(shù)進行標定。標定結(jié)果如下:f=15mm,u0=3.125mm,v0=1.695mm1.2運動目標跟蹤運動目標檢測主要可以分為靜態(tài)場景和動態(tài)場景兩種情況。靜態(tài)場景就是在拍攝視頻時攝像機固定不動,圖像序列中的背景是相對靜止的,只有目標在做運動,這種情況下的檢測相對簡單一些,常用的檢測方法有背景相減法和幀差法。動態(tài)背景就是拍攝視頻時攝像機是運動的,因此拍攝出來的視頻不只是目標在運動,背景也會隨著攝像機的運動而運動,因此情況比較復(fù)雜。本實驗中就屬于動態(tài)背景情況下運動目標的檢測跟蹤,通過采用基于Hough變換的方法提取運動目標的特征圓來完成對運動目標的檢測。Hough變換是由PaulHough于1962年提出,并申請了專利。基本思想就是將圖像空間的一點變換到參量空間的一條曲線或一個曲面,而具有同一參量特征的點經(jīng)變換后在參量空間中相交,通過判斷交點處的累計程度來完成特征曲線的檢測。在Hough變換的圓檢測方法(circlehoughtransform,CHT)中,圓的基本參數(shù)是圓心和半徑,CHT就是利用三維空間參數(shù)積累來提取圓的。由于Hough變換的前提是要在二值圖像中進行,因此在采集到的圖像中首先對圖像進行邊緣提取,目前常用的邊緣檢測算法有Canny算子邊緣檢測、LOG算子邊緣檢測、Prewitt算子邊緣檢測、Sobel算子邊緣檢測和Robert算子邊緣檢測。通過對各種算法的實驗比較,本實驗選用Canny算子對圖像進行邊緣提取,取得了較好的效果,實驗結(jié)果如圖3所示。在利用Canny算子進行邊緣提取后,通過Hough變換對圖像中的運動目標特征圓進行提取檢測,通過實驗驗證在復(fù)雜背景下提取取得了較好的效果,如圖4所示。1.3鄰域線性搜索運動目標跟蹤是計算機視覺的重要組成部分,它主要是針對包含目標的運動圖像序列進行分析處理,確定運動目標在每幀圖像中的具體位置,從而實現(xiàn)運動目標運動軌跡的三維重建。常見的運動目標跟蹤方法主要有基于區(qū)域匹配跟蹤、輪廓匹配跟蹤和特征匹配跟蹤。由于在本實驗中要跟蹤的是一個運動的籃球,具有較好的外形特征,因此采用提取圖像中運動目標的特征圓進行跟蹤。在本實驗中攝像機和運動目標背景都在不停的變化,不能采用常見的背景相減、幀差法等檢測跟蹤算法對目標進行跟蹤,因此采用鄰域線性搜索的檢測跟蹤算法對運動目標進行跟蹤,如圖5所示。在跟蹤前首先人為選定第一幀圖像中的運動目標,由于相鄰兩幀圖像的目標運動不會太快,下一幀圖像中運動目標的位置根據(jù)上一幀圖像中運動目標的位置向T×d(半徑)的區(qū)域搜索來確定,如紅色框的,所以可以把后一幀的目標捕獲住。但由于在某些情況下2幀圖像之間運動目標位置變化極大,這樣由于鄰域線性搜索半徑不能設(shè)置太大,這種情況下就容易出現(xiàn)目標丟失,導(dǎo)致后面的跟蹤失敗,針對這種情況,采用卡爾曼濾波器進行彌補。如果出現(xiàn)目標搜索不到的情況,就調(diào)用卡爾曼濾波器通過運動目標在上一幀圖像中的位置來預(yù)測目標在當前幀的位置,以實現(xiàn)連續(xù)跟蹤,這樣既減少了傳統(tǒng)跟蹤算法的迭代次數(shù),提高了跟蹤的速度,又實現(xiàn)了連續(xù)跟蹤的準確性。跟蹤算法的流程如圖6所示。在本實驗中,第20幀到21幀之間圖像中運動目標之間的位置發(fā)生了劇烈的變化,但采用本實驗的跟蹤算法有效的解決了這個問題,實現(xiàn)了運動目標的持續(xù)跟蹤。實驗結(jié)果如圖7～8所示。在攝像機采集的視頻中對第23幀到31幀圖像中運動目標進行了連續(xù)跟蹤測試,經(jīng)測試采用本實驗設(shè)計的跟蹤算法取得了較好的跟蹤效果,實驗結(jié)果如圖9所示。1.4圖像序列中運動目標位置的轉(zhuǎn)換在雙目圖像定位中通過兩個相機在不同位置所拍的目標圖像的景深不同,可以將目標的位置準確定位出來,但在單目視覺定位中由于所采集的圖像中運動目標的位置是一個位于圖像坐標系下的二維坐標,因此如何通過圖像序列將運動目標在二維圖像坐標系下的位置轉(zhuǎn)換到攝像機坐標系下的三維坐標是單目視覺定位所要解決的一個首要條件。在本實驗中通過相似三角形原理實現(xiàn)了上述轉(zhuǎn)換。如圖10所示:X=Z/f×center(x);Y=Z/f×center(y);Z=objectsize/d×f;其中f為攝像機焦距,center(x)為在圖像坐標系下運動目標的中心x坐標,center(y)為運動目標的中心y坐標,objectsize為運動目標籃球的直徑,d為半徑。在本實驗中通過對拍攝的一段空中運動的籃球軌跡進行了重建,實驗結(jié)果如圖11所示:2智能單目圖像跟蹤與運動目標跟蹤本論文設(shè)計的基于鄰域線性搜索與卡爾曼濾波器相結(jié)合的跟蹤算法,不僅在跟蹤時間上減少了算法的迭代時間,而且有效地解決了由于攝像機本身精度的原因,在采集的相鄰兩幀圖像之間出現(xiàn)丟幀,運動目標位置發(fā)生嚴重的突變,從而導(dǎo)致跟蹤失敗的問題,并且實現(xiàn)了單目視覺定位、運動目標運動軌跡的三維重建,整個單目視覺跟蹤定位系統(tǒng)簡單便攜,在智能監(jiān)控、運動分析、虛擬現(xiàn)實等領(lǐng)域中有廣泛的應(yīng)用前景。令是圖像中待確定圓周上的點的集合,若該圓周的圓心坐標為,半徑為r,則圓周在圖像空間中的方