第五章光電信息處理技術(shù)成像目標(biāo)探測與跟蹤技術(shù)

1、成像目標(biāo)(mbio)探測與跟蹤共七十一頁主要(zhyo)內(nèi)容成像探測與跟蹤(gnzng)系統(tǒng)概述運動目標(biāo)檢測方法成像目標(biāo)跟蹤方法目標(biāo)跟蹤技術(shù)應(yīng)用及發(fā)展共七十一頁主要(zhyo)內(nèi)容成像跟蹤系統(tǒng)(xtng)概述運動目標(biāo)檢測方法成像目標(biāo)跟蹤方法目標(biāo)跟蹤技術(shù)應(yīng)用及發(fā)展共七十一頁一、成像探測與跟蹤(gnzng)系統(tǒng)概述精確制導(dǎo)、目標(biāo)(mbio)跟蹤 “道爾” 野戰(zhàn)地空導(dǎo)彈武器系統(tǒng)，是世界上最先采用垂直發(fā)射方式的近程防空系統(tǒng)，同時也是一種全天候、全自動、三位一體(目標(biāo)搜索、跟蹤和導(dǎo)彈發(fā)射裝置同時裝在一輛車上)的新一代高性能防空導(dǎo)彈發(fā)射車。它具有警戒、指揮與控制、導(dǎo)彈制導(dǎo)與發(fā)射等眾多功能，既可以獨立作戰(zhàn)，

2、也可以和發(fā)射連的其它發(fā)射車協(xié)同作戰(zhàn)。它可在低空、超低空和近程區(qū)域內(nèi)攔截多種非隱身與隱身空襲目。共七十一頁X-59導(dǎo)引頭雷達(dá)(lid)導(dǎo)引頭自動(zdng)導(dǎo)系統(tǒng)一、成像探測與跟蹤系統(tǒng)概述共七十一頁導(dǎo)引頭舵機(jī)(du j)發(fā)動機(jī)尾翼(wi y)自動導(dǎo)系統(tǒng)一、成像探測與跟蹤系統(tǒng)概述共七十一頁一、成像探測(tnc)與跟蹤系統(tǒng)概述共七十一頁跟蹤(gnzng)系統(tǒng)及跟蹤(gnzng)一、成像探測(tnc)與跟蹤系統(tǒng)概述共七十一頁EF2000歐洲戰(zhàn)斗機(jī)裝備“海盜”機(jī)載紅外搜索跟蹤(gnzng)系統(tǒng) “海盜”系統(tǒng)（無源紅外機(jī)載跟蹤設(shè)備）可以為空中攔截和空地作戰(zhàn)提供戰(zhàn)術(shù)優(yōu)勢。該設(shè)備安裝在機(jī)艙左側(cè)、風(fēng)擋玻璃的前方

3、?！昂１I”系統(tǒng)在空對空模式下運行的時候，具備搜索和跟蹤系統(tǒng)（IRST）功能，提供無源目標(biāo)探測和跟蹤能力；在空對地模式下，可以執(zhí)行多目標(biāo)獲取(huq)和識別任務(wù)，同時還能提供輔助導(dǎo)航和著陸功能。 一、成像探測與跟蹤系統(tǒng)概述共七十一頁紅外監(jiān)控(jin kn)系統(tǒng)一、成像探測與跟蹤(gnzng)系統(tǒng)概述共七十一頁什么是視頻(shpn)(成像)目標(biāo)跟蹤？視頻序列目標(biāo)跟蹤是指對傳感器攝取到的圖像(t xin)序列進(jìn)行處理與分析，充分利用傳感器采集得到信息來對目標(biāo)進(jìn)行穩(wěn)定跟蹤的過程。一旦目標(biāo)被確定，就可獲得目標(biāo)的位置、速度、加速度等運動參數(shù)，進(jìn)而獲得目標(biāo)的特征參數(shù)。 一、成像探測與跟蹤系統(tǒng)概述共七十一頁什

4、么是視頻(shpn)(成像)目標(biāo)跟蹤？在軍事上，視頻序列目標(biāo)跟蹤技術(shù)廣泛應(yīng)用于精確制導(dǎo)、戰(zhàn)場機(jī)器人自主導(dǎo)航、無人機(jī)著降，靶場光電跟蹤等領(lǐng)域(ln y)。在現(xiàn)代高技術(shù)條件下的戰(zhàn)爭中，由于各種偽裝、欺騙、對抗、反輻射技術(shù)大量使用，使得戰(zhàn)場環(huán)境日益復(fù)雜，尤其是在復(fù)雜環(huán)境下的目標(biāo)跟蹤問題，成為該領(lǐng)域(ln y)內(nèi)研究的熱點與難點；在民用上，該技術(shù)主要應(yīng)用在智能視頻監(jiān)控、智能交通管制、醫(yī)療影像診斷等方面。 一、成像探測與跟蹤系統(tǒng)概述共七十一頁成像跟蹤(gnzng)系統(tǒng)流程及框圖一、成像探測與跟蹤系統(tǒng)(xtng)概述共七十一頁研究(ynji)現(xiàn)狀（國際）1997年，美國國防高級研究項目署設(shè)立了以卡內(nèi)基梅隆

5、大學(xué)牽頭，麻省理工學(xué)院等高校參與的視覺監(jiān)控重大項目VSAM，主要研究用于戰(zhàn)場及普通民用(mnyng)場景監(jiān)控的自動視頻理解技術(shù)。1999年，美國康奈爾大學(xué)計算機(jī)系設(shè)計了一套航拍視頻檢測與持續(xù)跟蹤系統(tǒng)，該系統(tǒng)能夠?qū)Χ噙\動目標(biāo)實現(xiàn)長時間的準(zhǔn)確跟蹤，即使發(fā)生短時間內(nèi)目標(biāo)被遮擋或目標(biāo)時靜時動的情況 。2005年，美國中央佛羅里達(dá)大學(xué)計算機(jī)視覺實驗室開發(fā)出了基于MATLAB的COCOA系統(tǒng)，用于無人機(jī)低空航拍視頻圖像的目標(biāo)檢測與跟蹤處理。一、成像探測與跟蹤系統(tǒng)概述共七十一頁研究(ynji)現(xiàn)狀（國內(nèi)）研究所：中科院光電技術(shù)(jsh)研究所、長春光機(jī)所、上海光機(jī)所，安徽光機(jī)所、上海技術(shù)(jsh)物理所、中

6、科院自動化所，沈陽自動化所 ，中國工程物理研究院等。高校：國防科技技術(shù)大學(xué)、西北工業(yè)大學(xué)、哈爾濱工業(yè)大學(xué)、北京理工大學(xué)、北京航空航天大學(xué)、華中科技大學(xué)、空軍工程大學(xué)等。一、成像探測與跟蹤系統(tǒng)概述共七十一頁VSAM 目標(biāo)是開發(fā)自動視頻理解技術(shù)，并用于實現(xiàn)未來戰(zhàn)爭人力費用昂貴、非常危險或者(huzh)人力無法實現(xiàn)等場合的監(jiān)控。該系統(tǒng)融合了數(shù)字?jǐn)z像機(jī)、音頻采集頭、紅外和微波報警探測器、溫度探測器等多種類型的傳感器，可以對監(jiān)控地區(qū)進(jìn)行全方位的晝夜監(jiān)控。使用了地理信息和三維建模技術(shù)，提供可視化圖形操作界面，當(dāng)視頻分析處理器報告了運動對象、對象類別及位置之后，操作員不僅可以在地理信息界面上進(jìn)行虛擬對象標(biāo)記

7、，而且還能在輔助窗口觀察對象的真實活動情況。共七十一頁VSAM使用(shyng)架設(shè)在高處多方位旋轉(zhuǎn)云臺上的單個攝像機(jī)，可以全方位地實施視頻監(jiān)控。系統(tǒng)首先有規(guī)律地初始化一系列背景圖像，然后利用基于特征區(qū)域的方法將實際攝錄的視頻圖與相應(yīng)的背景圖作匹配，再利用背景減除法檢測運動目標(biāo)。 共七十一頁VSAM由于傳統(tǒng)的卡爾曼濾波方法只能處理單峰問題，該系統(tǒng)對傳統(tǒng)的卡爾曼濾波思想(sxing)進(jìn)行了擴(kuò)展，并使用了帶目標(biāo)模板更新的相關(guān)匹配算法實現(xiàn)了多目標(biāo)的跟蹤。 共七十一頁VSAM針對機(jī)載航空攝像機(jī)所拍攝的視頻圖像，薩爾諾夫戴維研究中心研發(fā)了檢測和跟蹤獨立地面車輛目標(biāo)的視頻圖像理解技術(shù)(jsh)。該技術(shù)(j

8、sh)的關(guān)鍵在于對航空攝像機(jī)的自運動補償，對經(jīng)過補償?shù)膱D像，利用三幀差減的方法檢測目標(biāo)。 共七十一頁美國康奈爾大學(xué)計算機(jī)系設(shè)計的航拍視頻圖像目標(biāo)檢測與持續(xù)跟蹤(gnzng)系統(tǒng)的特色在于，能夠?qū)Χ噙\動目標(biāo)實現(xiàn)較長時間的準(zhǔn)確跟蹤(gnzng)，即使在短時間內(nèi)目標(biāo)被遮擋或移出視場以及目標(biāo)時靜時動。該系統(tǒng)在運動背景估計與補償中所涉及的主要技術(shù)是基于Kanade-Lucas-Tomasi算法的特征點跟蹤和基于M估計的魯棒性仿射參數(shù)估計。然后利用三幀差減的方法檢測目標(biāo)運動，利用形態(tài)學(xué)操作分割圖像并定位運動目標(biāo)。對多目標(biāo)進(jìn)行標(biāo)記之后，利用Hausdorff距離匹配和模板更新的方法對目標(biāo)進(jìn)行長時間的跟蹤。4

9、576102123152159253298共七十一頁COCOACOCOA系統(tǒng)是一種無人機(jī)航拍圖像目標(biāo)跟蹤系統(tǒng)。該系統(tǒng)針對一段視頻圖像序列，通過三大技術(shù)環(huán)節(jié)，即背景運動補償、運動檢測與目標(biāo)跟蹤，來完成對目標(biāo)的檢測與跟蹤。該系統(tǒng)基于MATLAB平臺(pngti)，可以適用于不同的光傳感器（可見光或紅外），最小的可跟蹤目標(biāo)約為100象素大小。該系統(tǒng)對機(jī)載光電傳感器或紅外傳感器所攝視頻圖像進(jìn)行魯棒性背景運動補償，并可生成全景圖，利于更高層次的應(yīng)用。對圖像中多種運動目標(biāo)（如汽車、坦克、摩托車等）進(jìn)行可靠性檢測并進(jìn)行持久地跟蹤。共七十一頁COCOA背景運動補償基于特征 + 基于灰度梯度運動檢測累積幀差法

10、+ 形態(tài)學(xué)操作目標(biāo)跟蹤Level Set方法 + Mean Shift方法視頻(shpn)序列COCOA系統(tǒng)(xtng)的基本技術(shù)環(huán)節(jié) 共七十一頁 歸納起來，運動場景中目標(biāo)檢測與跟蹤(gnzng)技術(shù)主要包括以下三個關(guān)鍵技術(shù)： 背景補償與圖像預(yù)處理：消除背景運動、隨機(jī)噪聲對目標(biāo)檢測與跟蹤的影響。 圖像分割與目標(biāo)檢測：利用圖像分割技術(shù)從圖像中檢測出可能的運動目標(biāo)。 特征提取和目標(biāo)跟蹤：對檢測出的目標(biāo)提取可識別的特征，依據(jù)這些特征在后續(xù)的視頻圖像序列中對目標(biāo)進(jìn)行跟蹤。共七十一頁主要(zhyo)內(nèi)容成像探測與跟蹤系統(tǒng)(xtng)概述運動目標(biāo)檢測方法成像目標(biāo)跟蹤方法目標(biāo)跟蹤技術(shù)應(yīng)用及發(fā)展共七十一頁 1

11、、靜止背景(bijng)下的目標(biāo)檢測 幀差分法：二、運動(yndng)目標(biāo)檢測靜態(tài)場景 目標(biāo)檢測相對簡單，研究漸趨成熟動態(tài)場景 相對復(fù)雜，成為當(dāng)前研究領(lǐng)域的熱點共七十一頁靜態(tài)場景幀差的一個(y )例子共七十一頁 研究重點：運動目標(biāo)(mbio)的檢測二、運動目標(biāo)(mbio)檢測視頻圖像中的目標(biāo)檢測與跟蹤，是計算機(jī)視覺的基礎(chǔ)課題，同時具有廣泛的應(yīng)用價值。共七十一頁視頻(shpn)序列運動檢測對于動態(tài)場景，由于目標(biāo)與攝像頭之間存在復(fù)雜的相對運動，運動檢測(jin c)富有挑戰(zhàn)性。傳統(tǒng)的幀差方法已經(jīng)不再適用，如何能對全局的運動進(jìn)行估計和補償，成為問題的關(guān)鍵。第一幀 幀差圖像共七十一頁解決(jiju)思

12、路要檢測動態(tài)場景中的運動目標(biāo)，關(guān)鍵在于對場景的運動進(jìn)行估計，通過(tnggu)估計出的運動參數(shù)補償其運動，最后使用幀差法得到運動目標(biāo)。提取特征點特征點匹配最小二乘求運動參數(shù)提取特征點前一幀圖像后一幀圖像運動補償幀差法運動目標(biāo)共七十一頁求解全局運動(yndng)參數(shù)前一幀后一幀求特征點并匹配運動補償補償后的幀差圖像共七十一頁實驗(shyn)結(jié)果與普通幀差法的比較第50幀第80幀第5幀幀差法特征匹配的方法原序列共七十一頁基于(jy)圖像金字塔分解的全局運動估計 采用了3層金字塔進(jìn)行多分辨率計算,而且在每層迭代計算中,將基于塊的外點去除算法與特征點提取(tq)算法相結(jié)合,這樣既加快了算法的速度,又提

13、高了計算結(jié)果的準(zhǔn)確性。共七十一頁基本(jbn)步驟如下：用高斯圖像構(gòu)造法構(gòu)造圖像金字塔；對金字塔頂層圖像進(jìn)行全局運動估計，求得運動參數(shù)；將頂層金字塔求得的參數(shù)集隱射到金字塔的中間層，并對該層進(jìn)行全局運動估計，求得相應(yīng)的運動參數(shù)；將金字塔中間層的參數(shù)集映射到金字塔的底層, 對該層進(jìn)行全局運動估計，求得該層的運動參數(shù)集。利用求得的最終參數(shù)集，對圖像進(jìn)行運動補償，將運動補償后的圖像與前一幀圖像進(jìn)行差值。共七十一頁下圖給出了運動補償與直接(zhji)幀差的結(jié)果比較圖1Coastguard序列圖像圖2直接幀差和運動補償后的差值圖比較共七十一頁二、運動目標(biāo)(mbio)檢測 塊匹配(ppi)算法簡介無需計算

14、每一個像素的運動，而只是計算由若干像素組成的像素塊的運動，對于許多圖像分析和估計應(yīng)用來說，塊運動分析是一種很好的近似。如數(shù)字視頻壓縮國際標(biāo)準(zhǔn)MPEG1-2 采用了基于塊的運動分析和補償算法。 共七十一頁二、運動(yndng)目標(biāo)檢測 塊匹配(ppi)算法的關(guān)鍵技術(shù) 匹配準(zhǔn)則(Matching Criteria) 搜索策略(Searching Strategy 匹配特征共七十一頁二、運動(yndng)目標(biāo)檢測匹配(ppi)準(zhǔn)則目標(biāo)幀鎖定幀共七十一頁二、運動(yndng)目標(biāo)檢測匹配(ppi)準(zhǔn)則.均方差(Mean Square Error, MSE).平均絕對差(Mean absolute di

15、screpancy, MAD)共七十一頁二、運動目標(biāo)(mbio)檢測匹配(ppi)準(zhǔn)則3.互相關(guān)(Cross-correlation, CC)共七十一頁二、運動目標(biāo)(mbio)檢測搜索(su su)策略 全視場搜索(FS) 對數(shù)搜搜 三步搜索 菱形搜索(Diamond Search ，DS) 其他改進(jìn)搜索策略共七十一頁Three-Step Search (3SS)1111111112322222223333333搜索(su su)策略共七十一頁2D 對數(shù)(du sh)法搜索111112223344444444搜索(su su)策略共七十一頁二、運動目標(biāo)(mbio)檢測匹配(ppi)特征 圖像灰

16、度、亮度、顏色等信息 圖像特征(邊緣、輪廓、紋理、變換域特征等。共七十一頁主要(zhyo)內(nèi)容成像探測與跟蹤系統(tǒng)(xtng)概述運動目標(biāo)檢測方法成像目標(biāo)跟蹤方法目標(biāo)跟蹤技術(shù)應(yīng)用及發(fā)展共七十一頁1、目標(biāo)(mbio)跟蹤方法分類三、成像目標(biāo)跟蹤(gnzng)方法 成像跟蹤系統(tǒng)經(jīng)過圖像的預(yù)處理、圖像的分割識別等一系列信息處理，最終實現(xiàn)對目標(biāo)位置的實時精確測量，即對目標(biāo)或目標(biāo)的局部實施穩(wěn)定跟蹤，實時輸出目標(biāo)的脫靶量。 矩心(質(zhì)心、形心)跟蹤； 邊緣跟蹤； 峰值跟蹤； 相關(guān)跟蹤； 濾波跟蹤。共七十一頁1矩心跟蹤 矩心也叫質(zhì)心或重心，是物體對某軸的靜力矩作用中心。如果把目標(biāo)圖像看成是一塊質(zhì)量(zhling

17、)密度不均勻的薄板，以圖像上各像素點的灰度作為各點的質(zhì)量(zhling)密度。這樣就可以借用矩心的定義式來計算目標(biāo)圖像的矩心。xyabcdxcyc三、成像目標(biāo)(mbio)跟蹤方法共七十一頁TemplateSearch image2相關(guān)跟蹤由于目標(biāo)運動、姿態(tài)發(fā)生改變、光照條件改變以及雜波背景的干擾(gnro)，使得目標(biāo)圖像的分割提取十分困難，計算目標(biāo)的矩心或形心不準(zhǔn)確。在某種情況下，可以采用以圖像匹配為基礎(chǔ)的跟蹤方法，習(xí)慣上稱之為相關(guān)跟蹤。三、成像目標(biāo)跟蹤(gnzng)方法共七十一頁分片跟蹤部分(b fen)遮擋目標(biāo)跟蹤為什么引入分片(fn pin)跟蹤： 在目標(biāo)跟蹤領(lǐng)域，一個重要的難題就是目標(biāo)

18、的遮擋問題，因為遮擋發(fā)生時目標(biāo)可能部分或全部不可見。 模擬人眼跟蹤目標(biāo)的方式，發(fā)生遮擋時，人眼會關(guān)注目標(biāo)的可見部分來繼續(xù)跟蹤。受這一思想啟發(fā)，我們將目標(biāo)分成多個小片，目標(biāo)被遮擋時，利用“可見片”來跟蹤。 共七十一頁分片(fn pin)跟蹤主要思想： 將目標(biāo)分片，建立目標(biāo)分片表現(xiàn)模型(mxng)（模板）。在目標(biāo)上一幀的位置周圍遍歷搜索，找到與目標(biāo)模板相似度最高的候選目標(biāo)作為跟蹤結(jié)果。 當(dāng)前幀上一幀目標(biāo)位置 候選目標(biāo)位置搜索窗口目標(biāo)分片共七十一頁分片(fn pin)跟蹤 其中相似度的度量是通過各片的空間直方圖匹配來實現(xiàn)的。確定目標(biāo)位置后，判斷目標(biāo)中各片的有效(yuxio)性，我們僅利用有效(yux

19、io)片進(jìn)行下一幀的跟蹤。 被遮擋的區(qū)域片基本丟失共七十一頁模板更新 由上可見這種分片方法已經(jīng)可以很好的解決遮擋問題。 但是在跟蹤過程中，目標(biāo)的外觀模型可能發(fā)生變化（例如目標(biāo)轉(zhuǎn)身、尺寸(ch cun)變化等等）。那么剛開始為目標(biāo)建立的模板就不能很好的表示目標(biāo)，這將影響跟蹤效果。 共七十一頁目標(biāo)外觀變化時片匹配(ppi)的情況外觀緩慢變化(binhu)時，丟失的片很少共七十一頁利用有效片的概念，我們?yōu)槊總€目標(biāo)建立兩種模板，臨時模板和參考模板。 臨時模板實時更新的模板，在無遮擋情況下跟蹤，可以(ky)解決目標(biāo)外觀緩慢變化的問題。 參考模板能夠很好的表示目標(biāo)的模板，用于遮擋情況下的跟蹤。共七十一頁分

20、片(fn pin)跟蹤多組實驗(shyn)結(jié)果： 1.可以有效的解決目標(biāo)遮擋 2.在目標(biāo)表現(xiàn)模型緩慢變化的情況下，實時更新模板 3.在背景較為簡單的情況下實現(xiàn)目標(biāo)尺度的更新共七十一頁分片(fn pin)跟蹤遮擋(zhdng)下的跟蹤共七十一頁分片(fn pin)跟蹤目標(biāo)表現(xiàn)(bioxin)模型的變化時的跟蹤共七十一頁目標(biāo)(mbio)尺度發(fā)生變化共七十一頁應(yīng)用(yngyng)舉例：車輛檢測與跟蹤智能(zh nn)交通系統(tǒng)：( Intelligent Transport Systems, ITS)共七十一頁車輛檢測與跟蹤(gnzng)概述影響車輛檢測和跟蹤的主要因素： （1）車輛自身陰影；（2）車

21、輛間相互遮擋或車輛被背景(bijng)中物體遮擋；（3）同車型車輛之間具有較大的相似性；（4）光線突變；（5）夜晚和雨、雪等惡烈天氣等。主要針對（1）、（2）兩種情況開展研究 共七十一頁算法(sun f)步驟 Step1 背景模型訓(xùn)練，得到表示初始背景模型的碼本。Step2 輸入像素點和碼本做比較判斷，得到可能的前景像素點，同時更新碼本。Step3 去除可能前景像素點中陰影和高亮區(qū)域，得到真實的前景點，同時更新碼本。Step4 去噪，連通區(qū)域分析，根據(jù)檢測(jin c)出的運動目標(biāo)的長寬消除非車輛目標(biāo)，將運動車輛分割出來。 Step5 使用卡爾曼濾波器預(yù)測車輛在下一幀中的可能位置。Step6

22、在預(yù)測區(qū)域周圍對各個車輛進(jìn)行匹配跟蹤。轉(zhuǎn)Step2，進(jìn)行下一輪跟蹤。共七十一頁實驗(shyn)結(jié)果 （a）遮擋模型(mxng) （b）原始遮擋圖像 （c）分割處理后 （d）遮擋模型與運動目標(biāo)匹配共七十一頁夜晚車輛(chling)檢測結(jié)果 共七十一頁普通(ptng)路面檢測結(jié)果 （a）序列某一幀 （b）混合高斯模型(mxng)檢測結(jié)果 （c）Bayes 決策檢測結(jié)果 （d）改進(jìn)方法檢測結(jié)果共七十一頁高速公路(o s n l)檢測結(jié)果 （a）序列某一幀 （b）混合高斯模型(mxng)檢測結(jié)果 （c）Bayes 決策檢測結(jié)果 （d）改進(jìn)方法檢測結(jié)果共七十一頁跟蹤(gnzng)結(jié)果 （a）序列第168幀跟蹤結(jié)果（b）序列第182幀跟蹤結(jié)果 （c）目標(biāo)質(zhì)心(zh xn)在x方向的坐標(biāo) （d）目標(biāo)質(zhì)心在y方向的坐標(biāo) 共七十一頁主要(zh