目標(biāo)跟蹤算法地分類

1、實(shí)用標(biāo)準(zhǔn)文案運(yùn)動目標(biāo)跟蹤就是在一段序列圖像中的每幅圖像中實(shí)時(shí)地找到所感興趣的 運(yùn)動目標(biāo)（包括位置、速度及加速度等運(yùn)動參數(shù)）。在運(yùn)動目標(biāo)跟蹤問題的研究 上，總體來說有兩種思路：a）不依賴于先驗(yàn)知識，直接從圖像序列中檢測到運(yùn)動目標(biāo)， 并進(jìn)行目標(biāo)識別， 最終跟蹤感興趣的運(yùn)動目標(biāo)；b）依賴于目標(biāo)的先驗(yàn)知識，首先為運(yùn)動目標(biāo)建模，然后在圖像序列中實(shí)時(shí)找到相匹配的運(yùn)動目標(biāo)。一、運(yùn)動目標(biāo)檢測對于不依賴先驗(yàn)知識的目標(biāo)跟蹤來講， 運(yùn)動檢測是實(shí)現(xiàn)跟蹤的第一步。運(yùn)動 檢測即為從序列圖像中將變化區(qū)域從背景圖像中提取出來。運(yùn)動目標(biāo)檢測的算法依照目標(biāo)與攝像機(jī)之間的關(guān)系可以分為靜態(tài)背景下運(yùn)動檢測和動態(tài)背景下運(yùn)動 檢測。靜態(tài)背

2、景下運(yùn)動檢測就是攝像機(jī)在整個監(jiān)視過程中不發(fā)生移動，只有被監(jiān)視目標(biāo)在攝像機(jī)視場內(nèi)運(yùn)動，這個過程只有目標(biāo)相對于攝像機(jī)的運(yùn)動； 動態(tài)背景下 運(yùn)動檢測就是攝像機(jī)在整個監(jiān)視過程中發(fā)生了移動（如平動、旋轉(zhuǎn)或多自由度運(yùn)動），被監(jiān)視目標(biāo)在攝像機(jī)視場內(nèi)也發(fā)生了運(yùn)動，這個過程就產(chǎn)生了目標(biāo)與攝像 機(jī)之間復(fù)雜的相對運(yùn)動。1、靜態(tài)背景背景差分法背景差分法是利用當(dāng)前圖像與背景圖像的差分來檢測運(yùn)動區(qū)域的一種技術(shù)。 它一般能夠提供最完全的特征數(shù)據(jù)，但對于動態(tài)場景的變化，如天氣、光照、背 景擾動及背景物移入移出等特別敏感，運(yùn)動目標(biāo)的陰影也會影響檢測結(jié)果的準(zhǔn)確 性及跟蹤的精確性。其基本思想就是首先獲得一個背景模型，然后將當(dāng)前幀與

3、背 景模型相減，如果像素差值大于某一閾值，則判斷此像素屬于運(yùn)動目標(biāo)，否則屬 于背景圖像。背景模型的建立與更新、陰影的去除等對跟蹤結(jié)果的好壞至關(guān)重要。幀間差分法相鄰幀間差分法是通過相鄰兩幀圖像的差值計(jì)算，獲得運(yùn)動物體位置和形狀 等信息的運(yùn)動目標(biāo)檢測方法。其對環(huán)境的適應(yīng)性較強(qiáng)，特別是對于光照的變化適 應(yīng)性強(qiáng)，但由于運(yùn)動目標(biāo)上像素的紋理、 灰度等信息比較相近，不能檢測出完整 的目標(biāo)，只能得到運(yùn)動目標(biāo)的部分信息且對運(yùn)動緩慢的物體不敏感， 存在一定的 局限性。賀貴明等人在相鄰幀間差分法的基礎(chǔ)上提出了對稱差分法， 通過對圖像 序列中每連續(xù)三幀圖像進(jìn)行對稱差分， 檢測出目標(biāo)的運(yùn)動范圍，同時(shí)利用上一幀 分割出

4、來的模板對檢測出來的目標(biāo)運(yùn)動范圍進(jìn)行修正， 能較好地檢測出中間幀運(yùn) 動目標(biāo)的形狀輪廓。光流法在空間中，運(yùn)動可以用運(yùn)動場描述，而在一個圖像平面上，物體的運(yùn)動往往 是通過圖像序列中圖像灰度分布的不同來體現(xiàn)， 從而使空間中的運(yùn)動場轉(zhuǎn)移到圖 像上就表示為光流場。光流場反映了圖像上每一點(diǎn)灰度的變化趨勢， 可看成是帶 有灰度的像素點(diǎn)在圖像平面上運(yùn)動而產(chǎn)生的瞬時(shí)速度場，也是一種對真實(shí)運(yùn)動場 的近似估計(jì)。在比較理想的情況下，它能夠檢測獨(dú)立運(yùn)動的對象，不需要預(yù)先知 道場景的任何信息，可以很精確地計(jì)算出運(yùn)動物體的速度，并且可用于動態(tài)場景 的情況。但是大多數(shù)光流方法的計(jì)算相當(dāng)復(fù)雜， 對硬件要求比較高，不適于實(shí)時(shí) 處

5、理，而且對噪聲比較敏感，抗噪性差。2、動態(tài)背景由于存在著目標(biāo)與攝像機(jī)之間復(fù)雜的相對運(yùn)動， 動態(tài)背景下運(yùn)動目標(biāo)檢測要 比靜態(tài)背景下的運(yùn)動目標(biāo)檢測復(fù)雜得多。 通常情況下，攝像機(jī)的運(yùn)動形式可以分 為兩種：a）攝像機(jī)的支架固定，但攝像機(jī)可以偏轉(zhuǎn)、俯仰以及縮放 ；b）將攝像機(jī) 裝在某個移動的載體上。由于以上兩種情況下的背景及前景圖像都在做全局運(yùn) 動，要準(zhǔn)確檢測運(yùn)動目標(biāo)的首要任務(wù)是進(jìn)行圖像的全局運(yùn)動估計(jì)與補(bǔ)償?？紤]到圖像幀上各點(diǎn)的全局運(yùn)動矢量雖不盡相同（攝像機(jī)做平移運(yùn)動除外），但它們均是在同一攝像機(jī)模型下的運(yùn)動，因而應(yīng)遵循相同的運(yùn)動模型，可 以用同一模型參數(shù)來表示。全局運(yùn)動的估計(jì)問題就被歸結(jié)為全局運(yùn)動模型

6、參數(shù)的估計(jì)問題，通常使用塊匹配法或光流估計(jì)法來進(jìn)行運(yùn)動參數(shù)的估計(jì)?；趬K的運(yùn)動估算和補(bǔ)償可算是最通用的算法?？梢詫D像分割成不同的圖 像塊，假定同一圖像小塊上的運(yùn)動矢量是相同的，通過像素域搜索得到最佳的運(yùn) 動矢量估算。塊匹配法主要有如下三個關(guān)鍵技術(shù)：a）匹配法則，如最大相關(guān)、最小誤差等。b）搜索方法，如三步搜索法、交叉搜索法等。c）塊大小的確定，如分級、自適應(yīng)等。光流估計(jì)法是對幀圖像建立了光流場模型后，用光流場方程求解圖像像素點(diǎn) 運(yùn)動速度的方法。二、運(yùn)動目標(biāo)跟蹤運(yùn)動目標(biāo)的跟蹤，即通過目標(biāo)的有效表達(dá)，在圖像序列中尋找與目標(biāo)模板最 相似候選目標(biāo)區(qū)位置的過程。簡單說，就是在序列圖像中為目標(biāo)定位。 運(yùn)

7、動目標(biāo) 的有效表達(dá)除了對運(yùn)動目標(biāo)建模外，目標(biāo)跟蹤中常用到的目標(biāo)特性表達(dá)主要包括 視覺特征（圖像邊緣、輪廓、形狀、紋理、區(qū)域）、統(tǒng)計(jì)特征（直方圖、各種矩特 征）、變換系數(shù)特征（傅里葉描繪子、自回歸模型）、代數(shù)特征（圖像矩陣的奇異 值分解）等。除了使用單一特征外，也可通過融合多個特征來提高跟蹤的可靠性。相似性度量算法對運(yùn)動目標(biāo)進(jìn)行特性提取之后，需要采用一定的相似性度量算法與幀圖像進(jìn) 行匹配，從而實(shí)現(xiàn)目標(biāo)跟蹤。圖像處理與分析理論中，常見的相似性度量方法有 歐氏距離、街區(qū)距離、棋盤距離、加權(quán)距離、巴特查理亞系數(shù)、Hausdoff距離等，其中應(yīng)用最多和最簡單的是歐氏距離。搜索算法目標(biāo)跟蹤過程中，直接對場

8、景中的所有內(nèi)容進(jìn)行匹配計(jì)算， 尋找最佳匹配位 置，需要處理大量的冗余信息，這樣運(yùn)算量比較大，而且沒有必要。采用一定的 搜索算法對未來時(shí)刻目標(biāo)的位置狀態(tài)進(jìn)行估計(jì)假設(shè)，縮小目標(biāo)搜索范圍便具有了非常重要的意義。其中一類比較常用的方法是預(yù)測運(yùn)動體下一幀可能出現(xiàn)的位 置，在其相關(guān)區(qū)域內(nèi)尋找最優(yōu)點(diǎn)。常見的預(yù)測算法有Kalma n濾波、擴(kuò)展的Kalman濾波及粒子濾波方法等。Kalman濾波器是一個對動態(tài)系統(tǒng)的狀態(tài)序列進(jìn)行線性最小方差估計(jì)的算 法。它通過狀態(tài)方程和觀測方程來描述一個動態(tài)系統(tǒng)，基于系統(tǒng)以前的狀態(tài)序列 對下一個狀態(tài)作最優(yōu)估計(jì)，預(yù)測時(shí)具有無偏、穩(wěn)定和最優(yōu)的特點(diǎn)，且具有計(jì)算量 小、可實(shí)時(shí)計(jì)算的特點(diǎn)，

9、可以準(zhǔn)確地預(yù)測目標(biāo)的位置和速度，但其只適合于線性且呈高斯分布的系統(tǒng)。相對于卡爾曼濾波算法，粒子濾波器特別適用于非線性、 非高斯系統(tǒng)。粒子濾波算法是一種基于蒙特卡洛和貝葉斯估計(jì)理論的最優(yōu)算法， 它以遞歸的方式對測量數(shù)據(jù)進(jìn)行序貫處理， 因而無須對以前的測量數(shù)據(jù)進(jìn)行存儲 和再處理，節(jié)省了大量的存儲空間。在跟蹤多形式的目標(biāo)以及在非線性運(yùn)動和測 量模型中，粒子濾波器具有極好的魯棒性。另一類減小搜索范圍的算法是優(yōu)化搜索方向。 均值漂移算法（Meanshift算 法）、連續(xù)自適應(yīng)均值漂移算法 （Camshift算法）和置信區(qū)域算法都是利用無參 估計(jì)的方法優(yōu)化目標(biāo)模板和候選目標(biāo)距離的迭代收斂過程，以達(dá)到縮小搜

10、索范圍的目的。Meanshift算法是利用梯度優(yōu)化方法實(shí)現(xiàn)快速目標(biāo)定位，能夠?qū)Ψ莿傂阅繕?biāo)實(shí)時(shí)跟蹤，適合于非線性運(yùn)動目標(biāo)的跟蹤， 對目標(biāo)的變形、旋轉(zhuǎn)等運(yùn)動有較 好的適用性。但是 Mea nshift算法在目標(biāo)跟蹤過程中沒有利用目標(biāo)在空間中的 運(yùn)動方向和運(yùn)動速度信息，當(dāng)周圍環(huán)境存在干擾時(shí)（如光線、遮擋），容易丟失目標(biāo)。Camshift算法是在Meanshift算法的基礎(chǔ)上，進(jìn)行了一定的擴(kuò)展，結(jié)合 目標(biāo)色彩信息形成的一種改進(jìn)的均值漂移算法。由于目標(biāo)圖像的直方圖記錄的是 顏色出現(xiàn)的概率，這種方法不受目標(biāo)形狀變化的影響，可以有效地解決目標(biāo)變形 和部分遮擋的問題，且運(yùn)算效率較高，但該算法在開始前需要由人工

11、指定跟蹤目 標(biāo)。目標(biāo)跟蹤分類依據(jù)運(yùn)動目標(biāo)的表達(dá)和相似性度量， 運(yùn)動目標(biāo)跟蹤算法可以分為四類：基于 主動輪廓的跟蹤、基于特征的跟蹤、基于區(qū)域的跟蹤和基于模型的跟蹤。 跟蹤算 法的精度和魯棒性很大程度上取決于對運(yùn)動目標(biāo)的表達(dá)和相似性度量的定義，跟蹤算法的實(shí)時(shí)性取決于匹配搜索策略和濾波預(yù)測算法。1、基于主動輪廓的跟蹤Kass等人提出的主動輪廓模型，即 Snake模型，是在圖像域內(nèi)定義的可變 形曲線，通過對其能量函數(shù)的最小化，動態(tài)輪廓逐步調(diào)整自身形狀與目標(biāo)輪廓相 一致，該可變形曲線又稱為 Snake曲線。Snake技術(shù)可以處理任意形狀物體的 任意形變，首先將分割得到的物體邊界作為跟蹤的初始模板然后確定

12、表征物體真 實(shí)邊界的目標(biāo)函數(shù)，并通過降低目標(biāo)函數(shù)值，使初始輪廓逐漸向物體的真實(shí)邊界 移動?；谥鲃虞喞櫟膬?yōu)點(diǎn)是不但考慮來自圖像的灰度信息，而且考慮整體輪廓的幾何信息，增強(qiáng)了跟蹤的可靠性。由于跟蹤過程實(shí)際上是解的尋優(yōu)過程， 帶 來的計(jì)算量比較大，而且由于 Snake模型的盲目性，對于快速運(yùn)動的物體或者 形變較大的情況，跟蹤效果不夠理想。2、基于特征的跟蹤基于特征匹配的跟蹤方法不考慮運(yùn)動目標(biāo)的整體特征，只通過目標(biāo)圖像的一些顯著特征來進(jìn)行跟蹤。假定運(yùn)動目標(biāo)可以由惟一的特征集合表達(dá)， 搜索到該相 應(yīng)的特征集合就認(rèn)為跟蹤上了運(yùn)動目標(biāo)。 除了用單一的特征來實(shí)現(xiàn)跟蹤外，還可 以采用多個特征信息融合在一起

13、作為跟蹤特征?；谔卣鞯母欀饕ㄌ卣魈?取和特征匹配兩個方面。（1）特征提取特征提取是指從景物的原始圖像中提取圖像的描繪特征，理想的圖像特征應(yīng) 具備的特點(diǎn)是：a）特征應(yīng)具有直觀意義，符合人們的視覺特性；b）特征應(yīng)具備較 好的分類能力，能夠區(qū)分不同的圖像內(nèi)容；c）特征計(jì)算應(yīng)該相對簡單，以便于快 速識別;d）特征應(yīng)具備圖像平移、旋轉(zhuǎn)、尺度變化等不變性。目標(biāo)跟蹤中常用的運(yùn)動目標(biāo)的特征主要包括顏色、紋理、邊緣、塊特征、光 流特征、周長、面積、質(zhì)心、角點(diǎn)等。提取對尺度伸縮、形變和亮度變化不敏感 的有效特征至今仍是圖像處理研究領(lǐng)域中一個比較活躍的方面。(2)特征匹配特征提取的目的是進(jìn)行幀間目標(biāo)特征的匹

14、配， 并以最優(yōu)匹配來跟蹤目標(biāo)。常 見的基于特征匹配的跟蹤算法有基于二值化目標(biāo)圖像匹配的跟蹤、 基于邊緣特征 匹配或角點(diǎn)特征匹配的跟蹤、基于目標(biāo)灰度特征匹配的跟蹤、 基于目標(biāo)顏色特征 匹配的跟蹤等。基于特征的跟蹤算法的優(yōu)點(diǎn)在于對運(yùn)動目標(biāo)的尺度、形變和亮度等變化不敏 感，即使目標(biāo)的某一部分被遮擋，只要還有一部分特征可以被看到， 就可以完成 跟蹤任務(wù)；另外，這種方法與 Kalman濾波器聯(lián)合使用，也具有很好的跟蹤效 果。但是其對于圖像模糊、噪聲等比較敏感，圖像特征的提取效果也依賴于各種 提取算子及其參數(shù)的設(shè)置，此外，連續(xù)幀間的特征對應(yīng)關(guān)系也較難確定， 尤其是 當(dāng)每一幀圖像的特征數(shù)目不一致、存在漏檢、

15、特征增加或減少等情況。3、基于區(qū)域的跟蹤基于區(qū)域的跟蹤算法基本思想是：a)得到包含目標(biāo)的模板，該模板可通過圖像分割獲得或預(yù)先人為確定，模板通常為略大于目標(biāo)的矩形，也可為不規(guī)則形 狀;b)在序列圖像中，運(yùn)用相關(guān)算法跟蹤目標(biāo)。這種算法的優(yōu)點(diǎn)在于當(dāng)目標(biāo)未被遮擋時(shí)，跟蹤精度非常高、跟蹤非常穩(wěn)定。 但其缺點(diǎn)首先是費(fèi)時(shí)，當(dāng)搜索區(qū)域較大時(shí)情況尤其嚴(yán)重；其次，算法要求目標(biāo)變形不大，且不能有太大遮擋，否則相關(guān)精度下降會造成目標(biāo)的丟失。近年來，對 基于區(qū)域的跟蹤方法關(guān)注較多的是如何處理模板變化時(shí)的情況，這種變化是由運(yùn)動目標(biāo)姿態(tài)變化引起的，如果能正確預(yù)測目標(biāo)的姿態(tài)變化，則可實(shí)現(xiàn)穩(wěn)定跟蹤。4、基于模型的跟蹤基于模型的

16、跟蹤是通過一定的先驗(yàn)知識對所跟蹤目標(biāo)建立模型，然后通過匹配跟蹤目標(biāo)進(jìn)行模型的實(shí)時(shí)更新。 對于剛體目標(biāo)來說，其運(yùn)動狀態(tài)變換主要是平 移、旋轉(zhuǎn)等，可以利用該方法實(shí)現(xiàn)目標(biāo)跟蹤。 但是實(shí)際應(yīng)用中跟蹤的不僅僅是剛 體，還有一大部分是非剛體，目標(biāo)確切的幾何模型不容易得到。這種方法不易受觀測視角的影響，具有較強(qiáng)的魯棒性，模型匹配跟蹤精度高， 適合于機(jī)動目標(biāo)的各種運(yùn)動變化， 抗干擾能力強(qiáng)，但由于計(jì)算分析復(fù)雜、運(yùn)算速 度慢，模型的更新較為復(fù)雜，實(shí)時(shí)性較差。準(zhǔn)確建立運(yùn)動模型是模型匹配能否成 功的關(guān)鍵。2.1目標(biāo)跟蹤的數(shù)學(xué)模型大多數(shù)目標(biāo)跟蹤問題都是基于目標(biāo)模版的。也就是說，依賴于兩個描述：一是目標(biāo)行為，通常用動態(tài)運(yùn)動模型表示；另一個是對目標(biāo)的觀測，稱為觀測模型。目標(biāo)跟蹤，通俗地說，就是根據(jù)某些參數(shù)來估計(jì)目標(biāo)運(yùn)動軌跡的過程。一般地，我們將目標(biāo)看作是空間的一個運(yùn)動點(diǎn)， 這類似于物理中力學(xué)研究中通常將物體對象描述為一個質(zhì)點(diǎn) 來分析。幾乎所有的運(yùn)動目標(biāo)跟蹤算法都是基于目標(biāo)模版的。常用的狀態(tài)空間模型為：x（t）Zk（t）fx(t),u(t) hkXk(t)Wk(t) Vk(t)k N離散時(shí)間模型：Xk 1f k（Xk，Uk）k（Wk）Zkhg) Vkk N而且通常我們處理時(shí)線性系統(tǒng)，此時(shí)離散時(shí)間模型為:(2