目標(biāo)跟蹤綜述ppt課件

1、目的跟蹤綜述東北大學(xué)-方式識(shí)別與智能系統(tǒng)-田維tw415087321163目錄1.課題背景與研討意義2.國(guó)內(nèi)外研討現(xiàn)狀3.存在的問(wèn)題4.總結(jié)，開(kāi)展與展望5.參考文獻(xiàn)1課題背景與研討意義運(yùn)動(dòng)目的的跟蹤就是在視頻圖像的每一幅圖像中確定出我們感興趣的運(yùn)動(dòng)目的的位置，并把不同幀中同一目的對(duì)應(yīng)起來(lái)。智能視頻監(jiān)控(IVS: Intelligent Video Surveillance)是計(jì)算機(jī)視覺(jué)領(lǐng)域近幾年來(lái)開(kāi)展較快，研討較多的一個(gè)運(yùn)用方向。它可以利用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)采集到的視頻信號(hào)進(jìn)展處置、分析和了解，并以此為根底對(duì)視頻監(jiān)控系統(tǒng)進(jìn)展控制，從而使視頻監(jiān)控系統(tǒng)具備更好的智能性和魯棒性。智能視頻監(jiān)控系統(tǒng)主要涉

2、及到圖像處置、計(jì)算機(jī)視覺(jué)、方式識(shí)別、人工智能等方面的科學(xué)知識(shí)，它的用途非常廣泛，在民用和軍事領(lǐng)域中都有著極大的運(yùn)用前景。2.國(guó)內(nèi)外研討現(xiàn)狀視頻目的跟蹤算法基于對(duì)比度分析基于匹配核方法運(yùn)動(dòng)檢測(cè)其它方法特征匹配貝葉斯跟蹤Mean shift方法光流法基于對(duì)比度分析的方法算法思想：基于對(duì)比度分析的目的跟蹤算法利用目的與背景在對(duì)比度上的差別來(lái)提取、識(shí)別和跟蹤目的。分類：邊緣跟蹤，型心跟蹤，質(zhì)心跟蹤。優(yōu)缺陷：不適宜復(fù)雜背景中的目的跟蹤，但在空中背景下的目的跟蹤中非常有效?；谔卣髌ヅ涞哪康母櫵惴ㄋ惴ㄋ枷耄夯谄ヅ涞哪康母櫵惴ㄐ枨筇崛∧康牡奶卣?，并在每一幀中尋覓該特征。 尋覓的過(guò)程就是特征匹配過(guò)程。目

3、的跟蹤中用到的特征主要有幾何外形、子空間特征、外形輪廓和特征點(diǎn)等。其中，特征點(diǎn)是匹配算法中常用的特征。特征點(diǎn)的提取算法很多， 如Kanade Lucas TomasiKLT算法、Harris 算法、SIFT 算法以及SURF 算法等。優(yōu)缺陷：特征點(diǎn)普通是稀疏的，攜帶的信息較少，可以經(jīng)過(guò)集成前幾幀的信息進(jìn)展補(bǔ)償。目的在運(yùn)動(dòng)過(guò)程中，其特征如姿態(tài)、幾何外形、灰度或顏色分布等也隨之變化。目的特征的變化具有隨機(jī)性，這種隨機(jī)變化可以采用統(tǒng)計(jì)數(shù)學(xué)的方法來(lái)描畫(huà)。直方圖是圖像處置中天然的統(tǒng)計(jì)量，因此彩色和邊緣方向直方圖在跟蹤算法中被廣泛采用。貝葉斯跟蹤卡爾曼濾波粒子濾波隱馬爾科夫模型動(dòng)態(tài)貝葉斯模型卡爾曼濾波根本

4、思想：從本質(zhì)上講，卡爾曼濾波器就是一個(gè)有噪聲線性動(dòng)態(tài)系統(tǒng)形狀預(yù)估的遞歸算法，它是一個(gè)不斷地預(yù)測(cè)與校正的過(guò)程。當(dāng)假設(shè)系統(tǒng)形狀模型和觀測(cè)模型都是線性且符合高斯分布，同時(shí)假設(shè)噪聲也是高斯分布時(shí)，線性卡爾曼濾波器是最優(yōu)的濾波器。局限性：但是，常規(guī)的卡爾曼濾波算法要求系統(tǒng)是線性高斯型的，對(duì)于非線性、非高斯環(huán)境而言，不能直接用來(lái)處理目的的估計(jì)問(wèn)題。為此，人們開(kāi)發(fā)出各種非線性濾波算法，一種是擴(kuò)展卡爾曼算法(EKF)，它對(duì)非線性系統(tǒng)進(jìn)展部分線性化，從而間接利用卡爾曼算法進(jìn)展濾波與估算。但是只適用于濾波誤差和預(yù)測(cè)誤差很小的情況，否那么，濾波初期估計(jì)協(xié)方差下降太快會(huì)導(dǎo)致濾波不穩(wěn)定甚至發(fā)散。修正增益的推行卡爾曼濾波

5、算法(UKF)雖然經(jīng)過(guò)改善增益矩陣，相應(yīng)改善了形狀協(xié)方差的估計(jì)性能，但該方法對(duì)丈量誤差有一定限制。假設(shè)丈量誤差較大，那么算法在收斂精度、收斂時(shí)間及穩(wěn)定性等方面表現(xiàn)得很不理想。粒子濾波兩種變形擴(kuò)展了KF 的運(yùn)用范圍，但是不能處置非高斯非線性模型，這個(gè)時(shí)候就需求用粒子濾波PF。由于運(yùn)動(dòng)變化，目的的形變、非剛體、縮放等問(wèn)題，定義一個(gè)可靠的分布函數(shù)是非常困難的，所以在PF 中存在例子退化問(wèn)題，于是引進(jìn)了重采樣技術(shù)。除了KF 和PF 之外，隱馬爾科夫模型HMMs和動(dòng)態(tài)貝葉斯模型DBNs也是貝葉斯框架下重要的視覺(jué)跟蹤方法。HMMs 和DBNs 將運(yùn)動(dòng)目的的內(nèi)部形狀和觀丈量用形狀變量向量表示，DBNs 運(yùn)用

6、形狀隨機(jī)變量向量集，并在它們之間建立概率關(guān)聯(lián)。HMMs 將系統(tǒng)建模為馬爾科夫過(guò)程?；谶\(yùn)動(dòng)檢測(cè)的目的跟蹤算法根本思想：經(jīng)過(guò)檢測(cè)序列圖像中目的和背景的不同運(yùn)動(dòng)來(lái)發(fā)現(xiàn)目的存在的區(qū)域， 實(shí)現(xiàn)跟蹤。光流法：光流算法是基于運(yùn)動(dòng)檢測(cè)的目的跟蹤的代表性算法。光流是空間運(yùn)動(dòng)物體在成像面上的像素運(yùn)動(dòng)的瞬時(shí)速度，光流矢量是圖像平面坐標(biāo)點(diǎn)上的灰度瞬時(shí)變化率。光流的計(jì)算利用圖像序列中的像素灰度分布的時(shí)域變化和相關(guān)性來(lái)確定各自像素位置的運(yùn)動(dòng)， 研討圖像灰度在時(shí)間上的變化與景象中物體構(gòu)造及其運(yùn)動(dòng)的關(guān)系。將二維速度場(chǎng)與灰度相聯(lián)絡(luò)，引入光流約束方程，得到光流計(jì)算的根本算法。優(yōu)缺陷：光流場(chǎng)的方法可以很好的用于二維運(yùn)動(dòng)估計(jì)，它也

7、可以同時(shí)給出全局點(diǎn)的運(yùn)動(dòng)估計(jì)，但其本身還存在著一些問(wèn)題：需求多次迭代，運(yùn)算速度慢，不利于實(shí)時(shí)運(yùn)用。核方法算法思想：對(duì)類似度概率密度函數(shù)或者后驗(yàn)概率密度函數(shù)采用直接的延續(xù)估計(jì)。Mean shift ：均值偏移方法。采用彩色直方圖作為匹配特征。Mean Shift 跟蹤算法反復(fù)不斷地把數(shù)據(jù)點(diǎn)朝向MeanShift 矢量方向進(jìn)展挪動(dòng)，最終收斂到某個(gè)概率密度函數(shù)的極值點(diǎn)。在Mean Shift 跟蹤算法中，類似度函數(shù)用于描寫(xiě)目的模板和候選區(qū)域所對(duì)應(yīng)的兩個(gè)核函數(shù)直方圖的類似性，采用的是Bhattacharyya 系數(shù)。因此，這種方法將跟蹤問(wèn)題轉(zhuǎn)化為Mean Shift 方式匹配問(wèn)題。核函數(shù)是Mean S

8、hift 算法的中心， 可以經(jīng)過(guò)尺度空間差的部分最大化來(lái)選擇核尺度，假設(shè)采用高斯差分計(jì)算尺度空間差，那么得到高斯差分Mean Shift 算法。優(yōu)缺陷：Mean Shift 算法假設(shè)特征直方圖足夠確定目的的位置，并且足夠穩(wěn)健，對(duì)其他運(yùn)動(dòng)不敏感。該方法可以防止目的外形、外觀或運(yùn)動(dòng)的復(fù)雜建模，建立類似度的統(tǒng)計(jì)丈量和延續(xù)優(yōu)化之間的聯(lián)絡(luò)。但是，Mean Shift 算法不能用于旋轉(zhuǎn)和尺度運(yùn)動(dòng)的估計(jì)。為抑制以上問(wèn)題，人們提出了許多改良算法，如多核跟蹤算法、多核協(xié)作跟蹤算法和有效的最優(yōu)核平移算法等。多特征交融跟蹤根本思想：利用多特征描寫(xiě)目的是一種非常有效的實(shí)現(xiàn)穩(wěn)健跟蹤的方法。不同的特征可以從一樣的或者不同

9、的傳感器獲得，如彩色和輪廓，彩色和梯度，Haar-Like 特征和邊緣，角點(diǎn)、彩色和輪廓，彩色和邊緣，彩色和Wi-Fi三角化等。在貝葉斯框架下，有兩種方法可以集成多個(gè)特征：1 假設(shè)特征之間是統(tǒng)計(jì)獨(dú)立的，可以將多個(gè)特征以加權(quán)和的方式組合起來(lái)；2 假設(shè)多個(gè)特征之間的條件關(guān)聯(lián)服從線性約束， 可以將類似度概率密度分布表示為各個(gè)特征類似度概率密度分布的線性組合；Towards robust multi-cue integration for visual tracking基于強(qiáng)大的多線索交融技術(shù)的目的跟蹤Perceptual Computing and Computer Vision Group, ET

10、H Zurich, SwitzerlandMachine Vision and Applications (2003) 14普通的系統(tǒng)框架目的：用多維的時(shí)間序列表示，本文中，用90*72的M維時(shí)間序列表示目的。單一線索察看模型：在時(shí)間上排序，估計(jì)目的在單一線索下n維形狀向量產(chǎn)生的視覺(jué)線索的概率圖序列，每個(gè)空間矢量是到n維概率分布P(j)的預(yù)測(cè)。 例如：假設(shè)要估計(jì)目的在二維空間的運(yùn)動(dòng)。 M(j)表示映射，r(j)表示映射參數(shù)多線索交融模型模型建立模型估計(jì)引入反響 調(diào)整參數(shù)rc(t)和rj(t) Democratic integration算法思想：對(duì)五個(gè)線索建立一個(gè)共同估計(jì)，這個(gè)估計(jì)用來(lái)評(píng)定每個(gè)

11、線索，并確定下一時(shí)辰該線索的權(quán)值。同時(shí)每個(gè)線索都有自順應(yīng)性，提高其性能，從而提高整個(gè)系統(tǒng)的性能。但是必需滿足兩個(gè)假設(shè)：首先，各個(gè)線索的共同估計(jì)必需占主導(dǎo)位置。其次，環(huán)境的變化對(duì)視覺(jué)線索的影響很小。將輸入量S(t)分成五個(gè)線索：強(qiáng)度特征，顏色特征，運(yùn)動(dòng)特征，形變特征，對(duì)比度特征，每個(gè)特征都有其自順應(yīng)性。根據(jù)前面各特征的影響度，調(diào)整各自的權(quán)值Wi，使他們可以對(duì)不斷變化的環(huán)境產(chǎn)生反響，集成為一個(gè)多形狀顯示的預(yù)估方案估計(jì)目的位置定義為合并后的概率分布的最大呼應(yīng)feed back自順應(yīng)的權(quán)值調(diào)整在兩個(gè)層面上1.自組織的多線索交融其中qi(t)指觀丈量與平均呼應(yīng)的概率密度差，用來(lái)調(diào)理權(quán)值，權(quán)值Wi為自順應(yīng)

12、。2.自順應(yīng)單線索察看 f函數(shù)：抽取一個(gè)適宜的特征向量Democratic integration 方法局限性的分析顏色突變的情況Soccer sequenceTwo person sequenceIntegration with CONDENSATION單純利用感興趣特征進(jìn)展目的跟蹤，當(dāng)所選特征突變時(shí)，權(quán)值的調(diào)整會(huì)產(chǎn)生誤操作，因此有著很大的局限性可以利用當(dāng)前幀以及當(dāng)前幀前一幀做觀測(cè)模型，充分利用視頻信息，并結(jié)合多線索特征交融兩個(gè)方法，建立新的算法。基于上下文跟蹤的方法除了結(jié)合運(yùn)用目的的多特征之外， 還可以充分采用上下文、背景和輔助目的等信息來(lái)實(shí)現(xiàn)穩(wěn)健的目的跟蹤如文獻(xiàn)12設(shè)計(jì)了一種思索上下文的

13、跟蹤算法。該算法采用數(shù)據(jù)發(fā)掘技術(shù)在視頻中獲取輔助目的， 并將輔助目的用在跟蹤中。對(duì)目的和這些輔助目的的協(xié)作跟蹤可以獲得有效的跟蹤性能。這里的輔助目的是至少在一小段時(shí)間內(nèi)和目的同時(shí)出現(xiàn)， 和目的具有一樣的相關(guān)性運(yùn)動(dòng)并且比目的更容易跟蹤的視頻內(nèi)容。文獻(xiàn)13在跟蹤算法中，同時(shí)采用目的和目的周圍背景的特征點(diǎn)，將目的特征點(diǎn)用于跟蹤，將背景特征點(diǎn)用于鑒別目的能否被遮擋。3.存在的問(wèn)題1.運(yùn)動(dòng)目的的準(zhǔn)確分割動(dòng)態(tài)環(huán)境下，光照，陰影等要素對(duì)幀圖像影響2.運(yùn)動(dòng)目的的相互遮擋目的喪失后如何重新獲取目的的引導(dǎo)方法。3.運(yùn)動(dòng)目的的穩(wěn)定特征提取提取目的的哪些特征，可以獲得更好的跟蹤效果4.三維坐標(biāo)下運(yùn)動(dòng)模型的建立鑒于2維

14、模型對(duì)角度和遮擋處置的薄弱性。5.實(shí)時(shí)性問(wèn)題提高目的的準(zhǔn)確性和實(shí)時(shí)性4 總結(jié)，開(kāi)展與展望由于目的跟蹤義務(wù)的復(fù)雜性，應(yīng)該根據(jù)不同的運(yùn)用場(chǎng)所選用不同的跟蹤方法。在系統(tǒng)設(shè)計(jì)中，應(yīng)該跟據(jù)詳細(xì)的精度要求、穩(wěn)健性要求、計(jì)算復(fù)雜度要求和實(shí)性要求等采用不同的算法。多種技術(shù)的結(jié)合運(yùn)用可以有效抑制單一技術(shù)的局限性。因此，目的跟蹤算法的方向開(kāi)展為多模跟蹤、多特征交融跟蹤、基于目的所在的上下文跟蹤。參考文獻(xiàn)1.邵文坤,黃愛(ài)民,韋慶，動(dòng)態(tài)場(chǎng)景下的運(yùn)動(dòng)目的跟蹤方法研討，20062.楊靜宇，一種基于直方圖方式的運(yùn)動(dòng)目的實(shí)時(shí)跟蹤算法,胡明昊，任明武，2004.33.蔡榮太. 非線性自順應(yīng)濾波器在電視跟蹤中的運(yùn)用D.北京：中國(guó)

15、科學(xué)院，2021.4.SOTO D A，REGAZZONI M C S. Bayesian tracking for video analyticsJ.IEEE Signal Processing Magazine，2021，2755.王宇. 基于Mean Shift 的序列圖像手勢(shì)跟蹤算法J.電視技術(shù)，2021，3466.WU Ying，F(xiàn)AN Jialue. Contextual flow C/Proc. 2021 IEEE International Conference on Computer Vision，Miami，F(xiàn)L，USA：IEEE Press，2021參考文獻(xiàn)7.蔡榮太，吳

16、元昊，王明佳，吳慶祥,視頻目的跟蹤算法綜述,2021年第34 卷第12 期8.周娜，基于視覺(jué)的運(yùn)動(dòng)目的跟蹤算法的研討與實(shí)現(xiàn)，東北大學(xué)碩士論文，20219.薛建儒, 鄭南寧, 鐘小品, 平林江，視感知鼓勵(lì)多視覺(jué)線索集成的貝葉斯方法與運(yùn)用,202110.M. Spengler and B. Schiele, “Towards Robust Multi-Cue Integration for Visual Tracking, Machine Vision and Applications,200311.NOGUER M F，SANFELIU A，SAMARAS D. Dependent multiple cue integration for robust tracking J.IEEE Transactions on Pattern Analysis and Machine Intelligence，2021參考文獻(xiàn)12.YANG M，HUA G，WU Y. Context-awar