目標(biāo)跟蹤綜述課件

目標(biāo)跟蹤綜述東北大學(xué)-模式識別與智能系統(tǒng)-田維tw415087321@163.com目標(biāo)跟蹤綜述東北大學(xué)-模式識別與智能系統(tǒng)1目錄1.課題背景與研究意義2.國內(nèi)外研究現(xiàn)狀3.存在的問題4.總結(jié)，發(fā)展與展望5.參考文獻(xiàn)目錄1.課題背景與研究意義21課題背景與研究意義運(yùn)動目標(biāo)的跟蹤就是在視頻圖像的每一幅圖像中確定出我們感興趣的運(yùn)動目標(biāo)的位置，并把不同幀中同一目標(biāo)對應(yīng)起來。智能視頻監(jiān)控(IVS:IntelligentVideoSurveillance)是計算機(jī)視覺領(lǐng)域近幾年來發(fā)展較快，研究較多的一個應(yīng)用方向。它能夠利用計算機(jī)視覺技術(shù)對采集到的視頻信號進(jìn)行處理、分析和理解，并以此為基礎(chǔ)對視頻監(jiān)控系統(tǒng)進(jìn)行控制，從而使視頻監(jiān)控系統(tǒng)具備更好的智能性和魯棒性。智能視頻監(jiān)控系統(tǒng)主要涉及到圖像處理、計算機(jī)視覺、模式識別、人工智能等方面的科學(xué)知識，它的用途非常廣泛，在民用和軍事領(lǐng)域中都有著極大的應(yīng)用前景。1課題背景與研究意義運(yùn)動目標(biāo)的跟蹤就是在視頻圖像的每一幅圖像32.國內(nèi)外研究現(xiàn)狀視頻目標(biāo)跟蹤算法基于對比度分析基于匹配核方法運(yùn)動檢測其它方法特征匹配貝葉斯跟蹤Meanshift方法光流法2.國內(nèi)外研究現(xiàn)狀視頻目標(biāo)跟蹤算法基于對比度分析基于匹配核方4基于對比度分析的方法算法思想：基于對比度分析的目標(biāo)跟蹤算法利用目標(biāo)與背景在對比度上的差異來提取、識別和跟蹤目標(biāo)。分類：邊緣跟蹤，型心跟蹤，質(zhì)心跟蹤。優(yōu)缺點(diǎn)：不適合復(fù)雜背景中的目標(biāo)跟蹤，但在空中背景下的目標(biāo)跟蹤中非常有效?；趯Ρ榷确治龅姆椒ㄋ惴ㄋ枷耄夯趯Ρ榷确治龅哪繕?biāo)跟蹤算法利5基于特征匹配的目標(biāo)跟蹤算法算法思想：基于匹配的目標(biāo)跟蹤算法需要提取目標(biāo)的特征，并在每一幀中尋找該特征。尋找的過程就是特征匹配過程。目標(biāo)跟蹤中用到的特征主要有幾何形狀、子空間特征、外形輪廓和特征點(diǎn)等。其中，特征點(diǎn)是匹配算法中常用的特征。特征點(diǎn)的提取算法很多，如KanadeLucasTomasi（KLT）算法、Harris算法、SIFT算法以及SURF算法等。優(yōu)缺點(diǎn)：特征點(diǎn)一般是稀疏的，攜帶的信息較少，可以通過集成前幾幀的信息進(jìn)行補(bǔ)償。目標(biāo)在運(yùn)動過程中，其特征（如姿態(tài)、幾何形狀、灰度或顏色分布等）也隨之變化。目標(biāo)特征的變化具有隨機(jī)性，這種隨機(jī)變化可以采用統(tǒng)計數(shù)學(xué)的方法來描述。直方圖是圖像處理中天然的統(tǒng)計量，因此彩色和邊緣方向直方圖在跟蹤算法中被廣泛采用?；谔卣髌ヅ涞哪繕?biāo)跟蹤算法算法思想：基于匹配的目標(biāo)跟蹤算法需6貝葉斯跟蹤卡爾曼濾波粒子濾波隱馬爾科夫模型動態(tài)貝葉斯模型貝葉斯跟蹤卡爾曼濾波7卡爾曼濾波基本思想：從本質(zhì)上講，卡爾曼濾波器就是一個有噪聲線性動態(tài)系統(tǒng)狀態(tài)預(yù)估的遞歸算法，它是一個不斷地預(yù)測與校正的過程。當(dāng)假設(shè)系統(tǒng)狀態(tài)模型和觀測模型都是線性且符合高斯分布，同時假設(shè)噪聲也是高斯分布時，線性卡爾曼濾波器是最優(yōu)的濾波器。局限性：但是，常規(guī)的卡爾曼濾波算法要求系統(tǒng)是線性高斯型的，對于非線性、非高斯環(huán)境而言，不能直接用來解決目標(biāo)的估計問題。為此，人們開發(fā)出各種非線性濾波算法，一種是擴(kuò)展卡爾曼算法(EKF)，它對非線性系統(tǒng)進(jìn)行局部線性化，從而間接利用卡爾曼算法進(jìn)行濾波與估算。但是只適用于濾波誤差和預(yù)測誤差很小的情況，否則，濾波初期估計協(xié)方差下降太快會導(dǎo)致濾波不穩(wěn)定甚至發(fā)散。修正增益的推廣卡爾曼濾波算法(UKF)雖然通過改善增益矩陣，相應(yīng)改善了狀態(tài)協(xié)方差的估計性能，但該方法對測量誤差有一定限制。若測量誤差較大，則算法在收斂精度、收斂時間及穩(wěn)定性等方面表現(xiàn)得很不理想?？柭鼮V波基本思想：從本質(zhì)上講，卡爾曼濾波器就是一個有噪聲線8粒子濾波兩種變形擴(kuò)展了KF的應(yīng)用范圍，但是不能處理非高斯非線性模型，這個時候就需要用粒子濾波（PF）。由于運(yùn)動變化，目標(biāo)的形變、非剛體、縮放等問題，定義一個可靠的分布函數(shù)是非常困難的，所以在PF中存在例子退化問題，于是引進(jìn)了重采樣技術(shù)。粒子濾波兩種變形擴(kuò)展了KF的應(yīng)用范圍，但是不能處理非高斯非9除了KF和PF之外，隱馬爾科夫模型（HMMs）和動態(tài)貝葉斯模型（DBNs）也是貝葉斯框架下重要的視覺跟蹤方法。HMMs和DBNs將運(yùn)動目標(biāo)的內(nèi)部狀態(tài)和觀測量用狀態(tài)變量（向量）表示，DBNs使用狀態(tài)隨機(jī)變量（向量）集，并在它們之間建立概率關(guān)聯(lián)。HMMs將系統(tǒng)建模為馬爾科夫過程。除了KF和PF之外，隱馬爾科夫模型（HMMs）和動態(tài)貝葉10基于運(yùn)動檢測的目標(biāo)跟蹤算法基本思想：通過檢測序列圖像中目標(biāo)和背景的不同運(yùn)動來發(fā)現(xiàn)目標(biāo)存在的區(qū)域，實現(xiàn)跟蹤。光流法：光流算法是基于運(yùn)動檢測的目標(biāo)跟蹤的代表性算法。光流是空間運(yùn)動物體在成像面上的像素運(yùn)動的瞬時速度，光流矢量是圖像平面坐標(biāo)點(diǎn)上的灰度瞬時變化率。光流的計算利用圖像序列中的像素灰度分布的時域變化和相關(guān)性來確定各自像素位置的運(yùn)動，研究圖像灰度在時間上的變化與景象中物體結(jié)構(gòu)及其運(yùn)動的關(guān)系。將二維速度場與灰度相聯(lián)系，引入光流約束方程，得到光流計算的基本算法。優(yōu)缺點(diǎn)：光流場的方法能夠很好的用于二維運(yùn)動估計，它也可以同時給出全局點(diǎn)的運(yùn)動估計，但其本身還存在著一些問題：需要多次迭代，運(yùn)算速度慢，不利于實時應(yīng)用?；谶\(yùn)動檢測的目標(biāo)跟蹤算法基本思想：通過檢測序列圖像中目標(biāo)和11核方法算法思想：對相似度概率密度函數(shù)或者后驗概率密度函數(shù)采用直接的連續(xù)估計。Meanshift：均值偏移方法。采用彩色直方圖作為匹配特征。MeanShift跟蹤算法反復(fù)不斷地把數(shù)據(jù)點(diǎn)朝向MeanShift矢量方向進(jìn)行移動，最終收斂到某個概率密度函數(shù)的極值點(diǎn)。在MeanShift跟蹤算法中，相似度函數(shù)用于刻畫目標(biāo)模板和候選區(qū)域所對應(yīng)的兩個核函數(shù)直方圖的相似性，采用的是Bhattacharyya系數(shù)。因此，這種方法將跟蹤問題轉(zhuǎn)化為MeanShift模式匹配問題。核函數(shù)是MeanShift算法的核心，可以通過尺度空間差的局部最大化來選擇核尺度，若采用高斯差分計算尺度空間差，則得到高斯差分MeanShift算法。優(yōu)缺點(diǎn)：MeanShift算法假設(shè)特征直方圖足夠確定目標(biāo)的位置，并且足夠穩(wěn)健，對其他運(yùn)動不敏感。該方法可以避免目標(biāo)形狀、外觀或運(yùn)動的復(fù)雜建模，建立相似度的統(tǒng)計測量和連續(xù)優(yōu)化之間的聯(lián)系。但是，MeanShift算法不能用于旋轉(zhuǎn)和尺度運(yùn)動的估計。為克服以上問題，人們提出了許多改進(jìn)算法，如多核跟蹤算法、多核協(xié)作跟蹤算法和有效的最優(yōu)核平移算法等。核方法算法思想：對相似度概率密度函數(shù)或者后驗概率密度函數(shù)采用12多特征融合跟蹤基本思想：利用多特征刻畫目標(biāo)是一種非常有效的實現(xiàn)穩(wěn)健跟蹤的方法。不同的特征可以從相同的或者不同的傳感器獲得，如彩色和輪廓，彩色和梯度，Haar-Like特征和邊緣，角點(diǎn)、彩色和輪廓，彩色和邊緣，彩色和Wi-Fi三角化等。在貝葉斯框架下，有兩種方法可以集成多個特征：1）假設(shè)特征之間是統(tǒng)計獨(dú)立的，可以將多個特征以加權(quán)和的形式組合起來；2）假設(shè)多個特征之間的條件關(guān)聯(lián)服從線性約束，可以將相似度概率密度分布表示為各個特征相似度概率密度分布的線性組合；多特征融合跟蹤基本思想：利用多特征刻畫目標(biāo)是一種非常有效的實13Towardsrobustmulti-cueintegrationforvisualtracking基于強(qiáng)大的多線索融合技術(shù)的目標(biāo)跟蹤PerceptualComputingandComputerVisionGroup,ETHZurich,SwitzerlandMachineVisionandApplications(2003)14Towardsrobustmulti-cueinteg14目標(biāo)跟蹤綜述課件15一般的系統(tǒng)框架目標(biāo)：用多維的時間序列表示，本文中，用90*72的M維時間序列表示目標(biāo)。單一線索觀察模型：在時間上排序，估計目標(biāo)在單一線索下n維狀態(tài)向量產(chǎn)生的視覺線索的概率圖序列，每個空間矢量是到n維概率分布P(j)的預(yù)測。例如：如果要估計目標(biāo)在二維空間的運(yùn)動。M(j)表示映射，r(j)表示映射參數(shù)一般的系統(tǒng)框架目標(biāo)：用多維的時間序列表示，本文中，用90*716多線索融合模型模型建立模型估計引入反饋調(diào)整參數(shù)rc(t)和rj(t)

多線索融合模型模型建立17Democraticintegration算法思想：對五個線索建立一個共同估計，這個估計用來評定每個線索，并確定下一時刻該線索的權(quán)值。同時每個線索都有自適應(yīng)性，提高其性能，從而提高整個系統(tǒng)的性能。但是必須滿足兩個假設(shè)：首先，各個線索的共同估計必須占主導(dǎo)地位。其次，環(huán)境的變化對視覺線索的影響很小。將輸入量S(t)分成五個線索：強(qiáng)度特征，顏色特征，運(yùn)動特征，形變特征，對比度特征，每個特征都有其自適應(yīng)性。Democraticintegration算法思想：對五個18根據(jù)前面各特征的影響度，調(diào)整各自的權(quán)值Wi，使他們能夠?qū)Σ粩嘧兓沫h(huán)境產(chǎn)生反應(yīng)，集成為一個多狀態(tài)顯示的預(yù)估方案估計目標(biāo)位置定義為合并后的概率分布的最大響應(yīng)根據(jù)前面各特征的影響度，調(diào)整各自的權(quán)值Wi，使他們能夠?qū)Σ粩?9feedback自適應(yīng)的權(quán)值調(diào)整在兩個層面上1.自組織的多線索融合其中qi(t)指觀測量與平均響應(yīng)的概率密度差，τ用來調(diào)節(jié)權(quán)值，權(quán)值Wi為自適應(yīng)。feedback自適應(yīng)的權(quán)值調(diào)整在兩個層面上其中qi(t)202.自適應(yīng)單線索觀察f函數(shù)：抽取一個合適的特征向量2.自適應(yīng)單線索觀察21Democraticintegration方法局限性的分析顏色突變的情況Democraticintegration方法局限性的分22SoccersequenceSoccersequence23TwopersonsequenceTwopersonsequence24IntegrationwithCONDENSATION單純利用感興趣特征進(jìn)行目標(biāo)跟蹤，當(dāng)所選特征突變時，權(quán)值的調(diào)整會產(chǎn)生誤操作，因此有著很大的局限性可以利用當(dāng)前幀以及當(dāng)前幀前一幀做觀測模型，充分利用視頻信息，并結(jié)合多線索特征融合兩個方法，建立新的算法。IntegrationwithCONDENSATION單25基于上下文跟蹤的方法除了聯(lián)合使用目標(biāo)的多特征之外，還可以充分采用上下文、背景和輔助目標(biāo)等信息來實現(xiàn)穩(wěn)健的目標(biāo)跟蹤如文獻(xiàn)[12]設(shè)計了一種考慮上下文的跟蹤算法。該算法采用數(shù)據(jù)挖掘技術(shù)在視頻中獲取輔助目標(biāo)，并將輔助目標(biāo)用在跟蹤中。對目標(biāo)和這些輔助目標(biāo)的協(xié)作跟蹤可以獲得有效的跟蹤性能。這里的輔助目標(biāo)是至少在一小段時間內(nèi)和目標(biāo)同時出現(xiàn)，和目標(biāo)具有相同的相關(guān)性運(yùn)動并且比目標(biāo)更容易跟蹤的視頻內(nèi)容。文獻(xiàn)[13]在跟蹤算法中，同時采用目標(biāo)和目標(biāo)周圍背景的特征點(diǎn)，將目標(biāo)特征點(diǎn)用于跟蹤，將背景特征點(diǎn)用于鑒別目標(biāo)是否被遮擋?；谏舷挛母櫟姆椒ǔ寺?lián)合使用目標(biāo)的多特征之外，還可以充263.存在的問題1.運(yùn)動目標(biāo)的準(zhǔn)確分割動態(tài)環(huán)境下，光照，陰影等因素對幀圖像影響2.運(yùn)動目標(biāo)的相互遮擋目標(biāo)丟失后如何重新獲取目標(biāo)的引導(dǎo)方法。3.運(yùn)動目標(biāo)的穩(wěn)定特征提取提取目標(biāo)的哪些特征，能夠取得更好的跟蹤效果4.三維坐標(biāo)下運(yùn)動模型的建立鑒于2維模型對角度和遮擋處理的薄弱性。5.實時性問題提高目標(biāo)的準(zhǔn)確性和實時性3.存在的問題1.運(yùn)動目標(biāo)的準(zhǔn)確分割274總結(jié)，發(fā)展與展望由于目標(biāo)跟蹤任務(wù)的復(fù)雜性，應(yīng)該根據(jù)不同的應(yīng)用場合選用不同的跟蹤方法。在系統(tǒng)設(shè)計中，應(yīng)該跟據(jù)具體的精度要求、穩(wěn)健性要求、計算復(fù)雜度要求和實性要求等采用不同的算法。多種技術(shù)的聯(lián)合應(yīng)用可以有效克服單一技術(shù)的局限性。因此，目標(biāo)跟蹤算法的方向發(fā)展為多模跟蹤、多特征融合跟蹤、基于目標(biāo)所在的上下文跟蹤。4總結(jié)，發(fā)展與展望由于目標(biāo)跟蹤任務(wù)的復(fù)雜性，應(yīng)該根據(jù)不同的28參考文獻(xiàn)1.邵文坤,黃愛民,韋慶，動態(tài)場景下的運(yùn)動目標(biāo)跟蹤方法研究，20062.楊靜宇，一種基于直方圖模式的運(yùn)動目標(biāo)實時跟蹤算法,胡明昊，任明武，2004.33.蔡榮太.非線性自適應(yīng)濾波器在電視跟蹤中的應(yīng)用[D].北京：中國科學(xué)院，2008.4.SOTODA，REGAZZONIMCS.Bayesiantrackingforvideoanalytics[J].IEEESignalProcessingMagazine，2010，27（5）5.王宇.基于MeanShift的序列圖像手勢跟蹤算法[J].電視技術(shù)，2010，34（6）6.WUYing，F(xiàn)ANJialue.Contextualflow[C]//Proc.2009IEEEInternationalConferenceonComputerVision，Miami，F(xiàn)L，USA：IEEEPress，2009參考文獻(xiàn)1.邵文坤,黃愛民,韋慶，動態(tài)場景下的運(yùn)動目標(biāo)跟蹤方29參考文獻(xiàn)7.蔡榮太，吳元昊，王明佳，吳慶祥,視頻目標(biāo)跟蹤算法綜述,2010年第34卷第12期8.周娜，基于視覺的運(yùn)動目標(biāo)跟蹤算法的研究與實現(xiàn)，東北大學(xué)碩士論文，20089.薛建儒,鄭南寧,鐘小品,平林江，視感知激勵——多視覺線索集成的貝葉斯方法與應(yīng)用,200810.M.SpenglerandB.Schiele,“TowardsRobustMulti-CueIntegrationforVisualTracking,”MachineVisionandApplications,200311.NOGUERMF，SANFELIUA，SAMARASD.Dependentmultiplecueintegrationforrobusttracking[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2008參考文獻(xiàn)7.蔡榮太，吳元昊，王明佳，吳慶祥,視頻目標(biāo)跟蹤算法30參考文獻(xiàn)12.YANGM，HUAG，WUY.Context-awarevisualtracking[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，200913.KHANZH，GUIYH.Jointfeaturecorrespondencesandappearancesimilarityforrobustvisualobjecttracking[J].IEEETransactionsonInformationForensicsandSecurity，2010參考文獻(xiàn)12.YANGM，HUAG，WUY.Cont31目標(biāo)跟蹤綜述東北大學(xué)-模式識別與智能系統(tǒng)-田維tw415087321@163.com目標(biāo)跟蹤綜述東北大學(xué)-模式識別與智能系統(tǒng)32目錄1.課題背景與研究意義2.國內(nèi)外研究現(xiàn)狀3.存在的問題4.總結(jié)，發(fā)展與展望5.參考文獻(xiàn)目錄1.課題背景與研究意義331課題背景與研究意義運(yùn)動目標(biāo)的跟蹤就是在視頻圖像的每一幅圖像中確定出我們感興趣的運(yùn)動目標(biāo)的位置，并把不同幀中同一目標(biāo)對應(yīng)起來。智能視頻監(jiān)控(IVS:IntelligentVideoSurveillance)是計算機(jī)視覺領(lǐng)域近幾年來發(fā)展較快，研究較多的一個應(yīng)用方向。它能夠利用計算機(jī)視覺技術(shù)對采集到的視頻信號進(jìn)行處理、分析和理解，并以此為基礎(chǔ)對視頻監(jiān)控系統(tǒng)進(jìn)行控制，從而使視頻監(jiān)控系統(tǒng)具備更好的智能性和魯棒性。智能視頻監(jiān)控系統(tǒng)主要涉及到圖像處理、計算機(jī)視覺、模式識別、人工智能等方面的科學(xué)知識，它的用途非常廣泛，在民用和軍事領(lǐng)域中都有著極大的應(yīng)用前景。1課題背景與研究意義運(yùn)動目標(biāo)的跟蹤就是在視頻圖像的每一幅圖像342.國內(nèi)外研究現(xiàn)狀視頻目標(biāo)跟蹤算法基于對比度分析基于匹配核方法運(yùn)動檢測其它方法特征匹配貝葉斯跟蹤Meanshift方法光流法2.國內(nèi)外研究現(xiàn)狀視頻目標(biāo)跟蹤算法基于對比度分析基于匹配核方35基于對比度分析的方法算法思想：基于對比度分析的目標(biāo)跟蹤算法利用目標(biāo)與背景在對比度上的差異來提取、識別和跟蹤目標(biāo)。分類：邊緣跟蹤，型心跟蹤，質(zhì)心跟蹤。優(yōu)缺點(diǎn)：不適合復(fù)雜背景中的目標(biāo)跟蹤，但在空中背景下的目標(biāo)跟蹤中非常有效?；趯Ρ榷确治龅姆椒ㄋ惴ㄋ枷耄夯趯Ρ榷确治龅哪繕?biāo)跟蹤算法利36基于特征匹配的目標(biāo)跟蹤算法算法思想：基于匹配的目標(biāo)跟蹤算法需要提取目標(biāo)的特征，并在每一幀中尋找該特征。尋找的過程就是特征匹配過程。目標(biāo)跟蹤中用到的特征主要有幾何形狀、子空間特征、外形輪廓和特征點(diǎn)等。其中，特征點(diǎn)是匹配算法中常用的特征。特征點(diǎn)的提取算法很多，如KanadeLucasTomasi（KLT）算法、Harris算法、SIFT算法以及SURF算法等。優(yōu)缺點(diǎn)：特征點(diǎn)一般是稀疏的，攜帶的信息較少，可以通過集成前幾幀的信息進(jìn)行補(bǔ)償。目標(biāo)在運(yùn)動過程中，其特征（如姿態(tài)、幾何形狀、灰度或顏色分布等）也隨之變化。目標(biāo)特征的變化具有隨機(jī)性，這種隨機(jī)變化可以采用統(tǒng)計數(shù)學(xué)的方法來描述。直方圖是圖像處理中天然的統(tǒng)計量，因此彩色和邊緣方向直方圖在跟蹤算法中被廣泛采用。基于特征匹配的目標(biāo)跟蹤算法算法思想：基于匹配的目標(biāo)跟蹤算法需37貝葉斯跟蹤卡爾曼濾波粒子濾波隱馬爾科夫模型動態(tài)貝葉斯模型貝葉斯跟蹤卡爾曼濾波38卡爾曼濾波基本思想：從本質(zhì)上講，卡爾曼濾波器就是一個有噪聲線性動態(tài)系統(tǒng)狀態(tài)預(yù)估的遞歸算法，它是一個不斷地預(yù)測與校正的過程。當(dāng)假設(shè)系統(tǒng)狀態(tài)模型和觀測模型都是線性且符合高斯分布，同時假設(shè)噪聲也是高斯分布時，線性卡爾曼濾波器是最優(yōu)的濾波器。局限性：但是，常規(guī)的卡爾曼濾波算法要求系統(tǒng)是線性高斯型的，對于非線性、非高斯環(huán)境而言，不能直接用來解決目標(biāo)的估計問題。為此，人們開發(fā)出各種非線性濾波算法，一種是擴(kuò)展卡爾曼算法(EKF)，它對非線性系統(tǒng)進(jìn)行局部線性化，從而間接利用卡爾曼算法進(jìn)行濾波與估算。但是只適用于濾波誤差和預(yù)測誤差很小的情況，否則，濾波初期估計協(xié)方差下降太快會導(dǎo)致濾波不穩(wěn)定甚至發(fā)散。修正增益的推廣卡爾曼濾波算法(UKF)雖然通過改善增益矩陣，相應(yīng)改善了狀態(tài)協(xié)方差的估計性能，但該方法對測量誤差有一定限制。若測量誤差較大，則算法在收斂精度、收斂時間及穩(wěn)定性等方面表現(xiàn)得很不理想?？柭鼮V波基本思想：從本質(zhì)上講，卡爾曼濾波器就是一個有噪聲線39粒子濾波兩種變形擴(kuò)展了KF的應(yīng)用范圍，但是不能處理非高斯非線性模型，這個時候就需要用粒子濾波（PF）。由于運(yùn)動變化，目標(biāo)的形變、非剛體、縮放等問題，定義一個可靠的分布函數(shù)是非常困難的，所以在PF中存在例子退化問題，于是引進(jìn)了重采樣技術(shù)。粒子濾波兩種變形擴(kuò)展了KF的應(yīng)用范圍，但是不能處理非高斯非40除了KF和PF之外，隱馬爾科夫模型（HMMs）和動態(tài)貝葉斯模型（DBNs）也是貝葉斯框架下重要的視覺跟蹤方法。HMMs和DBNs將運(yùn)動目標(biāo)的內(nèi)部狀態(tài)和觀測量用狀態(tài)變量（向量）表示，DBNs使用狀態(tài)隨機(jī)變量（向量）集，并在它們之間建立概率關(guān)聯(lián)。HMMs將系統(tǒng)建模為馬爾科夫過程。除了KF和PF之外，隱馬爾科夫模型（HMMs）和動態(tài)貝葉41基于運(yùn)動檢測的目標(biāo)跟蹤算法基本思想：通過檢測序列圖像中目標(biāo)和背景的不同運(yùn)動來發(fā)現(xiàn)目標(biāo)存在的區(qū)域，實現(xiàn)跟蹤。光流法：光流算法是基于運(yùn)動檢測的目標(biāo)跟蹤的代表性算法。光流是空間運(yùn)動物體在成像面上的像素運(yùn)動的瞬時速度，光流矢量是圖像平面坐標(biāo)點(diǎn)上的灰度瞬時變化率。光流的計算利用圖像序列中的像素灰度分布的時域變化和相關(guān)性來確定各自像素位置的運(yùn)動，研究圖像灰度在時間上的變化與景象中物體結(jié)構(gòu)及其運(yùn)動的關(guān)系。將二維速度場與灰度相聯(lián)系，引入光流約束方程，得到光流計算的基本算法。優(yōu)缺點(diǎn)：光流場的方法能夠很好的用于二維運(yùn)動估計，它也可以同時給出全局點(diǎn)的運(yùn)動估計，但其本身還存在著一些問題：需要多次迭代，運(yùn)算速度慢，不利于實時應(yīng)用。基于運(yùn)動檢測的目標(biāo)跟蹤算法基本思想：通過檢測序列圖像中目標(biāo)和42核方法算法思想：對相似度概率密度函數(shù)或者后驗概率密度函數(shù)采用直接的連續(xù)估計。Meanshift：均值偏移方法。采用彩色直方圖作為匹配特征。MeanShift跟蹤算法反復(fù)不斷地把數(shù)據(jù)點(diǎn)朝向MeanShift矢量方向進(jìn)行移動，最終收斂到某個概率密度函數(shù)的極值點(diǎn)。在MeanShift跟蹤算法中，相似度函數(shù)用于刻畫目標(biāo)模板和候選區(qū)域所對應(yīng)的兩個核函數(shù)直方圖的相似性，采用的是Bhattacharyya系數(shù)。因此，這種方法將跟蹤問題轉(zhuǎn)化為MeanShift模式匹配問題。核函數(shù)是MeanShift算法的核心，可以通過尺度空間差的局部最大化來選擇核尺度，若采用高斯差分計算尺度空間差，則得到高斯差分MeanShift算法。優(yōu)缺點(diǎn)：MeanShift算法假設(shè)特征直方圖足夠確定目標(biāo)的位置，并且足夠穩(wěn)健，對其他運(yùn)動不敏感。該方法可以避免目標(biāo)形狀、外觀或運(yùn)動的復(fù)雜建模，建立相似度的統(tǒng)計測量和連續(xù)優(yōu)化之間的聯(lián)系。但是，MeanShift算法不能用于旋轉(zhuǎn)和尺度運(yùn)動的估計。為克服以上問題，人們提出了許多改進(jìn)算法，如多核跟蹤算法、多核協(xié)作跟蹤算法和有效的最優(yōu)核平移算法等。核方法算法思想：對相似度概率密度函數(shù)或者后驗概率密度函數(shù)采用43多特征融合跟蹤基本思想：利用多特征刻畫目標(biāo)是一種非常有效的實現(xiàn)穩(wěn)健跟蹤的方法。不同的特征可以從相同的或者不同的傳感器獲得，如彩色和輪廓，彩色和梯度，Haar-Like特征和邊緣，角點(diǎn)、彩色和輪廓，彩色和邊緣，彩色和Wi-Fi三角化等。在貝葉斯框架下，有兩種方法可以集成多個特征：1）假設(shè)特征之間是統(tǒng)計獨(dú)立的，可以將多個特征以加權(quán)和的形式組合起來；2）假設(shè)多個特征之間的條件關(guān)聯(lián)服從線性約束，可以將相似度概率密度分布表示為各個特征相似度概率密度分布的線性組合；多特征融合跟蹤基本思想：利用多特征刻畫目標(biāo)是一種非常有效的實44Towardsrobustmulti-cueintegrationforvisualtracking基于強(qiáng)大的多線索融合技術(shù)的目標(biāo)跟蹤PerceptualComputingandComputerVisionGroup,ETHZurich,SwitzerlandMachineVisionandApplications(2003)14Towardsrobustmulti-cueinteg45目標(biāo)跟蹤綜述課件46一般的系統(tǒng)框架目標(biāo)：用多維的時間序列表示，本文中，用90*72的M維時間序列表示目標(biāo)。單一線索觀察模型：在時間上排序，估計目標(biāo)在單一線索下n維狀態(tài)向量產(chǎn)生的視覺線索的概率圖序列，每個空間矢量是到n維概率分布P(j)的預(yù)測。例如：如果要估計目標(biāo)在二維空間的運(yùn)動。M(j)表示映射，r(j)表示映射參數(shù)一般的系統(tǒng)框架目標(biāo)：用多維的時間序列表示，本文中，用90*747多線索融合模型模型建立模型估計引入反饋調(diào)整參數(shù)rc(t)和rj(t)

多線索融合模型模型建立48Democraticintegration算法思想：對五個線索建立一個共同估計，這個估計用來評定每個線索，并確定下一時刻該線索的權(quán)值。同時每個線索都有自適應(yīng)性，提高其性能，從而提高整個系統(tǒng)的性能。但是必須滿足兩個假設(shè)：首先，各個線索的共同估計必須占主導(dǎo)地位。其次，環(huán)境的變化對視覺線索的影響很小。將輸入量S(t)分成五個線索：強(qiáng)度特征，顏色特征，運(yùn)動特征，形變特征，對比度特征，每個特征都有其自適應(yīng)性。Democraticintegration算法思想：對五個49根據(jù)前面各特征的影響度，調(diào)整各自的權(quán)值Wi，使他們能夠?qū)Σ粩嘧兓沫h(huán)境產(chǎn)生反應(yīng)，集成為一個多狀態(tài)顯示的預(yù)估方案估計目標(biāo)位置定義為合并后的概率分布的最大響應(yīng)根據(jù)前面各特征的影響度，調(diào)整各自的權(quán)值Wi，使他們能夠?qū)Σ粩?0feedback自適應(yīng)的權(quán)值調(diào)整在兩個層面上1.自組織的多線索融合其中qi(t)指觀測量與平均響應(yīng)的概率密度差，τ用來調(diào)節(jié)權(quán)值，權(quán)值Wi為自適應(yīng)。feedback自適應(yīng)的權(quán)值調(diào)整在兩個層面上其中qi(t)512.自適應(yīng)單線索觀察f函數(shù)：抽取一個合適的特征向量2.自適應(yīng)單線索觀察52Democraticintegration方法局限性的分析顏色突變的情況Democraticintegration方法局限性的分53SoccersequenceSoccersequence54TwopersonsequenceTwopersonsequence55IntegrationwithCONDENSATION單純利用感興趣特征進(jìn)行目標(biāo)跟蹤，當(dāng)所選特征突變時，權(quán)值的調(diào)整會產(chǎn)生誤操作，因此有著很大的局限性可以利用當(dāng)前幀以及當(dāng)前幀前一幀做觀測模型，充分利用視頻信息，并結(jié)合多線索特征融合兩個方法，建立新的算法。IntegrationwithCONDENSATION單56基于上下文跟蹤的方法除了聯(lián)合使用目標(biāo)的多特征之外，還可以充分采用上下文、背景和輔助目標(biāo)等信息來實現(xiàn)穩(wěn)健的目標(biāo)跟蹤如文獻(xiàn)[12]設(shè)計了一種考慮上下文的跟蹤算法。該算法采用數(shù)據(jù)挖掘技術(shù)在視頻中獲取輔助目標(biāo)，并將輔助目標(biāo)用在跟蹤中。對目標(biāo)和這些輔助目標(biāo)的協(xié)作跟蹤可以獲得有效的跟蹤性能。這里的輔助目標(biāo)是至少在一小段時間內(nèi)和目標(biāo)同時出現(xiàn)，和目標(biāo)具有相同的相關(guān)性運(yùn)動并且比目標(biāo)更容易跟蹤的視頻內(nèi)容。文獻(xiàn)[13]在跟蹤算法中，同時采用目標(biāo)和目標(biāo)周圍背景的特征點(diǎn)，將目標(biāo)特征點(diǎn)用于跟蹤，將背景特征點(diǎn)用于鑒別目標(biāo)是否被遮擋?；谏舷挛母櫟姆椒ǔ寺?lián)合使用目標(biāo)的多特征之外，還可以充573.存在的問題1.運(yùn)動目標(biāo)的準(zhǔn)確分割動態(tài)環(huán)境下，光照，陰影等因素對幀圖像影響2.運(yùn)動目標(biāo)的相互遮擋目標(biāo)丟失后如何重新獲取目標(biāo)的引導(dǎo)方法。3.運(yùn)動目標(biāo)的穩(wěn)定特征提取提取目標(biāo)的哪些特征，能夠取得更好的跟蹤效果4.三維坐標(biāo)下運(yùn)動模型的建立鑒于2維模型對角度和遮擋處理的薄弱性。5.實時性問題提高目標(biāo)的準(zhǔn)確性和實時性3.存在的問題1.運(yùn)動目標(biāo)的準(zhǔn)確分割584總結(jié)，發(fā)展與展望由于目標(biāo)跟蹤任務(wù)的復(fù)雜性，應(yīng)該根據(jù)不同的應(yīng)用場合選用不同的跟蹤方法。在系統(tǒng)設(shè)計中，應(yīng)該跟據(jù)具體的精度要求、穩(wěn)健性要求、計算復(fù)雜度要求和實性要求等采用不同的算法。多種技術(shù)的聯(lián)合應(yīng)用可以有效克服單一技術(shù)的局限性。因此，目標(biāo)跟蹤算法的方向發(fā)展為多模跟蹤、多特征融合跟蹤、基于目標(biāo)所在的上下文跟蹤。4總結(jié)，發(fā)展與展望由于目標(biāo)跟蹤任務(wù)的復(fù)雜性，應(yīng)該根據(jù)不同