TLD算法原理及應(yīng)用實(shí)例

1、匯報(bào)內(nèi)容1 TLD概述 TLD：Tracking-Learning-Detection TLD是英國薩里大學(xué)的一個(gè)捷克籍博士生Zdenek Kalal在其攻讀博士學(xué)位期間提出的一種新的單目標(biāo)長期跟蹤算法。該算法與傳統(tǒng)跟蹤算法的顯著區(qū)別在于將傳統(tǒng)的跟蹤算法和檢測(cè)算法相結(jié)合來解決被跟蹤目標(biāo)在被跟蹤過程中發(fā)生的形變、部分遮擋等問題。同時(shí)，通過一種改進(jìn)的在線學(xué)習(xí)機(jī)制不斷更新跟蹤模塊和檢測(cè)模塊，從而使得跟蹤效果更加穩(wěn)定和可靠。TLD可以解決的問題：極其復(fù)雜的視頻，比如跟蹤失敗的情況經(jīng)常發(fā)生的視頻，目標(biāo)經(jīng)常丟失的視頻如果前后的視頻幀中沒有包含很相關(guān)的信息，比如說目標(biāo)物體發(fā)生了嚴(yán)重形變，檢測(cè)器的效果也從不會(huì)

2、被弱化實(shí)時(shí)運(yùn)作1 TLD概述 1 TLD概述2 TLD關(guān)鍵技術(shù)2.1 跟蹤器設(shè)計(jì) TLD的跟蹤部分改進(jìn)了基于Lucas-Kanade光流的跟蹤方法，提出一種Median Flow（中值光流法）跟蹤方法，并在此基礎(chǔ)上囊括了跟蹤失敗時(shí)候的檢測(cè)。中值光流跟蹤器跟蹤矩形框里的目標(biāo)，并估計(jì)他的運(yùn)動(dòng)。跟蹤器估計(jì)出矩形框內(nèi)的一些點(diǎn)的移動(dòng)，估計(jì)他們的可靠性，然后，通過取一些最可靠的移動(dòng)的中值作為最后的矩形框的移動(dòng)。跟蹤器實(shí)現(xiàn)流程跟蹤點(diǎn)的選擇 選擇了一種brute force selection mechanism（強(qiáng)制選擇機(jī)理）： 在整個(gè)圖像序列中跟蹤第一幀中的每個(gè)像素； 通過FB錯(cuò)誤方法來估計(jì)軌跡； 計(jì)算每

3、個(gè)像素的誤差。最后得到Error Map（誤差圖），表示整個(gè)圖像序列中跟蹤點(diǎn)的可靠性。 左邊的圖是第一幀圖像，紅色的點(diǎn)表示最可靠像素的1%。右邊的圖是Error Map。深色表示低的FB錯(cuò)誤：A區(qū)域表示樹影，B區(qū)域表示行人的身體部分。亮色區(qū)域是很難或者不可能跟蹤的：被遮擋的（C），從相機(jī)視野中消失的（D），缺少紋理信息的（E）。這個(gè)實(shí)驗(yàn)表明FB錯(cuò)誤方法能夠用于選擇可用于可靠追蹤的特征點(diǎn)。前后向錯(cuò)誤（Forward-Backward Error）2.2 檢測(cè)器設(shè)計(jì) 檢測(cè)器采用滑動(dòng)窗口的方法在圖像中尋找目標(biāo)，利用級(jí)聯(lián)分類器輸出結(jié)果。級(jí)聯(lián)分類器包含三部分：方差比較、合并分類器以及最近鄰分類。 滑動(dòng)窗

4、口的掃描策略為：每次尺度變化為1.2，水平和垂直位移為寬度和高度的10%，最小框圖大小為20個(gè)像素。 方差比較：對(duì)滑窗圖像與目標(biāo)圖像計(jì)算灰度值方差，將結(jié)果低于原圖50%的結(jié)果拋棄。 合并分類器：首先對(duì)于輸入圖像進(jìn)行平滑濾波處理降噪，而后在圖像內(nèi)部生成13個(gè)像素比較對(duì)，最終的像素比較結(jié)果輸出為一個(gè)13位的二進(jìn)制像素編碼，該二進(jìn)制編碼將映射到某后驗(yàn)概率。依據(jù)各基分類器輸出的后驗(yàn)概率結(jié)果平均，如果其得分大于0.5，將進(jìn)入下一步，否則將被舍棄。 最近鄰分類器：合并分類器的輸出結(jié)果再經(jīng)過最近鄰分類器輸出檢測(cè)器的結(jié)果。2.3 P-N學(xué)習(xí) P-N學(xué)習(xí)的主要思想就是檢測(cè)器的錯(cuò)誤能夠被兩種類型的約束標(biāo)識(shí)出。 P

5、-expert的作用是發(fā)現(xiàn)目標(biāo)的新的外觀（形變），并以此來增加正樣本的數(shù)量，從而使得檢測(cè)模塊更具魯棒性。 N-expert的作用是生成負(fù)的訓(xùn)練樣本。N-expert的前提假設(shè)是：（被跟蹤的）前景目標(biāo)僅可能出現(xiàn)在視頻幀中的一個(gè)位置，因此，如果前景目標(biāo)的位置時(shí)確定的，那么其周圍必然是負(fù)樣本。2.3 P-N LEARNING這一部分介紹TLD算法的學(xué)習(xí)模塊，學(xué)習(xí)模塊（learning）通過對(duì)視頻的在線處理來提升檢測(cè)器（detector）的性能。在每一幀里，我們希望評(píng)估當(dāng)前的檢測(cè)器，發(fā)現(xiàn)它產(chǎn)生的錯(cuò)誤（identify its errors），不斷更新檢測(cè)器以避免將來它再次犯錯(cuò)。PN學(xué)習(xí)的關(guān)鍵思想是檢測(cè)

6、器產(chǎn)生的錯(cuò)誤結(jié)果可以被“P專家”和“N專家”發(fā)現(xiàn)和識(shí)別。P專家識(shí)別假的負(fù)樣本，N專家識(shí)別假的正樣本。當(dāng)然P專家和N專家本身也會(huì)犯錯(cuò)。然而，P專家和N專家是相互獨(dú)立的，它們可以相互彌補(bǔ)對(duì)方發(fā)生的錯(cuò)誤。P專家發(fā)生的錯(cuò)誤，N專家糾正，反之亦然。P-N學(xué)習(xí)過程P-N學(xué)習(xí)步驟如下：在當(dāng)前幀評(píng)估檢測(cè)器；利用P-N約束來估計(jì)檢測(cè)器的誤差；根據(jù)由P-N約束所產(chǎn)生的標(biāo)注樣本來更新檢測(cè)器；在訓(xùn)練學(xué)習(xí)的最后所獲得的檢測(cè)器就叫做最終檢測(cè)器。P-N學(xué)習(xí)實(shí)例3 TLD局限性 目前的TLD架構(gòu)只訓(xùn)練檢測(cè)器，而跟蹤器則固定不變。這樣的結(jié)果就是跟蹤器會(huì)總是產(chǎn)生相同的錯(cuò)誤。一個(gè)比較好的改進(jìn)就是對(duì)跟蹤模塊也進(jìn)行訓(xùn)練和學(xué)習(xí)。 TLD目前還只能跟蹤一個(gè)