目標(biāo)檢測(cè)目標(biāo)跟蹤報(bào)告課件

1、視頻監(jiān)控HFUT-TI DSP United LabHFUT-TI DSP United Lab2運(yùn)動(dòng)目標(biāo)分片跟蹤運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估計(jì)全局運(yùn)動(dòng)估計(jì) 車(chē)輛檢測(cè)與跟蹤車(chē)輛檢測(cè)與跟蹤5圖像超分辨率重圖像超分辨率重建建HFUT-TI DSP United LabHFUT-TI DSP United Lab3動(dòng)態(tài)場(chǎng)景的運(yùn)動(dòng)檢測(cè)動(dòng)態(tài)場(chǎng)景的運(yùn)動(dòng)檢測(cè)視頻圖像中的目標(biāo)檢測(cè)與跟蹤，是計(jì)算機(jī)視覺(jué)的基礎(chǔ)課題，視頻圖像中的目標(biāo)檢測(cè)與跟蹤，是計(jì)算機(jī)視覺(jué)的基礎(chǔ)課題，同時(shí)具有廣泛的應(yīng)用價(jià)值。同時(shí)具有廣泛的應(yīng)用價(jià)值。： 靜態(tài)場(chǎng)景靜態(tài)場(chǎng)景 目標(biāo)檢測(cè)相對(duì)簡(jiǎn)單，研究漸趨成熟

2、目標(biāo)檢測(cè)相對(duì)簡(jiǎn)單，研究漸趨成熟 動(dòng)態(tài)場(chǎng)景動(dòng)態(tài)場(chǎng)景 相對(duì)復(fù)雜，成為當(dāng)前研究領(lǐng)域的熱點(diǎn)相對(duì)復(fù)雜，成為當(dāng)前研究領(lǐng)域的熱點(diǎn)靜態(tài)場(chǎng)景幀差的一個(gè)例子靜態(tài)場(chǎng)景幀差的一個(gè)例子HFUT-TI DSP United LabHFUT-TI DSP United Lab4HFUT-TI DSP United LabHFUT-TI DSP United Lab5解決思路要檢測(cè)動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)目標(biāo)，關(guān)鍵在于對(duì)場(chǎng)景的要檢測(cè)動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)目標(biāo)，關(guān)鍵在于對(duì)場(chǎng)景的運(yùn)動(dòng)進(jìn)行估計(jì)，通過(guò)估計(jì)出的運(yùn)動(dòng)參數(shù)補(bǔ)償其運(yùn)動(dòng)，運(yùn)動(dòng)進(jìn)行估計(jì)，通過(guò)估計(jì)出的運(yùn)動(dòng)參數(shù)補(bǔ)償其運(yùn)動(dòng)，最后使用幀差法得到運(yùn)動(dòng)目標(biāo)。最后使用幀差法得到運(yùn)動(dòng)目標(biāo)。提取特征點(diǎn)特征點(diǎn)匹

3、配最小二乘求運(yùn)動(dòng)參數(shù)提取特征點(diǎn)前一幀圖像后一幀圖像運(yùn)動(dòng)補(bǔ)償幀差法運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)目標(biāo)HFUT-TI DSP United LabHFUT-TI DSP United Lab6求解全局運(yùn)動(dòng)參數(shù)前一幀后一幀求特征點(diǎn)并匹配運(yùn)動(dòng)補(bǔ)償補(bǔ)償后的幀差圖像HFUT-TI DSP United LabHFUT-TI DSP United Lab7第50幀第80幀第5幀幀差法特征匹配的方法原序列HFUT-TI DSP United LabHFUT-TI DSP United Lab8基于圖像金字塔分解的全局運(yùn)動(dòng)估計(jì)基于圖像金字塔分解的全局運(yùn)動(dòng)估計(jì) 采用了采用了3層金字塔進(jìn)行多分辨率計(jì)算層金字塔進(jìn)行多分辨率計(jì)算,而且在

4、每層迭而且在每層迭代計(jì)算中代計(jì)算中,將基于塊的外點(diǎn)去除算法與特征點(diǎn)提取將基于塊的外點(diǎn)去除算法與特征點(diǎn)提取算法相結(jié)合算法相結(jié)合,這樣既加快了算法的速度這樣既加快了算法的速度,又提高了計(jì)又提高了計(jì)算結(jié)果的準(zhǔn)確性。算結(jié)果的準(zhǔn)確性。HFUT-TI DSP United LabHFUT-TI DSP United Lab9基本步驟如下基本步驟如下：用高斯圖像構(gòu)造法構(gòu)造圖像金字塔；用高斯圖像構(gòu)造法構(gòu)造圖像金字塔；對(duì)金字塔頂層圖像進(jìn)行全局運(yùn)動(dòng)估計(jì)，求得運(yùn)動(dòng)參數(shù)；對(duì)金字塔頂層圖像進(jìn)行全局運(yùn)動(dòng)估計(jì)，求得運(yùn)動(dòng)參數(shù)；將頂層金字塔求得的參數(shù)集隱射到金字塔的中間層，并對(duì)將頂層金字塔求得的參數(shù)集隱射到金字塔的中間層，并對(duì)

5、該層進(jìn)行全局運(yùn)動(dòng)估計(jì)，求得相應(yīng)的運(yùn)動(dòng)參數(shù)；該層進(jìn)行全局運(yùn)動(dòng)估計(jì)，求得相應(yīng)的運(yùn)動(dòng)參數(shù)；將金字塔中間層的參數(shù)集映射到金字塔的底層將金字塔中間層的參數(shù)集映射到金字塔的底層, 對(duì)該層進(jìn)行對(duì)該層進(jìn)行全局運(yùn)動(dòng)估計(jì)，求得該層的運(yùn)動(dòng)參數(shù)集全局運(yùn)動(dòng)估計(jì)，求得該層的運(yùn)動(dòng)參數(shù)集,即最終求得的參數(shù)即最終求得的參數(shù)集。集。利用求得的最終參數(shù)集，對(duì)圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償，將運(yùn)動(dòng)補(bǔ)利用求得的最終參數(shù)集，對(duì)圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償，將運(yùn)動(dòng)補(bǔ)償后的圖像與前一幀圖像進(jìn)行差值。償后的圖像與前一幀圖像進(jìn)行差值。HFUT-TI DSP United LabHFUT-TI DSP United Lab10下圖給出了運(yùn)動(dòng)補(bǔ)償與直接幀差的結(jié)果比較下圖給出

6、了運(yùn)動(dòng)補(bǔ)償與直接幀差的結(jié)果比較圖圖1Coastguard序列圖像序列圖像圖圖2直接幀差和運(yùn)動(dòng)補(bǔ)償后的差值圖比較直接幀差和運(yùn)動(dòng)補(bǔ)償后的差值圖比較HFUT-TI DSP United LabHFUT-TI DSP United Lab11運(yùn)動(dòng)目標(biāo)分片跟蹤運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估計(jì)全局運(yùn)動(dòng)估計(jì) 車(chē)輛檢測(cè)與跟蹤車(chē)輛檢測(cè)與跟蹤5圖像超分辨率重圖像超分辨率重建建HFUT-TI DSP United LabHFUT-TI DSP United Lab12目標(biāo)分割的意義與現(xiàn)狀 運(yùn)動(dòng)目標(biāo)的準(zhǔn)確分割，對(duì)于獲取目標(biāo)的特征信運(yùn)動(dòng)目標(biāo)的準(zhǔn)確分割，對(duì)于獲取目標(biāo)的特征信

7、息非常重要，直接影響到進(jìn)一步的運(yùn)動(dòng)目標(biāo)跟蹤的息非常重要，直接影響到進(jìn)一步的運(yùn)動(dòng)目標(biāo)跟蹤的處理，傳統(tǒng)的運(yùn)動(dòng)目標(biāo)分割的算法主要有背景差分，處理，傳統(tǒng)的運(yùn)動(dòng)目標(biāo)分割的算法主要有背景差分，相鄰幀間差分，光流場(chǎng)的方法，這些方法都有各自相鄰幀間差分，光流場(chǎng)的方法，這些方法都有各自的缺點(diǎn)和不足，不能滿足準(zhǔn)確分割運(yùn)動(dòng)目標(biāo)的要求。的缺點(diǎn)和不足，不能滿足準(zhǔn)確分割運(yùn)動(dòng)目標(biāo)的要求。HFUT-TI DSP United LabHFUT-TI DSP United Lab13Ohlander等提出了一種多維直方圖閾值化分割方等提出了一種多維直方圖閾值化分割方法，該方法直方圖閾值法不需要先驗(yàn)信息，計(jì)算量法，該方法直方圖閾值

8、法不需要先驗(yàn)信息，計(jì)算量較小較小,但缺點(diǎn)是單獨(dú)基于顏色分割得到的區(qū)域可能但缺點(diǎn)是單獨(dú)基于顏色分割得到的區(qū)域可能是不完整的，而且沒(méi)有利用局部空間信息，分割不是不完整的，而且沒(méi)有利用局部空間信息，分割不準(zhǔn)確。準(zhǔn)確。HFUT-TI DSP United LabHFUT-TI DSP United Lab14馬爾可夫隨機(jī)場(chǎng)分割馬爾可夫隨機(jī)場(chǎng)分割 目前基于馬爾可夫隨機(jī)場(chǎng)隨機(jī)場(chǎng)（目前基于馬爾可夫隨機(jī)場(chǎng)隨機(jī)場(chǎng)（MRF）運(yùn)動(dòng)）運(yùn)動(dòng)目標(biāo)分割的方法在圖像分割領(lǐng)域影響越來(lái)越大，該目標(biāo)分割的方法在圖像分割領(lǐng)域影響越來(lái)越大，該方法與傳統(tǒng)方法和閾值法相比，由于基于方法與傳統(tǒng)方法和閾值法相比，由于基于MRF的的運(yùn)動(dòng)目標(biāo)分割

9、方法同時(shí)考慮了圖像顏色信息和空間運(yùn)動(dòng)目標(biāo)分割方法同時(shí)考慮了圖像顏色信息和空間關(guān)聯(lián)信息，因此分割效果較好。關(guān)聯(lián)信息，因此分割效果較好。HFUT-TI DSP United LabHFUT-TI DSP United Lab15 另外，另外，MRF參數(shù)參數(shù) 選取的好壞會(huì)直接影響到分選取的好壞會(huì)直接影響到分割結(jié)果，割結(jié)果，Smits等研究雷達(dá)圖像分割時(shí)表明，馬爾等研究雷達(dá)圖像分割時(shí)表明，馬爾可夫參數(shù)如果較大容易形成較長(zhǎng)的邊緣，較小容易可夫參數(shù)如果較大容易形成較長(zhǎng)的邊緣，較小容易形成微邊緣，而固定的馬爾可夫參數(shù)則使目標(biāo)的輪形成微邊緣，而固定的馬爾可夫參數(shù)則使目標(biāo)的輪廓模糊，對(duì)分割出的目標(biāo)準(zhǔn)確判斷產(chǎn)生不

10、利影響。廓模糊，對(duì)分割出的目標(biāo)準(zhǔn)確判斷產(chǎn)生不利影響。 HFUT-TI DSP United LabHFUT-TI DSP United Lab16因此，我們提出一種基于自適應(yīng)權(quán)值的區(qū)域馬爾可因此，我們提出一種基于自適應(yīng)權(quán)值的區(qū)域馬爾可夫隨機(jī)場(chǎng)的分割方法，結(jié)合分水嶺預(yù)分割算法，并夫隨機(jī)場(chǎng)的分割方法，結(jié)合分水嶺預(yù)分割算法，并利用形態(tài)濾波對(duì)分割結(jié)果進(jìn)行修正，較好地解決了利用形態(tài)濾波對(duì)分割結(jié)果進(jìn)行修正，較好地解決了分割不準(zhǔn)確，目標(biāo)信息丟失的問(wèn)題。分割不準(zhǔn)確，目標(biāo)信息丟失的問(wèn)題。HFUT-TI DSP United LabHFUT-TI DSP United Lab17基于基于MRF的運(yùn)動(dòng)目標(biāo)分割的運(yùn)動(dòng)

11、目標(biāo)分割 馬爾可夫隨機(jī)場(chǎng)是把一維因果馬爾可夫鏈擴(kuò)展成二馬爾可夫隨機(jī)場(chǎng)是把一維因果馬爾可夫鏈擴(kuò)展成二維的結(jié)果，維的結(jié)果，Hammersley-Clifford定理指出了定理指出了MRF和和Gibbs分布之間的等價(jià)性，每個(gè)分布之間的等價(jià)性，每個(gè)MRF都可都可以用一個(gè)以用一個(gè)Gibbs分布來(lái)描述，這樣就解決了分布來(lái)描述，這樣就解決了MRF概率難求的問(wèn)題。概率難求的問(wèn)題。 HFUT-TI DSP United LabHFUT-TI DSP United Lab18 Gibbs分布可定義成如下公式：分布可定義成如下公式：()1( )()U z wTwp zez wQ圖像上每一點(diǎn)的概率分布圖像上每一點(diǎn)的概

12、率分布( )( ( )|)cc CU zV z xx CHFUT-TI DSP United LabHFUT-TI DSP United Lab19對(duì)于一幀對(duì)于一幀CIF圖像，存在一系列的像素點(diǎn)圖像，存在一系列的像素點(diǎn) ，對(duì)于，對(duì)于這些點(diǎn)存在一標(biāo)記場(chǎng)和事先觀察場(chǎng)這些點(diǎn)存在一標(biāo)記場(chǎng)和事先觀察場(chǎng) ，這樣馬爾可，這樣馬爾可夫隨機(jī)場(chǎng)的運(yùn)動(dòng)目標(biāo)分割的問(wèn)題可以歸結(jié)為在事先夫隨機(jī)場(chǎng)的運(yùn)動(dòng)目標(biāo)分割的問(wèn)題可以歸結(jié)為在事先觀察場(chǎng)和其它一系列約束條件下，確定運(yùn)動(dòng)目標(biāo)區(qū)觀察場(chǎng)和其它一系列約束條件下，確定運(yùn)動(dòng)目標(biāo)區(qū)域和背景區(qū)域的二值標(biāo)記問(wèn)題。域和背景區(qū)域的二值標(biāo)記問(wèn)題。 HFUT-TI DSP United LabHF

13、UT-TI DSP United Lab20MRF運(yùn)動(dòng)目標(biāo)分割結(jié)果一 （a）實(shí)驗(yàn)序列）實(shí)驗(yàn)序列1 （b）固定閾值二值化）固定閾值二值化 （c）高斯模型分割）高斯模型分割 （d）自適應(yīng)值）自適應(yīng)值 MRF分割分割 HFUT-TI DSP United LabHFUT-TI DSP United Lab21MRF運(yùn)動(dòng)目標(biāo)分割結(jié)果二 （a）實(shí)驗(yàn)序列）實(shí)驗(yàn)序列2 （b）固定閾值二值化）固定閾值二值化 （c）高斯模型分割）高斯模型分割 （d）自適應(yīng)值）自適應(yīng)值 MRF分割分割 HFUT-TI DSP United LabHFUT-TI DSP United Lab22運(yùn)動(dòng)目標(biāo)分片跟蹤運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告

14、內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估計(jì)全局運(yùn)動(dòng)估計(jì) 車(chē)輛檢測(cè)與跟蹤車(chē)輛檢測(cè)與跟蹤5圖像超分辨率重圖像超分辨率重建建HFUT-TI DSP United LabHFUT-TI DSP United Lab23分片跟蹤為什么引入分片跟蹤： 在目標(biāo)跟蹤領(lǐng)域，一個(gè)重要的難題就是目標(biāo)的遮在目標(biāo)跟蹤領(lǐng)域，一個(gè)重要的難題就是目標(biāo)的遮擋問(wèn)題，因?yàn)檎趽醢l(fā)生時(shí)目標(biāo)可能部分或全部不可見(jiàn)。擋問(wèn)題，因?yàn)檎趽醢l(fā)生時(shí)目標(biāo)可能部分或全部不可見(jiàn)。 模擬人眼跟蹤目標(biāo)的方式，發(fā)生遮擋時(shí)，人眼會(huì)關(guān)模擬人眼跟蹤目標(biāo)的方式，發(fā)生遮擋時(shí)，人眼會(huì)關(guān)注目標(biāo)的可見(jiàn)部分來(lái)繼續(xù)跟蹤。受這一思想啟發(fā)，我們注目標(biāo)的可見(jiàn)部分來(lái)繼續(xù)跟

15、蹤。受這一思想啟發(fā)，我們將目標(biāo)分成多個(gè)小片，目標(biāo)被遮擋時(shí)，利用將目標(biāo)分成多個(gè)小片，目標(biāo)被遮擋時(shí)，利用“可見(jiàn)片可見(jiàn)片”來(lái)跟蹤。來(lái)跟蹤。 HFUT-TI DSP United LabHFUT-TI DSP United Lab24分片跟蹤主要思想： 將目標(biāo)分片，建立目標(biāo)分片表現(xiàn)模型（模板）。在目將目標(biāo)分片，建立目標(biāo)分片表現(xiàn)模型（模板）。在目標(biāo)上一幀的位置周?chē)闅v搜索，找到與目標(biāo)模板相似度最標(biāo)上一幀的位置周?chē)闅v搜索，找到與目標(biāo)模板相似度最高的候選目標(biāo)作為跟蹤結(jié)果。高的候選目標(biāo)作為跟蹤結(jié)果。 當(dāng)前幀上一幀目標(biāo)位置 候選目標(biāo)位置搜索窗口目標(biāo)分片HFUT-TI DSP United LabHFUT-TI

16、 DSP United Lab25分片跟蹤 其中相似度的度量是通過(guò)各片的空間直方圖匹配來(lái)實(shí)現(xiàn)的。其中相似度的度量是通過(guò)各片的空間直方圖匹配來(lái)實(shí)現(xiàn)的。確定目標(biāo)位置后，判斷目標(biāo)中各片的有效性，我們僅利用確定目標(biāo)位置后，判斷目標(biāo)中各片的有效性，我們僅利用有效片進(jìn)行下一幀的跟蹤。有效片進(jìn)行下一幀的跟蹤。 被遮擋的區(qū)域片基本丟失HFUT-TI DSP United LabHFUT-TI DSP United Lab26模板更新模板更新 由上可見(jiàn)這種分片方法已經(jīng)可以很好的解決遮擋由上可見(jiàn)這種分片方法已經(jīng)可以很好的解決遮擋問(wèn)題。問(wèn)題。 但是在跟蹤過(guò)程中，目標(biāo)的外觀模型可能發(fā)生變但是在跟蹤過(guò)程中，目標(biāo)的外觀模

17、型可能發(fā)生變化（例如目標(biāo)轉(zhuǎn)身、尺寸變化等等）。那么剛開(kāi)始化（例如目標(biāo)轉(zhuǎn)身、尺寸變化等等）。那么剛開(kāi)始為目標(biāo)建立的模板就不能很好的表示目標(biāo)，這將影為目標(biāo)建立的模板就不能很好的表示目標(biāo)，這將影響跟蹤效果。響跟蹤效果。 HFUT-TI DSP United LabHFUT-TI DSP United Lab27目標(biāo)外觀變化時(shí)片匹配的情況目標(biāo)外觀變化時(shí)片匹配的情況外觀緩慢變化時(shí)，丟失的片很少HFUT-TI DSP United LabHFUT-TI DSP United Lab28利用有效片的概念，我們?yōu)槊總€(gè)目標(biāo)建立兩種模板，利用有效片的概念，我們?yōu)槊總€(gè)目標(biāo)建立兩種模板，臨時(shí)模板和參考模板。臨時(shí)模板和

18、參考模板。 臨時(shí)模板臨時(shí)模板實(shí)時(shí)更新的模板，在無(wú)遮擋情況下跟實(shí)時(shí)更新的模板，在無(wú)遮擋情況下跟蹤，可以解決目標(biāo)外觀緩慢變化的問(wèn)題。蹤，可以解決目標(biāo)外觀緩慢變化的問(wèn)題。 參考模板參考模板能夠很好的表示目標(biāo)的模板，用于遮能夠很好的表示目標(biāo)的模板，用于遮擋情況下的跟蹤。擋情況下的跟蹤。HFUT-TI DSP United LabHFUT-TI DSP United Lab29分片跟蹤多組實(shí)驗(yàn)結(jié)果： 1.可以有效的解決目標(biāo)遮擋可以有效的解決目標(biāo)遮擋 2.在目標(biāo)表現(xiàn)模型緩慢變化的情況下，實(shí)時(shí)更新模板在目標(biāo)表現(xiàn)模型緩慢變化的情況下，實(shí)時(shí)更新模板 3.在背景較為簡(jiǎn)單的情況下實(shí)現(xiàn)目標(biāo)尺度的更新在背景較為簡(jiǎn)單的情

19、況下實(shí)現(xiàn)目標(biāo)尺度的更新HFUT-TI DSP United LabHFUT-TI DSP United Lab30分片跟蹤遮擋下的跟蹤遮擋下的跟蹤HFUT-TI DSP United LabHFUT-TI DSP United Lab31分片跟蹤目標(biāo)表現(xiàn)模型的變化時(shí)的跟蹤目標(biāo)表現(xiàn)模型的變化時(shí)的跟蹤HFUT-TI DSP United LabHFUT-TI DSP United Lab32目標(biāo)尺度發(fā)生變化目標(biāo)尺度發(fā)生變化HFUT-TI DSP United LabHFUT-TI DSP United Lab33運(yùn)動(dòng)目標(biāo)分片跟蹤運(yùn)動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割馬爾可夫隨機(jī)場(chǎng)分割全

20、局運(yùn)動(dòng)估計(jì)全局運(yùn)動(dòng)估計(jì) 車(chē)輛檢測(cè)與跟蹤車(chē)輛檢測(cè)與跟蹤5圖像超分辨率重圖像超分辨率重建建HFUT-TI DSP United LabHFUT-TI DSP United Lab34車(chē)輛檢測(cè)與跟蹤包括以下兩方面內(nèi)容：包括以下兩方面內(nèi)容：基于碼本更新的檢測(cè)與跟蹤方法基于碼本更新的檢測(cè)與跟蹤方法基于輪廓匹配的檢測(cè)與跟蹤方法基于輪廓匹配的檢測(cè)與跟蹤方法HFUT-TI DSP United LabHFUT-TI DSP United Lab35車(chē)輛檢測(cè)與跟蹤概述車(chē)輛檢測(cè)與跟蹤概述智能交通系統(tǒng)：智能交通系統(tǒng)：( Intelligent Transport Systems, ITS)HFUT-TI DSP U

21、nited LabHFUT-TI DSP United Lab36車(chē)輛檢測(cè)與跟蹤概述車(chē)輛檢測(cè)與跟蹤概述影響車(chē)輛檢測(cè)和跟蹤的主要因素：影響車(chē)輛檢測(cè)和跟蹤的主要因素： （1）車(chē)輛自身陰影；（2）車(chē)輛間相互遮擋或車(chē)輛被背景中物體遮擋；（3）同車(chē)型車(chē)輛之間具有較大的相似性；（4）光線突變；（5）夜晚和雨、雪等惡烈天氣等。主要針對(duì)（主要針對(duì)（1）、（）、（2）兩種情況開(kāi)展研究）兩種情況開(kāi)展研究 HFUT-TI DSP United LabHFUT-TI DSP United Lab37車(chē)輛檢測(cè)與跟蹤概述車(chē)輛檢測(cè)：改進(jìn)的碼本算法車(chē)輛檢測(cè)：改進(jìn)的碼本算法解決車(chē)輛檢測(cè)中的陰影問(wèn)題;車(chē)輛跟蹤車(chē)輛跟蹤: Kalm

22、an預(yù)測(cè)的方法預(yù)測(cè)的方法解決車(chē)輛跟蹤中的遮擋問(wèn)題;HFUT-TI DSP United LabHFUT-TI DSP United Lab38基于改進(jìn)碼本的車(chē)輛檢測(cè)方法基于改進(jìn)碼本的車(chē)輛檢測(cè)方法運(yùn)動(dòng)檢測(cè)方法：運(yùn)動(dòng)檢測(cè)方法： 幀間差分方法光流場(chǎng)方法背景減法 構(gòu)建較為理想的背景模型背景模型 HFUT-TI DSP United LabHFUT-TI DSP United Lab39常用常用背景建模和更新算法背景建模和更新算法 混合高斯模型混合高斯模型(Mixture of Gaussians,MOG)： 能處理復(fù)雜、非靜止的多模態(tài)背景，但它不能適應(yīng)快速的背景變化,對(duì)噪聲變化比較敏感；基于內(nèi)核密度估

23、計(jì)基于內(nèi)核密度估計(jì)( kernel density estimation,KDE)的非參數(shù)背景模型：的非參數(shù)背景模型： 需要大量?jī)?nèi)存來(lái)存儲(chǔ)先前的數(shù)據(jù)，需要很高的計(jì)算開(kāi)銷(xiāo)；基于基于Bayes 決策的方法：決策的方法： 在場(chǎng)景比較復(fù)雜或前景與背景顏色比較接近時(shí)，提取的前景目標(biāo)很不完整HFUT-TI DSP United LabHFUT-TI DSP United Lab40基于基于碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法 Kim K ， Proceedings of IEEE International Conference on Image Processing ；2004 算法是利

24、用量化和聚類(lèi)技術(shù)來(lái)構(gòu)建背景模型；針對(duì)彩色監(jiān)控視頻,對(duì)背景中的每一個(gè)像素點(diǎn)進(jìn)行一段時(shí)間的采樣，采樣值聚類(lèi)成碼本的形式，碼本就代表了背景模型。 運(yùn)動(dòng)檢測(cè)時(shí)，對(duì)新輸入的像素值與其對(duì)應(yīng)碼本做比較,如果能找到與其匹配的碼字，則認(rèn)為該像素點(diǎn)為背景點(diǎn)，否則為前景點(diǎn)。HFUT-TI DSP United LabHFUT-TI DSP United Lab41基于基于碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法 碼本方法： 計(jì)算聚類(lèi)均值和樣本與它的距離,不涉及概率運(yùn)算,運(yùn)算速度較快； 碼本方法能處理高亮和陰影問(wèn)題，而且訓(xùn)練時(shí)允許有前景運(yùn)動(dòng)目標(biāo)。 該算法具有較強(qiáng)的魯棒性，能實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)較好的檢測(cè)。HFU

25、T-TI DSP United LabHFUT-TI DSP United Lab42基于基于碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法碼本模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法 原碼本算法對(duì)原碼本算法對(duì)RGB空間的視頻序列，空間的視頻序列，已具有較好的檢測(cè)效果，有一些不足已具有較好的檢測(cè)效果，有一些不足之處：之處：視頻采集設(shè)備，如網(wǎng)絡(luò)攝像機(jī)、DV和圖像采集卡等采集的視頻序列大多是YUV格式的，如果要在RGB空間做運(yùn)動(dòng)檢測(cè)，則需要進(jìn)行從YUV空間到RGB空間的轉(zhuǎn)換，而該轉(zhuǎn)換運(yùn)算為浮點(diǎn)型運(yùn)算，運(yùn)算量大；原算法在RGB空間進(jìn)行陰影處理時(shí)，需要做浮點(diǎn)型運(yùn)算，進(jìn)一步加大了運(yùn)算量。HFUT-TI DSP United LabHFUT-

26、TI DSP United Lab43基于改進(jìn)碼本的車(chē)輛檢測(cè)實(shí)現(xiàn)基于改進(jìn)碼本的車(chē)輛檢測(cè)實(shí)現(xiàn) 對(duì)原算法進(jìn)行改進(jìn)，直接在YUV空間做運(yùn)動(dòng)檢測(cè)及陰影處理，省去了大量的浮點(diǎn)型運(yùn)算，提高了算法的效率。檢測(cè)步驟：（1）初始碼本的建立 （2）前景運(yùn)動(dòng)目標(biāo)檢測(cè) （3） 陰影和高亮問(wèn)題的解決 （4）目標(biāo)檢測(cè)過(guò)程的碼本實(shí)時(shí)更新 HFUT-TI DSP United LabHFUT-TI DSP United Lab44車(chē)輛跟蹤方法的實(shí)現(xiàn)車(chē)輛跟蹤方法的實(shí)現(xiàn) 基于基于Kalman 濾波的車(chē)輛跟蹤濾波的車(chē)輛跟蹤通過(guò)運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)估計(jì)和目標(biāo)匹配目標(biāo)匹配兩個(gè)模塊實(shí)現(xiàn)對(duì)車(chē)輛的跟蹤。利用前一幀獲得的參數(shù)作為Kalman濾波的狀態(tài)

27、變量，當(dāng)前幀獲得的參數(shù)作為觀測(cè)值，通過(guò)Kalman濾波推導(dǎo)獲得估計(jì)值。 以估計(jì)值為中心進(jìn)行目標(biāo)匹配，如果能匹配上則認(rèn)為是當(dāng)前運(yùn)動(dòng)目標(biāo)，如果匹配不上則認(rèn)為出現(xiàn)了遮擋，使用Kalman對(duì)其位置進(jìn)行預(yù)測(cè)。 HFUT-TI DSP United LabHFUT-TI DSP United Lab45算法步驟算法步驟 Step1 背景模型訓(xùn)練，得到表示初始背景模型的碼本。Step2 輸入像素點(diǎn)和碼本做比較判斷，得到可能的前景像素點(diǎn)，同時(shí)更新碼本。Step3 去除可能前景像素點(diǎn)中陰影和高亮區(qū)域，得到真實(shí)的前景點(diǎn)，同時(shí)更新碼本。Step4 去噪，連通區(qū)域分析，根據(jù)檢測(cè)出的運(yùn)動(dòng)目標(biāo)的長(zhǎng)寬消除非車(chē)輛目標(biāo)，將運(yùn)動(dòng)

28、車(chē)輛分割出來(lái)。 Step5 使用卡爾曼濾波器預(yù)測(cè)車(chē)輛在下一幀中的可能位置。Step6 在預(yù)測(cè)區(qū)域周?chē)鷮?duì)各個(gè)車(chē)輛進(jìn)行匹配跟蹤。轉(zhuǎn)Step2，進(jìn)行下一輪跟蹤。HFUT-TI DSP United LabHFUT-TI DSP United Lab46夜晚車(chē)輛檢測(cè)結(jié)果夜晚車(chē)輛檢測(cè)結(jié)果 HFUT-TI DSP United LabHFUT-TI DSP United Lab47普通路面檢測(cè)結(jié)果普通路面檢測(cè)結(jié)果 （a）序列某一幀）序列某一幀 （b）混合高斯模型檢測(cè)結(jié)果）混合高斯模型檢測(cè)結(jié)果 （c）Bayes 決策檢測(cè)結(jié)果決策檢測(cè)結(jié)果 （d）本方法檢測(cè)結(jié)果）本方法檢測(cè)結(jié)果HFUT-TI DSP Unite

29、d LabHFUT-TI DSP United Lab48高速公路檢測(cè)結(jié)果高速公路檢測(cè)結(jié)果 （a）序列某一幀）序列某一幀 （b）混合高斯模型檢測(cè)結(jié)果）混合高斯模型檢測(cè)結(jié)果 （c）Bayes 決策檢測(cè)結(jié)果決策檢測(cè)結(jié)果 （d）本方法檢測(cè)結(jié)果）本方法檢測(cè)結(jié)果HFUT-TI DSP United LabHFUT-TI DSP United Lab49跟蹤結(jié)果跟蹤結(jié)果 （a）序列第）序列第168幀跟蹤結(jié)果（幀跟蹤結(jié)果（b）序列第）序列第182幀跟蹤結(jié)果幀跟蹤結(jié)果 （c）目標(biāo)質(zhì)心在）目標(biāo)質(zhì)心在x方向的坐標(biāo)方向的坐標(biāo) （d）目標(biāo)質(zhì)心在）目標(biāo)質(zhì)心在y方向的坐標(biāo)方向的坐標(biāo) HFUT-TI DSP United

30、LabHFUT-TI DSP United Lab50跟蹤結(jié)果與粒子濾波方法比較跟蹤結(jié)果與粒子濾波方法比較 （a）粒子濾波第）粒子濾波第40幀幀 （b）粒子濾波第）粒子濾波第60幀幀 （c）粒子濾波第）粒子濾波第88幀幀 （d）粒子濾波第）粒子濾波第100幀幀HFUT-TI DSP United LabHFUT-TI DSP United Lab51跟蹤結(jié)果與經(jīng)典跟蹤結(jié)果與經(jīng)典CamShift方法比較方法比較 （a）CamShift第第40幀（幀（b）CamShift第第60幀幀 （c）CamShift第第88幀幀 （d）CamShift第第100幀幀 HFUT-TI DSP United L

31、abHFUT-TI DSP United Lab52跟蹤結(jié)果比較跟蹤結(jié)果比較 （a）本文方法第）本文方法第40幀幀 （b）本文方法第）本文方法第60幀幀 （c）本文方法第）本文方法第88幀幀 （d）本文方法第）本文方法第100幀幀 HFUT-TI DSP United LabHFUT-TI DSP United Lab53車(chē)輛檢測(cè)與跟蹤包括以下兩方面內(nèi)容：包括以下兩方面內(nèi)容：基于碼本更新的檢測(cè)與跟蹤方法基于碼本更新的檢測(cè)與跟蹤方法基于輪廓匹配的檢測(cè)與跟蹤方法基于輪廓匹配的檢測(cè)與跟蹤方法HFUT-TI DSP United LabHFUT-TI DSP United Lab54背景 傳統(tǒng)視頻檢測(cè)

32、車(chē)流量統(tǒng)計(jì)主要采用車(chē)輛檢測(cè)和跟蹤技傳統(tǒng)視頻檢測(cè)車(chē)流量統(tǒng)計(jì)主要采用車(chē)輛檢測(cè)和跟蹤技術(shù)相結(jié)合的方法，算法復(fù)雜且容易受到外界干擾影響，術(shù)相結(jié)合的方法，算法復(fù)雜且容易受到外界干擾影響， 本文建立若干車(chē)輛遮擋模型，利用分層輪廓匹配法將本文建立若干車(chē)輛遮擋模型，利用分層輪廓匹配法將運(yùn)動(dòng)目標(biāo)與車(chē)輛遮擋模型進(jìn)行輪廓匹配識(shí)別出遮擋車(chē)輛。運(yùn)動(dòng)目標(biāo)與車(chē)輛遮擋模型進(jìn)行輪廓匹配識(shí)別出遮擋車(chē)輛。為了提取運(yùn)動(dòng)目標(biāo)完整外部輪廓，提出一種基于連通域的為了提取運(yùn)動(dòng)目標(biāo)完整外部輪廓，提出一種基于連通域的兩輪掃描法來(lái)標(biāo)記各個(gè)運(yùn)動(dòng)車(chē)輛，并利用兩輪掃描法來(lái)標(biāo)記各個(gè)運(yùn)動(dòng)車(chē)輛，并利用YUV彩色空間對(duì)彩色空間對(duì)陰影進(jìn)行檢測(cè)和抑制，提高車(chē)流量統(tǒng)

33、計(jì)精度。陰影進(jìn)行檢測(cè)和抑制，提高車(chē)流量統(tǒng)計(jì)精度。 HFUT-TI DSP United LabHFUT-TI DSP United Lab55 一、基于連通域的兩輪掃描法 通過(guò)背景減法得到運(yùn)動(dòng)區(qū)域后，各個(gè)運(yùn)動(dòng)目通過(guò)背景減法得到運(yùn)動(dòng)區(qū)域后，各個(gè)運(yùn)動(dòng)目標(biāo)可以認(rèn)為是一個(gè)獨(dú)立的連通域，本文采用基于連標(biāo)可以認(rèn)為是一個(gè)獨(dú)立的連通域，本文采用基于連通域的兩輪掃描法標(biāo)記這些連通域，從而實(shí)現(xiàn)目標(biāo)通域的兩輪掃描法標(biāo)記這些連通域，從而實(shí)現(xiàn)目標(biāo)分割。分割。 HFUT-TI DSP United LabHFUT-TI DSP United Lab56 基于連通域的兩輪掃描法一、第一輪掃描一、第一輪掃描 初步標(biāo)記各個(gè)連通

34、域。針對(duì)背景減法所得到的二值化圖，初步標(biāo)記各個(gè)連通域。針對(duì)背景減法所得到的二值化圖，按照從上向下，從左至右的順序掃描各像素點(diǎn)，判斷當(dāng)前按照從上向下，從左至右的順序掃描各像素點(diǎn)，判斷當(dāng)前掃描點(diǎn)像素值是否為掃描點(diǎn)像素值是否為255,如果像素值為如果像素值為255，說(shuō)明該點(diǎn)是，說(shuō)明該點(diǎn)是運(yùn)動(dòng)像素點(diǎn)，接著判斷該點(diǎn)鄰近像素點(diǎn)是否已被標(biāo)記以決運(yùn)動(dòng)像素點(diǎn)，接著判斷該點(diǎn)鄰近像素點(diǎn)是否已被標(biāo)記以決定當(dāng)前像素點(diǎn)標(biāo)記值定當(dāng)前像素點(diǎn)標(biāo)記值 ，當(dāng)遇到第一個(gè)已被標(biāo)記的鄰近像素，當(dāng)遇到第一個(gè)已被標(biāo)記的鄰近像素點(diǎn)，就將該像素點(diǎn)的標(biāo)記值作為當(dāng)前掃描像素點(diǎn)的標(biāo)記值，點(diǎn)，就將該像素點(diǎn)的標(biāo)記值作為當(dāng)前掃描像素點(diǎn)的標(biāo)記值，若鄰近像素點(diǎn)

35、都未標(biāo)記，說(shuō)明該像素點(diǎn)可能屬于一個(gè)新的若鄰近像素點(diǎn)都未標(biāo)記，說(shuō)明該像素點(diǎn)可能屬于一個(gè)新的目標(biāo)塊，賦予該像素點(diǎn)新的標(biāo)記值。目標(biāo)塊，賦予該像素點(diǎn)新的標(biāo)記值。 HFUT-TI DSP United LabHFUT-TI DSP United Lab57基于連通域的兩輪掃描法二、第二輪掃描二、第二輪掃描 第一輪掃描后可能存在同一連通域的像素點(diǎn)被標(biāo)記成第一輪掃描后可能存在同一連通域的像素點(diǎn)被標(biāo)記成不同目標(biāo)的情況，第二輪掃描將同一連通域內(nèi)不同標(biāo)記值不同目標(biāo)的情況，第二輪掃描將同一連通域內(nèi)不同標(biāo)記值的目標(biāo)合并為一個(gè)目標(biāo)。判斷每個(gè)像素點(diǎn)標(biāo)記值是否為的目標(biāo)合并為一個(gè)目標(biāo)。判斷每個(gè)像素點(diǎn)標(biāo)記值是否為0，如果為如果

36、為0，說(shuō)明當(dāng)前掃描點(diǎn)為背景像素點(diǎn)，則不予處理。反，說(shuō)明當(dāng)前掃描點(diǎn)為背景像素點(diǎn)，則不予處理。反之進(jìn)一步查詢(xún)當(dāng)前掃描點(diǎn)鄰近像素點(diǎn)是否已被標(biāo)記之進(jìn)一步查詢(xún)當(dāng)前掃描點(diǎn)鄰近像素點(diǎn)是否已被標(biāo)記 ，按照，按照從上到下，從左至右的順序?qū)︵徑袼攸c(diǎn)進(jìn)行掃描，當(dāng)遇從上到下，從左至右的順序?qū)︵徑袼攸c(diǎn)進(jìn)行掃描，當(dāng)遇到第一個(gè)已被標(biāo)記且標(biāo)記值與當(dāng)前像素點(diǎn)標(biāo)記值不同的鄰到第一個(gè)已被標(biāo)記且標(biāo)記值與當(dāng)前像素點(diǎn)標(biāo)記值不同的鄰近像素點(diǎn)時(shí)，將進(jìn)行合并。近像素點(diǎn)時(shí)，將進(jìn)行合并。 HFUT-TI DSP United LabHFUT-TI DSP United Lab58 基于連通域的兩輪掃描法 (a) 一輪掃描后一輪掃描后 (b)二

37、輪掃描后二輪掃描后2 222222 2 2 22222 22222 2 222 222 222 22 2 2 22 2 2 22 222222HFUT-TI DSP United LabHFUT-TI DSP United Lab59對(duì)比情況（a）原始圖像）原始圖像 （b）分割后）分割后 （c）逐行掃描法）逐行掃描法 （d）本文掃描方法）本文掃描方法 上圖是實(shí)際的目標(biāo)分割結(jié)果比較。圖（上圖是實(shí)際的目標(biāo)分割結(jié)果比較。圖（a）為原始圖像，圖（）為原始圖像，圖（b）為運(yùn)動(dòng)檢測(cè)結(jié)果，存在外部輪廓不連續(xù)的情況。逐行掃描法將該運(yùn)動(dòng)目為運(yùn)動(dòng)檢測(cè)結(jié)果，存在外部輪廓不連續(xù)的情況。逐行掃描法將該運(yùn)動(dòng)目標(biāo)分割成好幾

38、塊不同的區(qū)域，如圖（標(biāo)分割成好幾塊不同的區(qū)域，如圖（c）所示，而本文兩輪掃描法成功）所示，而本文兩輪掃描法成功將該運(yùn)動(dòng)目標(biāo)分割成一個(gè)獨(dú)立的區(qū)域，如圖（將該運(yùn)動(dòng)目標(biāo)分割成一個(gè)獨(dú)立的區(qū)域，如圖（d）所示。）所示。HFUT-TI DSP United LabHFUT-TI DSP United Lab60二、通過(guò)輪廓匹配來(lái)解決遮擋問(wèn)題 處于遮擋狀態(tài)的運(yùn)動(dòng)目標(biāo)與未處于遮擋狀態(tài)的處于遮擋狀態(tài)的運(yùn)動(dòng)目標(biāo)與未處于遮擋狀態(tài)的運(yùn)動(dòng)目標(biāo)分割得到的輪廓有很大的差異，本文分析運(yùn)動(dòng)目標(biāo)分割得到的輪廓有很大的差異，本文分析目標(biāo)的外部輪廓來(lái)判斷該運(yùn)動(dòng)目標(biāo)是否處于遮擋狀目標(biāo)的外部輪廓來(lái)判斷該運(yùn)動(dòng)目標(biāo)是否處于遮擋狀態(tài)。先建立若

39、干車(chē)輛遮擋模型，代表一些常見(jiàn)的車(chē)態(tài)。先建立若干車(chē)輛遮擋模型，代表一些常見(jiàn)的車(chē)輛遮擋情況，再提取運(yùn)動(dòng)目標(biāo)的輪廓分別與各個(gè)車(chē)輛遮擋情況，再提取運(yùn)動(dòng)目標(biāo)的輪廓分別與各個(gè)車(chē)輛遮擋模型的外部輪廓進(jìn)行匹配，根據(jù)匹配值判斷輛遮擋模型的外部輪廓進(jìn)行匹配，根據(jù)匹配值判斷該運(yùn)動(dòng)目標(biāo)是否處于遮擋狀態(tài)。該運(yùn)動(dòng)目標(biāo)是否處于遮擋狀態(tài)。 HFUT-TI DSP United LabHFUT-TI DSP United Lab61遮擋模型 下圖所建立的車(chē)輛遮擋模型代表了典型的相鄰車(chē)道車(chē)輛下圖所建立的車(chē)輛遮擋模型代表了典型的相鄰車(chē)道車(chē)輛遮擋情況。遮擋情況。 m1 m2HFUT-TI DSP United LabHFUT-TI

40、DSP United Lab62分層輪廓匹配方法 本文采用一種分層輪本文采用一種分層輪廓匹配方法來(lái)比較運(yùn)動(dòng)目廓匹配方法來(lái)比較運(yùn)動(dòng)目標(biāo)與車(chē)輛遮擋模型的外部標(biāo)與車(chē)輛遮擋模型的外部輪廓，該方法在匹配過(guò)程輪廓，該方法在匹配過(guò)程中利用輪廓的整體和局部中利用輪廓的整體和局部信息進(jìn)行計(jì)算。信息進(jìn)行計(jì)算。 首先提取首先提取運(yùn)動(dòng)目標(biāo)輪廓，并進(jìn)行采運(yùn)動(dòng)目標(biāo)輪廓，并進(jìn)行采樣并以二叉樹(shù)形式存儲(chǔ)樣并以二叉樹(shù)形式存儲(chǔ) ，如右圖。如右圖。HFUT-TI DSP United LabHFUT-TI DSP United Lab63分層輪廓匹配方法我們主要依靠該二叉樹(shù)的獨(dú)特分層結(jié)構(gòu)逐層進(jìn)行匹我們主要依靠該二叉樹(shù)的獨(dú)特分層結(jié)構(gòu)逐

41、層進(jìn)行匹配比較，最終計(jì)算出匹配值。具體的匹配計(jì)算可以配比較，最終計(jì)算出匹配值。具體的匹配計(jì)算可以利用下面這個(gè)遞歸等式來(lái)表示：利用下面這個(gè)遞歸等式來(lái)表示：1122( , )min( (,)(,)jbBA BA BA B11( (|,), (|,)injmdif L aa aL bb b HFUT-TI DSP United LabHFUT-TI DSP United Lab64試驗(yàn)結(jié)果 （a）遮擋模型）遮擋模型 （b）原始遮擋圖像）原始遮擋圖像 （c）分割處理后）分割處理后 （d）遮擋模型與運(yùn)動(dòng)目標(biāo)匹配）遮擋模型與運(yùn)動(dòng)目標(biāo)匹配HFUT-TI DSP United LabHFUT-TI DSP U

42、nited Lab65試驗(yàn)結(jié)果 （a） （b） （c） （d） （e） （f） （g） 表表1 上圖各個(gè)車(chē)輛與車(chē)輛遮擋模型輪廓匹配結(jié)果上圖各個(gè)車(chē)輛與車(chē)輛遮擋模型輪廓匹配結(jié)果HFUT-TI DSP United LabHFUT-TI DSP United Lab66三、主要算法步驟（1）首先根據(jù)背景減法，初步分割出運(yùn)動(dòng)目標(biāo)，并對(duì)運(yùn)動(dòng)）首先根據(jù)背景減法，初步分割出運(yùn)動(dòng)目標(biāo)，并對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行形態(tài)學(xué)處理，填補(bǔ)內(nèi)部空洞，去掉一些孤立的噪目標(biāo)進(jìn)行形態(tài)學(xué)處理，填補(bǔ)內(nèi)部空洞，去掉一些孤立的噪聲點(diǎn)。聲點(diǎn)。（2）基于）基于YUV彩色空間檢測(cè)并去除出運(yùn)動(dòng)目標(biāo)的陰影像彩色空間檢測(cè)并去除出運(yùn)動(dòng)目標(biāo)的陰影像素。由于素。由

43、于YUV的色差分量的色差分量U、V和和HSV空間的色度以及飽空間的色度以及飽和度分量存在一定的聯(lián)系，色度可以近視表示為和度分量存在一定的聯(lián)系，色度可以近視表示為,而可以認(rèn)而可以認(rèn)為是飽和度的值，陰影像素與背景像素比較，亮度有很大為是飽和度的值，陰影像素與背景像素比較，亮度有很大的變化，飽和度線性減少，色度一般不變，利用這一性質(zhì)的變化，飽和度線性減少，色度一般不變，利用這一性質(zhì)檢測(cè)并去除出陰影像素。檢測(cè)并去除出陰影像素。 HFUT-TI DSP United LabHFUT-TI DSP United Lab67 主要算法步驟（3）通過(guò)本文提出的兩輪掃描法，分割各個(gè)運(yùn)動(dòng)目標(biāo)，采）通過(guò)本文提出的兩

44、輪掃描法，分割各個(gè)運(yùn)動(dòng)目標(biāo)，采集各個(gè)運(yùn)動(dòng)目標(biāo)的大小，位置，矩特征，以及輪廓信息等，集各個(gè)運(yùn)動(dòng)目標(biāo)的大小，位置，矩特征，以及輪廓信息等，并修補(bǔ)外部輪廓中不連續(xù)的部分，得到完整的目標(biāo)輪廓，并修補(bǔ)外部輪廓中不連續(xù)的部分，得到完整的目標(biāo)輪廓，供后續(xù)處理。供后續(xù)處理。（4）根據(jù)分層輪廓匹配方法，對(duì)每一個(gè)運(yùn)動(dòng)目標(biāo)，提取輪）根據(jù)分層輪廓匹配方法，對(duì)每一個(gè)運(yùn)動(dòng)目標(biāo)，提取輪廓信息與車(chē)輛遮擋模型輪廓匹配比較，如果該運(yùn)動(dòng)目標(biāo)與廓信息與車(chē)輛遮擋模型輪廓匹配比較，如果該運(yùn)動(dòng)目標(biāo)與某一遮擋模型的輪廓匹配值小于某一閾值，則認(rèn)為是匹配某一遮擋模型的輪廓匹配值小于某一閾值，則認(rèn)為是匹配的，判定該目標(biāo)處于對(duì)應(yīng)遮擋狀態(tài)。的，判定該

45、目標(biāo)處于對(duì)應(yīng)遮擋狀態(tài)。HFUT-TI DSP United LabHFUT-TI DSP United Lab68主要算法步驟（5）判斷車(chē)輛是否通過(guò)。本文采用類(lèi)似開(kāi)辟檢測(cè)帶的方法）判斷車(chē)輛是否通過(guò)。本文采用類(lèi)似開(kāi)辟檢測(cè)帶的方法進(jìn)行判斷，首先設(shè)置一條檢測(cè)線，橫貫馬路，分析位于檢進(jìn)行判斷，首先設(shè)置一條檢測(cè)線，橫貫馬路，分析位于檢測(cè)線上的各個(gè)運(yùn)動(dòng)車(chē)輛，對(duì)于每一幀圖像中位于檢測(cè)線上測(cè)線上的各個(gè)運(yùn)動(dòng)車(chē)輛，對(duì)于每一幀圖像中位于檢測(cè)線上的所有運(yùn)動(dòng)車(chē)輛，我們都要查詢(xún)對(duì)應(yīng)位置在上一幀附近是的所有運(yùn)動(dòng)車(chē)輛，我們都要查詢(xún)對(duì)應(yīng)位置在上一幀附近是否存在運(yùn)動(dòng)車(chē)輛，如果存在，則它們可能是同一輛車(chē)，進(jìn)否存在運(yùn)動(dòng)車(chē)輛，如果存在

46、，則它們可能是同一輛車(chē)，進(jìn)一步查詢(xún)這兩個(gè)運(yùn)動(dòng)車(chē)輛的大小、方差與均值（矩特征）一步查詢(xún)這兩個(gè)運(yùn)動(dòng)車(chē)輛的大小、方差與均值（矩特征）差值是否保持在一個(gè)范圍內(nèi)，若小于某一閾值，則認(rèn)為它差值是否保持在一個(gè)范圍內(nèi)，若小于某一閾值，則認(rèn)為它們是同一輛車(chē)，反之認(rèn)為當(dāng)前車(chē)輛是剛進(jìn)入檢測(cè)線的新車(chē)們是同一輛車(chē)，反之認(rèn)為當(dāng)前車(chē)輛是剛進(jìn)入檢測(cè)線的新車(chē)輛，進(jìn)一步查詢(xún)它的遮擋狀態(tài)，根據(jù)遮擋情況，增加車(chē)輛輛，進(jìn)一步查詢(xún)它的遮擋狀態(tài)，根據(jù)遮擋情況，增加車(chē)輛計(jì)數(shù)值，達(dá)到統(tǒng)計(jì)出車(chē)流量的目的。計(jì)數(shù)值，達(dá)到統(tǒng)計(jì)出車(chē)流量的目的。HFUT-TI DSP United LabHFUT-TI DSP United Lab69運(yùn)動(dòng)目標(biāo)分片跟蹤運(yùn)

47、動(dòng)目標(biāo)分片跟蹤報(bào)告內(nèi)容1234馬爾可夫隨機(jī)場(chǎng)分割馬爾可夫隨機(jī)場(chǎng)分割全局運(yùn)動(dòng)估計(jì)全局運(yùn)動(dòng)估計(jì) 車(chē)輛檢測(cè)與跟蹤車(chē)輛檢測(cè)與跟蹤5圖像超分辨率重圖像超分辨率重建建HFUT-TI DSP United LabHFUT-TI DSP United Lab70超分辨率重建的概念 超分辨率重建(super-resolution reconstruction)是指：從單幀或一序列低分辨率圖像(LR)復(fù)原出一幅或一序列高分辨率圖像(HR)， HR圖像有著更高的細(xì)節(jié)信息和更好的主觀質(zhì)量。LR序列HR圖像HFUT-TI DSP United LabHFUT-TI DSP United Lab71 圖像超分辨率重建的必

48、要性 攝像機(jī)在空間上的分辨率能力是有限的。圖像分辨率受攝像機(jī)感光陣列的空間密度及其本身引入的模糊誤差、運(yùn)動(dòng)模糊、下采樣、噪聲等因素，導(dǎo)致實(shí)際拍攝圖像的質(zhì)量較差、分辨率低。因此有必要提高一定的重建算法來(lái)提高圖像的分辨率，改善圖像質(zhì)量。物體鏡頭感光陣列 物體成像過(guò)程：HFUT-TI DSP United LabHFUT-TI DSP United Lab72圖像超分辨率重建的理論基礎(chǔ) 傅立葉光學(xué)理論中把成像系統(tǒng)看成是一個(gè)低通濾波器，在成像過(guò)程中會(huì)丟失高頻細(xì)節(jié)：對(duì)于一個(gè)線性空間不變成像系統(tǒng)，成像過(guò)程可表示為： g(x)表示像， f(x)表示物，h(x)表示點(diǎn)擴(kuò)展函數(shù)。 在截止頻率之外H(u)=0 ，

49、因此就把成像系統(tǒng)看成了一個(gè)傅立葉濾波器，對(duì) F(u)的解進(jìn)行了限制。SR技術(shù)的目的就在于恢復(fù)截至頻率之外的高頻信息，以使圖像獲得更多的細(xì)節(jié)和信息。它的理論基礎(chǔ)是：解析延拓理論，信息疊加理論和非線性操作。y(x)= h(x)* f(x)Y(u)= H(u) F(u)F(u) =Y(u)/H(u)HFUT-TI DSP United LabHFUT-TI DSP United Lab73超分辨率重建的觀察模型 給出超分辨率問(wèn)題的完整的數(shù)學(xué)描述：給定p幀LR觀測(cè)圖像 k=1,p；每幀大小為L(zhǎng)1L2，它們是來(lái)自同一場(chǎng)景，也可以看成是來(lái)自HR圖像f的不同位置，f的大小為H1H2。每個(gè) 是x經(jīng)任意的偏移、

50、模糊以及下采樣而形成。 建立觀察模型如下：kykyWarp 1M1Warp kMkWarp pMpPSF Blur 1B1PSF Blur kBkPSF Blur pBpSamplc 1DSamplc kDSamplc pD+n1nknpy1ykypxkkkkyDB M xnHFUT-TI DSP United LabHFUT-TI DSP United Lab74配準(zhǔn) 在序列圖像超分辨率重建過(guò)程中，必須從欲重建圖像的前后幀圖像中提取相關(guān)的信息作為本幀圖像信息的補(bǔ)充，因此必須找到當(dāng)前幀圖像中各象素點(diǎn)在前后序列圖像中所處的位置。所以圖像超分辨率重建中一個(gè)關(guān)鍵性要素就是對(duì)序列圖像中每個(gè)象素點(diǎn)進(jìn)行圖像間精確的亞象素級(jí)運(yùn)動(dòng)估計(jì)。為什么要進(jìn)行圖像配準(zhǔn)？1st frame2nd framenot correctH