視頻中行人分割方法

1、 視頻中運動人體的檢測方法摘 要運動人體的檢測是人體運動分析的重要內(nèi)容，也是計算機視覺研究的重要領(lǐng)域之一。在智能安全監(jiān)控、高級人機接口、人體運動細(xì)節(jié)分析等方面有著廣泛的應(yīng)用前景和經(jīng)濟價值。 由運動物體所形成的圖像序列可分為兩種情況：一種是靜止背景，一種是運動背景。本文主要綜述靜止背景下，運動人體的檢測的方法。 1 緒 論1.1 引言本章著重闡述了視頻圖像序列中，運動目標(biāo)檢測的研究意義及本文的選題背景。1.2研究背景與意義1.2.1研究背景 圖像是對客觀事物形象、生動的描述，是直觀而具體的信息表達形式，是人類最重要的信息載體。特別是在今天的信息社會，隨著網(wǎng)絡(luò)、通信和微電子技術(shù)的快速發(fā)展和人民物質(zhì)

2、生活水平的提高，以圖像為基礎(chǔ)的視頻以其直觀、方便和內(nèi)容豐富等特點，日益受到人們的青睞。然而在很多應(yīng)用領(lǐng)域，人們通過視覺獲得信息的同時，也要付出艱辛的勞動，需要有一種科技，可以代替人的這種勞動，把人從繁重的視覺勞動中解放出來。因此，用計算機模擬人眼，進行各種煩累的視覺活動就成為一種迫切的需要。在這種條件下，有關(guān)計算機視覺的各種研究和應(yīng)用如雨后春筍般發(fā)展起來。計算機視覺的研究目的是使用計算機代替人眼及大腦對景物環(huán)境進行感知、解釋和理解。隨著計算機技術(shù)的不斷發(fā)展，利用計算機來實現(xiàn)人類的視覺功能，成為目前計算機領(lǐng)域中最熱門的課題之一。計算機視覺研究的一個重要方面，就是運動目標(biāo)的檢測和跟蹤，它融合了計算

3、機圖像處理、模式識別、人工智能及自動控制等諸多相關(guān)領(lǐng)域的知識，形成了一種能從圖像序列中自動檢測標(biāo)，提取目標(biāo)位置信息，自動跟蹤目標(biāo)的技術(shù)。運動目標(biāo)檢測與跟蹤處于整個計算機視覺的底層，是視頻圖像分析中最基本的方法，是各種后續(xù)高級處理，如目標(biāo)分類、行為理解等的基礎(chǔ)。1.2.2學(xué)術(shù)和應(yīng)用價值 運動目標(biāo)檢測是視頻運動目標(biāo)檢測與跟蹤的第一部分，它就是實時的在被監(jiān)視的場景中檢測運動目標(biāo)，并將其提取出來。視頻圖像序列中的運動目標(biāo)檢測一直是計算機視覺、數(shù)字視頻與圖像處理和模式識別領(lǐng)域中一個重要的研究課題。運動目標(biāo)跟蹤是銜接運動目標(biāo)檢測和目標(biāo)行為分析和理解的一個重要環(huán)節(jié)。 運動目標(biāo)的檢測是一個重要、困難的研究課題

4、，它除了能將運動分量和背景分量分割開，還能用檢測出的運動塊為以后的識別、分類以及行為分析提供感興趣的區(qū)域。1.3 國內(nèi)外人體運動檢測研究現(xiàn)狀運動檢測的目的是從序列圖像中將變化區(qū)域從背景圖像中提取出來。運動區(qū)域的有效分割對于目標(biāo)分類、跟蹤和行為理解等后期處理非常重要，因為以后的處理過程僅僅考慮圖像中對應(yīng)于運動區(qū)域的像素。然而，由于背景圖像的動態(tài)變化，如天氣、光照、陰影等因素的影響，使得運動檢測成為一項相當(dāng)困難的工作。運動檢測的算法依照目標(biāo)與 CCD 之間的關(guān)系，可以分為靜態(tài)背景下運動檢測和動態(tài)背景下運動檢測，所謂靜態(tài)背景下運動檢測就是攝像 CCD 在整個監(jiān)視過程中不發(fā)生移動，只有被監(jiān)視目標(biāo)在攝像

5、 CCD 的視場內(nèi)運動，這個過程只有目標(biāo)相對于 CCD 的運動；動態(tài)背景下運動檢測就是攝像 CCD 在整個監(jiān)視過程中發(fā)生了移動(如平動、旋轉(zhuǎn)或多自由度運動)，被監(jiān)視目標(biāo)在攝像 CCD 的視場內(nèi)也發(fā)生了運動，這個過程就產(chǎn)生了目標(biāo)與 CCD 之間復(fù)雜的相對運動。動態(tài)背景下運動檢測存在著目標(biāo)與 CCD 之間復(fù)雜的相對運動，所以算法要比靜態(tài)背景下運動目標(biāo)檢測算法復(fù)雜。當(dāng)目標(biāo)運動的同時，跟蹤攝像器件也相應(yīng)地發(fā)生運動，從而導(dǎo)致運動目標(biāo)在圖像上造成的變化與背景本身的變化混淆在一起，在這種情況下如何精確地實時檢測出運動目標(biāo)成為研究的重點。常用的動態(tài)背景下運動檢測算法有匹配塊法、光流估計法、以及全局運動估計法等

6、。光流法計算量大，不適宜實時處理。為了能夠沿用靜態(tài)背景下的檢測思想，可以先將連續(xù)幾幀圖像的相同背景穩(wěn)定在同一幅圖像的相同位置上，使運動目標(biāo)“暴露”出來，也就是對圖像進行配準(zhǔn)。視頻序列圖像中相鄰兩幀圖像共同部分有很大的相關(guān)性。如果背景部分發(fā)生平移變化，平移變化對圖像的高頻分量影響較大，所以采用傅立葉頻譜為基礎(chǔ)的相位相關(guān)匹配算法。如果背景部分還發(fā)生旋轉(zhuǎn)等運動，采用特征點匹配的方法。靜態(tài)背景下運動目標(biāo)檢測主要常用的方法是：背景差方法背景差方法是目前運動分割中最常用的一種方法，它是利用當(dāng)前圖像與背景圖像的差分來檢測運動區(qū)域的一種技術(shù)。它一般能夠提供最完全的特征數(shù)據(jù)，但對于動態(tài)場景的變化，如光照和外來無

7、關(guān)事件的干擾等特別敏感。幀差法幀差法是在連續(xù)的圖像序列中兩個或三個相鄰幀間采用基于像素的時間差分并且閾值化來提取圖像中的運動區(qū)域。例如，Lipton 等利用兩幀差分方法從實際視頻圖像中檢測運動目標(biāo)，進而用于目標(biāo)的分類與跟蹤；一個改進的方法是利用三幀差分代替兩幀差分，如 VSAM 開發(fā)了一種自適應(yīng)背景減除與三幀差分相結(jié)合的混合算法，它能夠快速有效地從背景中檢測出運動目標(biāo)。幀差分運動檢測方法對于動態(tài)環(huán)境具有較強的自適應(yīng)性，但一般不能完全提取出所有相關(guān)的特征像素點，在運動實體內(nèi)部容易產(chǎn)生空洞現(xiàn)象。光流法基于光流方法的運動檢測采用了運動目標(biāo)隨時間變化的光流特性，如Meyer 等通過計算位移向量光流場來

8、初始化基于輪廓的跟蹤算法，從而有效地提取和跟蹤運動目標(biāo)。該方法的優(yōu)點是在攝影機運動存在的前提下也能檢測出獨立的運動目標(biāo)。然而，大多數(shù)的光流計算方法相當(dāng)復(fù)雜，如果沒有特定硬件的支持則不能被應(yīng)用于全幀視頻流的實時處理。同時當(dāng)場景中有噪聲，陰影等時，計算得到的光流場分布不是十分可靠和精確。本文是介紹在靜態(tài)背景下進行運動人體檢測。1.4 運動目標(biāo)檢測的主要問題和難點由于該領(lǐng)域的研究對象復(fù)雜，研究內(nèi)容涉及多種學(xué)科，目前還存在以下研究難點還沒有較好地解決。 行人檢測還沒有通用的方法，通常是在受限的條件下進行的，針對特定的環(huán)境設(shè)計相應(yīng)的檢測方法。如人體運動期間不被遮擋、背景相對簡單、攝像機靜止不動等。 運動

9、物體檢測方法對周圍環(huán)境中光線亮度漸變和微小噪聲干擾的適應(yīng)性能。自然光線和燈光的亮度是在不斷變化的，平時人眼可能感覺不到這些光線亮度的變化，但是在對場景中運動物體進行檢測時，光線亮度的細(xì)微變化和微小噪聲的干擾會對檢測結(jié)果產(chǎn)生很大影響。如果檢測算法不能適應(yīng)這些變化，可能會導(dǎo)致檢測失敗。 行人檢測技術(shù)涉及到多種學(xué)科的知識，包括計算機視覺、圖像處理、模式識別、人工智能等，如何將它們相結(jié)合也是值得深入研究的問題。2 運動人體檢測2.1 常用目標(biāo)檢測方法 顯然，綜合上述兩種分類方法，視頻監(jiān)視可有室內(nèi)靜止背景、室外靜止背景、室內(nèi)運動背景、室外運動背景四種。本文方法主要針對的是室內(nèi)靜止背景下視頻動人體的檢測。

10、 運動目標(biāo)檢測就是對包含運動信息的圖像序列進行適當(dāng)?shù)靥幚?，從而去除靜止的背景，檢測出運動目標(biāo)及其攜帶的運動信息，并對這些運動信息進行整合，得到關(guān)鍵參數(shù)，為視覺系統(tǒng)的后續(xù)階段提供可靠的數(shù)據(jù)源。運動目標(biāo)的檢測原則是要盡可能保留那些對視覺檢測有重要意義的特征信息，同時最大限度地摒棄那些對運動目標(biāo)檢測無用的冗余信息。 由于無法得到一個通用的運動檢測算法，研究者不得不在算法的復(fù)雜度、可靠性以及實時性等方面綜合考慮。目前，研究人員已經(jīng)在這方面做了大量的研究，提出了許多方法。運動目標(biāo)檢測常用的方法有：連續(xù)幀間差分法、背景差分法和光流法。光流法計算復(fù)雜，不適宜實時處理；連續(xù)幀間差分法將連續(xù)兩幀進行比較，從中提

11、取出運動目標(biāo)的信息，這種提取出運動目標(biāo)的完整性較差，但對動態(tài)環(huán)境有較好的適應(yīng)性；背景差分法能夠較完整地提取目標(biāo)點，但對場景的動態(tài)變化較為敏感。下面簡單介紹這三種目前常用的方法：2.1.1 幀間差分法幀間差分法，又稱時間差分法。幀間差分是檢測相鄰幀圖像之間變化的最簡單方法，它是直接比較了視頻序列中連續(xù)的兩幀或三幀圖像中對應(yīng)像素點在灰度值上的差異，然后通過設(shè)定閾值來提取序列圖像中的運動區(qū)域?；具\算過程如圖 2.1 所示：首先利用公式(3.1)計算第 k 幀圖像與第 k1 幀圖像的差別，得到差分后的圖像D: (2.1)其中,為連續(xù)的兩幀圖像；為幀差圖像。然后對差分后圖像D 使用圖像分割算法(公式

12、3.2)進行二值化處理，即認(rèn)為當(dāng)差分圖像中某一像素的差大于設(shè)定的閾值時，則認(rèn)為該像素是前景像素(檢測到的目標(biāo)區(qū)域)，反之則認(rèn)為是背景像素：其中 T 是二值化設(shè)定的閾值；為二值化后的差分圖像。幀間差分法進行目標(biāo)檢測的主要優(yōu)點是：算法實現(xiàn)簡單；程序設(shè)計復(fù)雜度低；易于實現(xiàn)實時監(jiān)視；基于相鄰幀差方法，由于相鄰幀的時間間隔一般較短，因此該方法對場景光線的變化一般不太敏感。最基本的幀間差分法可以檢測到場景中的變化，并且提取出目標(biāo)，但在實際應(yīng)用中，幀間差分法的結(jié)果精度不高，難以獲得目標(biāo)所在區(qū)域的精確描述。因為我們在實際應(yīng)用中，特別是在下一步進行目標(biāo)跟蹤中，我們總希望提取的目標(biāo)盡量接近目標(biāo)的真實形狀，也就是說

13、，我們提取出的目標(biāo)應(yīng)該是完整的，同時也應(yīng)該盡量少的包括背景像素點。但是在使用過程中存在兩個問題：一是相鄰兩幀間目標(biāo)的重疊部分不容易被檢測出來，即只檢測出目標(biāo)的一部分或者出現(xiàn)了較大比例的空洞，這是由于我們直接用相鄰的兩幀相減后，保留下來的部分是兩幀中相對變化的部分，所以兩幀間目標(biāo)的重疊部分就很難被檢測出來；二是這種方法所檢測到的運動區(qū)域的大小與目標(biāo)的運動速度有關(guān)，目標(biāo)運動速度越大，檢測出的區(qū)域就比實際的區(qū)域越大，而當(dāng)目標(biāo)運動很緩慢時，往往檢測到的區(qū)域很小，甚至無法檢測到目標(biāo)的運動。2.1.2 光流法光流場的計算最初是由 Horn 和 Schunck 于 1981 年提出的，它是一種以灰度梯度基本

14、不變，或亮度恒定的約束假設(shè)為基礎(chǔ)的目標(biāo)檢測的有效方法。所謂光流是指圖像中灰度模式運動的速度：它是景物中可見點的三維速度矢量在成像平面上的投影，它表示了景物表面點在圖像中位置的瞬時變化；一般情況下，可以認(rèn)為光流與運動場沒有太大區(qū)別，因此就可以根據(jù)圖像運動來估計相對運動。基于光流方法的運動檢測采用了運動目標(biāo)隨時間變化的光流特性，把光流計算得到的運動量作為一個重要的識別特征來判斷運動目標(biāo)。光流計算的基本假設(shè)是：圖像中點 ( x ,y)的亮度在 t 時刻為 I ( x,y,t)，當(dāng)圖像中的點在dt 內(nèi)發(fā)生位移時該點的亮度保持不變。即： (2.3)光流計算法的優(yōu)點在于光流不僅攜帶了運動目標(biāo)的運動信息，而

15、且還攜帶了有關(guān)景物三維結(jié)構(gòu)的豐富信息，它能夠檢測獨立運動的對象，不需要預(yù)先知道場景的任何信息，并且能夠適用于靜止背景和運動背景兩種環(huán)境，可用于攝像機運動的情況，有較好的適應(yīng)性。但是當(dāng)目標(biāo)與背景圖像的對比度太小，或圖像存在噪音時，單純的從圖像灰度強度出發(fā)來探測目標(biāo)的光流場方法將會導(dǎo)致很高的虛警率。另外，這種方法的計算復(fù)雜度高，運算時間開銷很大，除非有特殊的硬件支持，很難實現(xiàn)實時運動目標(biāo)的檢測，從而導(dǎo)致光流計算法的實用性比較差。2.1.3 背景減除法背景減除法也是目前運動分割中最常用的一種方法,它是利用當(dāng)前圖像與背景圖像的差分來檢測運動區(qū)域的一種技術(shù)。它將每一幀圖像與事先存儲的背景圖像相減,若差值

16、大于某一閾值,就判為出現(xiàn)了運動目標(biāo),且相減的結(jié)果直接給出目標(biāo)的位置、大小、形狀等信息。背景減除方法的基本框圖如下圖：其中，為當(dāng)前幀，為當(dāng)前背景模型，為當(dāng)前幀與背景模型之間的差值，簡要描述如下：其中，T 為閾值，為分割后的圖像幀。 與時間差分法相比，背景減除法能夠提供比較完整的運動目標(biāo)信息，得到較準(zhǔn)確的目標(biāo)圖像，而且速度快，能適應(yīng)實時系統(tǒng)的要求。但隨著時間的推移，對光照和外部條件造成的場景變化比較敏感，會出現(xiàn)許多噪聲點，影響目標(biāo)檢測結(jié)果。在實際應(yīng)用中，場景中的背景很復(fù)雜，存在各種各樣的干擾，而且背景隨著時間不斷變化，所以適用于整個圖像序列的理想背景是不存在的，因此使用背景減除法的主要困難在于背景

17、模型的建立和維護。一般來說，背景模型需滿足以下要求：能適應(yīng)背景隨時間的緩慢變化，如一天當(dāng)中不同時間里的光照變化；能適應(yīng)背景物體的變化，如場景中移入新的物體，背景中的物體移出場景等變化；背景模型能描述背景中的一些較大擾動，如樹葉晃動、日光燈閃爍等；目前許多研究人員致力于背景模型的研究，希望能夠減少動態(tài)場景對于準(zhǔn)確檢測的影響。主要有基于統(tǒng)計的模型（高斯模型）和基于預(yù)測的方法（卡爾曼濾波、維納濾波等）。如 Haritaoglu 等利用最大、最小強度值和最大時間差分值為場景中的每個像素進行統(tǒng)計建模，并且進行周期性的背景更新；McKenna 等利用像素色彩和梯度信息相結(jié)合方法來建立自適應(yīng)背景模型。本文對

18、室內(nèi)背景建立單高斯模型，采用自適應(yīng)背景減除的方法得到運動人體。3目標(biāo)分類目標(biāo)分類的目的是從檢測到的運動區(qū)域中將對應(yīng)于人的運動區(qū)域提取出來.不同的運動區(qū)域可能對應(yīng)于不同的運動目標(biāo),比如交通道路上監(jiān)控攝像機所捕捉的序列圖像中可能包含行人、車輛及其它諸如飛鳥、流云、搖動的樹枝等運動物體,為了便于進一步對行人進行跟蹤和行為分析,運動目標(biāo)的正確分類是完全必要的.注意,這個步驟在一些情況下可能是不必要的(比如已經(jīng)知道場景中僅僅存在人的運動時).下面僅給出兩種常用的目標(biāo)分類方法.(1)基于形狀信息的分類(shape-based classifi-cation) 基于形狀信息的分類是利用檢測出的運動區(qū)域的形狀

19、特征進行目標(biāo)分類的方法.例如,VSAM采用區(qū)域的分散度、面積、寬高比等作為特征,利用三層神經(jīng)網(wǎng)絡(luò)方法將運動目標(biāo)劃分為人、人群、車和背景干擾;Lipton等34利用分散度和面積信息對二維運動區(qū)域進行分類,主要是區(qū)分人、車及混亂擾動,時間一致性約束使其分類更加準(zhǔn)確;Kuno與Watanabe41使用簡單的人體輪廓模式的形狀參數(shù)從圖像中檢測運動的人.(2)基于運動特性的分類(motion-based classi-fication) 基于運動特性的分類是利用人體運動的周期性進行目標(biāo)分類的方法.例如,Cutler與Davis通過跟蹤感興趣的運動目標(biāo),計算出目標(biāo)隨著時間變化的自相關(guān)特性,而人的周期性運動

20、使得其自相關(guān)也是周期性的,因此通過時頻化方法分析目標(biāo)是否存在周期性的運動特性而將人識別出來;Lipton43通過計算運動區(qū)域的殘余光流(residual flow)來分析運動實體的剛性和周期性,非剛性的人的運動相對于剛性的車輛運動而言具有較高的平均殘余光流,同時它也呈現(xiàn)了周期性的運動特征,據(jù)此可以將人區(qū)分出來. 上述兩種常用的目標(biāo)分類方法有時可以結(jié)合起來使用,甚至可以考慮運動物體色彩或速度等特征,以期得到更加準(zhǔn)確的分類結(jié)果.另外,Stauf-fer提出了利用時間共生矩陣進行分層分類的方法,該方法不僅可以用來區(qū)分物體,還可以用來區(qū)分行為.4 人的跟蹤跟蹤等價于在連續(xù)的圖像幀間創(chuàng)建基于位置、速度、

21、形狀、紋理、色彩等有關(guān)特征的對應(yīng)匹配問題,常用的數(shù)學(xué)工具有卡爾曼濾波 (Kalman filtering)、Condensation算法及動態(tài)貝葉斯網(wǎng)絡(luò) (dynam-ic Bayesian network)等.其中Kalman濾波是基于高斯分布的狀態(tài)預(yù)測方法,不能有效地處理多峰模式(multi-mode)的分布情況;Condensation算法是以因子抽樣為基礎(chǔ)的條件密度傳播方法,結(jié)合可學(xué)習(xí)的動態(tài)模型,可完成魯棒的運動跟蹤.目前,就跟蹤對象而言,有跟蹤如手、臉、頭、腿等身體部分與跟蹤整個人體的;就跟蹤視角而言,有對應(yīng)于單攝像機的單一視角、對應(yīng)于多攝像機的多視角和全方位視角;當(dāng)然還可以通過跟蹤

22、空間(二維或三維)、跟蹤環(huán)境(室內(nèi)或戶外)、跟蹤人數(shù)(單人、多人、人群)、攝像機狀態(tài)(運動或固定)等方面進行分類.下面僅依據(jù)不同的跟蹤方法來加以分類介紹.1) 基于模型的跟蹤(model-based tracking)傳統(tǒng)的人體表達方法有如下三種:(a)線圖法(stick figure).人運動的實質(zhì)是骨骼的運動,因此該表達方法將身體的各個部分以直線來近似,例如,Karaulova建立了人體運動學(xué)的分層模型,用于單目視頻序列中人體的跟蹤.(b)二維輪廓(2-Dcontour).該人體表達方法的使用直接與人體在圖像中的投影有關(guān),如Ju等提出的紙板人模型,它將人的肢體用一組連接的平面區(qū)域塊來表達,

23、該區(qū)域塊的參數(shù)化運動受關(guān)節(jié)運動(articulated move-ment)的約束,該模型被用于關(guān)節(jié)運動圖像的分析;Niyogi與Adelson利用時空切片方法進行人的跟蹤:首先觀察由人的下肢軌跡所產(chǎn)生的時空交織模式,然后在時空域中定位頭的運動投影,接下來識別其它關(guān)節(jié)的軌跡,最后利用這些關(guān)節(jié)軌跡勾畫出一個行人的輪廓.(c)立體模型(volumetric model).它是利用廣義錐臺、橢圓柱、球等三維模型來描述人體的結(jié)構(gòu)細(xì)節(jié),因此要求更多的計算參數(shù)和匹配過程中更大的計算量.例如,Rohr使用14個橢圓柱體模型來表達人體結(jié)構(gòu),坐標(biāo)系統(tǒng)的原點被定位在軀干的中心,目的是利用該模型來產(chǎn)生人行走的三維描

24、述;Wachter與Nagel利用橢圓錐臺建立三維人體模型,通過在連續(xù)的圖像幀間匹配三維人體模型的投影來獲得人運動的定量描述.其中,它利用了迭代的擴展卡爾曼濾波方法,結(jié)合邊緣、區(qū)域信息及身體解析約束確定的身體關(guān)節(jié)運動的自由度,實現(xiàn)單目圖像序列中人的跟蹤.(2)基于區(qū)域的跟蹤(region-based tracking)基于區(qū)域的跟蹤方法目前已有較多的應(yīng)用,例如,Wren等利用小區(qū)域特征進行室內(nèi)單人的跟蹤,文中將人體看作由頭、軀干、四肢等身體部分所對應(yīng)的小區(qū)域塊所組成,利用高斯分布建立人體和場景的模型,屬于人體的像素被規(guī)劃于不同的身體部分,通過跟蹤各個小區(qū)域塊來完成整個人的跟蹤.基于區(qū)域跟蹤的難

25、點是處理運動目標(biāo)的影子和遮擋,這或許可利用彩色信息以及陰影區(qū)域缺乏紋理的性質(zhì)來加以解決,如McKenna等27首先利用色彩和梯度信息建立自適應(yīng)的背景模型,并且利用背景減除方法提取運動區(qū)域,有效地消除了影子的影響;然后,跟蹤過程在區(qū)域、人、人群三個抽象級別上執(zhí)行,區(qū)域可以合并和分離,而人是由許多身體部分區(qū)域在滿足幾何約束的條件下組成的,同時人群又是由單個的人組成的,因此利用區(qū)域跟蹤器并結(jié)合人的表面顏色模型,在遮擋情況下也能夠較好地完成多人的跟蹤. (3)基于活動輪廓的跟蹤(active contour basedtracking)基于活動輪廓的跟蹤思想是利用封閉的曲線輪廓來表達運動目標(biāo),并且該輪

26、廓能夠自動連續(xù)地更新.例如,Paragios與Deriche利用短線程的活動輪廓,結(jié)合Level Set理論在圖像序列中檢測和跟蹤多個運動目標(biāo);Peterfreund采用基于卡爾曼濾波的活動輪廓來跟蹤非剛性的運動物體;Isard與Blake利用隨機微分方程去描述復(fù)雜的運動模型,并與可變形模板相結(jié)合應(yīng)用于人的跟蹤.相對于基于區(qū)域的跟蹤方法,輪廓表達有減少計算復(fù)雜度的優(yōu)點,如果開始能夠合理地分開每個運動目標(biāo)并實現(xiàn)輪廓初始化的話,既使在部分遮擋存在的情況下也能連續(xù)地進行跟蹤,然而初始化通常卻是很困難的.(4)基于特征的跟蹤(feature-based tracking)基于特征的跟蹤包括特征提取和特

27、征匹配兩個過程.Polana與Nelson的文章就是一個很好的點特征跟蹤的例子,文中將每個行人用一個矩形框封閉起來,封閉框的質(zhì)心被選擇作為跟蹤的特征;在跟蹤過程中若兩人出現(xiàn)相互遮擋時,只要質(zhì)心的速度能被區(qū)分開來,跟蹤仍能被成功地執(zhí)行;該方法的優(yōu)點是實現(xiàn)簡單,并能利用人體運動來解決遮擋問題,但是它僅僅考慮了平移運動,如果結(jié)合紋理、彩色及形狀等特征可能會進一步提高跟蹤的魯棒性.另外,Segen與Pingali的跟蹤系統(tǒng)使用了運動輪廓的角點作為對應(yīng)特征,這些特征點采用基于位置和點的曲率值的距離度量在連續(xù)幀間進行匹配.以卡爾曼濾波形式的點、線特征的跟蹤技術(shù)在計算機視覺領(lǐng)域中已被很好地開發(fā),如Jang與

28、Choi利用區(qū)域的形狀、紋理、色彩和邊緣特征信息建立了活動模板,結(jié)合卡爾曼濾波的預(yù)測方法,使特征匹配能量函數(shù)最小化來完成運動目標(biāo)的跟蹤過程,該活動模型對于非剛性物體的跟蹤具有很好的自適應(yīng)性.需要指出,基于多攝像機的人的運動跟蹤也得到了一定的研究,如Utsumi利用多攝像機對人進行跟蹤,通過選擇最好的視點來解決人與人之間的互遮擋和自身遮擋問題;Cai等提出了在不同攝像機之間進行目標(biāo)匹配的概率方法,并且對相鄰攝像機之間的自動切換問題作了探討.不過,目前有關(guān)多攝像機研究的文章并不是很多。5難點與發(fā)展趨勢盡管人的運動分析研究已經(jīng)取得了一定的成果,但下述幾個方面仍是今后研究的難點問題,迫切需要引起廣大科

29、研工作者的高度關(guān)注.(1)運動分割(motion segmentation)快速準(zhǔn)確的運動分割是個相當(dāng)重要但又是比較困難的問題.這是由于動態(tài)環(huán)境中捕捉的圖像受到多方面的影響,比如天氣的變化、光照條件的變化、背景的混亂干擾、運動目標(biāo)的影子、物體與環(huán)境之間或者物體與物體之間的遮擋、甚至攝像機的運動等,這些都給準(zhǔn)確有效的運動分割帶來了挑戰(zhàn).就以運動目標(biāo)的影子為例,它可能與被檢測的目標(biāo)相連,也可能與目標(biāo)分離.在前者情況下,影子扭曲了目標(biāo)的形狀,從而使得以后基于形狀的識別方法不再可靠;在后者情況下,影子有可能被誤認(rèn)為場景中一個完全錯誤的目標(biāo).盡管目前圖像分割主要利用背景減除方法,但如何建立對于任何復(fù)雜環(huán)

30、境的動態(tài)變化均具有自適應(yīng)性的背景模型仍是相當(dāng)困難的問題.一個可喜的發(fā)展是,一些研究者們正利用時空統(tǒng)計的方法構(gòu)建自適應(yīng)的背景模型,這也許對于不受限環(huán)境中的運動分割而言是個更好的選擇.(2)遮擋處理(occlusion handling)目前,大部分人的運動分析系統(tǒng)都不能很好地解決目標(biāo)之間互遮擋和人體自遮擋問題,尤其是在擁擠狀態(tài)下,多人的檢測和跟蹤問題更是難于處理.遮擋時,人體只有部分是可見的,而且這個過程一般是不可訓(xùn)練的,簡單依賴于背景減除進行運動分割的技術(shù)此時將不再可靠,為了減少遮擋或深度所帶來的歧義性問題,必須開發(fā)更好的模型來處理遮擋時特征與身體各部分之間的準(zhǔn)確對應(yīng)問題.另外,一般系統(tǒng)也不能

31、完成何時停止和重新開始身體部分的跟蹤,即遮擋前后的跟蹤初始化缺少自舉方法.當(dāng)然,可喜的進步是利用統(tǒng)計方法從可獲得的圖像信息中進行人體姿勢、位置等的預(yù)測;不過,對于解決遮擋問題最有實際意義的潛在方法應(yīng)該是基于多攝像機的跟蹤系統(tǒng).(3)三維建模與跟蹤(3-D modeling and track-ing)二維方法在早期人的運動分析中證明是很成功的,尤其對于那些不需要精確的姿勢恢復(fù)或低圖像分辨率的應(yīng)用場合(如交通監(jiān)控中的行人跟蹤).二維跟蹤有著簡單快速的優(yōu)點,主要的缺點是受攝像機角度的限制.而三維方法在不受限的復(fù)雜的人的運動判斷(如人的徘徊、握手與跳舞等)、更加準(zhǔn)確的物理空間的表達、遮擋的準(zhǔn)確預(yù)測和

32、處理等方面的優(yōu)點是二維方法所不能比擬的;它能提供更加有意義的與身體姿勢直接相關(guān)的可視化特征用于行為識別;同時,三維恢復(fù)對于虛擬現(xiàn)實應(yīng)用也是必需的.目前基于視覺的三維跟蹤研究仍相當(dāng)有限,三維姿勢恢復(fù)的實例亦很少,且大部分系統(tǒng)由于要求魯棒性而引入了簡化的約束條件.三維跟蹤也導(dǎo)致了從圖像中人體模型的獲取、遮擋處理、人體參數(shù)化建模、攝像機的標(biāo)定等一系列難題.以建模為例,人體模型通常使用許多形狀參數(shù)來表達.然而,目前的模型很少利用關(guān)節(jié)的角度約束和人體部分的動態(tài)特性;而且過去的一些工作幾乎都假設(shè)3-D模型依據(jù)先驗條件而提前被指定,實際上這些形狀參數(shù)應(yīng)當(dāng)從圖像中估計出來.總之,3-D建模與跟蹤在未來工作中應(yīng)

33、值得更多的關(guān)注.6 結(jié)束語本文是對視頻中行人分割方法進行了綜述，并且對運動人體的檢測跟蹤作了描述。主要講述了視頻中行人分割的主要的幾個方法以及怎么實現(xiàn)的。參 考 文 獻1 Collins.R.T.andA.J.Lipton.Introduction to the special section on video surveillanceJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(8):745-746.2 王素玉,沈蘭蓀.智能視覺監(jiān)控技術(shù)研究進展J.中國圖象圖形學(xué)報,2007,12(9):150

34、5-1514.3 Strings.E.and C.S.Regazzoni.Real-time video-shot detection for scene applicationsJ.IEEE Transactions on Image Processing,2000,9(1):69-79.4 Reynard.D.Learing. dynamics of complex motions from image sequencesN.Proc.European Conf.Computer vision,1996.5 Boyer.E.Object models from contour sequencesJ.Proc.European Conf.Comp