基于人體特征的運(yùn)動(dòng)檢測(cè)與跟蹤1

1、 基于人體特征的運(yùn)動(dòng)檢測(cè)與跟蹤 摘要 隨著計(jì)算機(jī)視覺(jué)、模式識(shí)別等相關(guān)技術(shù)的發(fā)展，基于視頻的運(yùn)動(dòng)人體檢測(cè)和跟蹤受到了多方關(guān)注，被廣泛應(yīng)用到銀行、商場(chǎng)、停車場(chǎng)等對(duì)安全要求較高的地域監(jiān)視中?；谝曨l的方法是唯一一種無(wú)入侵的運(yùn)動(dòng)捕獲方法在海量視頻數(shù)據(jù)檢索、人機(jī)交互、視頻監(jiān)控、體育運(yùn)動(dòng)分析等領(lǐng)域有廣泛的應(yīng)用前景。 實(shí)時(shí)場(chǎng)景下的人體跟蹤會(huì)比較復(fù)雜，存在背景變化、遮擋、噪聲及其他干擾因素，難以同時(shí)滿足準(zhǔn)確性、魯棒性和實(shí)時(shí)性的要求。本文對(duì)單個(gè)攝像機(jī)且攝像機(jī)靜止條件下的人體檢測(cè)跟蹤進(jìn)行了研究，分析了現(xiàn)在已知的一些檢測(cè)跟蹤方法，采用背景減除法和投影比例檢測(cè)法，提出了一種適用于室內(nèi)室外環(huán)境，由運(yùn)動(dòng)物體檢測(cè)、運(yùn)動(dòng)物體

2、分析和人體運(yùn)動(dòng)跟蹤3部分組成，使用單個(gè)靜止數(shù)字?jǐn)z像機(jī)得到德?tīng)柣叶葓D像序列作為輸入，能夠?qū)稳嘶蚨嗳说倪\(yùn)動(dòng)行為進(jìn)行監(jiān)控的視頻檢測(cè)與跟蹤系統(tǒng)。關(guān)鍵詞：人體跟蹤；人體檢測(cè)；運(yùn)動(dòng)人體； detection and tracking of human according to the feature of human abstract with computer vision, pattern recognition, and other related technologies, based on video motion detection and tracking by the body much

3、 attention has been widely applied to banks, shopping malls, parking lots and other areas requiring high security monitored. on the one hand human motion in video massive video data retrieval, human-computer interaction, video surveillance, sports analysis and other fields have a wide range of appli

4、cations, and video-based approach is the only non-invasive method of motion capture. it contains some of the other problems, such as how to specify the video sequence to identify a specific body motion. real-time human tracking scenarios would be more complicated, there is a background change, occlu

5、sion, noise and other interference factors difficult to simultaneously satisfy the accuracy, robustness and real-time requirements. the proposed system is a suitable for indoor and outdoor environments of video detection and tracking system, the entire system consists of a moving object detection, m

6、otion analysis, and human motion tracking objects in three parts. the system is fully implemented in software application that runs on an ordinary personal computer, use a digital camera to get a single still image sequence as input del gray, you can also use an infrared image sequences, capable of

7、single or multiplayer sports behavior monitoring.keywords: human tracking; human detection; human movement; 目錄摘要.iabsract .ii第1章 緒論.1 1.1國(guó)內(nèi)外研究現(xiàn)狀.2 1.2運(yùn)動(dòng)人體檢測(cè)與跟蹤難點(diǎn).3 1.3本文研究?jī)?nèi)容.4第2章 人體運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤理論概述.6 2.1 人體運(yùn)動(dòng)目標(biāo)方法.6 2.1.1運(yùn)動(dòng)物體分割.6 2.1.2運(yùn)動(dòng)物體分類.9 2.2 運(yùn)動(dòng)目標(biāo)跟蹤.10第3章 算法實(shí)現(xiàn).12 3.1 讀取與屏幕顯示.12 3.1.1 avi格式.12 3.1.2

8、 bmp圖片格式.14 3.2 人體運(yùn)動(dòng)檢測(cè).15 3.2.1背景減法.15 3.2.2中值濾波.17 3.2.3二值化.18 3.2.4數(shù)學(xué)形態(tài)學(xué).19 3.3 運(yùn)動(dòng)區(qū)域分析.20 3.3.1縱向與橫向投影.21 3.3.2前景區(qū)域輪廓分析.22 3.4 卡爾曼濾波.25 3.5 實(shí)驗(yàn)結(jié)果.28第4章 結(jié)論.32 4.1 畢業(yè)設(shè)計(jì)工作總結(jié).31 4.2 系統(tǒng)不足和展望.31致謝.33參考文獻(xiàn).34 第1章 緒論 計(jì)算機(jī)視覺(jué)是實(shí)現(xiàn)利用計(jì)算機(jī)對(duì)于三維景物世界的理解，即實(shí)現(xiàn)人的視覺(jué)系統(tǒng)的某些功能.，是一個(gè)相當(dāng)新且發(fā)展十分迅速的研究領(lǐng)域。機(jī)器視覺(jué)是在20世紀(jì)50年代從統(tǒng)計(jì)模式識(shí)別開(kāi)始的,當(dāng)時(shí)的工作主

9、要集中在二維圖像分析和識(shí)別上,如光學(xué)字符識(shí)別、工件表面、顯微圖片和航空?qǐng)D片的分析和解釋等。到了80年代中期,機(jī)器視覺(jué)獲得了蓬勃發(fā)展,新概念、新方法、新理論不斷涌現(xiàn)；尤其是近年來(lái),機(jī)器視覺(jué)技術(shù)正廣泛地應(yīng)用于各個(gè)方面,從醫(yī)學(xué)圖像到遙感圖像,從工業(yè)檢測(cè)到文件處理,從毫微米技術(shù)到多媒體數(shù)據(jù)庫(kù),從安全鑒別、監(jiān)視與跟蹤到國(guó)防系統(tǒng),不一而足?？梢哉f(shuō),需要人類視覺(jué)的場(chǎng)合幾乎都需要機(jī)器視覺(jué)。 數(shù)字圖像處理技術(shù)是從20世紀(jì)60年代以來(lái)隨著計(jì)算機(jī)技術(shù)和visl(visualinteraetive snyatxleaming)的發(fā)展而產(chǎn)生、發(fā)展和不斷成熟起來(lái)的一個(gè)新技術(shù)領(lǐng)域,它在理論上和實(shí)際應(yīng)用上都取得了巨大的成就。

10、數(shù)字圖像處理的主要研究目的在于通過(guò)對(duì)原始圖像的再加工,使之能具備更好的視覺(jué)效果或能滿足特定的需求,在處理上主要包括圖像的采集、編碼、存儲(chǔ)和傳輸,圖像的合成,圖像的增強(qiáng)、變換與復(fù)原等諸多內(nèi)容。目前己廣泛應(yīng)用于工業(yè)、微生物領(lǐng)域、醫(yī)學(xué)、遙感、航空航天及國(guó)防等許多重要領(lǐng)域,而且多年來(lái)一直得到世界各科技強(qiáng)國(guó)的廣泛關(guān)注。尤其是在視覺(jué)要求越來(lái)越高的今天,數(shù)字圖像處理作為機(jī)器視覺(jué)的基礎(chǔ),是機(jī)器視覺(jué)系統(tǒng)的關(guān)鍵工具。 近年來(lái)，人體運(yùn)動(dòng)視覺(jué)分析成為計(jì)算機(jī)視覺(jué)領(lǐng)域備受關(guān)注的前沿方向。人體運(yùn)動(dòng)視覺(jué)分析是從包含人體的圖像序列中檢測(cè)、識(shí)別、跟蹤人體以及獲取運(yùn)動(dòng)參數(shù)，進(jìn)一步對(duì)人的行為解釋和描述。它屬于圖像分析和理解的范疇，其

11、研究?jī)?nèi)容涉及計(jì)算機(jī)視覺(jué)、模式識(shí)別、圖像處理、人工智能和人體運(yùn)動(dòng)學(xué)等方面，是一個(gè)跨多學(xué)科的研究課題。 運(yùn)動(dòng)人體檢測(cè)和跟蹤是人體運(yùn)動(dòng)視覺(jué)分析的一個(gè)重要組成部分，有著廣泛的前景和經(jīng)濟(jì)價(jià)值。它在視頻監(jiān)控、虛擬會(huì)議、人機(jī)交互、臨床診斷、教育訓(xùn)練、虛擬現(xiàn)實(shí)等方面的應(yīng)用都引起了廣大科研人員和相關(guān)商家的濃厚興趣，例如在銀行、商場(chǎng)、軍事基地等對(duì)安防要求較高的場(chǎng)合，實(shí)時(shí)的視覺(jué)監(jiān)控將有重要意義；在智能控制方面，可以通過(guò)對(duì)人臉識(shí)別和表情分析以及手勢(shì)識(shí)別等更好的實(shí)現(xiàn)人機(jī)交互。另一方面，運(yùn)動(dòng)人體檢測(cè)與跟蹤算法的實(shí)現(xiàn)可以節(jié)它是從圖像序列中提取并描述人體輪廓的運(yùn)動(dòng)，然后進(jìn)行跟蹤，更高級(jí)的處理是對(duì)人的行為進(jìn)行識(shí)別和理解。它在視

12、頻會(huì)議、醫(yī)療診斷、高級(jí)人機(jī)交互、小區(qū)、超市、銀行等地帶的安全監(jiān)控，游戲動(dòng)畫(huà)中人的虛擬現(xiàn)實(shí)及基于內(nèi)容的圖像存儲(chǔ)與檢索等方面具有廣泛的應(yīng)用前景和潛在的經(jīng)濟(jì)價(jià)值。人體運(yùn)動(dòng)的檢測(cè)、識(shí)別與跟蹤這一課題主要應(yīng)用于智能視頻監(jiān)控領(lǐng)域。通過(guò)實(shí)時(shí)地觀測(cè)被監(jiān)視場(chǎng)景的運(yùn)動(dòng)目標(biāo)，如人或車輛等，分析描述他們的行為，節(jié)省了大量的人力物力。更重要的是，有些場(chǎng)合由于客觀原因，人類可能不方便或者根本不可能親自到現(xiàn)場(chǎng)進(jìn)行查看，這時(shí)只有通過(guò)其他方法，如用計(jì)算機(jī)進(jìn)行實(shí)時(shí)監(jiān)視來(lái)完成需要的工作。這項(xiàng)技術(shù)研究?jī)?nèi)容豐要涉及到運(yùn)動(dòng)目標(biāo)檢測(cè)與提取、運(yùn)動(dòng)人體識(shí)別、運(yùn)動(dòng)人體跟蹤、運(yùn)動(dòng)分析與運(yùn)動(dòng)理解、視頻認(rèn)證等方面的內(nèi)容。因此研究智能視頻監(jiān)視技術(shù)有著重

13、要的理論意義，而人體運(yùn)動(dòng)的檢測(cè)與跟蹤則是智能視頻監(jiān)控中的重要組成部分。節(jié)約大量的人力資源和物質(zhì)資源，極大地降低了監(jiān)控特定區(qū)域的成本。1.1國(guó)內(nèi)外研究現(xiàn)狀 人體檢測(cè)和跟蹤人體檢測(cè)和跟蹤具有重要的理論價(jià)值和廣泛的應(yīng)用范圍，很多國(guó)家的科研機(jī)構(gòu)和有關(guān)部門都投入到該領(lǐng)域的研究之中。目前已有許多人體檢測(cè)和跟蹤的系統(tǒng)，如 wrenc.r.等4開(kāi)發(fā)的實(shí)時(shí)人體跟蹤系統(tǒng) pfinder，該系統(tǒng)跟蹤復(fù)雜場(chǎng)景下非擁擠人群中的單個(gè)人，已用于許多應(yīng)用中；美國(guó)國(guó)際商用機(jī)器公司與美國(guó)馬里蘭大學(xué)聯(lián)合開(kāi)發(fā)了的實(shí)時(shí)智能視頻監(jiān)控系統(tǒng) w4，它建立人類外形的的模型，可以檢測(cè)和跟蹤人群和在擁擠環(huán)境下的人體行為，用于民宅、停車場(chǎng)和銀行等場(chǎng)

14、合；美國(guó) darpa 資助卡內(nèi)基梅隆大學(xué)戴維 sarnoff 研究中心等大學(xué)和公司合作聯(lián)合研制開(kāi)發(fā)的 vsam 視頻監(jiān)視與監(jiān)控系統(tǒng)，該系統(tǒng)能夠用于普通民用場(chǎng)景以及戰(zhàn)場(chǎng)的實(shí)時(shí)監(jiān)控；olsen等開(kāi)發(fā)的單人跟蹤系統(tǒng)ti 系統(tǒng)，它使用運(yùn)動(dòng)檢測(cè)的方法檢測(cè)室內(nèi)場(chǎng)景下的運(yùn)動(dòng)物體，使用一階預(yù)測(cè)跟蹤他們并識(shí)別其行為。在國(guó)內(nèi)也有很多科研機(jī)構(gòu)對(duì)人體運(yùn)動(dòng)分析進(jìn)行相關(guān)研究，包括中科院自動(dòng)化所模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室、北京大學(xué)視覺(jué)與聽(tīng)覺(jué)信息處理國(guó)家重點(diǎn)實(shí)驗(yàn)室及清華大學(xué)智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室。而國(guó)內(nèi)的一些團(tuán)隊(duì)也對(duì)人體運(yùn)動(dòng)分析的某一部分進(jìn)行了深入的研究，比如說(shuō)中科院研究生院李華、劉國(guó)羿研究了基于人體姿態(tài)和骨架的檢測(cè)算法；

15、中南大學(xué)李弟平研究了一種基于人體上半身形態(tài)的運(yùn)動(dòng)檢測(cè)算法。 另外，國(guó)際上相關(guān)的權(quán)威期刊，如 cviu（computer vision and imageunderstanding）、pam（iieee transaction on patternanalysis and machine intelligence），以及重要會(huì)議如 icc（international conference on computer vision）等，對(duì)人體檢測(cè)跟蹤、識(shí)別及運(yùn)動(dòng)分析領(lǐng)域有著重要的促進(jìn)作用。1.2 運(yùn)動(dòng)人體檢測(cè)與跟蹤難點(diǎn) 盡管許多學(xué)者已經(jīng)進(jìn)行了有益的嘗試，但是由于行人運(yùn)動(dòng)的復(fù)雜性和不規(guī) 則性，使它很難用

16、一個(gè)統(tǒng)一的方法進(jìn)行研究。許多方法和模型或是過(guò)于簡(jiǎn)單而 不能普遍采用，或是過(guò)于復(fù)雜難以在實(shí)際中進(jìn)行應(yīng)用。行人運(yùn)動(dòng)跟蹤和分析還需要不斷發(fā)展。目前存在的主要問(wèn)題有： (1)運(yùn)動(dòng)人體檢測(cè)、識(shí)別與跟蹤還沒(méi)有通用的方法，通常是在受限的條件 下，針對(duì)特定的環(huán)境設(shè)計(jì)相應(yīng)的檢測(cè)方法。如人體運(yùn)動(dòng)期間不被遮擋、背景相對(duì)簡(jiǎn)單、攝像機(jī)靜止不動(dòng)等。 (2)復(fù)雜背景下對(duì)運(yùn)動(dòng)人體的檢測(cè)，由于受周圍環(huán)境影響較大，通常對(duì)外 界干擾無(wú)能為力。當(dāng)行人所穿衣服顏色與背景著色相似或背景光線變化較大時(shí)，很難從背景中分割出運(yùn)動(dòng)的人體。 (3)復(fù)雜背景下對(duì)人體運(yùn)動(dòng)的深入分析，一般通過(guò)對(duì)人體進(jìn)行建模來(lái)完成， 只能處理單個(gè)人體的運(yùn)動(dòng)，且測(cè)試條件比

17、較苛刻，系統(tǒng)復(fù)雜。 (4)單幅圖像處理難以實(shí)現(xiàn)對(duì)人體的可靠檢測(cè)，因而必須對(duì)序列圖像進(jìn)行 處理，需要存儲(chǔ)和處理的數(shù)據(jù)量大，且系統(tǒng)的實(shí)時(shí)性能很難保證。 (5)行人檢測(cè)與跟蹤技術(shù)涉及到多種學(xué)科的知識(shí)，包括計(jì)算機(jī)視覺(jué)、圖像 處理、模式識(shí)別、人工智能等，如何將它們相結(jié)合也是值得深入研究的問(wèn)題。 而且由于人體是非剛性物體，運(yùn)動(dòng)比較靈活、復(fù)雜，具有不規(guī)則性，因此很難找到統(tǒng)一的模型描述人體的運(yùn)動(dòng)。而且人所處的環(huán)境千差萬(wàn)別，變化因素很多，不同的應(yīng)用對(duì)人體檢測(cè)與跟蹤的性能要求不盡相同。而運(yùn)動(dòng)檢測(cè)與跟蹤算法的魯棒性、準(zhǔn)確性和實(shí)時(shí)性的統(tǒng)一仍是尚未解決好和正在努力追求的目標(biāo)5，難以采用一個(gè)通用的方法研究，滿足所有環(huán)境下

18、的性能要求。目前存在的難點(diǎn)主要有： （1）環(huán)境和人體特征的多變性。環(huán)境會(huì)隨著時(shí)間變化，如光線的強(qiáng)弱，會(huì)影響圖像的亮度、對(duì)比度及陰影；移動(dòng)人體所穿衣服顏色與背景相似時(shí)，很難從背景中分離出人體目標(biāo)。如何實(shí)現(xiàn)快速準(zhǔn)確地進(jìn)行運(yùn)動(dòng)檢測(cè)，適應(yīng)周圍環(huán)境的變化是要面臨的一個(gè)難點(diǎn)。 （2）場(chǎng)景中運(yùn)動(dòng)物體的干擾。在應(yīng)用場(chǎng)景中，可能存在大面積區(qū)域中各種目標(biāo)的運(yùn)動(dòng)，如車輛的突然啟動(dòng)與停止；以及頻繁變動(dòng)的物體，如搖擺的樹(shù)、波動(dòng)的水面，都會(huì)增加人體運(yùn)動(dòng)目標(biāo)檢測(cè)的難度。因此，對(duì)運(yùn)動(dòng)物體如何有效分類，避免或減少跟蹤目標(biāo)的丟失，能區(qū)分虛假目標(biāo)，進(jìn)而提高跟蹤算法的有效性，有著重要的作用。 （3）遮擋。在復(fù)雜場(chǎng)景中，尤其是擁擠環(huán)境

19、下，人與人之間、人與其他運(yùn)動(dòng)目標(biāo)可能會(huì)相互遮擋，人體也會(huì)發(fā)生自遮擋，如何判斷遮擋的開(kāi)始和結(jié)束，采取何種策略處理遮擋，對(duì)檢測(cè)和跟蹤的準(zhǔn)確性帶來(lái)很大的影響。 （4）目標(biāo)的失蹤。運(yùn)動(dòng)目標(biāo)長(zhǎng)時(shí)間停留在場(chǎng)景中，可能變成背景目標(biāo)，造成跟蹤丟失。 （5）系統(tǒng)性能評(píng)估6。一般而言，人體運(yùn)動(dòng)分析系統(tǒng)的三個(gè)基本要求是魯棒性、準(zhǔn)確性、實(shí)時(shí)性。這三個(gè)性能的重要性在不同的應(yīng)用存在著差別：魯棒性對(duì)于監(jiān)控系統(tǒng)特別重要，準(zhǔn)確性對(duì)于控制系統(tǒng)特別重要，而實(shí)時(shí)性則對(duì)實(shí)時(shí)高速系統(tǒng)非常關(guān)鍵。因此，選擇有效的算法和方案來(lái)適應(yīng)不同的應(yīng)用，提高系統(tǒng)的性能，降低計(jì)算復(fù)雜度具有很大的意義。同時(shí)，如何測(cè)試系統(tǒng)的魯棒性、準(zhǔn)確性、實(shí)時(shí)性也是值得考慮的

20、問(wèn)題。1.3 本文研究?jī)?nèi)容 由于人體運(yùn)動(dòng)的復(fù)雜性，從目前的研究現(xiàn)狀和技術(shù)水平來(lái)看，建立一個(gè)適合所有情況的運(yùn)動(dòng)人體檢測(cè)與跟蹤系統(tǒng)是不現(xiàn)實(shí)的。因此，解決一定限定條件下或某種應(yīng)用場(chǎng)景下的運(yùn)動(dòng)人體檢測(cè)和跟蹤問(wèn)題仍是該領(lǐng)域主要的研究方向7。本文針對(duì)單個(gè)攝像機(jī)及攝像機(jī)靜止的條件下，設(shè)計(jì)一種適用于簡(jiǎn)單環(huán)境下多人移動(dòng)目標(biāo)的跟蹤算法。 本文提出了一種基于多特征的人體移動(dòng)目標(biāo)跟蹤算法，實(shí)現(xiàn)了對(duì)多個(gè)人體的有效跟蹤。在運(yùn)動(dòng)人體檢測(cè)方面使用統(tǒng)計(jì)方法，首先建立背景模型并周期性更新，通過(guò)把圖像某像素點(diǎn)與模型比較得到運(yùn)動(dòng)的前景部分。對(duì)于運(yùn)動(dòng)前景采用中值濾波去除噪聲，并使用數(shù)學(xué)形態(tài)學(xué)的開(kāi)運(yùn)算去除小面積的非人體運(yùn)動(dòng)部分。對(duì)于人體

21、運(yùn)動(dòng)區(qū)域，該系統(tǒng)將輪廓投影分析和形狀分析相結(jié)合，可以有效的去除大面積非人體活動(dòng)區(qū)域和影子的影響，能夠分析前景活動(dòng)區(qū)包含幾個(gè)運(yùn)動(dòng)者，將區(qū)域合理分配各每個(gè)運(yùn)動(dòng)者，并分別進(jìn)行跟中。在跟蹤中采用了區(qū)域跟蹤和特征跟蹤相結(jié)合的方法，把運(yùn)動(dòng)區(qū)域的中心點(diǎn)作為運(yùn)動(dòng)特征點(diǎn)進(jìn)行跟蹤。在水平與垂直連個(gè)方向上根據(jù)特征點(diǎn)位置分別建立卡爾曼濾波器，通過(guò)預(yù)測(cè)下一幀中該特征點(diǎn)的位置建立連續(xù)幀之間的特征點(diǎn)的聯(lián)系?？柭鼮V波的迭代計(jì)算采用衰減記憶濾波法與平方根濾波法，抑制了發(fā)散。該算法可以檢測(cè)到運(yùn)動(dòng)者的數(shù)量和具體位置，但要手動(dòng)設(shè)定背景。第2章 人體運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤理論概述 隨著計(jì)算機(jī)視覺(jué)、模式識(shí)別等相關(guān)領(lǐng)域的研究和發(fā)展，人體運(yùn)動(dòng)

22、目標(biāo)的檢測(cè)和跟蹤的方法也層出不窮，以適應(yīng)不同的應(yīng)用環(huán)境。根據(jù)攝像頭是否靜止，可以將監(jiān)視場(chǎng)景分為靜態(tài)背景類型和動(dòng)態(tài)背景類型：根據(jù)所包含的人體個(gè)數(shù)，可以將檢測(cè)對(duì)象分為單人檢測(cè)跟蹤和多人檢測(cè)跟蹤；根據(jù)環(huán)境中運(yùn)動(dòng)人體有無(wú)遮擋，可以將跟蹤分為有遮擋跟蹤和無(wú)遮擋簡(jiǎn)單跟蹤。 靜態(tài)背景下攝像機(jī)位置保持固定，只有跟蹤目標(biāo)和其他待濾除的運(yùn)動(dòng)物體發(fā)生相對(duì)運(yùn)動(dòng)，背景不改變或者只有微小的改變；動(dòng)態(tài)背景下攝像機(jī)在跟蹤過(guò)程中可能會(huì)發(fā)生移動(dòng)或旋轉(zhuǎn)，導(dǎo)致視頻的前后相鄰兩幀和背景發(fā)生巨大變化。2.1 人體運(yùn)動(dòng)檢測(cè)方法 人體運(yùn)動(dòng)目標(biāo)檢測(cè)是在輸入圖像中確定運(yùn)動(dòng)人體的過(guò)程，是整個(gè)人體運(yùn)動(dòng)分析系統(tǒng)的第一部分，運(yùn)動(dòng)目標(biāo)檢測(cè)的目的是將運(yùn)動(dòng)人

23、體部分從圖像中提取出來(lái)，能否正確地分離運(yùn)動(dòng)人體是整個(gè)系統(tǒng)成敗的關(guān)鍵。運(yùn)動(dòng)目標(biāo)檢測(cè)由運(yùn)動(dòng)物體分割和運(yùn)動(dòng)物體分類兩部分組成。2.1.1 運(yùn)動(dòng)物體分割 運(yùn)動(dòng)物體的分割就是把圖像中的運(yùn)動(dòng)部分，比如汽車、行人等分離出來(lái)，因?yàn)橹挥羞\(yùn)動(dòng)的部分才是能夠跟蹤的部分。運(yùn)動(dòng)部分的分割常常受到光線變化、影子和遮擋等因素的影響。因此選用一種穩(wěn)定可靠的分割方法是很重要的。常用的分割方法有以下幾種。 （1）背景減法。在運(yùn)動(dòng)檢測(cè)中，背景減法（background subtraction）是一種常用的技術(shù)，尤其是對(duì)于靜態(tài)場(chǎng)景。它首先建立背景模型作為參考圖像，通過(guò)將含有運(yùn)動(dòng)物體的圖像與事先通過(guò)背景模型得到的背景圖像相減得到運(yùn)動(dòng)部

24、分其原理如圖 2-1 所示。這種方案簡(jiǎn)單易行，但是極易受到光照等外部環(huán)境變化的影響，必須配合其他方法進(jìn)行修正。背景模型的建立主要有3種方法，一是通過(guò)求多幅圖像的像素點(diǎn)均值得到，二是通過(guò)多幅圖像的像素點(diǎn)中值得到，三是通過(guò)建立自適應(yīng)模型得到，從而能對(duì)抗外部環(huán)境變化。 圖 2.1 背景減除法原理示意圖 一種改進(jìn)的閾值法是采用雙閾值方法。這種自適應(yīng)閾值的選擇算法，克服了單閾值中閾值過(guò)高不能完整分割出目標(biāo)，過(guò)低會(huì)產(chǎn)生大量的無(wú)關(guān)噪聲(如影子)等缺陷。mckenna等利用像素色彩和梯度信息相結(jié)合的自適應(yīng)背景模型來(lái)處理影子和不可靠色彩線索對(duì)于分割的影響。karmana與brandthl，kilger喳采用基于

25、卡爾曼濾波器(kalman filtering)的自適應(yīng)模型以適應(yīng)天氣和光照的時(shí)間變化。 （2）統(tǒng)計(jì)方法。統(tǒng)計(jì)學(xué)方法是基于像素的統(tǒng)計(jì)特性從背景中提取運(yùn)動(dòng)信息。它首先計(jì)算背景像素的統(tǒng)計(jì)信息(顏色、灰度、邊界等)，使用個(gè)體的像素或一組像素的特征來(lái)建立一個(gè)較為高級(jí)的背景模型，而且背景的統(tǒng)計(jì)值可以動(dòng)態(tài)地更新。通過(guò)對(duì)比當(dāng)前背景模型的統(tǒng)計(jì)值，圖像中每一個(gè)像素被分成前景或是背景。由于統(tǒng)計(jì)學(xué)方法在噪聲，影子光線改變等于擾條件下具有較好的魯棒性，已經(jīng)成為研究熱點(diǎn)。stauffer和grimson3的文章提出了一種實(shí)時(shí)跟蹤中運(yùn)用自適應(yīng)背景混合 模型來(lái)檢測(cè)背景圖像的方法。在這種方法中，他們?yōu)槊恳粋€(gè)像素建立一個(gè)混合高

26、斯模型，并且用在線估計(jì)對(duì)它進(jìn)行更新，并且運(yùn)用自適應(yīng)混合模型的高斯分布來(lái)評(píng)估并決定該像素是前景還是背景，可以有效的處理光線變化和背景混亂，設(shè)計(jì)出了一整套可靠、實(shí)時(shí)性強(qiáng)的室外跟蹤系統(tǒng)。haritaoglu的文章同樣建立了統(tǒng)計(jì)模型。他是通過(guò)計(jì)算每個(gè)像素點(diǎn)所具有的3個(gè)值：最小強(qiáng)度、最大強(qiáng)度和在訓(xùn)練期觀測(cè)到的連續(xù)幀之間的最大強(qiáng)度差分值來(lái)描述每一個(gè)像素，背景模型參數(shù)可以周期性地更新。林洪文陽(yáng)利用統(tǒng)計(jì)學(xué)的方法獲得背景模型，實(shí)時(shí)地對(duì)背景模型更新以適應(yīng)光線和場(chǎng)景自身的變化，用形態(tài)學(xué)方法和檢測(cè)連通域面積的方法進(jìn)行處理，消除噪聲和背景擾動(dòng)帶來(lái)的影響，在hsv色度空間下檢測(cè)陰影，得到準(zhǔn)確的運(yùn)動(dòng)目標(biāo)。基于統(tǒng)計(jì)的方法由于

27、涉及大量計(jì)算和變換，對(duì)現(xiàn)有的硬件設(shè)備要求較高，成為其制約因素。但隨著計(jì)算機(jī)運(yùn)算能力的日益增強(qiáng)，問(wèn)題有望得到改善。 （3）幀間差分法。幀間差分法（temporal differencing）是在圖像序列中通過(guò)相鄰兩幀或者三幀圖像像素差，提取運(yùn)動(dòng)區(qū)域的運(yùn)動(dòng)目標(biāo)檢測(cè)方法。幀間差分對(duì)光線等變化不太敏感，對(duì)動(dòng)態(tài)環(huán)境具有很強(qiáng)的自適應(yīng)性，檢測(cè)有效穩(wěn)定。該方法的不足之處是一般不能提取所有相關(guān)的特征像素點(diǎn)，在運(yùn)動(dòng)實(shí)體內(nèi)部可能會(huì)產(chǎn)生空洞現(xiàn)象。特別是當(dāng)目標(biāo)移動(dòng)緩慢時(shí)，相鄰兩幀之間的差異很小，很難提取出整個(gè)運(yùn)動(dòng)區(qū)域，即使提取的區(qū)域也難以完整精確地描述運(yùn)動(dòng)目標(biāo)。采用這種方法時(shí)，要考慮運(yùn)動(dòng)目標(biāo)的移動(dòng)速度，選擇合適的時(shí)間間

28、隔。對(duì)快速移動(dòng)的目標(biāo)，應(yīng)選擇較小的時(shí)間差，避免造成前后兩幀沒(méi)有重疊，而被分割為兩個(gè)分開(kāi)的物體；對(duì)于移動(dòng)速度很慢的物體，則應(yīng)選擇較大的時(shí)間差，否則可能造成物體在前后兩幀中重疊部分過(guò)大，而檢測(cè)不到。一般過(guò)程見(jiàn)圖2-2 圖2.2 幀間差分法圖中，表示第k幀圖像，則檢測(cè)和提取運(yùn)動(dòng)區(qū)域的過(guò)程包括以下幾步： （a）、幀間差分。 2.1 為差分圖像 (b)、圖像二值化。 2.2 t為設(shè)定閾值，為二值圖像 (c)、形態(tài)學(xué)濾波。 對(duì)二值圖像進(jìn)行腐蝕和膨脹運(yùn)算，得到一個(gè)或多個(gè)連通區(qū)域 。 (d)、連通區(qū)域判斷。 對(duì)連通區(qū)域分析判斷，舍去面積較小的區(qū)域。 （4）光流法。光流是圖像中各像素點(diǎn)運(yùn)動(dòng)的速度分布，它是一種瞬

29、時(shí)速度場(chǎng)，即向量場(chǎng)， 每一個(gè)向量表示了景物中一個(gè)點(diǎn)在圖像中位置的瞬時(shí)變化。光流法（optical flow）是利用運(yùn)動(dòng)目標(biāo)在序列圖像中的位置隨時(shí)間變化的光流特性，用來(lái)描述相鄰幀之間某像素點(diǎn)的運(yùn)動(dòng)，通過(guò)計(jì)算運(yùn)動(dòng)物體在幀間的運(yùn)動(dòng)向量來(lái)檢測(cè)運(yùn)動(dòng)區(qū)域。在比較理想的情況下，光流法在攝像機(jī)運(yùn)動(dòng)的條件下能檢測(cè)到獨(dú)立的運(yùn)動(dòng)目標(biāo)，不需要預(yù)先知道場(chǎng)景的任何信息，可以很精確地計(jì)算出運(yùn)動(dòng)物體的速度。但計(jì)算方法復(fù)雜，對(duì)硬件要求比較高，可靠性差，對(duì)噪聲敏感，難于應(yīng)用在實(shí)時(shí)的視頻流處理中。 除了上述的基本分割方案，還有eem（extended expectation maximization）算法以及基于數(shù)學(xué)形態(tài)學(xué)的分割方

30、法等2.1.2 運(yùn)動(dòng)物體分類 由運(yùn)動(dòng)分割得到的不同運(yùn)動(dòng)部分可能屬于不同種類的運(yùn)動(dòng)物體，比如人體視頻監(jiān)控系統(tǒng)得到的運(yùn)動(dòng)部分就可能包括飛行的鳥(niǎo)、飄動(dòng)的云和晃動(dòng)的樹(shù)等，要從中提取人體就要進(jìn)行運(yùn)動(dòng)物體分類，把人從運(yùn)動(dòng)物體中識(shí)別出來(lái)。只有正確地識(shí)別出人體才能進(jìn)行下一步的運(yùn)動(dòng)跟蹤工作，以及后續(xù)的人體行為理解，所以運(yùn)動(dòng)物體的分類是非常必要的。一般可用形態(tài)學(xué)方法進(jìn)行處理，考慮運(yùn)動(dòng)目標(biāo)的分散度、面積、輪廓、高寬比等有關(guān)形態(tài)方面的參數(shù)，來(lái)區(qū)分人以外的運(yùn)動(dòng)目標(biāo)，通過(guò)這些方法甚至可以去除部分噪聲的影響。目前分類有兩種：(1)基于人體特征分類。人不管外形特征還是皮膚顏色都是明顯的，所以人的分類可以采取多種方法?；谛螤?/p>

31、的分類是利用檢測(cè)出來(lái)的運(yùn)動(dòng)區(qū)域的形狀特征信息來(lái)進(jìn)行物體分類的。通過(guò)檢測(cè)模塊得到一個(gè)二值化的前景圖像，對(duì)這個(gè)前景圖像進(jìn)行橫向和縱向的投影可以得到橫向和縱向的長(zhǎng)度比，通常稱之為“寬高比”。通過(guò)多個(gè)人的樣本訓(xùn)練可以得到一般人體的“寬高比，這個(gè)“寬高比作為人體特有的特征，可以用于確定檢測(cè)出的運(yùn)動(dòng)目標(biāo)是否為人體。這個(gè)人體特有的特征也可以是人體的“面積，它指的是在通過(guò)檢測(cè)模塊得到二值化的圖像中人體所占像素的多少，通過(guò)面積的比較，可以除去一般情況下面積較大的運(yùn)動(dòng)的汽車、動(dòng)物、以及擺動(dòng)的樹(shù)葉。另外的一些屬于人體特有的特征還可以是人的皮膚顏色，因此可以通過(guò)識(shí)別人臉裸露的皮膚來(lái)確定是否有人的存在，這通常需要在色彩

32、空間如rgb空間、his空間或yuv空間來(lái)進(jìn)行檢測(cè)與識(shí)別。 （2）基于運(yùn)動(dòng)的分類。人體運(yùn)動(dòng)是非剛體運(yùn)動(dòng)，并呈現(xiàn)一定的周期性，這種周期性可以作為區(qū)分運(yùn)動(dòng)人體的重要依據(jù)。一種方案對(duì)于這種周期性的運(yùn)動(dòng)進(jìn)行時(shí)頻分析，利用人體運(yùn)動(dòng)周期性出現(xiàn)的自相似性來(lái)實(shí)現(xiàn)分類；還有方案將此方法與光流法結(jié)合，根據(jù)殘留的大小來(lái)實(shí)現(xiàn)分類。 實(shí)際中可以兩種方法結(jié)合使用，顯然如果能夠合理利用圖像的顏色信息和運(yùn)動(dòng)部分的速度信息，分類的結(jié)果將更加可靠。2.2 運(yùn)動(dòng)目標(biāo)跟蹤 運(yùn)動(dòng)目標(biāo)跟蹤也是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要內(nèi)容，它利用運(yùn)動(dòng)目標(biāo)分割的結(jié)果，又為運(yùn)動(dòng)的分析理解等高級(jí)內(nèi)容提供基礎(chǔ)。跟蹤的目的是在幀與幀之間建立人體運(yùn)動(dòng)目標(biāo)的某些特征，若位

33、置、速度、形狀、紋理和顏色等之間的聯(lián)系。目前常用的跟蹤方案有以下4種. (1)基于模型的跟蹤?；谀Ｐ偷娜诉\(yùn)動(dòng)跟蹤方法首先預(yù)定義一個(gè)模型，然后再將實(shí)際運(yùn)動(dòng)與該模型匹配。模型通常由關(guān)節(jié)和線條骨架組成，用軸來(lái)表示狀態(tài)空間中的關(guān)節(jié)自由度，用狀態(tài)空間來(lái)描述姿態(tài)。其原理是先預(yù)測(cè)下一圖像的姿態(tài)再將這一預(yù)測(cè)模型分析、合成、抽象然后與真實(shí)圖像數(shù)據(jù)比較，直到找到最匹配的模型，并且更新系統(tǒng)模型。人體的幾何模型有簡(jiǎn)單到復(fù)雜可以建立為棍狀模型，二維邊界模型和三維立體模型，建立模型之后就可以通過(guò)將運(yùn)動(dòng)物體與模型對(duì)比從而實(shí)現(xiàn)跟蹤。由棍狀模型到二維邊界模型，再到三維立體模型，所實(shí)現(xiàn)的跟蹤精度越來(lái)越高，但計(jì)算量也在增大。 （

34、2）基于區(qū)域的跟蹤。區(qū)域跟蹤思想是把每個(gè)運(yùn)動(dòng)物體與某個(gè)運(yùn)動(dòng)區(qū)域聯(lián)系起來(lái)，然后對(duì)該區(qū)域進(jìn)行跟蹤。區(qū)域跟蹤實(shí)現(xiàn)較為簡(jiǎn)單，在許多系統(tǒng)中有廣泛應(yīng)用，但在兩種情況下有很大困難，一是人體存在較長(zhǎng)影子，二是人體有重疊交錯(cuò)現(xiàn)象。 （3）基于動(dòng)態(tài)邊界跟蹤。動(dòng)態(tài)邊界模型又叫snake，能夠表示不斷變化的運(yùn)動(dòng)人體的邊界。該方案計(jì)算量小，但是要求獨(dú)立準(zhǔn)確的初始化邊界，實(shí)際中很難實(shí)現(xiàn)。 （4）基于特征的跟蹤。 它包括特征提取和特征匹配兩個(gè)基本過(guò)程。該方法通過(guò)跟蹤 目標(biāo)的特征點(diǎn)、特征線來(lái)實(shí)現(xiàn)對(duì)人的跟蹤，通常還需要結(jié)合紋理、色彩及形狀 特征來(lái)提高跟蹤的魯棒性。如polana與neson乜11的文章將每個(gè)行人用一個(gè)矩形 框封

35、閉起來(lái)，封閉框的質(zhì)心被選擇作為跟蹤的特征；在跟蹤過(guò)程中若出現(xiàn)兩入 互相遮擋時(shí)，只要質(zhì)心的速度區(qū)分開(kāi)來(lái)，跟蹤仍能被執(zhí)行。另外tissainayagamp 和surerd24的文章中，物體由關(guān)鍵特征點(diǎn)來(lái)描述，這些關(guān)鍵點(diǎn)是運(yùn)動(dòng)輪廓的 角點(diǎn)(corner point)，通過(guò)跟蹤角點(diǎn)來(lái)跟蹤人的運(yùn)動(dòng)。 盡管對(duì)目標(biāo)跟蹤的算法可以粗略地分為上述幾類，但是這些方法并不是孤 立沒(méi)有聯(lián)系的。在進(jìn)行目標(biāo)跟蹤時(shí)，為了保證跟蹤的可靠性和準(zhǔn)確性，往往幾 種算法混合才能得到更好的跟蹤效果。這種方法在被跟蹤目標(biāo)出現(xiàn)遮擋交錯(cuò)等現(xiàn)象時(shí)仍能實(shí)現(xiàn)較為準(zhǔn)確的跟蹤。此方案必須在跟蹤的復(fù)雜性與有效性之間進(jìn)行折中。 第3章 算法實(shí)現(xiàn) 本文主要

36、對(duì)室內(nèi)、室外固定攝像背景下運(yùn)動(dòng)人體進(jìn)行檢測(cè)與跟蹤。通過(guò)建立統(tǒng)計(jì)背景模型，將運(yùn)動(dòng)圖像與模型比較，可以檢測(cè)到運(yùn)動(dòng)前景部分。采用中值濾波和數(shù)學(xué)形態(tài)學(xué)方法（投影確定寬高比）可以準(zhǔn)確得到人體運(yùn)動(dòng)部分。通過(guò)對(duì)人體運(yùn)動(dòng)前景分析得到各個(gè)運(yùn)動(dòng)者對(duì)應(yīng)的模塊，對(duì)各個(gè)運(yùn)動(dòng)模塊繼而采用卡爾曼濾波來(lái)實(shí)現(xiàn)跟蹤。檢測(cè)與跟蹤流程圖如圖3.1所示。 圖 3.1 算法流程3.1 讀取與屏幕顯示3.1.1 avi格式 整個(gè)人體跟蹤系統(tǒng)的輸入采用avi文件。avi是一種riff文件格式，用于音視頻捕捉、編輯、回放中。riff文件使用4字符碼fourcc來(lái)表征數(shù)據(jù)類型。它的文件頭最開(kāi)始是一個(gè)4字符碼“riff”；緊跟著后面用4個(gè)字節(jié)表示

37、次文件大??；然后又是4個(gè)字符碼說(shuō)明文件具體類型（avi、wave等）；最后是實(shí)際數(shù)據(jù)。riff實(shí)際數(shù)據(jù)中通常還使用列表（list）和塊（chunk）的形式來(lái)組織。 avi文件類型用4字符碼“avi”表示。整個(gè)avi文件的結(jié)構(gòu)為：一個(gè)riff頭+兩個(gè)列表（一個(gè)用于描述媒體流格式、另一個(gè)用于保存媒體流數(shù)據(jù)）+一個(gè)可選的索引塊。riff（avilist（hdrl avih（主avi信息頭數(shù)據(jù)）list（strl strh（流的頭信息數(shù)據(jù)） strf（流的格式信息數(shù)據(jù)） strd（可選的額外的頭信息數(shù)據(jù)） strn（可選的流的名字） ） ）list（movi stbchunk | list （rec

38、subchunk1 subchunk2 ） ）idxl（可選的avi索引塊數(shù)據(jù)）riff表征文件類型，hdrl列表描述avi文件中各個(gè)流的格式信息，hdrl嵌套了一系列塊和子列表avih塊用于記錄avi的全局信息，比如流的數(shù)量、視頻圖像的寬和高等，可以使用一個(gè)avimainheader數(shù)據(jù)結(jié)構(gòu)來(lái)操作。然后就是一個(gè)或多個(gè)“strl”子列表（文件有多少流就有多少子列表），每個(gè)“strl”子列表至少包含一個(gè)“strh”塊（保存編碼器的一些配置信息）和一個(gè)“strf”塊（保存流的名字），且是可選的。如果是視頻流，則用bitmapinfo數(shù)據(jù)結(jié)構(gòu)來(lái)描述；如果是音頻流，則用一個(gè)waveformatex數(shù)據(jù)

39、結(jié)構(gòu)來(lái)描述。當(dāng)所有的流都描述后“hdrl”列表的任務(wù)就完成了，隨后跟著是用于保存真正媒體流數(shù)據(jù)的“movi”列表。那么怎么組織這些數(shù)據(jù)呢？可以將數(shù)據(jù)塊直接嵌在“movi”列表里面也可以幾個(gè)數(shù)據(jù)塊分組成一個(gè)“rec”列表后在編排進(jìn)“movi”列表。當(dāng)avi中含有多個(gè)流時(shí)，數(shù)據(jù)塊和數(shù)據(jù)塊間用4個(gè)字符碼來(lái)區(qū)別。這個(gè)4字符碼由2個(gè)字節(jié)的類型碼和2個(gè)字節(jié)的流編號(hào)組成。類型碼定義如下：“db”（非壓縮視頻幀）、“dc”（壓縮視頻幀）、“pc”（改用新的調(diào)色板）、“wb”（音縮視頻）。 緊跟在“movi”后是avi可選的索引塊。這個(gè)索引塊為avi文件中每一個(gè)媒體數(shù)據(jù)塊進(jìn)行索引，并且記錄它們?cè)谖募械钠?。?/p>

40、引塊用一個(gè)“idxl”來(lái)表征，索引信息用一個(gè)數(shù)據(jù)結(jié)構(gòu)avioldindex定義。3.1.2 bmp圖片格式 bmp文件格式是windows本身可以直接提供讀取支持的位圖文件格式。一個(gè)bmp格式文件通常有.bmp擴(kuò)展名，但有些以.rle為擴(kuò)展名。bmp文件可以用每像素1、4、8、16或24位來(lái)編碼顏色信息，這個(gè)位數(shù)稱為圖像的顏色深度，決定了圖像所含的最大顏色數(shù)。 典型的bmp文件結(jié)構(gòu)：一個(gè)位圖文件頭、一個(gè)位圖信息頭、一個(gè)顏色表（色表）和位圖數(shù)據(jù)本身。 表 3.1位圖文件頭（bitmap-file header） 14字節(jié)位圖信息頭（bitmap-information header） 40字節(jié)彩

41、色表/調(diào)色板（color table） 位圖數(shù)據(jù)（bitmap-data） （1）位圖文件頭。包含關(guān)于這個(gè)文件的信息。如從哪里開(kāi)始是位圖數(shù)據(jù)的定位信息、文件大小等。 （2）位圖信息頭。位圖信息頭包含了單個(gè)像素所用字節(jié)數(shù)以及描述顏色的格式，此外還包括位圖的寬度（以像素為單位）、高度（以像素為單位）、目標(biāo)設(shè)備的位平面數(shù)、圖像的壓縮格式（一般都是0）、圖像數(shù)據(jù)大?。ㄒ宰止?jié)為單位）、水平和垂直方向像素密度以及調(diào)色板實(shí)際使用的顏色數(shù)。 （3）顏色表。顏色表一般針對(duì)16位以下的圖像二設(shè)置的，對(duì)于16位以上的圖像，由于其位圖像素?cái)?shù)據(jù)中直接對(duì)應(yīng)楊素的rgb顏色進(jìn)行描述，因而省去調(diào)色板。而對(duì)于16位以下的圖像，

42、由于其位圖像素?cái)?shù)據(jù)中記錄的只是調(diào)色板的索引值，因此需要根據(jù)這個(gè)索引值到調(diào)色板去取得相應(yīng)的rgb顏色。顏色表的作用就是創(chuàng)建調(diào)色板。對(duì)于顯示卡來(lái)說(shuō)，如果它不能一次顯示超過(guò)256種顏色，讀取和顯示bmp文件的程序能夠把這些rgb值轉(zhuǎn)換到顯示卡的調(diào)色板來(lái)產(chǎn)生準(zhǔn)確的顏色。 （4）位圖數(shù)據(jù)。bmp文件的位圖數(shù)據(jù)格式依賴于編碼的每個(gè)像素顏色所用的位數(shù)。對(duì)于一個(gè)256色的圖像來(lái)說(shuō)，每個(gè)像素占用文件中位圖數(shù)據(jù)部分的一個(gè)字節(jié)。像素值不是rgb顏色值，而是色表中一個(gè)索引。如果色表中第一個(gè)r/g/b值是255/0/0，那么像素值為0表示鮮紅色，像素值按從左到右的順序儲(chǔ)存，通常從最后一行開(kāi)始。所以在一個(gè)256色的文件中

43、，位圖數(shù)據(jù)中第一個(gè)字節(jié)就是圖像左下角的像素的顏色索引，第二個(gè)就是它右邊的那個(gè)像素的顏色索引。如果位圖數(shù)據(jù)中每行的字節(jié)數(shù)是奇數(shù)，就要在每行都附加字節(jié)來(lái)調(diào)整成16位的整數(shù)倍。本系統(tǒng)使用256色的bmp文件輸入。3.2 人體運(yùn)動(dòng)檢測(cè) 人體運(yùn)動(dòng)檢測(cè)部分是利用人體的形狀特性在每一幀圖像中提取出與人體相對(duì)應(yīng)的運(yùn)動(dòng)部分，主要任務(wù)有3項(xiàng)。 （1）建立基于統(tǒng)計(jì)的背景模型，以在背景略有變化的情況下，檢測(cè)出每幀圖像中運(yùn)動(dòng)的前景部分； （2）采用中值濾波和數(shù)學(xué)形態(tài)學(xué)（寬高比）的方法，在運(yùn)動(dòng)的前景部分中檢測(cè)出對(duì)應(yīng)于人體的運(yùn)動(dòng)部分； （3）判斷人體運(yùn)動(dòng)部分是否包含多個(gè)運(yùn)動(dòng)者，如果包含進(jìn)一步判斷運(yùn)動(dòng)者的數(shù)量，并劃分運(yùn)動(dòng)區(qū)域

44、。3.2.1 背景減法 在實(shí)際應(yīng)用中，采用對(duì)比的方法確定圖像中的前景點(diǎn)，設(shè)為實(shí)際輸入序列，th為某一確定閾值。 （3-1） 圖3.2 運(yùn)動(dòng)圖像與背景模型 圖3.2是室外采集的圖像序列中的一幀與此時(shí)對(duì)應(yīng)的背景模型，進(jìn)一步通過(guò)閾值對(duì)比就能確定前景區(qū)域。背景模型可以通過(guò)多幅圖像取中值得到。 圖3.3 一幀圖像 圖3.4 th=10時(shí)運(yùn)動(dòng)區(qū)域 圖3.5 th=15時(shí)運(yùn)動(dòng)區(qū)域 圖3.6 th=20時(shí)運(yùn)動(dòng)區(qū)域 圖3.7 th=25時(shí)運(yùn)動(dòng)區(qū)域 圖3.8 th=40時(shí)運(yùn)動(dòng)區(qū)域 圖3.3到圖3.4是圖像采用不同的檢測(cè)閾值得到的運(yùn)動(dòng)區(qū)域?qū)Ρ?。為了使效果更加明顯，運(yùn)動(dòng)區(qū)域與非運(yùn)動(dòng)區(qū)域采用了二值化處理，以黑色表示運(yùn)動(dòng)

45、區(qū)域，白色表示非運(yùn)動(dòng)區(qū)域。通過(guò)比較，可以看出當(dāng)閾值滿足20th25時(shí)，能夠比較準(zhǔn)確的得到人體運(yùn)動(dòng)區(qū)域的范圍，同時(shí)受環(huán)境中非人體運(yùn)動(dòng)部分的影響較小，結(jié)合后面的中值濾波和數(shù)學(xué)形態(tài)學(xué)處理，可以得到更為準(zhǔn)確的人體運(yùn)動(dòng)區(qū)域的輪廓。為了跟蹤，要建立一個(gè)tracking類，包括讀入背景函數(shù)readbackground（）、背景減法函數(shù)geterror（）。 由于光照條件變化等外部原因和攝像機(jī)成像質(zhì)量不佳等原因，每一幀活動(dòng)圖像中都有可能存在噪聲，這樣由背景模型得到的前景區(qū)域也可能含有噪聲，為此應(yīng)采用中值濾波的方法處理。前景區(qū)域中有部分面積較小的連續(xù)區(qū)域可能對(duì)應(yīng)背景中樹(shù)葉等非人體部分，同時(shí)攝像機(jī)可能出現(xiàn)輕微晃動(dòng)

46、，導(dǎo)致前景區(qū)域含有細(xì)小的圖像邊緣輪廓，為此有必要采用數(shù)學(xué)形態(tài)學(xué)方法進(jìn)行處理，以得到較為準(zhǔn)確的人體運(yùn)動(dòng)區(qū)域。3.2.2 中值濾波中值濾波是一種非線性信號(hào)處理方法，由j.w.tukey于1971年首先提出并應(yīng)用于一維信號(hào)處理中，后來(lái)被二維圖像信號(hào)處理技術(shù)所使用。中值濾波在一定條件下可以克服線性濾波器，如最小均方濾波和均值濾波等帶來(lái)的圖像細(xì)節(jié)模糊，而且對(duì)于濾除脈沖干擾和圖像掃描噪聲最為有效，同時(shí)在計(jì)算過(guò)程中不需要知道圖像的統(tǒng)計(jì)特性，比較便于實(shí)現(xiàn)。 對(duì)于圖像的二維中值濾波一般采用一個(gè)含有奇數(shù)個(gè)點(diǎn)的滑動(dòng)窗口，用窗口中各點(diǎn)灰度值的中值代替指定點(diǎn)（一般為窗口中點(diǎn)）的灰度值。對(duì)于奇數(shù)個(gè)元素，中值是指灰度值按大

47、小排列后中間的數(shù)值；對(duì)于偶數(shù)個(gè)元素，中值是指排序后中間兩個(gè)元素灰度值的平均值。中值濾波窗口的形狀和尺寸對(duì)濾波效果影響很大，實(shí)際中采用的窗口形狀有線性、方形、圓形、十字形等，采用的窗口尺寸一般為3*3或3*5。若以med表示中值濾波，k為常數(shù)，則對(duì)窗口w點(diǎn)集進(jìn)行的中值濾波有以下特性。 （3.2） （3.3） （3.4） 本方案采用的是方形濾波器。實(shí)驗(yàn)證明，在一般情況下，采用的窗口尺寸以3*5或3*3最佳，更大的濾波窗口雖然可以更有效的濾除噪聲，但是會(huì)帶來(lái)過(guò)分的平滑，是人體運(yùn)動(dòng)區(qū)域細(xì)節(jié)內(nèi)容消失，給下面處理帶來(lái)困難。3.2.3二值化 一幅圖像包括目標(biāo)物體、背景還有噪聲，要想從多值的數(shù)字圖像中直接提取

48、出目標(biāo)物體，最常用的方法就是設(shè)定一個(gè)閾值t，用t將圖像的數(shù)據(jù)分成兩部分：大于t的像素群和小于t的像素群，稱為圖像的二值化。 圖像的二值化處理就是講圖像上的點(diǎn)的灰度置為0或255，將整個(gè)圖像呈現(xiàn)出明顯的黑白效果。即將256個(gè)亮度等級(jí)的灰度圖像通過(guò)適當(dāng)?shù)拈y值選取而獲得仍然可以反映圖像整體和局部特征的二值化圖像。在數(shù)字圖像處理中，二值圖像占有非常重要的地位，特別是在實(shí)用的圖像處理中，以二值圖像處理實(shí)現(xiàn)而構(gòu)成的系統(tǒng)是很多的，要進(jìn)行二值圖像的處理與分析，首先要把灰度圖像二值化，得到二值化圖像，這樣子有利于再對(duì)圖像做進(jìn)一步處理時(shí)，圖像的集合性質(zhì)只與像素值為0或255的點(diǎn)的位置有關(guān)，不再涉及像素的多級(jí)值，使處理變得簡(jiǎn)單，而且數(shù)據(jù)的處理和壓縮量小。為了得到理想的二值圖像，一般采用封閉、連通的邊界定義不交疊的區(qū)域。所有灰度大于或等于閥值的像素被判定為屬于特定物體，其灰度值為255表示，否則這些像素點(diǎn)被排除在物體區(qū)域以外，灰度值為0，表示背景或者例外的物體區(qū)域。如果某特定物體在內(nèi)部有均勻一致的灰度值，并且其處在一個(gè)具有其他等級(jí)灰度值的均勻背景下，使用閥值法就可以得到比較的分割效果。如果物體同背景的差別表現(xiàn)不在灰度值上（比如紋理不同），可以將這個(gè)差別特征轉(zhuǎn)換為灰度的差別，然后利用閥值選取技術(shù)來(lái)分割該圖像。