[碩士論文精品]圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究

大連理工大學(xué)碩士學(xué)位論文摘要視頻監(jiān)控系統(tǒng)以其直觀、方便、信息內(nèi)容豐富而成為現(xiàn)代安防系統(tǒng)發(fā)展的主流，被廣泛應(yīng)用于國(guó)防建設(shè)、交通管制、智能保安等需要實(shí)時(shí)監(jiān)控的場(chǎng)所。現(xiàn)有的大多數(shù)視頻監(jiān)控系統(tǒng)仍依賴于監(jiān)控人員的現(xiàn)場(chǎng)操作，造成了人力資源的浪費(fèi)，也影響了整個(gè)工作系統(tǒng)的效率。因此，研究智能視頻監(jiān)控系統(tǒng)中的關(guān)鍵技術(shù)并提高智能視頻監(jiān)控系統(tǒng)的性能具有重要的意義。運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤是視頻監(jiān)控系統(tǒng)中一個(gè)重要組成部分，對(duì)計(jì)算機(jī)視覺的其他研究領(lǐng)域有著重要的推動(dòng)作用。因此如何實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)實(shí)時(shí)、穩(wěn)定和有效地檢測(cè)與跟蹤，是一個(gè)需要關(guān)注和研究的重要問題。本文在目前該領(lǐng)域研究成果的基礎(chǔ)上，系統(tǒng)研究了智能視頻監(jiān)控中人體目標(biāo)的檢測(cè)，分割和跟蹤方面的理論和方法。在運(yùn)動(dòng)目標(biāo)檢測(cè)算法中，詳細(xì)介紹了幾種常用的目標(biāo)前景檢測(cè)方法，并對(duì)它們的檢測(cè)性能進(jìn)行了評(píng)價(jià)。在運(yùn)動(dòng)人體目標(biāo)的定位與分割方面，以人體的頭部研究為出發(fā)點(diǎn)，針對(duì)人體頭部運(yùn)動(dòng)信息的輪廓近似圓形的特征，結(jié)合FREEMAN鏈碼和RANSAC算法，進(jìn)行多圓檢測(cè)來實(shí)現(xiàn)多目標(biāo)頭部的定位，進(jìn)而較快地確定人體目標(biāo)的準(zhǔn)確位置。在目標(biāo)跟蹤算法中，針對(duì)目前MEANSHIIT跟蹤算法存在的問題，本文提出了采用目標(biāo)的顏色信息、紋理信息和運(yùn)動(dòng)信息的改進(jìn)KALMAN和MEANSHIFT跟蹤算法，跟蹤效果得到較大改進(jìn)。針對(duì)單個(gè)目標(biāo)運(yùn)動(dòng)時(shí)姿勢(shì)的顯著變化，本文在機(jī)器學(xué)習(xí)理論知識(shí)的基礎(chǔ)上，提出了一種基于RGB直方圖特征、LBP直方圖特征和PPBTF直方圖特征的半監(jiān)督學(xué)習(xí)對(duì)單目標(biāo)進(jìn)行跟蹤的方法，使跟蹤效果更具魯棒性。算一T波濾M蹤跟NM位定部頭測(cè)檢標(biāo)目耐法詞鍵關(guān)基于視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究RESEARCHONMOVINGOBJECTDETECTIONANDTRACKINGALGORITHMSBASEDONVIDEOIMAGEABSTRACTVIDEOSURVEILLANCESYSTEMVSSISTHEMAINTRENDOFMODEMDEFENCESYSTEMBECAUSEOFITSVISIBILITY，CONVENIENCEANDABUNDANCEINCONTENTANDHASBEENWIDELYUSEDINMANYFIELDSWHEREAREALTIMESURVEILLANCEISNEEDED,SUCHASNATIONALDEFENSE,TRA銜CCONTROL，THEINTELLIGENTPUBLICSECURITYANDSOONNOWADAYS，VSSSTILLDEPENDSONMANUALOPERATION,WHICHWASTESRESOURCESANDAFFECTSTHEEFFICIENCY，SOSTUDYINGTHETYPICALALGORITHMSUSEDINVIDEOSURVEILLANCEANDDESIGNINGANINTELLIGENTVIDEOSURVEILLANCESYSTEMISVERYIMPORTANTMOVINGOBJECTDETECTIONANDTRACKINGAREIMPORTANTPARTSOFVIDEOMONITORSYSTEMANDPLAYIMPORTANTROLESTOOTHERTOPICSPROGRESSINCOMPUTERVISIONSOHOWTODETECTANDTRACKOBJECTSTEADILY，REALTIMELYANDEFFECTIVELY，BECOMESANIMPORTANTPROBLEMTHATNEEDSTOBEPAIDATTENTIONANDRESEARCHEDNEPAPERSTUDIEDTHEKEYTECHNOLOGIESOFTHEFIELDBASEDONTHECURRENTRESEARCHACHIEVEMENTSANDMAINLYSTUDIEDABOUTTHETECHNOLOGIESONHUMANOBJECTDETECTION，SEGMENTATIONANDTRACKINGDURINGOBJECTDETECTION，SEVERALOBJECTFOREGROUNDDETECTIONALGORITHMSWIDELYUSEDALEINTRODUCED，ANDTHEIRPERFORMANCESAREANALYZEDDURINGOBJEETLOCALIZATIONANDSEGMENTATION,DUETOHEADCONTOURSSIMILARTOCIRCLESSEENFROMTHEVIDEOSEQUENCESCAPTUREDFROMVERTICALANGULARCAMERA,THEPAPERCOMBINESFREEMANCHAINCODEANDRANDOMSAMPLECONSENSUSRANSACALGORITHMTOESTIMATECIRCLEPARAMETERSANDTHENLOCALIZESTHEHUMANOBJECTQUICKLYANDACCURATELYDURINGOBJECTTRACKING，INTHELIGHTOFCURRENTMEANSHIFTTRACKINGALGORITHMSDRAWBACKS，KALMANFILTERANDMEANSHIFTTRACKINGALGORITHMINTEGRATINGWITHCOLOR,TEXTUREANDMOTIONINFORMATIONISPROPOSEDANDITSTRACKINGPERFORMANCEHASBEENIMPROVEDTHANBEFOREAIMINGATTHEPOSTURESSIGNIFICANTCHANGEOFASINGLEOBJECT,ANOVELTRACKINGALGORTHIMBASED011RGBHISTOGRAMFEATURE，LBPLOCALBINARYPATTERNHISTOGRAMFEATUREANDPPB邗PIXELPATTERNBASEDTEXTUREFEATUREHISTOGRAMFEATURE，USINGTHESEMISUPERVISEDLEARNINGISPROPOSEDONTHEBASISOFMACHINELEARNINGTHEORYKEYWORDSMOVINGOBJECTDETECTION；HEADLOCALIZATION；MEANSHIFTTRACKING；KALMANFILTER；TRITRACKINGALGORITHM大連理工大學(xué)學(xué)位論文獨(dú)創(chuàng)性聲明作者鄭重聲明所呈交的學(xué)位論文，是本人在導(dǎo)師的指導(dǎo)下進(jìn)行研究工作所取得的成果。盡我所知，除文中已經(jīng)注明引用內(nèi)容和致謝的地方外，本論文不包含其他個(gè)人或集體已經(jīng)發(fā)表的研究成果，也不包含其他已申請(qǐng)學(xué)位或其他用途使用過的成果。與我一同工作的同志對(duì)本研究所做的貢獻(xiàn)均已在論文中做了明確的說明并表示了謝意。若有不實(shí)之處，本人愿意承擔(dān)相關(guān)法律責(zé)任。學(xué)位論文題目墓壬翅絲圖焦曲量盈魚筮絲巡當(dāng)望籃鰱盛作者簽名整趟煎日期塑年墾月日大連理工大學(xué)碩士研究生學(xué)位論文大連理工大學(xué)學(xué)位論文版權(quán)使用授權(quán)書本人完全了解學(xué)校有關(guān)學(xué)位論文知識(shí)產(chǎn)權(quán)的規(guī)定，在校攻讀學(xué)位期間論文工作的知識(shí)產(chǎn)權(quán)屬于大連理工大學(xué)，允許論文被查閱和借閱。學(xué)校有權(quán)保留論文并向國(guó)家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和電子版，可以將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印、或掃描等復(fù)制手段保存和匯編本學(xué)位論文。學(xué)位論文題目差孟猢凰壤魚墾麴冒塹幽塹壁啦墮班密作者簽名毯趲日期型墮年L月日鋤獬斗斗嗍旦年上月一日大連理工大學(xué)碩士學(xué)位論文1緒論11引言隨著視頻分析技術(shù)及人工智能技術(shù)的發(fā)展，從圖像處理與模式識(shí)別發(fā)展起來的計(jì)算機(jī)視覺在近三十年得到了突飛猛進(jìn)的發(fā)展。盡管目前計(jì)算機(jī)視覺的理論發(fā)展仍然不夠成熟，但已經(jīng)得到了廣泛的應(yīng)用，在智能視頻監(jiān)控系統(tǒng)、機(jī)器人視覺導(dǎo)航、醫(yī)學(xué)輔導(dǎo)診斷、工業(yè)機(jī)器人視覺系統(tǒng)、地圖繪制，物理的三維重建與識(shí)別、智能人機(jī)接口等領(lǐng)域得到廣泛的發(fā)展，其中智能化的視頻監(jiān)控系統(tǒng)是近年來計(jì)算機(jī)視覺領(lǐng)域的一個(gè)備受關(guān)注的前沿課題。從圖像處理與模式識(shí)別發(fā)展起來的計(jì)算機(jī)視覺研究方向主要是如何利用二維投影圖像恢復(fù)三維景物世界。計(jì)算機(jī)視覺使用的理論方法主要是基于幾何、概率、運(yùn)動(dòng)學(xué)與三維重構(gòu)的視覺計(jì)算理論，它的理論基礎(chǔ)包括射影幾何學(xué)、剛體運(yùn)動(dòng)力學(xué)、概率與隨機(jī)過程、圖像處理、人工智能等。計(jì)算機(jī)視覺要達(dá)到的最終目的是實(shí)現(xiàn)計(jì)算機(jī)對(duì)三維景物世界的理解，即實(shí)現(xiàn)人類視覺系統(tǒng)的某些功能。視頻圖像是對(duì)客觀事物形象、生動(dòng)的描述，是直觀而具體的信息表達(dá)形式，是人類最重要的信息載體。人類主要通過視覺感知外界信息，據(jù)統(tǒng)計(jì)，人類對(duì)外界信息的感知有80以上是通過視覺得到的。在今天的信息社會(huì)，隨著網(wǎng)絡(luò)、通信和微電子技術(shù)的快速發(fā)展和人民物質(zhì)生活水平的提高，視頻監(jiān)控以其直觀方便和內(nèi)容豐富等特點(diǎn)日益受到人們的青睞，監(jiān)控產(chǎn)品也正經(jīng)歷著從最初的模擬化走向數(shù)字化、網(wǎng)絡(luò)化、智能化的革命。視頻監(jiān)控是實(shí)施安全監(jiān)控的重要技術(shù)手段，它是計(jì)算機(jī)視覺領(lǐng)域一個(gè)新興的應(yīng)用方向和備受關(guān)注的前沿課題。它涉及信號(hào)與視頻處理、通信和計(jì)算機(jī)視覺等多個(gè)學(xué)科的研究領(lǐng)域。視頻通信、處理和理解是視頻監(jiān)測(cè)技術(shù)的三大核心技術(shù)。盡管成像設(shè)備、視頻壓縮、通信以及數(shù)據(jù)存儲(chǔ)等方面的技術(shù)發(fā)展迅速并且日趨成熟，監(jiān)控系統(tǒng)功能日益強(qiáng)大，但是視頻內(nèi)容的分析和理解工作目前仍然主要依靠人工完成，工作量繁重，因此計(jì)算機(jī)視覺和應(yīng)用研究者提出新一代監(jiān)控一視頻監(jiān)控的概念【L】，監(jiān)控在不需要人為干預(yù)情況下，利用計(jì)算機(jī)視覺和視頻分析的方法對(duì)攝像機(jī)拍攝的圖像序列進(jìn)行自動(dòng)分析，實(shí)現(xiàn)對(duì)動(dòng)態(tài)場(chǎng)景中目標(biāo)的定位、識(shí)別和跟蹤，并在此基礎(chǔ)上分析和判斷目標(biāo)的行為，從而既能完成日常管理又能在異常情況發(fā)生時(shí)及時(shí)做出反應(yīng)。計(jì)算機(jī)視頻監(jiān)控系統(tǒng)不僅符合信息產(chǎn)業(yè)的未來發(fā)展趨勢(shì)，而且代表了監(jiān)控行業(yè)的未來發(fā)展方向，蘊(yùn)含著巨大的商機(jī)和經(jīng)濟(jì)效益，受到了學(xué)術(shù)界、產(chǎn)業(yè)界和管理部門的高度重視。基于視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究12視頻監(jiān)控相關(guān)研究計(jì)算機(jī)視頻監(jiān)控是指通過攝像頭采集監(jiān)控區(qū)域的圖像，然后將視頻信號(hào)通過相應(yīng)的傳輸網(wǎng)絡(luò)同軸電纜、光纖、無線或以太網(wǎng)等，傳到指定的監(jiān)控中心或是監(jiān)控點(diǎn)，進(jìn)行存儲(chǔ)、顯示、分析。具體分析過程是利用計(jì)算機(jī)視覺和圖像處理方法對(duì)圖像序列進(jìn)行運(yùn)動(dòng)檢測(cè)、運(yùn)動(dòng)目標(biāo)分類、運(yùn)動(dòng)目標(biāo)跟蹤以及監(jiān)視場(chǎng)景中目標(biāo)行為的理解與描述。運(yùn)動(dòng)檢測(cè)、目標(biāo)分類和目標(biāo)跟蹤屬于視覺中的低級(jí)處理部分，行為理解與描述則屬于視覺中的高級(jí)處理部分。運(yùn)動(dòng)檢測(cè)、目標(biāo)分類與跟蹤是視頻監(jiān)控中研究最多的三個(gè)問題，而行為理解與描述則是近年被廣泛關(guān)注的研究熱點(diǎn)。它是指對(duì)人的運(yùn)動(dòng)模式進(jìn)行分析和識(shí)別，并用自然語言等加以描述。下面對(duì)視頻監(jiān)控系統(tǒng)有關(guān)發(fā)展?fàn)顩r及主要理論做簡(jiǎn)要概述。121國(guó)內(nèi)外研究現(xiàn)狀智能視頻監(jiān)控是多學(xué)科交叉的前沿研究領(lǐng)域，并且具有廣泛的應(yīng)用前景和龐大的市場(chǎng)需求，有很多科研人員、科研機(jī)構(gòu)及企業(yè)單位多年來從事這方面的研究、開發(fā)，并且取得了很多優(yōu)秀的成果。1997年，美國(guó)國(guó)防高級(jí)研究項(xiàng)目署DARPA設(shè)立了以卡內(nèi)基梅隆大學(xué)為首聯(lián)合十幾家高等院校和研究機(jī)構(gòu)參加的視頻監(jiān)控重大項(xiàng)目VSAMVIDEOSURVEILLANCEANDMONITORINGT2,列，主要研究對(duì)戰(zhàn)場(chǎng)及普通民用場(chǎng)景進(jìn)行監(jiān)控的自動(dòng)視頻理解技術(shù)。2000年，DARPA又資助了MDOJUMANIDENTIFICATIONATADISTANCE遠(yuǎn)距離人臉識(shí)別項(xiàng)目；由STEVEJMAYBANK和譚鐵牛組織的IEEE視覺監(jiān)控專題討論會(huì)S，IEEEINTERNATIONALWORKSHOPONVISUALSURVEILLANCE也已經(jīng)成功地舉辦了三屆，收錄了大量視覺監(jiān)控領(lǐng)域內(nèi)的最新研究成果。佛羅里達(dá)中央大學(xué)UNIVERSITYOFCEN打ALFLORIDA的KNIGHT智能監(jiān)控系統(tǒng)13,4利用計(jì)算機(jī)視覺技術(shù)能檢測(cè)出監(jiān)視區(qū)域目標(biāo)的變化，并能標(biāo)注重要事件和描述人的行為，系統(tǒng)對(duì)光照變化有較好的魯棒性。英國(guó)雷丁大學(xué)【5】已開展了對(duì)車輛和行人的跟蹤及其交互作用識(shí)別的相關(guān)研究。計(jì)算機(jī)視覺領(lǐng)域中的權(quán)威期刊“國(guó)際計(jì)算機(jī)視覺期刊0JCV，INTERNATIONALJOURNALOFCOMPUTERVISION和“IEEE模式分析和機(jī)器智能匯刊”PAMI，IEEETRANSACTIONONPATTEMANALYSISANDMACHINEINTELLIGENCE相繼在2000年6月和2000年8月出版了關(guān)于視覺監(jiān)控的?？?。MARYLAND大學(xué)的實(shí)時(shí)視覺監(jiān)控系統(tǒng)W461不僅能夠定位人和分割出人的身體部分，而且通過建立外觀模型來實(shí)現(xiàn)多人的跟蹤，可以檢測(cè)和跟蹤室外環(huán)境中的人并對(duì)他們之間簡(jiǎn)單的交互進(jìn)行監(jiān)控。IBM的智能監(jiān)控系統(tǒng)【7】不僅能夠自動(dòng)監(jiān)視某個(gè)現(xiàn)場(chǎng)，還能夠監(jiān)視數(shù)據(jù)，執(zhí)行基于事件的檢索，通過標(biāo)準(zhǔn)的網(wǎng)絡(luò)設(shè)施進(jìn)行實(shí)時(shí)報(bào)警，并且能提取出某項(xiàng)活動(dòng)的長(zhǎng)期的統(tǒng)計(jì)模型。一2一大連理工大學(xué)碩士學(xué)位論文國(guó)內(nèi)有一些視頻監(jiān)控方面的產(chǎn)品，如黃金眼、行者貓王等，應(yīng)用于交通控制，監(jiān)獄管理等方面。另外，國(guó)內(nèi)產(chǎn)品還有數(shù)字硬盤錄像系統(tǒng)DVG，將監(jiān)控區(qū)域內(nèi)有運(yùn)動(dòng)對(duì)象出現(xiàn)的情況錄制下來，以備查詢，該系統(tǒng)只是簡(jiǎn)單的檢測(cè)出有無運(yùn)動(dòng)對(duì)象，而沒有對(duì)運(yùn)動(dòng)對(duì)象做任何分析。由于國(guó)內(nèi)的研究起步較晚，技術(shù)還不夠完善，開發(fā)出的產(chǎn)品距離智能化還有一定差距，在實(shí)際的應(yīng)用中，受到很多限制，還有待于進(jìn)一步的完善。122主要任務(wù)人運(yùn)動(dòng)的視覺分析主要是針對(duì)包含人的運(yùn)動(dòng)圖像序列進(jìn)行分析處理，它通常涉及到運(yùn)動(dòng)檢測(cè)、目標(biāo)分類、人的跟蹤及行為理解與描述幾個(gè)過程，其一般性處理框架如圖11所示。其中，運(yùn)動(dòng)檢測(cè)、目標(biāo)分類、人體跟蹤屬于視覺中的低級(jí)和中級(jí)處理部分LOWLEVELANDINTERMEDIATE1EVELVISION，而行為理解和描述則屬于高級(jí)處理HIGH1EVELVISION釓當(dāng)然，它們之間也可能存在交叉。下面從幾個(gè)方面對(duì)視頻處理主要任務(wù)進(jìn)行探討。圖11人運(yùn)動(dòng)分析的一般處理框架FIG11GENERALFRAMEWORKOFHUMANMOTIONANALYSIS1運(yùn)動(dòng)目標(biāo)檢測(cè)基于視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究運(yùn)動(dòng)檢測(cè)是指從視頻流中提取出目標(biāo)，一般是確定目標(biāo)的區(qū)域或顏色等。它必須從連續(xù)的視頻流或圖像序列中提取目標(biāo)。目標(biāo)檢測(cè)的目的是從序列圖像中將感興趣的區(qū)域一般為運(yùn)動(dòng)目標(biāo)區(qū)域從背景圖像中抽取出來。運(yùn)動(dòng)區(qū)域的有效分割對(duì)于目標(biāo)分類、跟蹤和行為理解等后期處理是非常重要的，因?yàn)橐院蟮奶幚磉^程僅僅考慮圖像中對(duì)應(yīng)于運(yùn)動(dòng)區(qū)域的像素。然而，由于背景動(dòng)態(tài)變化，如天氣、光照、影子及混亂干擾等的影響，使得運(yùn)動(dòng)檢測(cè)成為一項(xiàng)相當(dāng)困難的工作。目前幾種常用的方法有背景減除【51、時(shí)間差分I1,12、光流【13】、擴(kuò)展的EM算法、能量運(yùn)動(dòng)檢測(cè)、基于數(shù)學(xué)形態(tài)學(xué)的場(chǎng)景變化檢測(cè)等。其中背景減除和時(shí)間差分均屬于求差法，即都采用當(dāng)前圖像與參考圖像進(jìn)行相減的方法來完成運(yùn)動(dòng)目標(biāo)的檢測(cè)。2運(yùn)動(dòng)目標(biāo)分類目標(biāo)分類的目的是識(shí)別運(yùn)動(dòng)目標(biāo)所屬的類別，不同的運(yùn)動(dòng)區(qū)域可能對(duì)應(yīng)于不同的運(yùn)動(dòng)目標(biāo)，比如交通道路上監(jiān)控?cái)z像機(jī)所捕捉的序列中可能包含行人、車輛及其他諸如飛鳥、流云、搖動(dòng)的樹枝等運(yùn)動(dòng)物體，為了便于進(jìn)一步對(duì)行人進(jìn)行跟蹤和行為分析，運(yùn)動(dòng)目標(biāo)的正確分類是完全必要的。目前的分類方法主要有基于形狀信息的分類、基于運(yùn)動(dòng)特征的分類以及時(shí)間共生矩陣進(jìn)行分層分類的方法等。3運(yùn)動(dòng)目標(biāo)跟蹤目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域中一個(gè)極具挑戰(zhàn)性的課題，除視頻監(jiān)控外，其還被廣泛地應(yīng)用在人機(jī)交互、視頻壓縮、醫(yī)學(xué)圖像處理等領(lǐng)域中。所謂運(yùn)動(dòng)目標(biāo)跟蹤則指對(duì)目標(biāo)進(jìn)行連續(xù)的跟蹤以確定其運(yùn)動(dòng)軌跡。它等價(jià)于在連續(xù)的圖像幀間創(chuàng)建基于位置、速度、形狀、紋理、色彩等有關(guān)特征的對(duì)應(yīng)匹配問題。目標(biāo)跟蹤的關(guān)鍵在于得到圖像檢測(cè)中提取的靜態(tài)目標(biāo)與被跟蹤運(yùn)動(dòng)目標(biāo)的對(duì)應(yīng)關(guān)系。從運(yùn)動(dòng)檢測(cè)得到的一般是人的投影，要進(jìn)行跟蹤首先要給需要跟蹤的對(duì)象建立一個(gè)模型。對(duì)象模型可以是整個(gè)人體，這時(shí)候形狀、顏色、位置、速度、步態(tài)等都是可以利用的信息；也可以是人體的一部分如上臂、頭部或手掌等，這時(shí)需要對(duì)這些部分單獨(dú)進(jìn)行建模。之后，將運(yùn)動(dòng)檢測(cè)到的投影匹配到這個(gè)模型上去。一旦匹配工作完成，那么就得到了最終有用的人體的信息了。常用的數(shù)學(xué)工具有卡爾曼濾波【14CKALMANFILTERING、CONDENSATION算、法【U】及動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)【16】等。4行為識(shí)別與理解運(yùn)動(dòng)檢測(cè)、目標(biāo)分類與人的跟蹤是人運(yùn)動(dòng)分析中研究較多的三個(gè)問題，而人的行為理解與描述是近年來被廣泛關(guān)注的研究熱點(diǎn)。人體行為識(shí)別與理解是指對(duì)人的行為模式進(jìn)行分析和識(shí)別，并用自然語音加以描述，這種技術(shù)包含從視頻序列中抽取相關(guān)的視覺信息并用一種合適的方法進(jìn)行表達(dá)，然后解釋這些視覺信息以實(shí)現(xiàn)識(shí)別和學(xué)習(xí)人的行大連理工大學(xué)碩士學(xué)位論文為。通常，人體行為識(shí)別是在成功實(shí)現(xiàn)圖像序列中的人體檢測(cè)和跟蹤、完成特征提取的基礎(chǔ)上進(jìn)行的，屬于更高一層的視覺任務(wù)，是當(dāng)前計(jì)算機(jī)視覺研究領(lǐng)域備受關(guān)注并最具挑戰(zhàn)的研究方向之一。從模式識(shí)別的角度來看，行為識(shí)別可以看作為一個(gè)基于時(shí)變特征數(shù)據(jù)之上的分類問題，在獲取人體目標(biāo)的特征數(shù)據(jù)后，識(shí)別也就成為一個(gè)將未知類型數(shù)據(jù)序列與已知運(yùn)動(dòng)數(shù)據(jù)序列相匹配的過程。目前人行為識(shí)別的研究主要有頭部運(yùn)動(dòng)、手勢(shì)識(shí)別、下肢運(yùn)動(dòng)等，方法主要有模板匹配方法與狀態(tài)空間方法兩種。采用模板匹配技術(shù)的行為識(shí)別方法首先將圖像序列轉(zhuǎn)換為一組靜態(tài)形狀模式，然后在識(shí)別過程中和預(yù)先存儲(chǔ)的行為標(biāo)本相比較?；跔顟B(tài)空間模型方法是定義每個(gè)靜態(tài)姿勢(shì)作為一個(gè)狀態(tài)，這些狀態(tài)之間通過某種概率聯(lián)系起來。任何運(yùn)動(dòng)序列可以看作為這些靜態(tài)姿勢(shì)的不同狀態(tài)之間的一次遍歷過程，在這些遍歷期間計(jì)算聯(lián)合概率，其最大值被選擇作為分類行為的標(biāo)準(zhǔn)。目前，狀態(tài)空間模型已經(jīng)被廣泛地應(yīng)用于時(shí)間序列的預(yù)測(cè)、估計(jì)和檢測(cè)。123技術(shù)難點(diǎn)智能視頻源于計(jì)算機(jī)視覺技術(shù)，其技術(shù)實(shí)現(xiàn)主要存在于以下幾個(gè)方面問題1視頻監(jiān)控系統(tǒng)的魯棒性要求很高，即要求自動(dòng)、連續(xù)工作。而從實(shí)際情況來看，視頻監(jiān)控系統(tǒng)的應(yīng)用環(huán)境往往相當(dāng)復(fù)雜，環(huán)境的不斷變化給計(jì)算機(jī)視覺技術(shù)應(yīng)用帶來了更高的要求。2由于運(yùn)動(dòng)目標(biāo)的多樣性，如何對(duì)多種目標(biāo)進(jìn)行運(yùn)動(dòng)分析、分類甄別，尤其是對(duì)非剛性目標(biāo)的運(yùn)動(dòng)分析尚存在一定難度。3對(duì)于大范圍的視頻監(jiān)控需要大量的攝像機(jī)協(xié)同工作，在多臺(tái)攝像機(jī)之間對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行連續(xù)一致的視覺分析現(xiàn)在實(shí)現(xiàn)起來十分困難。4如何建立有效的視頻數(shù)據(jù)庫(kù)，實(shí)現(xiàn)視頻監(jiān)控系統(tǒng)中海量視頻信息的存儲(chǔ)、檢索和查詢，目前還處于研究起步階段。以上這些問題表明，視頻監(jiān)控系統(tǒng)的智能化還有相當(dāng)長(zhǎng)的路要走。124應(yīng)用現(xiàn)狀與發(fā)展趨勢(shì)視頻監(jiān)控系統(tǒng)是多媒體技術(shù)、計(jì)算機(jī)網(wǎng)絡(luò)、工業(yè)控制和人工智能等技術(shù)的綜合運(yùn)用的產(chǎn)物，它正向著音視頻的數(shù)字化、系統(tǒng)的網(wǎng)絡(luò)化和管理的智能化方向不斷發(fā)展。從視頻監(jiān)控技術(shù)的發(fā)展歷程來看，視頻監(jiān)控系統(tǒng)在過去的二十多年里大致經(jīng)歷了三代。第一代模擬視頻監(jiān)控系統(tǒng)，第二代數(shù)字視頻監(jiān)控系統(tǒng)，第三代分布式視頻監(jiān)控系統(tǒng)【17】?；谝曨l圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究第一代視頻監(jiān)控系統(tǒng)是以模擬信號(hào)、圖像的處理和傳輸為基礎(chǔ)的，多路模擬攝像機(jī)產(chǎn)生的模擬信號(hào)通過同軸電纜傳輸?shù)奖O(jiān)控室，然后通過預(yù)置好的順序輪流顯示，監(jiān)控人員通過監(jiān)視器來判斷監(jiān)視場(chǎng)景的情況。第二代監(jiān)控系統(tǒng)主要依賴于混合模數(shù)或全數(shù)字的視頻傳輸和處理方法，采用H263，MPEG等多媒體數(shù)字壓縮技術(shù)將視頻圖像完全數(shù)字化，節(jié)省了帶寬資源。在視頻監(jiān)控中可以利用視頻分析算法，讓監(jiān)控者只注意感興趣的事物從而實(shí)現(xiàn)自動(dòng)報(bào)警。第三代監(jiān)控系統(tǒng)利用低價(jià)位高性能的計(jì)算機(jī)網(wǎng)絡(luò)、移動(dòng)網(wǎng)絡(luò)和固定的多媒體通信網(wǎng)絡(luò)傳輸監(jiān)控信號(hào)。視頻信號(hào)在前端進(jìn)行自動(dòng)分析處理，然后將有價(jià)值的信息通過無線或有線網(wǎng)絡(luò)傳輸?shù)奖O(jiān)控中心，實(shí)現(xiàn)自動(dòng)視頻監(jiān)控。第三代的研究熱點(diǎn)主要放在魯棒性的圖像傳輸，彩色圖像的處理，基于事件的和基于模式的序列圖像的理解上，目前對(duì)這些技術(shù)的應(yīng)用已經(jīng)獲得了很多有價(jià)值的結(jié)果。與此同時(shí)，由于無線和有線的多媒體數(shù)字通信的發(fā)展，特別是隨著超寬帶網(wǎng)絡(luò)的接入，第三代監(jiān)控系統(tǒng)將在不同的領(lǐng)域中大范圍使用。隨著人運(yùn)動(dòng)分析研究和其它相關(guān)技術(shù)的發(fā)展，下述幾個(gè)方面已經(jīng)成為未來智能視頻監(jiān)控的發(fā)展趨勢(shì)1音頻與視覺相結(jié)合的多模態(tài)接口人的相互交流主要是依據(jù)語言，過去的許多工作是語音理解，但語音識(shí)別受距離和環(huán)境噪聲的限制，尤其在機(jī)場(chǎng)等高噪聲環(huán)境，將會(huì)嚴(yán)重影響語音識(shí)別的性能。人的可視化描述與語音解釋一樣重要，研究者們正逐漸將語音與視覺信息集成起來以產(chǎn)生更加自然的高級(jí)接口。目前音頻和視頻的信號(hào)處理相對(duì)獨(dú)立，如何更好地集成音頻和視頻信息用于多模態(tài)用戶接口是一個(gè)嚴(yán)峻的挑戰(zhàn)。2人的運(yùn)動(dòng)分析與生物特征識(shí)別相結(jié)合在智能房間的門禁系統(tǒng)、軍事安全基地的視覺監(jiān)控系統(tǒng)、高級(jí)人機(jī)交互等應(yīng)用中，人的運(yùn)動(dòng)分析與生物特征識(shí)別相結(jié)合的研究日益顯得重要。在人機(jī)交互中不僅需要機(jī)器知道人是否存在、人的位置和行為，而且還需要利用特征識(shí)別技術(shù)來識(shí)別與其交流的人是誰。遠(yuǎn)距離的身份識(shí)別已經(jīng)越來越重要，比如，2000年，DARPA贊助的重大項(xiàng)目一MHIDHUMANIDENTIFICATIONATADISTANCE計(jì)劃。由于人的步態(tài)具有易于感知、非侵犯性、難于偽裝等優(yōu)點(diǎn)，近年來已引起了計(jì)算機(jī)視覺研究者濃厚的研究興趣。3人的運(yùn)動(dòng)分析向行為理解與描述高層處理的轉(zhuǎn)變?nèi)说男袨槔斫馐切枰鸶叨茸⒁獠⑶沂亲罹咛魬?zhàn)的研究方向，因?yàn)橛^察人的最終目標(biāo)就是分析和理解人的個(gè)人行為、人與人之間及人與其它目標(biāo)的交互行為等。目前人的運(yùn)動(dòng)理解還是集中于人的跟蹤、標(biāo)準(zhǔn)姿勢(shì)識(shí)別、簡(jiǎn)單行為識(shí)別等問題，如人的一組最通常的行為跑、蹲、站、跳、爬、指等的定義和分類。近年來利用機(jī)器學(xué)習(xí)工具構(gòu)建大連理工大學(xué)碩士學(xué)位論文人行為的統(tǒng)計(jì)模型的研究有了一定的進(jìn)展，但行為識(shí)別仍舊處于初級(jí)階段，連續(xù)特征的典型匹配過程中常引入人運(yùn)動(dòng)模型的簡(jiǎn)化約束條件來減少歧義性，而這些限制與一般的圖像條件卻是不吻合的，因此行為理解的難點(diǎn)仍是在于特征選擇和機(jī)器學(xué)習(xí)。另外，如何借助于先進(jìn)的視覺算法和人工智能等領(lǐng)域的成果，將現(xiàn)有的簡(jiǎn)單的行為識(shí)別與語義理解推廣到更為復(fù)雜場(chǎng)景下的自然語言描述，是將計(jì)算機(jī)視覺低、中層次的處理推向高層抽象思維的關(guān)鍵問題。13本文的主要工作與章節(jié)安排131本文的主要工作本文要研究的問題是如何從視頻圖像序列中提取出運(yùn)動(dòng)目標(biāo)，并對(duì)其進(jìn)行跟蹤處理。視頻監(jiān)控根據(jù)攝像頭的放置位置，大致分為兩類一類是攝像頭隨運(yùn)動(dòng)目標(biāo)移動(dòng)，運(yùn)動(dòng)對(duì)象始終保持在圖像的中心位置；另一類是攝像頭固定只對(duì)視場(chǎng)內(nèi)的對(duì)象進(jìn)行監(jiān)控和跟蹤。根據(jù)攝像頭的數(shù)目可分為多攝像頭協(xié)同監(jiān)控和單攝像頭監(jiān)控。本文要研究的是垂直固定單攝像頭的情況，這是多攝像頭協(xié)同監(jiān)控的基礎(chǔ)。本文主要對(duì)運(yùn)動(dòng)區(qū)域的檢測(cè)、運(yùn)動(dòng)人體目標(biāo)的分割定位和運(yùn)動(dòng)人體目標(biāo)的跟蹤這三個(gè)方面進(jìn)行了研究。本文工作內(nèi)容及創(chuàng)新點(diǎn)簡(jiǎn)要介紹如下1運(yùn)動(dòng)目標(biāo)檢測(cè)深入研究了當(dāng)前各種目標(biāo)檢測(cè)算法，詳細(xì)介紹了幀間差分法、基于梯度建模前景提取法以及利用幀間二階差分SODP與邊緣檢測(cè)相結(jié)合進(jìn)行運(yùn)動(dòng)目標(biāo)分割方法的基本原理，并進(jìn)行了相關(guān)的實(shí)驗(yàn)性能分析。在幀間差分法的基礎(chǔ)上，本文采用了一種基于均值統(tǒng)計(jì)的自適應(yīng)閾值方法來進(jìn)行運(yùn)動(dòng)區(qū)域分割【18】，較好地把人體的運(yùn)動(dòng)區(qū)域提取出來。2運(yùn)動(dòng)目標(biāo)定位以人體頭部為出發(fā)點(diǎn)對(duì)人體目標(biāo)的定位進(jìn)行了研究，在攝像頭的角度為垂直的條件下，根據(jù)提取出的頭部運(yùn)動(dòng)信息輪廓具有近圓形這一關(guān)鍵特征，本文采用FREEMAN鏈碼和RANSAC算法相結(jié)合的方法，進(jìn)行人體頭部的檢測(cè)識(shí)別，較快地完成了多目標(biāo)的定位。3多目標(biāo)跟蹤研究了MEANSHIFT算法的基本原理，介紹了MEANSHIFT算法在目標(biāo)跟蹤中的應(yīng)用。結(jié)合當(dāng)前MEANSHIFT跟蹤算法的優(yōu)點(diǎn)，針對(duì)目標(biāo)顏色相似與快速運(yùn)動(dòng)目標(biāo)之間可能跟蹤失敗的情況，本文提出了一種融合目標(biāo)顏色信息、紋理信息和運(yùn)動(dòng)信息KALMAN濾波等特征的目標(biāo)跟蹤方法，較好的完成了對(duì)人體目標(biāo)的跟蹤處理。4單目標(biāo)跟蹤對(duì)機(jī)器學(xué)習(xí)的發(fā)展進(jìn)行了論述，對(duì)機(jī)器學(xué)習(xí)中的半監(jiān)督學(xué)習(xí)進(jìn)行了探討，然后介紹了一種新的描述目標(biāo)特征的PPBTF特征，對(duì)支持向量機(jī)給予了研究。針對(duì)目前跟蹤算法建立模型描述目標(biāo)的缺陷，利用半監(jiān)督學(xué)習(xí)理論，提出了一種新的基于視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究TRITRACKING單目標(biāo)跟蹤算法，較好地解決了當(dāng)運(yùn)動(dòng)目標(biāo)外觀顯著變化時(shí)跟蹤失敗的問題。132論文章節(jié)安排本論文分為五章，各章內(nèi)容安排如下第一章為緒論，闡述了智能視頻監(jiān)控的研究意義和國(guó)內(nèi)外研究現(xiàn)狀，討論了計(jì)算機(jī)智能視頻監(jiān)控的主要任務(wù)、技術(shù)難點(diǎn)和應(yīng)用現(xiàn)狀及未來發(fā)展趨勢(shì)，最后給出本文的主要工作和論文結(jié)構(gòu)。第二章對(duì)計(jì)算機(jī)智能視頻監(jiān)控中運(yùn)動(dòng)目標(biāo)檢測(cè)關(guān)鍵技術(shù)進(jìn)行了研究。介紹了幀間差分法、基于梯度建模前景提取法以及利用幀間二階差分SODP與邊緣檢測(cè)相結(jié)合進(jìn)行運(yùn)動(dòng)目標(biāo)分割方法的基本原理，并進(jìn)行了相關(guān)的實(shí)驗(yàn)性能分析。本文在幀間差分法的基礎(chǔ)上，采用了基于均值統(tǒng)計(jì)的自適應(yīng)閾值方法【L引，從而判斷出人體目標(biāo)的運(yùn)動(dòng)區(qū)域。第三章針對(duì)計(jì)算機(jī)智能視頻監(jiān)控中主要任務(wù)之一目標(biāo)定位進(jìn)行了研究。介紹了頭部檢測(cè)時(shí)采用的FREEMAN鏈碼和RANSAC算法，結(jié)合兩者對(duì)運(yùn)動(dòng)區(qū)域內(nèi)人體目標(biāo)頭部進(jìn)行定位。第四章引入了描述運(yùn)動(dòng)目標(biāo)的紋理特征，介紹了預(yù)測(cè)運(yùn)動(dòng)目標(biāo)軌跡的KALMAN濾波器，給出了MEANSHIFT理論及其在跟蹤中的應(yīng)用，然后提出了一種融合目標(biāo)顏色信息、紋理信息和運(yùn)動(dòng)信息的改進(jìn)的KALMAN和MEANSHIR跟蹤算法，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)EL標(biāo)的良好跟蹤。第五章分析了傳統(tǒng)跟蹤算法的現(xiàn)狀，介紹了機(jī)器學(xué)習(xí)理論，針對(duì)建立模型進(jìn)行跟蹤的不足之處，本文利用機(jī)器學(xué)習(xí)的方法，提出了一種半監(jiān)督學(xué)習(xí)跟蹤算法一一TRIQRACKING跟蹤算法，對(duì)姿勢(shì)顯著變化的單個(gè)目標(biāo)進(jìn)行魯棒性跟蹤，并對(duì)提出的算法做了大量實(shí)驗(yàn)，同時(shí)給出了定性的分析。最后對(duì)本論文進(jìn)行了總結(jié)，指出了不足之處，并對(duì)今后工作進(jìn)行了展望。大連理工大學(xué)碩士學(xué)位論文2運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)研究21引言運(yùn)動(dòng)目標(biāo)檢測(cè)是應(yīng)用視覺研究領(lǐng)域的一個(gè)重要課題，在軍事和工業(yè)等領(lǐng)域如軍事目標(biāo)跟蹤、交通自動(dòng)導(dǎo)航、視頻信號(hào)傳輸和機(jī)器人視覺等領(lǐng)域應(yīng)用廣泛。目前，視頻信號(hào)的智能化處理需求日益增加，正確地從視頻流中提取運(yùn)動(dòng)目標(biāo)、判斷運(yùn)動(dòng)方向是許多智能視頻系統(tǒng)的基礎(chǔ)部分。運(yùn)動(dòng)目標(biāo)檢測(cè)是智能視頻監(jiān)控系統(tǒng)中非常關(guān)鍵的一步，它的目的就是提取監(jiān)控場(chǎng)景中的運(yùn)動(dòng)目標(biāo)，為運(yùn)動(dòng)物體的識(shí)別跟蹤提供必備條件。它的基本任務(wù)是從圖像序列中檢測(cè)出運(yùn)動(dòng)信息，簡(jiǎn)化圖像處理過程，得到所需的運(yùn)動(dòng)矢量，從而能夠識(shí)別與跟蹤物體。然而由于天氣、光照、影子及混亂干擾等的影響，使得運(yùn)動(dòng)檢測(cè)成為一項(xiàng)相當(dāng)困難的工作。根據(jù)視頻序列圖像中攝像機(jī)和場(chǎng)景之間是否運(yùn)動(dòng)將目標(biāo)的運(yùn)動(dòng)劃分為四種模式1攝像機(jī)靜LE目標(biāo)靜止。這是靜態(tài)場(chǎng)景，對(duì)其處理方法就是靜態(tài)圖像中的處理方法。2攝像機(jī)靜止目標(biāo)運(yùn)動(dòng)。這是一類非常重要的動(dòng)態(tài)場(chǎng)景，對(duì)其處理一般包括運(yùn)動(dòng)目標(biāo)檢測(cè)、目標(biāo)特性估計(jì)等，主要用于預(yù)警、監(jiān)視、目標(biāo)跟蹤等場(chǎng)合。3攝像機(jī)運(yùn)動(dòng)目標(biāo)靜止。這主要用于機(jī)器人視覺導(dǎo)航、電子地圖的自動(dòng)生成以及三維場(chǎng)景理解等。4攝像機(jī)運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)，這是運(yùn)動(dòng)目標(biāo)的檢測(cè)和跟蹤最復(fù)雜的一種情況，但也最普通的情況。目前關(guān)于這方面的研究還比較少，理論還沒有成熟。本文的目標(biāo)檢測(cè)算法研究是在垂直固定攝像頭的前提下，綜合考慮了室內(nèi)和室外的監(jiān)控算法，在下面的章節(jié)中將對(duì)常用的前景檢測(cè)方法進(jìn)行介紹并給出實(shí)際的檢測(cè)結(jié)果和性能分析。22靜態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)221基于背景建模的方法基于背景建模的方法是目前運(yùn)動(dòng)目標(biāo)檢測(cè)中最常用的一種方法，它的基本思想是輸入圖像與背景圖像進(jìn)行比較，通過判定灰度等特征的變化，或用直方圖等統(tǒng)計(jì)信息的變化來判斷異常情況的發(fā)生和分割運(yùn)動(dòng)目標(biāo)。簡(jiǎn)單常用的方式為直接抽取視頻序列中某一幅圖像，或計(jì)算多幅圖像的平均值作為背景。它一般能夠提供最完全的特征數(shù)據(jù)，而對(duì)于動(dòng)態(tài)場(chǎng)景的變化，如光照和外來無關(guān)事件的干擾等特別敏感，最簡(jiǎn)單的背景模型是基于視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究時(shí)間平均圖像，這種方法有一些問題并且需要在沒有前景物體時(shí)的一段訓(xùn)練周期。訓(xùn)練周期后背景物體的運(yùn)動(dòng)或是訓(xùn)練過程中前景物體將會(huì)認(rèn)為是用舊的前景物體。此外，這種方法還不能處理場(chǎng)景中的梯度的亮度變化。大部分研究人員目前都致力于開發(fā)不同的背景模型和自適應(yīng)算法，以期減少動(dòng)態(tài)場(chǎng)景變化對(duì)于運(yùn)動(dòng)分割的影響。HARITAOGLUSL等利用最小、最大強(qiáng)度值和最大時(shí)間差分值為場(chǎng)景中每個(gè)像素進(jìn)行統(tǒng)計(jì)建模，并且進(jìn)行周期性的背景更新；MCKENNAB9等利用像素色彩和梯度信息相結(jié)合的自適應(yīng)背景模型來解決影子和不可靠色彩線索對(duì)于分割的影響；KARMANN與BRANDT201和KILGER211采用基于卡爾曼濾波KALMANFILTERING的自適應(yīng)背景模型以適應(yīng)天氣和光照的時(shí)間變化；STAUFFER與GRIM0N22利用自適應(yīng)的混合高斯背景模型即對(duì)每個(gè)像素利用混合高斯分布建模，并且利用在線估計(jì)來更新模型，從而可靠地處理了光照變化、背景混亂運(yùn)動(dòng)的干擾等影響。A背景差分法背景差法首先對(duì)背景建立模型，選取背景中的一幅或幾幅圖像的平均作為背景圖像，然后把以后的序列圖像和背景圖像相減，進(jìn)行背景消除。若所得到的像素值大于某一閾值，則判定監(jiān)視場(chǎng)景中有運(yùn)動(dòng)物體，從而得到運(yùn)動(dòng)目標(biāo)。用公式表示如下DLX，Y，力一吃墨力I21FDDF覡，Y，D，、，22【U口Q式中觀是背景幀差圖；既是背景的亮度分量；，表示幀數(shù)BL，2，；G為閾值。B背景模型的建立按照所處理背景的自身特性，背景模型可分為單模態(tài)和多模態(tài)兩種。前者在每個(gè)背景點(diǎn)上的顏色分布比較集中，可以用單體概率分布模型來描述即只有一個(gè)模態(tài)，后者的分布則比較分散，需要多個(gè)分布模型來共同描述具有多個(gè)模態(tài)。最常用的描述背景點(diǎn)顏色分布的概率分布是高斯分布正態(tài)分布，下面就單模態(tài)和多模態(tài)兩種情況下的背景模型分別加以說明和討論。以下用刁X，來表示均值為、協(xié)方差為的高斯分布的概率密度函數(shù)。1單高斯分布背景模型單高斯分布背景模型適用于單模態(tài)背景情形，它為每個(gè)圖象點(diǎn)的顏色分布建立了高斯分布表示的模型RX，其中下標(biāo)T表示時(shí)間。設(shè)圖象點(diǎn)的當(dāng)前顏色度量為置，若RTX，鸕中“乙這里耳為概率閾值，則該點(diǎn)被判定為前景點(diǎn)，否則為背景點(diǎn)這時(shí)又稱為置與RX，鸕一，相匹配。在實(shí)際應(yīng)用中，可以用等價(jià)的閾值替代概率閾值。大連理工大學(xué)碩士學(xué)位論文如記匾五IT,，以Q表示均方差，則常根據(jù)4Q的取值設(shè)置前景檢測(cè)閾值T如設(shè)410,T，則該點(diǎn)被判定為前景點(diǎn)，否則為背景點(diǎn)。單高斯更新快慢的常數(shù)稱為更新率口，則該點(diǎn)高斯分布參數(shù)的更新可表示為肛1一口以L口五23砰1一口I口五一鸕12。242多高斯分布背景模型多模態(tài)背景的情形則需要多個(gè)分布來共同描述一個(gè)圖像點(diǎn)上的顏色分布。STAUFFER等提出了一種自適應(yīng)混合高斯模型，對(duì)每個(gè)圖像點(diǎn)采用了多個(gè)高斯的混合表示。設(shè)用來描述每個(gè)點(diǎn)顏色分布的高斯分布共有K個(gè)，分別記為OX,4U，IL，2，K。各高斯分布分別具有不同的權(quán)值Q。J哆，1，它們總是按照權(quán)值從高到低的次序排序。在檢測(cè)前景點(diǎn)時(shí)，按照權(quán)值從大到小的次序?qū)⒅门c各高斯分布逐一匹配，若沒有表示背景分布的高斯分布與置匹配，則判定該點(diǎn)為前景點(diǎn)，否則為背景點(diǎn)。多高斯分布背景模型的更新較為復(fù)雜，因?yàn)樗坏赂咚狗植甲陨淼膮?shù)，還要更新各分布的權(quán)重等。若檢測(cè)時(shí)沒有找到任何高斯分布與其匹配，則將權(quán)值最小的一個(gè)高斯分布取出，并引入一個(gè)新的均值為當(dāng)前值的高斯分布，賦予較小的權(quán)值和較大的方差，然后對(duì)所有高斯分布重新進(jìn)行權(quán)值歸一化處理。若第M個(gè)高斯分布與之匹配，則對(duì)第F個(gè)高斯分布的權(quán)值更新如下I1一歷L，IM吼511_歷其它25其中是另一個(gè)表示背景更新快慢的常數(shù)權(quán)值更新率。以上公式表明只有與五匹配的高斯分布的權(quán)值才得到提高，其他分布的權(quán)值都被降低。另外，未匹配的高斯分布的均值和均方差盯保持不變，相匹配的高斯分布的參數(shù)也按照式23和式24進(jìn)行更新。在更新完高斯分布的參數(shù)和各分布權(quán)值后，還要對(duì)各個(gè)分布重新進(jìn)行排序。222基于光流場(chǎng)的方法光流【231是空間運(yùn)動(dòng)物體對(duì)觀測(cè)面上的像素點(diǎn)運(yùn)動(dòng)產(chǎn)生的瞬時(shí)速度場(chǎng)，包含了物體表面結(jié)構(gòu)和動(dòng)態(tài)行為的重要信息，一般情況下，光流有相機(jī)運(yùn)動(dòng)、場(chǎng)景中目標(biāo)運(yùn)動(dòng)、或是兩者的共同運(yùn)動(dòng)產(chǎn)生。光流的計(jì)算方法大致可分為三類基于匹配的、頻域的或梯度的方法。1基于匹配的光流計(jì)算方法包括基于特征和基于區(qū)域的兩種?；谔卣鞯姆椒ú换谝曨l圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究斷地對(duì)目標(biāo)主要特征進(jìn)行定位和跟蹤，對(duì)大目標(biāo)的運(yùn)動(dòng)和亮度變化具有魯棒性。存在的問題是光流通常很稀疏，而且特征提取和精確匹配也非常困難?；趨^(qū)域的方法先對(duì)類似的區(qū)域進(jìn)行定位，然后通過相似區(qū)域的位移計(jì)算流量。這種方法在視頻編碼中得到廣泛的應(yīng)用，然而計(jì)算的光流仍不稠密。2基于頻域的方法利用速度可調(diào)的濾波組輸出頻域或相位信息。雖然能獲得很高精度的初始光流估計(jì)，但往往涉及復(fù)雜的計(jì)算。另外，進(jìn)行可靠評(píng)價(jià)也非常困難。3基于梯度的方法利用圖像序列的時(shí)空微分計(jì)算2D速度場(chǎng)光流。由于計(jì)算簡(jiǎn)單和較好的實(shí)驗(yàn)結(jié)果，基于梯度的方法得到了廣泛研究。雖然很多基于梯度的光流估計(jì)方法取得了較好的效果，但是在計(jì)算光流時(shí)涉及到可調(diào)參數(shù)的人工選取、可靠性評(píng)價(jià)因子的選擇困難，以及預(yù)處理對(duì)光流計(jì)算結(jié)果的影響，在應(yīng)用光流對(duì)目標(biāo)進(jìn)行實(shí)時(shí)監(jiān)測(cè)與自動(dòng)跟蹤時(shí)仍然存在很多問題。總的說來，光流法的優(yōu)點(diǎn)是能夠檢測(cè)獨(dú)立運(yùn)動(dòng)的對(duì)象，不需要預(yù)先知道場(chǎng)景的任何信息，并且可用于攝像機(jī)運(yùn)動(dòng)的情況，但是由于噪聲、多光源、陰影、透明性和遮擋性等原因，使得計(jì)算出的光流場(chǎng)分布不是十分可靠和精確；而且多數(shù)光流法計(jì)算復(fù)雜、耗時(shí)多，除非有特殊的硬件支持，否則很難實(shí)現(xiàn)實(shí)時(shí)檢測(cè)洲。日本大阪大學(xué)的RYUZOOKADA瞄】等人對(duì)此方法作了深入的研究，并已研制出比較成熟的系統(tǒng)。借助于多個(gè)數(shù)字信號(hào)處理器，這些系統(tǒng)都實(shí)現(xiàn)了實(shí)時(shí)目標(biāo)檢測(cè)和跟蹤，處理速度可以達(dá)到15幀S。223基于時(shí)間差分的方法時(shí)間差分方法是將前后兩幀或三幀圖像相減，將差值大于某一閾值的部分判為運(yùn)動(dòng)對(duì)象。例如LIPTON【LLJ等利用兩幀差分方法從實(shí)際視頻圖像中檢測(cè)出運(yùn)動(dòng)目標(biāo)，進(jìn)而用于目標(biāo)的分類與跟蹤；一個(gè)改進(jìn)的方法是利用三幀差分代替兩幀差分，如VSAME2,3】開發(fā)了一種自適應(yīng)背景減除與三幀差分相結(jié)合的混合算法，它能夠快速有效地從背景中檢測(cè)出運(yùn)動(dòng)目標(biāo)。時(shí)域差分法的優(yōu)點(diǎn)是魯棒性較好，能夠適應(yīng)各種動(dòng)態(tài)環(huán)境，其缺點(diǎn)是只能提取出邊界點(diǎn)，不能提取出對(duì)象的完整區(qū)域。另外，當(dāng)運(yùn)動(dòng)對(duì)象速度緩慢時(shí)，則可能檢測(cè)不到，而運(yùn)動(dòng)速度較快時(shí)，將把部分背景也檢測(cè)為運(yùn)動(dòng)對(duì)象。23常用檢測(cè)方法及其性能分析分析圖像序列，對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)是圖像處理系統(tǒng)的重要內(nèi)容，通過運(yùn)動(dòng)檢測(cè)，可以得到目標(biāo)在視頻圖像中的位置、方向、大小等信息。如何有效快速地檢測(cè)出運(yùn)動(dòng)目標(biāo)，是其他后續(xù)目標(biāo)分類和目標(biāo)跟蹤的基礎(chǔ)，因此，運(yùn)動(dòng)檢測(cè)對(duì)后續(xù)目標(biāo)跟蹤的正確完成具有極其重要的作用。本文對(duì)常用的相鄰幀間差方法、基于梯度建模提取前景法和利大連理工大學(xué)碩士學(xué)位論文用幀間二階差分SODP與邊緣檢測(cè)相結(jié)合進(jìn)行運(yùn)動(dòng)目標(biāo)分割方法進(jìn)行了詳細(xì)介紹，并利用相關(guān)視頻圖像對(duì)幾種方法進(jìn)行了性能分析比較。231相鄰幀間差方法相鄰幀差法又稱為圖像序列差分法、幀間差法，當(dāng)監(jiān)控場(chǎng)景中出現(xiàn)運(yùn)動(dòng)目標(biāo)時(shí)，幀與幀圖像之間會(huì)出現(xiàn)比較明顯的差別，兩幀相減，得到兩幀圖像亮度差的絕對(duì)值，判斷它是否大于閾值來分析視頻或圖像序列的運(yùn)動(dòng)特性，確定圖像序列中有無運(yùn)動(dòng)的目標(biāo)，對(duì)圖像序列逐幀進(jìn)行差分，相當(dāng)于對(duì)圖像序列進(jìn)行時(shí)域上的高通濾波。當(dāng)前有很多研究者在幀間差上進(jìn)行了改進(jìn)21，這里本文從最基本的相鄰幀差法進(jìn)行介紹和分析。其表達(dá)公式如下GI，F(xiàn)。以J，戶K“Y一?！癥L26一1盞GT,_LX,Y口丘熙卜1O，12判斷該圓參數(shù)C與其他圓參數(shù)CC，巴，C。I的相似度。若與其它圓相似，C不為新出現(xiàn)的圓參數(shù)，若幣相似E為新圓，加入C，重復(fù)2、3進(jìn)基于視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究行下一曲線段厶。檢測(cè)。若進(jìn)行最B乘法不能使擬合的圓參數(shù)與從厶1FS功計(jì)算的圓參數(shù)配準(zhǔn)，則仍從厶1IS刀開始，重復(fù)2、3。4若IN，則當(dāng)前區(qū)域冠內(nèi)圓檢測(cè)結(jié)束，同時(shí)保存單元集C。對(duì)當(dāng)前圖像中運(yùn)動(dòng)區(qū)域窗口序列形中所有其它區(qū)域的邊緣圖像重復(fù)1、2、3步操作進(jìn)行處理。5若當(dāng)前圖像中所有投影區(qū)域檢測(cè)結(jié)束，輸出單元集C中所有的圓參數(shù)，同時(shí)進(jìn)行下一幀圖像的處理，重復(fù)15操作。35實(shí)驗(yàn)結(jié)果與分析本文對(duì)不同光照和場(chǎng)合下的圖像序列進(jìn)行了測(cè)試，結(jié)果表明該方法在人體遮擋較嚴(yán)重的情況下，若目標(biāo)的頭部沒有被其他運(yùn)動(dòng)目標(biāo)長(zhǎng)時(shí)間的遮擋，可以準(zhǔn)確的對(duì)頭部進(jìn)行檢測(cè)識(shí)別。351檢測(cè)結(jié)果在實(shí)驗(yàn)中，視頻圖像序列中各個(gè)參數(shù)取值分別為K30，三22，以70，P倒L，圖34為四組視頻圖像序列的頭部圓檢測(cè)定位結(jié)果，藍(lán)框?yàn)槌醪綑z測(cè)到的運(yùn)動(dòng)區(qū)域，紅色的圓代表在藍(lán)框運(yùn)動(dòng)區(qū)域內(nèi)檢測(cè)到的頭部位置和大小。大連理工大學(xué)碩士學(xué)位論文視顫1983視頻卜I462視頻卜1572桃額2126FI罔34頭部定位結(jié)果FIG34TILERESU虹OFHEADLOCALIZATION352實(shí)驗(yàn)分析本文在PC機(jī)24G，256M上進(jìn)行丁實(shí)驗(yàn)，對(duì)不同視頻圖像FLO000幀進(jìn)行了測(cè)試，結(jié)果表明該算法對(duì)身體運(yùn)動(dòng)邊緣的T擾有一定的抑制作用，具有較高的檢測(cè)速度和正確率。當(dāng)人體的頭部尺寸相對(duì)較小時(shí)，檢測(cè)和定位的速度能達(dá)到每秒18幀，可以達(dá)基于視額圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究到實(shí)時(shí)的效果，由十RANSAC算法本身參數(shù)較多現(xiàn)在參數(shù)基本依據(jù)大量實(shí)驗(yàn)來定參數(shù)不能白適應(yīng)化，這是將來研究的個(gè)力向。叫毒劐罔35誤檢情況示意圖FIG35LLLMTRATIONOFEORDETECTION當(dāng)人體其他部分的運(yùn)動(dòng)邊緣輪廓較清晰且近似圓形時(shí)，如肩膀與頭部輪廓具有很大的相似性時(shí)，人體的肩部被誤判為頭部，會(huì)造成了誤檢如圖35A所示當(dāng)頭部顏色信息與周|背景較相似時(shí)，幀問差會(huì)失去頭部輪廓，造成漏檢，如圖35B1。為了減小這種誤檢率的發(fā)生，可以對(duì)圖像采取別的處理辦法消除干擾，同時(shí)加入別的特征提取H標(biāo)頭部，這也是本文令后的努力方向。36小結(jié)運(yùn)動(dòng)11標(biāo)的定位與分割足計(jì)算機(jī)智能視頻監(jiān)控的一個(gè)基礎(chǔ)環(huán)節(jié)，也是計(jì)算機(jī)視覺的一個(gè)主要部分和研究熱點(diǎn)。本章在對(duì)FREEMAN鏈碼和RANSAC算法理論知識(shí)研究的基礎(chǔ)上，針對(duì)每個(gè)運(yùn)動(dòng)區(qū)域內(nèi)人體頭部運(yùn)動(dòng)信息的邊緣輪廓具有近圓形圓弧的關(guān)鍵特征，采用丁融臺(tái)鏈碼和RANSAC算法的J種頭部檢測(cè)定位方法。該算法能較快速的對(duì)多個(gè)人體頭部進(jìn)行定位，從而較好地定位M多人體目標(biāo)，達(dá)到了比較好的檢測(cè)效果。大連理工大學(xué)碩士學(xué)位論文4KAIMAN濾波器和MEANSHIFT相關(guān)理論及其在跟蹤中的應(yīng)用41引言運(yùn)動(dòng)目標(biāo)跟蹤是近期視覺領(lǐng)域內(nèi)一個(gè)備受關(guān)注的課題，它是在視頻圖像序列的每一幀圖像中確定出我們感興趣的運(yùn)動(dòng)目標(biāo)的位置，來實(shí)現(xiàn)目標(biāo)的跟蹤。在機(jī)器視覺研究領(lǐng)域里，隨著技術(shù)不斷發(fā)展，自動(dòng)目標(biāo)跟蹤越來越受到研究者的重視，具有廣闊的應(yīng)用前景。運(yùn)動(dòng)目標(biāo)的跟蹤在醫(yī)學(xué)研究、視頻監(jiān)控、交通流量觀測(cè)監(jiān)控等很多領(lǐng)域都有重要的實(shí)用價(jià)值。跟蹤的難點(diǎn)在于如何快速而準(zhǔn)確的在每一幀圖像中實(shí)現(xiàn)目標(biāo)定位。目標(biāo)跟蹤技術(shù)在二戰(zhàn)之前就已經(jīng)在軍事上得到應(yīng)用，1937年世界上出現(xiàn)第一部跟蹤雷達(dá)站SCR28。之后，隨著科技的進(jìn)步，各種跟蹤系統(tǒng)的相繼出現(xiàn)與不斷完善，跟蹤理論和方法在各國(guó)學(xué)者的努力下也獲得了很大的發(fā)展。1955年WAX提出了多目標(biāo)跟蹤的基本概念，目標(biāo)跟蹤研究有了一定的發(fā)展。但直到70年代，卡爾曼濾波理論【4L】被成功地應(yīng)用在目標(biāo)跟蹤領(lǐng)域【42】之后，目標(biāo)跟蹤技術(shù)才真正引起人們的普遍關(guān)注和極大興趣。近二十年來，研究學(xué)者在此領(lǐng)域進(jìn)行了大量的研究，同時(shí)隨著其它新技術(shù)的出現(xiàn)，比如擴(kuò)展卡爾曼濾波EXTENDEDKALMANFILTER、粒子濾波PARTICLEFILTER、均值遷移MEANSHILL、多模型、多速率處理等技術(shù)，結(jié)合這些技術(shù)提出了許多方法，取得了長(zhǎng)足的進(jìn)步。就跟蹤的方法而言，目標(biāo)的跟蹤主要包括基于運(yùn)動(dòng)MOTIONBASED和基于模型MODELBASED這兩種方法。美國(guó)卡內(nèi)基一梅隆大學(xué)研究開發(fā)的“實(shí)時(shí)視頻中動(dòng)目標(biāo)識(shí)別分類與跟蹤系統(tǒng)”MOVINGTARGETCLASSIFICATIONANDTRACKINGFROMREALTIMEVIDEO就采用了基于模型和運(yùn)動(dòng)相結(jié)合的方法對(duì)視頻中的目標(biāo)實(shí)時(shí)監(jiān)控與跟蹤，并識(shí)別兩種目標(biāo)人和汽車【431。本章的研究?jī)?nèi)容是典型視頻監(jiān)控系統(tǒng)中的多運(yùn)動(dòng)目標(biāo)跟蹤，是建立在第三章的多人體目標(biāo)定位基礎(chǔ)上完成的，首先對(duì)描述運(yùn)動(dòng)目標(biāo)的紋理特征進(jìn)行了介紹，然后重點(diǎn)對(duì)MEANSHIFT理論及其在跟蹤中的應(yīng)用進(jìn)行了論述，最后給出了一種融合目標(biāo)顏色、紋理和運(yùn)動(dòng)信息的改進(jìn)的KALMAN和MEANSHIFT跟蹤方法。在現(xiàn)有的目標(biāo)跟蹤方法中，有一種算法建立在魯棒統(tǒng)計(jì)與概率分析基礎(chǔ)之上的MEANSHIFT算法。這種算法通過非參數(shù)估計(jì)，沿著圖像梯度方向查找運(yùn)動(dòng)目標(biāo)的概率分布，從而在視頻圖像中跟蹤目標(biāo)。該算法要選擇上一次確定的目標(biāo)位置結(jié)果作為當(dāng)前幀圖像中目標(biāo)的初始位置，本文就利用本算法來實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤。基于視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究42紋理特征局部二進(jìn)制模式LBPLOCALBINARYPATTERN是近年來提出的一種基于灰度圖像有效的紋理描述方法，它是通過比較圖像中每個(gè)像素與其鄰域內(nèi)像素灰度值的大小，并利用二進(jìn)制模式表示的比較結(jié)果來描述圖像的紋理。近年來LBP紋理在人臉識(shí)別、表情識(shí)別以及背景建模等計(jì)算機(jī)視覺應(yīng)用領(lǐng)域中表現(xiàn)出良好的性能，但在運(yùn)動(dòng)目標(biāo)跟蹤方面的應(yīng)用剛剛起步，QUANG等洲提出了利用圖像灰度值和LBP對(duì)單色熱度視頻進(jìn)行跟蹤的算法，對(duì)單色的視頻圖像序列達(dá)到較好跟蹤效果。王永忠等【451提出基于LBP紋理特征的紅外成像目標(biāo)跟蹤方法，將LBP紋理特征集成到核跟蹤方法中，構(gòu)造目標(biāo)及候選目標(biāo)的特征模型，利用MEANSHIFT方法實(shí)現(xiàn)基于紋理特征的紅外成像目標(biāo)的跟蹤。寧紀(jì)鋒和吳成柯提出用LBP；紋理模型中表示邊界和角的5種基本模式表示目標(biāo)，并將之成功嵌入MEANSHIFT算法進(jìn)行目標(biāo)跟蹤。紋理特征不僅能充分表達(dá)圖像的紋理，而且算法具有復(fù)雜度低、計(jì)算速度快和一定程度上不受光照變化的影響等良好特性，越來越受到目標(biāo)跟蹤研究領(lǐng)域研究者的重視。421基本局部二進(jìn)制模式LBP算子是由OJALA等人于1996年提出的M，最初被稱為基本的LBP算子。對(duì)圖像中的每個(gè)像素，通過計(jì)算以其為中心的33鄰域內(nèi)各像素和中心像素的大小關(guān)系，把像素的灰度值轉(zhuǎn)化為一個(gè)八位二進(jìn)制序列。對(duì)，處灰度值為Q的像素，它的LBP值為8腳五GAJA，X2H41JLAJ為XJ八鄰域像素集中索引為J，1，2，8的像素灰度值，GAJQ是一個(gè)函數(shù)定義為ILI7R口，一Q0G巳一島210D如M洫42大連理工大學(xué)碩士學(xué)位論文進(jìn)制垮弼為，I1010011H閼踟羝2LL圖41基本LBP算子FIG41BASICLBPOPERATOR具體計(jì)算過程如圖41所示，對(duì)于圖像的任意一點(diǎn)厶，其LBP特征計(jì)算為，以露為中心，取與厶相鄰的8個(gè)點(diǎn)，按照順時(shí)針的方向記為而，五，易；以厶點(diǎn)的象素值為閾值，如果五點(diǎn)的象素值小于厶，則五被二值化為0，否則為L(zhǎng)；將序列看成一個(gè)8位二進(jìn)制數(shù)，將該二進(jìn)制數(shù)轉(zhuǎn)化為十進(jìn)制就可得到厶點(diǎn)處LBP算子的值。422擴(kuò)展局部二進(jìn)制模模式基本的LBP算子只局限在33的鄰域內(nèi)，對(duì)于較大圖像大尺度的結(jié)構(gòu)不能很好的提取需要的紋理特征，因此研究者們對(duì)LBP算子進(jìn)行了擴(kuò)展【48】。新的LBP算子三碑?？梢杂?jì)算不同半徑鄰域大小和不同像素點(diǎn)數(shù)的特征值，其中P表示周圍像素點(diǎn)個(gè)數(shù)，R表示鄰域半徑，同時(shí)把原來的方形鄰域擴(kuò)展到了圓