智能視頻監(jiān)控

1、1Intelligent Video Surveillance Gao LinSichuan University, Spring 2010智能視頻監(jiān)控及其相關(guān)技術(shù)智能視頻監(jiān)控及其相關(guān)技術(shù)2Intelligent Video Surveillance主要內(nèi)容主要內(nèi)容l智能視頻監(jiān)視系統(tǒng)智能視頻監(jiān)視系統(tǒng)l目標(biāo)檢測目標(biāo)檢測l陰影去除陰影去除l目標(biāo)跟蹤目標(biāo)跟蹤3Intelligent Video Surveillance視頻監(jiān)控在銀行、電力、交通、視頻監(jiān)控在銀行、電力、交通、安檢以及軍事設(shè)施等領(lǐng)域的安全防范安檢以及軍事設(shè)施等領(lǐng)域的安全防范和現(xiàn)場記錄報警等方面有著非常廣泛和現(xiàn)場記錄報警等方面有著非常廣泛

2、的應(yīng)用。的應(yīng)用。4Intelligent Video Surveillance監(jiān)控技術(shù)發(fā)展的三個階段監(jiān)控技術(shù)發(fā)展的三個階段5Intelligent Video Surveillance統(tǒng)計數(shù)據(jù)顯示，英國目前有統(tǒng)計數(shù)據(jù)顯示，英國目前有400400多萬個攝像多萬個攝像機(jī)，而倫敦的居民平均每個人每天要被攝像機(jī)，而倫敦的居民平均每個人每天要被攝像機(jī)拍攝機(jī)拍攝300300次。次。公安部主導(dǎo)的公安部主導(dǎo)的“平安城市平安城市”計劃，促進(jìn)了視計劃，促進(jìn)了視頻監(jiān)控市場的迅速增長，全國約有頻監(jiān)控市場的迅速增長，全國約有200200萬個監(jiān)萬個監(jiān)控攝像機(jī)用于城市監(jiān)控與報警系統(tǒng)控攝像機(jī)用于城市監(jiān)控與報警系統(tǒng)。青藏鐵路全

3、線青藏鐵路全線13001300路通道采用視頻分析，對全路通道采用視頻分析，對全線鐵路進(jìn)行入侵保護(hù)。線鐵路進(jìn)行入侵保護(hù)。6Intelligent Video Surveillance1 vs 1 1 vs N 7Intelligent Video Surveillance智能視頻監(jiān)控系統(tǒng)智能視頻監(jiān)控系統(tǒng)是利用計算機(jī)視覺技術(shù)，在不需要是利用計算機(jī)視覺技術(shù)，在不需要人為干預(yù)的情況下，對視頻信號進(jìn)行處理、分析和理人為干預(yù)的情況下，對視頻信號進(jìn)行處理、分析和理解，并對視頻監(jiān)控系統(tǒng)進(jìn)行控制，從而使視頻監(jiān)控系解，并對視頻監(jiān)控系統(tǒng)進(jìn)行控制，從而使視頻監(jiān)控系統(tǒng)具有像人一樣的智能。統(tǒng)具有像人一樣的智能。8Inte

4、lligent Video Surveillance應(yīng)用實例應(yīng)用實例智能視頻的應(yīng)用大體上可以分為安全相關(guān)應(yīng)用安全相關(guān)應(yīng)用和非安全相關(guān)應(yīng)用非安全相關(guān)應(yīng)用兩大類。u安全類相關(guān)的應(yīng)用是目前市場上存在的主要智能視頻應(yīng)用，特別是在911恐怖襲擊、馬德里爆炸案以及倫敦爆炸案發(fā)生之后，市場上對于此類應(yīng)用的需求不斷增長。這些應(yīng)用主要作用是協(xié)助政府或其他機(jī)構(gòu)的安全部門提高室外大地域公共環(huán)境的安全防護(hù)。此類應(yīng)用主要包括：高級視頻移動偵測、物體追蹤、人物面部識別、車輛識別和非法滯留等。 u除了安全相關(guān)類應(yīng)用之外，智能視頻還可以應(yīng)用到一些非安全相關(guān)類的應(yīng)用當(dāng)中。這些應(yīng)用主要面向零售、服務(wù)等行業(yè)，可以被看作管理和服務(wù)的

5、輔助工具，用以提高服務(wù)水平和營業(yè)額。此類應(yīng)用主要包括：人數(shù)統(tǒng)計、人群控制、注意力控制和交通流量控制等。9Intelligent Video Surveillance安防安防1、 絆線檢測絆線檢測針對人、車通過特定運動方向絆線的監(jiān)控；其應(yīng)用如：警戒線、單向閘門流向、柵欄攀爬等；2、 警戒區(qū)域警戒區(qū)域針對人、車進(jìn)入或離開特定管制區(qū)域的監(jiān)控；其應(yīng)用例：停機(jī)坪、碼頭車站的工作區(qū)域、營業(yè)場所后臺等。3、 閑逛閑逛針對不合理滯留過久的人、車發(fā)出警示訊息，以提醒安管保全人員加以盤察注意。4、 偷竊偷竊針對特定重要資產(chǎn)的保全；例如：貴重的掛畫或擺飾、裝備器材、場站內(nèi)的車輛或機(jī)具等。5、 遺留物遺留物針對可能的

6、爆裂物、易燃物、生化污染物的惡意棄置。6、 群體事件群體事件針對人群聚集10Intelligent Video Surveillance車牌識別車牌識別車速測量車速測量流量統(tǒng)計流量統(tǒng)計逆行告警逆行告警智能交通監(jiān)控智能交通監(jiān)控11Intelligent Video Surveillance對設(shè)定區(qū)域的移動物體（通過預(yù)先設(shè)置的大小形狀來進(jìn)行過濾）進(jìn)行動態(tài)跟蹤?？蓱?yīng)用于監(jiān)控物理周界和虛擬周界的區(qū)域，監(jiān)視是否有目標(biāo)進(jìn)入或預(yù)進(jìn)入，可用于監(jiān)控邊界、監(jiān)獄、機(jī)場、化學(xué)基地等周界12Intelligent Video Surveillance13Intelligent Video SurveillanceIVS

7、研究現(xiàn)狀研究現(xiàn)狀 1997年，美國國防高級研究項目署設(shè)立了以卡內(nèi)基梅隆大學(xué)牽頭，麻省理工學(xué)院等高校參與的視覺監(jiān)控重大項目VSAM，主要研究用于戰(zhàn)場及普通民用場景監(jiān)控的自動視頻理解技術(shù)14Intelligent Video Surveillance美國康奈爾大學(xué)計算機(jī)系設(shè)計了一套航拍視頻檢測與持續(xù)跟蹤系統(tǒng)，該系統(tǒng)能夠?qū)Χ噙\動目標(biāo)實現(xiàn)長時間的準(zhǔn)確跟蹤，即使發(fā)生短時間內(nèi)目標(biāo)被遮擋或目標(biāo)時靜時動的情況 15Intelligent Video Surveillance2005年，美國中央佛羅里達(dá)大學(xué)計算機(jī)視覺實驗室開發(fā)出了基于MATLAB的COCOA系統(tǒng)，用于無人機(jī)低空航拍視頻圖像的目標(biāo)檢測與跟蹤處理1

8、6Intelligent Video Surveillance2003年,由歐盟發(fā)起，法國的SILOGIC公司和英國的雷丁大學(xué)等十幾家機(jī)構(gòu)參與研究的AVITRACK項目，該系統(tǒng)主要針對機(jī)場停機(jī)坪周圍的環(huán)境，檢測和跟蹤停機(jī)坪中出現(xiàn)的飛機(jī)、汽車以及行人等，其目的是為機(jī)場管理者所關(guān)心的機(jī)場流量及調(diào)度形成一個強(qiáng)有力的決策輔助工具，以便提高機(jī)場的利用率同時對機(jī)場的安全提供一個有力的保障。 17Intelligent Video SurveillanceIEEE Conference on Computer Vision and Pattern Recognition18Intelligent Video

9、 Surveillance智能視頻監(jiān)視系統(tǒng)的基本框架智能視頻監(jiān)視系統(tǒng)的基本框架低層視覺處理低層視覺處理中層視覺處理中層視覺處理高層視覺處理高層視覺處理19Intelligent Video Surveillance目標(biāo)檢測目標(biāo)檢測將輸入的視頻圖像中變化劇烈的圖像區(qū)域從圖像背景中分離出來，它處于視頻監(jiān)控技術(shù)的前端，是各種后續(xù)處理的基礎(chǔ)。目前，算法主要包括背景減法、相鄰幀差法和光流法等。 20Intelligent Video Surveillance目標(biāo)跟蹤目標(biāo)跟蹤依據(jù)目標(biāo)及其所在的環(huán)境，選擇能唯一表示目標(biāo)的特征，并在后續(xù)幀中搜索與該特征最匹配的目標(biāo)位置。常用的跟蹤算法包括：基于特征的跟蹤算法，

10、基于3D模型的跟蹤，基于主動輪廓模型的跟蹤以及基于運動估計的跟蹤等。 21Intelligent Video Surveillance目標(biāo)分類目標(biāo)分類利用一些圖像特征值實現(xiàn)目標(biāo)類型（一般是人和車）的甄別。用于目標(biāo)分類的特征有空間特征和時間特征兩種，空間特征包括目標(biāo)輪廓、目標(biāo)尺寸、目標(biāo)紋理等，時間特征包括目標(biāo)大小的變化、運動的速度等。 22Intelligent Video Surveillance行為理解行為理解指在對序列進(jìn)行低級處理的基礎(chǔ)上，對場景中的事件進(jìn)行分析和識別，用自然語言等加以描述。根據(jù)運動目標(biāo)的運動軌跡進(jìn)行行為分析。 23Intelligent Video Surveillanc

11、e主要內(nèi)容主要內(nèi)容l智能視頻監(jiān)視系統(tǒng)智能視頻監(jiān)視系統(tǒng)l目標(biāo)檢測目標(biāo)檢測l陰影去除陰影去除l目標(biāo)跟蹤目標(biāo)跟蹤24Intelligent Video Surveillancel視頻運動目標(biāo)檢測視頻運動目標(biāo)檢測運動目標(biāo)檢測的目的是從視頻圖像中將運動目標(biāo)與背景分割出來，由于光照變化、背景物運動干擾、運動目標(biāo)陰影以及攝像機(jī)運動等干擾因素的存在，為運動目標(biāo)的正確檢測帶來了巨大挑戰(zhàn)。 25Intelligent Video SurveillanceGoals of motion detection Identify moving objects Detection of unusual activity p

12、atterns Computing trajectories of moving objectsApplications of motion detection Indoor/outdoor security Real time crime detection Traffic monitoringMany intelligent video analysis systems are based on motion detection.26Intelligent Video Surveillance27Intelligent Video Surveillance將連續(xù)的兩幀或三幀圖像對應(yīng)像素點的

13、灰度值相減，當(dāng)環(huán)境亮度變化不大時，如果對應(yīng)像素值相差很小，則認(rèn)為此處是靜止的，標(biāo)記為背景；如果對應(yīng)像素值相差較大，則認(rèn)為這是由目標(biāo)運動引起的，該處像素標(biāo)記為運動目標(biāo)。 1( )( )( )ttIxIxT x28Intelligent Video Surveillance第第n-1幀幀第第n幀幀29Intelligent Video Surveillance30Intelligent Video Surveillance優(yōu)點：優(yōu)點： 算法實現(xiàn)復(fù)雜度低； 檢測速度快，易于實現(xiàn)實時監(jiān)視； 由于相鄰幀的時間間隔較短，因此該方法抗干擾能力較強(qiáng)，對環(huán)境有較好的適應(yīng)性。缺點：缺點：該方法檢測出的運動區(qū)域包含

14、了相鄰兩幀中所有存在變化的區(qū)域，因此提取出的運動目標(biāo)往往大于實際目標(biāo)，不能夠準(zhǔn)確反映運動目標(biāo)的真實形狀。當(dāng)運動目標(biāo)存在大范圍的灰度相似區(qū)域時，會產(chǎn)生明顯的“孔洞”現(xiàn)象，以至于運動目標(biāo)提取不完整。It evidently works only in particular conditions of objects speed and frame rateVery sensitive to the threshold Th31Intelligent Video Surveillance光流法是通過計算圖像的光流場實現(xiàn)運動目標(biāo)檢測的一種方法。所謂光流場是指空間運動物體被觀測表面上的像素點運動產(chǎn)生的瞬

15、時速度場,一個二維的速度場，包含了物體表面結(jié)構(gòu)和動態(tài)行為的重要信息。 32Intelligent Video Surveillance光流可以看作帶有灰度的像素點在圖像平面運動產(chǎn)生的瞬時速度場。假設(shè)E(x,y,t)為(x,y)點在時刻t的亮度，設(shè)t+dt時刻該點運動到(x+dx,y+dy)點，它的亮度為E(x+dx,y+dy,t+dt)。我們認(rèn)為，由于對應(yīng)同一個點在短時內(nèi)它的亮度值不變亮度值不變，所以E(x,y,t) = E(x+dx,y+dy,t+dt) 光流約束方程將上式右邊做泰勒展開，并令dt-0，則得到：Exu+Eyv+Et = 0其中：Ex = dE/dx Ey = dE/dy Et

16、 = dE/dt u = dx/dt v = dy/dt。上面的Ex,Ey,Et的計算都很簡單，用離散的差分代替導(dǎo)數(shù)就可以了。光流法的主要任務(wù)就是通過求解光流約束方程求出u,v。33Intelligent Video Surveillance 上述只有一個方程，有兩個未知參數(shù)，所以這是個病態(tài)問題，要求解只有加入其他的約束方程以聯(lián)立求解。針對攝像機(jī)固定的這一特定情況，問題可以大大簡化。 在攝像機(jī)固定的情形下，運動物體的檢測其實就是分離前景和背景的問題。我們知道對于背景，理想情況下，其光流應(yīng)當(dāng)為0，只有前景才有光流。所以我們并不要求通過求解光流約束方程求出u,v。我么只要求出亮度梯度方向的速率就可

17、以了，即求出sqrt(u*u+v*v)而由光流約束方程可以很容易求到梯度方向的光流速率為 V = abs(Et/sqrt(Ex*Ex+Ey*Ey)這樣我們設(shè)定一個閾值TV(x,y) T 則(x,y)是前景 ，反之是背景34Intelligent Video Surveillance利用建立的背景模型背景模型來生成背景圖像的像素值，然后將當(dāng)前幀與背景圖像求差，差值較大的像素區(qū)域被認(rèn)為是運動目標(biāo)區(qū)域，而差值較小的像素區(qū)域被認(rèn)為是背景區(qū)域。 ( )( )( )tB xIxT x35Intelligent Video Surveillance背景圖像背景圖像第第t幀幀差分后二值化差分后二值化36Int

18、elligent Video Surveillance First consequent problem: how to automatically obtain the image of the scenes static background?37Intelligent Video SurveillancerequirementsThe background image is not fixed but must adapt to:lIllumination changesgradualsudden (such as clouds)lMotion changescamera oscilla

19、tionshigh-frequencies background objects (such as tree branches, sea waves, and similar)lChanges in the background geometryparked cars, .38Intelligent Video Surveillance39Intelligent Video Surveillance統(tǒng)計背景模型：統(tǒng)計背景模型：單高斯模型混合高斯模型非參數(shù)模型40Intelligent Video Surveillance單高斯模型：單高斯模型：假定每個像素特征在時間域上的分 布可以由單個高斯分

20、布來描述t-1t1. . . . . .41Intelligent Video Surveillance假定每個像素點的顏色特征在時間域上的分布可以由單個高斯分布 來描述，2( ,)tttN x 其中 ， ， 分別為 時刻像素顏色值，高斯分布的均值和方差。txt2t1(1)tttaax 221(1)() ()Tttttttaaxx 其中 a為學(xué)習(xí)率，a取值范圍是 0,1，可以通過取不同的a值調(diào)整背景的更新速度。42Intelligent Video Surveillance混合高斯模型混合高斯模型(GMM)：為了描述分布形式更為復(fù) 雜的背景，有必要應(yīng)用到多模態(tài)的分布形式。 43Intellig

21、ent Video Surveillance44Intelligent Video Surveillance GMM模型定義 Gaussian Component Weights of each component,1Pr;,Kti tti ti tixwN X,;,ti ti tN X, i tw45Intelligent Video Surveillance Updating Weights For the matched component k, Updating Mean and Sigma Matching Indicator, within 2.5 SD,1i ti ti twwM

22、, i tM11tttX 2211TttttttXX ;,tkkN X GMM模型更新46Intelligent Video Surveillance GMM模型估計 Ordering Gaussian components by the value of The first B distributions are chose as the background model T: a measure of the minimum portion of the data that should be accounted for by the background.w1argminbbkkBwT4

23、7Intelligent Video Surveillanceu混合高斯模型由于對每個象素，都建立了多個高斯分布，因此對于象素的擾動，具有較強(qiáng)的適應(yīng)性，能夠造成較好地排除噪聲的干擾，具有較好的魯棒性u和普通的背景減除法相比，是自適應(yīng)前景檢測閾值。u沒有普通背景減除法的拖尾現(xiàn)象。48Intelligent Video Surveillance非參數(shù)模型：非參數(shù)模型：不需對背景模型做任何假設(shè)，直接利用 先前獲得的像素值估計當(dāng)前像素為背景 的概率. 常用的非參數(shù)密度估計法有 直方圖估計法，Parzen的核估計法，等等49Intelligent Video Surveillancel背景差分法存在的問

24、題背景差分法存在的問題不適應(yīng)光照突變環(huán)境不適應(yīng)光照突變環(huán)境 可能檢測出虛假目標(biāo)可能檢測出虛假目標(biāo),即即“鬼影鬼影” 50Intelligent Video Surveillance光照突變的類型和特點 光照突變分為環(huán)境光照強(qiáng)度發(fā)生突然變化和攝像機(jī)增益系數(shù)發(fā)生改變兩種，如當(dāng)視場內(nèi)突然經(jīng)過面積過大的目標(biāo)時，攝像機(jī)會改變增益，雖然環(huán)境光照可能沒變，但攝像機(jī)曝光強(qiáng)度改變，其效果和光照突變時一樣。 光照突變通常是全局的，如室內(nèi)突然開燈和攝像機(jī)的自動增益調(diào)整。51Intelligent Video Surveillance光照突變時運動目標(biāo)檢測的依據(jù) 根據(jù)朗伯反射定律，圖象亮度和入射光照強(qiáng)度成正比，同時由

25、于光照突變的全局性，因此當(dāng)前幀圖象中所有背景象素點亮度和對應(yīng)高斯背景亮度之比值為一個常數(shù)。 考慮到朗伯防射定律的近似性和光照突變?nèi)旨僭O(shè)的局限性，當(dāng)前幀所有背景象素點和對應(yīng)高斯背景亮度之比分布在一個較窄范圍之內(nèi)。52Intelligent Video Surveillance光照突變時亮度比值的分布光照突變光照突變前前光照突變光照突變后后光照突變前后當(dāng)前幀背景象素點和高斯背景亮度比值的直方圖其中其中:式中，式中，c為常數(shù)為常數(shù)100( ,)( ,)( ,)tbIx yx ycIx y53Intelligent Video Surveillance光照突變判定 統(tǒng)計當(dāng)前幀中象素點和對應(yīng)高斯背景亮

26、度比值的直方圖，為了減少前景象素點的干擾，對于上一幀中檢測為前景目標(biāo)的區(qū)域不參與統(tǒng)計。 計算在區(qū)間0,c)和區(qū)間(c, Max上的概率差異，如果差異過大則判定光照發(fā)生了突變 1011()2()ciiMaxii cPPPP ( 1,2)( 1,2)Max P PTMin P P其中其中54Intelligent Video Surveillance光照突變時運動目標(biāo)檢測 1).尋找直方圖峰位n 2).分別計算峰位左右兩邊的方差202( )()1( )()() 1NiiNileftMiiNi NrightPNPMN55Intelligent Video Surveillance光照突變時運動目標(biāo)檢

27、測 3).前景象素判定準(zhǔn)則:NrNlOR56Intelligent Video Surveillance光照突變算法效果(a) 原始視頻原始視頻(b) 傳統(tǒng)混合高斯傳統(tǒng)混合高斯模型檢測的前景模型檢測的前景(c) 本文方法本文方法檢測的前景檢測的前景57Intelligent Video Surveillance鬼影消除 鬼影是指檢測出的虛假目標(biāo)，通常是由于高斯背景模型建立需要一個學(xué)習(xí)過程，當(dāng)原來靜止不動的物體突然離開后，即會在原來所在區(qū)域留下“鬼影”。 由于幀間差分最直觀地反映了物體的運動，雖然幀間差分檢測的目標(biāo)區(qū)域不夠準(zhǔn)確和完整，但可以作為一個運動目標(biāo)檢測的輔助依據(jù)。58Intelligen

28、t Video Surveillance鬼影消除算法步驟 1).計算幀間差，通過取閾值得到幀間差檢測的前景象圖象掩碼。 2).提取混合高斯模型檢測結(jié)果中的連通體，對于每個連通體，統(tǒng)計連通區(qū)域內(nèi)對應(yīng)幀差檢測結(jié)果為前景象素的數(shù)目。 3). 把統(tǒng)計到的幀差前景象素數(shù)目和連通體面積相除，如果比值小于一定閾值，則判定為鬼影。59Intelligent Video Surveillance主要內(nèi)容主要內(nèi)容l智能視頻監(jiān)視系統(tǒng)智能視頻監(jiān)視系統(tǒng)l目標(biāo)檢測目標(biāo)檢測l陰影去除陰影去除l目標(biāo)跟蹤目標(biāo)跟蹤60Intelligent Video Surveillance多特征聯(lián)合陰影檢測多特征聯(lián)合陰影檢測陰影物理模型多特

29、征陰影檢測實驗分析61Intelligent Video Surveillance陰影物理模型陰影物理模型 陰影是由于光源被遮擋所產(chǎn)生的，因此，它們的亮度和顏色將會隨著它們所投影的表面的改變而改變。采用信號處理理論的陰影處理系統(tǒng)，其陰影點的特征可以如下描述： ( , )( , )( , )kkkS i jE i ji j62Intelligent Video Surveillance陰影物理模型陰影物理模型63Intelligent Video Surveillance陰影物理模型陰影物理模型陰影檢測對環(huán)境提出了三個假定： 假定3.1: 強(qiáng)光源。 假定3.2: 靜態(tài)場景、攝像機(jī)固定。 假定3.

30、3: 陰影場景是近似平面，如路面。 64Intelligent Video Surveillance多特征聯(lián)合陰影檢測方法多特征聯(lián)合陰影檢測方法 HSV顏色空間陰影特性 陰影紋理特性 鄰域光照比值不變性 融合顏色和紋理陰影檢測 65Intelligent Video SurveillanceHSV顏色空間陰影特性顏色空間陰影特性 (1)目標(biāo)投射陰影并不會很明顯地改變背景區(qū)域的色度。 (2)實際的前景目標(biāo)點(不包含陰影點)會導(dǎo)致相應(yīng)的像素點在飽和度上發(fā)生較大的變化，而陰影則不會使背景點的飽和度有明顯變化。 (3)由于陰影覆蓋區(qū)域的亮度值比相應(yīng)的背景區(qū)域的亮度值要低。66Intelligent V

31、ideo SurveillanceHSV顏色空間陰影特性顏色空間陰影特性 ( , )( , )( , )( , )( , )( , )fbfbsfbHV i jV i jSi jS i jTHi jHi jT67Intelligent Video Surveillance陰影陰影LBP紋理特性紋理特性 Local Binary Pattern（LBP）是基于圖像空間域局部關(guān)系的圖像紋理描述算子，該算子通過對像素與相鄰?fù)乳g距上的鄰域像素的灰度變化二值化，形成對該像素所在位置的紋理變化模式的描述。1,0()( ()()2PPP RPLBPxs IpI x10()0,0us uu，68Intell

32、igent Video Surveillance陰影陰影LBP紋理特性紋理特性LBP具如下的優(yōu)點：具如下的優(yōu)點：1）作為一個二值差分算子，能夠可靠地描述灰度變化；2）LBP能夠減弱陰影的影響，因為陰影常常只會導(dǎo)致亮度變化，而紋理特征仍然不變；3）LBP計算簡單，速度快。但是LBP算子受噪聲影響比較大，比較小的噪聲就可能導(dǎo)致模式判定錯誤。為了克服噪聲的影響，我們對算子進(jìn)行改進(jìn)：1,0( )( ( )( )2PPP RPLBPxs I pI x1()0 ,uTs uuT，69Intelligent Video Surveillance陰影陰影LBP紋理特性紋理特性 對于淺陰影區(qū)域，像素及它的鄰域同

33、等程度的變暗，因此對于陰影覆蓋前后它的LBP值是相同的；對于重陰影區(qū)域，像素及它的鄰域像素值可以看作是相等，因此它的LBP值為0。255,( )( )( )|( )00,cbcLBPxLBPxS xLBP xotherwise70Intelligent Video Surveillance鄰域光照比值不變性鄰域光照比值不變性 圖像中的相鄰點所在的3D對應(yīng)位置的光照基本相同，運動陰影區(qū)域的像素點的反射率和沒有陰影時的反射率是相等的，這樣，背景中的鄰域亮度比值和當(dāng)前幀的鄰域亮度比值具有不變性的特點。71Intelligent Video Surveillance融合顏色和紋理陰影檢測 通過對比當(dāng)前

34、幀和背景圖片中相應(yīng)像素點的LBP紋理值來檢測陰影點對 得到的候選陰影點根據(jù)陰影的HSV屬性排除非陰影點在亮度比值空間對得到的陰影點進(jìn)行區(qū)域生長72Intelligent Video Surveillance實驗分析 73Intelligent Video Surveillance實驗分析 74Intelligent Video Surveillance主要內(nèi)容主要內(nèi)容l智能視頻監(jiān)視系統(tǒng)智能視頻監(jiān)視系統(tǒng)l目標(biāo)檢測目標(biāo)檢測l陰影去除陰影去除l目標(biāo)跟蹤目標(biāo)跟蹤l基于粒子濾波的目標(biāo)跟蹤基于粒子濾波的目標(biāo)跟蹤75Intelligent Video Surveillancel視頻目標(biāo)跟蹤視頻目標(biāo)跟蹤視頻目

35、標(biāo)跟蹤目的就是對圖像序列中的目標(biāo)進(jìn)行分析，計算出運動目標(biāo)的運動參數(shù)，如位置、速度、加速度以及運動軌跡等，從而進(jìn)行進(jìn)一步處理和分析，實現(xiàn)對運動目標(biāo)的行為理解，以完成更高一級的視覺任務(wù)視頻跟蹤的難點視頻跟蹤的難點視頻目標(biāo)跟蹤問題的解決思路視頻目標(biāo)跟蹤問題的解決思路視頻目標(biāo)跟蹤方法的分類視頻目標(biāo)跟蹤方法的分類76Intelligent Video Surveillancen魯棒性:1、被跟蹤運動目標(biāo)的姿態(tài)變化2、運動目標(biāo)所處環(huán)境的光照變化3、部分遮擋引起的運動目標(biāo)不規(guī)則變形和全部遮擋引起的目標(biāo)暫時消失n準(zhǔn)確性：n快速性：處理對象是包含了巨大數(shù)據(jù)量的圖像，算法往往需要大量的運算時間。視頻跟蹤的難點視頻

36、跟蹤的難點77Intelligent Video Surveillance視頻目標(biāo)跟蹤問題的解決思路視頻目標(biāo)跟蹤問題的解決思路總體上講有兩種思路：1、自底向上(bottom-up)的處理方法;自底向上的處理方法又稱為數(shù)據(jù)驅(qū)動(data-driven)的方法，這種方法不依賴于先驗知識，直接從圖像序列中獲得目標(biāo)的運動信息并進(jìn)行跟蹤。2、自頂向下(top-down)的處理方法。這種方法一般依賴于所構(gòu)建的模型或先驗知識，在圖像序列中進(jìn)行匹配運算或求解后驗概率。 貝葉斯理論框架下，已知目標(biāo)狀態(tài)的先驗概率，在獲得新的量測后不斷求解目標(biāo)狀態(tài)的最大后驗概率的過程。78Intelligent Video Sur

37、veillance 按照不同的標(biāo)準(zhǔn)可以有不同的分類方式：按照攝像機(jī)的數(shù)目，可分為單攝像機(jī)跟蹤和多攝像機(jī)跟蹤；按照傳感器的不同，可分為可見光目標(biāo)和紅外目標(biāo)的跟蹤;按照目標(biāo)的表達(dá)方式，可分為基于區(qū)域的跟蹤，基于主動 輪廓的跟蹤，基于局部特征的跟蹤，基于模型的跟蹤。One CameraTwo Cameras視頻目標(biāo)跟蹤方法的分類視頻目標(biāo)跟蹤方法的分類79Intelligent Video Surveillance基于區(qū)域的跟蹤基于區(qū)域的跟蹤 利用圖像相關(guān)匹配技術(shù)對目標(biāo)進(jìn)行跟蹤，需要先獲得一個表示目標(biāo)的模板，模板可以是通過手工選定或是圖像分割得到，通常是略大于目標(biāo)的矩形區(qū)域或是任意形狀；然后運用相關(guān)算

38、法，計算目標(biāo)模板與當(dāng)前圖像候選區(qū)域的特征匹配度，匹配特征可以是顏色、紋理等，匹配度最大的候選區(qū)域即為目標(biāo)的當(dāng)前位置。(c)(b)(a)(d)80Intelligent Video Surveillance基于主動輪廓的跟蹤基于主動輪廓的跟蹤基于主動輪廓的方法將目標(biāo)描述為可變形的邊界輪廓來進(jìn)行跟蹤。最常用的主動輪廓模型是由Kass等提出的Snake模型。 81Intelligent Video Surveillance通過跟蹤目標(biāo)的某個或某些局部特征，如邊緣特征、點特征等，從而實現(xiàn)對整個目標(biāo)的跟蹤?；谔卣鞯母櫥谔卣鞯母?2Intelligent Video Surveillance利用先

39、驗知識建立跟蹤目標(biāo)的目標(biāo)模型（2D、3D模型），然后將目標(biāo)模型的圖像投影與圖像序列進(jìn)行匹配，從而確定出目標(biāo)的運動參數(shù) 。在通常的跟蹤對象中，非剛體的代表性目標(biāo)是人，剛體的代表性目標(biāo)是車輛?；谀Ｐ偷母櫥谀Ｐ偷母?3Intelligent Video SurveillancePerson Model 2D84Intelligent Video SurveillancePerson Model 3D標(biāo)定后的攝像機(jī)85Intelligent Video SurveillanceVehicle Model 2D86Intelligent Video Surveillance主要內(nèi)容主要內(nèi)容l智能視頻監(jiān)視系統(tǒng)智能視頻監(jiān)視系統(tǒng)l目標(biāo)檢測目標(biāo)檢測l陰影去除陰影去除l目標(biāo)跟蹤目標(biāo)跟蹤l基于粒子濾波的目標(biāo)跟蹤基于粒子濾波的目標(biāo)跟蹤87Intelligent Video Surveillancel粒子濾波粒子濾波粒子濾波通過非參數(shù)化的蒙特卡洛(Monte Carlo)模擬方法來實現(xiàn)遞推貝葉斯濾波，適用于任何能用狀態(tài)空間模型描述的非線性系統(tǒng)，精度可以逼近最優(yōu)估計。粒子濾波器具有簡單、易于實現(xiàn)等特點，它為分析非線性動態(tài)系統(tǒng)提供了一種有效的解決方法，從而引起目標(biāo)