智能視頻監(jiān)控

1、1Intelligent Video Surveillance Gao LinSichuan University, Spring 2010智能視頻監(jiān)控及其相關(guān)技術(shù)智能視頻監(jiān)控及其相關(guān)技術(shù)2Intelligent Video Surveillance主要內(nèi)容主要內(nèi)容l智能視頻監(jiān)視系統(tǒng)智能視頻監(jiān)視系統(tǒng)l目標(biāo)檢測(cè)目標(biāo)檢測(cè)l陰影去除陰影去除l目標(biāo)跟蹤目標(biāo)跟蹤3Intelligent Video Surveillance視頻監(jiān)控在銀行、電力、交通、視頻監(jiān)控在銀行、電力、交通、安檢以及軍事設(shè)施等領(lǐng)域的安全防范安檢以及軍事設(shè)施等領(lǐng)域的安全防范和現(xiàn)場(chǎng)記錄報(bào)警等方面有著非常廣泛和現(xiàn)場(chǎng)記錄報(bào)警等方面有著非常廣泛

2、的應(yīng)用。的應(yīng)用。4Intelligent Video Surveillance監(jiān)控技術(shù)發(fā)展的三個(gè)階段監(jiān)控技術(shù)發(fā)展的三個(gè)階段5Intelligent Video Surveillance統(tǒng)計(jì)數(shù)據(jù)顯示，英國(guó)目前有統(tǒng)計(jì)數(shù)據(jù)顯示，英國(guó)目前有400400多萬(wàn)個(gè)攝像多萬(wàn)個(gè)攝像機(jī)，而倫敦的居民平均每個(gè)人每天要被攝像機(jī)，而倫敦的居民平均每個(gè)人每天要被攝像機(jī)拍攝機(jī)拍攝300300次。次。公安部主導(dǎo)的公安部主導(dǎo)的“平安城市平安城市”計(jì)劃，促進(jìn)了視計(jì)劃，促進(jìn)了視頻監(jiān)控市場(chǎng)的迅速增長(zhǎng)，全國(guó)約有頻監(jiān)控市場(chǎng)的迅速增長(zhǎng)，全國(guó)約有200200萬(wàn)個(gè)監(jiān)萬(wàn)個(gè)監(jiān)控?cái)z像機(jī)用于城市監(jiān)控與報(bào)警系統(tǒng)控?cái)z像機(jī)用于城市監(jiān)控與報(bào)警系統(tǒng)。青藏鐵路全

3、線青藏鐵路全線13001300路通道采用視頻分析，對(duì)全路通道采用視頻分析，對(duì)全線鐵路進(jìn)行入侵保護(hù)。線鐵路進(jìn)行入侵保護(hù)。6Intelligent Video Surveillance1 vs 1 1 vs N 7Intelligent Video Surveillance智能視頻監(jiān)控系統(tǒng)智能視頻監(jiān)控系統(tǒng)是利用計(jì)算機(jī)視覺(jué)技術(shù)，在不需要是利用計(jì)算機(jī)視覺(jué)技術(shù)，在不需要人為干預(yù)的情況下，對(duì)視頻信號(hào)進(jìn)行處理、分析和理人為干預(yù)的情況下，對(duì)視頻信號(hào)進(jìn)行處理、分析和理解，并對(duì)視頻監(jiān)控系統(tǒng)進(jìn)行控制，從而使視頻監(jiān)控系解，并對(duì)視頻監(jiān)控系統(tǒng)進(jìn)行控制，從而使視頻監(jiān)控系統(tǒng)具有像人一樣的智能。統(tǒng)具有像人一樣的智能。8Inte

4、lligent Video Surveillance應(yīng)用實(shí)例應(yīng)用實(shí)例智能視頻的應(yīng)用大體上可以分為安全相關(guān)應(yīng)用安全相關(guān)應(yīng)用和非安全相關(guān)應(yīng)用非安全相關(guān)應(yīng)用兩大類(lèi)。u安全類(lèi)相關(guān)的應(yīng)用是目前市場(chǎng)上存在的主要智能視頻應(yīng)用，特別是在911恐怖襲擊、馬德里爆炸案以及倫敦爆炸案發(fā)生之后，市場(chǎng)上對(duì)于此類(lèi)應(yīng)用的需求不斷增長(zhǎng)。這些應(yīng)用主要作用是協(xié)助政府或其他機(jī)構(gòu)的安全部門(mén)提高室外大地域公共環(huán)境的安全防護(hù)。此類(lèi)應(yīng)用主要包括：高級(jí)視頻移動(dòng)偵測(cè)、物體追蹤、人物面部識(shí)別、車(chē)輛識(shí)別和非法滯留等。 u除了安全相關(guān)類(lèi)應(yīng)用之外，智能視頻還可以應(yīng)用到一些非安全相關(guān)類(lèi)的應(yīng)用當(dāng)中。這些應(yīng)用主要面向零售、服務(wù)等行業(yè)，可以被看作管理和服務(wù)的

5、輔助工具，用以提高服務(wù)水平和營(yíng)業(yè)額。此類(lèi)應(yīng)用主要包括：人數(shù)統(tǒng)計(jì)、人群控制、注意力控制和交通流量控制等。9Intelligent Video Surveillance安防安防1、 絆線檢測(cè)絆線檢測(cè)針對(duì)人、車(chē)通過(guò)特定運(yùn)動(dòng)方向絆線的監(jiān)控；其應(yīng)用如：警戒線、單向閘門(mén)流向、柵欄攀爬等；2、 警戒區(qū)域警戒區(qū)域針對(duì)人、車(chē)進(jìn)入或離開(kāi)特定管制區(qū)域的監(jiān)控；其應(yīng)用例：停機(jī)坪、碼頭車(chē)站的工作區(qū)域、營(yíng)業(yè)場(chǎng)所后臺(tái)等。3、 閑逛閑逛針對(duì)不合理滯留過(guò)久的人、車(chē)發(fā)出警示訊息，以提醒安管保全人員加以盤(pán)察注意。4、 偷竊偷竊針對(duì)特定重要資產(chǎn)的保全；例如：貴重的掛畫(huà)或擺飾、裝備器材、場(chǎng)站內(nèi)的車(chē)輛或機(jī)具等。5、 遺留物遺留物針對(duì)可能的

6、爆裂物、易燃物、生化污染物的惡意棄置。6、 群體事件群體事件針對(duì)人群聚集10Intelligent Video Surveillance車(chē)牌識(shí)別車(chē)牌識(shí)別車(chē)速測(cè)量車(chē)速測(cè)量流量統(tǒng)計(jì)流量統(tǒng)計(jì)逆行告警逆行告警智能交通監(jiān)控智能交通監(jiān)控11Intelligent Video Surveillance對(duì)設(shè)定區(qū)域的移動(dòng)物體（通過(guò)預(yù)先設(shè)置的大小形狀來(lái)進(jìn)行過(guò)濾）進(jìn)行動(dòng)態(tài)跟蹤?？蓱?yīng)用于監(jiān)控物理周界和虛擬周界的區(qū)域，監(jiān)視是否有目標(biāo)進(jìn)入或預(yù)進(jìn)入，可用于監(jiān)控邊界、監(jiān)獄、機(jī)場(chǎng)、化學(xué)基地等周界12Intelligent Video Surveillance13Intelligent Video SurveillanceIVS

7、研究現(xiàn)狀研究現(xiàn)狀 1997年，美國(guó)國(guó)防高級(jí)研究項(xiàng)目署設(shè)立了以卡內(nèi)基梅隆大學(xué)牽頭，麻省理工學(xué)院等高校參與的視覺(jué)監(jiān)控重大項(xiàng)目VSAM，主要研究用于戰(zhàn)場(chǎng)及普通民用場(chǎng)景監(jiān)控的自動(dòng)視頻理解技術(shù)14Intelligent Video Surveillance美國(guó)康奈爾大學(xué)計(jì)算機(jī)系設(shè)計(jì)了一套航拍視頻檢測(cè)與持續(xù)跟蹤系統(tǒng)，該系統(tǒng)能夠?qū)Χ噙\(yùn)動(dòng)目標(biāo)實(shí)現(xiàn)長(zhǎng)時(shí)間的準(zhǔn)確跟蹤，即使發(fā)生短時(shí)間內(nèi)目標(biāo)被遮擋或目標(biāo)時(shí)靜時(shí)動(dòng)的情況 15Intelligent Video Surveillance2005年，美國(guó)中央佛羅里達(dá)大學(xué)計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室開(kāi)發(fā)出了基于MATLAB的COCOA系統(tǒng)，用于無(wú)人機(jī)低空航拍視頻圖像的目標(biāo)檢測(cè)與跟蹤處理1

8、6Intelligent Video Surveillance2003年,由歐盟發(fā)起，法國(guó)的SILOGIC公司和英國(guó)的雷丁大學(xué)等十幾家機(jī)構(gòu)參與研究的AVITRACK項(xiàng)目，該系統(tǒng)主要針對(duì)機(jī)場(chǎng)停機(jī)坪周?chē)沫h(huán)境，檢測(cè)和跟蹤停機(jī)坪中出現(xiàn)的飛機(jī)、汽車(chē)以及行人等，其目的是為機(jī)場(chǎng)管理者所關(guān)心的機(jī)場(chǎng)流量及調(diào)度形成一個(gè)強(qiáng)有力的決策輔助工具，以便提高機(jī)場(chǎng)的利用率同時(shí)對(duì)機(jī)場(chǎng)的安全提供一個(gè)有力的保障。 17Intelligent Video SurveillanceIEEE Conference on Computer Vision and Pattern Recognition18Intelligent Video

9、 Surveillance智能視頻監(jiān)視系統(tǒng)的基本框架智能視頻監(jiān)視系統(tǒng)的基本框架低層視覺(jué)處理低層視覺(jué)處理中層視覺(jué)處理中層視覺(jué)處理高層視覺(jué)處理高層視覺(jué)處理19Intelligent Video Surveillance目標(biāo)檢測(cè)目標(biāo)檢測(cè)將輸入的視頻圖像中變化劇烈的圖像區(qū)域從圖像背景中分離出來(lái)，它處于視頻監(jiān)控技術(shù)的前端，是各種后續(xù)處理的基礎(chǔ)。目前，算法主要包括背景減法、相鄰幀差法和光流法等。 20Intelligent Video Surveillance目標(biāo)跟蹤目標(biāo)跟蹤依據(jù)目標(biāo)及其所在的環(huán)境，選擇能唯一表示目標(biāo)的特征，并在后續(xù)幀中搜索與該特征最匹配的目標(biāo)位置。常用的跟蹤算法包括：基于特征的跟蹤算法，

10、基于3D模型的跟蹤，基于主動(dòng)輪廓模型的跟蹤以及基于運(yùn)動(dòng)估計(jì)的跟蹤等。 21Intelligent Video Surveillance目標(biāo)分類(lèi)目標(biāo)分類(lèi)利用一些圖像特征值實(shí)現(xiàn)目標(biāo)類(lèi)型（一般是人和車(chē)）的甄別。用于目標(biāo)分類(lèi)的特征有空間特征和時(shí)間特征兩種，空間特征包括目標(biāo)輪廓、目標(biāo)尺寸、目標(biāo)紋理等，時(shí)間特征包括目標(biāo)大小的變化、運(yùn)動(dòng)的速度等。 22Intelligent Video Surveillance行為理解行為理解指在對(duì)序列進(jìn)行低級(jí)處理的基礎(chǔ)上，對(duì)場(chǎng)景中的事件進(jìn)行分析和識(shí)別，用自然語(yǔ)言等加以描述。根據(jù)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行行為分析。 23Intelligent Video Surveillanc

11、e主要內(nèi)容主要內(nèi)容l智能視頻監(jiān)視系統(tǒng)智能視頻監(jiān)視系統(tǒng)l目標(biāo)檢測(cè)目標(biāo)檢測(cè)l陰影去除陰影去除l目標(biāo)跟蹤目標(biāo)跟蹤24Intelligent Video Surveillancel視頻運(yùn)動(dòng)目標(biāo)檢測(cè)視頻運(yùn)動(dòng)目標(biāo)檢測(cè)運(yùn)動(dòng)目標(biāo)檢測(cè)的目的是從視頻圖像中將運(yùn)動(dòng)目標(biāo)與背景分割出來(lái)，由于光照變化、背景物運(yùn)動(dòng)干擾、運(yùn)動(dòng)目標(biāo)陰影以及攝像機(jī)運(yùn)動(dòng)等干擾因素的存在，為運(yùn)動(dòng)目標(biāo)的正確檢測(cè)帶來(lái)了巨大挑戰(zhàn)。 25Intelligent Video SurveillanceGoals of motion detection Identify moving objects Detection of unusual activity p

12、atterns Computing trajectories of moving objectsApplications of motion detection Indoor/outdoor security Real time crime detection Traffic monitoringMany intelligent video analysis systems are based on motion detection.26Intelligent Video Surveillance27Intelligent Video Surveillance將連續(xù)的兩幀或三幀圖像對(duì)應(yīng)像素點(diǎn)的

13、灰度值相減，當(dāng)環(huán)境亮度變化不大時(shí)，如果對(duì)應(yīng)像素值相差很小，則認(rèn)為此處是靜止的，標(biāo)記為背景；如果對(duì)應(yīng)像素值相差較大，則認(rèn)為這是由目標(biāo)運(yùn)動(dòng)引起的，該處像素標(biāo)記為運(yùn)動(dòng)目標(biāo)。 1( )( )( )ttIxIxT x28Intelligent Video Surveillance第第n-1幀幀第第n幀幀29Intelligent Video Surveillance30Intelligent Video Surveillance優(yōu)點(diǎn)：優(yōu)點(diǎn)： 算法實(shí)現(xiàn)復(fù)雜度低； 檢測(cè)速度快，易于實(shí)現(xiàn)實(shí)時(shí)監(jiān)視； 由于相鄰幀的時(shí)間間隔較短，因此該方法抗干擾能力較強(qiáng)，對(duì)環(huán)境有較好的適應(yīng)性。缺點(diǎn)：缺點(diǎn)：該方法檢測(cè)出的運(yùn)動(dòng)區(qū)域包含

14、了相鄰兩幀中所有存在變化的區(qū)域，因此提取出的運(yùn)動(dòng)目標(biāo)往往大于實(shí)際目標(biāo)，不能夠準(zhǔn)確反映運(yùn)動(dòng)目標(biāo)的真實(shí)形狀。當(dāng)運(yùn)動(dòng)目標(biāo)存在大范圍的灰度相似區(qū)域時(shí)，會(huì)產(chǎn)生明顯的“孔洞”現(xiàn)象，以至于運(yùn)動(dòng)目標(biāo)提取不完整。It evidently works only in particular conditions of objects speed and frame rateVery sensitive to the threshold Th31Intelligent Video Surveillance光流法是通過(guò)計(jì)算圖像的光流場(chǎng)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)的一種方法。所謂光流場(chǎng)是指空間運(yùn)動(dòng)物體被觀測(cè)表面上的像素點(diǎn)運(yùn)動(dòng)產(chǎn)生的瞬

15、時(shí)速度場(chǎng),一個(gè)二維的速度場(chǎng)，包含了物體表面結(jié)構(gòu)和動(dòng)態(tài)行為的重要信息。 32Intelligent Video Surveillance光流可以看作帶有灰度的像素點(diǎn)在圖像平面運(yùn)動(dòng)產(chǎn)生的瞬時(shí)速度場(chǎng)。假設(shè)E(x,y,t)為(x,y)點(diǎn)在時(shí)刻t的亮度，設(shè)t+dt時(shí)刻該點(diǎn)運(yùn)動(dòng)到(x+dx,y+dy)點(diǎn)，它的亮度為E(x+dx,y+dy,t+dt)。我們認(rèn)為，由于對(duì)應(yīng)同一個(gè)點(diǎn)在短時(shí)內(nèi)它的亮度值不變亮度值不變，所以E(x,y,t) = E(x+dx,y+dy,t+dt) 光流約束方程將上式右邊做泰勒展開(kāi)，并令dt-0，則得到：Exu+Eyv+Et = 0其中：Ex = dE/dx Ey = dE/dy Et

16、 = dE/dt u = dx/dt v = dy/dt。上面的Ex,Ey,Et的計(jì)算都很簡(jiǎn)單，用離散的差分代替導(dǎo)數(shù)就可以了。光流法的主要任務(wù)就是通過(guò)求解光流約束方程求出u,v。33Intelligent Video Surveillance 上述只有一個(gè)方程，有兩個(gè)未知參數(shù)，所以這是個(gè)病態(tài)問(wèn)題，要求解只有加入其他的約束方程以聯(lián)立求解。針對(duì)攝像機(jī)固定的這一特定情況，問(wèn)題可以大大簡(jiǎn)化。 在攝像機(jī)固定的情形下，運(yùn)動(dòng)物體的檢測(cè)其實(shí)就是分離前景和背景的問(wèn)題。我們知道對(duì)于背景，理想情況下，其光流應(yīng)當(dāng)為0，只有前景才有光流。所以我們并不要求通過(guò)求解光流約束方程求出u,v。我么只要求出亮度梯度方向的速率就可

17、以了，即求出sqrt(u*u+v*v)而由光流約束方程可以很容易求到梯度方向的光流速率為 V = abs(Et/sqrt(Ex*Ex+Ey*Ey)這樣我們?cè)O(shè)定一個(gè)閾值TV(x,y) T 則(x,y)是前景 ，反之是背景34Intelligent Video Surveillance利用建立的背景模型背景模型來(lái)生成背景圖像的像素值，然后將當(dāng)前幀與背景圖像求差，差值較大的像素區(qū)域被認(rèn)為是運(yùn)動(dòng)目標(biāo)區(qū)域，而差值較小的像素區(qū)域被認(rèn)為是背景區(qū)域。 ( )( )( )tB xIxT x35Intelligent Video Surveillance背景圖像背景圖像第第t幀幀差分后二值化差分后二值化36Int

18、elligent Video Surveillance First consequent problem: how to automatically obtain the image of the scenes static background?37Intelligent Video SurveillancerequirementsThe background image is not fixed but must adapt to:lIllumination changesgradualsudden (such as clouds)lMotion changescamera oscilla

19、tionshigh-frequencies background objects (such as tree branches, sea waves, and similar)lChanges in the background geometryparked cars, .38Intelligent Video Surveillance39Intelligent Video Surveillance統(tǒng)計(jì)背景模型：統(tǒng)計(jì)背景模型：?jiǎn)胃咚鼓Ｐ突旌细咚鼓Ｐ头菂?shù)模型40Intelligent Video Surveillance單高斯模型：?jiǎn)胃咚鼓Ｐ停杭俣總€(gè)像素特征在時(shí)間域上的分 布可以由單個(gè)高斯分

20、布來(lái)描述t-1t1. . . . . .41Intelligent Video Surveillance假定每個(gè)像素點(diǎn)的顏色特征在時(shí)間域上的分布可以由單個(gè)高斯分布 來(lái)描述，2( ,)tttN x 其中 ， ， 分別為 時(shí)刻像素顏色值，高斯分布的均值和方差。txt2t1(1)tttaax 221(1)() ()Tttttttaaxx 其中 a為學(xué)習(xí)率，a取值范圍是 0,1，可以通過(guò)取不同的a值調(diào)整背景的更新速度。42Intelligent Video Surveillance混合高斯模型混合高斯模型(GMM)：為了描述分布形式更為復(fù) 雜的背景，有必要應(yīng)用到多模態(tài)的分布形式。 43Intellig

21、ent Video Surveillance44Intelligent Video Surveillance GMM模型定義 Gaussian Component Weights of each component,1Pr;,Kti tti ti tixwN X,;,ti ti tN X, i tw45Intelligent Video Surveillance Updating Weights For the matched component k, Updating Mean and Sigma Matching Indicator, within 2.5 SD,1i ti ti twwM

22、, i tM11tttX 2211TttttttXX ;,tkkN X GMM模型更新46Intelligent Video Surveillance GMM模型估計(jì) Ordering Gaussian components by the value of The first B distributions are chose as the background model T: a measure of the minimum portion of the data that should be accounted for by the background.w1argminbbkkBwT4

23、7Intelligent Video Surveillanceu混合高斯模型由于對(duì)每個(gè)象素，都建立了多個(gè)高斯分布，因此對(duì)于象素的擾動(dòng)，具有較強(qiáng)的適應(yīng)性，能夠造成較好地排除噪聲的干擾，具有較好的魯棒性u(píng)和普通的背景減除法相比，是自適應(yīng)前景檢測(cè)閾值。u沒(méi)有普通背景減除法的拖尾現(xiàn)象。48Intelligent Video Surveillance非參數(shù)模型：非參數(shù)模型：不需對(duì)背景模型做任何假設(shè)，直接利用 先前獲得的像素值估計(jì)當(dāng)前像素為背景 的概率. 常用的非參數(shù)密度估計(jì)法有 直方圖估計(jì)法，Parzen的核估計(jì)法，等等49Intelligent Video Surveillancel背景差分法存在的問(wèn)

24、題背景差分法存在的問(wèn)題不適應(yīng)光照突變環(huán)境不適應(yīng)光照突變環(huán)境 可能檢測(cè)出虛假目標(biāo)可能檢測(cè)出虛假目標(biāo),即即“鬼影鬼影” 50Intelligent Video Surveillance光照突變的類(lèi)型和特點(diǎn) 光照突變分為環(huán)境光照強(qiáng)度發(fā)生突然變化和攝像機(jī)增益系數(shù)發(fā)生改變兩種，如當(dāng)視場(chǎng)內(nèi)突然經(jīng)過(guò)面積過(guò)大的目標(biāo)時(shí)，攝像機(jī)會(huì)改變?cè)鲆?，雖然環(huán)境光照可能沒(méi)變，但攝像機(jī)曝光強(qiáng)度改變，其效果和光照突變時(shí)一樣。 光照突變通常是全局的，如室內(nèi)突然開(kāi)燈和攝像機(jī)的自動(dòng)增益調(diào)整。51Intelligent Video Surveillance光照突變時(shí)運(yùn)動(dòng)目標(biāo)檢測(cè)的依據(jù) 根據(jù)朗伯反射定律，圖象亮度和入射光照強(qiáng)度成正比，同時(shí)由

25、于光照突變的全局性，因此當(dāng)前幀圖象中所有背景象素點(diǎn)亮度和對(duì)應(yīng)高斯背景亮度之比值為一個(gè)常數(shù)。 考慮到朗伯防射定律的近似性和光照突變?nèi)旨僭O(shè)的局限性，當(dāng)前幀所有背景象素點(diǎn)和對(duì)應(yīng)高斯背景亮度之比分布在一個(gè)較窄范圍之內(nèi)。52Intelligent Video Surveillance光照突變時(shí)亮度比值的分布光照突變光照突變前前光照突變光照突變后后光照突變前后當(dāng)前幀背景象素點(diǎn)和高斯背景亮度比值的直方圖其中其中:式中，式中，c為常數(shù)為常數(shù)100( ,)( ,)( ,)tbIx yx ycIx y53Intelligent Video Surveillance光照突變判定 統(tǒng)計(jì)當(dāng)前幀中象素點(diǎn)和對(duì)應(yīng)高斯背景亮

26、度比值的直方圖，為了減少前景象素點(diǎn)的干擾，對(duì)于上一幀中檢測(cè)為前景目標(biāo)的區(qū)域不參與統(tǒng)計(jì)。 計(jì)算在區(qū)間0,c)和區(qū)間(c, Max上的概率差異，如果差異過(guò)大則判定光照發(fā)生了突變 1011()2()ciiMaxii cPPPP ( 1,2)( 1,2)Max P PTMin P P其中其中54Intelligent Video Surveillance光照突變時(shí)運(yùn)動(dòng)目標(biāo)檢測(cè) 1).尋找直方圖峰位n 2).分別計(jì)算峰位左右兩邊的方差202( )()1( )()() 1NiiNileftMiiNi NrightPNPMN55Intelligent Video Surveillance光照突變時(shí)運(yùn)動(dòng)目標(biāo)檢

27、測(cè) 3).前景象素判定準(zhǔn)則:NrNlOR56Intelligent Video Surveillance光照突變算法效果(a) 原始視頻原始視頻(b) 傳統(tǒng)混合高斯傳統(tǒng)混合高斯模型檢測(cè)的前景模型檢測(cè)的前景(c) 本文方法本文方法檢測(cè)的前景檢測(cè)的前景57Intelligent Video Surveillance鬼影消除 鬼影是指檢測(cè)出的虛假目標(biāo)，通常是由于高斯背景模型建立需要一個(gè)學(xué)習(xí)過(guò)程，當(dāng)原來(lái)靜止不動(dòng)的物體突然離開(kāi)后，即會(huì)在原來(lái)所在區(qū)域留下“鬼影”。 由于幀間差分最直觀地反映了物體的運(yùn)動(dòng)，雖然幀間差分檢測(cè)的目標(biāo)區(qū)域不夠準(zhǔn)確和完整，但可以作為一個(gè)運(yùn)動(dòng)目標(biāo)檢測(cè)的輔助依據(jù)。58Intelligen

28、t Video Surveillance鬼影消除算法步驟 1).計(jì)算幀間差，通過(guò)取閾值得到幀間差檢測(cè)的前景象圖象掩碼。 2).提取混合高斯模型檢測(cè)結(jié)果中的連通體，對(duì)于每個(gè)連通體，統(tǒng)計(jì)連通區(qū)域內(nèi)對(duì)應(yīng)幀差檢測(cè)結(jié)果為前景象素的數(shù)目。 3). 把統(tǒng)計(jì)到的幀差前景象素?cái)?shù)目和連通體面積相除，如果比值小于一定閾值，則判定為鬼影。59Intelligent Video Surveillance主要內(nèi)容主要內(nèi)容l智能視頻監(jiān)視系統(tǒng)智能視頻監(jiān)視系統(tǒng)l目標(biāo)檢測(cè)目標(biāo)檢測(cè)l陰影去除陰影去除l目標(biāo)跟蹤目標(biāo)跟蹤60Intelligent Video Surveillance多特征聯(lián)合陰影檢測(cè)多特征聯(lián)合陰影檢測(cè)陰影物理模型多特

29、征陰影檢測(cè)實(shí)驗(yàn)分析61Intelligent Video Surveillance陰影物理模型陰影物理模型 陰影是由于光源被遮擋所產(chǎn)生的，因此，它們的亮度和顏色將會(huì)隨著它們所投影的表面的改變而改變。采用信號(hào)處理理論的陰影處理系統(tǒng)，其陰影點(diǎn)的特征可以如下描述： ( , )( , )( , )kkkS i jE i ji j62Intelligent Video Surveillance陰影物理模型陰影物理模型63Intelligent Video Surveillance陰影物理模型陰影物理模型陰影檢測(cè)對(duì)環(huán)境提出了三個(gè)假定： 假定3.1: 強(qiáng)光源。 假定3.2: 靜態(tài)場(chǎng)景、攝像機(jī)固定。 假定3.

30、3: 陰影場(chǎng)景是近似平面，如路面。 64Intelligent Video Surveillance多特征聯(lián)合陰影檢測(cè)方法多特征聯(lián)合陰影檢測(cè)方法 HSV顏色空間陰影特性 陰影紋理特性 鄰域光照比值不變性 融合顏色和紋理陰影檢測(cè) 65Intelligent Video SurveillanceHSV顏色空間陰影特性顏色空間陰影特性 (1)目標(biāo)投射陰影并不會(huì)很明顯地改變背景區(qū)域的色度。 (2)實(shí)際的前景目標(biāo)點(diǎn)(不包含陰影點(diǎn))會(huì)導(dǎo)致相應(yīng)的像素點(diǎn)在飽和度上發(fā)生較大的變化，而陰影則不會(huì)使背景點(diǎn)的飽和度有明顯變化。 (3)由于陰影覆蓋區(qū)域的亮度值比相應(yīng)的背景區(qū)域的亮度值要低。66Intelligent V

31、ideo SurveillanceHSV顏色空間陰影特性顏色空間陰影特性 ( , )( , )( , )( , )( , )( , )fbfbsfbHV i jV i jSi jS i jTHi jHi jT67Intelligent Video Surveillance陰影陰影LBP紋理特性紋理特性 Local Binary Pattern（LBP）是基于圖像空間域局部關(guān)系的圖像紋理描述算子，該算子通過(guò)對(duì)像素與相鄰?fù)乳g距上的鄰域像素的灰度變化二值化，形成對(duì)該像素所在位置的紋理變化模式的描述。1,0()( ()()2PPP RPLBPxs IpI x10()0,0us uu，68Intell

32、igent Video Surveillance陰影陰影LBP紋理特性紋理特性LBP具如下的優(yōu)點(diǎn)：具如下的優(yōu)點(diǎn)：1）作為一個(gè)二值差分算子，能夠可靠地描述灰度變化；2）LBP能夠減弱陰影的影響，因?yàn)殛幱俺３Ｖ粫?huì)導(dǎo)致亮度變化，而紋理特征仍然不變；3）LBP計(jì)算簡(jiǎn)單，速度快。但是LBP算子受噪聲影響比較大，比較小的噪聲就可能導(dǎo)致模式判定錯(cuò)誤。為了克服噪聲的影響，我們對(duì)算子進(jìn)行改進(jìn)：1,0( )( ( )( )2PPP RPLBPxs I pI x1()0 ,uTs uuT，69Intelligent Video Surveillance陰影陰影LBP紋理特性紋理特性 對(duì)于淺陰影區(qū)域，像素及它的鄰域同

33、等程度的變暗，因此對(duì)于陰影覆蓋前后它的LBP值是相同的；對(duì)于重陰影區(qū)域，像素及它的鄰域像素值可以看作是相等，因此它的LBP值為0。255,( )( )( )|( )00,cbcLBPxLBPxS xLBP xotherwise70Intelligent Video Surveillance鄰域光照比值不變性鄰域光照比值不變性 圖像中的相鄰點(diǎn)所在的3D對(duì)應(yīng)位置的光照基本相同，運(yùn)動(dòng)陰影區(qū)域的像素點(diǎn)的反射率和沒(méi)有陰影時(shí)的反射率是相等的，這樣，背景中的鄰域亮度比值和當(dāng)前幀的鄰域亮度比值具有不變性的特點(diǎn)。71Intelligent Video Surveillance融合顏色和紋理陰影檢測(cè) 通過(guò)對(duì)比當(dāng)前

34、幀和背景圖片中相應(yīng)像素點(diǎn)的LBP紋理值來(lái)檢測(cè)陰影點(diǎn)對(duì) 得到的候選陰影點(diǎn)根據(jù)陰影的HSV屬性排除非陰影點(diǎn)在亮度比值空間對(duì)得到的陰影點(diǎn)進(jìn)行區(qū)域生長(zhǎng)72Intelligent Video Surveillance實(shí)驗(yàn)分析 73Intelligent Video Surveillance實(shí)驗(yàn)分析 74Intelligent Video Surveillance主要內(nèi)容主要內(nèi)容l智能視頻監(jiān)視系統(tǒng)智能視頻監(jiān)視系統(tǒng)l目標(biāo)檢測(cè)目標(biāo)檢測(cè)l陰影去除陰影去除l目標(biāo)跟蹤目標(biāo)跟蹤l基于粒子濾波的目標(biāo)跟蹤基于粒子濾波的目標(biāo)跟蹤75Intelligent Video Surveillancel視頻目標(biāo)跟蹤視頻目標(biāo)跟蹤視頻目

35、標(biāo)跟蹤目的就是對(duì)圖像序列中的目標(biāo)進(jìn)行分析，計(jì)算出運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)參數(shù)，如位置、速度、加速度以及運(yùn)動(dòng)軌跡等，從而進(jìn)行進(jìn)一步處理和分析，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的行為理解，以完成更高一級(jí)的視覺(jué)任務(wù)視頻跟蹤的難點(diǎn)視頻跟蹤的難點(diǎn)視頻目標(biāo)跟蹤問(wèn)題的解決思路視頻目標(biāo)跟蹤問(wèn)題的解決思路視頻目標(biāo)跟蹤方法的分類(lèi)視頻目標(biāo)跟蹤方法的分類(lèi)76Intelligent Video Surveillancen魯棒性:1、被跟蹤運(yùn)動(dòng)目標(biāo)的姿態(tài)變化2、運(yùn)動(dòng)目標(biāo)所處環(huán)境的光照變化3、部分遮擋引起的運(yùn)動(dòng)目標(biāo)不規(guī)則變形和全部遮擋引起的目標(biāo)暫時(shí)消失n準(zhǔn)確性：n快速性：處理對(duì)象是包含了巨大數(shù)據(jù)量的圖像，算法往往需要大量的運(yùn)算時(shí)間。視頻跟蹤的難點(diǎn)視頻

36、跟蹤的難點(diǎn)77Intelligent Video Surveillance視頻目標(biāo)跟蹤問(wèn)題的解決思路視頻目標(biāo)跟蹤問(wèn)題的解決思路總體上講有兩種思路：1、自底向上(bottom-up)的處理方法;自底向上的處理方法又稱(chēng)為數(shù)據(jù)驅(qū)動(dòng)(data-driven)的方法，這種方法不依賴(lài)于先驗(yàn)知識(shí)，直接從圖像序列中獲得目標(biāo)的運(yùn)動(dòng)信息并進(jìn)行跟蹤。2、自頂向下(top-down)的處理方法。這種方法一般依賴(lài)于所構(gòu)建的模型或先驗(yàn)知識(shí)，在圖像序列中進(jìn)行匹配運(yùn)算或求解后驗(yàn)概率。 貝葉斯理論框架下，已知目標(biāo)狀態(tài)的先驗(yàn)概率，在獲得新的量測(cè)后不斷求解目標(biāo)狀態(tài)的最大后驗(yàn)概率的過(guò)程。78Intelligent Video Sur

37、veillance 按照不同的標(biāo)準(zhǔn)可以有不同的分類(lèi)方式：按照攝像機(jī)的數(shù)目，可分為單攝像機(jī)跟蹤和多攝像機(jī)跟蹤；按照傳感器的不同，可分為可見(jiàn)光目標(biāo)和紅外目標(biāo)的跟蹤;按照目標(biāo)的表達(dá)方式，可分為基于區(qū)域的跟蹤，基于主動(dòng) 輪廓的跟蹤，基于局部特征的跟蹤，基于模型的跟蹤。One CameraTwo Cameras視頻目標(biāo)跟蹤方法的分類(lèi)視頻目標(biāo)跟蹤方法的分類(lèi)79Intelligent Video Surveillance基于區(qū)域的跟蹤基于區(qū)域的跟蹤 利用圖像相關(guān)匹配技術(shù)對(duì)目標(biāo)進(jìn)行跟蹤，需要先獲得一個(gè)表示目標(biāo)的模板，模板可以是通過(guò)手工選定或是圖像分割得到，通常是略大于目標(biāo)的矩形區(qū)域或是任意形狀；然后運(yùn)用相關(guān)算

38、法，計(jì)算目標(biāo)模板與當(dāng)前圖像候選區(qū)域的特征匹配度，匹配特征可以是顏色、紋理等，匹配度最大的候選區(qū)域即為目標(biāo)的當(dāng)前位置。(c)(b)(a)(d)80Intelligent Video Surveillance基于主動(dòng)輪廓的跟蹤基于主動(dòng)輪廓的跟蹤基于主動(dòng)輪廓的方法將目標(biāo)描述為可變形的邊界輪廓來(lái)進(jìn)行跟蹤。最常用的主動(dòng)輪廓模型是由Kass等提出的Snake模型。 81Intelligent Video Surveillance通過(guò)跟蹤目標(biāo)的某個(gè)或某些局部特征，如邊緣特征、點(diǎn)特征等，從而實(shí)現(xiàn)對(duì)整個(gè)目標(biāo)的跟蹤?；谔卣鞯母櫥谔卣鞯母?2Intelligent Video Surveillance利用先

39、驗(yàn)知識(shí)建立跟蹤目標(biāo)的目標(biāo)模型（2D、3D模型），然后將目標(biāo)模型的圖像投影與圖像序列進(jìn)行匹配，從而確定出目標(biāo)的運(yùn)動(dòng)參數(shù) 。在通常的跟蹤對(duì)象中，非剛體的代表性目標(biāo)是人，剛體的代表性目標(biāo)是車(chē)輛?；谀Ｐ偷母櫥谀Ｐ偷母?3Intelligent Video SurveillancePerson Model 2D84Intelligent Video SurveillancePerson Model 3D標(biāo)定后的攝像機(jī)85Intelligent Video SurveillanceVehicle Model 2D86Intelligent Video Surveillance主要內(nèi)容主要內(nèi)容l智能視頻監(jiān)視系統(tǒng)智能視頻監(jiān)視系統(tǒng)l目標(biāo)檢測(cè)目標(biāo)檢測(cè)l陰影去除陰影去除l目標(biāo)跟蹤目標(biāo)跟蹤l基于粒子濾波的目標(biāo)跟蹤基于粒子濾波的目標(biāo)跟蹤87Intelligent Video Surveillancel粒子濾波粒子濾波粒子濾波通過(guò)非參數(shù)化的蒙特卡洛(Monte Carlo)模擬方法來(lái)實(shí)現(xiàn)遞推貝葉斯濾波，適用于任何能用狀態(tài)空間模型描述的非線性系統(tǒng)，精度可以逼近最優(yōu)估計(jì)。粒子濾波器具有簡(jiǎn)單、易于實(shí)現(xiàn)等特點(diǎn)，它為分析非線性動(dòng)態(tài)系統(tǒng)提供了一種有效的解決方法，從而引起目標(biāo)