基于人頭目標檢測的商場人流量自動統(tǒng)計

基于人頭目標檢測的商場人流量自動統(tǒng)計

賈世杰,吳化斌,張源源(大連交通大學(xué)電氣信息學(xué)院，遼寧大連116028)?基于人頭目標檢測的商場人流量自動統(tǒng)計賈世杰,吳化斌,張源源(大連交通大學(xué)電氣信息學(xué)院，遼寧大連116028)針對商場人流量自動統(tǒng)計中行人遮擋情況下計數(shù)的困難，提出基于人頭目標檢測的商場人流量自動統(tǒng)計算法.首先提取Haar特征訓(xùn)練Adaboost人頭目標分類器，再利用Camshift算法對目標進行跟蹤，使用Kalman縮小跟蹤目標的搜索范圍，最后利用人頭模板匹配方法，判斷目標是否屬于同一行人.實驗結(jié)果表明，此方法平均正確率達到98.2%，且統(tǒng)計每個行人目標只需19ms.商場人流量統(tǒng)計；人頭模板匹配，Adaboost；Camshift0引言一個實時、準確的人流量統(tǒng)計系統(tǒng)可以給商場的管理帶來巨大的便利[1].用人工的方法對監(jiān)控視頻中行人進行統(tǒng)計，費力費時費財.特別是在多人密集的情況下，更是困難重重.近年來利用模式識別，圖像處理技術(shù)解決行人流量自動統(tǒng)計問題已成為一個十分活躍的領(lǐng)域.文獻[2]對視頻人數(shù)識別近年來的發(fā)展作了比較詳細的論述,從基于特征點跟蹤、基于區(qū)域的跟蹤和基于模板匹配的跟蹤三個方面分析近些年人數(shù)識別進展情況；文嘉俊[1]提取目標的Haar特征，采用Adaboost算法獲得一個人頭檢測分類器，得到95%以上的正確率；文獻[3]建立了一種基于人體頭部特征的行人計數(shù)系統(tǒng)，系統(tǒng)采用輪廓、顏色信息建立用于目標檢測的人頭模型，通過對目標運動軌跡的分析實現(xiàn)行人計數(shù)，正確率達95%以上；Kulrapat[4]等利用建立的人體頭肩模型來檢測場景中存在的人頭目標，并通過snake模型跟蹤目標；Lu[5]等利用顏色密度和LBP建立了四維直方圖用以表示待測目標的顏色信息和紋理信息，并將卡爾曼濾波和MeanShift搜索算法結(jié)合應(yīng)用于目標的跟蹤.基于模板匹配的方法對監(jiān)控場景的環(huán)境變化敏感，如光照的變化、復(fù)雜的背景往往會影響檢測的精度.本文采用基于統(tǒng)計分類的方法，首先需要通過對大量頭部樣本和非頭部樣本的離線訓(xùn)練獲得一個人頭目標分類器，通過該分類器對場景中的目標進行檢測，在此基礎(chǔ)上實現(xiàn)人流量自動統(tǒng)計.1本文方法針對在行人遮擋，重疊密集情況下存在的誤圖1行人統(tǒng)計流程圖檢和漏檢的問題，本文使用基于統(tǒng)計分類的方法，首先提取Haar特征訓(xùn)練Adaboost人頭目標分類器，再利用Camshift算法對目標進行跟蹤，使用Kalman算法縮小跟蹤目標的搜索范圍；最后通過人頭模板匹配方法，判斷幀間目標是否屬于同一行人.具體流程如圖1所示.1.1人頭目標分類器1.1.1讀入樣本圖像樣本圖像包括人頭和非人頭圖像，是將商場門口以45°俯視角拍攝的視頻圖像，通過截圖得到.1.1.2灰度化處理利用公式gray=red*0.3+green*0.59+blue*0.11進行灰度化處理，并將樣本圖像歸一化成20*20的大小.1.1.3Haar特征提取Haar特征[13]分為三類：邊緣特征、線性特征、中心特征和對角線特征，如圖2(a)，(b)，(c)所示.每個特征由2～3個矩形組成，分別檢測邊界、細線、中心特征.特征模板由白色和黑色兩種矩形組成，模板的特征值定義為白色矩形像素總數(shù)與黑色矩形像素總數(shù)之差，反映了圖像的灰度變化情況.圖2Haar特征1.1.4訓(xùn)練Adaboost人頭分類器Adaboost是一種迭代的方法，它的核心思想是針對不同的訓(xùn)練集訓(xùn)練多個弱分類器，然后把這些在不同訓(xùn)練集上訓(xùn)練得到的弱分類器集合起來，構(gòu)成一個強分類器[14].本文基于樣本圖像Haar特征，使用Opencv自帶的Adaboost分類程序訓(xùn)練人頭分類器.1.2行人計數(shù)1.2.1讀入視頻導(dǎo)入商場行人監(jiān)控的視頻，視頻拍攝的環(huán)境和角度都是和訓(xùn)練人頭目標分類器一致的.1.2.2圖像預(yù)處理對圖像目標進行檢測之前，還需對目標圖像進行適當?shù)念A(yù)處理，可以減少計算量.本文對原始圖像進行以下兩步處理：(1)使用1.1.2描述的方法將彩色圖像轉(zhuǎn)化為灰度圖像，即圖像灰度化；(2)設(shè)置感興趣區(qū)域.本文把圖像中縱坐標100～140之間的區(qū)域作為感興趣區(qū)域，以提高檢測速度.1.2.3檢測人頭目標使用人頭目標分類器對圖像感興趣區(qū)域進行目標檢測，再根據(jù)人頭目標在二值圖中長度、所占據(jù)的像素數(shù)量將非人頭目標排除.1.2.4行人目標保存至鏈表在目標檢測、跟蹤之后，把目標保存至動態(tài)鏈表中.鏈表儲存了目標的坐標，序列等信息，鏈表保存的目標信息隨圖像序列的更新而更新.1.2.5人頭目標跟蹤、人頭模板匹配及計數(shù)本文采用Kalman+Camshift的算法實現(xiàn)人頭目標的跟蹤.運用Kalman算法來預(yù)測目標可能出現(xiàn)的區(qū)域，可減少搜尋范圍.Kalman濾波器是一種遞推估計器，采用的遞歸技術(shù)是其最有意義的特點之一，無需考慮多個過去的輸入信號，而且在每次遞歸運算時，只需要前一個輸入信號就可以，即認為信號現(xiàn)在的狀態(tài)只依賴前一個，而不依賴以前所有信號的狀態(tài)[15].這樣就無需將過去的測量值都存起來，實時性較高.Camshift即“ContinuouslyApativeMean-Shift”算法，是一種運動跟蹤算法.它主要通過視頻圖像中運動物體的顏色信息達到跟蹤的目的，Camshift跟蹤目標可以減少大量的搜尋時間，具有良好的實時性.由于運動物體在前后幀運動的空間不會很大，因此和Kalman結(jié)合使用，就可以進一步減少搜尋的區(qū)域，從而更快速，準確的跟蹤運動物體.當視頻序列逐幀變化時，Camshift算法逐幀進行處理，這樣就能達到連續(xù)對視頻序列中運動目標進行跟蹤.為區(qū)分目標是否是同一個行人，本文采用人頭模板匹配的算法.通過連續(xù)兩幀間目標的Hu不變矩特征和目標質(zhì)心的歐氏距離相結(jié)合來判斷目標是否匹配.判斷出目標之后，根據(jù)目標是否經(jīng)過感興趣區(qū)域中設(shè)置的計數(shù)線來計數(shù).2實驗結(jié)果及分析為了驗證本文提出的方法，本文使用商場實時視頻進行了測試，分行人密集(視頻一)和行人不密集(視頻二)兩種情形，使用Vs2008+Opencv2.4.3進行實驗仿真.測試平臺采用CPU主頻2.5GHz、4G內(nèi)存的PC機，視頻每幀圖像分辨率為400*304，幀速為25幀/秒.采集2000張人頭正樣本和5000張人頭負樣本，圖3(a)、(b)為部分樣本示例.(a)部分正樣本(b)部分負樣本圖4為圖像灰度化效果圖，圖5為感興趣區(qū)域設(shè)置，將第一根線和第三根線之間的區(qū)域設(shè)置為感興趣區(qū)域，中間是計數(shù)線.圖4圖像灰度化圖5感興趣區(qū)域設(shè)置人頭目標及非人頭目標的示例圖像如圖6所示.(a)人頭目標(b)非人頭目標圖6目標檢測示例通過分析人頭目標特點，本文根據(jù)目標在二值圖中長度、所占據(jù)的像素數(shù)量來剔除人頭目標，人頭目標判斷條件為：目標的長度在5和32個像素之間，像素總數(shù)低于270，如式(1)、(2)所示：剔除了非人頭目標之后，人頭目標檢測效果如圖7所示.圖7人頭檢測效果圖8給出了本文方法和背景差法檢測效果圖對比，表1為兩種方法實驗結(jié)果對比.(a)行人密集情況(本文方法)(b)行人不密集情況(本文方法)(c)行人密集情況(背景差法)表1本文方法和背景差法實驗結(jié)果對比視頻編號人工統(tǒng)計/人本文方法統(tǒng)計/人本文方法統(tǒng)計正確率/%背景差法統(tǒng)計/人背景差法統(tǒng)計正確率/%本文方法統(tǒng)計時間(人/ms)背景差法統(tǒng)計時間(人/ms)1(行人不密集)80801008010018302(行人密集)11211098．29685．71935由表1所示，在行人密集的情況下，本文方法比背景差法的正確率高了12%；原因主要是在行人遮擋的情況下多個行人在二值圖中形成連通域，背景差法沒法將其準確分離出來，但是本文方法利用人頭分類器完全避免了這個問題.3結(jié)論針對行人遮擋情況下計數(shù)的困難，本文提出基于人頭目標檢測的商場人流量自動統(tǒng)計算法.實驗結(jié)果表明，本文方法平均正確率達到98.2%，比文獻[1]提升了3%；且統(tǒng)計每個行人目標只需19ms，達到了實時性的要求.為進一步減少商場行人統(tǒng)計的漏檢和誤檢，以后將通過優(yōu)化人頭分類器以進一步提高檢測效果.[1]文嘉俊,徐勇,戰(zhàn)蔭偉.基于Adaboost和幀間特征的人數(shù)統(tǒng)計[J].中國圖象圖形學(xué)報,2011,16(9):1729-1735.[2]趙明瀚,王晨升.基于視頻的人數(shù)識別方法綜述[J].軟件，2013,34(3):10-12.[3]田煜衡,肖志濤,耿磊,等.基于頭部特征的行人計數(shù)系統(tǒng)[J].天津工業(yè)大學(xué)學(xué)報,2013(3):66-71.[4]KULRAPATJ,PAKORNK,SUPAKORNS.Objectdetectionandmodelingalgorithmforautomaticvisualpeoplecountingsystem[C].Proceedingsof6thInternationalConferenceonElectricalEngineering/Electronices,Computer,TelecommunicationsandInformationTechnology，2009:1062-1065.[5]LUH.Headdetectionandtrackingbymean-shiftandkalmanfilter[C]//Proceedingsof3rdInternationalConferenceonInnovativeComputingInformationandControl，2008:357.[6]SALAKHUTDINOVR,TORRALBAA,TENENBAUMJ.Learningtosharevisualappearanceformulticlassobjectdetection[C].InCVPR,2011.[7]ZHENGL,WANGS.Visualphraselet:Refiningspatialconstraintsforlargescaleimagesearch.SignalProcessingLetters[J].IEEE,2013,20(4):391-394.[8]ZHOUW,LUY,LIH,etal.Scalarquantizationforlargescaleimagesearch[C].InACMMM,2012.[9]宋濤,馬宇峰,藺海峰.OpenCV在目標跟蹤中的應(yīng)用及實現(xiàn)[J].計算機與網(wǎng)絡(luò),2009,24:38-41.[10]覃劍.視頻序列中的運動目標檢測與跟蹤研究[D].重慶:重慶大學(xué),2008.[11]LINSF,CHENJY,CHAOHX.Estimationofnumberofpeopleincrowedscencesusingperspectivetransformation[J].Systems,ManandCybernetics,PartA:SystemsandHumans,IEEETransactionson,2001,31(6):645-654.[12]XIAOWEIXU,ZHIYUANWANG,YINGHONGLIANG,etal.Arapidmethodforpassingpeoplecountinginmonocularvideosequences[C]//ProceedingsoftheSixthInternationalConferenceonMachineLearningandCybernetics,HongKong,2007:19-22.[13]文學(xué)志,方巍,鄭鈺輝.一種基于類Haar特征和改進AdaBoost分類器的車輛識別算法[J].電子學(xué)報,2011(5):1121-1126.[14]PAULV,MICHAELJONES.Rapidobjectdetectionusingaboostedcascadeofsimplefeatures[C]//ProceedingsoftheIEEEComputerVisionandPatternRecognition.Piscataway,NJ,USA:IEEEPress,2001:151-155.[15]趙其杰,屠大維,高健,等.基于Kalman濾波的視覺預(yù)測目標跟蹤及其應(yīng)用[J].光學(xué)精密工程,2008,16(5):937-942.AutomaticMallTrafficStatisticsBasedonHeadTargetDetectionJIAShijie,WUHuabin,ZHANGYuanyuan(SchoolofElectronicandInformationEngineering,DalianJiaotongUniversity,Dalian116028,China)Malltrafficautomaticstatisticshasgreatsignificanceinsecuritymanagement,staffschedulingandcommodityprocurement.Forthecountingdifficultyinthecaseofoverlapping,automaticmalltrafficstatisticalalgorithmsisputforwardbasedonthehumanhea