一種基于多特征和機器學習的分級行人檢測方法

1、第38卷第3期自動化學報Vol.38,No.3 2012年3月ACTA AUTOMATICA SINICA March,2012一種基于多特征和機器學習的分級行人檢測方法種衍文1匡湖林1李清泉1摘要針對單幅圖像中的行人檢測問題,提出了基于自適應增強算法(Adaboost和支持向量機(Support vector machine, SVM的兩級檢測方法,應用粗細結合的思想有效提高檢測的精度.粗級行人檢測器通過提取四方向特征(Four direction features,FDF和GAB(Gentle Adaboost級聯訓練得到,精密級行人檢測器用熵梯度直方圖(Entropy-histogram

2、s of oriented gradients,EHOG作為特征,通過支持向量機學習得到.本文提出的EHOG特征考慮到熵,通過分布的混亂程度描述,具有分辨行人和類似人的物體能力.實驗結果表明,本文提出的EHOG、粗細結合的兩級檢測方法能準確地檢測出復雜背景下不同姿勢的直立行人,檢測精度優(yōu)于以往Adaboost方法.關鍵詞四方向特征,熵梯度直方圖,自適應增強算法,GAB級聯,支持向量機,兩級檢測Two-stage Pedestrian Detection Based on Multiple Features andMachine LearningCHONG Yan-Wen1KUANG Hu-Li

3、n1LI Qing-Quan1Abstract A two-stage detection method based on Adaboost and support vector machine(SVMis proposed for the pedestrian detection problem in a single image,which uses the combination of coarse level andne level detection to improve the accuracy of the detector.The coarse level pedestrian

4、 detector makes use of the four direction features (FDFand the gentle Adaboost(GABcascade training;thene level pedestrian detector uses entropy-histograms of oriented gradients(EHOGas features and the SVM as classier.The proposed EHOG features considering entropy and the distribution of chaos have t

5、he ability to distinguish between the pedestrians and the objects similar to people. Experimental results show that the proposed two-stage pedestrian detection method with the combination of the coarse-ne level and EHOG feature can accurately detect upright bodies with dierent postures in the comple

6、x background,at the same time the precision is better than the classic Adaboost methods.Key words Four direction features(FDF,entropy-histograms of oriented gradients(EHOG,Adaboost,gentle Ad-aboost(GABcascade,support vector machine(SVM,two-stage detection行人檢測就是要把視頻序列或圖像中出現的行人從背景中分割出來并精確定位,是當前計算機視覺領域

7、最為活躍的研究課題之一12.目前比較流行的基于計算機視覺的行人檢測方法大都是基于特征提取和機器學習的,常用的特征有哈爾特征(Haar3,梯度直方圖特征(Histograms of oriented gradients,HOG45,常用的機器學習方法有自適應增強算法(Adaboost6、神經網絡收稿日期2011-07-11錄用日期2011-09-14Manuscript received July11,2011;accepted September14, 2011國家自然科學基金(40721001,40830530,中國博士后科學基金,武漢大學測繪遙感信息工程國家重點實驗室專項基金資助Suppo

8、rted by National Natural Science Foundation of China (40721001,40830530,China Postdoctoral Science Foundation Funded Project,and State Key Laboratory of Information En-gineering in Surveying,Mapping and Remote Sensing Special Research Funding,Wuhan University本文責任編委劉成林Recommended by Associate Editor

9、LIU Cheng-Lin1.武漢大學測繪遙感信息工程國家重點實驗室武漢4300791.State Key Laboratory of Information Engineering in Survey-ing,Mapping and Remote Sensing,Wuhan University,Wuhan 430079(Neural network7和支持向量機(Support vector machine,SVM8等.1本文行人檢測方法本文提出了一種基于多特征和機器學習的由粗到細的分級行人檢測方法.行人檢測器是由一個粗級行人檢測器和一個精密級行人檢測器組成,粗級行人檢測器通過提取四方向特

10、征(Four di-rection features,FDF特征和GAB(Gentle Ad-aboost級聯訓練得到;精密級行人檢測器用熵梯度直方圖(Entropy-histograms of oriented gradients, EHOG作為特征,通過SVM學習得到.檢測時,首先用粗級行人檢測器在待測圖像中檢測行人,得到粗級行人感興趣區(qū)域(Regions of interest,ROIs,然后對粗級行人ROIs用精密級行人檢測器進行檢測,得到精密級ROIs,并進行后處理,用一個精確定位的框來包圍行人,為后續(xù)行人分析處理做好準備.通過這種方法,可以把粗級行人分類器的總性能適當降低,從而降低

11、粗級行人檢測器中級聯的學習難376自動化學報38卷度9.本文方法的整體實現框架如圖1所示 .圖1本文行人檢測方法流程圖Fig.1Theow chart of the proposed pedestriandetection method1.1特征提取FDF特征是一種相對比較簡單的特征1011,其復雜度介于已被廣泛研究的Haar特征和HOG 特征之間,能夠提取目標的輪廓特征,適合于行人目標的檢測.FDF特征計算過程主要分為兩個步驟:首先利用梯度算子,計算四個方向的梯度,作為初級FDF特征;然后對得到的初級FDF特征進行高斯模糊,平均化得到最終的FDF.初級FDF特征的計算如下式所示:Sd(x=|

12、I(xGd|B(1這里的Sd(x是初級的FDF特征,I(x是灰度圖像,表示卷積運算,Gd是梯度算子,用來計算四個不同方向的梯度方向為dD,D=0,45,90, 135,如圖2(a所示.B是2維高斯平滑濾波器可以用來平滑不同行人樣本的細節(jié)部分.然后對求得的初級FDF特征值,以M×N(如4×4大小為單位進行平均,作為此M×N個像素點的特征值,得到的四個方向的平均梯度值向量連起來作為圖像的最終FDF特征向量.FDF特征提取過程及其效果如圖2所示.梯度直方圖特征(HOG是一種對圖像局部重疊區(qū)域的密集型描述符,它通過計算局部區(qū)域上的梯度方向直方圖來構成行人特征,是Dalal

13、等在2005年提出的4.HOG特征由于特別適合于行人整體輪廓的描述、高的檢測率和較低的虛警率,成為行人檢測的主流特征提取方法12.HOG和Haar、FDF相比較,具有計算量大的缺點,不適合應用在粗級需要遍歷窗口數量大的場合.粗級篩選后感興趣區(qū)域數量已經大幅度減少,可以在這個基礎上充分發(fā)揮HOG特征對于行人檢測率高,去除虛警的優(yōu)勢.HOG特征實際起到檢測作用的是行人輪廓邊緣的梯度,而行人內部的紋理特征并沒有被利用,這樣可能會對一些類似于人的物體(如形狀像人的樹,電線桿等造成誤檢.熵表示的是分布的混亂程度,熵越小表示分布越均勻,熵在某種程度上可以表示物體的紋理特征,受到熵的啟發(fā),本文提出了一種EH

14、OG(Entropy-HOG特征.由HOG直方圖可以計算概率P,表示某一個角度內的梯度數與總梯度數的比值,這樣可以得到每一個Block的熵,這個熵作為一維特征和HOG特征合并,這樣就得到了EHOG,每個Block熵的計算如下式所示,本文取9個梯度方向:E=9i=1P i log P i (2圖2FDF特征提取過程Fig.2The extraction process of FDF feature對MIT行人樣本庫里正樣本和負樣本計算3期種衍文等:一種基于多特征和機器學習的分級行人檢測方法377Block 的熵,如圖3所示,實線代表正樣本Block 熵,點劃線代表負樣本Block 熵. 圖3正負

15、樣本Block 熵比較Fig.3The comparison of the Block entropies of positive and negative samples從圖3中可以看出正負樣本的Block 熵是存在比較明顯的區(qū)別的,因此EHOG 作為特征訓練出來的分類器對于正負樣本會有一定的分類能力,可以進一步降低虛警率,提高行人檢測的性能.1.2分類器實現Adaboost 算法是統計分類方法中一個經典算法,它由Boosting 算法發(fā)展而來,是由Freund 等6在1995年提出的.目前常用的Adaboost 算法分別有Discrete Adaboost (DAB,Real Adaboo

16、st (RAB和Gentle Adaboost (GAB.其中DAB 是基本算法,而后兩者是在其基礎上的改進算法.它們的主要區(qū)別在于DAB 要求弱分類器的輸出是二值,后兩者則將要求放寬到實值13.GAB 通?？梢匀〉酶玫男Ч?在GAB 中,弱分類器定義如下:h (x =P w (y =1|x P w (y =1|x (3其中,P w (y =1|x ,P w (y =1|x 分別表示給定某樣本特征x ,該樣本為正樣本或負樣本的加權概率.GAB 的學習算法如下9,14:步驟1.初始化:w i =1/N ,i =1,···,N ,F (x =0.步驟2.For t

17、=1,···,Ta用y 到x 的加權最小二乘擬合來估計f t (x ;b更新F (x F (x +f t (x ;c設w i w i exp(y i f t (x i ,i =1,···,N ,并重新歸一化,使得i w i =1.步驟3.輸出分類器:sgn(F (x =sgn Tt =1f t (x (4其中,f t (x =P w (y =1|x P w (y =1|x 是弱分類器輸出函數,w i 表示權重分布,N 為樣本個數,y i 為樣本標簽,1為正樣本,1為負樣本,T 為訓練輪數,F (x 表示弱分類器的求和.本文提出了一種基

18、于FDF 的GAB 級聯算法,其中負樣本更新要求確保負樣本的數目保持一致,級聯前先建立一個備選負樣本庫,每一次負樣本更新不僅僅把這一級的負樣本中的虛警保留下來,還要對備選負樣本庫進行驗證,提取出通過前幾級之后仍是虛警的負樣本加入到新的訓練負樣本中去,保證負樣本數目和最開始的負樣本數目一致.為了讓選出的特征更具有代表性,提取各種尺度處于訓練樣本不同位置的FDF 特征,事先建立特征池,方便級聯時選擇.具體的級聯過程描述如下:步驟1.設定每一級的最小檢測率d ,最終的目標虛警率F target ,每一級最大的虛警率f .步驟2.選擇合適的正樣本和負樣本,建立備選負樣本庫(數目比較大、負樣本多尺度,建

19、立FDF 特征池.步驟5.While F (i >F targetb提取ni 個特征進行GAB 訓練并進行檢測得到DP ,F P 和錯誤率;c減少閾值直到DP >d ,記下相應的特征的位置尺度參數;d如果在某一個特征(即ni =1時不能達到虛警率的要求,那么對于所有的特征的錯誤率進行從低到高排序,錯誤率最小的特征作為該級的每一個特征,第二個特征就用排序后的第二個錯誤率對應的特征,依次進行,直到滿足該級的虛警率要求.步驟6.級聯結束,得到級聯分類器.支持向量機(SVM是Vapnik 根據統計學習理378自動化學報38卷論提出的一種新的機器學習方法15,其最大的特點就是根據Vapnik

20、的結構風險最小化原則,在解決小樣本非線性及高維模式識別問題中具有許多特有的優(yōu)勢,對小樣本問題具有很好的學習與泛化能力,成為當前機器學習領域的一個研究熱點1617.另外,由于支持向量機算法是一個凸優(yōu)化問題,因此局部最優(yōu)解一定是全局最優(yōu)解,可防止過學習18.本文精細級分類器采用SVM來進一步對行人進行分類.2實驗結果及分析2.1實驗環(huán)境本文的實驗是用Matlab2009a實現的,計算機配置如下:Intel Core i3540CPU3.07GHz,內存3G.行人正樣本來自INRIA行人樣本庫,負樣本由INRIA庫中的和網上下載的圖片中截取得到,大小是以128像素×64像素為基準等比例縮放

21、,檢測用的是INRIA行人樣本庫中的測試樣本.2.2FDF特征同其他特征訓練結果比較本文方法中基于FDF的GAB級聯分類器是離線進行訓練的,負樣本集由40萬個多尺度負樣本組成,初始正負樣本比為1000:1000,級聯訓練時間為24h,級聯分類器層數為19級;SVM分類器訓練使用Libsvm工具箱來實現的,正負樣本比為2000:2000,訓練時間為400s.訓練得到基于FDF的GAB級聯分類器的ROC曲線,并與其他特征進行對比,如圖4所示 .圖4基于FDF的GAB級聯分類器與其他特征得到的分類器ROC曲線對比Fig.4Comparison of the ROC curves of the GAB

22、 cascade classier based on FDF and classiers gained byother features在圖4中,文獻19是經典的Haar級聯方法,文獻20中行人檢測部分使用HOG和SVM來檢測行人,文獻21中的第一級分類器中使用Haar-like和HOG特征的結合,文獻22提出了具有人體部位檢測能力的Edgelet特征.ROC曲線是以檢測率為縱坐標,以虛警率為橫坐標,表示的是級聯分類器的性能,同樣的虛警率時,檢測率越高就說明級聯分類器的性能越好.從圖4可以看出在相同的虛警率下,本文方法的級聯分類器的檢測率比其他方法的檢測率都要高,因此本文級聯方法性能好一些.基

23、于FDF的GAB級聯分類器和OpenCV Haar級聯分類器每一級特征數目對比如圖5所示 .圖5基于FDF的GAB級聯分類器和Haar級聯分類器每一級特征數目對比Fig.5Comparison of the feature numbers in each stage of the GAB cascade classier based on FDF and the Haarcascade classier從圖5可以看出,本文的級聯方法每一級需要的特征數目要比Haar級聯方法少很多,特征數目少但性能卻比Haar級聯要強,這顯示了本文基于FDF特征的GAB級聯方法的優(yōu)越性.2.3EHOG和HOG檢測

24、結果比較本文方法的精密級檢測分類器是提取EHOG 特征,用SVM訓練得到的,經過粗級和精密級檢測之后的結果如圖6(a所示.作為對比實驗,提取HOG特征,同樣用SVM 訓練得到的分類器作為精密級分類器,兩級檢測之后的結果如圖6(b所示.從檢測結果來看,用EHOG特征檢測得到的虛警要比用HOG特征檢測得到的虛警少,圖中就表現在一些小窗口虛警在用EHOG檢測時被剔除了.在對比實驗中,待測樣本均來自INRIA庫中的測試樣本,共288張,分別按照HOG特征的級聯方法和采用EHOG的級聯方法進行多尺度檢測,縮放比為1.2,搜素窗口移動步長為12個像素,統計檢測結果如表1所示,采用EHOG特征的方法比采用H

25、OG 的方法可以減少虛警率10%.3期種衍文等: 一種基于多特征和機器學習的分級行人檢測方法379圖6EHOG和HOG檢測結果對比Fig.6Comparison of EHOG detection results and HOGdetection results表1HOG和EHOG方法檢測結果統計對比表Table1Statistic comparison of EHOG detectionresults with HOG detection results方法待測圖含有行正確檢測檢測率(%虛警率(%片數人總數的行人數HOG28848847998 5.68×102EHOG2884884

26、7998 5.11×1022.4基于FDF的GAB級聯方法和基于OpenCV的Haar級聯方法比較我們采用INRIA行人樣本庫里的正樣本1000幅和從網絡上下載的不含人的負樣本1500幅作為訓練數據,按照OpenCV Haar級聯19分類器訓練方法進行訓練,參數設置如下:nstages20,w32,Haar級聯分類器與FDF級聯分類器進行對比實驗,對INRIA中相同的測試樣本進行檢測.部分檢測結果對比圖如圖7所示,檢測結果統計見表2.從圖7可以看出,本文級聯方法的檢測效果比Haar級聯要好,檢測率高,存在一定的虛警,有待精密級檢測進一步去除.從表2可以看出在相同參數設置下,本文的級聯

27、(aOpenCV Haar級聯方法檢測結果(aThe detection results of the OpenCV Haarcascade method(b本文級聯方法檢測結果(bThe detection results of the method in the paper圖7本文方法和OpenCV Haar級聯方法檢測結果對比Fig.7Comparison of the detection results of the methodin the paper and the OpenCV Haar cascade method方法的檢測率要遠高于Haar級聯的檢測率還可以看出本文方法對于初

28、始移動步長的改變不如Haar級聯方法敏感.綜上分析,FDF特征表征行人的能力比Haar要強.這里的平均檢測時間是在特定步長下檢測一張640像素×480像素大小的待測圖片的平均時間來衡量的,從表2中可以看出平均檢測時間與檢測窗口移動步長相關,步長越大檢測時間越短,OpenCV Haar級聯方法的平均檢測時間比本文的方法要短,但本文方法性能好,時間基本上可以達到實時性要求,而且本文是用Matlab實現的,檢測速度還有提升的空間.表2本文FDF級聯方法和Haar級聯方法檢測結果統計對比表380 自 動 化 學 報 38 卷 2.5 兩級檢測方法的對比 通過訓練和檢測, 我們可以得到本文整體

29、方法 的性能, 畫出 ROC 曲線, 并與其他一些兩級檢測方 法進行對比, 如圖 8 所示. 文獻 21 中第一級是全 身檢測 FBD, 用的是 Haar-like 和 HOG 特征, 第 二級是頭肩檢測, 用的是 Edgelet 特征, 實現對監(jiān) 控視頻的檢測. 文獻 23 提出了一種 Multi-scale orientation 特征 (MSO 特征, 分粗級和精細級兩 部分, 粗級用 Adaboost 級聯訓練, 精細級用 SVM 訓練. 圖9 Fig. 9 本文方法的最終檢測結果示例 method in the paper Example of the nal detection r

30、esults for the 圖 8 兩級檢測方法的 ROC 曲線對比 Fig. 8 Comparison of thre ROC curves of some two-stage detection 從圖 8 的 ROC 曲線上可以看出在某些虛警率 下, 本文方法的檢測率比其他方法低, 但是整體來 看, 尤其是在虛警率比較低的情況下, 本文方法的檢 測率比其他兩個方法都要高一些. 2.6 后處理和最終結果 最后, 為了將每一個行人用一個框標注, 我們對 精密級 ROIs 進行后處理, 首先對所有 ROIs 的中心 位置進行聚類, 對被分為一類的 ROIs 框進行平均 化處理, 得到最終的行人框. 經過粗細兩級檢測和聚類等后處理的最終的行 人檢測結果部分示例如圖 9 所示. 本文所采用的基 于多特征和 Adaboost 級聯的由粗到細的分級行人 檢測方法能有效實現行人的檢測, 能夠檢測復雜背 景下的不同姿勢 (如正面、 側面、 背面 不同數目 (單 人或多人 的直立行人, 檢測速度較快, 檢測率高, 虛警率低, 具有很好的應用潛力. 測, 能夠檢測復雜背景下的不同姿勢 (如正面、 側面、 背面 不同數目 (單人或多人 的直立行人, 檢測性 能好, 檢測率高, 虛警率低, 檢測時間比較短, 相對前 人的方法性能有所提升. 本 文 的