基于機器視覺的智能車輛障礙物檢測方法研究

1、V ol119N o14公路交通科技2002年8月JOURNA L OF HIGHWAY AND TRANSPORT ATION RESEARCH AND DEVE LOPMENT 文章編號:10020268(200204012604收稿日期:20010806基于機器視覺的智能車輛障礙物檢測方法研究李斌,王榮本,郭克友(吉林大學(xué)交通學(xué)院,吉林長春130025摘要:著重闡述基于機器視覺的前方車輛障礙物檢測方法。首先根據(jù)公路上前方車輛的先驗特征模型,建立障礙物探測的感興趣區(qū),以縮小搜索區(qū)域;隨后提出一種新的對稱變換算子,用于檢測障礙物車輛的對稱軸,并確定障礙物車輛的矩形輪廓。為進一步提高障礙物檢測

2、的實時性,采用遞歸模板匹配法對障礙物進行跟蹤。試驗表明上述方法是有效的。關(guān)鍵詞:智能車輛;機器視覺;對稱變換中圖分類號:U49116文獻標識碼:AStudy on Machine Vision Ba sed Obstacle Detection and Recognition Methodfor Intelligent VehicleLI Bin,WANG Rongben,G UO K eyou(T ransportation C ollege of Jilin University,JilinChangchun130025,ChinaAbstract:A leading vehicle de

3、tection and recognition method based on machine vision is mainly described in this paper.Firstly,in or2 der to reduce the searching area,an area of interest(AOIfor the obstacle is g otten based on the image contour detection and the priori knowledge of the leading vehicle on the road.Secondly,a new

4、symmetry trans form operator used to search for the symmetry axis of the leading vehicle in the image is proposed,and its the rectangle contour is obtained using the hough trans form.Then the concept of sym2 metry distance is introduced to validate the leading vehicle.Further m ore,in order to im pr

5、ove real time obstacle detection,a recursive tem plate matching method is established to track the leading vehicles location in the image.The experiment results indicate its validity. K ey words:Intelligent vehicle;Machine vision;Symmetry trans form探測障礙物和預(yù)測危險是智能車輛不可缺少的重要功能。對前方車輛進行實時自動探測和識別對于保持安全車距、防

6、止發(fā)生碰撞事故具有十分重要的意義,也是安全行駛的前提條件。視覺是人類觀察世界、認識世界的重要功能手段,駕駛員駕駛車輛過程中所需要信息的90%來自視覺1。而從圖像處理與模式識別發(fā)展起來的計算機視覺(也稱機器視覺,能夠利用圖像和圖像序列來識別和認知三維世界,使計算機實現(xiàn)人的視覺系統(tǒng)的某些功能。因此機器視覺已成為目前智能車輛及安全輔助駕駛中信息獲取手段的主要途徑。本文立足機器視覺技術(shù),提出了一種比較系統(tǒng)的障礙物實時探測識別方法。試驗驗證了它的有效性。1基于先驗知識的車輛特征模型通常,人們對待識別和定位的目標都具有先驗知識,人類視覺系統(tǒng)之所以能識別和分辨千差萬別的目標,也是長期積累先驗知識或者說是訓(xùn)練

7、學(xué)習的結(jié)果。公路上行駛的前方車輛在灰度圖像中主要呈現(xiàn)以下后視特征:11形狀特征。大體為矩形,而且滿足特殊的形狀比例,寬一般在12m之間,高一般在13m之間。21邊界特征。底部水平線、左右兩側(cè)的垂直邊、后車窗、保險杠、車牌在圖像中呈明顯的邊界特征。31灰度特征。一般情況下,車輛在圖像中與背景灰度有顯著差異。可考慮離線建立背景的灰度特征模型,以便在線時和車輛的灰度進行比較。41對稱性特征。車輛的對稱特征包括灰度對稱、水平邊緣和垂直邊緣對稱。51位置特征。一般位于車道線內(nèi)。61序列圖像特征。前方車輛在圖像序列中呈一定的連續(xù)性 。圖1障礙物探測識別流程圖71動態(tài)變化特征。車輛特征模型應(yīng)是動態(tài)變化的。距

8、離不同所呈現(xiàn)的特征是不同的。例如,當車輛距離較遠時,往往僅灰度特征較明顯,但隨著車輛逐漸靠近,其形狀、邊界和對稱特征也逐步明顯。本文提出的車輛障礙物檢測方法,首先從中選取部分有效特征,運用大量的先驗知識,對車輛進行探測和識別。障礙物檢測過程可以分為兩個階段:首先利用先驗知識探測前方車輛,形成障礙物假設(shè)和感興趣區(qū),然后在感興趣區(qū)中確認識別障礙物。在連續(xù)的圖像序列中,當前方車輛障礙物被確認后,后續(xù)圖像中采用遞歸模板匹配法跟蹤障礙物目標。車輛障礙物檢測流程如圖1。2障礙物探測及感興趣區(qū)的建立211障礙物搜索區(qū)域的縮小行駛在公路上的車輛都有一定的位置特征,不失一般性。假設(shè)當前車輛始終在同一車道內(nèi)行駛,

9、則當前車道以外的障礙物并不影響當前車輛行駛安全。因此本文的研究對象限于當前車道內(nèi)的前方車輛。也就是說,搜索障礙物的區(qū)域可由整個圖像縮小為由兩條車道線相交組成的三角區(qū)域,如圖2左邊所示。若當前車輛在車道正中央平行于車道線行駛,則理想情況下,兩車道線的交點即為延伸焦點FOE (F ocus of Ex 2pend ,FOE 在圖像中的位置是不變的。根據(jù)上述約束縮小搜索區(qū)域有利于縮短障礙物檢測時間。車道線檢測方法在筆者以前的工作和論文中已有體現(xiàn)2,在此不再贅述。212障礙物探測對于高速運動的車輛,盡可能早的發(fā)現(xiàn)前方障礙物對于其安全行駛是非常必要的,所以應(yīng)對障礙物進行預(yù)前探測。為此本文采用的攝像機由高

10、分辨率的黑白CC D 和25mm 的長焦鏡頭組成。當障礙物較遠時,其位于圖像的FOE 延伸焦點附近,幾乎可以看作是靜止的,對其很難進行運動檢測,只能利用障礙物車輛的特征模型。但是障礙物距離遠則成像較小,例如車寬2m ,距離80m 左右時成像大小僅為約40pixels ,在這種情況下,特征也不易抽取,進行水平邊緣和垂直邊緣檢測以及對稱檢測意義均不大?；诖?本文將障礙物檢測分為兩個階段,即初步探測階段和確認識別階段。當障礙物距離較遠時,可根據(jù)障礙物的早期特征線索進行探測,形成障礙物假設(shè)目標,并隨著障礙物的逐步靠近,對障礙物進行確認識別。從另一方面講,障礙物遠,對當前車輛的安全威脅小,可以先進行初

11、步探測;隨著障礙物越來越近,雖然對當前車輛的安全威脅越來越大,但障礙物恰好被逐步確認識別。一般車輛包含許多水平結(jié)構(gòu),如底部水平陰影線、后車窗、保險杠、車牌等。當車輛距離較遠時,圖像上水平邊緣聚集的特點較明顯,可作為探測障礙物車輛的線索。具體步驟如下:11根據(jù)車輛在圖像上水平邊緣聚集的特點,對圖像進行水平S obel 變換(如圖2右,增強水平邊緣。21在兩車道線確定的三角搜索區(qū)域內(nèi),以每行象素的灰度均值為度量,自下而上逐行掃描?；跈C器視覺的智能車輛障礙物檢測方法研究李斌等31一般而言,灰度均值階躍變化所在行(均值突變行的位置對應(yīng)著障礙物車輛的最下邊緣(主要是由車輛底部的陰影造成,即探測到可能的

12、障礙物車輛。41若在整個搜索區(qū)域內(nèi)沒有灰度均值突變,則認為當前車道內(nèi)沒有障礙物 。圖2水平S obel 變換213感興趣區(qū)的建立根據(jù)統(tǒng)計規(guī)律,灰度均值突變行附近區(qū)域存在障礙物車輛的幾率非常大。因此可以此為基礎(chǔ)建立矩形形狀的感興趣區(qū)AOI (Area of Interest 。AOI 應(yīng)適當大于車輛的實際尺寸。具體步驟如下:11以灰度均值突變行下方第k 行(k 的值由實際標定而得,本文中k =5作為AOI 的底邊,求該底邊與兩車道線的交點。21分別由左右交點向上引豎直線作為AOI 的兩側(cè)邊。高度的選取根據(jù)車輛形狀的先驗知識,盡量將車輛全部包含在AOI 中。本文采用43的高寬比,如圖3所示的矩形框

13、即為獲得的AOI 。圖3感興趣區(qū)AOIAOI 的建立意味著已形成障礙物假設(shè)目標。下一步工作就是在AOI 中對假設(shè)目標進行確認識別。3障礙物的識別確認本文基于車輛的矩形邊緣特征和對稱特性來確認識別目標車輛,以提高識別的有效性。在建立AOI 過程中,為了將可能的障礙物區(qū)域全部包括其中,AOI 的區(qū)域比實際的障礙物車輛要大(如圖3。因此,在確認障礙物前,應(yīng)首先獲得障礙物在AOI 中的具體位置。為此,本文基于車輛的灰度對稱性,提出一種搜索車輛對稱軸的對稱變換方法。311對稱軸求取利用對稱變換ST (Symmetry T rans form 算子對AOI 進行對稱變換,然后利用H ough 變換檢測垂直

14、的對稱軸。算子窗口的大小為(2k +1×(2k +1,中心位于(i ,j ,k 值可根據(jù)實際情況選取,本文中k =9。采用窗口模板操作,ST i ,j 表示操作結(jié)束后賦給窗口中心位置的灰度值,模板運算公式如下ST i ,j =M i ,j E i ,j 255(1M i ,j =e -|m i ,j |(2m i ,j =r =+k r =-ks =+ks =-k gi -r ,j -s s 3(3E i ,j=-l =255l =0p lln pl+(1-p l ln (1-p l (4式中,m i ,j 為窗口中灰度的三階中心矩3;M i ,j 為窗口中灰度對稱度量的權(quán)值;E i

15、 ,j 為窗口中灰度的熵權(quán)值4(已經(jīng)規(guī)一化;p l 為窗口內(nèi)灰度值l 出現(xiàn)的概率,在這里用頻率近似代替。熵權(quán)值的引入,主要是為了消除灰度一致區(qū)域(如路面對對稱度量的影響。如果沒有考慮熵權(quán)值,灰度一致區(qū)域則表現(xiàn)為很高的對稱性。由于熵表示信息量的多少,因此灰度一致區(qū)域的熵是很小的,而公式中加入熵因子將有效抑制灰度一致區(qū)域的影響。對AOI 進行對稱變換后,對稱軸灰度被加強,其它區(qū)域被弱化。如圖4所示 。圖4 對稱軸求取圖5車輛輪廓312確定車輛矩形輪廓在對原灰度圖像進行垂直S obel 邊緣檢測基礎(chǔ)上,在AOI 內(nèi)進行垂直方向H ough 變換,檢測垂直直線,即車輛障礙物的兩側(cè)邊界輪廓,并結(jié)合的對稱

16、軸位置,對車輛障礙物進行初步確認,即兩邊界應(yīng)對稱分布在軸線兩側(cè)。313對稱性度量通過前面的運算,已經(jīng)得到對稱軸線和車輛矩形輪廓,下面用連續(xù)對稱的概念從數(shù)值上刻畫對稱的程度。對稱性是車輛的重要特征。根據(jù)連續(xù)性對稱度量概念,引入對稱距離(Symmetry Distance 5,即把一給定的圖形變換為其相應(yīng)的對稱圖形所需要的最小“能公路交通科技2002年第4期量”(efforts or energy。對稱距離SD可從數(shù)值上刻畫其對稱的程度。對稱距離通過求矩形框內(nèi)對稱軸線兩側(cè)對應(yīng)象素灰度值g left和g right之間的均方誤差獲得,即SD=E(g left-g right2(5 SD越小表示當前矩

17、形區(qū)域內(nèi)對稱程度越高。當SD小于一閾值時,即可確認障礙物的存在( 如圖6。閾值的選取應(yīng)根據(jù)先驗統(tǒng)計規(guī)律。本文閾值取95。圖6障礙物確認314試驗驗證為驗證以上算法的有效性,以吉林大學(xué)交通學(xué)院智能車輛課題組研制的JUTI V2智能車輛為平臺進行道路試驗。JUTI V2以機器視覺為導(dǎo)航方式,其圖像采集系統(tǒng)由分辨率為640×480的普通黑白CC D和25mm鏡頭組成,探測距離可達80m左右。圖像處理基于普通臺式計算機(Pentium II450M MX。道路試驗結(jié)果表明,利用上述算法進行前方車輛障礙物檢測,誤檢率為1123%,漏檢率僅為0142%,平均檢測時間為42ms,基本可以滿足實時性

18、要求。說明本文算法是有效的。針對存在的誤檢和漏檢現(xiàn)象,筆者將在今后的工作中采用傳感器數(shù)據(jù)融合方法進行解決。4障礙物跟蹤前面介紹的前方車輛探測和確認識別方法是針對單幀靜態(tài)圖像的。一般情況下,障礙物目標被確認后,并不會馬上消失,其在序列圖像中是連續(xù)存在的。即障礙物目標的位置有一定的連續(xù)性,其特征有很大的相關(guān)性。因此如果利用這種連續(xù)性和相關(guān)性,來對障礙物進行動態(tài)跟蹤,勢必比每一次都要搜索整個路面來探測要節(jié)省很多時間,從而可提高障礙物檢測的實時性和可靠性。圖7所示的跟蹤算法是一種遞歸的模板匹配法,采用此方法,建立AOI時不需要每次都進行車道檢測和車輛探測,而是直接利用前一幀圖像已獲得的障礙物信息,在當前幀圖像中尋找AOI。模板匹配法采用的模板可以基于障礙物的邊界、輪廓、灰度等特征。由于邊界、輪廓在很大程度上依賴于特征提取算法, 計算時間也較長。因此本文采用灰度特征模板。用相關(guān)系數(shù)度量匹配程度,見式6。圖7遞歸模板匹配跟蹤算法框圖模板是動態(tài)變化的?？偸且郧耙粠?/p>