機(jī)器視覺的輔助駕駛系統(tǒng)的視頻中行人檢測跟蹤

開題報告1研究背景及意義隨著我國機(jī)械工業(yè)的迅猛發(fā)展,汽車行業(yè)也實(shí)現(xiàn)了新的跨越。汽車的普及帶來了許多危害,諸如:“汽車尾氣”對環(huán)境的污染、消耗汽油造成能源的緊缺、交通擁擠、交通事故等等。目前,我國的交通安全形勢日益嚴(yán)峻,交通事故頻繁發(fā)生,財產(chǎn)損失和人員傷亡慘重。雖然我國僅擁有全世界約2.5%的汽車,但是引發(fā)的道路交通死亡事故占世界的15%,己是交通事故多發(fā)的國家。據(jù)調(diào)查統(tǒng)計,2009年,全國共發(fā)生道路交通事故238351起,造成67759人死亡、275125人受傷,直接財產(chǎn)損失9.1億元.2008年,全國共發(fā)生道路交通事故265204起,造成73484人死亡、304919人受傷,直接財產(chǎn)損失10.1億元2007年,全國共發(fā)生道路交通事故327209起,造成81649人死亡、380442人受傷,直接財產(chǎn)損失12億元。由此可見,交通事故是全球性關(guān)注的一個熱點(diǎn),其對人類的危害已超出了洪水、地震、火災(zāi)等自然災(zāi)害,是導(dǎo)致行人死亡的一個主要因素。在道路交通事故中,自行車騎車人和行人往往處于弱勢地位,一旦與機(jī)動車發(fā)生碰撞,是很容易受到傷害的。事故帶來的災(zāi)難,使一個個家庭陷入了不幸的痛苦之中.人們對出行安全的渴盼,成為社會公共安全的重要話題.為了有效地保護(hù)行人,行人檢測和跟蹤技術(shù)得到了車企及消費(fèi)者的重視。隨著我國汽車保有量的迅速增加,道路交通事故頻發(fā),特別是車輛與行人發(fā)生碰撞而引發(fā)交通事故是導(dǎo)致行人傷亡的主要原因。交通引發(fā)的各種問題尤其是行駛安全問題日益受到人們的關(guān)注,這就使得安全輔助駕駛系統(tǒng)的應(yīng)用在我國具有更大的緊迫性和現(xiàn)實(shí)意義。對車輛前方行人進(jìn)行檢測是汽車安全輔助駕駛系統(tǒng)所必需具備的功能之一,己經(jīng)引起了世界各國政府部門和相關(guān)研究機(jī)構(gòu)的高度重視及商家的濃厚興趣,它能有效地輔助在市區(qū)環(huán)境中駕駛車輛的駕駛員及時對外界環(huán)境做出反應(yīng),避免碰撞行人。行人檢測技術(shù)的研究開發(fā)將為我國汽車安全輔助駕駛技術(shù)的發(fā)展提供有力的理論和技術(shù)支持,并具有潛在的經(jīng)濟(jì)價值和應(yīng)用前景。利用傳感器技術(shù)來探測車輛前方的障礙物,包括行人車輛以及自行車等,及時警告駕駛員可能與潛在的障礙物發(fā)生碰撞,減少這類碰撞交通事故發(fā)生的損失和人員傷亡。如果駕駛員沒有及時采取有效的措施來避免與行人等障礙物發(fā)生碰撞,可以采取自動駕駛功能接替駕駛員避免這種緊急狀況的發(fā)生,如通過車上安裝的自動轉(zhuǎn)向和自動制動功能接替駕駛員實(shí)現(xiàn)自動轉(zhuǎn)向或制動，有效地提高城市交通的安全性。行人檢測是城市交通環(huán)境下的智能車輛輔助導(dǎo)航技術(shù)中的一項(xiàng)關(guān)鍵技術(shù),也是目前計算機(jī)應(yīng)用領(lǐng)域的研究熱點(diǎn)之一。它處于智能車輛輔助導(dǎo)航技術(shù)的底層,是各種后續(xù)高級處理如目標(biāo)分類,行為理解的基礎(chǔ),對于保障現(xiàn)代城市道路交通安全具有重要的作用,同時具有十分廣闊和重要的應(yīng)用領(lǐng)域。運(yùn)動行人檢測在智能控制系統(tǒng),虛擬現(xiàn)實(shí),機(jī)器人應(yīng)用等方面也將得到廣泛的應(yīng)用。行人檢測與跟蹤技術(shù)不僅在智能交通系統(tǒng)和視頻監(jiān)控系統(tǒng)中有廣泛的應(yīng)用,而且在虛擬現(xiàn)實(shí)、機(jī)器人應(yīng)用等方面有著非常重要的研究價值。行人跟蹤是一個復(fù)雜的系統(tǒng)工程,它涉及了人體生理學(xué)、心理學(xué)、計算機(jī)視覺、模式識別、等多方面的問題。2研究內(nèi)容基于計算機(jī)視覺的行人檢測由于其在車輛輔助駕駛系統(tǒng)中的重要應(yīng)用價值成為當(dāng)前計算機(jī)視覺和智能車輛領(lǐng)域最為活躍的研究課題之一。其核心是利用安裝在運(yùn)動車輛上的攝像機(jī)檢測行人，從而估計出潛在的危險以便采取策略保護(hù)行人。行人檢測除了具有一般人體檢測具有的服飾變化、姿態(tài)變化等難點(diǎn)外，由于其特定的應(yīng)用領(lǐng)域還具有以下難點(diǎn)：攝像機(jī)是運(yùn)動的，這樣廣泛應(yīng)用于智能監(jiān)控領(lǐng)域中檢測動態(tài)目標(biāo)的方法便不能直接使用；行人檢測面臨的是一個開放的環(huán)境，要考慮不同的路況、天氣和光線變化，對算法的魯棒性提出了很高的要求；實(shí)時性是系統(tǒng)必須滿足的要求，這就要求采用的圖像處理算法不能太復(fù)雜。基于視覺的行人檢測系統(tǒng)一般包括兩個模塊：感興趣區(qū)（ROIs）分割和目標(biāo)識別。根據(jù)分割所用的信息，可將ROIs分割的方法分為基于運(yùn)動、基于距離、基于圖像特征和基于攝像機(jī)參數(shù)四種方法。基于運(yùn)動的方法通過檢測場景中的運(yùn)動區(qū)域來得到ROIs?；诰嚯x的方法通過測量目標(biāo)到汽車的距離來得到ROIs?？梢杂脕頊y距的傳感器主要包括雷達(dá)和立體視覺?；趫D像特征的方法指通過檢測與行人相關(guān)的圖像特征從而得到ROIs。對于可見光圖像來說，常用的特征包括豎直邊緣、局部區(qū)域的熵和紋理等。對于紅外圖像來說，主要根據(jù)人體尤其是人臉的溫度比周圍環(huán)境溫度較高這一特征，通過檢測一些“熱點(diǎn)”(Hotspot)來得到ROIs。攝像機(jī)的安裝位置和攝像機(jī)參數(shù)也是一個很重要的考慮因素.它對行人在圖像上出現(xiàn)的位置和每個位置上目標(biāo)的大小給出了很多限制,合理利用這些限制可以大大地縮小搜索空間。如圖1所示，行人檢測分為以下幾個步驟：預(yù)處理階段，首先通過傳感器獲得車輛前方的圖像信息，對這些信息做預(yù)處理（如降噪、增強(qiáng)等）；分類檢測階段，用圖像分割、模型提取等一些圖像處理技術(shù)在圖像中選取一些感興趣的區(qū)域（RegionsofInterest，ROIs），即行人的候選區(qū)域，然后對ROIs進(jìn)行進(jìn)一步的驗(yàn)證，用分類等技術(shù)方法判斷候選區(qū)域中是否包含行人；決策報警階段，對含有行人的區(qū)域進(jìn)行跟蹤，得到行人的運(yùn)動軌跡，提高檢測精度和速度的同時，也能對行人是否會和車輛發(fā)生碰撞進(jìn)行判斷，對可能發(fā)生碰撞的情況，進(jìn)行報警或者其他避免碰撞的操作。圖1行人檢測系統(tǒng)框架在行人檢測系統(tǒng)中，分類檢測階段是最為重要的一個階段。由于行人檢測系統(tǒng)是一個實(shí)時系統(tǒng)，因此系統(tǒng)中的檢測算法應(yīng)具有很高的實(shí)時性，那些使用復(fù)雜圖像處理的算法便不再適用；而開放的檢測場景，如道路狀況不斷變換、天氣以及光照也隨機(jī)變化，行人的服飾和姿態(tài)多變等，使得模板匹配的方法無法很好的應(yīng)用于行人檢測問題中。場景3D建模的方法由于前提假設(shè)的限制，其性能和速度無法達(dá)到實(shí)用的要求。如今主要的研究方法還是在行人檢測中引入各種各樣的分類器，主要是因?yàn)榉诸愃惴ň哂休^好的魯棒性，而且合理的選擇訓(xùn)練樣本和特征，結(jié)合結(jié)構(gòu)合理的分類算法，可以較好地克服許多不利條件，如行人多樣性、場景多樣性、光照環(huán)境多樣性等的影響。因此，在當(dāng)前情況下，分類檢測是行人檢測技術(shù)研究中的一種主流的方法。常用于行人檢測的分類器有：支持向量機(jī)(SVM)、各種類型的神經(jīng)網(wǎng)絡(luò)（NN）以及其他基于統(tǒng)計的學(xué)習(xí)分類器（如Adaboost、串聯(lián)分類器）等，如表1所示。表1行人檢測系統(tǒng)常用的分類器很多類型的分類器都被用到了行人和非行人物體的區(qū)分當(dāng)中。分類器的輸入是從圖像中提取的像素值或特征值，輸出則是這個物體是否為待測物體的一個判斷。很多情況下，給出的是這個物體為待測物體的概率值。分類器通常由一系列正負(fù)樣本訓(xùn)練得來。訓(xùn)練之后，分類器對未知樣本進(jìn)行處理，通過特征向量位于決定邊界的哪一邊，確定該樣本中是否含有待測物體。分類器的好壞主要取決于三個方面：特征、分類算法和樣本，只有合理地結(jié)合這三者才能得到性能最優(yōu)的分類器。目前，這三方面都有一些進(jìn)展，這為我們設(shè)計出高效的分類器提供了很好的基礎(chǔ)。分類器性能一般從三個方面來評價，檢測率高，誤報率低，檢測速度快。三方面相互限制，實(shí)際應(yīng)用中需要找到一個平衡點(diǎn)。由于分類器的性能好壞是整個行人檢測系統(tǒng)性能好壞的決定因素，所以非常有必要結(jié)合行人檢測問題本身的特點(diǎn)來專門為其設(shè)計合理、高性能的分類器，而不是直接套用其它領(lǐng)域的一些現(xiàn)有算法。3研究方法行人檢測包括了行人目標(biāo)的分類和行人的跟蹤等方面,涉及到計算機(jī)視覺、模式識別和人工智能領(lǐng)域的許多核心課題,是一個具有挑戰(zhàn)性的困難問題。目前,在許多文獻(xiàn)中提出了多種關(guān)于行人檢測的方法,常用的方法有基于運(yùn)動特性的方法、基于形狀信息的方法、基于行人模型的方法、立體視覺的方法、神經(jīng)網(wǎng)絡(luò)方法、小波和支持向量機(jī)的方法等。3.1基于形狀信息的方法由于行人探測是在車輛運(yùn)動的狀態(tài)下進(jìn)行的,這樣會帶來攝像機(jī)的運(yùn)動,從而背景圖像也會相應(yīng)發(fā)生變化。基于形狀信息的行人檢測方法回避了由于背景變化和攝像機(jī)運(yùn)動帶來的問題,主要是依靠行人形狀特征來識別行人,因此基于形狀的行人檢測方法能識別出運(yùn)動和靜止的行人。意大利帕爾瑪大學(xué)的AlbertoBroggi教授在AR2GO項(xiàng)目中采用一種基于外形的行人檢測算法。算法首先根據(jù)行人相對于垂直軸有很強(qiáng)的垂直邊緣對稱性、尺寸和外貌比例等在圖像中找到感興趣區(qū)域,然后提取垂直邊緣,選擇具有高垂直對稱性的區(qū)域。通過計算邊緣的熵值去掉圖像中始終一致的區(qū)域。在剩下的具有對稱性的候選區(qū)域中,尋找目標(biāo)側(cè)向和底部邊界畫出矩形方框,通過包含行人頭部模型匹配定位行人頭部。在市區(qū)試驗(yàn)表明,當(dāng)視野中有完整的行人存在時能得到較好的效果,在10~40m的范圍內(nèi)都可以正確地進(jìn)行識別,并且可以較好地適應(yīng)復(fù)雜的外界環(huán)境。德國DaimlerOChrysler研究中心的Gavrila開發(fā)的行人檢測系統(tǒng)在城市交通助手UTA中進(jìn)行了試驗(yàn)。蓋系統(tǒng)主要分為兩步,首先是在等級模板匹配過程中應(yīng)用行人輪廓特征來有效鎖定候選目標(biāo)。然后在模式分類中根據(jù)豐富的亮度信息運(yùn)用徑向基函數(shù)來驗(yàn)證候選目標(biāo)。基于形狀信息的行人檢測方法存在兩大難點(diǎn):一是行人是非剛性的,形狀信息具有多樣性,算法要考慮很多基本的信息,導(dǎo)致計算量增大;二是行人在行走的過程中,由于會產(chǎn)生遮擋現(xiàn)象,這就無形中增加了基于形狀信息行人檢測的難度。3.2基于運(yùn)動特性的方法運(yùn)動是探測場景圖像中感興趣區(qū)域重要信息,基于運(yùn)動特性的行人檢測就是利用人體運(yùn)動的周期性特性找到行人。德國DaimlerOBenz研究中心B1Heisele的研究是基于行人與像平面平行的方向行走時腿部運(yùn)動特征,從彩色序列圖像中識別出行人。首先將每幅圖像分割成區(qū)域圖像并對象素按顏色P位置特征空間進(jìn)行聚類,通過在連續(xù)圖像中匹配相應(yīng)的類,并對各類進(jìn)行跟蹤。然后利用快速多項(xiàng)式分類器估計基于類形狀特征的時間變化來初步選擇可能屬于人腿的類。最后通過時空接受域延時神經(jīng)網(wǎng)絡(luò)將屬于行人腿的類進(jìn)行分離。Lipton通過計算運(yùn)動區(qū)域的殘余光流來分析運(yùn)動實(shí)體的剛性和周期性,非剛性的人的運(yùn)動相比于剛性的車輛運(yùn)動而言具有較高的平均殘余光流,同時它也呈現(xiàn)了周期性的運(yùn)動特征,據(jù)此可以將人區(qū)分出來。大多數(shù)基于運(yùn)動方法運(yùn)用行人獨(dú)有的運(yùn)動節(jié)奏特征或運(yùn)動模式來探測行人,而且能在運(yùn)動攝像機(jī)情況下探測到運(yùn)動目標(biāo),但是應(yīng)用基于運(yùn)動的行人檢測還有一定的局限性:(1)首先為了提取運(yùn)動節(jié)奏特征要求行人腳或腿是可見的;(2)識別時需要連續(xù)幾幀序列圖像,這樣延誤了行人的識別,增加了處理時間;(3)不能識別靜止行人。3.3基于模型的方法基于模型的行人檢測方法是通過定義行人形狀模型,在圖像的各個部位匹配該模型以找到目標(biāo)。行人模型主要有線性模型、輪廓模型以及立體模型等。線性模型是基于人運(yùn)動的實(shí)質(zhì)是骨骼的運(yùn)動,因此可以將身體的各個部分以直線來模擬。美國馬里蘭大學(xué)的V1Philomin等首先應(yīng)用背景減除法從靜止CCD獲得的圖像中自動分割出行人邊緣輪廓,得到行人的統(tǒng)計形狀模型。然后建立線性點(diǎn)分布模型,利用主分量分析簡化維數(shù),找到8維變形模型空間?；谳喞Ｐ偷母櫴抢梅忾]的曲線輪廓來表達(dá)運(yùn)動目標(biāo),并且該輪廓能夠自動連續(xù)地更新。例如美國明尼蘇達(dá)大學(xué)的O1Masoud利用靜止的單目CCD對序列灰度圖像進(jìn)行行人跟蹤,主要用于在交叉路口行人跟蹤控制。立體模型主要是利用廣義錐臺、橢圓柱、球等三維模型來描述人體的結(jié)構(gòu)細(xì)節(jié),這種模型要求更多的計算參數(shù)和匹配過程中更大的計算量。如K1Rohr利用通用圓柱模型來描述行人,目的是想利用該模型來產(chǎn)生人的行走的三維描述。利用輪廓模型進(jìn)行跟蹤有利于減少計算的復(fù)雜度,如果開始能夠合理地分開每個運(yùn)動目標(biāo)并實(shí)現(xiàn)輪廓初始化的話,既使在有部分遮擋存在的情況下也能連續(xù)地進(jìn)行跟蹤,然而初始化通常是很困難的。3.4小波變換和支持向量機(jī)從20世紀(jì)80年代后期開始逐步發(fā)展起來的小波分析克服了傅立葉分析的不足,具有良好的空間局部分析功能和多分辨分析功能,并且具有良好的重構(gòu)性和濾波特性。美國M1Oren介紹了可訓(xùn)練的目標(biāo)探測方法,用來探測靜止圖像中的相關(guān)人。由于人體是一個非剛性的目標(biāo),并在尺寸、形狀、顏色和紋理機(jī)構(gòu)上有一定程度的可變性。行人檢測主要是基于小波模板概念,按照圖像中小波相關(guān)系數(shù)子集定義目標(biāo)形狀的小波模板。系統(tǒng)首先對圖像中每個特定大小的窗口以及該窗口進(jìn)行一定范圍的比例縮放得到的窗口進(jìn)行Harr小波變換,然后利用支持向量機(jī)檢測變換的結(jié)果是否可以與小波模板匹配,如果匹配成功則認(rèn)為檢測到一個行人。最近他們又結(jié)合基于樣本的方法對系統(tǒng)做了改進(jìn),對人體的每個組成部分進(jìn)行相應(yīng)的小波模板的匹配,之后對這些分量的匹配結(jié)果進(jìn)行總的匹配評價。首先將圖像進(jìn)行水平方向、垂直方向以及對角線方向進(jìn)行Haar小波變換,然后掃描與行人相關(guān)的模型,最后用支持向量機(jī)統(tǒng)計推理進(jìn)行識別。為了避免重疊現(xiàn)象,系統(tǒng)按照一定等級利用多個分類器分別對手臂、頭部和腿進(jìn)行分類。基于小波變換和支持向量機(jī)的方法需要按不同尺度搜索整幅圖像來找到行人,這樣計算量很大。為了實(shí)現(xiàn)對行人進(jìn)行實(shí)時檢測與跟蹤,需要減少小波特征,降低支持向量機(jī)的維數(shù)。3.5立體視覺立體視覺的基本原理是從兩個(或多個)視點(diǎn)觀察同一景物,以獲取在不同視角下的感知圖像,通過三角測量原理計算圖像像素間的視差來獲取景物的三維信息。由于單目視覺不能準(zhǔn)確的獲得前方車輛的距離信息,而且在復(fù)雜場景內(nèi)由于噪音的干擾不能有效的識別行人,而立體視覺由于能夠獲得圖像的深度信息,因此在行人檢測領(lǐng)域中得到一定的應(yīng)用。意大利帕爾瑪大學(xué)的A1Broggi和美國坦克及機(jī)動車輛司令部M1DelRose等利用立體視覺技術(shù)進(jìn)行預(yù)處理在一般非結(jié)構(gòu)化環(huán)境下定位行人位置。系統(tǒng)首先將采集到的左、右圖像進(jìn)行邊緣提取、二值化和形態(tài)水平膨脹,然后將左幅圖像的每行與右幅圖像每行進(jìn)行匹配,計算左右特征圖像中相應(yīng)行的相關(guān)性用來計算他們之間的偏移量。最后找到兩幅圖像中相應(yīng)成分的偏移量,右幅圖像偏移相同偏移量與左幅圖像相應(yīng)的行人區(qū)域進(jìn)行特征匹配,根據(jù)垂直直方圖和水平直方圖確定行人區(qū)域的邊界。也有一些行人檢測系統(tǒng)常用立體視覺來尋找感興趣區(qū)域,以便后續(xù)模式分類或利用立體視覺根據(jù)對稱性用來驗(yàn)證步驟探測到的定人區(qū)域。如美國梅隆大學(xué)的LiangZhao和E1Thorpe首先對經(jīng)過圖像進(jìn)行拉普拉斯運(yùn)算,利用區(qū)域相關(guān)性計算視差映射圖;然后視差值可以按照不同等級進(jìn)行搜尋。通過距離閾值從視差圖像中排除背景目標(biāo),然后采用形態(tài)相近算子去除噪聲并平滑前景圖像區(qū)域。最后將所有探測到的可能含有行人目標(biāo)的方框區(qū)域輸入到訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)行行人識別。3.6神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)在行人識別技術(shù)中的應(yīng)用主要是對利用視覺信息探測到的可能含有行人區(qū)域進(jìn)行分類識別。如LiangZhao和E1Thorpe首先利用立體視覺進(jìn)行目標(biāo)區(qū)域分割,然后合并和分離子目標(biāo)候選圖像成滿足行人尺