基于車載機(jī)器視覺的汽車安全技術(shù)

1、基于車載機(jī)器視覺的汽車安全技術(shù) 1初秀民,嚴(yán)新平,萬劍,毛喆武漢理工大學(xué)智能交通中心,武漢(430063E-mail :摘 要:駕駛員 80%以上信息通過視覺獲得,開發(fā)基于車載機(jī)器視覺的汽車安全輔助駕駛 系統(tǒng)有助于保障汽車駕駛安全。 本文在描述汽車駕駛操作過程基礎(chǔ)上, 根據(jù)信息獲取范圍將 汽車安全輔助駕駛的機(jī)器視覺分為:外部信息的機(jī)器視覺與內(nèi)部信息的機(jī)器視覺技術(shù), 包括:視覺增強(qiáng)、視野擴(kuò)展、道路環(huán)境理解、視線跟蹤與駕駛疲勞監(jiān)測,并綜述國內(nèi)外研究現(xiàn)狀。 最后分析了汽車安全輔助駕駛系統(tǒng)中機(jī)器視覺技術(shù)當(dāng)前研究不足, 認(rèn)為:低能見度駕駛員視 覺增強(qiáng)方法、道路環(huán)境理解信息融合以及駕駛疲勞檢測等技術(shù)需進(jìn)一

2、步開展研究。關(guān)鍵詞:道路安全,駕駛員視覺,汽車安全輔助駕駛,機(jī)器視覺中圖分類號:X924. 2 文獻(xiàn)標(biāo)識碼:A 分類與代碼:620. 50300 引言隨著我國道路交通事業(yè)發(fā)展迅猛,汽車保有量已超過 1.5億輛,并且保持繼續(xù)增長的趨 勢。 道路交通運(yùn)輸?shù)呐畈l(fā)展為我國的運(yùn)輸事業(yè)提供了強(qiáng)有力的支撐, 但同時也帶來了巨大 的交通安全隱患。 以我國 2006年的道路交通事故統(tǒng)計數(shù)據(jù)為例, 全國共發(fā)生交通事故 378718次,直接損失 14.9億元。道路交通事故已成為各種事故之首,是建立交通運(yùn)輸安全可持續(xù) 發(fā)展的交通體系的重大阻礙。 因此, 通過技術(shù)手段建立道路交通安全保障系統(tǒng)以減少交通事 故是是當(dāng)務(wù)之

3、急。 在近幾年國內(nèi)外召開的智能運(yùn)輸系統(tǒng)、 智能車輛等國際會議中, 道路交通 安全保障技術(shù)研究已經(jīng)成為熱點(diǎn), 特別是基于人和車的道路交通安全保障技術(shù)已受到廣泛關(guān) 注。 本文在剖析駕駛過程中駕駛員視覺功能的基礎(chǔ)上, 對基于車載機(jī)器視覺的各種汽車安全 技術(shù)的研究現(xiàn)狀進(jìn)行介紹與分析,并展望該領(lǐng)域的發(fā)展趨勢。1 駕駛過程描述根據(jù)人行為的刺激 機(jī)體一反應(yīng)經(jīng)典模式,駕駛汽車的行為可分為三個階段,如圖 1所示,即感知階段、判斷決策階段和操作階段。在感知階段,駕駛員對實(shí)時的交通狀態(tài)信息 進(jìn)行獲取和初步理解, 通過感覺器官感知汽車的運(yùn)行環(huán)境條件; 在判斷決策階段, 駕駛員結(jié)1本科題得到高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基

4、金(20050497009的資助。 合駕駛經(jīng)驗(yàn)和技能, 通過中樞神經(jīng)系統(tǒng)分析判斷, 確定有利于汽車安全行駛的措施; 在操作 階段,駕駛員依據(jù)判斷決策,通過運(yùn)動器官作出實(shí)際反應(yīng)和行動。汽車行駛時,駕駛行為是 這三個階段所組成的一個不斷往復(fù)進(jìn)行的信息處理過程, 也就是感知作用于判斷決策從而影 響到操作。 感知階段是保證安全駕駛的基礎(chǔ)。 如果沒有感知到準(zhǔn)確和及時的環(huán)境信息, 極有 可能導(dǎo)致判斷決策和動作的失誤,釀成交通事故。在感知階段獲取信息主要靠視覺、觸覺、 嗅覺和聽覺,其中 80%以上是通過駕駛員視覺獲取信息的。駕駛視覺直接影響感知信息量 的廣度、深度和準(zhǔn)確性,因此,駕駛員的視覺特性與行車安全有

5、直接的聯(lián)系?；谲囕d機(jī)器 視覺的汽車安全輔助駕駛技術(shù)旨在提高駕駛員視覺效能,通過改善視覺和駕駛行為的關(guān)系, 并輔助駕駛以減少因視覺原因帶來不當(dāng)操作,從而使人 -車 -路系統(tǒng)更加穩(wěn)定可靠,提高車輛 的主動安全性?；谲囕d機(jī)器視覺的汽車安全技術(shù)從作用的范圍劃分:車輛外部信息的機(jī)器視覺輔助 駕駛技術(shù), 其實(shí)質(zhì)是通過機(jī)器視覺系統(tǒng)彌補(bǔ)駕駛員視覺性能上的某些缺陷, 并提高視覺感知 理解能力或者矯正因駕駛員視覺失誤帶來的錯誤操作; 車輛內(nèi)部部信息的機(jī)器視覺輔助駕 駛技術(shù),通過監(jiān)控駕駛員的視覺行為與機(jī)能,保障駕駛員通過視覺準(zhǔn)確地獲取交通信息。2車輛外部信息的機(jī)器視覺輔助駕駛技術(shù)人眼的作用能力是有限的, 獲得通

6、過一系列車輛外部信息的機(jī)器視覺輔助駕駛技術(shù)可以 提高視覺適應(yīng)性、增加視覺范圍、增強(qiáng)視覺理解深度。從車輛操作過程來劃分 , 車輛外部信 息的機(jī)器視覺輔助駕駛技術(shù)的研究包括 :(1駕駛環(huán)境的視覺增強(qiáng)與擴(kuò)展; (2駕駛環(huán)境的 機(jī)器視覺識別。2.1 駕駛環(huán)境的視覺增強(qiáng)與擴(kuò)展及顯示視覺增強(qiáng)系統(tǒng)是智能交通系統(tǒng)中先進(jìn)車輛控制技術(shù)之一,能夠提供在不同氣候 (霧天, 雨天,沙塵 、一天中不同的時間的增強(qiáng)駕駛員視覺。一般有兩種增強(qiáng)方法:通過傳感器 感知系統(tǒng)來監(jiān)控道路交通環(huán)境, 處理信息而得到實(shí)時道路交通狀況, 并將相關(guān)的視覺信息提 供給駕駛員, 從而達(dá)到智能視覺增強(qiáng)的目的; 通過改善駕駛員的視覺環(huán)境, 提高駕駛員

7、視 覺效果。 主要是除去擋風(fēng)玻璃上的雨水和霜、 提高汽車前照燈的智能化等, 達(dá)到增強(qiáng)低能見 度、低照度等不利條件下的駕駛員視覺目的。利用人眼的視覺特性,采用 CCD 、紅外傳感器、車速傳感器、 GPS 及毫米波雷達(dá)等傳 感器獲取道路信息, 進(jìn)行信息處理和融合, 提取低能見度、 低照度下交通環(huán)境的有用信息并 剔除噪聲,并以圖像的形式提供給駕駛員。低能見度視覺增強(qiáng)系統(tǒng)最早應(yīng)用在飛機(jī)著陸中, 二十世紀(jì) 80 年代末期至 90 年代初期 , 人們提出了視景系統(tǒng) (Vision System 概念。采用不同 手段和不同綜合方法構(gòu)成的視景系統(tǒng)分為:(1傳感器視景系統(tǒng)(Sensor VS前視傳感器實(shí)時檢測到

8、的駕駛艙外視見景象, 可以由單傳感器生成或多傳感器綜合, 其 視景接近真實(shí)世界的自然景象。(2合成視景系統(tǒng)(SVS 由地形數(shù)據(jù)庫存儲的地形模型構(gòu)建的虛擬視景稱為合成視景(SV 。(3增強(qiáng)視景系統(tǒng)(EVS 傳感器視景和合成視景的疊合稱為增強(qiáng)視景(Enhanced vision 。既有實(shí)時探測到的自然視景, 也有數(shù)據(jù)庫生成的虛擬視景, 兩者匹配疊合, 即利用虛擬視景的深刻輪廓線去增強(qiáng) 模糊視景,包括了 Sensor VS 和 SVS 兩個系統(tǒng),它們在惡劣的氣象條件下可以增強(qiáng)窗外視 景的可見性 1。隨著智能交通運(yùn)輸系統(tǒng)的發(fā)展與應(yīng)用, (是否去掉視覺增強(qiáng)技術(shù)在低能見度條件下的 車輛安全輔助駕駛系統(tǒng)中得

9、到應(yīng)用如美國的 Galaxy 科技公司開發(fā)了由有紅外傳感器、顯示 系統(tǒng)、無線通信系統(tǒng)、 GPS 等組成的駕駛員視覺增強(qiáng)裝置用于煙霧條件下?lián)岆U車輛。近年 來由于成像雷達(dá)傳感器相對于前視紅外成像傳感器具有更好的云霧及惡劣天氣穿透能力 , 國 外開始全力發(fā)展用于惡劣天氣條件下視景增強(qiáng)雷達(dá)系統(tǒng) , 并且已取得了新的重大進(jìn)展。美國 波音公司與 Nav3D 聯(lián)合在 2002年開發(fā)了一套視覺增強(qiáng)系統(tǒng)用于低能見度條件下軍用直升飛 機(jī)降落導(dǎo)航和軍用車輛的導(dǎo)航,系統(tǒng)由圖像傳感器、毫米波雷達(dá)、 GPS 等組成 2。在視覺增 強(qiáng)系統(tǒng)中圖像處理技術(shù)是常用的技術(shù)手段之一。為探測霧天的能見度,文獻(xiàn) 3研究了基于 車載攝像機(jī)

10、的能見度檢測方法,用于駕駛安全預(yù)警。針對霧天下拍攝圖像的退化現(xiàn)象 , 文獻(xiàn) 4提出了一種景物影像清晰化的方法,用移動模板對不同深度的場景進(jìn)行分割 , 以對模板中 的區(qū)域進(jìn)行塊重疊直方圖均化衡處理。根據(jù)圖像的灰度分布特性 , 求出天空區(qū)域灰度的最佳 近似正態(tài)分布 , 再由這個近似正態(tài)分布估計來得到分割天空區(qū)域的灰度值分布范圍 , 以增強(qiáng)景 物細(xì)節(jié)信息;文獻(xiàn) 5則根據(jù)圖像本身估計出圖像退化的物理過程來增強(qiáng)圖像。在霧天能見 度較差條件下, 單視覺傳感器獲取道路環(huán)境圖像退化較為嚴(yán)重時, 圖像增強(qiáng)的效果不一定理 想, 因此基于多源信息融合的圖像增強(qiáng)得到廣泛關(guān)注。 美國國防高級研究計劃局負(fù)責(zé)實(shí)施的 戰(zhàn)略計

11、算機(jī)計劃中的幾個主要示范系統(tǒng) (如自主式地面戰(zhàn)車,自動目標(biāo)識別系統(tǒng) 都將多種偵 察儀器的圖像信息融合技術(shù)作為重要的研究內(nèi)容 ; 美國德克薩斯儀器公司研究將紅外熱圖像 和微光圖像融合,來提高夜戰(zhàn)能力。文獻(xiàn) 6分析了環(huán)境和氣候等因素對毫米波雷達(dá)和紅外 傳感器性能的影響,獲得了兩類傳感器的環(huán)境及氣候模型。在此基礎(chǔ)上 , 提出了一種基于各 傳感器性能模型的紅外 /毫米波復(fù)合自動生成算法。文獻(xiàn) 7采用短波紅外攝像機(jī)和長波紅外 攝像機(jī)以及彩色攝像機(jī)構(gòu)成多譜圖像采集系統(tǒng),針對多源圖像信息融合中圖像信息匹配問 題,提出了采用幾何參數(shù)修正的方法。文獻(xiàn) 8采用車載攝像機(jī)、 GPS 等構(gòu)建了視覺增強(qiáng)研 究平臺,研究

12、霧天駕駛員視覺增強(qiáng)方法。低照度視覺增強(qiáng)系統(tǒng)目前技術(shù)已經(jīng)非常成熟, 產(chǎn)品已經(jīng)實(shí)用化如林肯領(lǐng)航者汽車安裝有 “ 夜眼 ”(NightEye攝像機(jī)可在低照度條件下,在汽車處于倒檔時工作,即使在近乎黑暗的情 況下也能提供車后近距離內(nèi)的細(xì)小影像。視覺增強(qiáng)系統(tǒng)中第二種方法主要是除去擋風(fēng)玻璃上的雨水和霜、 提高汽車前照燈的智能 化等,達(dá)到增強(qiáng)低能見度、低照度等不利條件下的駕駛員視覺目的 9。該方法目前很多技術(shù) 處于實(shí)際運(yùn)用與不斷更新階段, 如智能雨刷系統(tǒng), 智能雨刷系統(tǒng)以發(fā)光二極管對前擋風(fēng)玻璃 發(fā)出光束, 當(dāng)雨滴打在感應(yīng)區(qū)的玻璃上時, 光束所反射的光線強(qiáng)度, 會因玻璃上的雨量或濕 氣含量而有所變化,改變雨刷

13、的刷動頻率;或透過紅外線電子雨量傳感器感應(yīng)雨量的多寡, 并隨車速的變化自動調(diào)整雨刷速度, 增進(jìn)駕駛?cè)说鸟{駛方便性, 讓駕駛更有安全性。 準(zhǔn)確判 別前擋風(fēng)玻璃面積雨量, 是智能雨刷系統(tǒng)的關(guān)鍵。 針對現(xiàn)有雨量傳感器檢測前擋風(fēng)玻璃面積 區(qū)域有限, 文獻(xiàn) 10采用車載攝像機(jī)獲取雨天中前擋風(fēng)玻璃面積序列圖像, 設(shè)定感興趣區(qū)域, 利用模板匹配的方法對連續(xù)多幀圖像進(jìn)行雨滴識別,從而獲取精確雨量信息。視覺擴(kuò)展是對駕駛員視覺進(jìn)行補(bǔ)償, 運(yùn)用視覺等傳感器擴(kuò)展駕駛員視野范圍, 如福特公 司的 CamCar ,采用多個微小的攝像機(jī)和三個可切換的視頻顯示屏為駕駛員提供了前、后視 線, 方便停車時的操作, 提高在擁擠的交

14、通中行駛的安全性。 CamCar 的技術(shù)特點(diǎn)包括:(1 前向攝像機(jī)系統(tǒng)。裝在汽車的兩側(cè),提供繞過障礙物的視野。覆蓋角可達(dá) 22°,在 300m 的 距離上相當(dāng)于 116m 寬的視場。 (2增強(qiáng)的側(cè)面視野。 CamCar 攝像機(jī)系統(tǒng)的第二個部分由 兩臺后向攝像機(jī)組成, 這兩臺攝像機(jī)不間斷地提供相鄰車道的后向視野。 其覆蓋范圍比傳統(tǒng) 的后視鏡寬廣得多。 這樣, 駕駛員在換道前就能對后面駛來的車輛加以監(jiān)測。 這種后向視野 事實(shí)上沒有盲點(diǎn)。 后向攝像機(jī)裝在汽車側(cè)面, 和側(cè)視鏡差不多。 其鏡頭可以提供一個較廣闊 的視野,每側(cè)攝像機(jī)的覆蓋角為 49°。 (3車后全景視圖。 CamCar

15、 的后向視野是通過精確 設(shè)計安裝在車后的 4個微型攝像機(jī)得到加強(qiáng)。 4個攝像機(jī)呈扇形展開,以 4個分開的圖像, 來捕獲車后一個很寬的區(qū)域內(nèi)的路面情況。 這些圖像被送入一個復(fù)雜的計算機(jī)程序中進(jìn)行比 較和疊加, 然后合成一個無縫的全景視圖, 總覆蓋角可達(dá) 160°11-12。 泊車輔助系統(tǒng) (Parking Assistance System也是一種常見的視野擴(kuò)展系統(tǒng)。在泊車輔助系統(tǒng)中傳感器探測前方、側(cè) 方、后方的肓點(diǎn)環(huán)境信息,包括倒車時后方障礙信息,如相對位置、距離、大小等,以圖像 顯示或聲音提示的方式提供給駕駛員。道路環(huán)境圖像顯示和道路環(huán)境報警設(shè)備是駕駛員和車輛間交互的接口, 其設(shè)計

16、應(yīng)具有良 好的人因特性。目前車載的信息顯示設(shè)備主要有兩種:低頭顯示器(head down display和 抬頭顯示器 (head-up display , 其中低頭顯示器主要應(yīng)用在車載導(dǎo)航系統(tǒng)和多媒體系統(tǒng)中, 其設(shè)計與應(yīng)用比較成熟。如福特公司的 CamCar 的儀表板上設(shè)有三個視頻顯示屏,一個中心 顯示屏和兩個側(cè)面附加顯示屏。 顯示的圖像可以根據(jù)具體情況加以改變, 以便為駕駛員提供 最重要的信息。 而抬頭顯示器多用于汽車安全輔助駕駛顯示系統(tǒng)中, 可便于駕駛員在汽車高 速行駛時, 快速瀏覽屏幕上的道路環(huán)境與警示信息, 其設(shè)計尚處于開發(fā)、 完善階段。 在國外, 文獻(xiàn) 13在駕駛模擬器上模擬霧天高

17、速公路駕駛環(huán)境,通過 12名駕駛員的駕駛實(shí)驗(yàn),探討使 用低頭顯示器和抬頭顯示器時的駕駛員的工作負(fù)荷。文獻(xiàn) 14通過陌生城市道路環(huán)境的道路 駕駛實(shí)驗(yàn)證明抬頭顯示器便捷性優(yōu)于普通的車載顯示器, 同時研究了基于人體參數(shù)的抬頭顯 示器位置設(shè)計方法。在國內(nèi),文獻(xiàn) 15進(jìn)行了汽車視野擴(kuò)展顯示系統(tǒng)設(shè)計;文獻(xiàn) 16介紹了 汽車導(dǎo)航及汽車信息顯示系統(tǒng)。2.2駕駛環(huán)境的機(jī)器視覺識別駕駛環(huán)境的機(jī)器視覺識別是更高一級的汽車安全輔助駕駛技術(shù), 通過圖像傳感器識別道 路環(huán)境參數(shù)并判別行車的安全性,主要包括:車道檢測、車輛檢測、行人檢測、道路標(biāo)志檢 測等。目前車道檢測多通過道路標(biāo)線、道路邊緣的檢測實(shí)現(xiàn),在車道檢測中典型的駕

18、駛安全輔 助系統(tǒng)有車道偏離報警系統(tǒng)(Lane Departure Warning System和轉(zhuǎn)彎減速調(diào)節(jié)系統(tǒng)。 車道偏離報警系統(tǒng)由攝像機(jī)、速度傳感器、信息處理系統(tǒng)、方向盤調(diào)節(jié)器、報警系統(tǒng)等 組成。 車輛一旦有偏離車道的傾向, 便會通過指示燈及蜂鳴器向駕駛員報警。 當(dāng)根據(jù)駕駛員的轉(zhuǎn)向燈操作斷定為有意識地進(jìn)行車道變更時, 便會暫時停止報警。 可切斷系統(tǒng)開關(guān), 但車 輛再次起動時系統(tǒng)便會自動開始工作。 車道偏離報警系統(tǒng)多采用單目攝像機(jī)探測道路標(biāo)線圖 像,為增加系統(tǒng)檢測道路標(biāo)線的可靠性,日本汽車研究所 ITS 中心探索利用雙目 CCD 攝像 機(jī)和實(shí)時差分 GPS 系統(tǒng)檢測運(yùn)行車輛偏離道路標(biāo)線情況。

19、在國內(nèi)為提高不同光線下道路標(biāo) 線的識別精度,文獻(xiàn) 17運(yùn)用神經(jīng)網(wǎng)絡(luò)方法識別道路標(biāo)線;為提高道路標(biāo)線識別的實(shí)時性, 文獻(xiàn) 18研究了基于 HSV 顏色模型的道路標(biāo)線檢測算法和 DSP 的實(shí)現(xiàn)。在沒有道路標(biāo)線或 不清晰的道路中,確定車輛安全行車域往往是通過檢測道路邊緣實(shí)現(xiàn)的。文獻(xiàn) 19提出了一 種基于不確定性知識的實(shí)時道路理解算法 , 該算法通過不確定性知識推理來融合多種信息 和知識 , 以滿足在復(fù)雜道路環(huán)境下的魯棒性要求。轉(zhuǎn)彎減速調(diào)節(jié)系統(tǒng)可檢測轉(zhuǎn)彎車輛經(jīng)由路面的轉(zhuǎn)彎半徑及曲率, 將信息通知給駕駛員或 相應(yīng)地自動調(diào)節(jié)車輛減速 20。轉(zhuǎn)彎減速調(diào)節(jié)系統(tǒng)主要有兩種:主動式和誘導(dǎo)式。主動式系 統(tǒng)是通過車載

20、傳感器如攝像機(jī)、 激光、 車速等傳感器主動探測前方道路彎道信息, 而引導(dǎo)式 系統(tǒng)則是通過車載信息接收系統(tǒng)如 GPS 接收機(jī)接收車輛當(dāng)前位置信息通過查詢道路電子地 圖獲取前方道路彎道信息或通過無線信號接收器直接接收外部道路誘導(dǎo)系統(tǒng)發(fā)布的信號。 日 本的幾家汽車公司在此領(lǐng)域進(jìn)入深入研究, 并取得了一些實(shí)用化成果。 馬自達(dá)公司的方案是 采用主動式系統(tǒng)。當(dāng)車輛接近轉(zhuǎn)彎時,系統(tǒng)計算出一個足夠安全車速,以便處理轉(zhuǎn)彎,并根 據(jù)來自路標(biāo)信息, 估計到彎道開始點(diǎn)的距離。 如果車速傳感器檢測證明車速超過估計的安全 速度,系統(tǒng)則發(fā)出警報信號,如駕駛員未減速,系統(tǒng)將自動操作制動。本田公司與三菱公司 使用引導(dǎo)式系統(tǒng)。

21、本田公司的轉(zhuǎn)彎減速調(diào)節(jié)系統(tǒng)在地圖數(shù)據(jù)警告駕駛員有彎道時, 選擇合適 速度。如需減速,則發(fā)出警告信號,道路曲線圖形顯示在風(fēng)窗玻璃顯示器上。三菱公司的轉(zhuǎn) 彎減速調(diào)節(jié)系統(tǒng)利用車載信號接收器接收從路邊發(fā)射的逼近拐彎和道路曲線信號, 并警告駕 駛員減速。如果駕駛員忽視警告,系統(tǒng)將自動地降低車速。文獻(xiàn) 21分析了汽車在道路曲線 行駛時的一些動力學(xué)特性,為設(shè)計汽車道路曲線預(yù)警系統(tǒng)提供技術(shù)支持。在國內(nèi),文獻(xiàn) 22利用圖像識別技術(shù)研究高速公路道路曲線識別, 提出了一種有效的基于區(qū)域生長和曲線擬合 的道路曲線識別算法;文獻(xiàn) 23等在自動公路系統(tǒng)研究中,利用磁道釘編碼傳輸?shù)缆非€信 息。車輛檢測是利用各種傳感器探測

22、前方、 側(cè)方、 后方的車輛的信息, 包括前后方車輛速度、 位置以及障礙物的大小位置等。 與此相關(guān)的汽車駕駛安全輔助支持系統(tǒng)有自適應(yīng)巡航控制系 統(tǒng)(ACC , adaptive cruise control system 、前向碰撞預(yù)警系統(tǒng)(FCW , Forward Collision Warning 、橫向碰撞預(yù)警系統(tǒng)(LDW , Lateral Drift Warning ,泊車輔助系統(tǒng)(Parking Assistance System 。在 ACC 和 FCW 中采用 77GHZ 微波雷達(dá)或攝像機(jī)采集道路前方信息,并 融合道路幾何線形、電子地圖數(shù)據(jù)作為汽車巡航控制的輸入信號或顯示給駕駛

23、員。在 LDW 中采用攝像機(jī)、 前方探測雷達(dá)、 側(cè)向探測雷達(dá)采集本車前向和側(cè)向信息, 并融合道路寬度等 數(shù)據(jù),作為 LDW 系統(tǒng)輸入數(shù)據(jù)。在泊車輔助系統(tǒng)中采用超聲傳感器或雷達(dá)探測本車后方與 側(cè)方的障礙物信息,并顯示給駕駛員。在日本的 ASV (Advanced Safety Vehicle 、美國的 IVI (Intelligent Vehicle Initiative 、歐洲的 e-Safety 項(xiàng)目中 ACC 、 FCW 、 LDW 、泊車輔助系統(tǒng)等 均有研究。道路交通標(biāo)志為重要的道路交通安全附屬設(shè)施,可向駕駛員提供各種引導(dǎo)和約束信息。 駕駛員實(shí)時地正確地獲取交通標(biāo)志信息, 可保障行車更加

24、安全。 在汽車安全輔助駕駛系統(tǒng)中 交通標(biāo)志的探測是通過圖像識別系統(tǒng)實(shí)現(xiàn)的。戴姆勒 ·克萊斯勒公司目前正開展新一代圖像 識別系統(tǒng)研究, 該系統(tǒng)在道路標(biāo)志方法上首先對形狀進(jìn)行判斷, 然后再讀取上述形狀中的文 字和圖形信息, 以做出最終判斷。 在難以對標(biāo)志進(jìn)行判斷時, 駕駛員也可利用事先記錄的道 路標(biāo)識相關(guān)電子地圖數(shù)據(jù)進(jìn)行識別。 寶馬公司在 ADAS (Advanced Driver Assistance Systems 項(xiàng)目研究中, 也利用圖像識別技術(shù)進(jìn)行了交通標(biāo)志的研究, 此外日本豐田公司也積極進(jìn)行交 通標(biāo)志自動識別系統(tǒng)的研發(fā)。 國外, 許多研究人員在交通標(biāo)志圖像識別算法研究中進(jìn)行了多

25、 方面的探索。交通標(biāo)志圖像識別包括交通標(biāo)志定位(即確定感興趣區(qū)域 、分類器設(shè)計等幾 個過程。 交通標(biāo)志與背景的顏色以及交通標(biāo)志的形狀在交通工程標(biāo)準(zhǔn)中有明確的規(guī)定, 因此 可根據(jù)交通標(biāo)志顏色和形狀進(jìn)行定位研究。文獻(xiàn) 25利用模板匹配算法確定交通標(biāo)志位置; 由于交通標(biāo)志種類多, 拍攝交通標(biāo)志圖像環(huán)境影響因素多, 在交通標(biāo)志模式分類器設(shè)計研究 中多為非線性分類器, 如文獻(xiàn) 26等利用徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計標(biāo)志模式分類器。 在國內(nèi), 文獻(xiàn) 28利用數(shù)學(xué)形態(tài)學(xué), 提取交通標(biāo)志形態(tài)骨架, 并利用匹配算法識別交通標(biāo)志; 文獻(xiàn) 30在交通標(biāo)志的識別研究中提出了基于集合變換 (即數(shù)學(xué)形態(tài)學(xué)和二值有序統(tǒng)計 的交通

26、標(biāo)志 形狀幾何特征的數(shù)值描述方法。文獻(xiàn) 31運(yùn)用小波變換提取轉(zhuǎn)彎指示道路標(biāo)志圖像特征信 息,進(jìn)而實(shí)現(xiàn)其自動識別。車輛輔助駕駛系統(tǒng)中基于計算機(jī)視覺的行人檢測是指利用安裝在運(yùn)動車輛上的攝像機(jī) 獲取車輛前面的視頻信息, 然后從視頻序列中檢測出行人的位置。 基于計算機(jī)視覺的行人檢 測系統(tǒng)一般包括 ROIs 分割和目標(biāo)識別兩個模塊。 ROIs 分割的目的是快速確定行人可能出現(xiàn) 的區(qū)域, 縮小搜索空間, 目前常用的方法是采用立體攝像機(jī)或雷達(dá)的基于距離的方法, 其優(yōu) 點(diǎn)在于速度比較快。目標(biāo)識別的目的是在 ROIs 中精確檢測行人的位置,目前常用的方法是 基于統(tǒng)計分類的形狀識別方法, 其優(yōu)點(diǎn)在于比較魯棒。 由

27、于它在行人安全方面的巨大應(yīng)用前 景, 歐盟從 2000年到 2005年連續(xù)資助了 PROTECTOR 和 SAVE-U 項(xiàng)目, 開發(fā)了兩個以計算機(jī) 視覺為核心的行人檢測系統(tǒng); 意大利 Parma 大學(xué)開發(fā)的 ARGO 智能車也包括一個行人檢測模 塊; 以色列的 MobilEye 公司開發(fā)了芯片級的行人檢測系統(tǒng); 日本本田汽車公司開發(fā)了基于紅 外攝像機(jī)的行人檢測系統(tǒng) ; 在國內(nèi)西安交通大學(xué)、清華大學(xué)、吉林大學(xué)也在該領(lǐng)域做了許多 研究工作 32-34。3 車輛內(nèi)部信息的機(jī)器視覺輔助駕駛技術(shù)車輛內(nèi)部信息的機(jī)器視覺輔助駕駛技術(shù)是通過車載的視像機(jī)判別駕駛員的狀態(tài)、 位置等 信息,實(shí)施必要的安全保障措施,

28、包括駕駛員視線調(diào)節(jié)以及駕駛疲勞檢測等。3.1視線調(diào)節(jié)駕駛員的視線調(diào)節(jié)是使每位駕駛員的眼睛處于同樣的相對高度上, 保證提供一個對路面 和周圍車道的無阻礙視野和最好的視見度,從而保障駕駛安全。該技術(shù)包括:(1 眼位傳感 器可以測定駕駛員眼睛的位置,然后據(jù)此確定、調(diào)節(jié)座椅的位置; (2 電機(jī)將座椅自動升降 到最佳高度上,為駕駛員提供能夠掌握路面情況的最佳視線; (3 電機(jī)自動調(diào)整轉(zhuǎn)向盤、踏板、 中央控制臺甚至地板高度, 提供盡可能舒適的駕駛位置。 在一些高檔轎車上視線調(diào)節(jié)系 統(tǒng)已經(jīng)得到應(yīng)用, 如沃爾沃視線調(diào)節(jié)系統(tǒng), 由位于風(fēng)窗上飾板內(nèi)的一個視頻攝像機(jī)掃描駕駛 員的座椅區(qū)域以查找一個代表駕駛員臉部的模

29、式, 進(jìn)而對駕駛員臉部進(jìn)行掃描以確定其眼睛 的位置,然后再找出各眼的中心,完成這三步工作時所需要的時間不到 1s 。3.2 疲勞與分神檢測由于疲勞駕駛是重大交通事故主要原因, 國內(nèi)外研究機(jī)構(gòu)紛紛開展該領(lǐng)域的研究。 疲勞 的與清醒的駕駛相比,較有特異性的指標(biāo)是:方向盤的微調(diào),頭部前傾,眼瞼的眨動、甚至 閉合。 在目前駕駛疲勞檢監(jiān)測系統(tǒng)研究中, 多采用車載機(jī)器視覺系統(tǒng)監(jiān)測人體姿態(tài)和操作行 為信息,判別疲勞狀態(tài)。在歐洲的 e-Safety 項(xiàng)目中開發(fā)了 AWAKE 駕駛診斷系統(tǒng)。該系統(tǒng)利 用視覺傳感器和方向盤操縱力傳感器實(shí)時獲取駕駛員信息, 并利用人工智能算法判斷駕駛員 的狀態(tài) (清醒、可能打瞌睡、

30、打瞌睡 。當(dāng)駕駛員處于疲勞狀態(tài)時,通過聲音、光線、振動等 刺激駕駛員,使其恢復(fù)清醒狀態(tài)。文獻(xiàn) 34通過自行開發(fā)的專用照相機(jī)、腦電圖儀和其他儀 器來精確測量頭部運(yùn)動、 瞳孔直徑變化和眨眼頻率, 用以研究駕駛疲勞問題。 研究結(jié)果表明:一般情況下人們眼睛閉合的時間在 0.120.13 s之間, 駕駛時若眼睛閉合時間達(dá)到 0.15s 就 很容易發(fā)生交通事故。在國內(nèi),也有多家研究單位開展駕駛疲勞的研究,文獻(xiàn) 35利用機(jī)器 視覺的方法對駕駛員的眼睛特征進(jìn)行實(shí)時跟蹤從而判斷駕駛員的精神狀態(tài)。由于駕駛行為可以并在一定程度上反映駕駛員的疲勞狀態(tài)狀態(tài)。 一些研究人員從駕駛行 為的角度研究駕駛疲勞監(jiān)控。 法國從 2

31、000 年開始已聯(lián)手研制基于駕駛行為的駕駛員注意力 下降監(jiān)測系統(tǒng),通過聲音或光信號提醒駕駛員。該系統(tǒng)采用的傳感器有:視頻傳感器 (不間 斷的測量并分析汽車與旁側(cè)車道白線間的距離 、 方向盤傳感器 (監(jiān)控方向盤的活動情況 、 剎 車傳感器 (監(jiān)控腳踏板上的壓力狀況 等;文獻(xiàn) 36通過視覺傳感器測量駕駛員駕駛時方向盤 的運(yùn)動參數(shù)來判別駕駛員的安全因素。4 當(dāng)前研究不足隨著人們對道路交通安全性要求的提高, 基于車載機(jī)器視覺的汽車安全輔助駕駛系統(tǒng)的開 發(fā)已經(jīng)得到廣泛的關(guān)注, 一些汽車安全輔助駕駛系統(tǒng)如駕駛員視野擴(kuò)展系統(tǒng)、 車道仿偏離系 統(tǒng)、 車載夜視系統(tǒng)等已經(jīng)市場化。 但由于汽車安全駕駛是一個人車路相

32、互藕合的復(fù)雜過程以 及各種先進(jìn)技術(shù)的應(yīng)用成本等問題, 目前基于車載機(jī)器視覺的汽車安全輔助駕駛系統(tǒng)尚有多 方面的不足,如:(1駕駛員視覺增強(qiáng)方面目前駕駛員視覺系統(tǒng)研究多集中在低照度方面, 而低能見度方面研究較少, 低能見度 道路圖像恢復(fù)、多源圖像融合、基于傳感器的道路視景合成、顯示器設(shè)計理論,以及駕駛員 視覺增強(qiáng)系統(tǒng)產(chǎn)品設(shè)計等方面均需要開展研究。(2駕駛環(huán)境理解方面盡管有些基于車道檢測和車輛周邊信息檢測的汽車安全輔助駕駛支持系統(tǒng)技術(shù)已經(jīng)實(shí) 用化, 但如何采用多傳感器信息融合、 人工智能等提高車道、 車輛周邊信息感知的準(zhǔn)確性與 魯棒性仍需探索;同時交通標(biāo)志與行人檢測汽車安全輔助駕駛支持系統(tǒng)目前尚處

33、于研發(fā)中, 交通標(biāo)志與行人動態(tài)圖像識別算法需完善。(3駕駛疲勞監(jiān)測方面駕駛疲勞有多種表現(xiàn)形態(tài),駕駛室環(huán)境光線條件多變,單獨(dú)采用視覺傳感器識別駕駛疲勞效果并不理想,有必要利用信息融合技術(shù)提高駕駛疲勞的準(zhǔn)確性。5 結(jié)論與研究展望駕駛員 80%以上信息通過視覺獲得,針對駕駛員視覺的不足,開發(fā)基于車載機(jī)器視覺 的汽車安全輔助駕駛系統(tǒng)一直是智能交通的研究熱點(diǎn)之一,文中對該領(lǐng)域技術(shù)現(xiàn)狀進(jìn)行綜 述,結(jié)論如下:1分析駕駛操作過程,并對駕駛操作的三個階段進(jìn)行描述;2根據(jù)信息獲取范圍將汽車安全輔助駕駛分為:外部信息的機(jī)器視覺與內(nèi)部信息的機(jī)器視 覺技術(shù)。外部信息的機(jī)器視覺技術(shù)分為:視覺增強(qiáng)、視野擴(kuò)展、道路環(huán)境理解,

34、內(nèi)部信息的 機(jī)器視覺技術(shù)分為:視線跟蹤與駕駛疲勞監(jiān)測, 綜述汽車安全輔助駕駛系統(tǒng)中機(jī)器視覺技術(shù) 的研究現(xiàn)狀;3分析了汽車安全輔助駕駛系統(tǒng)中機(jī)器視覺技術(shù)當(dāng)前研究不足,指出:低能見度駕駛員視 覺增強(qiáng)方法、道路環(huán)境理解信息融合以及駕駛疲勞檢測等技術(shù)需進(jìn)一步開展研究。針對基于車載機(jī)器視覺研究不足, 隨著機(jī)器視覺、 汽車電子等技術(shù)的發(fā)展, 建議開展 以下幾方面的研究:1開展低能見度道路圖像清晰度退化機(jī)理、圖像增強(qiáng)算法與實(shí)時實(shí)現(xiàn)方法以及基于 可見光與紅外視覺傳感器的道路圖像融合技術(shù)研究, 解決低能見度道路圖像增強(qiáng)問題; 利用 GPS 獲取道路參數(shù)、利用車載毫米波雷達(dá)獲取前方車輛運(yùn)動信息、采用虛擬現(xiàn)實(shí)技術(shù)并

35、結(jié) 合視覺傳感器的信息, 實(shí)現(xiàn)道路場景的合成技術(shù)。 同時, 開展基于車載機(jī)器視覺的道路能見 度與雨量識別技術(shù)研究,為智能車燈和雨刷提供新的交通環(huán)境探測方法途徑。2 駕駛模擬器是當(dāng)前研究駕駛員在回路的汽車安全輔助駕駛系統(tǒng)工效性的主要工具, 建議利用駕駛模擬器開展駕駛員視覺模型,為駕駛員視覺增強(qiáng)系統(tǒng)產(chǎn)品設(shè)計提供理論基礎(chǔ)。 同時,開展駕駛員人機(jī)交互借口人因特性評價方法研究。3針對光線不均等機(jī)器視覺識別道路不理想的狀況,開展低成本的機(jī)器視覺與慣性 導(dǎo)航融合技術(shù)研究, 提高車道信息感知如車道偏離檢測、 彎道檢測等的準(zhǔn)確性與魯棒性。 近 年來, 汽車微處理器技術(shù)發(fā)展迅速, 很多芯片可以直接進(jìn)行圖像信息處理

36、, 同時汽車測距的 毫米波雷達(dá)成本也不斷降低, 開發(fā)基于機(jī)器視覺與毫米波雷達(dá)的低成本車輛周邊信息安全輔 助駕駛系統(tǒng)如自適應(yīng)巡航系統(tǒng)、車載行人檢測系統(tǒng)等具有廣闊的市場前景。4道路是車輛的車載體,路面的抗滑性影響汽車行駛的安全性。在惡劣天氣下路面 濕滑、 結(jié)冰均會導(dǎo)致路面摩擦系數(shù)下降, 開展路面狀況的自主識別, 進(jìn)而主動控制車輛保障 惡劣天氣下的行車安全。5隨著車路通信技術(shù)的發(fā)展與應(yīng)用,利用路側(cè)視覺傳感器檢測路面狀況、交通狀況 等信息,并發(fā)布給駕駛員,將極大地拓展駕駛員感知駕駛環(huán)境的空間范圍。6機(jī)器視覺是目前檢測駛疲勞最有效手段之一,針對駕駛疲勞表現(xiàn)為多種形態(tài),開 展基于機(jī)器視覺的駕駛員眼睛跟蹤以

37、及駕駛行為如轉(zhuǎn)向盤操作行為的跟蹤技術(shù)研究, 融合駕 駛員的眼睛狀態(tài)信息、 車輛姿態(tài)信息、 駕駛行為信息以及駕駛員生理信息判別駕駛疲勞, 提 高駕駛疲勞判別的可靠性參考文獻(xiàn)1 劉群 . 視景增強(qiáng)雷達(dá)系統(tǒng)的發(fā)展與展望 J.現(xiàn)代雷達(dá) ,2004(4:7-112 周其煥 . 前視探測和多傳感器綜合視景系統(tǒng)在民機(jī)上的應(yīng)用 J.航空電子技術(shù) ,2002(3:1-53 Nicolas HAUTIERE et. al. Real-Time Disparity Contrast Combination for Onboard Estimation of the Visibility DistanceJ. IEE

38、E TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, VOL. 7, NO. 2, 2006:201-2124 祝培 . 朱虹等 . 一種有霧天氣圖像景物影像的清晰化方法 J.中國圖象圖形學(xué)報 , 2004(1:124-1285 Tan KK, Oakley JP. Physics-based approach to color image enhancement in poor visibility conditionsJ. J Opt Soc Am A Opt Image Sci Vis. 2001 Oct;18(10:2460-246

39、7.6 劉盛鵬 , 方勇 . 基于 Contourlet 變換和 IPCNN 的融合算法及其在可見光與紅外線圖像融合中的應(yīng)用 J. 紅外與毫米波學(xué)報 , 2007(03 :217-2217 Li Tao, Hau Ngo, Ming Zhang, et al.A multisensor image fusion and enhancement system for assisting drivers in poor lighting conditionsC. Proceedings. 34th Applied Imagery Pattern Recognition Workshop , 200

40、5:156-161 8 郝靜濤,陳先橋,初秀民 . 低能見度駕駛員視覺主動增強(qiáng)系統(tǒng)設(shè)計 J.交通與計算機(jī) ,2006(5:5-8 9 Berssenbrugge, J et al. A Night Drive Simulator for the Evaluation of a Predictive Advanced Front Lighting SystemC. Information & Communications Technology, 2006. ICICT '06. ITI 4th International Conference, 1-16 10 H. Kuriha

41、ta, T. Takahashi, Y. Mekada, I. Ide, H. Murase,Y. Tamatsu and T. Miyahara. Rainy Weather Recognition from In-Vehicle Camera Images for Driver AssistanceC.Proc. IEEE Intelligent Vehicles Symposium 2005: 204-209.13 V . Charissis and S. Papanastasiou. Design and Evaluation of Automotive Head-Up Display

42、 Interface for Low Visibility ConditionsC .Proceeding (541 Visualization, Imaging, and Image Processing , 2006:178-184 14 William J. Horrey, Amy L. Alexander and Christopher D. Wickens. Does Workload Modulate the Effects of In-Vehicle Display Location on Concurrent Driving and Side Task PerformanceC

43、. DSC North America 2003 Proceedings, , Dearborn,Michigan,October 8-10,2003 ,14-2115 Gary E. Burnett. A road-based evaluation of a Head-Up Display for presenting navigation informationC.In Proceedings of HCI International conference, Vol 3 (Human-Centred Computing, Crete, Greece, June 23-27, 2003:18

44、0-18416 趙建斌 . 汽車視野擴(kuò)展顯示系統(tǒng)設(shè)計 J.汽車電器, 2006(4 :9-1517 俞維忠 . 汽車導(dǎo)航及汽車信息顯示系統(tǒng) J. 汽車電器, 2004(7 :1-318 王榮本 , 紀(jì)壽文等 . 識別陰影中智能車輛導(dǎo)航路徑的神經(jīng)網(wǎng)絡(luò)方法研究 J.公路交通科 ,2002(5:99-102 19 邢征北 . 鄭南寧等 . 道路檢測算法與 DSP 實(shí)現(xiàn) J. 微電子學(xué)與計算機(jī) ,2004(5:114-11722 劉濤 , 黃席樾等 . 高速公路彎道識別算法 J.重慶大學(xué)學(xué)報 ,2003(7:24-2723 吳超仲, 王春燕, 嚴(yán)新平等 . 基于車輛自動駕駛的磁道釘編碼系統(tǒng)設(shè)計與實(shí)現(xiàn)

45、J. 武漢理工大學(xué)學(xué)報 (交 通科學(xué)與工程版 ,2003(4:449-45124 金昶明等 . 時頻分析在毫米波防撞雷達(dá)信號處理中的應(yīng)用 J.電子學(xué)報 ,2002(9:1413-141625 王建強(qiáng) , 劉 剛 , 李克強(qiáng)等 . 復(fù)雜路況下汽車主動避撞報警技術(shù)研究 J.公路交通科技 ,2005(4:132-135 26 asuo, Kohashi, Yuuichirou; Ishikawa, Naoto, Nakajima, Masato. Automatic recognition of road signsC. Proceedings of SPIE - The International

46、 Society for Optical Engineering , 2002, 543-55527 S.-H.Hsu and C.-L.Huang. Road sign detection and recognition using matchingpursuit methodJ. Image and Vision Computing, 2001, 19 (3 : 119-12928 蔣剛毅 , 鄭義 , 郁梅 . 基于數(shù)學(xué)形態(tài)學(xué)的交通標(biāo)志自動識別 J.汕頭大學(xué)學(xué)報 (自然科學(xué)版 , 1998(1 :90-96 29 鄭義,蔣剛毅 . 形狀的幾何特征數(shù)值描述與交通標(biāo)志的識別 J信息與控制,

47、1997(2 :73-8030 初秀民,嚴(yán)新平,毛喆 . 道路標(biāo)志圖案識別方法研究 , 汽車工程, 2006(10 :1051-105531 賈慧星,章毓晉 . 車輛輔助駕駛系統(tǒng)中基于計算機(jī)視覺的行人檢測研究綜述 J.自動化學(xué)報 ,2007 (1 :84-9032 Cheng Hong, Zheng Nan-Ning, Qin Jun-Jie. Pedestrian de-tection using sparse Gabor fillter and support vector machineC. In: Proceedings of IEEE Intelligent Vehicles Sympo-sium. Vienna, Austria. IEEE,2005:583-58733 王榮本 , 郭 烈 , 金立生 , 顧柏園 , 余天洪 . 智能車輛安全輔助駕駛技術(shù)研究近況 J.公路交通科技, 2007(7 :107-11134 Philip W Kithil, Roger D.Jones, John MacCuishi. Development of Driver Alertness Detection System Using Overhead Capacitive Sensor ArrayC. SAE Technical Paper Series 982292,