智能網(wǎng)聯(lián)汽車 課件 項(xiàng)目二 任務(wù)六認(rèn)知環(huán)境感知技術(shù)融合

項(xiàng)目二智能網(wǎng)聯(lián)汽車環(huán)境感知技術(shù)前言各類傳感器因其測(cè)量原理，在環(huán)境感知方面都有各自明顯的優(yōu)缺點(diǎn)。毫米波雷達(dá)具有耐候性，可以全天工作，但分辨率不夠高，無法區(qū)分人與物；攝像頭具有較高的分辨率，可以感知顏色，但受強(qiáng)光影響較大。激光雷達(dá)可以提供具有三維信息的特性，對(duì)環(huán)境的可重構(gòu)性很強(qiáng)，但受天氣影響較大。毫米波雷達(dá)可以彌補(bǔ)激光雷達(dá)、視覺傳感器在環(huán)境適應(yīng)性上的不足。視覺傳感器或者激光雷達(dá)可以彌補(bǔ)毫米波雷達(dá)在目標(biāo)分類上的不足等。認(rèn)知環(huán)境感知技術(shù)融合Annualworksummary6目錄01教學(xué)目標(biāo)02教學(xué)內(nèi)容教學(xué)目標(biāo)0103能解釋環(huán)境感知的應(yīng)用范圍01能描述環(huán)境感知系統(tǒng)概念和內(nèi)容02能描述環(huán)境感知系統(tǒng)組成01.通過環(huán)境感知系統(tǒng)的學(xué)習(xí)，讓學(xué)生知道技術(shù)不斷進(jìn)步，激發(fā)學(xué)生不斷學(xué)習(xí)的興趣。知識(shí)目標(biāo)素質(zhì)目標(biāo)教學(xué)內(nèi)容02一、多傳感器融合概念獲取、表示及其內(nèi)在聯(lián)系進(jìn)行綜合處理和優(yōu)化的技術(shù)。每種傳感器都各具特色（如下一頁(yè)圖中所示），但單一傳感器不能采集目標(biāo)的所有信息，如工作在可見光譜范圍內(nèi)的攝像頭CMOS芯片在濃霧、下雨、刺眼陽(yáng)光和光照不足的情況下會(huì)遇到麻煩，而激光雷達(dá)缺少目前成像傳感器所具有的高分辨率，我們可以在每種傳感器中找到諸如此類的優(yōu)缺點(diǎn)。可見，自動(dòng)駕駛汽車要安全運(yùn)作，必須保證多傳感器協(xié)同工作和信息冗余。因此，多種傳感器往往需要協(xié)同工作，優(yōu)勢(shì)互補(bǔ)，共同組成自動(dòng)駕駛的環(huán)境感知解決方案。一、多傳感器融合概念類型優(yōu)點(diǎn)缺點(diǎn)探測(cè)范圍功能激光雷達(dá)精度高、探測(cè)范圍較廣，可以構(gòu)建車輛周邊環(huán)境3D模型。容易受到雨、雪、霧等惡劣天氣影響，技術(shù)不夠成熟，成本較高。200米內(nèi)障礙物探測(cè)識(shí)別車道線識(shí)別輔助定位地圖構(gòu)建攝像頭可對(duì)物體幾何特征、色彩及文字等信息進(jìn)行識(shí)。可通過算法實(shí)現(xiàn)對(duì)障礙物距離的探測(cè)技，術(shù)成熟成本低廉。受光照變化影響大，容易受到惡劣環(huán)境干擾最遠(yuǎn)探測(cè)范圍可超過500米障礙物探測(cè)識(shí)別車道線識(shí)別輔助定位道路信息讀取地圖構(gòu)建毫米波雷達(dá)對(duì)煙霧、灰塵的穿透能力較強(qiáng)，抗干擾能力強(qiáng)，對(duì)相對(duì)速度、距離的測(cè)量準(zhǔn)確度非常高測(cè)量范圍相對(duì)Lidar更窄，難以辨別物體大小和形狀200米以內(nèi)(中遠(yuǎn))障礙物探測(cè)超聲波雷達(dá)技術(shù)成熟、成本低，受天氣干擾小，抗干擾能力強(qiáng)測(cè)量精度差、測(cè)量范圍小、距離近3米以內(nèi)(近距)障礙物探測(cè)GNSS/IMU通過對(duì)衛(wèi)星三角定位和慣性導(dǎo)航進(jìn)行結(jié)合實(shí)現(xiàn)對(duì)車輛進(jìn)行定位容易受到，城市建筑、隧道等障礙物的干擾使得測(cè)量精度大打折扣廣域高精度定位保持在10米以內(nèi)車輛導(dǎo)航、定位二、多傳感器融合基本原理多傳感器融合技術(shù)是通過各種車載傳感器對(duì)環(huán)境信息進(jìn)行感知，并將信息傳送至信息融合中心，結(jié)合數(shù)據(jù)庫(kù)中的存儲(chǔ)信息進(jìn)行綜合分析，實(shí)現(xiàn)對(duì)周圍環(huán)境和正在發(fā)生的事件做出精準(zhǔn)評(píng)估。環(huán)境感知是通過攝像頭、激光雷達(dá)、毫米波雷達(dá)、超聲波雷達(dá)、陀螺儀、加速度計(jì)等傳感器，感知周圍環(huán)境信息和車輛狀態(tài)信息。環(huán)境信息主要包括道路信息、周邊車輛與行人信息。道路信息，包括道路的寬度、坡度、交通標(biāo)志燈；周邊車輛信息包括車輛大小，行駛的速度、加速度、方向等；周邊行人信息包括行人的數(shù)量、位置及行走方向等，如圖2-6-1所示。二、多傳感器融合基本原理智能網(wǎng)聯(lián)汽車環(huán)境感知數(shù)據(jù)庫(kù)主要作用是對(duì)汽車上安裝的各種傳感器采集的外部場(chǎng)景數(shù)據(jù)進(jìn)行分析，并呈現(xiàn)無人駕駛車輛的實(shí)際情況。以KITTI數(shù)據(jù)集為例，該數(shù)據(jù)集是視覺圖像與三維雷達(dá)數(shù)據(jù)的融合，利用KITTI數(shù)據(jù)集可以實(shí)現(xiàn)在車輛真實(shí)應(yīng)用環(huán)境下立體圖像、光流、視覺距離測(cè)量、三維目標(biāo)檢測(cè)、三維跟蹤等計(jì)算機(jī)視覺技術(shù)的性能評(píng)測(cè)。該數(shù)據(jù)集包含從城市、郊區(qū)、鄉(xiāng)村和高速公路等場(chǎng)景采集的真實(shí)圖像數(shù)據(jù)，整個(gè)數(shù)據(jù)集由389對(duì)立體圖像和光流圖、在測(cè)評(píng)里程內(nèi)的視覺測(cè)距序列和超過200k的三維標(biāo)記對(duì)象圖像組成。完整的數(shù)據(jù)集應(yīng)包括立體數(shù)據(jù)、光流數(shù)據(jù)、視覺里程計(jì)數(shù)據(jù)、目標(biāo)跟蹤數(shù)據(jù)、道路解析數(shù)據(jù)等，如圖2-6-2所示。二、多傳感器融合基本原理汽車自動(dòng)化的程度越高，集成在車輛中的傳感器的數(shù)量和類型也越多，只有這樣才能夠保證信息獲取充分且、有冗余保障車輛自動(dòng)行駛的安全，如圖2-6-3所示。為了保證安全，必須對(duì)傳感器進(jìn)行信息融合。多傳感器融合可以顯著提高系統(tǒng)的冗余度和容錯(cuò)性，從而保證決策的速度和正確性，這是自動(dòng)駕駛系統(tǒng)向先進(jìn)的自動(dòng)駕駛方向發(fā)展，最終實(shí)現(xiàn)無人駕駛的必然趨勢(shì)。二、多傳感器融合基本原理傳感器融合從融合等級(jí)上分為原始數(shù)據(jù)級(jí)融合、特征數(shù)據(jù)級(jí)融合和目標(biāo)數(shù)據(jù)級(jí)融合。單一傳感器中，越靠近原始數(shù)據(jù)，干擾信號(hào)和真實(shí)信號(hào)并存的可能性越大，即越早啟動(dòng)融合，真實(shí)信息的保留和干擾信息的去除效果越好，但同時(shí)也為數(shù)據(jù)同步、處理算法計(jì)算量帶來相應(yīng)的挑戰(zhàn)。實(shí)際應(yīng)用中，應(yīng)結(jié)合感知需求、芯片計(jì)算能力選擇合適的融合架構(gòu)和方法，構(gòu)建由各類傳感器信息組成的數(shù)字環(huán)境，實(shí)現(xiàn)智能網(wǎng)聯(lián)汽車的環(huán)境理解。三、多傳感器融合體系多傳感器融合體系結(jié)構(gòu)分為分布式、集中式和混合式三種。1.分布式分布式先對(duì)各個(gè)獨(dú)立傳感器所獲得的原始數(shù)據(jù)進(jìn)行局部處理，然后再將結(jié)果送入信息融合中心進(jìn)行智能優(yōu)化組合來獲得最終的結(jié)果。分布式多傳感器對(duì)通信帶寬的需求低，計(jì)算速度快，可靠性和延續(xù)性好，但跟蹤的精度卻遠(yuǎn)沒有集中式高，如圖2-6-4所示。三、多傳感器融合體系2.集中式集中式多傳感器融合體系中，將各傳感器獲得的原始數(shù)據(jù)直接送至信息融合中心進(jìn)行融合處理，可以實(shí)現(xiàn)實(shí)時(shí)融合。優(yōu)點(diǎn)是數(shù)據(jù)處理的精度高，算法靈活；缺點(diǎn)是對(duì)處理器的要求高，可靠性較低，數(shù)據(jù)量大，故難以實(shí)現(xiàn)，如5所示。三、多傳感器融合體系3.混合式混合式多傳感器信息融合框架中，部分傳感器采用集中式融合方式，剩余的傳感器采用分布式融合方式?；旌鲜饺诤峡蚣芫哂休^強(qiáng)的適應(yīng)能力，兼顧集中式融合和分布式的優(yōu)點(diǎn)，穩(wěn)定性強(qiáng)?；旌鲜饺诤戏绞降慕Y(jié)構(gòu)比前兩種融合方式的結(jié)構(gòu)復(fù)雜，這樣就加大通信和計(jì)算上的代價(jià)，如6所示。四、多傳感器融合的方法在以目標(biāo)身份估計(jì)為目的的體系結(jié)構(gòu)下，根據(jù)多傳感器信息融合技術(shù)抽象程度的不同，可以將其劃分為3個(gè)層次：像素級(jí)融合、特征級(jí)融合、決策級(jí)融合，一般情況下，具體應(yīng)用方案根據(jù)系統(tǒng)特點(diǎn)進(jìn)行合理選擇。（1）像素級(jí)融合像素級(jí)融合又稱為數(shù)據(jù)級(jí)融合，如圖2-6-7所示，它將同類別的傳感器采集的原始數(shù)據(jù)進(jìn)行融合，最大可能地保留了各預(yù)處理階段的細(xì)微信息。但是，由于融合進(jìn)行在數(shù)據(jù)的最底層，計(jì)算量大且容易受不穩(wěn)定性、不確定性因素的影響。同時(shí)，數(shù)據(jù)融合精確到像素級(jí)的準(zhǔn)確度，因而無法處理異構(gòu)數(shù)據(jù)。四、多傳感器融合的方法（2）特征級(jí)融合特征級(jí)融合是通過各傳感器的原始數(shù)據(jù)結(jié)合決策推理算法，對(duì)信息進(jìn)行分類、匯集和綜合，提取出具有充分表示量和統(tǒng)計(jì)量的屬性特征，如圖2-6-8所示。根據(jù)融合內(nèi)容，特征級(jí)融合又可以分為目標(biāo)狀態(tài)信息融合和目標(biāo)特性融合兩大類。其中，前者的特點(diǎn)是先進(jìn)行數(shù)據(jù)配準(zhǔn)，以實(shí)現(xiàn)對(duì)狀態(tài)和參數(shù)相關(guān)估計(jì)，更加適用于目標(biāo)跟蹤。后者是借用傳統(tǒng)模式識(shí)別技術(shù)，在特征預(yù)處理的前提下進(jìn)行分類組合。四、多傳感器融合的方法（3）決策級(jí)融合決策級(jí)融合的特點(diǎn)是高層次，需要處理不同類型的傳感器對(duì)同一觀測(cè)目標(biāo)的原始數(shù)據(jù)，并完成特征提取、分類判別，生成初步結(jié)論，然后根據(jù)決策對(duì)象的具體需求，進(jìn)行相關(guān)處理和高級(jí)決策判決，獲得簡(jiǎn)明的綜合推斷結(jié)果，如圖2-6-9所示。決策級(jí)融合具有實(shí)時(shí)性好、容錯(cuò)性高的優(yōu)點(diǎn)，面對(duì)一個(gè)或者部分傳感器失效時(shí)，仍能給出合理決策。五、我國(guó)