《智能網(wǎng)聯(lián)汽車(chē)傳感器技術(shù)與應(yīng)用》課件 能力模塊八 掌握智能駕駛多傳感器融合技術(shù)及應(yīng)用

認(rèn)知多傳感器融合《智能網(wǎng)聯(lián)汽車(chē)傳感器技術(shù)與應(yīng)用》能力模塊八掌握智能駕駛多傳感器融合技術(shù)及應(yīng)用目前，智能網(wǎng)聯(lián)汽車(chē)技術(shù)越來(lái)越快的發(fā)展，汽車(chē)感知周?chē)淮_定環(huán)境，并作出相應(yīng)的正確的反應(yīng)，單一的傳感器無(wú)論是從精度上還是從速度和可靠性等一些指標(biāo)都難以滿(mǎn)足要求，這就涉及到了如何利用數(shù)據(jù)融合的方法，你作為智能網(wǎng)聯(lián)汽車(chē)傳感器工程師，你了解傳感器是如何進(jìn)行融合的嗎？任務(wù)導(dǎo)入任務(wù)目標(biāo)了解多源傳感器融合的定義掌握多源傳感器融合的方法了解多源傳感器融合技術(shù)的應(yīng)用能夠識(shí)別多源傳感器的類(lèi)型獲得多途徑檢索知識(shí)、分析解決問(wèn)題以及多元化思考解決問(wèn)題的方法，形成創(chuàng)新意識(shí)。具有良好的團(tuán)隊(duì)協(xié)作精神和較強(qiáng)的組織溝通能力。具備良好的職業(yè)道德，尊重他人勞動(dòng)，不竊取他人成果。Contents目錄傳感器融合的定義1慣性導(dǎo)航系統(tǒng)的組成2慣性導(dǎo)航傳感器的優(yōu)缺點(diǎn)4慣性導(dǎo)航傳感器分類(lèi)301傳感器融合的定義傳感器融合的定義定義多傳感器信息融合（Multi-sensorInformationFusion，MSIF），就是利用計(jì)算機(jī)技術(shù)將來(lái)自多傳感器或多源的信息和數(shù)據(jù)，在一定的準(zhǔn)則下加以自動(dòng)分析和綜合，以完成所需要的決策和估計(jì)而進(jìn)行的信息處理過(guò)程。傳感器融合的定義多傳感融合優(yōu)勢(shì)02多源傳感器融合的基本原理多源傳感器融合的基本原理多傳感器融合的基本原理類(lèi)似于人類(lèi)大腦對(duì)環(huán)境信息的綜合處理過(guò)程。03多源傳感器融合體系多源傳感器融合體系分布式先對(duì)各個(gè)獨(dú)立傳感器所獲得的原始數(shù)據(jù)進(jìn)行局部處理，然后再將結(jié)果送人信息融合中心進(jìn)行智能優(yōu)化組合來(lái)獲得最終的結(jié)果。多源傳感器融合體系集中式集中式多傳感器將各傳感器獲得的原始數(shù)據(jù)直接送至信息融合中心進(jìn)行融合處理，可以實(shí)現(xiàn)實(shí)時(shí)融合。多源傳感器融合體系混合式混合式多傳感器信息融合框架中，部分傳感器采用集中式融合方式，剩余的傳感器采用分布式融合方式。04多源傳感器融合的特點(diǎn)多源傳感器融合的特點(diǎn)01信息的冗余性對(duì)于環(huán)境的某個(gè)特征，可以通過(guò)多個(gè)傳感器（或者單個(gè)傳感器的多個(gè)不同時(shí)刻）得到它的多份信息，這些信息是冗余的，并且具有不同的可靠性，通過(guò)融合處理，可以從中提取出更加準(zhǔn)確和可靠的信息。03信息處理的及時(shí)性各傳感器的處理過(guò)程相互獨(dú)立，整個(gè)處理過(guò)程可以采用并行導(dǎo)熱處理機(jī)制，從而使系統(tǒng)具有更快的處理速度，提供更加及時(shí)的處理結(jié)果。04信息處理的低成本性多個(gè)傳感器可以花費(fèi)更少的代價(jià)來(lái)得到相當(dāng)于單傳感器所能得到的信息量。02信息的互補(bǔ)性不同種類(lèi)的傳感器可以為系統(tǒng)提供不同性質(zhì)的信息，這些信息所描述的對(duì)象是不同的環(huán)境特征，它們彼此之間具有互補(bǔ)性。05多源傳感器融合的方法多源傳感器融合的方法像素級(jí)融合像素級(jí)融合又稱(chēng)為數(shù)據(jù)級(jí)融合，它將同類(lèi)別的傳感器采集的原始數(shù)據(jù)進(jìn)行融合，最大可能地保留了各預(yù)處理階段的細(xì)微信息。多源傳感器融合的方法特征級(jí)融合特征級(jí)融合是通過(guò)各傳感器的原始數(shù)據(jù)結(jié)合決策推理算法，對(duì)信息進(jìn)行分類(lèi)、匯集和綜合，提取出具有充分表示量和統(tǒng)計(jì)量的屬性特征。多源傳感器融合的方法決策級(jí)融合決策級(jí)融合的特點(diǎn)是高層次，需要處理不同類(lèi)型的傳感器對(duì)同一觀(guān)測(cè)目標(biāo)的原始數(shù)據(jù)，并完成特征提取、分類(lèi)判別，生成初步結(jié)論，然后根據(jù)決策對(duì)象的具體需求，進(jìn)行相關(guān)處理和高級(jí)決策判決，獲得簡(jiǎn)明的綜合推斷結(jié)果。感

謝

觀(guān)

看《智能網(wǎng)聯(lián)汽車(chē)傳感器技術(shù)與應(yīng)用》實(shí)現(xiàn)視覺(jué)與激光雷達(dá)融合的應(yīng)用《智能網(wǎng)聯(lián)汽車(chē)傳感器技術(shù)與應(yīng)用》能力模塊八掌握智能駕駛多傳感器融合技術(shù)及應(yīng)用自動(dòng)駕駛感知技術(shù)所采用的傳感器主要包括攝像頭，激光雷達(dá)和毫米波雷達(dá)等。這些傳感器各有優(yōu)缺點(diǎn)，也互為補(bǔ)充，因此如何高效的融合多傳感器數(shù)據(jù)，也就自然的成為了感知算法研究的熱點(diǎn)之一，一起來(lái)學(xué)習(xí)傳感器的融合原理及應(yīng)用。任務(wù)導(dǎo)入任務(wù)目標(biāo)解視覺(jué)激光雷達(dá)融合掌握相機(jī)內(nèi)參標(biāo)定和激光雷達(dá)標(biāo)定掌握視覺(jué)激光雷達(dá)聯(lián)合標(biāo)定了解視覺(jué)激光雷達(dá)融合實(shí)例獲得多途徑檢索知識(shí)、分析解決問(wèn)題以及多元化思考解決問(wèn)題的方法，形成創(chuàng)新意識(shí)。具有良好的團(tuán)隊(duì)協(xié)作精神和較強(qiáng)的組織溝通能力。具備良好的職業(yè)道德，尊重他人勞動(dòng)，不竊取他人成果。Contents目錄視覺(jué)激光雷達(dá)融合1相機(jī)內(nèi)參標(biāo)定和激光雷達(dá)標(biāo)定2視覺(jué)激光雷達(dá)聯(lián)合標(biāo)定34視覺(jué)激光雷達(dá)融合實(shí)例01視覺(jué)激光雷達(dá)融合視覺(jué)激光雷達(dá)融合物體檢測(cè)的策略分為：決策層融合，決策+特征層融合，以及特征層融合。在決策層融合中，圖像和點(diǎn)云分別得到物體檢測(cè)結(jié)果（BoundingBox），轉(zhuǎn)換到統(tǒng)一坐標(biāo)系后再進(jìn)行合并。視覺(jué)激光雷達(dá)融合決策+特征層融合策略的主要思路是將先通過(guò)一種數(shù)據(jù)生成物體的候選框（Proposal）。然后將候選框與另外一種數(shù)據(jù)相結(jié)合來(lái)生成最終的物體檢測(cè)結(jié)果（也可以再重復(fù)利用生成候選框的數(shù)據(jù)）?？梢允?D點(diǎn)云坐標(biāo)（比如F-PointNet），也可以是2D圖像坐標(biāo)（比如IPOD）。視覺(jué)激光雷達(dá)融合F-PointNet由圖像數(shù)據(jù)生成2D物體候選框，然后將這些候選框投影到3D空間。每個(gè)2D候選框在3D空間對(duì)應(yīng)一個(gè)視椎體（Frustum），并將落到視椎體中所有點(diǎn)合并起來(lái)作為該候選框的特征。視覺(jué)激光雷達(dá)融合IPOD提出采用2D語(yǔ)義分割來(lái)替換2D物體檢測(cè)。首先，圖像上的語(yǔ)義分割結(jié)果被用來(lái)去除點(diǎn)云中的背景點(diǎn)，這是通過(guò)將點(diǎn)云投影到2D圖像空間來(lái)完成的。接下來(lái)，在每個(gè)前景點(diǎn)處生成候選物體框，并采用NMS去除重疊的候選框，最后每幀點(diǎn)云大約保留500個(gè)候選框。同時(shí)，PointNet++網(wǎng)格被用來(lái)進(jìn)行點(diǎn)特征提取。有了候選框和點(diǎn)特征，最后一步采用一個(gè)小規(guī)模的PointNet++來(lái)預(yù)測(cè)類(lèi)別和準(zhǔn)確的物體框。視覺(jué)激光雷達(dá)融合另外一種思路是特征層融合，也就是直接融合多種特征。比如說(shuō)將點(diǎn)云映射到圖像空間，作為帶有深度信息的額外通道與圖像的RGB通道進(jìn)行合并。PointPainting把點(diǎn)云投影到圖像語(yǔ)義分割的結(jié)果中，這與IPOD中的做法類(lèi)似。但是，PointPainting沒(méi)有利用語(yǔ)義分割的結(jié)果來(lái)分離前景點(diǎn)，而是直接將語(yǔ)義分割的信息附加到點(diǎn)云上。02相機(jī)內(nèi)參標(biāo)定和激光雷達(dá)標(biāo)定相機(jī)內(nèi)參標(biāo)定和激光雷達(dá)標(biāo)定相機(jī)矩陣和畸變系數(shù)統(tǒng)稱(chēng)為相機(jī)內(nèi)參，在不考慮畸變的時(shí)候，相機(jī)矩陣也會(huì)被稱(chēng)為相機(jī)內(nèi)參。相機(jī)的內(nèi)參標(biāo)定即采用期盼圖或者點(diǎn)陣圖，用相機(jī)拍攝多組不同角度的棋盤(pán)圖，然后利用harris算法進(jìn)行標(biāo)定板角點(diǎn)檢測(cè)，得到角點(diǎn)坐標(biāo)之后進(jìn)行運(yùn)算。相機(jī)內(nèi)參標(biāo)定和激光雷達(dá)標(biāo)定內(nèi)參標(biāo)定輸入為：像素坐標(biāo)u、v和世界坐標(biāo)x、y、z，u、v為圖像中棋盤(pán)格的角點(diǎn)坐標(biāo)，與其對(duì)應(yīng)的x、y表示該角點(diǎn)在整個(gè)棋盤(pán)圖下的坐標(biāo)，該坐標(biāo)系定在棋盤(pán)圖上，因此我們拍攝5次圖像，這些圖像相應(yīng)的坐標(biāo)應(yīng)該相同。相機(jī)內(nèi)參標(biāo)定和激光雷達(dá)標(biāo)定由于激光雷達(dá)與車(chē)體為剛性連接，他們之間相對(duì)姿態(tài)和位移固定不變；所以為建立激光雷達(dá)之間及激光雷達(dá)與車(chē)輛之間的相對(duì)坐標(biāo)關(guān)系，需要對(duì)激光雷達(dá)的安裝進(jìn)行標(biāo)定。以VelodyneVLP-16激光雷達(dá)為例：該激光雷達(dá)以正上方為z軸，電纜線(xiàn)接口方向?yàn)閥軸的負(fù)方向，通過(guò)右手法則確定x軸方向。03視覺(jué)激光雷達(dá)聯(lián)合標(biāo)定視覺(jué)激光雷達(dá)聯(lián)合標(biāo)定視覺(jué)激光雷達(dá)的聯(lián)合標(biāo)定的作用就是建立圖像數(shù)據(jù)和云點(diǎn)數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系，需要獲取相機(jī)和激光雷達(dá)的外參，將點(diǎn)云三維坐標(biāo)系下的點(diǎn)投影到相機(jī)三維坐標(biāo)系下，還需要通過(guò)相機(jī)標(biāo)定獲得相機(jī)內(nèi)參，把相機(jī)三維坐標(biāo)系下的點(diǎn)投影到成像平面。4視覺(jué)激光雷達(dá)融合實(shí)例視覺(jué)激光雷達(dá)融合實(shí)例圖像和云點(diǎn)的多維度環(huán)境數(shù)據(jù)檢測(cè)極大地提高了車(chē)輛在行駛過(guò)程中對(duì)周邊環(huán)境的感知，便于汽車(chē)穩(wěn)定的駕駛，在汽車(chē)的輔助駕駛系統(tǒng)中，視覺(jué)激光雷達(dá)融合發(fā)揮了超越“眼睛”的作用，為未來(lái)智能網(wǎng)聯(lián)汽車(chē)的發(fā)展創(chuàng)造了更多可能性。感

謝

觀(guān)

看《智能網(wǎng)聯(lián)汽車(chē)傳感器技術(shù)與應(yīng)用》實(shí)現(xiàn)激光雷達(dá)與IMU融合的應(yīng)用《智能網(wǎng)聯(lián)汽車(chē)傳感器技術(shù)與應(yīng)用》能力模塊八掌握智能駕駛多傳感器融合技術(shù)及應(yīng)用高精度定位

是當(dāng)前無(wú)人駕駛的重要一環(huán)，隨著無(wú)人駕駛的日益發(fā)展，依靠單一傳感器進(jìn)行定位常常會(huì)受到各種限制，而多傳感器的融合能夠彌補(bǔ)傳感器的局限，使得定位更加準(zhǔn)確，而如何高效的融合多傳感器數(shù)據(jù)，也就自然的成為了感知算法研究的熱點(diǎn)之一。下面來(lái)了解激光雷達(dá)與IMU融合的原理及應(yīng)用。任務(wù)導(dǎo)入任務(wù)目標(biāo)了解激光雷達(dá)與IMU融合掌握IMU標(biāo)定和激光雷達(dá)標(biāo)定掌握激光雷達(dá)與IMU融合標(biāo)定了解激光雷達(dá)與IMU融合實(shí)例獲得多途徑檢索知識(shí)、分析解決問(wèn)題以及多元化思考解決問(wèn)題的方法，形成創(chuàng)新意識(shí)。具有良好的團(tuán)隊(duì)協(xié)作精神和較強(qiáng)的組織溝通能力。具備良好的職業(yè)道德，尊重他人勞動(dòng)，不竊取他人成果。Contents目錄激光雷達(dá)與IMU融合1IMU標(biāo)定與激光雷達(dá)標(biāo)定2激光雷達(dá)與IMU融合標(biāo)定34激光雷達(dá)與IMU融合實(shí)例01激光雷達(dá)與IMU融合激光雷達(dá)與IMU融合在實(shí)際的的應(yīng)用中，為了矯正激光雷達(dá)所得到的位姿信息，一般使用的是IMU即慣性測(cè)量單元，IMU是自身運(yùn)動(dòng)估計(jì)的傳感器，采集自身運(yùn)動(dòng)的姿態(tài)信息可以很好的矯正激光雷達(dá)的姿態(tài)信息。激光雷達(dá)與IMU融合在智能網(wǎng)聯(lián)汽車(chē)的定位系統(tǒng)架構(gòu)中，激光雷達(dá)與IMU的融合應(yīng)用下可提升智能網(wǎng)聯(lián)汽車(chē)定位系統(tǒng)的性能，通過(guò)傳感器特征的融合，能夠更準(zhǔn)確的感知車(chē)輛行駛中所處的外部環(huán)境數(shù)據(jù)，使得定位更加精準(zhǔn)，還能構(gòu)建出高精度的地圖進(jìn)而推動(dòng)智能網(wǎng)聯(lián)汽車(chē)智能化，自動(dòng)化的發(fā)展。02IMU標(biāo)定和激光雷達(dá)標(biāo)定IMU標(biāo)定和激光雷達(dá)標(biāo)定慣性器件的誤差一般分成兩類(lèi)：系統(tǒng)性誤差和隨機(jī)誤差。標(biāo)定目的是為了補(bǔ)償誤差，系統(tǒng)性誤差本質(zhì)就是能找到規(guī)律的誤差，所以可以實(shí)時(shí)補(bǔ)償?shù)?。但是隨機(jī)誤差一般指噪聲，無(wú)法找到合適的關(guān)系函數(shù)去描述噪聲，所以很難處理。IMU標(biāo)定和激光雷達(dá)標(biāo)定IMU的誤差來(lái)主要來(lái)自于三部分，包括噪聲(BiasandNoise)、尺度因子(Scaleerrors)和軸偏差(Axismisalignments)。加速度計(jì)和陀螺儀的測(cè)量模型可以用下面來(lái)表達(dá)。其中上標(biāo)a表示加速度計(jì)，g表示陀螺儀，B表示正交的參考坐標(biāo)系，s表示非正交的選準(zhǔn)坐標(biāo)系。T表示軸偏差的變換矩陣，K表示尺度因子，b，v分別表示Bias（隨機(jī)游走）和白噪聲。IMU標(biāo)定和激光雷達(dá)標(biāo)定由于激光雷達(dá)與車(chē)體為剛性連接，他們之間相對(duì)姿態(tài)和位移固定不變；所以為建立激光雷達(dá)之間及激光雷達(dá)與車(chē)輛之間的相對(duì)坐標(biāo)關(guān)系，需要對(duì)激光雷達(dá)的安裝進(jìn)行標(biāo)定；以VelodyneVLP-16激光雷達(dá)為例：該激光雷達(dá)以正上方為z軸，電纜線(xiàn)接口方向?yàn)閥軸的負(fù)方向，通過(guò)右手法則確定x軸方向。03激光雷達(dá)與IMU融合標(biāo)定激光雷達(dá)與IMU融合標(biāo)定激光雷達(dá)與IMU融合標(biāo)定需要標(biāo)定激光雷達(dá)的外參、IMU內(nèi)參、激光雷達(dá)與IMU之間的變換。首先找到一個(gè)標(biāo)志物，通過(guò)無(wú)人機(jī)搭載激光雷達(dá)和組合慣導(dǎo)來(lái)采集該標(biāo)志物，通過(guò)點(diǎn)云可以看到該標(biāo)志物，時(shí)間戳對(duì)齊后，可以提取出該幀對(duì)應(yīng)的四元數(shù)（qw，qx，qy，qz）及gps經(jīng)度，緯度，海拔。激光雷達(dá)與IMU融合標(biāo)定設(shè)雷達(dá)坐標(biāo)系到慣導(dǎo)坐標(biāo)系的平移旋轉(zhuǎn)矩陣為M0，那么標(biāo)志物對(duì)應(yīng)角點(diǎn)在地圖坐標(biāo)系中的位置就可以通過(guò)四元數(shù)和gps計(jì)算出來(lái)。（a，b，c）和M0