《智能網(wǎng)聯(lián)汽車融合感知系統(tǒng) 第1部分：系統(tǒng)架構(gòu)》

ICS

CCS

團(tuán)體標(biāo)準(zhǔn)

T/CSAExx－20xx

智能網(wǎng)聯(lián)汽車融合感知系統(tǒng)

第1部分：系統(tǒng)架構(gòu)

Intelligentandconnectedvehiclefusionperceptionsystem—

Part1:systemstructure

（征求意見(jiàn)稿）

在提交反饋意見(jiàn)時(shí)，請(qǐng)將您知道的該標(biāo)準(zhǔn)所涉必要專利信息連同支持性文件一并附上。

DraftingguidelinesforcommercialgradesstandardofChinesemedicinal

materials

20xx-xx-xx發(fā)布20xx-xx-xx實(shí)施

中國(guó)汽車工程學(xué)會(huì)發(fā)布

T/CSAExx—20xx

智能網(wǎng)聯(lián)汽車融合感知系統(tǒng)

第1部分：系統(tǒng)架構(gòu)

1范圍

本文件規(guī)定了智能網(wǎng)聯(lián)汽車融合感知系統(tǒng)架構(gòu)及融合感知系統(tǒng)內(nèi)各關(guān)鍵模塊的功能。

本文件適用于智能網(wǎng)聯(lián)汽車融合感知系統(tǒng)的設(shè)計(jì)及應(yīng)用。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T20203968-T-339智能網(wǎng)聯(lián)汽車術(shù)語(yǔ)和定義

GB/T25069-2022信息安全技術(shù)術(shù)語(yǔ)

3術(shù)語(yǔ)和定義

下列術(shù)語(yǔ)及定義適用于本文件。

3.1

感知perception

駕駛自動(dòng)化系統(tǒng)獲取車輛周圍駕駛環(huán)境信息的技術(shù)。

注：周圍駕駛環(huán)境包括可通行區(qū)域、道路標(biāo)志、道路標(biāo)線、交通參與者、障礙物等。

[來(lái)源：GB/T20203968-T-339]

3.2

融合感知fusionperception

集成多個(gè)數(shù)據(jù)源以產(chǎn)生比任何單獨(dú)的數(shù)據(jù)源更有價(jià)值信息的過(guò)程。

注：避免基于單源信息的感知局限性和不確定性，形成了對(duì)環(huán)境或目標(biāo)更全面的感知，提高系統(tǒng)的

感知能力。

3.3

時(shí)空同步spatiotemporalsynchronization

在智能網(wǎng)聯(lián)汽車數(shù)據(jù)融合感知系統(tǒng)中將輸入數(shù)據(jù)的局部時(shí)間和空間坐標(biāo)下的信息變換到統(tǒng)一的系

統(tǒng)基準(zhǔn)時(shí)間和空間坐標(biāo)系下。

3.4

時(shí)間戳timestamp

對(duì)時(shí)間和其他待簽名數(shù)據(jù)進(jìn)行簽名得到的，用于表明數(shù)據(jù)時(shí)間屬性的數(shù)據(jù)。

[來(lái)源：GB/T25069-2022]

3.5

1

T/CSAE161—2020

CAN總線controllerareanetwork

總線上的信息是以不同但有限長(zhǎng)度的固定格式幀發(fā)送的。當(dāng)總線處于空閑狀態(tài)時(shí)，允許任何連接的

節(jié)點(diǎn)開(kāi)始傳輸DF或RF。當(dāng)沒(méi)有幀被傳輸時(shí)，總線是空閑的。此外，任何連接的節(jié)點(diǎn)可以通過(guò)專用幀

（分別為EF和OF）開(kāi)始指示錯(cuò)誤和過(guò)載信息。

4融合感知系統(tǒng)架構(gòu)

智能網(wǎng)聯(lián)汽車融合感知系統(tǒng)不僅接收處理車載的激光雷達(dá)點(diǎn)云、視覺(jué)圖像、毫米波雷達(dá)點(diǎn)云、CAN

總線信息等數(shù)據(jù)，還接收處理其他智能網(wǎng)聯(lián)汽車、路端設(shè)備、云端平臺(tái)發(fā)送到車端的激光雷達(dá)點(diǎn)云、視

覺(jué)圖像、毫米波雷達(dá)點(diǎn)云、高精地圖、紅綠燈信號(hào)等數(shù)據(jù)。融合感知系統(tǒng)主要負(fù)責(zé)對(duì)接收到的這些多源

多模態(tài)數(shù)據(jù)綜合分析處理，并將感知結(jié)果傳送給智能網(wǎng)聯(lián)汽車執(zhí)行模塊，智能網(wǎng)聯(lián)汽車融合感知系統(tǒng)架

構(gòu)如圖1所示。

圖1智能網(wǎng)聯(lián)汽車融合感知系統(tǒng)架構(gòu)設(shè)計(jì)框架

在智能網(wǎng)聯(lián)汽車融合感知系統(tǒng)中，數(shù)據(jù)源模塊負(fù)責(zé)對(duì)接收到的多模態(tài)數(shù)據(jù)進(jìn)行必要的格式規(guī)范性

處理，而數(shù)據(jù)分析模塊對(duì)格式規(guī)范后的多模態(tài)數(shù)據(jù)進(jìn)行評(píng)估，以保證后續(xù)模塊處理的數(shù)據(jù)是有效的、可

靠的。時(shí)空同步模塊主要負(fù)責(zé)對(duì)多模態(tài)數(shù)據(jù)進(jìn)行時(shí)間、空間維度上的標(biāo)定，使融合功能模塊能夠進(jìn)行數(shù)

據(jù)映射、特征對(duì)齊等融合操作。感知結(jié)果模塊能對(duì)融合功能模塊的輸出結(jié)果進(jìn)行格式規(guī)范統(tǒng)一，便于智

能網(wǎng)聯(lián)汽車的融合感知系統(tǒng)和智能網(wǎng)聯(lián)汽車其他功能系統(tǒng)的互聯(lián)互通。

5數(shù)據(jù)源模塊

數(shù)據(jù)源模塊是融合感知系統(tǒng)的數(shù)據(jù)輸入，數(shù)據(jù)類型包括：

a)感知矢量數(shù)據(jù)：智能網(wǎng)聯(lián)汽車自車搭載設(shè)備輸出的激光雷達(dá)點(diǎn)云、毫米波雷達(dá)點(diǎn)云、高精地圖

等。還有他車、路端等外部設(shè)施傳輸給自車的激光雷達(dá)點(diǎn)云、毫米波雷達(dá)點(diǎn)云、高精地圖等信

息；

b)感知圖像數(shù)據(jù)：自車、他車、路端等部署搭載的視覺(jué)傳感器圖像；

c)自車實(shí)時(shí)狀態(tài)數(shù)據(jù)：智能網(wǎng)聯(lián)汽車的實(shí)時(shí)狀態(tài)信息，如車速、加速度、轉(zhuǎn)向角度、剎車量、油

門量、電機(jī)轉(zhuǎn)速、位置軌跡等。

d)其他類型數(shù)據(jù)：如路端等外部設(shè)施傳輸給智能網(wǎng)聯(lián)汽車的紅綠燈信息等。

6數(shù)據(jù)分析模塊

2

T/CSAExx—20xx

6.1概述

智能網(wǎng)聯(lián)汽車融合感知系統(tǒng)需要處理多種不同來(lái)源、不同類型的數(shù)據(jù)，數(shù)據(jù)分析模塊負(fù)責(zé)對(duì)這些輸

入數(shù)據(jù)進(jìn)行壓縮，以及對(duì)數(shù)據(jù)內(nèi)容、質(zhì)量進(jìn)行評(píng)估，保證將有效的、可靠的、有用的數(shù)據(jù)輸入后續(xù)模塊

進(jìn)行處理。

6.2數(shù)據(jù)壓縮

數(shù)據(jù)壓縮是通過(guò)減少數(shù)據(jù)冗余的方法來(lái)減少源數(shù)據(jù)的存儲(chǔ)空間和傳輸量，源數(shù)據(jù)通過(guò)高效的編碼

方式減少數(shù)據(jù)存儲(chǔ)量進(jìn)行保存，宜使用有損壓縮方式進(jìn)行數(shù)據(jù)壓縮，但不應(yīng)影響對(duì)數(shù)據(jù)內(nèi)容的正確解讀。

6.3數(shù)據(jù)評(píng)估

智能網(wǎng)聯(lián)汽車融合感知系統(tǒng)需要對(duì)輸入的源數(shù)據(jù)進(jìn)行必要的評(píng)估篩選。對(duì)惡意的、質(zhì)量差的、無(wú)效

的數(shù)據(jù)進(jìn)行融合處理將會(huì)對(duì)智能網(wǎng)聯(lián)汽車正常運(yùn)行造成難以預(yù)估的影響。對(duì)源數(shù)據(jù)的評(píng)估篩選能降低

源數(shù)據(jù)不確定性給智能網(wǎng)聯(lián)汽車穩(wěn)定運(yùn)行帶來(lái)的風(fēng)險(xiǎn)，提高多模態(tài)數(shù)據(jù)融合感知系統(tǒng)的魯棒性和融合

效果。

7時(shí)空同步模塊

7.1概述

不同的傳感器具有不同的時(shí)鐘源以及不同的測(cè)量坐標(biāo)系。這導(dǎo)致不同類型傳感器采集的數(shù)據(jù)存在

偏差，不能直接進(jìn)行融合處理。在數(shù)據(jù)融合之前需要對(duì)多源待處理數(shù)據(jù)進(jìn)行必要的時(shí)間同步和空間同步

處理。

7.2時(shí)間同步

智能網(wǎng)聯(lián)汽車融合感知系統(tǒng)要處理的多源數(shù)據(jù)要統(tǒng)一到同一個(gè)基準(zhǔn)時(shí)間下，時(shí)間對(duì)齊后的多源數(shù)

據(jù)才能進(jìn)行融合感知處理。時(shí)間同步方法主要分為時(shí)間軟同步和時(shí)間硬同步兩種類型。

a）時(shí)間軟同步是通過(guò)統(tǒng)一的高精度授時(shí)設(shè)備給各個(gè)傳感器提供基準(zhǔn)時(shí)間，各傳感器根據(jù)已經(jīng)校準(zhǔn)

后的各自時(shí)間為各自獨(dú)立采集的數(shù)據(jù)加上時(shí)間戳，實(shí)現(xiàn)多源傳感器數(shù)據(jù)的時(shí)間戳同步，但由于各傳感器

采集周期相互獨(dú)立，無(wú)法保證同一時(shí)刻采集相同的信息。

b）時(shí)間硬同步是利用同一種硬件同時(shí)發(fā)布觸發(fā)采集命令，實(shí)現(xiàn)各傳感器采集、測(cè)量的時(shí)間同步，

做到同一時(shí)刻采集相同的信息。

時(shí)間軟同步精度不如時(shí)間硬同步，但是有的設(shè)備不支持硬件同步，所以兩種同步方式需要視具體情

況選擇使用。

7.3空間同步

空間同步即空間標(biāo)定，將不同傳感器坐標(biāo)下采集的數(shù)據(jù)源轉(zhuǎn)換到同一坐標(biāo)系下?？臻g標(biāo)定需要確定

多源數(shù)據(jù)之間的坐標(biāo)關(guān)系以及多源數(shù)據(jù)與智能網(wǎng)聯(lián)汽車坐標(biāo)系之間的轉(zhuǎn)換關(guān)系?？臻g標(biāo)定分為離線空

間標(biāo)定和在線空間標(biāo)定。

a）離線空間標(biāo)定：離線標(biāo)定在傳感器采集環(huán)境信息之前進(jìn)行，一般在智能網(wǎng)聯(lián)汽車出廠時(shí)就需要

完成。

b）在線空間標(biāo)定：在線標(biāo)定在傳感器采集環(huán)境信息過(guò)程中進(jìn)行，實(shí)現(xiàn)智能網(wǎng)聯(lián)汽車在使用過(guò)程中

動(dòng)態(tài)調(diào)整傳感器間的標(biāo)定參數(shù)矩陣。車在運(yùn)動(dòng)過(guò)程振動(dòng)、碰撞等會(huì)導(dǎo)致傳感器的坐標(biāo)原點(diǎn)發(fā)生漂移、多

傳感器間相對(duì)位移的變化，這些情況均會(huì)造成實(shí)際運(yùn)動(dòng)數(shù)據(jù)偏差，導(dǎo)致傳感器的空間采集數(shù)據(jù)不統(tǒng)一。

8融合功能模塊

3

T/CSAE161—2020

8.1融合層次劃分

融合功能模塊將智能網(wǎng)聯(lián)汽車接收到的多源信息進(jìn)行融合處理，實(shí)現(xiàn)對(duì)周圍環(huán)境信息的準(zhǔn)確理解。

本文件從融合層次角度對(duì)融合方法進(jìn)行區(qū)分，分別是數(shù)據(jù)級(jí)融合、特征級(jí)融合以及結(jié)果級(jí)融合。融合方

法劃分的依據(jù)不再是融合步驟在模型中的先后位置，而是融合結(jié)果在模型中充當(dāng)?shù)淖饔?，并且融合的?/p>

分不會(huì)受到融合數(shù)據(jù)形式的限制，從而更加直觀地反映了融合操作對(duì)于模型的作用。不同融合層次在圖

2中給出了示例。

圖2不同融合層次示例

8.2數(shù)據(jù)級(jí)融合

輸出數(shù)據(jù)將作為后續(xù)模型輸入的融合操作。一方面，模型可以是完整的模型，也可以是作為集成模

型某一分支或某一部分的子模型；另一方面，輸入的數(shù)據(jù)，也即被融合的數(shù)據(jù)，既可以是來(lái)自傳感器的

原始數(shù)據(jù)或僅經(jīng)過(guò)預(yù)處理的數(shù)據(jù)，也可以是集成模型的子模型輸出的特征向量、特征圖或計(jì)算結(jié)果。

8.3特征級(jí)融合

輸出數(shù)據(jù)將作為模型的特征向量或特征圖（后續(xù)統(tǒng)稱特征圖）的融合操作。具體地，特征融合通常

指模型輸入在模型計(jì)算過(guò)程中的特征圖之間的融合操作，且融合的結(jié)果繼續(xù)作為當(dāng)前模型的特征圖參

與計(jì)算，但在某些模型中，原始數(shù)據(jù)經(jīng)過(guò)預(yù)處理后也可能與特征圖進(jìn)行特征融合

8.4結(jié)果級(jí)融合

輸出數(shù)據(jù)作為模型的最終目標(biāo)輸出，或者輸入數(shù)據(jù)本身是目標(biāo)輸出且融合的結(jié)果用于結(jié)果修正的

融合操作。按定義，結(jié)果融合主要包括并行的模型分支的計(jì)算結(jié)果的融合操作，以及串行模型中