自動駕駛 感知數(shù)據(jù)融合接口規(guī)范

自動駕駛感知數(shù)據(jù)融合接口規(guī)范1范圍本文件確立了自動駕駛感知數(shù)據(jù)融合接口的術(shù)語描述、數(shù)據(jù)類型、融合系統(tǒng)架構(gòu)、融合數(shù)據(jù)接口、融合數(shù)據(jù)的描述。本文件適用于激光雷達(dá)和攝像頭的傳感器數(shù)據(jù)融合和感知結(jié)果融合接口。2規(guī)范性引用文件GB/T14950-2009攝影測量與遙感術(shù)語CH/T82011機(jī)載激光雷達(dá)數(shù)據(jù)處理技術(shù)規(guī)范3術(shù)語和定義下列術(shù)語和定義適用于本標(biāo)準(zhǔn)。3.1自動駕駛AutonomousDriving車輛使用一系列軟件和感知設(shè)備，根據(jù)感知數(shù)據(jù)進(jìn)行定位和感知周圍環(huán)境并根據(jù)感知結(jié)果實現(xiàn)路徑規(guī)劃和行為控制，從而實現(xiàn)車輛的自動控制，代替人工駕駛汽車。人工駕駛感知設(shè)備、激光雷達(dá)、攝像頭、毫米波雷達(dá)、GPS等。3.2圖像數(shù)據(jù)ImageData指用數(shù)值表示的各像素（pixel）的灰度值或RGB值的集合。3.3點云數(shù)據(jù)PointCloudData在同一空間參考系下表達(dá)目標(biāo)空間分布和目標(biāo)表面光譜特性的點的集合。3.4感知結(jié)果DetectionResult在感知數(shù)據(jù)中，包圍住目標(biāo)物體并能夠表示目標(biāo)位置、尺寸等信息的框體數(shù)據(jù)。3.5時間戳TimeStamp指字符串或者編碼信息用于記錄數(shù)據(jù)采集的時間日期。3.6攝像頭坐標(biāo)系CameraCoordinateSystem攝像頭坐標(biāo)系是以鏡頭主光軸為中心的三維笛卡爾坐標(biāo)系，單位為米。3.7激光雷達(dá)坐標(biāo)系LidarCoordinateSystem激光雷達(dá)坐標(biāo)系是以激光發(fā)射中心作為坐標(biāo)系原點的三維笛卡爾坐標(biāo)系，單位為米。3.8圖像坐標(biāo)系ImageCoordinateSystem以圖像左上角為原點的二維坐標(biāo)系，單位為像素。3.9雷達(dá)-攝像頭標(biāo)定數(shù)據(jù)Lidar-CameraCalibrationData用于將攝像頭與激光雷達(dá)進(jìn)行空間同步的數(shù)據(jù)文件。3.10雷達(dá)-攝像頭聯(lián)合標(biāo)定Lidar-CameraCalibration聯(lián)合標(biāo)定是利用標(biāo)定數(shù)據(jù)將激光雷達(dá)坐標(biāo)系中的數(shù)據(jù)點與攝像頭坐標(biāo)系的數(shù)據(jù)點建立關(guān)聯(lián)關(guān)系。3.11深度圖像DepthImage或距離影像（RangeImage）指從攝像頭到場景中各點的距離（深度）作為像素值的圖像。3.12傳感器數(shù)據(jù)融合SensorDataFusion將攝像頭實時采集的圖像數(shù)據(jù)和激光雷達(dá)實時采集的點云數(shù)據(jù)通過時空對齊相結(jié)合。3.13感知結(jié)果融合DetectionFusion將圖像中的二維（2D）目標(biāo)識別結(jié)果與點云中的三維（3D）目標(biāo)識別結(jié)果進(jìn)行融合。3.14數(shù)據(jù)融合接口DataFusionInterface數(shù)據(jù)融合系統(tǒng)接收待融合數(shù)據(jù)以及輸出融合結(jié)果的接口。接口用于規(guī)范融合算法所需要的圖像和點云數(shù)據(jù)的數(shù)據(jù)類型以及輸出結(jié)果類型，用于規(guī)范融合算法設(shè)計。4融合系統(tǒng)架構(gòu)4.1傳感器數(shù)據(jù)融合攝像頭和激光雷達(dá)傳感器數(shù)據(jù)融合是指分別從攝像頭和激光雷達(dá)接收圖像數(shù)據(jù)和激光點云數(shù)據(jù)，從標(biāo)定數(shù)據(jù)獲取標(biāo)定信息，按配置數(shù)據(jù)中給出的傳感器數(shù)據(jù)融合模式進(jìn)行融合，輸出融合后的數(shù)據(jù)。激光雷達(dá)和攝像頭傳感器數(shù)據(jù)融合4.2感知結(jié)果數(shù)據(jù)融合攝像頭和激光雷達(dá)感知結(jié)果數(shù)據(jù)融合分別獲取圖像數(shù)據(jù)中的2D目標(biāo)檢測邊框結(jié)果和點云數(shù)據(jù)中的3D目標(biāo)檢測邊框結(jié)果，從標(biāo)定數(shù)據(jù)獲取標(biāo)定信息，按配置數(shù)據(jù)中給出的感知結(jié)果數(shù)據(jù)融合模式進(jìn)行融合，輸出為融合后的目標(biāo)檢測結(jié)果。激光雷達(dá)和攝像頭感知結(jié)果數(shù)據(jù)融合5配置數(shù)據(jù)與配置接口5.1配置數(shù)據(jù)融合接口基礎(chǔ)配置數(shù)據(jù)見表2。融合接口提供的基礎(chǔ)配置數(shù)據(jù)說明表屬性名稱屬性描述屬性值類型fusion_type0:傳感器數(shù)據(jù)融合;

1:感知結(jié)果融合boolcamera_frequency攝像頭獲取數(shù)據(jù)頻率uint32Lidar_frequency雷達(dá)獲取數(shù)據(jù)頻率uint325.2添加配置屬性addProperty融合系統(tǒng)提供addProperty接口添加配置屬性，包括屬性名、屬性描述、屬性值的類型等。intaddProperty（Stringproperty_name，Stringdescription，Typeproperty_type）輸入?yún)?shù)：property_name 屬性名稱description 屬性描述property_type 屬性值的類型例：addProperty（frequency，“thecapturefrequencyofsensor”，uint32）表示添加類型為uint32的frequency屬性5.3設(shè)置屬性值setProperty融合系統(tǒng)提供setProperty接口設(shè)置指定屬性名的屬性值。intsetProperty（Stringproperty_name，Property_typevalue）property_name 指定屬性名value 屬性值例：setProperty（camera_frequency，20）表示設(shè)置攝像頭采集圖像頻率為20HZ。5.4獲取屬性值getProperty融合系統(tǒng)提供getProperty接口獲取指定屬性名的屬性值。 Property_typegetProperty（Stringproperty_name）property_name 指定屬性名返回 屬性值6數(shù)據(jù)接口與融合數(shù)據(jù)6.1數(shù)據(jù)接收接口數(shù)據(jù)發(fā)送端通過setData接口向融合系統(tǒng)提供待融合的數(shù)據(jù)：intsetData（datatypedata）data datatype類型的數(shù)據(jù)。6.2融合數(shù)據(jù)獲取接口融合系統(tǒng)通過數(shù)據(jù)獲取接口獲取融合后數(shù)據(jù)：datatypegetData（boolfusion_type）6.3標(biāo)定數(shù)據(jù)類型Calibration描述標(biāo)定數(shù)據(jù)類型Calibration如表3所示。標(biāo)定數(shù)據(jù)類型Calibration描述屬性名描述類型單位/備注舉例image_size圖像大小uint32[2]/例如：[640，480]intrinsic_matrix內(nèi)參數(shù)矩陣double32[9]/將攝像頭坐標(biāo)系坐標(biāo)轉(zhuǎn)換至圖像坐標(biāo)系distortion_coeffs形變參數(shù)向量，5x1或者1x5，如果是NULL，所有形變系數(shù)都設(shè)為0double32[5]/例如：1.4730863001476869e-02，2.0768733729966279e-03，rotation_vector旋轉(zhuǎn)向量，1x3或者3x1double32[3]弧度/Lidar和Camera在x，y，z維度的相對旋轉(zhuǎn)例如:[1.57，1.57，0]translation_vector平移向量，1x3或者3x1double32[3]/Lidar和Camera在x，y，z上的相對平移例如:[4.97361170，0.，3.41049617]extrinsic_matrix外參數(shù)矩陣double32[16]/Lidar到Camera的外參，包括位置偏移和旋轉(zhuǎn)6.4圖像數(shù)據(jù)Image描述圖像數(shù)據(jù)Image描述如表4所示。圖像數(shù)據(jù)Image描述屬性名描述類型單位/備注舉例sensor_id產(chǎn)生圖像數(shù)據(jù)的攝像頭傳感器iduint8/攝像頭，如1timestamp圖片生成的時間戳uint32/1595682678Seq圖像的序列uint321height圖像高度，即像素行數(shù)uint32/480width圖像寬度，即像素列數(shù)uint32/360encoding圖像編碼string/rgb8channel圖像的通道數(shù)uint8/3imagedata圖像數(shù)據(jù)，大小為width*height*channeluint8[]/6.5點云數(shù)據(jù)PointCloud描述點云數(shù)據(jù)PointCloud描述如表5所示。點云數(shù)據(jù)PointCloud描述屬性名描述類型單位/備注舉例sensor_id產(chǎn)生點云數(shù)據(jù)的激光雷達(dá)iduint8/0timestamp點云的時間戳uint32.uint32秒.納秒/分別為整數(shù)部分與小數(shù)部分1574863519.715705367seq連續(xù)遞增的序列唯一標(biāo)識uint8/1number點云中的點的個數(shù)uint32/1000data點云數(shù)據(jù)float[]/每4個浮點數(shù)表示一個點云中的一個點，依次表示x，y，z，reflectivity，即點的三維坐標(biāo)和反射率beam線束uint32/166.6點云目標(biāo)檢測三維邊框信息boundingbox描述點云目標(biāo)檢測三維邊框信息boundingbox描述如表6所示。三維邊框boundingbox描述屬性名描述類型單位/備注舉例box_idboxidint32/1timestamp該box對應(yīng)的時間戳uint32.uint32秒.納秒分別為整數(shù)部分與小數(shù)部分1574863519.715705367Xboundingbox的中心點x坐標(biāo)float米1.0Yboundingbox的中心點y坐標(biāo)float米1.0Zboundingbox的中心點z坐標(biāo)float米1.0Lboundingbox的長float米1.0Wboundingbox的寬float米1.0Hboundingbox的高float米1.0rotation_yboundingbox朝向，用于描述汽車或行人的方向float度1.576.7圖像目標(biāo)檢測二維邊框信息boundingbox描述圖像目標(biāo)檢測邊框信息boundingbox描述如表7所示。二維邊框boundingbox描述屬性名描述類型單位/備注舉例box_idboxidint32/1timestamp該box對應(yīng)的時間戳uint32.uint32秒.納秒分別為整數(shù)部分與小數(shù)部分1574863519.715705367x1boundingbox的最小橫坐標(biāo)uint32像素的位置103y1boundingbox的最小縱坐標(biāo)uint32像素的位置103x2boundingbox的最大橫坐標(biāo)uint32像素的位置204y2boundingbox的最大縱坐標(biāo)uint32像素的位置2046.8傳感器數(shù)據(jù)融合后數(shù)據(jù)描述傳感器數(shù)據(jù)融合后的數(shù)據(jù)格式如表8所示。傳感器數(shù)據(jù)融合后數(shù)據(jù)描述屬性名描述類型單位/備注舉例timestamp時間對齊后圖片數(shù)據(jù)與點云數(shù)據(jù)時間戳uint32/1595682678image_seq融合所用圖像數(shù)據(jù)序列號uint32/1points_seq融合所用的點云數(shù)據(jù)序列號uint32/1camera_id生成圖像的傳感器iduint8/1lidar_id生成點云的激光雷達(dá)iduint8/1height圖像高度，即像素行數(shù)uint32/480width圖像寬度，即像素列數(shù)uint32/360encoding圖像編碼string/rgb8image_channel圖像的通道數(shù)uint8/3image_data圖像數(shù)據(jù)，大小為width*height*image_channeluint8[]/image_depth融合后圖像像素點處的深度數(shù)據(jù)，大小為width*heightfloat[]毫米/semantic_points融合后帶有語義信息的點云數(shù)據(jù)float[]/帶有語義的點云數(shù)據(jù)，每5個浮點數(shù)表示一個點，即x，y，z，r，label分別表示點的三維坐標(biāo)，反射率以及語義值6.9感知結(jié)果融合后目標(biāo)檢測結(jié)果數(shù)據(jù)描述感知結(jié)果融合后的數(shù)據(jù)格式見表9。感知結(jié)果融合后目標(biāo)檢測結(jié)果數(shù)據(jù)描述屬性名描述類型單位/備注舉例box_idboxidint32/1timestamp該box對應(yīng)的時間戳uint32.uint32秒.納秒分別為整數(shù)部分與小數(shù)部分1574863519.715705367score該融合box的scorefloat/0.8X融合后三維box的中心點x坐標(biāo)float米1.0Y融合后三維box的中心點y坐