T-SHV2X 1-2025 汽車駕駛自動化系統(tǒng)通.用語料庫 第3部分：語料數(shù)據(jù)采集

ICS43.020CCSR85SHV2XGeneralcorpusforautomobiledrivingautomatIT/SHV2X1—2025前言 II III 2規(guī)范性引用文件 3術(shù)語和定義 4縮略語 5總體要求 6語料數(shù)據(jù)資源 6.1語料數(shù)據(jù)資源分類 6.2基本數(shù)據(jù)信息 6.3外部環(huán)境信息 6.4車輛信息 6.5時(shí)間戳信息 6.6采集任務(wù)信息 6.7坐標(biāo)系信息 76.14軌跡導(dǎo)航數(shù)據(jù) 7數(shù)據(jù)采集要求 7.1采集過程要求 7.2數(shù)據(jù)傳輸及存儲要求 7.3采集數(shù)據(jù)質(zhì)量要求 8數(shù)據(jù)采集安全 8.1數(shù)據(jù)接入端 8.2數(shù)據(jù)采集端 8.3數(shù)據(jù)存儲端 附錄A（資料性）語料數(shù)據(jù)資源參考指標(biāo) 9附錄B（資料性）數(shù)據(jù)資源質(zhì)量要求 參考文獻(xiàn) IIT/SHV2X1—2025《汽車駕駛自動化系統(tǒng)通用語料庫》系列標(biāo)準(zhǔn)擬分為六個部分：——第1部分：總體要求；——第2部分：術(shù)語與定義；——第3部分：語料數(shù)據(jù)采集；——第4部分：語料數(shù)據(jù)清洗；——第5部分：語料數(shù)據(jù)標(biāo)注；——第6部分：語料數(shù)據(jù)測試。本文件為第3部分。本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別這些專利的責(zé)任。本文件由上海市車聯(lián)網(wǎng)協(xié)會提出并歸口。本文件起草單位：上海庫帕思科技有限公司、智能汽車創(chuàng)新發(fā)展平臺（上海）有限公司、智己汽車科技有限公司、地平線征程（上海）科技有限公司、上海臨港絕影智能科技有限公司、上海機(jī)動車檢測認(rèn)證技術(shù)研究中心有限公司、上海金橋智能網(wǎng)聯(lián)汽車發(fā)展有限公司、北京一輔智行科技有限公司、上海優(yōu)咔網(wǎng)絡(luò)科技有限公司、億咖通（上海）技術(shù)有限公司、滴水智行科技有限公司、上海航盛實(shí)業(yè)有限公司。本文件主要起草人：山棟明、黃海清、施佳樑、郭輝、周劍鳴、趙九花、賀錦鵬、蔣達(dá)夫、黃劍其、賓、董連飛、范昌琪。本文件首批承諾執(zhí)行單位：上海庫帕思科技有限公司、智能汽車創(chuàng)新發(fā)展平臺（上海）有限公司、智己汽車科技有限公司、地平線征程（上海）科技有限公司、上海臨港絕影智能科技有限公司、上海機(jī)動車檢測認(rèn)證技術(shù)研究中心有限公司、上海金橋智能網(wǎng)聯(lián)汽車發(fā)展有限公司、北京一輔智行科技有限公司、上海優(yōu)咔網(wǎng)絡(luò)科技有限公司、億咖通（上海）技術(shù)有限公司、滴水智行科技有限公司、上海航盛實(shí)業(yè)有限公司。IIIT/SHV2X1—2025人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量，語料數(shù)據(jù)則是人工智能研究和應(yīng)用不可或缺的資源，高質(zhì)量的語料庫更是人工智能賦能新質(zhì)生產(chǎn)力的關(guān)鍵。隨著端到端模型整合度越來越高，對訓(xùn)練語料的規(guī)模和質(zhì)量要求也成倍增加，相對而言，國內(nèi)車企普遍面臨高質(zhì)量訓(xùn)練數(shù)據(jù)稀缺、分布分散、一致性差、處理效率低下，數(shù)據(jù)采集成本較高（全量采集的數(shù)據(jù)存儲、計(jì)算成本巨大，且原始數(shù)據(jù)中高價(jià)值信息占比可能不足1%），單款車型上路數(shù)量較少、數(shù)據(jù)采集規(guī)模不足，不同廠商、不同車型采集數(shù)據(jù)分散且難以形成規(guī)模效應(yīng)。為了實(shí)現(xiàn)可靠的汽車駕駛自動化，大量準(zhǔn)確的語料數(shù)據(jù)采集至關(guān)重要。數(shù)據(jù)是自動駕駛系統(tǒng)的基礎(chǔ)，它能夠幫助系統(tǒng)理解復(fù)雜的交通環(huán)境、做出明智的決策，并不斷優(yōu)化性能。通過對各種外部環(huán)境信息、車輛自身狀態(tài)信息以及駕駛行為數(shù)據(jù)的采集和分析，為自動駕駛技術(shù)的發(fā)展提供有力支持。圍繞“采、洗、標(biāo)、測”一體化流程，制定《汽車駕駛自動化系統(tǒng)通用語料庫》系列標(biāo)準(zhǔn)，本標(biāo)準(zhǔn)為語料數(shù)據(jù)采集部分標(biāo)準(zhǔn)。通過本標(biāo)準(zhǔn)的制定，統(tǒng)一的語料數(shù)據(jù)資源的格式和要求，構(gòu)建可復(fù)用的標(biāo)準(zhǔn)化訓(xùn)練數(shù)據(jù)集，促進(jìn)汽車駕駛自動化系統(tǒng)語料資源高效流通利用，降低業(yè)內(nèi)企業(yè)重復(fù)采集、處理和管理數(shù)據(jù)的巨額成本，提升本市汽車企業(yè)競爭力且推進(jìn)汽車產(chǎn)業(yè)健康發(fā)展。為未來端到端技術(shù)架構(gòu)發(fā)展所需的數(shù)據(jù)提供基礎(chǔ)支撐和高質(zhì)量發(fā)展的要素型支撐和關(guān)鍵性舉措以及高水平對外開放的戰(zhàn)略性支撐。1T/SHV2X1—2025汽車駕駛自動化系統(tǒng)通用語料庫第3部分：語料數(shù)據(jù)采集本文件規(guī)定了汽車駕駛自動化系統(tǒng)通用語料庫的總體要求、語料數(shù)據(jù)資源、數(shù)據(jù)采集要求以及數(shù)據(jù)采集安全等方面的要求。本文件適用于企業(yè)、研究機(jī)構(gòu)等對汽車駕駛自動化系統(tǒng)的研究、開發(fā)、維護(hù)、應(yīng)用、評估。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。智能網(wǎng)聯(lián)汽車自動駕駛數(shù)據(jù)記錄系統(tǒng)汽車整車信息安全技術(shù)要求汽車事件數(shù)據(jù)記錄系統(tǒng)北斗衛(wèi)星導(dǎo)航術(shù)語汽車行駛記錄儀大地測量術(shù)語天氣類型國標(biāo)編碼測繪基本術(shù)語JT/T794—2019道路運(yùn)輸車輛衛(wèi)星定位系統(tǒng)車載終端技術(shù)要求3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1語料數(shù)據(jù)資源dataresources以電子化形式記錄和保存的具備原始性、可機(jī)器讀取、可供社會化再利用的數(shù)據(jù)集合。3.2數(shù)據(jù)表征模式datarepresentationmodes計(jì)算機(jī)中存儲和表達(dá)數(shù)據(jù)的形式或結(jié)構(gòu)。4縮略語下列縮略語適用于本文件。5總體要求5.1語料數(shù)據(jù)資源2T/SHV2X1—2025汽車駕駛自動化系統(tǒng)通用語料庫的語料數(shù)據(jù)資源應(yīng)滿足多模態(tài)、同步性、多樣性、一定規(guī)模和質(zhì)量的要求。5.2語料數(shù)據(jù)采集汽車駕駛自動化系統(tǒng)通用語料庫的語料數(shù)據(jù)資源的采集方法應(yīng)符合GB44497、GB39732、GB/T17159、GB/T14911以及《智能網(wǎng)聯(lián)汽車時(shí)空數(shù)據(jù)安全處理基本要求》所規(guī)定要求。5.3語料數(shù)據(jù)安全汽車駕駛自動化系統(tǒng)通用語料庫數(shù)據(jù)資源的采集方應(yīng)在組織、人員、制度、平臺等方面實(shí)施安全策略、執(zhí)行覆蓋資源數(shù)據(jù)和語料產(chǎn)品全生命周期的安全控制措施，對車輛采集、存儲和傳輸?shù)臄?shù)據(jù)進(jìn)行加密、認(rèn)證等保護(hù)措施，確保數(shù)據(jù)的保密性、完整性和可用性，應(yīng)執(zhí)行并滿足GB44495相關(guān)數(shù)據(jù)安全規(guī)定。6語料數(shù)據(jù)資源6.1語料數(shù)據(jù)資源分類汽車駕駛自動化系統(tǒng)通用語料庫的語料數(shù)據(jù)資源應(yīng)包含數(shù)據(jù)采集車輛定向采集數(shù)據(jù)和量產(chǎn)車回傳數(shù)據(jù)內(nèi)容應(yīng)包含基本數(shù)據(jù)信息、外部環(huán)境信息、車輛主體信息、時(shí)間戳設(shè)定內(nèi)容、采集任務(wù)描述、激光雷達(dá)數(shù)據(jù)、毫米波雷達(dá)數(shù)據(jù)、攝像頭數(shù)據(jù)、聲音信息、軌跡導(dǎo)航數(shù)據(jù)、IMU數(shù)據(jù)采集內(nèi)容等。汽車駕駛自動化系統(tǒng)通用語料庫的語料數(shù)據(jù)資源的數(shù)據(jù)種類、用途及數(shù)據(jù)來源詳見表1。表1語料數(shù)據(jù)資源的數(shù)據(jù)種類、用途及數(shù)據(jù)來源123456786.2基本數(shù)據(jù)信息基本數(shù)據(jù)信息應(yīng)包括唯一編號、提交人姓名、提交人單位、提交人郵箱、語料數(shù)據(jù)資源名稱、聲明等信息，見表2。表2語料數(shù)據(jù)資源包基本信息1233T/SHV2X1—202545稱66.3外部環(huán)境信息外部環(huán)境信息應(yīng)包括外部環(huán)境名稱、環(huán)境類型、環(huán)境描述、天氣、溫度、濕度等，見表3所示。表3外部環(huán)境信息采集內(nèi)容12345676.4車輛信息記錄采集車輛信息，應(yīng)包括車輛序列號、車輛型號、車輛名稱、車輛狀態(tài)、車輛位置、車輛信息等，見表4所示。表4車輛信息采集內(nèi)容1234566.5時(shí)間戳信息對不同的數(shù)據(jù)進(jìn)行采集時(shí)，應(yīng)確保同一數(shù)據(jù)采集系統(tǒng)內(nèi)部以及不同數(shù)據(jù)采集系統(tǒng)之間的時(shí)間的同步性，確保多傳感器數(shù)據(jù)時(shí)間校準(zhǔn)同步，時(shí)間戳信息見表5所示。表5時(shí)間戳信息126.6采集任務(wù)信息在進(jìn)行數(shù)據(jù)采集任務(wù)時(shí)，應(yīng)針對工作任務(wù)進(jìn)行系統(tǒng)描述，記錄的內(nèi)容見表6所示。4T/SHV2X1—2025表6采集任務(wù)內(nèi)容1任務(wù)ID2346.7坐標(biāo)系信息汽車駕駛自動化中坐標(biāo)系常見分為激光雷達(dá)坐標(biāo)系、相機(jī)坐標(biāo)系、車輛坐標(biāo)系、站心坐標(biāo)系以及表7汽車駕駛自動化訓(xùn)練中定義的坐標(biāo)系類型Y軸方向12測345系車輛坐標(biāo)系應(yīng)符合GB39732-2020中對于車輛坐標(biāo)系的定義。6.8IMU數(shù)據(jù)采集內(nèi)容慣性測量單元是測量物體三軸角速度及加速度的裝置。一般IMU包括三軸陀螺儀及三軸加速度計(jì)，部分IMU還包括三軸磁力計(jì)。IMU數(shù)據(jù)包括角速度零偏穩(wěn)定性、加速度零偏穩(wěn)定性、時(shí)間戳同步等。IMU采集數(shù)據(jù)應(yīng)包括的信息內(nèi)容和要求見表8所示。表8IMU數(shù)據(jù)采集信息1-234567性89用于標(biāo)識車輛橫擺角速度和車輛側(cè)傾角速度方向的車輛坐標(biāo)系應(yīng)符合GB39732中對于車輛坐標(biāo)系的定義。6.9圖像數(shù)據(jù)5T/SHV2X1—2025圖像表征的數(shù)據(jù)，簡稱圖像數(shù)據(jù)，是以像素矩陣的形式存儲，每個像素點(diǎn)包含顏色信息，適用于圖像的存儲和處理。圖像數(shù)據(jù)資源的指標(biāo)和要求見表9所示。表9圖像數(shù)據(jù)資源的指標(biāo)和要求12345676.10視頻信息視頻表征的數(shù)據(jù)，簡稱視頻數(shù)據(jù)，是以一系列序列幀的形式存儲，每個幀可以是圖像表征，適用于視頻內(nèi)容的存儲和處理。汽車駕駛自動化視頻類型詳見10所示。表10視頻數(shù)據(jù)的指標(biāo)和要求1234567視頻數(shù)據(jù)來自車輛前視、側(cè)視、后視攝像頭的視頻序列，用于物體檢測、語義分割、道路檢測、交通信號識別等。攝像頭視頻數(shù)據(jù)分類及說明見表11所示。表11視頻數(shù)據(jù)分類表123456視頻數(shù)據(jù)場景信息包含的天氣條件、照明條件和道路類型等多種數(shù)據(jù)語義特征，汽車駕駛自動化數(shù)據(jù)語義特征見表12所示。表12視頻數(shù)據(jù)語義特征表123456T/SHV2X1—20256相機(jī)水平視場角應(yīng)能覆蓋360°,應(yīng)與汽車駕駛自動化數(shù)據(jù)集保持一致，多個視角內(nèi)的目標(biāo)可追蹤，保持特征一致。6.11雷達(dá)數(shù)據(jù)本文件規(guī)定的雷達(dá)數(shù)據(jù)包括激光點(diǎn)云數(shù)據(jù)和毫米波數(shù)據(jù)。激光點(diǎn)云表征的數(shù)據(jù)，簡稱點(diǎn)云數(shù)據(jù)，通過雷達(dá)系統(tǒng)獲取的三維空間信息集合，可通過發(fā)射激光束并接收反射回來的信號，精確測量物理的距離、形狀和位置，構(gòu)建三維環(huán)境模型。激光點(diǎn)云數(shù)據(jù)可分為360°機(jī)械激光雷達(dá)和固態(tài)激光雷達(dá)，360°機(jī)械激光雷達(dá)一般用于真值數(shù)據(jù)采集。360°機(jī)械激光雷達(dá)點(diǎn)云數(shù)據(jù)和固態(tài)激光雷達(dá)點(diǎn)云數(shù)據(jù)的指標(biāo)和要求可參考附錄A。相關(guān)激光點(diǎn)云數(shù)據(jù)需滿足以上指標(biāo)和要求，如出現(xiàn)以下情形，則不適合作為激光點(diǎn)云數(shù)據(jù)，詳見表表13不適合作為點(diǎn)云數(shù)據(jù)資源的情形123456789毫米波數(shù)據(jù)，擅長測量目標(biāo)的距離和速度，對金屬物理比較敏感，在惡劣環(huán)境下也能較好工作。毫米波數(shù)據(jù)資源的指標(biāo)和要求見表14所示。表14毫米波數(shù)據(jù)的指標(biāo)和要求1234567896.12聲音信息聲音表征的數(shù)據(jù)，簡稱聲音信息。是以音頻和文字形式存儲的音頻對。聲音信息應(yīng)包含的內(nèi)容見表7T/SHV2X1—2025表15聲音信息數(shù)據(jù)應(yīng)包含的內(nèi)容123456.13CAN總線數(shù)據(jù)車輛為采集平臺硬件基礎(chǔ)，車輛的駕駛行為和車輛狀態(tài)數(shù)據(jù)是重要組成部分之一，車輛總線可快速獲取此類數(shù)據(jù)，車輛總線數(shù)據(jù)可參考附件A。6.14軌跡導(dǎo)航數(shù)據(jù)本文件規(guī)定的軌跡導(dǎo)航數(shù)據(jù)包括定位數(shù)據(jù)、軌跡數(shù)據(jù)等。軌跡導(dǎo)航數(shù)據(jù)的說明見表16所示。表16軌跡導(dǎo)航數(shù)據(jù)資源說明1234軌跡導(dǎo)航數(shù)據(jù)的資源分類詳見表17所示。表17軌跡導(dǎo)航數(shù)據(jù)資源分類1237數(shù)據(jù)采集要求7.1采集過程要求在數(shù)據(jù)采集開始前以及結(jié)束后，應(yīng)驗(yàn)證采集設(shè)備，確保采集設(shè)備處于正常工作狀態(tài)，無故障，且驗(yàn)證采集數(shù)據(jù)的合理性、正確性。在將采集到的語料數(shù)據(jù)資源存入數(shù)據(jù)庫前，應(yīng)檢查其格式的統(tǒng)一性和數(shù)據(jù)的完整性。7.2數(shù)據(jù)傳輸及存儲要求語料數(shù)據(jù)資源的采集、傳輸、存儲，應(yīng)考慮傳輸通道與存儲系統(tǒng)等的整體性能，以確保數(shù)據(jù)的完整性、準(zhǔn)確性和安全性，避免數(shù)據(jù)丟失、數(shù)據(jù)損壞等情況的發(fā)生。對數(shù)據(jù)的存儲介質(zhì)、存儲能力、存儲覆蓋機(jī)制應(yīng)執(zhí)行和滿足GB44497以及GB/T19056相關(guān)數(shù)據(jù)存儲格式和要求，同時(shí)還需要滿足自然資發(fā)〔2024〕139號《自然資源部關(guān)于加強(qiáng)智能網(wǎng)聯(lián)汽車有關(guān)測繪地理信息安全管理的通知》的要求。7.3采集數(shù)據(jù)質(zhì)量要求采集數(shù)據(jù)的質(zhì)量要求，應(yīng)滿足準(zhǔn)確性、完整性、一致性、可溯源性、代表性和可移植性，具體要求可參考附錄B。8數(shù)據(jù)采集安全8T/SHV2X1—20258.1數(shù)據(jù)接入端對于數(shù)據(jù)接入端，如傳感器自帶或外加加密模塊，應(yīng)采用硬件/軟件加密后傳輸?shù)姆绞皆黾訑?shù)據(jù)安全性。8.2數(shù)據(jù)采集端對于數(shù)據(jù)采集端的加密，包括數(shù)據(jù)采集接口自帶或外加加密模塊，應(yīng)在采集端進(jìn)行硬件/軟件加密后顯示或存儲。8.3數(shù)據(jù)存儲端對于數(shù)據(jù)存儲端，如語料數(shù)據(jù)資源存儲器或存儲平臺，應(yīng)采用以下方式進(jìn)行加密：設(shè)置權(quán)限、源文件加密、自建格式等。9T/SHV2X1—2025語料數(shù)據(jù)資源參考指標(biāo)A.1360°機(jī)械激光雷達(dá)點(diǎn)云數(shù)據(jù)指標(biāo)和要求表18360°機(jī)械激光雷達(dá)點(diǎn)云數(shù)據(jù)指標(biāo)和要求123456785°(-19°~-14°)6°(-25°-19°)9A.2固態(tài)激光雷達(dá)點(diǎn)云數(shù)據(jù)的指標(biāo)和要求表19固態(tài)激光雷達(dá)點(diǎn)云數(shù)據(jù)指標(biāo)和要求123456789A.3CAN總線數(shù)據(jù)指標(biāo)和要求T/SHV2X1—2025表20車輛CAN總線數(shù)據(jù)指標(biāo)和要求123456789態(tài)車輛必須至少包含油門剎車控制或者加減速控制中的一種完整縱向控制類型，上述信息為描述場景的必備要素，是場景應(yīng)用的基礎(chǔ)信息。采集的場景數(shù)據(jù)將至少包含上述信息，以滿足后期場景數(shù)據(jù)處理的需求。T/SHV2X1—2025數(shù)據(jù)資源質(zhì)量要求B.1準(zhǔn)確性汽車駕駛自動化系統(tǒng)通用語料庫數(shù)據(jù)資源的準(zhǔn)確性要求應(yīng)包括：（a）數(shù)據(jù)形式的合理性；（b）記錄信息的準(zhǔn)確性；（c）文字與數(shù)據(jù)描述應(yīng)準(zhǔn)確、清晰、無歧義；（d）應(yīng)避免數(shù)據(jù)壓縮等因素造成的數(shù)據(jù)不準(zhǔn)確性。B.2