汽車零部件行業(yè)專題報告AI大模型在自動駕駛中的應(yīng)用

汽車零部件行業(yè)專題報告AI大模型在自動駕駛中的應(yīng)用1.AI大模型如何應(yīng)用于自動駕駛算法中？算法是決定自動駕駛車輛感知能力的核心要素。當(dāng)前主流的自動駕駛模型框架分為感知、規(guī)劃決策和執(zhí)行三部分。感知模塊是自動駕駛系統(tǒng)的眼睛，核心任務(wù)包括對采集圖像進(jìn)行檢測、分割等，是后續(xù)決策層的基礎(chǔ)，決定了整個自動駕駛模型的上限，在自動駕駛系統(tǒng)中至關(guān)重要。感知模塊硬件部分主要為傳感器，軟件為感知算法，其中算法是決定自動駕駛車輛感知能力的核心要素。1.1.神經(jīng)網(wǎng)絡(luò)加快自動駕駛感知算法發(fā)展，小模型向大模型迭代趨勢明確神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用驅(qū)動感知算法高速發(fā)展。早在上世紀(jì)70年代，學(xué)術(shù)院校和科研機(jī)構(gòu)展開對自動駕駛技術(shù)的探索，早期的自動駕駛感知算法主要是基于傳統(tǒng)計(jì)算機(jī)視覺技術(shù)，直到2010年之后隨著深度學(xué)習(xí)技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)被引入到自動駕駛感知算法中，自動駕駛汽車的感知效果有了質(zhì)的提升。應(yīng)用于感知層面的神經(jīng)網(wǎng)絡(luò)模型可以分為兩類，一類是以CNN、RNN為代表的小模型，另一類是Transformer大模型。神經(jīng)網(wǎng)絡(luò)是一種受生物神經(jīng)元啟發(fā)而產(chǎn)生的深度學(xué)習(xí)方法，由眾多的感知機(jī)構(gòu)成。感知機(jī)類似于生物學(xué)中的神經(jīng)元，輸入信號經(jīng)過加權(quán)平均運(yùn)算，若超過某一個閾值則向后傳遞信號，否則被抑制。不同的神經(jīng)網(wǎng)絡(luò)模型實(shí)際就是對感知機(jī)之間設(shè)定不同的邏輯關(guān)系。單個感知機(jī)工作的過程為：1）感知機(jī)前端相當(dāng)于神經(jīng)元樹突，接受輸入信號x，可以以向量表示x=（a，b，c），其中a、b、c分別來自上一個神經(jīng)元或原始圖像。2）輸入信號與連接權(quán)重向量w=（w1，w2，w3）進(jìn)行內(nèi)積運(yùn)算，這實(shí)際是對輸入信號進(jìn)行加權(quán)平均。3）在相當(dāng)于神經(jīng)元軸突的感知機(jī)后端設(shè)定一個閾值z，當(dāng)加權(quán)平均值達(dá)到閾值即xwT+z0,則感知機(jī)被激活向后傳遞信號，否則感知機(jī)被抑制。4）此外，引入非線性因素保證輸出連續(xù)，可以對xwT+b整體施加一個激活函數(shù)。1.1.1.1.深度神經(jīng)網(wǎng)絡(luò)DNN是人工智能的開端深度神經(jīng)網(wǎng)絡(luò)（DNN）又叫多層感知機(jī)神經(jīng)網(wǎng)絡(luò)，其中有三個基本類型的層：輸入層、隱藏層（或者叫中間層，可以有多個）、輸出層。不同層之間的感知機(jī)全連接，在推理時，前向（從輸入層到隱藏層到輸出層）傳遞信號得到推理結(jié)果。在學(xué)習(xí)時則將誤差（真實(shí)值和推理值的偏差）反向傳遞（從輸出層到隱藏層到輸入層），實(shí)現(xiàn)對感知機(jī)參數(shù)（連接權(quán)重和閾值）的更新，直至找到使得誤差最小的一組感知機(jī)參數(shù)。在自動駕駛感知模塊中輸入數(shù)據(jù)為圖像，而圖像具有高維數(shù)（對比時間序列通常只是一維向量），對其識別時需要設(shè)置大量輸入神經(jīng)元以及多個中間層，模型參數(shù)量大難以訓(xùn)練且消耗算力高，并可能帶來過擬合的問題。1.1.1.2.卷積神經(jīng)網(wǎng)絡(luò)CNN廣泛用于特征提取DNN識別圖像的本質(zhì)是對每一個像素點(diǎn)進(jìn)行比對學(xué)習(xí)，因此效率較低。事實(shí)上，人類在對圖像進(jìn)行識別是并不需要對像素點(diǎn)進(jìn)行逐個對比，而是通過圖像的特征進(jìn)行識別。例如識別人臉時，并不需要對每一個像素點(diǎn)都仔細(xì)觀比對，而是先搜索臉部的輪廓以及眼睛、鼻子等特征，當(dāng)這些特征同時出現(xiàn)，就可以判斷圖片中是一張人臉，基于這種思想，CNN卷積神經(jīng)網(wǎng)絡(luò)應(yīng)運(yùn)而生，本質(zhì)上是在信息傳入傳統(tǒng)神經(jīng)網(wǎng)絡(luò)前先做一個特征的提取并進(jìn)行數(shù)據(jù)降維，因此CNN圖像處理高緯度向量的任務(wù)上更加高效。CNN能夠高效率處理圖像任務(wù)的關(guān)鍵在于其通過卷積層、池化層操作實(shí)現(xiàn)了降維，模型需要訓(xùn)練的參數(shù)量相比于DNN來說大幅降低，對硬件算力的要求也相對降低。CNN的模型結(jié)構(gòu)在DNN的全連接層之前增加了卷積層和池化層，用于提取圖像特征并降低數(shù)據(jù)維度。舉例而言，對于一個88（64像素）的原始圖片，CNN模型中設(shè)置一個大小為33的濾波器（即卷積核），“覆蓋”在原始圖片相同大小的區(qū)域之后，對應(yīng)位置元素相乘求和；完成一個位置計(jì)算后，向其他區(qū)域平移直到覆蓋整個原始圖片。上述這一過程即“卷積”操作，其中卷積核的值為模型所需要學(xué)習(xí)的參數(shù)。卷積操作的優(yōu)勢在于卷積核與原始圖像每一區(qū)域進(jìn)行運(yùn)算的參數(shù)相同，降低了模型所需要學(xué)習(xí)的參數(shù)量。池化（Pooling）操作是為了提取一定區(qū)域的主要特征，并進(jìn)一步減少后續(xù)輸入全連接層的參數(shù)量。如對卷積后66的特征圖，選取22大小的窗口進(jìn)行Maxpooling操作（即窗口內(nèi)取最大值）后，特征圖的長和寬都縮小到原來的1/2。但是CNN仍然存在一定的缺陷，多次池化會丟失一些的有價值信息，忽略局部與整體之間的關(guān)聯(lián)性。例如進(jìn)行面部識別時，多次池化位置信息有所損失，鼻子、眼睛、嘴特征同時出現(xiàn)，CNN就可能將其識別為人臉。因此CNN存在誤判的概率。1.1.1.3.循環(huán)神經(jīng)網(wǎng)絡(luò)RNN有效處理有時間序列信息在自動駕駛場景下，感知還需要時序的信息來完成目標(biāo)跟蹤以及視野盲區(qū)預(yù)測等感知任務(wù)。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN與CNN一樣都是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的擴(kuò)展，相比于CNN在空間上進(jìn)行拓展，RNN是在時間上的擴(kuò)展，可以用于描述時間上連續(xù)輸出的狀態(tài)。例如自動駕駛場景中可能會出現(xiàn)前方大卡車造成遮擋，如果要判斷視野盲區(qū)里是否有行人就需要結(jié)合被卡車遮擋前的信息，由此需要引入循環(huán)神經(jīng)網(wǎng)絡(luò)RNN對時序信息進(jìn)行處理。RNN與DNN在結(jié)構(gòu)上相近，區(qū)別在于RNN在隱藏層引入“循環(huán)”，即每一個隱藏層上的每一個記憶體（本質(zhì)就是感知機(jī)）都與上一個時刻隱藏層上的所有記憶連接，這意味著某一時刻網(wǎng)絡(luò)的輸出除了與當(dāng)前時刻的輸入相關(guān)，還與之前某一時刻或某幾個時刻的輸出相關(guān)。引入了循環(huán)的隱藏層叫做循環(huán)核，RNN借助循環(huán)核提取時間特征，從而引入了時序上的相關(guān)性實(shí)現(xiàn)連續(xù)數(shù)據(jù)的預(yù)測。但是RNN的局限主要在于：1）循環(huán)核需要存儲，意味著硬件需要具備更大的緩存。同時記憶體個數(shù)越多存儲歷史狀態(tài)信息的能力越強(qiáng)、訓(xùn)練效果越好，但需要訓(xùn)練的參數(shù)量、消耗的資源也越多，二者共同制約RNN，使其難以學(xué)到長時間距離的依賴關(guān)系。2）RNN并行能力受限，由于某一時刻網(wǎng)絡(luò)的輸出不但與當(dāng)前時刻的輸入相關(guān)，還與上一時刻的輸出結(jié)果相關(guān)，因此RNN無法進(jìn)行并行計(jì)算，使得計(jì)算效率非常受限。1.1.2.Transformer大模型的注意力機(jī)制成為自動駕駛感知算法的利器Transformer模型的關(guān)鍵在于計(jì)算輸入序列元素之間的關(guān)系權(quán)重，最早在NLP領(lǐng)域大放異彩，2020年起在CV領(lǐng)域開始得到廣泛應(yīng)用。2017年，谷歌在NIPS發(fā)表論文《Attentionisallyouneed》提出了Transformer網(wǎng)絡(luò)結(jié)構(gòu)，其基本思想為假設(shè)一個有邏輯的序列a=(a1,a2,a3,...,ai,...)，如文章的文字序列、語音的聲譜序列等，Transformer模型的關(guān)鍵是為每個token（元素）找到與其他token的關(guān)系權(quán)重。由此可見，Transformer在處理NLP這樣的序列任務(wù)上具有天然的優(yōu)勢，并迅速成為NLP領(lǐng)域的主流模型。2020年，VIT（VisionTransformer）網(wǎng)絡(luò)把一個圖片按序切成一個個小片（Patch）后再應(yīng)用Transformer模型架構(gòu)，標(biāo)志著Transformer正式進(jìn)軍CV領(lǐng)域，并在目標(biāo)檢測、分割等任務(wù)中均表現(xiàn)出色。Transformer成功的關(guān)鍵在于引入注意力（attention）機(jī)制?？梢詫ψ⒁饬Γ╝ttention）機(jī)制直觀理解為“只關(guān)注重要的信息而非全部信息”，比如當(dāng)我們視線掃過大片文字，注意力會停留在其中的關(guān)鍵詞及關(guān)鍵詞之間的邏輯關(guān)聯(lián)上，而對其余信息則印象不深。神經(jīng)網(wǎng)絡(luò)模型中引入注意力記住的好處在于可以解決存儲時間長度有限的問題（只關(guān)注過往信息中有用的而非全部），同時又沒有重要信息的丟失。注意力機(jī)制可以通過運(yùn)算得到一個矩陣，包含任一個元素和其他元素之間多角度的關(guān)聯(lián)度的信息。如圖所示，不同的顏色代表不同的維度，顏色越深代表在這個維度上兩個元素關(guān)聯(lián)度越高。舉例而言，如果識別一個未知的物體X（木床），這個矩陣就代表在材料維度物體和木桶關(guān)聯(lián)度最高，在形狀維度和鐵床關(guān)聯(lián)度最高，通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練后可以得到正確的結(jié)果。Transformer主要由編碼器（Encoder）和解碼器（Decoder）兩部分組成，編碼器負(fù)責(zé)把輸入數(shù)據(jù)編碼成一個向量表示，解碼器則根據(jù)這個向量生成輸出數(shù)據(jù)。其中編碼器基于多頭自注意力機(jī)制（Multi-HeadSelf-Attention），解碼器基于多頭交叉注意力機(jī)制（MultiHeadCross-Attention）。在Transformer模型中，輸入元素經(jīng)過三次線性變換，分別得到查詢向量Q（Query）、鍵向量K（Key）和值向量V（Value）。這三個向量均代表了同一個輸入元素，但經(jīng)過不同的線性變換后，它們的表示和功能都有所不同。其中，查詢向量Q用于檢索與當(dāng)前輸入元素相關(guān)的其他元素；鍵向量K用于幫助查詢向量找到與之相關(guān)的元素；值向量V用于表示輸入元素的實(shí)際信息。輸出向量可以表示為(,,)=(√)，具體的過程如下：1）計(jì)算查詢向量與鍵向量的點(diǎn)積，得到注意力得分，點(diǎn)積結(jié)果越大表明相似度越高，注意力得分越高。2）對注意力得分進(jìn)行縮放和歸一化為概率分布。3）用歸一化后的注意力得分對值向量進(jìn)行加權(quán)求和，得到輸出向量。自注意力機(jī)制中，Q、K、V三個參數(shù)來自于同一個輸入序列，用序列中所有元素向量的加權(quán)和來代表某一個元素的向量，因此自注意力機(jī)制可以捕捉輸入數(shù)據(jù)中的長距離依賴關(guān)系，常用于特征提取。所謂“多頭注意力機(jī)制”是一種并行計(jì)算的注意力方法，它將輸入數(shù)據(jù)分成多個部分（稱為“頭”），然后分別計(jì)算各部分的注意力得分。Transformer憑借優(yōu)秀的長序列處理能力和更高的并行計(jì)算效率，2021年由特斯拉引入自動駕駛領(lǐng)域。Transformer與CNN相比最大的優(yōu)勢在于其泛化性更強(qiáng)。CNN只能對標(biāo)注過的物體進(jìn)行相似度的比對，通過不斷學(xué)習(xí)完成對該物體識別的任務(wù)；而transformer可以通過注意力層的結(jié)構(gòu)找到更基本的元素與元素間之間多個維度的相關(guān)信息進(jìn)而找到一種更泛化的相似規(guī)律，進(jìn)而提高自動駕駛的泛化能力。同時，不同于RNN存在存儲時間長度有限以及順序依賴的問題，Transformer模型具有更高的并行計(jì)算效率并且可以學(xué)習(xí)到長時間距離的依賴關(guān)系。1.2.特征級融合逐步取代后融合，BEV+Transformer為當(dāng)前主流方案自動駕駛感知模塊通常配備多個傳感器（甚至多種傳感器）達(dá)到安全冗余和信息互補(bǔ)的作用，但不同傳感器傳遞的信息存在相互沖突的可能性。舉例而言，如果一個傳感器識別到前方有行人要求汽車立即剎車，而另一傳感器顯示可以繼續(xù)安全行駛，在這種情況下如果不對傳感器信息進(jìn)行融合，汽車就會“感到迷?！保M(jìn)而導(dǎo)致意外的發(fā)生。因此，在使用多種（個）傳感器采集信息時必須進(jìn)行信息交互、融合。1.2.1.自動駕駛感知技術(shù)從后融合向特征級融合迭代趨勢明確感知可粗略分為獲取數(shù)據(jù)、提取特征、完成感知任務(wù)三個環(huán)節(jié)，按照信息融合發(fā)生的環(huán)節(jié)自動駕駛感知技術(shù)可以分為前融合、特征融合以及后融合。后融合即目標(biāo)級融合，指單個傳感器分別完成感知任務(wù)后再進(jìn)行融合，可理解為有多少個傳感器即需要幾套感知算法。前融合即數(shù)據(jù)級融合，指對不同傳感器的原始數(shù)據(jù)進(jìn)行空間和時間上的對齊，再從融合數(shù)據(jù)中提取特征向量進(jìn)行識別，整套自動駕駛系統(tǒng)僅需要一套感知算法。而特征級融合是指對傳感器采集的原始數(shù)據(jù)分別進(jìn)行特征提取，再進(jìn)行融合，進(jìn)而實(shí)現(xiàn)對應(yīng)的感知任務(wù)。后融合方案因易實(shí)現(xiàn)、對算力要求低等優(yōu)勢在自動駕駛發(fā)展早期成為主流方案。后融合方案由中每個傳感器采集原始數(shù)據(jù)后獨(dú)立進(jìn)行特征提取和目標(biāo)檢測再由自動駕駛域控制器對進(jìn)行預(yù)測結(jié)果融合。后融合方案具備三個顯著的優(yōu)勢，1）主機(jī)廠在自身感知算法能力有限時可快速量產(chǎn)：后融合算法比較簡單，每種傳感器的識別結(jié)果輸入到融合模塊，融合模塊對各傳感器在不同場景下的識別結(jié)果，設(shè)置不同的置信度，最終根據(jù)融合策略進(jìn)行決策。且不同傳感器的感知算法可以交由供應(yīng)商完成，例如Mobileye所提供的單目一體化解決方案即直接輸出感知識別的結(jié)果，由此也可以幫助主機(jī)廠在自身感知算法能力有限時實(shí)現(xiàn)快速量產(chǎn)。2）對算力、帶寬要求低：根據(jù)機(jī)器之心的數(shù)據(jù)，傳感器后融合的策略對車端算力的要求僅在100Tops以內(nèi)，同時因?yàn)閭鞲衅髋c域控制器之間只需要傳輸感知結(jié)果而非原始數(shù)據(jù)，對通信帶寬的要求也大大降低。3）不同的傳感器都獨(dú)立進(jìn)行目標(biāo)識別，解耦性好，且各傳感器可以互為冗余備份。在行業(yè)發(fā)展的早期階段自動駕駛等級低，對感知精度要求不高，后融合方案憑借上述優(yōu)勢成為多家自動駕駛廠商的主流選擇，如特斯拉在2020年之前就采用后融合方案。但隨著自動駕駛的發(fā)展，由于后融合方案精度較低（后融合過程中低置信度信息會被過濾掉，產(chǎn)生原始數(shù)據(jù)的丟失，并且可能誤差疊加），難以滿足高級別自動駕駛的要求。同時，后融合是一種基于規(guī)則的方法，需要根據(jù)先驗(yàn)知識對傳感器設(shè)定置信度，局限性明顯。前融合方案感知精度相比于后融合大幅提升，但對算法、車端算力要求大幅提升。前融合通過空間、時間對齊直接融合不同模態(tài)的原始傳感器數(shù)據(jù)再從融合后的綜合數(shù)據(jù)中提取特征向量進(jìn)行識別。前融合方案優(yōu)勢明顯，通過對原始數(shù)據(jù)進(jìn)行融合因而可以保證數(shù)據(jù)不會丟失，感知精度較高。同時傳感器無需對原始數(shù)據(jù)進(jìn)行處理，原先置于傳感器內(nèi)部的SoC芯片可以減配。但問題在于1）需要足夠優(yōu)秀的融合算法，原始數(shù)據(jù)數(shù)據(jù)維度高，特征復(fù)雜，網(wǎng)絡(luò)理解起來比較困難，因此對于算法的設(shè)計(jì)要求較高。2）對車端算力要求大幅提升，需要將原始數(shù)據(jù)噪聲去除，在時間、空間上將數(shù)據(jù)對齊而后融合提取特征，這個過程需要消耗大量的算力，根據(jù)機(jī)器之心數(shù)據(jù)，車端至少需要500-1000Tops才可實(shí)現(xiàn)前融合。特征級融合方案相比于后融合數(shù)據(jù)損失小、相比于前融合的算力消耗低，自動駕駛感知技術(shù)從后融合向特征級融合迭代趨勢明確，目前主流的方案是在3/4D空間中進(jìn)行特征級融合。特征級融合是指在3/4D空間中融合跨模態(tài)數(shù)據(jù)。先從每個傳感器提供的原始觀測數(shù)據(jù)中提取代表性的特征，再把這些特征融合成單一的特征向量進(jìn)而識別。根據(jù)機(jī)器之心數(shù)據(jù)，前融合需要500-1000Tops算力，而特征級融合僅需要300-400Tops算力。此外transformer算法的發(fā)展大大提升了在BEV空間進(jìn)行特征融合的效果，目前特征級融合成為主流的融合方案。1.2.2.Transformer大幅提升BEV空間中的特征級融合效果BEV（Bird'sEyeView）鳥瞰圖也可以稱之為“上帝視角”，是一種用于描述感知世界的坐標(biāo)系，在BEV空間中可以進(jìn)行自動駕駛感知模塊的前融合、特征級融合或者后融合。BEV鳥瞰圖僅是一種對感知世界的表達(dá)方式，因此其也可廣泛應(yīng)用在純視覺方案、多傳感器融合方案以及車路協(xié)同方案中。在BEV空間中進(jìn)行后融合轉(zhuǎn)換主要為基于規(guī)則的方法。傳統(tǒng)的BEV轉(zhuǎn)換方法主要基于IPM（逆透視變換）。攝像頭所采集到的2D圖像，因透視關(guān)系的存在會呈現(xiàn)出近大遠(yuǎn)小的情況，如真實(shí)世界中平行的車道線在2D透視圖中會表現(xiàn)出不平行。IPM就是利用相機(jī)成像過程中的坐標(biāo)系轉(zhuǎn)化關(guān)系，對其原理進(jìn)行抽象和簡化，得到真實(shí)世界坐標(biāo)系和圖像坐標(biāo)系之間坐標(biāo)的對應(yīng)關(guān)系，并進(jìn)行公式化描述，從而消除這種透視效應(yīng)。但I(xiàn)PM方法依賴于嚴(yán)苛的假設(shè)，如地面是完美水平、相機(jī)和地面之間不存在相對運(yùn)動，因此任何的車輛顛簸或者道路有高度變化都會打破這一假設(shè)，使得BEV輸出的圖像面臨失真。同時，由于透視投影，在2D圖像中完成不錯的感知結(jié)果投影到BEV空間中精度很差，尤其是遠(yuǎn)距離的區(qū)域。為了克服以上問題，當(dāng)前主流的方案是在BEV空間中基于深度學(xué)習(xí)的方法做特征級融合。具體的流程如下：BEV感知的基本過程為：1）特征提?。簜鞲衅鞑杉紨?shù)據(jù)（2D透視圖）輸入到共享的骨干網(wǎng)絡(luò)（Backbone），分別提取數(shù)據(jù)特征（feature）。2）空間變換+特征級融合：在BEV空間內(nèi)，對分別提取到的特征進(jìn)行融合，包括多個攝像頭數(shù)據(jù)特征的融合和多種類傳感器的數(shù)據(jù)融合，比如將像素級的視覺數(shù)據(jù)特征和激光雷達(dá)點(diǎn)云特征進(jìn)行融合。3）融入時序形成4D空間：時序信息對于自動駕駛感知任務(wù)十分重要，通過時序信息可以判斷面前的車是否出于移動狀態(tài)并且可以連續(xù)預(yù)測。4）多任務(wù)輸出：包括靜態(tài)語義地圖、動態(tài)檢測和運(yùn)動預(yù)測等，輸出下游規(guī)控模塊使用。在BEV空間中做特征級融合早期的代表性算法為英偉達(dá)2020年提出的LSS算法，是基于深度分布估計(jì)進(jìn)行BEV空間轉(zhuǎn)換的開山之作。攝像頭所采集到的2D透視圖缺失了深度信息，LSS算法的基本思想是對CNN共享網(wǎng)絡(luò)提取的特征圖做深度估計(jì)，并且這里的深度估計(jì)并不是一個確定的值，而是給出一系列的概率分布，由此生成3D的視錐點(diǎn)云。最后再通過相機(jī)的內(nèi)外參轉(zhuǎn)換到BEV空間中。Transformer交叉注意力機(jī)制對于BEV空間轉(zhuǎn)換任務(wù)適配性較高，目前成為特斯拉、小鵬等自動駕駛廠商主流的技術(shù)方案。與基于深度分布估計(jì)方法最顯著的區(qū)別在于基于交叉注意力機(jī)制的方法沒有顯示的深度估計(jì)，而是用注意力機(jī)制直接進(jìn)行不同序列（指2D特征圖和BEV視圖）之間的轉(zhuǎn)換。如前文所述，交叉注意力機(jī)制中的Query和Key/Value來源不同，因此天然適配于不同域之間的數(shù)據(jù)轉(zhuǎn)換。在2D特征圖向BEV空間轉(zhuǎn)換的過程中，首先將BEV空間分割成3D格柵，之后將它們編碼成一組Query向量，去2D特征圖中查詢對應(yīng)的點(diǎn)，從而實(shí)現(xiàn)空間的轉(zhuǎn)換。根據(jù)2021年特斯拉AIDay，通過Transformer交叉注意力機(jī)制在BEV空間內(nèi)做特征級融合的效果遠(yuǎn)好于基于規(guī)則的方法在BEV空間內(nèi)后融合。2.AI大模型的應(yīng)用對自動駕駛領(lǐng)域所帶來的好處？2.1.城市NGP落地在即，AI大模型的應(yīng)用驅(qū)動自動駕駛算法具備更強(qiáng)的泛化能力自動駕駛向更高等級邁進(jìn)，城市領(lǐng)航輔助駕駛落地在即。當(dāng)前大多數(shù)主機(jī)廠實(shí)現(xiàn)了L2級別的自動駕駛，車輛可以在單一功能下實(shí)現(xiàn)車輛的橫向和縱向控制，比如TJA（交通擁堵輔助）、HWA（高速駕駛輔助）、APA（自動泊車輔助）等，根據(jù)高工智能汽車數(shù)據(jù)，2022年我國L2級輔助駕駛（含L2+）前裝標(biāo)配交付585.99萬輛，同比增長61.66%，前裝搭載率升至29.40%。2021-2022年國內(nèi)新勢力和自主主機(jī)廠旗下新設(shè)的新能源品牌陸續(xù)落地高速領(lǐng)航輔助駕駛，達(dá)到了L2+級別自動駕駛，能夠在高速（+匝道）場景下由自動駕駛系統(tǒng)獨(dú)立完成橫縱向車身控制。目前，主機(jī)廠正逐步從高速領(lǐng)航輔助駕駛向城市領(lǐng)航輔助駕駛拓展，2021年7月特斯拉率先在北美推送FSDBetaV9測試城市道路完全自動駕駛功能，國內(nèi)主機(jī)廠中小鵬、理想、長城毫末、華為極狐等也于2022-2023年明確計(jì)劃推出城市場景下的領(lǐng)航功能。城市場景具有高頻+剛需特征，城市領(lǐng)航系統(tǒng)的成熟應(yīng)用可使得駕駛體驗(yàn)擁有質(zhì)的提升。根據(jù)小鵬科技日公開數(shù)據(jù)，用戶在用車過程中，途徑城市場景的用戶數(shù)量達(dá)到100%，途徑時長及里程的滲透率達(dá)到90%和71%，因此城市場景具備高頻特征。此外城市場景交通復(fù)雜程度高，駕駛?cè)俗⒁饬π枰叨燃写_保駕駛安全、同時交通堵塞等降低駕駛效率的情況不可避免，使得城市場景本身是駕駛?cè)说耐袋c(diǎn)，在城市場景下實(shí)現(xiàn)自動駕駛具備剛需特征。而從高速場景拓展到城市場景，意味著車輛所遇到的長尾問題（或者說是Cornercase）大幅提升。高速場景在特定路段下較為封閉，交通環(huán)境的標(biāo)準(zhǔn)化程度高；且高速駕駛規(guī)定對車輛的駕駛行為進(jìn)行了明確的規(guī)范，交通參與者單純不涉及到行人，并且駕駛狀態(tài)的可預(yù)測性更強(qiáng)，因此高速NOA成為率先落地的場景。然而，城市場景下道路及路況復(fù)雜（紅綠燈路口）、交通參與者多（行人、低速兩輪車）、場景異質(zhì)性強(qiáng)（不同城市甚至不同路段路況差異性大），自動駕駛遇到的Cornercase大幅提升。因此，城市領(lǐng)航輔助駕駛的落地需求對自動駕駛模型的泛化能力提出更高的要求，同時考慮到商業(yè)化落地的成本約束，我們認(rèn)為，應(yīng)用AI大模型提高泛化能力+降低/控制車端硬件成本是自動駕駛算法演變的核心脈絡(luò)。2.2.從特斯拉感知算法迭代歷程看AI大模型對城市NGP的賦能方向簡單復(fù)盤特斯拉算法迭代歷程：1）2018年之前：后融合策略，在每個視角下處理多個task，將單個圖片檢測得到的結(jié)果再進(jìn)行融合。3）2020-2021：多個攝像頭輸入多個image，分別經(jīng)過多個主干網(wǎng)絡(luò)，抽取每個image特征，經(jīng)過BEVtransformer轉(zhuǎn)換，特征投影到BEV視角，再完成很多個task，實(shí)現(xiàn)特征級概念的融合。4）2022：從BEV升級到占用網(wǎng)絡(luò)，達(dá)到“偽激光雷達(dá)”的效果?？偨Y(jié)來看，特斯拉從“第一原則性”角度出發(fā)，堅(jiān)持純視覺方案。從特斯拉算法迭代方向來看，追求泛化，通過視覺的方案刻畫真實(shí)的物理世界。2020年8月馬斯克發(fā)布推特稱特斯拉正在重構(gòu)自動駕駛底層算法，2021年7月特斯拉正式推送FSDBetaV9.0，通過重寫感知算法讓特斯拉只要用純視覺就可以實(shí)現(xiàn)城市級別的完全自動駕駛；2022年11月特斯拉開始推送FSDBetaV11版本，進(jìn)一步提升占用網(wǎng)絡(luò)算法，在近距離障礙物召回和惡劣天氣條件下的精度，Transformer空間分辨率提高了4倍。2.2.1.第一階段：BEV+transformer，實(shí)現(xiàn)“脫高精度地圖”高精地圖能夠提供超視距、厘米級相對定位及導(dǎo)航信息，在數(shù)據(jù)和算法尚未成熟到脫圖之前，尤其針對國內(nèi)的復(fù)雜路況，其對主機(jī)廠實(shí)現(xiàn)高階自動駕駛功能具有重要意義，現(xiàn)階段國內(nèi)主機(jī)廠實(shí)現(xiàn)城市領(lǐng)航輔助駕駛落地的主要基于高精度地圖+單車感知的方案。但高精度地圖方案缺陷較為突出，在自動駕駛感知算法成熟之后，“脫高精度地圖”趨勢明確。高精度地圖的生產(chǎn)流程，首先需要搭載高精度傳感器的數(shù)據(jù)采集車進(jìn)行數(shù)據(jù)采集，之后將采集的點(diǎn)云數(shù)據(jù)用SLAM算法拼接配準(zhǔn)后，標(biāo)注員把所有的地圖中元素標(biāo)注出來，這一流程與自動駕駛感知過程具有相似之處。在應(yīng)用過程中最為突出的三個問題為：1）無法做到實(shí)施更新；2）法規(guī)風(fēng)險；3）高成本。難以實(shí)施更新：高精地圖數(shù)據(jù)規(guī)模巨大，導(dǎo)致制圖和更新都耗費(fèi)較長時間。據(jù)統(tǒng)計(jì)高精地圖中對于單條道路的采集需要14億個數(shù)據(jù)點(diǎn)；僅以靜態(tài)地圖層為例，Waymo單日數(shù)據(jù)采集量達(dá)到1TB也僅覆蓋約8h車程。圖商在采用專用采集車更新1次全國高速公路和城市快速路的高精度地圖的頻率約為3個月，通過（出租車）眾包方式更新頻率也僅能提升至月度頻率。然而，道路環(huán)境的變化是實(shí)時發(fā)生的，不能做到實(shí)施更新的高精度地圖可靠性大幅下降。自動駕駛感知算法向BEV+transformer架構(gòu)升級，助力城市領(lǐng)航輔助駕駛脫高精度地圖。自動駕駛車輛通過相機(jī)拍到的是透視視圖，即3D世界在2D世界的投影，并且處于不同安裝位置的相機(jī)提供的是不同視角下的投影，然而所有自動駕駛的決策和路徑規(guī)劃都是在車輛所在的3D世界下進(jìn)行的，這樣的維度不匹配就使得基于感知結(jié)果直接進(jìn)行自動駕駛變得異常困難。以人類駕駛舉例而言，新手學(xué)倒車時難以利用后視鏡觀察到的場景與車子與周圍環(huán)境的3D空間聯(lián)系，即缺乏從倒視鏡圖像平面到自車坐標(biāo)系空間轉(zhuǎn)換的空間理解，因此新手靠倒車鏡很容易發(fā)生誤操作造成剮蹭。2021年特斯拉AIDay中提出BEV鳥瞰圖感知技術(shù)就是為了解決這一問題。BEV鳥瞰圖可以理解為在車輛正上方10-20米的位置有一個直升機(jī)俯視車輛及周圍環(huán)境的視角，從輸入的不同視角的圖片到BEV鳥瞰圖本質(zhì)上就是一個坐標(biāo)系的變化。同時特斯拉BEV感知模型為特征級融合，極大的提高了模型在極端天氣工況下的應(yīng)對能力。在后融合中，由攝像頭中的視頻芯片判斷采集數(shù)據(jù)是否合格并進(jìn)行處理，再傳到自動駕駛域控制器中，這里需要注意的時，攝像頭中芯片判斷采集數(shù)據(jù)是否合格的標(biāo)準(zhǔn)本質(zhì)上是人的標(biāo)準(zhǔn)。在后融合模型下，如果遇到極限雨雪天極限天氣工況，攝像頭采集到的數(shù)據(jù)/視頻流清晰度大幅下降，很難達(dá)到攝像頭判斷合格的標(biāo)準(zhǔn)，因此傳遞給后端做規(guī)劃控制的結(jié)果大幅下降。與后融合模型不同，從不同視角的攝像頭采集到的圖片轉(zhuǎn)換到BEV視角的過程中是特征級的融合，比如在極端天氣工況下有一些光子信息依然反應(yīng)了前方障礙物的情況可以用于后續(xù)的規(guī)劃控制，在特征級融合的框架下感知模型對數(shù)據(jù)的利用率明顯提升。BEV鳥瞰圖相當(dāng)于自動駕駛車輛實(shí)施生成“活地圖”，因而可以實(shí)現(xiàn)去高精度地圖化。相比于導(dǎo)航地圖，高精度地圖能夠提供更多的道路拓?fù)湫畔ⅲ热缂t綠燈、車道線、斑馬線、坡度、曲率、車道數(shù)的精確信息，而導(dǎo)航地圖會具有10-20米的誤差。BEV模型通過將不同視角的攝像頭采集到的圖片統(tǒng)一轉(zhuǎn)換到上帝視角，相當(dāng)于車輛實(shí)施生成活地圖，補(bǔ)足了自動駕駛后續(xù)決策所需要的道路拓?fù)湫畔?，因而可以?shí)現(xiàn)去高精度地圖化。一方面高精度地圖方案在城市場景下缺陷明顯，同時特斯拉BEV+Transformer方案為行業(yè)“脫圖”提供了技術(shù)上的可行性，我們認(rèn)為“輕地圖，重感知”將成為行業(yè)發(fā)展的主流方向，小鵬等國內(nèi)自動駕駛廠商均提出“脫圖”時間表。在小鵬1024科技日中，負(fù)責(zé)人吳新宙多次強(qiáng)調(diào)未來G9搭載的XNGP自動駕駛系統(tǒng)將無需依賴高精地圖，實(shí)現(xiàn)城市、高速和地下停車場的全場景應(yīng)用，其主要的思路是在原有硬件基礎(chǔ)上，推出新的視覺感知架構(gòu)XNet。其利用多相機(jī)多幀和雷達(dá)傳感器數(shù)據(jù)的融合算法，直接輸出BEV視角下交通參與者的靜態(tài)和動態(tài)信息（狀態(tài)、速度、行為預(yù)測等），具備實(shí)時生成高精地圖的能力。與特斯拉不同，小鵬仍保留了激光雷達(dá)傳感器提供感知冗余，預(yù)計(jì)將引領(lǐng)主機(jī)廠實(shí)現(xiàn)脫圖技術(shù)上的突破，拓寬全場景領(lǐng)航駕駛的應(yīng)用城市。2.2.2.第二階段：升級到占用網(wǎng)絡(luò)，實(shí)現(xiàn)“脫激光雷達(dá)”從BEV升級到占用網(wǎng)絡(luò)，進(jìn)一步提升泛化能力。特斯拉在2022年AIDay中展現(xiàn)了OccupancyNetwork感知技術(shù)?；镜乃枷胧菍⑷S空間劃分成體素voxel（可以理解為微小立方體），再去預(yù)測每個voxel是被占用還是空閑，通過0/1賦值對voxel進(jìn)行二分類：有物體的voxel賦值為1，表示voxel被物體占據(jù)；沒有物體的voxel被賦值為0。實(shí)際中的賦值可以是概率值，表示voxel存在物體的概率。占用網(wǎng)絡(luò)感知技術(shù)本質(zhì)上是為了解決更多的長尾問題。純視覺方案被質(zhì)疑的一大問題在于對于沒有在訓(xùn)練集中出現(xiàn)過的物體，視覺系統(tǒng)則無法識別，比如側(cè)翻的白色大卡車，垃圾桶出現(xiàn)的路中，傳統(tǒng)視覺算法無法檢測到。占用網(wǎng)絡(luò)模型的基本思想是“不考慮這個物體到底是什么，只考慮體素是否被占用”，則從根本上避免了這一問題，大幅提升了模型的泛化能力。從特斯拉AIDay演示效果來看，特斯拉通過體積鳥瞰圖、占用檢測和體素分類使純視覺方案已經(jīng)達(dá)到“偽激光雷達(dá)”效果。增配4D毫米波雷達(dá)，進(jìn)一步保證安全性，徹底取代激光雷達(dá)。特斯拉HW4.0預(yù)留4D毫米波雷達(dá)接口，或?qū)⒅貑⒑撩撞ɡ走_(dá)，彌補(bǔ)純視覺算法不足。對于純視覺算法而言實(shí)際是缺乏高度信息，3D信息依靠“近大遠(yuǎn)小”來估算，如果說前方道路上有一張畫著立體卡車的畫，視覺算法難以判斷這是一張畫還是真的有一輛車，而4D毫米波雷達(dá)能很好的解決這一問題。從成本來看，4D毫米波雷達(dá)價格低于高線束激光雷達(dá)。根據(jù)焉知汽車數(shù)據(jù)，MEMS激光雷達(dá)價格大概在3000-9000元不等，同時根據(jù)高工智能汽車數(shù)據(jù)，4D毫米波雷達(dá)售價為1000-2000元。2.2.3.第三階段：從感知到?jīng)Q策控制端到端的自動駕駛模型有望成為未來發(fā)展方向在當(dāng)前自動駕駛模型架構(gòu)中將駕駛目標(biāo)劃分為感知、規(guī)劃、控制三個大的模塊，而端到端則打破模塊之間的劃分，直接輸出最終的結(jié)果?，F(xiàn)有的模型思路是感知模塊輸出BEV鳥瞰圖（或者Occupancy）的結(jié)果，規(guī)劃和控制模塊再依據(jù)BEV鳥瞰圖結(jié)果進(jìn)行預(yù)測和執(zhí)行。而在端到端（end-to-end）模型中，輸入數(shù)據(jù)是攝像頭采集的到的視頻流raw-data，輸出數(shù)據(jù)直接是如方向盤轉(zhuǎn)角多少度的控制決策。端到端的思路更類似于人的駕駛過程，人的駕駛決策往往基于經(jīng)驗(yàn)，司機(jī)駕駛車輛時并不會刻意對基于視覺/眼睛提供的信息進(jìn)行分析，即不會去判斷我看到了什么，也不會對看到的物體和狀態(tài)做分析，駕駛員固有的“經(jīng)驗(yàn)”所活躍的腦質(zhì)皮層在一種“黑盒”的狀態(tài)下，完成駕駛決策，并協(xié)調(diào)耳眼手腳，共同完成駕駛?cè)蝿?wù)。AI技術(shù)將“場景-駕駛行為”的映射轉(zhuǎn)變?yōu)椤皥鼍?車輛控制”的“端到端”式映射。深度強(qiáng)化學(xué)習(xí)（DRL）結(jié)合了深度學(xué)習(xí)算法的“感知能力”和強(qiáng)化學(xué)習(xí)算法的“決策能力”，為復(fù)雜駕駛場景的感知決策問題提供解決方案。其中，深度學(xué)習(xí)負(fù)責(zé)復(fù)雜駕駛場景的感知和特征提取如同人類的眼睛；強(qiáng)化學(xué)習(xí)部分通過馬爾可夫決策過程完成推理、判斷和決策如同人腦。DRL的原理框架是一種是端到端感知和決策控制系統(tǒng)。目前部分自動駕駛參與者對于特定的功能已可以實(shí)現(xiàn)端到端。如2016年英偉達(dá)發(fā)表的論文EndtoEndLearningforSelf-DrivingCars中介紹了實(shí)現(xiàn)車道保持功能的端到端模型。CNN深度神經(jīng)網(wǎng)絡(luò)在對于視覺信息處理之后（通過卷積層），會通過全連接層給出一個基于以前學(xué)習(xí)經(jīng)驗(yàn)得出的方向盤角度（Steeringcommand），而此時此刻真實(shí)的人類操作也將被引入與CNN的輸出進(jìn)行對比。對比的結(jié)果/偏差被送回CNN網(wǎng)絡(luò)去矯正那個黑盒狀態(tài)下的全連接層參數(shù)。這里需要特別注意的是，在整個端到端模型中，不存在單獨(dú)的“圖像識別檢測”任務(wù)。端到端理論上可以更大程度的提高模型的泛化能力，有望成為自動駕駛模型進(jìn)一步發(fā)展的趨勢。我們對比當(dāng)前Occupancy的輸出結(jié)果和人駕駛時做判斷的依據(jù)，可以發(fā)現(xiàn)Occupancy依然具有信息的損失。舉例而言，人在駕駛車輛時可以參考行人的姿勢等來輔助決策，然而在現(xiàn)有感知模型輸出Occupancy結(jié)果則丟失了這一信息。因此，相比于現(xiàn)有的感知、決策、歸控區(qū)分模塊的自動駕駛模型結(jié)果，端到端模型做出決策的依據(jù)信息量更大，模型自身的自由度也更大，因而具備更強(qiáng)大的泛化能力。3.AI大模型應(yīng)用于自動駕駛中的前置條件？3.1.條件一：具備相當(dāng)數(shù)量的里程數(shù)據(jù)，因而自動標(biāo)注+仿真平臺環(huán)節(jié)將尤為重要Transformer大模型量變引起質(zhì)變需要1億公里的里程數(shù)據(jù)。相比于CNN小模型來說，Transformer需要更大量的數(shù)據(jù)來訓(xùn)練模型。根據(jù)毫末智行CEO顧濰顥在毫末AIDAY上表示，訓(xùn)練出一個能輸出高精度和準(zhǔn)確度的自動駕駛大模型，自動駕駛測試?yán)锍虜?shù)據(jù)需至少達(dá)到1億公里。同時，訓(xùn)練Transformer大模型相比于CNN小模型來說所要求的數(shù)據(jù)顆粒度不同（如傳感器配置、精度不同），因此在小模型時代所積累的數(shù)據(jù)存在部分無法用于大模型的訓(xùn)練。對于自動駕駛廠商而言，所積累的數(shù)據(jù)量、對數(shù)據(jù)的處理極大的影響自動駕駛模型的迭代速度。自動駕駛訓(xùn)練所需要的真實(shí)數(shù)據(jù)來源主要包括采集車數(shù)據(jù)和眾包數(shù)據(jù)。自動駕駛廠商具有專業(yè)的測試車隊(duì)，搭載高性能的傳感器用于采集真實(shí)場景的數(shù)據(jù)，這里需要注意的是，即便對于特斯拉這樣純視覺路線的廠商，采集車通常也搭載有激光雷達(dá)，用于測試中的真值校驗(yàn)。除此之外，對于有量產(chǎn)車的主機(jī)廠而言，可以通過“眾包采集”的方式迅速收集數(shù)據(jù)。如特斯拉首創(chuàng)的“影子模式”，在有人駕駛狀態(tài)下，系統(tǒng)包括傳感器仍然運(yùn)行但并不參與車輛控制，只是對決策算法進(jìn)行驗(yàn)證——系統(tǒng)的算法在“影子模式”下做持續(xù)模擬決策，并且把決策與駕駛員的行為進(jìn)行對比，一旦兩者不一致，該場景便被判定為“極端工況”，進(jìn)而觸發(fā)數(shù)據(jù)回傳。其中，傳感器采集得到的raw-data需進(jìn)行標(biāo)注后才可用于算法模型訓(xùn)練，自動標(biāo)注工具可大幅提升數(shù)據(jù)處理速度。2018年至今，特斯拉數(shù)據(jù)標(biāo)注經(jīng)歷了4個發(fā)展階段：1）第1階段(2018年之前)：只有純?nèi)斯さ?維的圖像標(biāo)注，效率較低；2）第2階段(2019)：人工進(jìn)行3D固定框的圖像標(biāo)注；3）第3階段(2020)：采用BEV空間進(jìn)行標(biāo)注；4）第4階段(2021)：首先對場景進(jìn)行重建后在4D空間中進(jìn)行標(biāo)注，精度、效率都得到大幅提升。特斯拉自動標(biāo)注系統(tǒng)可以取代500萬小時的人工作業(yè)量，人工僅需要檢查補(bǔ)漏。國內(nèi)廠商中小鵬、毫末智行等亦相繼推出自動標(biāo)注工具，在降低人工成本的同時，效率得到顯著提升。根據(jù)小鵬科技日資料，小鵬推出的全自動標(biāo)注系統(tǒng)將效率提升近45,000倍，以前2,000人年的標(biāo)注量，現(xiàn)在16.7天可以完成。毫末智行在AIDay中表示毫末基于視覺自監(jiān)督大模型，實(shí)現(xiàn)4DClip的100%自動標(biāo)注，原先依靠的人工標(biāo)注成本則降低98%。目前仿真場景主要由游戲引擎生成，基于基礎(chǔ)的現(xiàn)實(shí)世界數(shù)據(jù)保證仿真場景與真實(shí)場景之間的相似度，并依靠交通要素間的重新組合提高泛化能力。以特斯拉