汽車行業(yè)AI大模型賦能自動駕駛分析報告：特斯拉自動駕駛技術(shù)占用網(wǎng)絡(luò)算法

核心觀點?

核心觀點：近期，特斯拉更新其FSD算法至v11.4，此次升級實現(xiàn)FSD端到端的能力，即包含高速領(lǐng)航、城市道路領(lǐng)航和泊車三個域的智駕功能。特斯拉將改進車輛性能置于引入新功能之上，可以更快地針對環(huán)境做出反應(yīng)，并在必要時調(diào)整車速，確保所有相關(guān)人員都能獲得更安全的體驗。我們認為AI對整個汽車產(chǎn)業(yè)生態(tài)變革將產(chǎn)生重大影響，特斯拉作為整個自動駕駛領(lǐng)域開拓者，正引領(lǐng)相關(guān)技術(shù)應(yīng)用落地。?

特斯拉自動駕駛算法主要經(jīng)歷四個階段，目前架構(gòu)包括RegNet、HydraNet等。2016-2018年，特斯拉自動駕駛算法處于第一階段，在該階段中，使用常規(guī)的骨干網(wǎng)結(jié)構(gòu)；使用2D檢測器進行特征提取；訓(xùn)練數(shù)據(jù)為人工標注，整體來看比較原始，相對傳統(tǒng)；2018-2019年，特斯拉自動駕駛算法采用了HydraNet結(jié)構(gòu)；加入特征提取網(wǎng)絡(luò)BiFPN；將圖像空間從image

space直接轉(zhuǎn)化為vector

space，能執(zhí)行多任務(wù)、對視覺特征進行充分融合以及很大程度上避免映射偏差，相較于精度提升，這個階段注重提高效率；2019-2020年，特斯拉自動駕駛算法來到第三階段，使用了Transformer；骨干網(wǎng)結(jié)構(gòu)使用了RegNet；能夠?qū)崿F(xiàn)自動標注數(shù)據(jù)；以及主張去掉，使用純視覺方案，不僅解決了CNN算法在BEV遮擋區(qū)域預(yù)測問題，同時還有更高的性能和算法準確度以及能夠快速得到高精度地圖數(shù)據(jù)，相較于提高效率，這個階段注重提高精度；2021年以來，特斯拉自動駕駛算法來到第四階段，增加了時空序列與時序信息融合等能力；在空間感知方面，使用占用網(wǎng)絡(luò)；使用Lanes

Network；為了增強汽車感知能力，考慮到4D的效果與成本，預(yù)計會將重新安裝，整體來看，該階段在感知能力上大做文章，自動駕駛算法已相對成熟。?

特斯拉自動駕駛算法2022年的核心改變在于使用Occupancy

Networks進行感知以及使用Lanes

Network進行矢量地圖繪制。OccupancyNetworks（占用網(wǎng)絡(luò)）可以通過3D物體檢測的方式來估計行駛中其他車輛、物體的位置和大小，占用網(wǎng)絡(luò)可以使用多個攝像機拍攝的圖像進行3D處理，即使是動態(tài)占用也可以計算出來并且運行效率較高；Lanes

Network通過對離散空間的預(yù)測，能夠以自回歸的方式將所有的車道線節(jié)點進行生成，從而獲取更精確的車道線拓撲結(jié)構(gòu)。2023年5月，特斯拉推出FSD

v11.4，實現(xiàn)FSD端到端能力。FSD端到端的能力，即包含高速領(lǐng)航、城市道路領(lǐng)航和泊車三個域的智駕功能。?

映射到國內(nèi)，以蔚小理為代表的車廠以特斯拉為錨，在自動駕駛領(lǐng)域持續(xù)發(fā)力，可像人類司機那樣實時地感知、決策、規(guī)劃，蔚來NAD、小鵬XNGP等逐步實現(xiàn)L4駕駛水平。特斯拉正持續(xù)引領(lǐng)廠商技術(shù)革新，例如特斯拉將Occupancy網(wǎng)絡(luò)引入到自動駕駛感知技術(shù)中，后續(xù)理想AD

Max3.0也將Occupancy網(wǎng)絡(luò)納入技術(shù)棧中用于汽車感知。以特斯拉為錨把握自動駕駛技術(shù)演進?

特斯拉自動駕駛算法使用的是多任務(wù)學(xué)習(xí)HydraNets架構(gòu)，從而讓汽車共享相同神經(jīng)網(wǎng)絡(luò)或特征提取器的同時能進行交通燈檢測、車輛避讓等多項任務(wù)。特斯拉自動駕駛算法中，首先讓車載攝像頭使用RegNet對路況/汽車進行原始圖像提取，多個特征層通過FPN相互交互，從而進行特征提取。?

在每個攝像頭都處理完單個圖像后，使用具有多頭自注意力的Transformer模型進行處理，Transformer模型不僅解決了CNN算法在BEV（鳥瞰圖）遮擋區(qū)域預(yù)測問題，同時還有更高的性能和算法準確度。后續(xù)將處理結(jié)果進行多尺度特征、視頻神經(jīng)網(wǎng)絡(luò)等處理，從而完成整個自動駕駛算法。近年來Transformer憑借傳統(tǒng)

CNN

算法所不能企及的感知能力以及其優(yōu)秀的魯棒性和泛化性，已逐步取代IPM、Lift-splat、MLP成為BEV感知領(lǐng)域的主流算法。圖表：特斯拉自動駕駛算法架構(gòu)圖表：特斯拉自動駕駛算法架構(gòu)資料：Tesla，中信建投Autopilot是特斯拉自動駕駛技術(shù)底座?

Autopilot于2014年發(fā)布，是一種先進的駕駛輔助系統(tǒng)，可提高駕駛的安全性和便利性。多年來，Autopilot隨著整車OTA及硬件更新不斷迭代升級。?

現(xiàn)階段，Autopilot可實現(xiàn)的功能包括：交通感知巡航（控制車速與交通流一致）、變道輔助（協(xié)助用戶轉(zhuǎn)向變道）、自動駕駛導(dǎo)航（主動引導(dǎo)車輛進出匝道、自動接通轉(zhuǎn)向信號并選擇正確出口）、自動變道、自動泊車、智能召喚（自動在復(fù)雜環(huán)境和停車位間行駛，找到用戶）、自動緊急制動、側(cè)面碰撞預(yù)警、車道偏離提醒等圖表：特斯拉Autopilot圖表：Autopilot能實現(xiàn)多種自動駕駛功能所有Tesla車輛都標配Autopilot所有Tesla車輛都具有所有安全功能約有100萬輛特斯拉汽車改進了高速公路駕駛系統(tǒng)約100,000輛特斯拉汽車擁有“FSDBeta”軟件資料：Tesla,

中信建投特斯拉自動駕駛技術(shù)變遷總結(jié)階段技術(shù)變遷技術(shù)變化帶來的影響比較原始，相對傳統(tǒng)第一階段1、使用常規(guī)的骨干網(wǎng)結(jié)構(gòu)；2、使用2D檢測器進行特征提??；3、訓(xùn)練數(shù)據(jù)為人工標注第二階段1、能執(zhí)行多任務(wù)；2、相較于FPN，BiFPN能夠更加充分的進行特征融合并且賦予不同特征權(quán)重；1、采用了HydraNet結(jié)構(gòu)；2、加入特征提取網(wǎng)絡(luò)BiFPN；3、將圖像空間從imagespace直接轉(zhuǎn)化為vectorspace3、很大程度上避免了圖像到向量空間中映射偏差第三階段1、使用了Transformer；2、骨干網(wǎng)結(jié)構(gòu)使用了RegNet；3、自動標注數(shù)據(jù)；1、不僅解決了CNN算法在BEV遮擋區(qū)域預(yù)測問題，同時還有更高的性能和算法準確度；2、更加簡單、易理解，而且還能夠運行高復(fù)雜計算量；3、能夠快速得到高精度地圖數(shù)據(jù)4、主張去掉，使用純視覺方案1、增加了時空序列與時序信息融合等能力；2、在空間感知方面，使用占用網(wǎng)絡(luò)；3、使用LanesNetwork；第四階段1、讓汽車有短時間記憶，增強了汽車感知的魯棒性；2、能夠?qū)Χ鄠€圖像進行3D處理、識別出被遮擋的部位以及快速運行；4、為了增強汽車感知能力，考慮到4D

的效果與成本，預(yù)計會將

重新安裝到汽車上3、更精準的識別車道線路拓撲結(jié)構(gòu)資料：Tesla,

中信建投占用網(wǎng)絡(luò)算法升級?

相比HydraNet結(jié)構(gòu)的鳥瞰圖、固定矩形、物體檢測進行了全面升級和優(yōu)化。圖表：固定矩形與占用網(wǎng)絡(luò)算法對比?

occupancy

network將世界分為小立方體，預(yù)測每個格子被占用概率如何。?

從2D升級到3D。?

對象檢測的算法受數(shù)據(jù)集限制，一旦遇到?jīng)]有標注的物體出現(xiàn)，則沒法檢測到前方物體。而占用網(wǎng)絡(luò)算法可以避免這個問題。圖表：鳥瞰圖與占用網(wǎng)絡(luò)算法對比圖表：對象檢測與占用網(wǎng)絡(luò)算法對比資料：Tesla，中信建投特斯拉自動駕駛技術(shù)經(jīng)歷四代圖表：Autopilot發(fā)展歷程資料：Tesla,

中信建投Input：特斯拉幾乎采用了純視覺解決方案?

Tesla

Vision自Autopilot發(fā)布以來經(jīng)歷了多次發(fā)展：2016

年，

Tesla

Autopilot

Software

1.0正式上線，主要網(wǎng)絡(luò)結(jié)構(gòu)為RegNet

搭上

2D

detector；2018-2019年，公司在計算機視覺中提出了vector

space

的概念，vector

space與imagespace相比，將視覺的圖像空間轉(zhuǎn)移至向量空間，這個技術(shù)路線基調(diào)更是在2020年的smart

summon功能研發(fā)時確定下來。2021年，TeslaVision

在上一版本的Transformer中引入Spacial

Temporal

模型，將時序信息加入視覺模型。?

2020年馬斯克決心從特斯拉車上移除，而全部采用攝影機，讓自動駕駛完全采用視覺方案，8個攝像頭和強大的視覺處理能力可實現(xiàn)360度視野范圍，對周圍環(huán)境的監(jiān)測距離最遠可達250米。后來，為了在感知層提升自動駕駛能力，特斯拉在HW

4.0硬件系統(tǒng)中，配置了高精度4D毫米波。圖表：特斯拉純視覺解決方案圖表：4D毫米波效果更好資料：Tesla,中信建投Backbone：特斯拉采取RegNet進行特征提取?

骨干網(wǎng)是用于圖像物體特征提取，常見的骨干網(wǎng)包括AlexNet、ResNet、VGGNet

等。特斯拉采用RegNet識別圖像中的對象，并提供對象的豐富特征信息。2020年Meta

AI包括何愷明在內(nèi)的科學(xué)家提出了RegNet網(wǎng)絡(luò)，在網(wǎng)絡(luò)設(shè)計范式上更加簡單、易理解，而且還能夠運行高復(fù)雜計算量。?

RegNet的核心是網(wǎng)絡(luò)設(shè)計空間，其思想是，可以在設(shè)計空間中對模型進行采樣，從而產(chǎn)生模型分布，并可以使用經(jīng)典統(tǒng)計學(xué)中的工具來分析設(shè)計空間。設(shè)計一個不受限制的初始設(shè)計空間的逐步簡化版本就稱為設(shè)計空間設(shè)計（design

space

design）。在設(shè)計過程的每個步驟中，輸入都是初始設(shè)計空間，輸出則是更簡單、或性能更好的模型的精簡模型。通過對模型進行采樣，并檢查其誤差分布，即可表征設(shè)計空間的質(zhì)量。圖表：Regnet中網(wǎng)絡(luò)設(shè)計空間的概念圖表：Regnet要好于最優(yōu)網(wǎng)絡(luò)EfficientNet資料：Designing

Network

Design

Spaces,中信建投Neck：使用BiFPN對更精細特征進行提取與特征融合?

Neck位于骨干網(wǎng)和檢測頭之間，是用于提取更細的特征。?

特斯拉自動駕駛算法采用BiFPN（加權(quán)雙向特征金字塔網(wǎng)絡(luò)），

BiFPN是一種易于快速進行多尺度特征融合的特征金字塔網(wǎng)絡(luò)。它融合了FPN、PANet和NAS-FPN的多級特征融合思想，使信息在自上而下和自下而上兩個方向上流動。?

BiFPN具有以下幾點改進：通過增加殘差鏈接，增強特征的表示能力；移除單輸入邊的結(jié)點，減少計算量；針對融合的各個尺度特征增加一個權(quán)重，調(diào)節(jié)每個尺度的貢獻度，提高檢測速度。?

簡單來說，BiFPN是在FPN的基礎(chǔ)上對其進行改進，對原始的FPN模塊又添加了添加上下文信息的邊，并對每個邊乘以一個相應(yīng)的權(quán)重。圖表：BiFPN網(wǎng)絡(luò)結(jié)構(gòu)圖表：BiFPN能加強特征提取資料：EfficientDet:

Scalable

andEfficient

Object

Detection，中信建投Head：特斯拉使用HydraNets實施多任務(wù)?

骨干網(wǎng)為模型提供相關(guān)的矩陣輸入，對于一些實際任務(wù)，例如檢測、分割等，通常要在特征圖上應(yīng)用“檢測頭”。特斯拉使用HydraNets進行具體任務(wù)實施。HydraNets包含用于處理視覺特征的多個組件，在訓(xùn)練期間分別訓(xùn)練出專業(yè)的組件，在推理過程中選擇相應(yīng)組件進行執(zhí)行，能處理多種任務(wù)，極大提升了效率。?

8個攝像頭使用Regnet提取完圖像后，使用Transformer模型進行圖像特征融合，其中還會有時間信息融合操作，圖像信息處理完后，就通過HydraNets將信息分到不同的視覺組件中處理不同的下游任務(wù)。圖表：HydraNets算法架構(gòu)圖表：特斯拉中的HydraNets資料：HydraNets:

Specialized

Dynamic

Architectures

for

Efficient

Inference，Tesla，中信建投自動駕駛感知能力：占據(jù)網(wǎng)絡(luò)(Occupancy

Networks)?

特斯拉采用占用網(wǎng)絡(luò)技術(shù)進行駕駛感知，占據(jù)網(wǎng)絡(luò)可以通過3D物體檢測的方式來估計行駛中其他車輛、物體的位置和大小。占據(jù)網(wǎng)絡(luò)利用RegNet和BiFPN從多相機獲取特征，然后模型通過帶3D空間位置的spatial

query對2D圖像特征進行基于attention的多相機融合。之后利用3D-to-2D

query，即根據(jù)每個相機的內(nèi)外參將3D

spatial

query投影到2D特征圖上，提取對應(yīng)位置的特征。最后進行時序融合。實際上，占用網(wǎng)絡(luò)實際上是對BEV技術(shù)的拓展。?

占用網(wǎng)絡(luò)具有多個優(yōu)點，例如占用網(wǎng)絡(luò)可以使用多個攝像機拍攝的圖像進行3D處理，即使是動態(tài)占用也可以計算出來，哪怕是遮擋的部分，也可以更加精準的識別出來。占用網(wǎng)絡(luò)可以在10ms時間內(nèi)運行。圖表：占用網(wǎng)絡(luò)整體架構(gòu)圖表：占用網(wǎng)絡(luò)在特斯拉自動駕駛模型中的位置資料：Tesla,

中信建投自動駕駛矢量地圖：Lanes

Network?

在BEV（鳥瞰圖）上進行地圖分割和識別，往往是在像素級別進行操作，因為無法得到車道線的拓撲結(jié)構(gòu)，因此不能用于軌跡規(guī)劃。特斯拉使用Lanes

Network進行矢量地圖規(guī)劃，Lanes

Network可幫助獲取更精確的車道線拓撲結(jié)構(gòu)，以識別車輛從一條車道變換到另一條車道的路徑。?

Lanes

Network在模型結(jié)構(gòu)上，是在感知網(wǎng)絡(luò)backbone基礎(chǔ)上加入一個解碼器，以序列的方式自回歸地輸出結(jié)果。具體實現(xiàn)上來說，模型首先要選取一個生成順序（如從左到右，從上到下），對空間進行離散化（tokenization），然后就可以用LanesNetwork進行一系列離散token的預(yù)測，網(wǎng)絡(luò)會以自回歸的方式將所有的車道線節(jié)點進行生成。圖表：LanesNetwork網(wǎng)絡(luò)架構(gòu)圖表：LanesNetwork使用資料：Tesla,中信建投特斯拉FSD升級到v11.4?

特斯拉2023年4月30日發(fā)布FSD

Beta

v11.4，版本為2023.6.15，并于5月8日向員工推出測試。通過此次更新，特斯拉將改進車輛性能置于引入新功能之上。FSD

Beta

v11.4

可根據(jù)當(dāng)前天氣條件、能見度、道路濕度、輪胎胎面，甚至其他車輛的輪胎印記等因素，調(diào)整自動駕駛儀的最大速度，確保在惡劣條件下獲得更安全的駕駛體驗。同時，F(xiàn)SD

Beta

v11.4可以更快地針對環(huán)境做出反應(yīng)，并在必要時調(diào)整車速，確保所有相關(guān)人員都能獲得更安全的體驗。圖表：特斯拉FSDv11.4特性與馬斯克對其評價?

采用端到端人工智能，即包含高速領(lǐng)航、城市道路領(lǐng)航和泊車三個域的智駕功能。該算法在簡化流程的同時，能夠模擬人類駕駛員做出恰當(dāng)?shù)臎Q策行為。?

通過聯(lián)合空間評估，改進人行橫道上的行為決策。?

運用運動學(xué)數(shù)據(jù)測量風(fēng)險并提前減速，改善自動駕駛車輛在VRU附近的行為。?

改進在密集非結(jié)構(gòu)化城市環(huán)境中的轉(zhuǎn)彎性能，避免馬斯克評論：FSDV11.4表現(xiàn)優(yōu)秀轉(zhuǎn)入公交車道等。?

優(yōu)化路由提示和自動貼標機，解決由于不良路由類型引起的干預(yù)措施。?

通過更新車道類型檢測網(wǎng)絡(luò)和改進地圖視覺融合等，提高自動駕駛系統(tǒng)的理解能力和安全性。資料：Tesla,Twitter,

中信建投蔚小理四月交付量出爐，理想交付量領(lǐng)先?

蔚小理發(fā)布四月份交付量數(shù)據(jù)，其中理想汽車交付25681輛，創(chuàng)下單月新紀錄，同比增長516.3%，1-4月累計交付78,265輛品牌累計交付335599輛；品牌累計交付335599輛；蔚來交付新車6658輛，同比增長31.2%，1-4月累計交付37699輛，同比增長22.2%，品牌累計交付327255輛。小鵬汽車交付新車7079輛，同比下降21%，1-4月累計交付25309輛，品牌累計交付284019輛。圖表：蔚來汽車銷量圖表：小鵬汽車銷量圖表：理想汽車銷量銷量同比銷量同比銷量同比18,00016,00014,00012,00010,0008,0006,0004,0002,0000200%150%100%50%18,000250%200%150%100%50%30,00025,00020,00015,00010,0005,0000600%500%400%300%200%100%0%25,68116,00014,00012,00010,0008,0006,0004,0002,00007,0796,6580%0%-50%-100%-50%-100%資料：wind，中信建投蔚來自動駕駛NAD由Aquila與Adam構(gòu)成?

NIO

Assisted

and

Intelligent

Driving（NAD）是蔚來汽車自動駕駛技術(shù)，擁有全棧自動駕駛技術(shù)能力，能夠從地圖定位到感知算法，從底層系統(tǒng)到控制策略，實現(xiàn)自動駕駛在高速、城區(qū)、泊車和換電場景的全覆蓋，主要包含Aquila、Adam及相關(guān)算法等，支持L4級別。?

Aquila蔚來超感系統(tǒng)實現(xiàn)融合感知。Aquila蔚來超感系統(tǒng)擁有33個高性能感知硬件，包括1個超遠距高精度激光、7顆800萬像素、12個超聲波傳感器、2個高精度定位單元和高清攝像頭、4顆300萬像素高感光環(huán)視專用攝像頭、1個增強主駕感知、5個毫米波V2X車路協(xié)同，協(xié)助算法實現(xiàn)全向無盲區(qū)融合，具備L4能力。?

Adam超算平臺作為底層提供算力，Adam搭載4顆NVIDIA

DRIVE

Orin

芯片，算力高達1016Tops。同時借助于超級圖像處理流水線、超高帶寬骨干數(shù)據(jù)網(wǎng)絡(luò)、熱備份冗余設(shè)計等，為自動駕駛決策控制提供算力保障。圖表：蔚來自動駕駛（NAD）系統(tǒng)圖表：800萬高清攝像頭提升感知距離資料：蔚來，中信建投小鵬自動駕駛技術(shù)：XNGP?

XNGP是繼XPILOT系統(tǒng)之后，小鵬推出的第二代智能輔助駕駛系統(tǒng)，XNGP在第一代XPilot系統(tǒng)的基礎(chǔ)上，增加了城市路況下的全程智能輔助駕駛功能（城市NGP），以及高速NGP和VPA記憶泊車的增強版功能，是目前國內(nèi)唯一一款能夠?qū)崿F(xiàn)城市路況下全程智能輔助駕駛的系統(tǒng)，并且可以在沒有高精地圖的情況下，讓車輛在城市道路上實現(xiàn)自動跟隨、自動變道、自動超車等功能。NGP系統(tǒng)主要包括兩顆激光?

小鵬汽車感知技術(shù)采用XNET，通過多相機和縫連接城市道路、高速和停車場等場景。具公司介紹，今年6月推送的高速

NGP

2.0預(yù)計達到非常接近于L4的體驗水準。、雙NVIDIA

DRIVE

Orin超級計算平臺、13個攝像頭、12個超聲波、5個毫米波和1個車內(nèi)攝像頭。收集數(shù)據(jù)，實時生成3