向“原生”視覺(jué)和自動(dòng)駕駛前進(jìn)　直擊特斯拉AI DAY

動(dòng)駕駛前進(jìn)直擊特斯拉向“原生”視覺(jué)和DAY作者■將防技軍用ialANN動(dòng)駕駛前進(jìn)直擊特斯拉向“原生”視覺(jué)和DAY作者■將防技軍用ialANN對(duì)應(yīng)向世行虹國(guó)，可以持續(xù)更新播咐頭可見(jiàn)厄1H內(nèi)的各叫信島來(lái)源：《微型計(jì)算機(jī)》2021年第19期■MacE。馬斯克莎臨現(xiàn)場(chǎng)，不過(guò)他并澄有太多短頭，只是起到開(kāi)iS^tJ主持鯽色由，所有的涓洪貳英郡與w程扯.這怵毓了桂答的zc程帥女化，■在此之前，腐像頭對(duì)剖分岫苔比州癰睫邊^(qū)推只姓理.但是現(xiàn)在特垢控已坯牌我了這個(gè)問(wèn)段“FullSeHkDrivinggog心IVisuftlCortfr^WiringStpatiialRNN:FeatureChannelVisualizatianImprovedDepth&VelocityFromVideoArchitecture■特斯垃笨用攝你頭識(shí)別懷境的整體架構(gòu)酬】一些寶例展示ImprovedDepth&VelocityFromVideoArchitecture■特斯垃笨用攝你頭識(shí)別懷境的整體架構(gòu)酬】一些寶例展示■特斯拉的數(shù)?示、擲像頭畫(huà)面經(jīng)過(guò)處理后能夠識(shí)別的信琴和細(xì)節(jié)，與激光田達(dá)、集米波as達(dá)的表改基本處于同一水平。TeshAlDay O?DataLabelingGrowth■目前道J8TeshAlDay O?DataLabelingGrowth■目前道J8上需婆標(biāo)注的拔據(jù)越來(lái)越多.切何更有效地處理它們是一個(gè)關(guān)鍵=■特斯拉將整個(gè)糧堂信息轉(zhuǎn)化為矢量空間.加入了距圈信息.冏時(shí)增加了時(shí)間維度（D）,將其鑄化為4D場(chǎng)；5進(jìn)行標(biāo)注.■特斯拉開(kāi)發(fā)了目動(dòng)標(biāo)注工員，大大威少了標(biāo)注窩要的資源。■特斯拉目肪標(biāo)注工具識(shí)別道路上的汽車和行人■即生是琰窄色余的場(chǎng)景，注功能也很有效。■通過(guò)100萬(wàn)硒汽車收集的視頻信恩，巖斯拉大大加S7iS路標(biāo)注能如典度?！鲈诮?jīng)過(guò)加邙學(xué)習(xí)后，系統(tǒng)可以正確地識(shí)■在經(jīng)過(guò)加邙學(xué)習(xí)后，系統(tǒng)可以正確地識(shí)SUifi路上的絕大部分特殊情況.■特斯拉屈示自己在童徑規(guī)劃方面的特色，包括不斷地段寮、預(yù)判周圍的情況，&至可以判轎什么時(shí)候君轉(zhuǎn)停生測(cè)讓?！鲈讵M窄的甲向通行道路上，汽車可以自動(dòng)停下來(lái)?！龀炙估故玖艘粋€(gè)典型的左轉(zhuǎn)穹路徑優(yōu)化收故過(guò)程DIChip362TFLOPs?-…22a6TFLOPe功了lDTBp$/dlf.4TBps/edge.Olf^ChlDBflntwEh400WTOP一”一■口1芯片還可成組成計(jì)弦以爵對(duì)外帶寬答近都EOT白也一總計(jì)四達(dá)疝伯活，一■特盅忸發(fā)戶全新攸口1計(jì)魅二韭成了括過(guò)600切加休管,■特斯拉展示□1歸集群的融於料映電模蟲(chóng) ■特野i拉已經(jīng)有了實(shí)際可以走行的□1芯片i+B車群特斯拉是一家特立猾行的企業(yè)，不到20年時(shí)間，它從大眾眼中的新能源車企，變成了一家高科技企業(yè)。2019年特斯拉自動(dòng)駕駛?cè)?，展示它在自?dòng)駕駛方面的研究。2020年特斯拉電池日，它帶來(lái)了大量電池技術(shù)方面的創(chuàng)新，并將電動(dòng)車的續(xù)航里程持續(xù)推高。2021年8月，特斯拉全新的AlDAY（人工智能日）粉墨登場(chǎng)。這一次，特斯拉又帶來(lái)了哪些新的技術(shù)和產(chǎn)品呢？特斯拉在電動(dòng)汽車上的努力有目共睹，如果仔細(xì)剖析電動(dòng)汽車的話，可以發(fā)現(xiàn)它的架構(gòu)分為車身和操控、驅(qū)動(dòng)部分、電池部分以及電氣系統(tǒng)部分。其中，車身和操控部分相對(duì)傳統(tǒng)汽車而言變化不算特別大，且這部分材料和設(shè)計(jì)都已經(jīng)到達(dá)了目前材料和物理規(guī)律的極限，進(jìn)步空間有限。驅(qū)動(dòng)部分主要是電機(jī)和相關(guān)電路，這部分設(shè)備的進(jìn)步空間也基本上很小了。現(xiàn)在，電池部分和電氣系統(tǒng)部分被認(rèn)為是電動(dòng)車上進(jìn)步最大、最容易超越傳統(tǒng)燃油車的地方。其中電池部分的進(jìn)步對(duì)應(yīng)著更長(zhǎng)的續(xù)航，能夠徹底解決電動(dòng)車最核心的“里程焦慮”問(wèn)題。電氣系統(tǒng)部分較為復(fù)雜，目前最重要的發(fā)展方向是智能化、數(shù)字化的座艙體驗(yàn)和自動(dòng)駕駛系統(tǒng)。特斯拉在之前的自動(dòng)駕駛?cè)?、電池日上已?jīng)展示了一部分自己在自動(dòng)駕駛和增強(qiáng)電動(dòng)汽車?yán)m(xù)航方面的研究和展望，但最終自動(dòng)駕駛技術(shù)的發(fā)展依靠的還是強(qiáng)大的算力和全新的技術(shù)，尤其是AI技術(shù)的發(fā)展，這也是2021年特斯拉召開(kāi)AIDAY這場(chǎng)大會(huì)的最大目的。在AIDAY上，特斯拉帶來(lái)了自己利用人工智能技術(shù)的發(fā)展，在自動(dòng)駕駛方面的進(jìn)展，包括在自動(dòng)駕駛的視覺(jué)、數(shù)據(jù)標(biāo)注和模擬、規(guī)劃和控制以及硬件方面的創(chuàng)新。整個(gè)發(fā)布會(huì)長(zhǎng)達(dá)3個(gè)小時(shí)，不過(guò)前面的等待和后期的問(wèn)答占據(jù)了一部分時(shí)間，真正的持續(xù)時(shí)間大約為一個(gè)半小時(shí)，馬斯克和特斯拉的工程師包括Andrej、Ashok、Ganesh等都親臨現(xiàn)場(chǎng)進(jìn)行了講解。從講解內(nèi)容來(lái)看還是比較艱澀難懂的，尤其是涉及一些計(jì)算模型和應(yīng)用方面的處理。本文將盡量簡(jiǎn)單明了地解釋這些內(nèi)容。感知道路信息：從圖像空間轉(zhuǎn)為矢量空間在自動(dòng)駕駛的視覺(jué)方面，特斯拉和現(xiàn)在業(yè)界呼聲比較高的激光雷達(dá)方案存在很大差異。根本原因并不是某些設(shè)備或者采用攝像頭與否的問(wèn)題，而是形成立體視覺(jué)空間的問(wèn)題。眾所周知，攝像頭在采集信息時(shí)會(huì)丟失幾乎所有空間信息，最終計(jì)算機(jī)識(shí)別的信息中并不包含距離內(nèi)容。相比之下，激光雷達(dá)在一定程度上可以解決這個(gè)問(wèn)題，能夠識(shí)別部分物體和車輛之間的距離。特斯拉一開(kāi)始就鮮明地提出，他們計(jì)劃模擬大腦的工作方式，只通過(guò)攝像頭完成對(duì)事物本身以及空間信息的識(shí)別，也就是從圖像空間轉(zhuǎn)變?yōu)槭噶靠臻g。為了達(dá)到這個(gè)目的，特斯拉使用了一個(gè)名為transformer的計(jì)算模塊，這個(gè)模塊采用注意力機(jī)制，可以在多個(gè)攝像頭拍攝的畫(huà)面之間建立聯(lián)系，并且形成相對(duì)固定的空間關(guān)系，此外還包括攝像頭矯正等。所謂注意力機(jī)制，實(shí)際上也是源自人腦和人眼的一種工作機(jī)制。簡(jiǎn)單來(lái)說(shuō)，注意力機(jī)制就是人類的視覺(jué)系統(tǒng)傾向于在觀察中關(guān)注圖像里輔助判斷的信息，而對(duì)那些不是特別相關(guān)的信息選擇性忽略。這樣一來(lái)，畫(huà)面中有關(guān)判斷、決策的內(nèi)容或者關(guān)鍵的一些結(jié)合點(diǎn)就會(huì)被篩選出來(lái)。比如在道路畫(huà)面中，有關(guān)地面的信息會(huì)被忽略，道路邊緣的路肩、警示信息以及道路上的一些物體會(huì)被認(rèn)為是關(guān)鍵信息。通過(guò)這樣的機(jī)制，transformer模塊能夠?qū)z像頭給出的圖像信息進(jìn)行篩選比對(duì)，進(jìn)一步處理后就能將平面的圖像空間轉(zhuǎn)換為立體的矢量空間。特斯拉也展示了攝像頭在自家汽車上應(yīng)用發(fā)展的歷程，比如早期采用的是單攝像頭單幀模型。隨后由于單個(gè)攝像頭范圍比較窄，后期使用了多攝像頭單幀模型予以改善。但是多攝像頭單幀模型主要是畫(huà)面未能很好地融合拼接，因此依舊采用的是孤立圖像來(lái)判斷，效果不好。現(xiàn)在加入了transformer模塊后，特斯拉終于可以將所有的畫(huà)面進(jìn)行統(tǒng)一處理并矢量化了，進(jìn)入了多攝像頭多幀模型的新階段。在這個(gè)階段中，特斯拉可以保持連續(xù)多幀信息融合，實(shí)現(xiàn)對(duì)道路連續(xù)、不間斷地監(jiān)控。在實(shí)現(xiàn)了多幀信息融合后，特斯拉選擇了SpatialRNN對(duì)視頻進(jìn)行處理。經(jīng)過(guò)SpatialRNN的處理，特斯拉的汽車可以持續(xù)更新攝像頭可見(jiàn)范圍內(nèi)的各種信息，并且還可以對(duì)物體的速度和距離進(jìn)行估計(jì)。特斯拉的數(shù)據(jù)顯示，他們的模型和方案相比毫米波雷達(dá)，效果基本相同。識(shí)別道路狀況：4D標(biāo)注關(guān)鍵信息當(dāng)汽車通過(guò)攝像頭完成了對(duì)空間結(jié)構(gòu)的重現(xiàn)后，接下來(lái)一個(gè)重要的工作就是數(shù)據(jù)標(biāo)注了。所謂數(shù)據(jù)標(biāo)注，就是采用人工智能手段，將畫(huà)面中那些需要特別重視的部分以不同的形式或者等級(jí)凸顯出來(lái)。比如攝像頭拍攝到了過(guò)馬路的人、前方的汽車、道路邊沿、固定障礙物以及道路標(biāo)識(shí)和警示信息等，都需要及時(shí)識(shí)別并處理。特斯拉將自己的數(shù)據(jù)標(biāo)注功能稱為4D。相比傳統(tǒng)2D圖像化標(biāo)注，特斯拉已經(jīng)將整個(gè)視覺(jué)信息轉(zhuǎn)化為矢量空間，加入了距離信息，因此單幀2D畫(huà)面也成了3D場(chǎng)景。但是特斯拉并非僅僅依靠3D場(chǎng)景進(jìn)行標(biāo)注，而是加入了時(shí)序信息，增加了時(shí)間維度（D），將其轉(zhuǎn)化為4D場(chǎng)景進(jìn)行標(biāo)注。簡(jiǎn)單來(lái)說(shuō)，之前的數(shù)據(jù)標(biāo)注是利用一張張圖片或者僅僅是一個(gè)靜態(tài)的3D場(chǎng)景進(jìn)行標(biāo)注。現(xiàn)在特斯拉是在一個(gè)重建后的視頻中進(jìn)行標(biāo)注，并且能夠?qū)?biāo)注后的信息反饋回?cái)z像頭，并進(jìn)行跟蹤，后續(xù)就不用重復(fù)標(biāo)注了，這在很大程度上節(jié)約了計(jì)算資源。不過(guò)，雖然4D標(biāo)注在功能實(shí)現(xiàn)和最終結(jié)果上表現(xiàn)優(yōu)秀，但是也非常耗費(fèi)計(jì)算資源，依靠傳統(tǒng)的標(biāo)注方法是難以處理的。為此，特斯拉專門(mén)開(kāi)發(fā)了特別的4D自動(dòng)標(biāo)注工具，這個(gè)工具在展示中顯示出了非常不錯(cuò)的效率，不但能夠標(biāo)注場(chǎng)景內(nèi)的關(guān)鍵個(gè)體，還包括這些個(gè)體的運(yùn)動(dòng)速度、距離等內(nèi)容，甚至可以預(yù)測(cè)它們未來(lái)的運(yùn)動(dòng)軌跡。特斯拉宣稱新的4D標(biāo)注功能相比傳統(tǒng)的2D圖像化標(biāo)注效率提升了100倍。發(fā)布會(huì)上，特斯拉展示了通過(guò)在道路上行駛的大約100萬(wàn)輛特斯拉車輛，收集的250萬(wàn)個(gè)長(zhǎng)度1分鐘的片段，這相當(dāng)于單個(gè)汽車駕駛1500年的時(shí)間，然后特斯拉使用上千個(gè)GPU和2萬(wàn)個(gè)CPU在一周內(nèi)處理完了這些標(biāo)注并且生成了模型。相比我們印象中單車或者數(shù)十車輛上路收集數(shù)據(jù)而言，特斯拉展示出的成長(zhǎng)能力是相當(dāng)驚人的?？偟膩?lái)看，特斯拉在自動(dòng)駕駛的數(shù)據(jù)收集和處理能力已經(jīng)遠(yuǎn)遠(yuǎn)拋開(kāi)了絕大部分傳統(tǒng)汽車廠商和部分相關(guān)企業(yè)?，F(xiàn)有的自動(dòng)駕駛技術(shù)如何收集海量數(shù)據(jù)并生成有效的模型，對(duì)很多企業(yè)來(lái)說(shuō)是非常困難的。因此才不斷出現(xiàn)激光雷達(dá)、毫米波雷達(dá)等各種方式，希望在汽車的決策端就能收集到更多數(shù)據(jù)，比如激光雷達(dá)就可以直接生成矢量空間。但是特斯拉展示了另一個(gè)方法，就是利用現(xiàn)有特斯拉汽車上的攝像頭不斷地收集數(shù)據(jù)并用于改善自動(dòng)駕駛算法。隨著收集的數(shù)據(jù)越來(lái)越多，它的自動(dòng)駕駛模型也會(huì)越來(lái)越成熟可靠，這是特斯拉的商業(yè)模式帶來(lái)的核心競(jìng)爭(zhēng)力。完成路徑規(guī)劃：算法優(yōu)化尋求最優(yōu)解在會(huì)上有一個(gè)有趣的比喻，那就是特斯拉認(rèn)為他們從頭開(kāi)始做了一個(gè)'動(dòng)物”，這個(gè)“動(dòng)物”能夠感知周圍的環(huán)境，明確周圍的信息，最重要的是還可以根據(jù)這些內(nèi)容對(duì)接下來(lái)的路徑進(jìn)行規(guī)劃和優(yōu)化。此前在規(guī)劃方面，特斯拉很少披露相關(guān)信息，而在本次AIDAY上，它展示了不少新內(nèi)容，值得一看。由于之前已經(jīng)明確了環(huán)境和環(huán)境內(nèi)人的信息，因此特斯拉在道路規(guī)劃上就顯得順理成章了。憑借強(qiáng)大的算力，特斯拉宣稱自己的自動(dòng)駕駛規(guī)劃算法可以在1.5ms內(nèi)完成2500種不同的行駛軌跡判斷，并且從中選出能夠確保安全和舒適的'最優(yōu)解”。特斯拉給出了一個(gè)案例：一輛汽車在經(jīng)過(guò)一個(gè)十字路口后需要左轉(zhuǎn)，這個(gè)時(shí)候變道和左轉(zhuǎn)的時(shí)機(jī)就顯得非常重要，因?yàn)閷?duì)汽車在道路上行駛這個(gè)場(chǎng)景來(lái)說(shuō)，道路上的所有東西都不是一成不變的，而是動(dòng)態(tài)的。隨著時(shí)間流逝，整個(gè)道路的條件和狀況都在不斷變化。特斯拉要做的是在這種動(dòng)態(tài)約束條件下的最優(yōu)化求解。這面臨兩個(gè)問(wèn)題，一個(gè)是Non-Convex也就是非凸的解空間，另一個(gè)則是高維度解空間。其中非凸是一個(gè)運(yùn)籌學(xué)概念，是指集合中任意兩點(diǎn)連線后，部分線段不在此集合中，就是非凸，否則就是凸集合。凸集合的特點(diǎn)是局部最優(yōu)解就是全局最優(yōu)解，但是非凸集合并非如此，非凸集合的局部最優(yōu)解不能直接導(dǎo)出全局最優(yōu)解且全局最優(yōu)解算法復(fù)雜度極高。對(duì)應(yīng)在自動(dòng)駕駛中，這種算法面臨的是由于不斷變化的場(chǎng)景，在當(dāng)下確定的最優(yōu)方案到了下一刻可能就不適用了。另外，高維度解空間的概念也使得計(jì)算量過(guò)大導(dǎo)致算法難以完成。比如汽車需要計(jì)劃未來(lái)10-15秒的路徑，且在這段時(shí)間中還有大量數(shù)據(jù)和參數(shù)產(chǎn)生，計(jì)算量相當(dāng)大。有鑒于此，特斯拉選擇了一個(gè)折中的混合算法。它首先利用粗粒度的離散搜索非凸集合，提取出一個(gè)凸集合“通道”，利用凸集合最優(yōu)解進(jìn)行連續(xù)優(yōu)化并快速收斂，最終選擇出最優(yōu)秀的運(yùn)行軌跡。特斯拉給出了一個(gè)例子是汽車通過(guò)一個(gè)單行道道路，中間不斷有對(duì)向車輛行駛過(guò)來(lái)。在這種情況下，自動(dòng)駕駛需要不斷地搜索、預(yù)判周圍的情況，尤其是面臨對(duì)方高速對(duì)向行駛的時(shí)候，特斯拉會(huì)判斷是否需要停下來(lái)避讓。從這個(gè)案例可以看出，特斯拉的自動(dòng)駕駛在變化的條件下能夠自動(dòng)選擇合適的做法。另一個(gè)案例是在路口左轉(zhuǎn)，當(dāng)臨近路口時(shí)，它選擇了一個(gè)比較寬泛的區(qū)域進(jìn)行預(yù)判斷，然后隨著車輛行駛以及道路變化，計(jì)算不斷收斂，最終確定一條轉(zhuǎn)彎平滑且安全的路徑。此外，特斯拉還展示了在停車場(chǎng)中停車路徑的選擇，這顯示出特斯拉現(xiàn)有算法在道路規(guī)劃上存在顯著優(yōu)勢(shì)。總的來(lái)看，特斯拉通過(guò)介紹其在道路規(guī)劃上的一些思路、算法框架以及大量例證，展示了一套已經(jīng)基本成熟的規(guī)劃解決方案。結(jié)合前文的場(chǎng)景識(shí)別和標(biāo)注，特斯拉在自動(dòng)駕駛方面的技術(shù)進(jìn)展的確令人驚訝。強(qiáng)大的計(jì)算能力：特斯拉LD1芯片和計(jì)算集群此次大會(huì)上，特斯拉還針對(duì)芯片方面的內(nèi)容進(jìn)行了更新。首先是特斯拉在GPU資源方面的投入。特斯拉用于大規(guī)模數(shù)據(jù)計(jì)算的服務(wù)器在2019年只有約1500個(gè)GPU,2020年上升到約4000個(gè)，2021年則進(jìn)一步提高到11500個(gè)，每年都增長(zhǎng)超過(guò)250%。這些GPU中15%用于數(shù)據(jù)自動(dòng)標(biāo)注，其余的3000多個(gè)搭配FSD芯片用于測(cè)試，特斯拉每周要進(jìn)行一百萬(wàn)次測(cè)試來(lái)完善自己的自勤駕駛系統(tǒng)。除了使用現(xiàn)有的GPU資源外，特斯拉還拿出了全新的自研芯片D1。該芯片采用臺(tái)積電7nm工藝制造，集成了超過(guò)500億晶體管，核心面積高達(dá)645mm2。相比之下，英偉達(dá)A100GPU的面積為826mm2,AMDCNDA2的核心面積大約是750mm2，可見(jiàn)特斯拉這顆專用芯片的計(jì)算規(guī)模相當(dāng)大。特斯拉D1集成了4個(gè)64位超標(biāo)量CPU核心，且擁有354個(gè)訓(xùn)練節(jié)點(diǎn)。外部互聯(lián)帶寬方面，D1芯片擁有576個(gè)通道，每個(gè)通道的帶寬為112Gbps。四個(gè)方向上，每個(gè)擁有10TB/s片上帶寬和4TB/s的邊緣帶寬，如此大的帶寬設(shè)計(jì)使得Dl芯片能夠迅速吞吐海量數(shù)據(jù)，提高計(jì)算效能。算力方面，Dl芯片支持FP32、BFP64、CPF8、INT16、INT8等各種常見(jiàn)的數(shù)據(jù)格式，并且還特別提到了支持8x8矩陣乘法計(jì)算，實(shí)現(xiàn)了對(duì)人【計(jì)算加速的全面支持。在性能方面，Dl芯片擁有22.6TFLOPSFP32計(jì)算能力，BF16或者CFP8的計(jì)算能力高達(dá)362TFLOPS，表現(xiàn)非常驚人。由于巨大的互聯(lián)帶寬、強(qiáng)悍的算力，D1芯片的功耗也很夸張，其TDP功耗高達(dá)400W，幾乎是現(xiàn)有芯片中最高的。由于AI計(jì)算對(duì)