2024年英偉達GTC專題分析：新一代GPU、具身智能與AI應(yīng)用

2024年英偉達GTC專題分析：新一代GPU、具身智能與AI應(yīng)用GTC2024前瞻：見證AI的變革時刻GTC2022：硬件為主，發(fā)布全新Hopper架構(gòu)H100GPU及GraceCPU超級芯片，第四代NVLink和第三代NVSwitch技術(shù)、DGXH100SuperPOD等。GTC2023：側(cè)重軟件及服務(wù)更新，發(fā)布及更新H100NVLGPU，PCIeH100等硬件，以及AI超級計算服務(wù)DGXCloud、光刻計算庫CuLitho、GPU加速量子計算系統(tǒng)等。GTC2024：當?shù)貢r間3月18-21日舉行，黃仁勛將發(fā)表主題演講“見證AI的變革時刻”，發(fā)布加速計算、生成式AI以及機器人領(lǐng)域突破性成果。會議期間將舉辦超過1000場演講、圓桌討論、培訓等各種活動，來自英偉達、Meta、微軟、斯坦福等業(yè)界及學術(shù)界眾多權(quán)威AI研究者將參加200多場會議。共有1000多家企業(yè)將參加本屆GTC，包括但不限于亞馬遜、OpenAI、微軟、Meta、谷歌等AI巨頭以及Anthropic、Cohere、Runway等AI初創(chuàng)企業(yè)。300多家參展商將展示企業(yè)如何在航空航天、農(nóng)業(yè)、汽車和運輸、云服務(wù)、金融服務(wù)、醫(yī)療和生命科學、制造、零售和電信等各行業(yè)部署英偉達平臺。關(guān)注一：BlackwellGPU架構(gòu)及B100英偉達有望在GTC2024上發(fā)布B100及B200系列。B100將首次采用Blackwell架構(gòu)，基于更復雜的多芯片模塊（MCM）設(shè)計，與現(xiàn)有采用Hopper架構(gòu)的H200系列相比性能有望翻倍提升，預計使用臺積電3nm或N4P工藝制程，功耗或達1000W，采用液冷方案，2024Q2/Q3開始規(guī)模生產(chǎn)。此外，根據(jù)英偉達最新官方路線圖及IT之家報道，預計2024-2025年之間推出GB200，或采取差異化策略推動客戶采購，加大其與B100/B200之間的配置差距，特別在NVLink和網(wǎng)絡(luò)性能方面。B100預計配套全新組件。此外根據(jù)路線圖，英偉達將于2024年底前推出速度更快、功能更強大的InfiniBand和以太網(wǎng)NIC以及交換機，每個端口的帶寬可達800Gb/s，本次大會上或?qū)⒂兴嘎?。?jù)Barron’s報道，英偉達將于2025年推出B200GPU，單張功耗達1000W，升級后的B200變體可能采用更快版本的HBM內(nèi)存，以及更高的內(nèi)存容量，升級規(guī)格和增強功能。關(guān)注二：具身智能/人形機器人/自動駕駛?cè)诵螜C器人：AgilityRobotics、波士頓動力公司、迪士尼和GoogleDeepMind等公司將參會，現(xiàn)場將展出25款機器人，包括人形機器人、工業(yè)機械手等。英偉達于2018年推出包含全新硬件、軟件和虛擬世界機器人模擬器的NVIDIAIsaac，同時還推出專為機器人設(shè)計的計算機平臺JetsonXavier和相關(guān)的機器人軟件工具包，2023年發(fā)布多模態(tài)具身智能系統(tǒng)VIMA和自主移動機器人平臺IsaacAMR。同時，英偉達通過仿真模擬平臺Omniverse與AI結(jié)合，幫助建立訓練數(shù)據(jù)集，23年3月OmniverseCloud托管至微軟Azure，以擴大英偉達AI機器人開發(fā)和管理平臺IsaacSim的接入范圍。2024年2月英偉達向人形機器人公司FigureAI投資5000萬美元并成立通用具身智能體研究實驗室GEAR，人形機器人作為具身智能優(yōu)良載體，有望迎來加速發(fā)展。自動駕駛：2022年英偉達發(fā)布全新一代自動駕駛SoC芯片Thor，內(nèi)部擁有770億個晶體管，算力高達2000TFLOPS，較此前Orin提升8倍，計劃2024年量產(chǎn)，極氪將于2025年搭載首發(fā)。關(guān)注三：AI推理/邊緣計算GTC2024有望更新以太網(wǎng)架構(gòu)及產(chǎn)品、ASIC芯片計劃等相關(guān)信息。英偉達FY2024數(shù)據(jù)中心業(yè)務(wù)收入40%來自AI推理，AI在汽車、醫(yī)療和金融服務(wù)等垂直領(lǐng)域廣泛應(yīng)用，其正在推出全新Spectrum-X端到端產(chǎn)品進入以太網(wǎng)領(lǐng)域，引入新技術(shù)為AI處理提供較傳統(tǒng)以太網(wǎng)高1.6倍的網(wǎng)絡(luò)性能。根據(jù)路透社報道，英偉達正在建立新業(yè)務(wù)部門，專注為云廠商及其他企業(yè)設(shè)計定制芯片（ASIC），包括先進的AI處理器。本次GTC共有亞馬遜、Anthropic、Runway等1000多家參會企業(yè)，會上將展示英偉達平臺在農(nóng)業(yè)、汽車、云服務(wù)等行業(yè)的應(yīng)用，英偉達、HuggingFace、Zalando、AWS、微軟、Cloudflare、谷歌等將參加AI推理相關(guān)會議。生成式AI在影視上的應(yīng)用將被重點展示。中國游戲廠商騰訊、網(wǎng)易，以及傳媒巨頭奈飛、皮克斯、迪士尼動畫工作室等均將參與游戲/傳媒娛樂討論，可能探討如何利用生成式AI和路徑追蹤技術(shù)創(chuàng)造更加逼真的虛擬人物和世界，輔助游戲開發(fā)和影視制作；Runway、騰訊及Digitrax等有望介紹其文生圖、文生視頻模型及其他AI應(yīng)用。其他可能被討論的應(yīng)用包括3D內(nèi)容生成、云端創(chuàng)作游戲等。2萬億美元可尋址市場（TAM）：英偉達預計隨著通用AI技術(shù)發(fā)展，目前1萬億美元數(shù)據(jù)中心基礎(chǔ)設(shè)施安裝量（可尋址市場，TAM）將在未來五年翻一番。AI設(shè)備有望替換掉所有的傳統(tǒng)計算。BlackWell架構(gòu)演進英偉達每隔1-2年提出新的芯片架構(gòu)以適應(yīng)計算需求升級。2017年提出Volta架構(gòu)，專注深度學習和AI應(yīng)用，并引入TensorCore，2020年Ampere架構(gòu)在計算能力、能效和深度學習性能方面大幅提升，采用多個SM和更大的總線寬度，提供更多CUDACore及更高頻率，引入第三代TensorCore，具有更高的內(nèi)存容量和帶寬，適用于大規(guī)模數(shù)據(jù)處理和機器學習任務(wù)。2022年發(fā)布Hopper架構(gòu)，支持第四代TensorCore，采用新型流式處理器，每個SM能力更強。Blackwell：或為英偉達首次采用多chiplet設(shè)計的架構(gòu)，一方面可能簡化基于Blackwell架構(gòu)的GPU硅片層面生產(chǎn)，最大限度提高小型芯片產(chǎn)量，另一方面，多芯片封裝將更加復雜。預計SM和CUDA將采用新結(jié)構(gòu)，光線追蹤性能等將進一步優(yōu)化和加強，RT單元有可能被PT單元所取代，以實現(xiàn)對AdaLovelace架構(gòu)的性能翻倍。Blackwell架構(gòu)GPU很可能會支持GDDR7內(nèi)存，相比GDDR6X效率更高，鑒于第一代GDDR7SGRAMIC將具有32GT/s的傳輸數(shù)據(jù)速率，采用這些芯片的384位內(nèi)存子系統(tǒng)將提供約1536GB/s的帶寬。與Hopper/Ada架構(gòu)不同，Blackwell或?qū)U展到數(shù)據(jù)中心和消費級GPU，但消費級場景或?qū)⒀永m(xù)單芯片設(shè)計，以實現(xiàn)時間可控及低風險。B100：性能翻倍，帶寬、顯存等大幅提升B100：預計為MCM多芯片封裝，臺積電N3或N4P制程工藝，可能使用CoWoS-L，性能預計至少為H200的2倍，相當于H100的4倍；首發(fā)內(nèi)存或為200GHBM3e，約為H200的140%；參考歷代NVLink迭代，預計雙向帶寬有望較H100接近翻倍，或采用224Serdes。為了更快推向市場，B100前期版本或使用PCIe5.0和C2C式鏈接，功耗700W，方便直接沿用H100的現(xiàn)有HGX服務(wù)器，以大幅提高供應(yīng)鏈更早提高產(chǎn)量和出貨量的能力。后續(xù)將推出1000W版本，轉(zhuǎn)向液冷，并將通過ConnectX8實現(xiàn)每GPU網(wǎng)絡(luò)的完整800G。這些SerDes對于以太網(wǎng)/InfiniBand仍然是8x100G。雖然每個GPU的網(wǎng)絡(luò)速度翻倍，但基數(shù)減半，因為它們?nèi)匀槐仨毥?jīng)過相同的51.2T交換機。B100預計2024H2規(guī)模出貨。MorganStanley預計2024年英偉達CoWoS需求量15萬片，對應(yīng)AIGPU出貨量400萬張，其中H100/B100分別為377萬張/28萬張。英偉達加快液冷方案布局英偉達積極與行業(yè)伙伴合作創(chuàng)新液冷方案。2022年推出基于直接芯片冷卻技術(shù)（Direct-to-chip）的A100800GPCIe液冷GPU，較風冷版本性能相當，電力節(jié)省約30%，單插槽設(shè)計節(jié)省最多66%的機架空間。2023年，與Vertiv、BOYD、Durbin、霍尼韋爾等6家行業(yè)伙伴合作打造混合液冷創(chuàng)新方案，將芯片直接冷卻、泵送兩相（P2P）和單相浸沒式冷卻集成在帶有內(nèi)置泵和液體-蒸汽分離器的機架歧管中，使用兩相冷板冷卻芯片，其余具有較低功率密度的服務(wù)器組件將浸沒在密封的浸沒式箱體內(nèi)，服務(wù)器使用綠色制冷劑分別進行兩相冷卻和浸沒冷卻。相較當前無法處理高于400W/cm2功率密度的液冷，混合冷卻支持服務(wù)器機架功率高達200kW，是目前的25倍，與風冷相比成本至少降低5%，冷卻效率提高20%。同時與臺積電、高力等合作開發(fā)AIGPU浸沒式液冷系統(tǒng)。2024年3月，Vertiv與英偉達專家團隊共同針對GPU型高密數(shù)據(jù)中心制冷方案進行研發(fā)測試并發(fā)布實測數(shù)據(jù)，結(jié)果顯示冷板液冷和風冷的創(chuàng)新風液混合制冷方案中大約75%的IT負載可通過冷板液冷技術(shù)實現(xiàn)有效冷卻，IT負載從100%風冷轉(zhuǎn)型為75%液冷的方案時，服務(wù)器風扇用電量降低最多達到80%，使總體使用效率（TUE）提高15%以上。英偉達下一代GPU展望產(chǎn)品性能進一步加快提升。根據(jù)Bloomberg，英偉達可能在2026年推出下一代數(shù)據(jù)中心GPUN100，N100的GPU芯片數(shù)量可能由B100的2個增加到4個，每個芯片的尺寸相似，盡管GPU芯片總面積可能翻倍，性能躍進將更加顯著。N100預計采用臺積電N3E工藝，晶體管密度或增加50%，芯片內(nèi)存可能升級到全新一代HBM4。封裝設(shè)計將同步升級以擴大芯片尺寸，可能加速熱壓縮鍵合（TCB）和混合鍵合技術(shù)應(yīng)用。芯片算力、工藝及互連等組網(wǎng)方案升級將持續(xù)帶動交換機、光模塊等相關(guān)硬件創(chuàng)新迭代，LPO、硅光、CPO等新技術(shù)有望加快推進。GPU迭代加速1.6T光模塊升級光模塊趨勢向高速率發(fā)展。AIGC等技術(shù)的快速發(fā)展帶來數(shù)據(jù)量呈指數(shù)級增長，設(shè)備與設(shè)備之間的亦需要更大帶寬連接，因此光模塊需要向更高帶寬發(fā)展?，F(xiàn)有光模塊帶寬主要以100G/200G/400G，目前正朝著800G、1.6T