電子設備-電子“AI的裂變時刻”系列報告10：HBM何以成為AI芯片核心升級點？全面理解AI存儲路線圖

/HBM何以成為AI芯片核心升級點？全面理解AI存儲路線圖請注意，耿正,欒玉民并非香港證券及期貨事務監(jiān)察委員會的注冊持牌人，不可在香港從事受監(jiān)管活動。核心觀點：如何理解內(nèi)存系統(tǒng)層級及關(guān)鍵參數(shù)？對于單個乃至多個處理器組成的系統(tǒng)而言，內(nèi)存系統(tǒng)自下而上可以分為單性能存儲系統(tǒng)之間的高效、高速、低延時接口風險提示。半導體行業(yè)周期性波動風險；人工智能行業(yè)發(fā)展不及預期風險；新技術(shù)進展不及預期風險。報告日期合理價值（元/股）688008.SH688123.SH603986.SH688110.SH600584.SH300476.SZ （一）理解內(nèi)存系統(tǒng)的層級：從存儲單元到內(nèi)存系統(tǒng) （一）行業(yè)周期波動風險 表2：DDR、LPDDR、GDDR、HBM3E 表5：GeForce4090、H100、B200 一、AI存儲路線圖：更大容量、更大帶寬、更低功耗大模型規(guī)模指數(shù)級增長，內(nèi)存帶寬和容量需求激增。大模型的參數(shù)指數(shù)級增長，不一方面，大量模型數(shù)據(jù)的傳輸要求更大的內(nèi)存帶寬，以緩解“內(nèi)存墻”問題，提升HPC系統(tǒng)計算效率；另一方面，內(nèi)存系統(tǒng)的容量需要大幅拓展，以存儲千億參數(shù)乃至更大規(guī)模的大模型。在2026年數(shù)據(jù)傳輸速率達到36GT/量超過256GB且數(shù)據(jù)傳輸速率為12800MT/s的MRDIMM。對于需要進一后的CXL3.x標準擴展模塊帶寬超過72GB/s，容量超過256GB。對于低功耗應用，業(yè)界將繼續(xù)使用LPDDR。根據(jù)美光的路線9600MT/s數(shù)據(jù)傳輸速率的LPDDR5X標準將繼續(xù)使用一段時間。同時，美光將從2025年開始提供LPCAMM2模組，隨后從2026年年中開始提供LPDDR5X-9600本文旨在梳理DDR、LPDDR、GDDR及HBM四類DRAM標準的區(qū)別和聯(lián)系，探討HPC系統(tǒng)內(nèi)存設計的內(nèi)在邏輯，以理解在AI大模型時代，DRAM從芯片到系統(tǒng)層面理器運算和處理的數(shù)據(jù)。JEDEC定義并開發(fā)了標準DDR、移動DDR和圖形類別都提供獨特的架構(gòu)功能，旨在最好地滿足目標應用程序的要求。寬的通道寬度、更高的密度和不同的形狀尺寸；移動DDR使用LPDDR標準，面向移動和汽車這些對規(guī)格和功耗非常敏感的領(lǐng)域，提供更窄的通道寬度和多種低功耗應用場景和與之相應的內(nèi)存系統(tǒng)設計也走向多樣化。HBM正在以其高帶寬、高密度表1：部分主流服務器處理器內(nèi)存方案X86\\\\推理\\\\\\\\\\\二、如何理解內(nèi)存系統(tǒng)層級及關(guān)鍵參數(shù)？對于單個乃至多個處理器組成的系統(tǒng)而言，內(nèi)存系統(tǒng)自下而上封裝則一般包括1-2個die。封裝好的LPDDR芯片和GDDR芯片直接安裝在主板PCBHBM則采用獨特的垂直堆疊封裝方式，同一封裝內(nèi)的多的TSV（ThroughSiliconVia，硅通孔）互連。封的中介層（Interposer）與處理器通信，其帶絕大多數(shù)CPU和GPU均配備多個DRAM芯片/DIMM組成的內(nèi)存系統(tǒng)計和應用的不同，所配置的內(nèi)存類型、規(guī)格選擇和配置數(shù)量也有所不同，需要和處理器總線寬度、時鐘頻率等參數(shù)相匹配。內(nèi)存種類、規(guī)格和數(shù)量的選擇直接決定了表2：DDR、LPDDR、GDDR、HBM3E封裝形式對比1適的內(nèi)存系統(tǒng)設計。本章旨在厘清主流DRAM標準中如何理解及計算內(nèi)容容量和帶內(nèi)存帶寬=處理器內(nèi)存接口總位寬×每秒數(shù)據(jù)傳輸次數(shù)所不同，但是計算帶寬的基本方法是相同的。此外，計算時還需要注意CPU通常搭配DDR或者LPDDR作為內(nèi)存，GPU搭配GDDR或者HGPU具有比CPU更多的內(nèi)核，更適合處理并行任務，因此GPU的相比于帶寬，內(nèi)存容量的計算更加直觀。對于單個處理器來說，內(nèi)存總?cè)萘?GB)=處理器配置的內(nèi)存芯片或模組數(shù)量并不能隨意增加，而受到處理器內(nèi)存接口和系統(tǒng) 高的數(shù)據(jù)傳輸速度，因此圖形處理和AI訓練等數(shù)據(jù)密集場景更使用DDR內(nèi)存，以利用其較低的延遲。三、DDR+LPDDR路線圖：面向CPU，構(gòu)建大能效內(nèi)存池（一）DDR5帶寬和容量提升顯著，LPDDRRambus將DDR5相比DDR4的進步總結(jié)為七大技術(shù)構(gòu)、通道架構(gòu)、突發(fā)長度、容量密度及智能性。數(shù)據(jù)傳輸速率（GT/s）理備，很少出現(xiàn)在服務器中。但是英偉達在GraceCPU選擇了LPDDR5X作為內(nèi)存方每GB成本是DDR5或LPDDR5X的3倍以上。此外，HBM的密度和CoWoS封裝的尺我們以NvidiaDGXH100服務器和GH200超級芯片為例分析數(shù)據(jù)中心CPU的系統(tǒng)。DGXH100系統(tǒng)包括2個8通道Int32個DDR5DIMM，每個DIMM容量為64GB，GraceCPU，8塊LPDDR5XDIMM設計占用了很大的服務器內(nèi)部空間。而LPDDR具有8每通道位寬進，制造成本的增加、鄰近效應和存儲節(jié)點泄漏等問題開始限制DRAM性能的進一多路合并陣列雙列直插內(nèi)存模組）與MRDIMM架構(gòu)類似，由SKHynix、Intel和Renesas合作開發(fā)，利用MCR技術(shù)安裝在MCRDIMM上的數(shù)據(jù)緩沖區(qū)實現(xiàn)了兩個Rank同時運行，MCRDIMM允許一次向CPU傳輸128字節(jié)的數(shù)據(jù)，而傳統(tǒng)DRAM模的第一代產(chǎn)品，MRDIMM（Multi-RankedBufferedDI是一種高帶寬的內(nèi)存模組，通過MDB芯片可以同時訪問兩個DRAM內(nèi)存陣列圖心備、設備和設備之間的內(nèi)存存在鴻溝，特別是服務器巨大的內(nèi)存池和加速器設備之Link）是一種高速互連技術(shù)，旨在提供處理器與專用加速器、高性能存儲系統(tǒng)之間的高效、高速、低延時接口，以滿足資源共享、內(nèi)存池化和高效運算調(diào)度的需求。得CXL3.0設備之間可以構(gòu)建網(wǎng)絡而不局限于CXL2.0的樹狀結(jié)構(gòu)。絡勢成為AI大模型訓練推理關(guān)鍵此Nvidia在推理產(chǎn)品線L40、L40S、L20等產(chǎn)品中使用GDDR，以獲得我們以NvidiaRTX4090、H100、H200為例分析GPU中GDDR、HBM不同標準和代際之間的性能差異。RTX4090配備12顆共24GBGDDR6X，總帶寬為高位寬是HBM的核心優(yōu)勢。HBM的高帶備HBM3的H100帶寬遠高于使用GDDR的4090。HBM代際間升級主要體現(xiàn)在數(shù)據(jù)速率和容量密度。H200配備的HBM3E的位寬仍然表5：GeForce4090、H100、B200顯存系數(shù)據(jù)速率(Gbps)1882單封裝容量密度(GB)256顯存總線位寬(bit)1了顯著的提升。容量的提升主要得益于單個die容量密度的提升和堆疊層數(shù)的提升。數(shù)據(jù)來源：SKHynixonGTC2024，廣發(fā)證券發(fā)展研究中心內(nèi)存路線圖，美光預計將在2026年至2027年間推出容量為36GB至48GB的12層和容量增加到48GB至64GB。五、風險提示（一）行業(yè)周期波動風險影響。若市場