2024年美光科技研究報告：HBM自我突破在AI浪潮中引領重估

2024年美光科技研究報告：HBM自我突破在AI浪潮中引領重估美光的自我突破，在AI浪潮下引領的新一輪估值重估區(qū)別于市場觀點：我們認為，美光將來到重估的分水嶺，估值提升或將是雙輪驅動，1）存儲行業(yè)步入新一輪上行周期，傳統(tǒng)DRAM和NAND的ASP回穩(wěn)及下游需求改善所帶來的估值修復；2）同時借助AI浪潮催生的新需求，HBM3E和DDR5營收占比提升帶動利潤率優(yōu)化，引領估值突破。我們認為市場低估了存儲行業(yè)上行周期的持續(xù)性和重估能力，以及對美光能如何受益于本輪以AI驅動的周期存在認知差。市場普遍認知到DRAM及NAND兩種傳統(tǒng)存儲產(chǎn)品在24年將出現(xiàn)量價修復，并認為PC出貨量將伴隨AIPC崛起、下游庫存出清以及新一輪換機潮回暖，同時手機市場在24年也將開始復蘇。但我們認為，市場忽略了本輪以AI驅動的上行周期的持續(xù)性與18年（云計算數(shù)據(jù)中心搭建和虛擬貨幣潮）、21年（期間在家辦公）兩輪周期不同，并低估了內存（特別是HBM）在AI計算里起到的重要作用。另外，市場也普遍認為美光在HBM技術里落后于龍頭SK海力士和晶圓代工一體化的三星兩家韓系企業(yè)，對美光在HBM等高端產(chǎn)線增長及在HBM市場爭奪中的定位尚存不確定性，但我們認為，美光1-β制程幫助其HBM3E實現(xiàn)效能優(yōu)勢，其HBM3E已經(jīng)成功進入英偉達供應鏈，并有望拓展客戶至其他AI芯片，需求能見度高，或將從無到有實現(xiàn)更高的營收彈性。高存儲密度和高帶寬的特性讓HBM成為了AI場景下內存容量和帶寬瓶頸的解決方案，減少算力浪費，在訓練和推理場景扮演不同角色：1）AI訓練的大容量“數(shù)據(jù)中轉站”：訓練數(shù)據(jù)需從SSD等外部儲存器分批次（batch）加載進HBM，等待加速器調用，同時，訓練過程中的模型參數(shù)、正向傳播的中間狀態(tài)（activation）、優(yōu)化器狀態(tài)以及反向傳播的梯度（gradient）也需存入HBM，方便加速器在計算和優(yōu)化過程中快速訪問和讀寫。HBM以其大容量、高帶寬的特性，減少加速器訪問外部儲存器次數(shù)，降低數(shù)據(jù)傳輸延遲，從而提升AI訓練效率；2）AI推理的“模型參數(shù)倉庫”：訓練后的數(shù)據(jù)本質上是一大堆的參數(shù)，HBM可容納更為復雜的模型，方便加速器推理時調用，減少數(shù)據(jù)搬運時間，提升AI推理效率。作為AI芯片的核心組件之一，HBM的需求能見度高，展望未來，我們認為單卡HBM堆棧數(shù)目增多、層數(shù)增高和迭代趨勢已初見端倪。GTC2024上英偉達發(fā)布新一代架構Blackwell及B200GPU，通過搭載8顆HBM3E實現(xiàn)192GB內存容量和8TB/s的帶寬，對比上一代H200（6顆HBM3E，內存容量141GB，帶寬4.8TB/s）在內存/帶寬上提升36.2%/66.67%。除去英偉達，AMD、英特爾和云廠商自研ASIC也呈現(xiàn)相同趨勢：1）AMD：2023年6月AMD發(fā)布的MI300X搭載8顆12層HBM3實現(xiàn)192GB內存容量和5.3TB/s帶寬，對比上一代MI250X（8顆HBM2E，內存容量128GB，帶寬3.2TB/s）在內存/帶寬上提升50%/65.6%；2）谷歌：2023年12月6日谷歌公布TPUv5p性能參數(shù)，配置95GBHBM3，對比上一代TPUv5e（16GBHBM2/2E）在GPT3-175B模型上訓練速度提升近50%；3）AWS：2023年12月7日Digitimes援引韓媒DigitalTimes消息，AWS于年度大會re:Invent2023公開的Trainium2芯片搭載4顆12層24GBHBM3，對比上一代Trainium32GBHBM2E容量提升200%；4）英特爾：2024年4月9日英特爾發(fā)布Gaudi3，搭載8顆16GBHBM2E，實現(xiàn)3.7TB/s帶寬，對比上一代Gaudi2（6顆16GBHBM2E）內存容量提升33%。截至2024年5月12日美光估值為2.60xForwardPB，超過上一輪上行周期（21年，2.0xForwardPB）估值峰值。14年以來美光估值曾經(jīng)歷三次峰值，分別受益于：移動互聯(lián)網(wǎng)普及（14年，2.8xForwardPB,3.7xTTMPB）、上云趨勢帶來的服務器需求和加密貨幣潮（18年，1.7xForwardPB，3.1xTTMPB）以及居家辦公帶來的短期需求激增（21年，2.0xForwardPB，2.65xTTMPB）：（1）2014年：12-14年移動互聯(lián)網(wǎng)普及帶動智能手機和平板電腦銷售量快速增長，根據(jù)Gartner2015年數(shù)據(jù)，11-14年全球智能手機銷售量同比增長均超28%，CAGR38.2%。下游終端需求帶動全球半導體銷售額上行，根據(jù)WSTS歷史數(shù)據(jù)及DRAMeXchange11-15年每季度統(tǒng)計，本輪上行周期歷時約33個月，全球半導體銷售額自12Q1谷底波動上升至14Q3峰值，12-14年期間全球半導體銷售額漲幅15%，其中DRAM和NAND銷售額漲幅均超70%。FY14美光營收164億美元，同比增長80.3%，F(xiàn)Y12-14期間營收增長98.7%，主要系美光收購爾必達（Elpida）迅速擴張DRAM市場份額，以及智能手機和平板電腦出貨擴增拉動美光NANDFlash營收增長。（2）2018年：16下半年到18年，企業(yè)上云趨勢帶動服務器需求高速增加，疊加加密貨幣潮帶動的礦機需求，全球半導體行業(yè)迎來新一輪上行周期，DRAM及NAND產(chǎn)品領漲顯著。根據(jù)IDC和Gartner16-18年季度統(tǒng)計數(shù)據(jù)，16-18年全球服務器出貨量和ASP增長帶動營收漲幅達56%，18Q4出貨量近350萬臺，同比增長8.5%。根據(jù)Coinmarketcap17年12月31日數(shù)據(jù)，2017年虛擬貨幣市場總值達5724.8億美元，全年累計增長3028%，比特幣（BTC）價格上漲13倍，一度突破20089美元。以太坊（Ethereum）的數(shù)字代幣以太幣2017年漲幅達111%，其采用名為Ethash的硬內存（memory-hard）算法，要求在挖礦過程中頻繁地從一個大型數(shù)據(jù)集（稱為DAG）中讀取數(shù)據(jù)，該操作主要受到內存帶寬，加上當時還采用ProofofWork（POW）計算，故拉動GPU和存儲的熱度提升。根據(jù)WSTS歷史數(shù)據(jù)及DRAMeXchange16-19年每季度統(tǒng)計，全球半導體銷售額16-18年漲幅38%，其中DRAM和NAND銷售額漲幅分別為145%和63%，而本輪上行周期歷時約27個月。FY18美光營收304億美元，同比增長49.5%，F(xiàn)Y16-18期間營收增長145.1%，主要系兩年間下游需求使得DRAM市場供應緊俏，ASP持續(xù)保持高位。（3）2021年：2020年開始的居家辦公場景帶來短期消費電子產(chǎn)品（智能手機、PC等）需求的快速增長。根據(jù)Gartner2019-2023年數(shù)據(jù)，2021年全球智能手機銷售量同比增長6.1%，為19-23年間唯一實現(xiàn)同比增長的年份，而全球PC出貨量同比增長20.2%，為19-23年間唯一實現(xiàn)兩位數(shù)增長的年份。根據(jù)WSTS歷史數(shù)據(jù)及DRAMeXchange20-22年統(tǒng)計，全球半導體銷售額自20Q3起實現(xiàn)約20個月的連續(xù)環(huán)比增長，期間漲幅34%，21年全球DRAM/NAND銷售額同比增長42%/21%。FY21美光營收277億美元，同比增長29.3%，其中DRAM營收同比增長38%，NAND營收同比增長14%。本輪短期上行美光增長不及行業(yè)，主要系：1）20年底美光DRAM工廠斷電、中國臺灣地震導致其DRAM產(chǎn)能損失；2）20-21年美光NAND擴產(chǎn)對比三星、鎧俠等競爭對手較為保守，同年海力士收購英特爾NAND業(yè)務份額趕超美光。帶來的短期需求于22下半年見頂，22下半年至23Q3期間消費電子需求疲軟，AI等新的增長點尚未成熟，半導體市場處于下行周期。我們認為24年內存行業(yè)邁入新一輪上行周期，由AI浪潮驅動，并將受益于AI芯片及AI應用普及所帶來的中長期增長，跟14年的邏輯類似，而并非如同加密貨幣潮和帶來的短期需求激增，因此我們認為美光有望借助AI東風，估值應往2014年水平靠攏，甚至突破。我們預計FY24/25/26公司營收分別為251/404/449億美元，同比為61.3%/61.2%/11.1%。具體而言：DRAM業(yè)務：我們預計DRAM業(yè)務FY24/25/26營收為178/278/320億美元，對應同比為62.4%/56.2%/15.1%，主要由HBM的量價齊升帶動，疊加AI手機、AIPC和AI服務器的DRAM需求。1）HBM受惠于AI芯片需求和設計進化，美光作為后起之秀，通過1-βHBM3E追趕市場份額：我們認為，隨著AI芯片需求的增加和在設計上的進化，更多的HBM將更緊密的搭載在AI芯片周邊，在AI訓練和推理時增加內存和降低延時。目前，HBM3/3E市場已打破“獨供”，由SK海力士、三星和美光三家割據(jù)：SK海力士原為英偉達HBM3獨供，率先敲定英偉達HBM3E商單，24年3月19日宣布開始8層HBM3E量產(chǎn)，24Q2業(yè)績會公司宣布12層HBM3E將于24Q3完成開發(fā)，隨即向客戶送樣；三星于23H2宣布量產(chǎn)HBM3Icebolt（8/12層堆疊）并確認供貨AMDMI300系列，隨后三星加速產(chǎn)品迭代并積極拓展客戶，GTC2024期間展示其12層36GBHBM3E，英偉達CEOJensenHuang會上于三星12層HBM3E旁簽下“JensenApproved”，確認該產(chǎn)品正在通過英偉達效能驗證，Digitimes24年4月報道三星HBM3E測試已近尾聲，最快24Q2開始供貨英偉達，相較之前市場預期的24H2提前。相比之下，美光并非HBM3/3E的先行者，公司跳過HBM3直接研發(fā)HBM3E，23年7月，美光宣布與臺積電3D-Fabric聯(lián)盟，推出1-β制程的HBM3E，并于24年2月率先宣布實現(xiàn)量產(chǎn)，確認供貨英偉達H200并于24年3月22日確認出樣12層36GBHBM3E，預期25年量產(chǎn)。通過測算存儲廠商HBM產(chǎn)線晶圓投入量和臺積電先進封裝產(chǎn)量，我們認為24/25年HBM3/3E供需缺口約為5.4%/4.1%。美光作為后起之秀，HBM產(chǎn)能相較SK海力士和三星仍顯不足，主要是承接兩者溢出的訂單。根據(jù)FY24Q2業(yè)績會，美光管理層對HBM3E前景樂觀，重申24年HBM3E產(chǎn)能已售罄，并正在接受除英偉達之外客戶驗證。公司目標FY24HBM3E的營收為數(shù)億美元，而DRAM和整體毛利率將于FY24Q3開始改善。相較23年約3-10%的市場份額，公司預計25年HBM的市占率將與其在DRAM的市占率平齊（約20%），將帶來較高的增長空間。我們認為通過供應英偉達H200，美光HBM3E現(xiàn)已具有初步客戶基礎，若能按照計劃在FY24-25實現(xiàn)HBM3E擴產(chǎn)和產(chǎn)品驗證，進一步滿足下游客戶需求，將顯著受惠于高速增長的HBM市場，并憑借HBM產(chǎn)品更高的ASP帶來利潤率的優(yōu)化。2）傳統(tǒng)DRAM供應商庫存已降低，以DDR5為代表的AI相關內存需求則受惠于AI手機、AIPC和AI服務器滲透率提升帶來的商機：根據(jù)Digitimes24年3月12日報道并結合美光FY24Q2業(yè)績會信息，DDR5供應較為吃緊，DDR5在24年初仍處于供不應求，24Q1約有3%的供給缺口，伴隨存儲廠商陸續(xù)恢復增產(chǎn)，預期24Q2起缺口收斂至1%，24H2產(chǎn)能將持續(xù)開出，伴隨DDR5在服務器和終端側滲透率快速提升，下游需求可望消化新增產(chǎn)能，從而維持DDR5ASP漲勢。相較而言，DDR4和DDR3等傳統(tǒng)DDR方面，DDR4是23年上游原廠減產(chǎn)的重點，23Q3DDR4仍處于虧損出貨狀態(tài)，盡管下游庫存水平逐漸恢復健康，短期內成熟制程產(chǎn)品（如中低端服務器和消費電子產(chǎn)品）需求增長并不強勁，故美光等主要供應商仍不傾向恢復產(chǎn)能，疊加HBM和DDR5需求增長產(chǎn)生DRAM產(chǎn)能排擠，整體將對DDR4和DDR3等傳統(tǒng)DRAM保持積極的產(chǎn)能控制。24Q2，短期內受4月3日中國臺灣強震對供應鏈影響，DRAMASP或見較大漲幅，根據(jù)Digitimes24年4月15日至17日系列報道，該次地震對美光廠房和基礎設施未造成永久影響，單季DRAM供應影響約為4%-6%，鑒于DRAM廠商原先已有24Q2DRAMASP調升10-15%規(guī)劃，疊加地震影響，24Q2美光DRAM合約價將調漲25%，整體主流DRAM合約價調漲約20%。分應用場景來看來看，PC方面，23年PC庫存已基本出清，順應新CPU機種逐漸轉往DDR5的趨勢，下游DDR5采購量或將繼續(xù)上升。疊加微軟將于25年10月14日開始停止支持Windows10所帶動，以及AIPC的崛起，PCDRAM市場有望進一步迎來復蘇。根據(jù)IDC24年2月7日預測，AIPC24年出貨量約為50萬臺，2027年則有望突破1670萬臺，3年CAGR約為222%。整體而言，PC24Q1出貨量已基本恢復至19Q1水平，24H1PC市況已經(jīng)逐步好轉，雖然需求大規(guī)模增長尚未出現(xiàn)，但24H2PC市場可望迎來進一步復蘇。AI服務器方面，我們認為，硬件設備的規(guī)模和性能是AI大模型時代的必然要求，CPU+加速器異構帶動DDR5和HBM需求高速增長。鑒于目前生成式AI主要以大參數(shù)模型路徑實行，隨著模型數(shù)量和所需處理的數(shù)據(jù)量增長，其訓練與推理均需大量的計算能力與存儲資源。展望24年，AI基礎設施將是重點投入領域，頭部云廠商和互聯(lián)網(wǎng)巨頭加大AI領域資本開支，將進一步支撐AI服務器行情。IDC23年12月發(fā)布數(shù)據(jù)顯示，23年全球AI服務器市場規(guī)模達211億美元，預計2025年達317.9億美元，2023-2025年CAGR22.7%。同時，AI服務器自身需要處理一系列密切相關但要求各異的任務，包括數(shù)據(jù)預處理、模型訓練、推理和后處理等，因此需要CPU+加速器異構以靈活面對使用場景。AI服務器搭載的CPU負責系統(tǒng)啟動和維護以及系統(tǒng)各組件統(tǒng)籌協(xié)作等邏輯，在AI訓練和推理中亦涉及數(shù)據(jù)預處理等通用計算場景。例如，AI訓練和推理的原始數(shù)據(jù)往往參差不齊，需要通過數(shù)據(jù)清洗、轉換、特征工程等一系列流程，最終才能為系統(tǒng)所用，而這些任務涉及大量邏輯運算和內存操作，對處理速度和時延要求較高，因此通常由CPU承擔，需要更大帶寬、更大容量的內存作為支撐，帶動DDR4向DDR5迭代；而如前文所述，HBM在AI訓練和推理中同樣扮演重要角色，AI服務器的加速器搭配HBM已成標配，邏輯芯片頻繁讀取片外HBM進行內存調度。根據(jù)美光FY24Q2業(yè)績會，一臺AI服務器的DRAM容量是通用服務器的6-8倍，因此快速增長的AI服務器需求將帶動DRAM需求的高速增長。通用服務器方面，24年或迎來換機潮，產(chǎn)品組合將向DDR5傾斜。根據(jù)Digitimes24年2月1日報道，業(yè)界預期24上半年服務器需求“淡季不淡”，北美云廠商除了持續(xù)采購AI服務器，也開始對通用型服務器進行新一輪采購，加速英特爾EagleStream和AMDGeona等新平臺導入，其中以谷歌和微軟采購力度較大。根據(jù)24年2月YoleIntelligence預測，未來五年內，DDR4份額將進一步被DDR5取代。到2027年，DDR5將占DRAM總出貨量的80%以上。AI手機方面，GalaxyS24帶動AI手機熱潮方興未艾，端側AI功能強化對LPDDR5需求。美光FY24Q2業(yè)績會透露AI手機相較傳統(tǒng)非AI旗艦機型多出50%-100%的DRAM需求，而鑒于手機功耗限制，因此帶動LPDDR5X需求，預測24年手機出貨量同比增長3-5%。根據(jù)Digitimes23年3月援引IDC預測，2024年全球AI手機出貨量或增至1.7億臺，占手機市場出貨比重達15%。面向DDR5商機，美光于CES2024上展示基于LPDDR5X的LPCAMM2內存模組，相較DDR5DIMM在帶寬和能效表現(xiàn)上更具優(yōu)勢，能更有效解決AIPC和AI手機的內存問題。該款LPCAMM2已獲Intel、聯(lián)想和仁寶等業(yè)界支持，預計24上半年投產(chǎn)。我們預計公司的1-β16GBDDR5、LPDDR5X和LPCAMM2作為面向端側AI的內存方案將顯著受益。NAND業(yè)務：我們預計NAND業(yè)務FY24/25/26營收為69/122/125億美元，對應營收同比為64.2%/77.1%/2.4%。1）伴隨下游客戶庫存水平正?；?，美光對FY24NAND和SSD趨勢較樂觀。根據(jù)BloombergIntelligence22-24年數(shù)據(jù)統(tǒng)計，NANDASP下降12個月后于23Q2觸底，于23Q3開始回升。而根據(jù)TrendForce2024年3月報道，供應商正在推動提高NANDFlash的合同價格，24Q1漲幅約為23-28%，Q2NANDFlash采購量將較Q1小幅下滑，但整體市場氛圍持續(xù)受供應商庫存降低，以及減產(chǎn)效應影響，預估24Q2NANDFlash合約價將上漲約13~18%。需求方面，根據(jù)公司FY24Q2業(yè)績會，預期未來數(shù)年NAND需求CAGR約為21%-23%，而公司計劃FY24NAND供給策略維持保守，著力于進一步優(yōu)化庫存，縮短周轉天數(shù)，預計NAND需求增長將顯著高于供給。2）232層NAND布局數(shù)據(jù)中心SSD、AIPC和大容量智能手機：公司基于232層TLCNANDFlash，分別于2023年5月、10月和12月推出6500IONNVMeSSD、7500NVMeSSD和3500NVMeSSD。其中，6500SSD提供30TB容量，打破QLC和TLC界限，以QLC的價格實現(xiàn)TLC的性能，F(xiàn)Y24Q2美光業(yè)績會透露該款SSD營收環(huán)比增長逾50%，而7500SSD和3500SSD分別是面向數(shù)據(jù)中心和用戶端的另兩款解決方案。Digitimes24年4月26日報道提及，高層QLCNAND在PC中滲透率不斷提高，AIPC搭載LLM和圖片/影片生成模型，將耗費大量存儲容量，同時，由于用戶不會立即刪除生成的大量圖片和視頻，帶來AIPC所需存儲空間顯著提升，同時出于降低存儲成本考量，QLCNAND導入PC成為趨勢。24年4月公司宣布率先量產(chǎn)232層QLCNAND，并推出面向用戶端的2500NVMeSSD，現(xiàn)已向PCOEM送樣。同時，根據(jù)Digitimes24年1月報道，業(yè)界預期24年QLCNAND將導入大容量存儲的手機新品，隨著影像存儲需求增加及QLCNAND更低的單位存儲成本，iPhone及部分國產(chǎn)手機品牌（如Oppo）已進入大容量1TB機種采用QLCNAND的產(chǎn)品驗證階段。我們預計24-25年AI手機“DRAM+NAND”配合升級趨勢和大容量機種陸續(xù)上架，有望帶動美光NANDUFS3.1（176層NAND）/UFS4.0（232層NAND）需求增長。美光FY24Q2營收和利潤均超預期，凈利潤實現(xiàn)連續(xù)5個季度虧損后首度扭虧。美光FY24Q2營收5824百萬美元，同比+58%，環(huán)比+23%，超彭博一致預期的5354百萬美元；Non-GAAP凈利潤476百萬美元，超彭博一致預期的-266百萬美元；Non-GAAPEPS0.42美元，超彭博一致預期的-0.24美元。受益于ASP恢復和高階產(chǎn)品銷量提升，美光經(jīng)調整毛利率為20%，超彭博一致預期的13.6%，環(huán)比+19.2pct；經(jīng)調整凈利率為3.5%，實現(xiàn)扭虧，超彭博一致預期的-5.7%,環(huán)比+30.3pct。公司指引FY24Q3營收中位66億美元，超彭博一致預期的60億美元，毛利率/凈利率為26.5%/15.0%，超彭博一致預期的20.9%/4.6%，主要系HBM和DDR5營收貢獻將帶來利潤率持續(xù)優(yōu)化。公司預計24年DRAM需求增速約為15-17%，NAND約為21-23%。FY24Q2美光DRAM營收為4158百萬美元，同比+53%，環(huán)比+21%，出貨量環(huán)比低個位數(shù)上升，ASP環(huán)比上升17-19%；NAND營收為1567百萬美元，同比+77%，環(huán)比+27%。公司預計24年DRAM需求增長率將為15-17%，NAND將為21-23%。HBM：AI芯片性能催生內存需求，后起之秀美光該如何布局？我們認為，在AI芯片需求強勁的背景下，伴隨著英偉達和AMD積極的AIGPU迭代藍圖，以及頭部云以及互聯(lián)網(wǎng)廠商考慮削減TCO、提升研發(fā)可控性及集成自身生態(tài)圈而積極推進自研芯片（ASIC為主），HBM的容量、效能和功耗要求將不斷提升，HBM的需求量將受AI芯片的需求增長拉動。我們預測，HBM產(chǎn)品在24-25年將出現(xiàn)需求缺口，疊加HBM的復雜工藝需求（TSV硅穿孔、鍵合堆疊和后續(xù)以CoWoS封裝與AI芯片搭載一起），將帶來相對傳統(tǒng)DRAM更高的ASP。伴隨HBM產(chǎn)品在美光DRAM中營收占比提升，我們預計公司營收和利潤率將得到優(yōu)化。AI芯片存算發(fā)展不同步，內存瓶頸催生HBM需求在AI訓練場景中，加速器（如GPU）多數(shù)利用片外內存，需要頻繁讀取片外DRAM進行內存調度。一方面，訓練數(shù)據(jù)（如圖像、文本和視頻）需從SSD等外部儲存器經(jīng)由CPU初步處理，分批次（batch）加載進內存，等待加速器調用。相較于加速器直接從外部存儲器調用數(shù)據(jù)，HBM等內存“中轉站”縮短了數(shù)據(jù)傳輸?shù)奈锢砭嚯x，同時利用其支持更高速數(shù)據(jù)傳輸?shù)男再|，提升AI訓練效率；另一方面，訓練過程中的模型參數(shù)、正向傳播的中間狀態(tài)（activation）、優(yōu)化器狀態(tài)以及反向傳播的梯度（gradient）也需存入內存，方便加速器在計算和優(yōu)化過程中快速訪問和讀寫。根據(jù)AmirGholami21年3月發(fā)表的《AIandMemoryWall》，相較模型參數(shù)，模型訓練的中間狀態(tài)等需要3-4倍的內存空間，其中正向傳播的中間狀態(tài)為反向傳播計算梯度所必須。AI模型訓練可視作數(shù)據(jù)的抽象和壓縮，數(shù)據(jù)量的增大需要提升模型的復雜度（如參數(shù)量）來“消化”訓練集中包含的信息。鑒于內存在AI訓練中的作用，大型AI模型訓練基于龐大的數(shù)據(jù)量，其自身復雜的網(wǎng)絡結構亦包含數(shù)十億個參數(shù)，對內存容量和帶寬提出挑戰(zhàn)：1）如果內存不足，加速器調用數(shù)據(jù)就需要頻繁訪問傳輸速率較慢的大容量存儲器（如SSD），帶來算力浪費和延遲；2）除訓練數(shù)據(jù)外，模型訓練的中間狀態(tài)等信息同樣需要存入內存，因此內存不足將限制模型的復雜度上限，從而影響模型性能和迭代；3）“中轉站”定位對其與外部存儲器和加速器之間的數(shù)據(jù)傳輸速率提出要求，HBM作為內存提供更高的帶寬，提升存算間通信效率，實現(xiàn)單次更大批量（batchsize）的數(shù)據(jù)傳輸，從而降低延遲，并提升算力利用率和訓練效率。計算能力與帶寬能力之間的差距致使內存容量和帶寬難以跟上AI硬件的計算速度，成為限制AI芯片性能發(fā)揮的主要瓶頸，即“內存墻”（MemoryWall）。盡管內存容量和帶寬在AI訓練中地位重要，但AI芯片“存”和“算”的性能提升并不同步。根據(jù)AmirGholami發(fā)表的《AIandMemoryWall》，2018-2021年，Transformer模型（LLM背后的算法）大小每兩年增長410倍，而同時間AI加速卡內存容量每兩年僅增長2倍。同時，主流加速卡的算力增長和內存方案/傳輸協(xié)議的帶寬增長也并不同步。1996-2023近20年間，AI芯片峰值算力提升約60000倍（平均每兩年提升3倍），而同時期DRAM內存帶寬提升為100倍（平均每兩年提升1.6倍），芯片/設備間數(shù)據(jù)傳輸協(xié)議（如PCIe和NVLink）帶寬提升僅30倍（平均每兩年提升1.4倍）。因此，高存儲密度和高帶寬的特性讓HBM成為了AI訓練場景下內存容量和帶寬瓶頸的解決方案，作為AI芯片的核心組件之一得到廣泛應用。而除去訓練，內存容量和帶寬對AI推理同樣重要，對響應時間的需求、圖像生成和視頻生成提高了推理計算需求的標準：1）容量上，訓練之后的AI模型本質上是優(yōu)化之后的參數(shù)，根據(jù)TheNextPlatform24年2月新聞，一個參數(shù)量1750億的GPT-3推理時需要175GB的內存容納模型參數(shù)。加速器搭配大容量HBM方案便于模型整體置入內存，方便加速器推理時調用，減少設備間數(shù)據(jù)搬運時間，提升AI推理效率；2）帶寬上，HBM的高帶寬支持單次更大批量數(shù)據(jù)傳輸，降低推理延遲，同時亦可以滿足推理場景下更多的高并發(fā)請求（如META的智能推薦系統(tǒng)）。根據(jù)三星24年2月新聞，其12層HBM3E相比上一代8層HBM3，在推理場景下支持并發(fā)用戶數(shù)提升11.5倍。內存迭代提升AI芯片性能，HBM相較傳統(tǒng)顯存實現(xiàn)容量和帶寬倍增在算力接近的情形下，AI芯片可以通過擴容內存和帶寬提升模型訓練和推理性能，而內存迭代對AI芯片性能的提升可以英偉達H200為例。23年11月全球超算大會（SC23）上，英偉達推出的H200搭載6顆HBM3E，內存達141GB，帶寬4.8TB/S。作為H100（搭載6顆HBM3，內存達80GB）的升級款，H200依然采用Hopper架構和臺積電4納米工藝。兩者的算力指標基本相同，但在GPU核心數(shù)和頻率保持不變的情況下，僅通過內存從HBM3向HBM3E的迭代，就能實現(xiàn)在Llama2和GPT-3等大語言模型推理性能40%-90%的提升。對比美光GDDR6X和HBM3E，同樣24GB內存容量，前者搭載于英偉達GeForceRTX3080Ti/3090Ti顯卡，顯存位寬384位，提供76-96GB/s的帶寬，后者則面向AI訓練場景，顯存位寬1024位，提供1.2TB/s的帶寬，為GDDR6X的13-16倍。面向ASIC新藍海，HBM同樣蓄勢待發(fā)我們在2024年2月14日的《競爭格局千變萬化，英偉達欲切入專用芯片設計市場》的報告中提出，AI芯片市場競爭日趨白熱化，除卻GPU等通用型芯片，ASIC專用芯片通過更低的ASP、在特定場景提供更高效和更低功耗、以及更靈活的設計周期，將是通用型GPU的互補或替代。伴隨AI模型多元化和算法日趨成熟，ASIC作為“算法的物理呈現(xiàn)”，也將適配各大廠商的差異化模型需求，承接部分算力。頭部云及互聯(lián)網(wǎng)廠商考慮到削減TCP、提升研發(fā)可控性及集成自身生態(tài)圈等，均在推進自研芯片，而根據(jù)路透社與彭博24年2月報道，英偉達也正在建立一個專注于為云計算、AI等領域設計ASIC專用芯片的新業(yè)務部門。相較以算力作為核心護城河的GPU，ASIC專用芯片并不以算力見長，但隨著芯片設計的進化，ASIC能通過增加HBM內存等有效提升性能并降低延時，從而彌補“算力差距”。根據(jù)谷歌23年12月發(fā)布的TPUv5p參數(shù)及英偉達H100參數(shù)，盡管對比INT8算力，TPUv5p僅為H100SXM的23%（918TOPSvs.3958TOPS），但特定場景下（如GPT-3175B訓練）二者已可基本對標。其中，H100SXM搭載80GBHBM3，帶寬3.35TB/s；谷歌TPUv5p搭載95GBHBM2e，帶寬2765GB/s。另外，算法的進步也可有效降低對芯片算力需求，例如特斯拉FSD已采用FP8，而不需采用傳統(tǒng)的FP16。HBM核心工藝：TSV和鍵合堆疊HBM在工藝上是由高性能DRAM通過3D堆疊鍵合而成，其通過TSV（ThroughSiliconVia，硅通孔）技術垂直連接多片DRAM，從而獲得多個單片的大容量。TSV和鍵合堆疊（bonding）是HBM的兩大核心工藝，工藝精進是HBM的迭代的基礎：1）TSV工藝：HBM1到HBM3E的迭代實現(xiàn)了帶寬從128GB/s到1.2TB/s近10倍增長，而帶寬和數(shù)據(jù)傳輸速率的提升需要單位面積上更多的TSV穿孔，對縮小TSV穿孔間距和穿孔直徑提出更高要求；2）散熱：HBM迭代逐步提升堆疊層數(shù)和集成度的同時，也意味著單位面積內熱量的增加。另外，芯片在垂直方向上的堆疊阻礙熱量疏散，帶來堆疊層數(shù)的散熱瓶頸，而芯片堆疊鍵合的材料/鍵合方式的導熱效率是散熱關鍵；3）層數(shù)與高度：將堆疊層數(shù)擴展到12層以上，同時仍保持相同的總物理堆疊高度，需要降低單片DRAM的厚度，并盡量縮小DRAM間距，而堆疊鍵合過程中的施壓易造成芯片翹曲，影響成品良率。CoWoS成HBM搭載關鍵，英特爾EMIB能否接力？HBM透過CoWoS2.5D封裝將自身的DRAM堆棧（Stack）與GPU等邏輯芯片集成在中介層（Interposer）上，增加內存和計算芯片間的鏈路數(shù)量，縮短內存與邏輯芯片傳輸?shù)奈锢砭嚯x，并借助硅中介板的高速I/O接口形成“近存計算”架構，從而增加訪存帶寬、減少數(shù)據(jù)搬移次數(shù)，以提升整體計算效率，節(jié)約頻繁數(shù)據(jù)搬運帶來的無用能耗。因此，相較于傳統(tǒng)DRAM（例如GDDRGraphicsDoubleDataRate），HBM擁有更高的內存密度和I/O數(shù)量（1024位的顯存位寬），更加適應AI大模型訓練場景。第一代HBM由AMD與海力士合作研發(fā)，已經(jīng)采用硅中介層集成內存和邏輯芯片，但局限于成本問題，早期HBM并未得到廣泛應用。根據(jù)AMDHBM1的訪談、相關演示材料和Chang-ChiLee于2016年在IEEE上發(fā)表的論文《AnOverviewoftheDevelopmentofaGPUwithIntegratedHBMonSiliconInterposer》，2014-2015年發(fā)布并量產(chǎn)的HBM1研發(fā)耗時8年，盡管彼時臺積電CoWoS工藝尚未成熟，但AMD就已意識到需要通過硅中介層使得存儲和邏輯芯片物理靠近（集成），以提升帶寬和每瓦性能，HBM1的中介層由AMD和日月光、Amkor和UMC合作研發(fā)。AMD并未披露HBM1的單片成本，但根據(jù)ANANDTech2018年12月報道，8GBHBM2成本約150美元，硅中介層成本25美元，一張搭載HBM2的AMDRXVega56零售價僅400美元，在未考慮先進封裝成本下，HBM2成本已占近50%，同時，HBM2成本對比同時期8GBGDDR5售價貴出約3倍，在AI大模型訓練需求尚未迅速增長的背景下，早期HBM并未獲得廣泛采用。HBM2由英偉達、三星和臺積電合作研發(fā)，臺積電CoWoS成為HBM2與邏輯芯片集成的封裝方案。Semianalysis在23年7月的分析指出，鑒于光刻設備的限制，一般芯片最大尺寸為858平方毫米（26mmx33mm）,而搭載HBM的GPU一般采用HBM內存環(huán)繞邏輯芯片的設計，所需硅中介層面積超過該上限，而臺積電通過其十字線縫合技術使得硅中介面積可突破該限制，從而適應大尺寸設計需要。根據(jù)臺積電ShangY.Hou2017年發(fā)布的論文《Wafer-LevelIntegrationofanAdvancedLogic-MemorySystemThroughtheSecond-GenerationCoWoSTechnology》，HBM2相較HBM1在尺寸上從40平方毫米增長到92平方毫米，適逢臺積電迭代第二代CoWoS，將硅中介層尺寸從1代的800平方毫米拓展到2代的1200平方毫米，同時1代CoWoS僅支持同質芯片間互連，而2代開始實現(xiàn)異質芯片互聯(lián)（Memory-Logic），疊加測試中臺積電CoWoS封裝芯片對比其他封裝方案更出色的性能表現(xiàn)，因此臺積電CoWoS成為HBM2的封裝方案。時至今日，臺積電CoWoS仍然是HBM與邏輯芯片封裝首選。根據(jù)Semianalysis23年7月發(fā)布的《AICapacityConstraints-CoWoSandHBMSupplyChain》一文，HBM1至HBM3E均采用1024-bit位寬，帶來相較傳統(tǒng)DRAM更高的I/O焊盤數(shù)（padcount），同時HBM與邏輯芯片集成要求更短的走線長度（tracelength），高密度短連接在傳統(tǒng)印制電路板（PCBPrintedcircuitboard）或封裝基板（PKGPackageSubstrate）難以實現(xiàn)，從而催生2.5D封裝需求，而臺積電CoWoS利用硅中介以合理的成本提供應對方案，因此成為主流。值得一提的是，HBM與邏輯芯片垂直堆疊的3D封裝（如SoIC），鑒于散熱和成本問題尚未被采納，但海力士和三星據(jù)Tom’sHardware在23年11月援引韓媒中央日報報導，正在與包括英偉達在內討論HBM4集成設計方案，擬將HBM4與邏輯芯片堆疊在一起，實現(xiàn)在單芯片上存儲器與邏輯芯片的垂直整合。除去臺積電CoWoS，英特爾EMIB在技術上也能實現(xiàn)HBM與邏輯芯片的封裝，但短期內難以替代。EMIB對標臺積電CoWoS-L，與臺積電CoWoS-S（即一般所說的臺積電CoWoS）2.5D封裝采用的硅中介層結構不同，英特爾直接將小型硅橋嵌入基板中實現(xiàn)芯片之間的互聯(lián)，在互聯(lián)效率相似的基礎上不需要花較高成本來制造足夠大的硅中介層，因此技術上也能滿足HBM內存與邏輯芯片的封裝需要。我們認為相比2.5DCoWoS封裝，EMIB有如下提升良率和降低成本的優(yōu)勢：1）采用硅橋而不是整片硅中介層；2）無需使用硅通孔技術（TSV）；3）設計簡單，靈活度高，芯片封裝不會受制于硅中介層的大小。根據(jù)Tom’sHardware在24年1月援引臺灣經(jīng)濟日報報道，鑒于臺積電CoWoS封裝產(chǎn)能吃緊，英偉達新增英特爾提供封裝服務，月產(chǎn)能約5000片，不過英特爾并未涉及英偉達的晶圓代工訂單。但EMIB替代臺積電CoWoS-S仍有部分問題需時驗證：1）硅橋雖可解決互聯(lián)帶寬問題，但不采用硅基板的RDL中介，載板翹曲和熱穩(wěn)定性需驗證；2）鑒于凸塊間距，EMIB封裝的性能和臺積電CoWoS有所不同，亦需封裝廠和芯片設計方驗證。根據(jù)臺灣力成23年10月業(yè)績會說法，尋找臺積電CoWoS替代方案或需一年時間去驗證，短期內難有替代。HBM本質上仍是DRAM產(chǎn)品，各廠商設計、流片和封測均自行完成，出貨后將HBM成品交由AI芯片封裝廠與邏輯芯片整合，因此DRAM工藝制程將直接影響HBM芯片性能。對于存儲芯片，制程工藝的迭代是縮減晶體管尺寸，帶來單位面積上實現(xiàn)更小、更緊密的晶體管布局，提升內存密度，實現(xiàn)更高性能的同時達到更好的功耗表現(xiàn)。根據(jù)美光DRAM副總裁ThyTran于2021年4月的采訪，DRAM在2015年基本進入20nm以下節(jié)點之后，制程上的微縮相對放緩，頭部廠商在10nm+節(jié)點上拓展多代工藝節(jié)點（如1x、1y、1z和1α等），而使用字母代替確切數(shù)字的動因在于，內存行業(yè)確切數(shù)字與芯片性能并非線性相關，因此用新字母代表新制程，表示性能有了較大提升。以美光為例，公司于2020年公布1-α制程節(jié)點（第四代10nm級），并于2021年開始量產(chǎn)，之后于2022年率先推出1-β制程（第五代10nm級），相較1-α，該節(jié)點可實現(xiàn)約15%的能效提升和35%以上的內存密度提升。2023年三星電子及SK海力士也于其后跟進1-β節(jié)點。美光和海力士HBM3E均采用1-β制程，領先于三星的1-α制程，而根據(jù)公司FY24Q2業(yè)績會，美光HBM3E相較于同代競品實現(xiàn)約10%的性能提升，降低約30%的功耗，我們認為DRAM制程上的領先功不可沒。HBM3/3E擴產(chǎn)加速，但供需缺口短期或難以緩解市場對HBM3/3E反響積極，伴隨AI芯片迅速迭代，所需HBM搭載量和技術要求隨之提高，在供需失衡下三大廠商紛紛擴產(chǎn)。據(jù)Tom’sHardware在23年12月報道，英偉達向海力士和美光提前支付數(shù)億美元以鎖定HBM產(chǎn)能，印證了HBM產(chǎn)能的迫切需求和對AI芯片的重要。英偉達在GTC2024上發(fā)布了新一代架構Blackwell及B200GPU，通過搭載8顆HBM3E實現(xiàn)192GB內存容量和8TB/s帶寬，對比上一代H200（6顆HBM3E，內存容量141GB，帶寬4.8TB/s）在內存/帶寬上提升36.2%/66.67%。亞馬遜AWS已計劃采購2萬片GB200芯片，以部署高達27萬億參數(shù)的模型。根據(jù)Digitimes24年3月的報道，Meta計劃在24年底前儲備約35萬顆H100，加上其采用的其他AI芯片，將擁有相當于60萬顆H100。Meta在3月19日指出，目前Meta正在以2個GPU叢集訓練其第三代Llama模型，據(jù)稱每個叢集包含約2.4萬個H100GPU，公司計劃導入Blackwell訓練Llama的未來版本。根據(jù)美光FY24Q2業(yè)績會，公司預期24年5月HBM3E出現(xiàn)初步營收貢獻，8月營收將進一步提升，F(xiàn)Y24Q3開始對公司的DRAM業(yè)務和整體毛利率作出改善，并預計在FY24整年，HBM3E將貢獻約數(shù)億美元營收。管理層對HBM3E前景樂觀，并宣布24年產(chǎn)能已售罄，25年產(chǎn)能也幾近售罄。公司預計FY24CAPEX在75-80億美元，略高于FY23水平，主要用于支持HBM3E量產(chǎn)和擴產(chǎn)。管理層雖未透露除CAPEX之外更多的HBM擴產(chǎn)信息，但預期25年HBM市占率將與公司在DRAM市占率平齊，約為20%。根據(jù)Digitimes24年3月12日和4月15日報道，美光將逐季提高稼動率，增產(chǎn)重點將以HBM等高端DRAM為主，并與韓美半導體（HanmiSemiconductor）簽訂HBMTC鍵合設備DualTCBonderTiger的供應合約，訂單規(guī)模225.9億韓元（約1653億美元），合約期限為2024年4月10日至7月8日。我們也注意到HBM另兩大廠商海力士和三星亦在HBM擴產(chǎn)上有所動作。繼23年“獨供”英偉達H100HBM3之后，海力士積極推動產(chǎn)能向HBM3E迭代。公司預計將于利川工廠生產(chǎn)HBM3E，清州M15工廠閑置空間新增HBM產(chǎn)線，預期于24H1量產(chǎn)HBM3，同時清州正在興建的M15X廠房也將作為HBM生產(chǎn)基地，產(chǎn)能預期于25H1開出。根據(jù)先前海力士23Q3業(yè)績電話會，24年公司的HBM3和HBM3E產(chǎn)能已全部售出，正與客戶、合作伙伴討論25年HBM供應。根據(jù)Digitimes24年4月15日、3月11日和2月7日報道，23年以來海力士已從韓美半導體訂購逾2000億韓元的TC鍵合設備，包括DualTCBonderGriffin及DualTCBonder1.0Dragon，而同時24年海力士將于HBM投資超10億美元，其中大多新投資將用于改善封裝制程，包括MR-MUF鍵合工藝和TSV技術，從而提升其HBM產(chǎn)品散熱能力和生產(chǎn)效率。考量新設備安裝后擴大量產(chǎn)仍需時間，海力士計劃24年底實現(xiàn)將HBM產(chǎn)能增加2倍，從23年每月4.5萬片晶圓提升至24年底每月12-12.5萬片晶圓。根據(jù)Digitimes24年1月和Trendforce24年3月報道，24年三星決定將HBM產(chǎn)能投資增加近3倍，從23年每月4.5萬片晶圓提升至24年底每月13萬片晶圓，25年也將進行類似規(guī)模的投資。根據(jù)Digitimes23年12月匯總信息，23H2以來三星在設備采購和產(chǎn)線增加上動作積極：1）Theelec12月5日報道，三星以5億韓元單價從Shinkawa訂購16臺鍵合設備，其中7臺已交付，推測該批設備將服務于英偉達GPU相關的HBM和封裝業(yè)務；2）韓媒ZDNetKorea12月1日報道，韓國設備供應商YEST收到三星123億韓元HBM加壓設備訂單，發(fā)往三星天安生產(chǎn)線；3）三星于CES2024宣布計劃在2024年將HBM年產(chǎn)能擴大2.5倍以上，并隨后投資105億韓元從子公司三星顯示（SDC）處收購天安工廠的建筑和設施。根據(jù)韓國經(jīng)濟日報24年3月28日報道，三星管理層在Memcon2024宣布上調24年HBM產(chǎn)能預期至23年的2.9倍。HBM供需測算：24-25年需求高速增長，供給缺口短期難以緩解綜合Trendforce、Semianalysis和Digitimes等多方信息，我們對2024年HBM產(chǎn)能和需求做出預測，我們預計24/25年HBM需求動態(tài)缺口約為產(chǎn)能的5.4%/4%。供給側關鍵假設：1)產(chǎn)能假設：以HBM與TSV產(chǎn)線晶圓投入量為計，我們預期截至2024年底海力士、三星和美光將分別投入12-12.5萬片/月、13萬片/月和2萬片/月。考慮后道設備交付時間較長，以及新設備安裝后擴大量產(chǎn)仍需時間，我們預測24年三星、海力士和美光HBM產(chǎn)線平均月度晶圓投入量將達8.5萬片/月、8.5萬片/月和1.2萬片/月。鑒于海力士和美光25年HBM產(chǎn)能亦出現(xiàn)售罄跡象，結合前文三星25年HBM擴產(chǎn)投資計劃，我們認為25年三大廠商擴產(chǎn)仍將持續(xù)，預測25年三星、海力士和美光HBM產(chǎn)線平均月度晶圓投入量將達11.5萬片/月、12.5萬片/月和4.0萬片/月。2)切割良率假設：根據(jù)美光官方公布HBM3E產(chǎn)品細節(jié)，HBM3E單片DRAM尺寸約為為121平方毫米（11mmx11mm），因此單片12英寸晶圓理論可切割HBM3/3EDRAM491顆。同時，引用韓國經(jīng)濟日報21年7月報道，我們估計DRAM切割良率約為90%，故單晶圓可切割DRAM442顆。此外，根據(jù)Digitimes24年3月報道，鑒于TSV穿孔和鍵合過程易帶來芯片翹曲，海力士HBM3/TSV+鍵合工藝良率僅60%-70%，較一般DRAM低20-30pct，而海力士采用的AdvancedMR-MUF鍵合已較三星和美光采用的TC-NCF鍵合在良率上有所優(yōu)勢，因此美光和三星HBM鍵合良率可能更低。同時，臺媒科技新報24年3月報道指出，供應商試圖拉高良率會帶來產(chǎn)量下降，鑒于HBM產(chǎn)能吃緊，因此確保產(chǎn)量優(yōu)先級更高。結合上述信息，我們認為美光和三星HBM3量產(chǎn)后，伴隨產(chǎn)能爬坡，工藝良率將有所提升并趨于穩(wěn)定，但使用TC-NCF鍵合所以良率仍將低于海力士，預測24年海力士/三星/美光整體HBM良率60%/40%/45%，25年小有爬升，將是60%/42%/47%。3)單個DRAM容量假設：伴隨HBM3/3E產(chǎn)能不斷開出，HBM產(chǎn)品組合將向HBM3/3E傾斜，根據(jù)YoleIntelligence24年2月報告，23年HBM3產(chǎn)量占總產(chǎn)能的33%，24年HBM3/3E產(chǎn)量占比將躍升至81%（HBM3：62%，HBM3E：19%），25年將進一步提升至89%。我們認為，海力士作為英偉達HBM3/3E主供，產(chǎn)能向HBM3/3E傾斜將更為激進；與之相比，三星憑借其“一站式策略”承接更多云廠商自研芯片的HBM需求，因此HBM2/2E仍占部分產(chǎn)能；美光計劃通過HBM3E追趕市場份額，在產(chǎn)能本不富裕的情形下，擴產(chǎn)HBM3E并順利交付將是首要發(fā)力點。因此，我們預測，24年海力士/三星/美光HBM的單片DRAM容量為2.2/2.1/3.0GB，25年伴隨芯片迭代及HBM3E產(chǎn)能開出，其占比將持續(xù)擴大，帶動HBM的單片DRAM容量提升至2.6/2.4/3.0GB。需求側關鍵假設：1)CoWoS產(chǎn)能假設：結合臺積電23年底CoWoS月產(chǎn)能為1.9萬片，考慮產(chǎn)能爬坡時間，我們預測24年臺積電動態(tài)CoWoS產(chǎn)能為2.8萬片/月，與外溢部分合計3.3萬片/月，24年CoWoS總產(chǎn)能約39.6萬片；25年除去臺積電CoWoS產(chǎn)能擴張，英特爾EMIB、Amkor和ASE等外溢產(chǎn)能同樣有望進一步開出，預測25年CoWoS月產(chǎn)能5.2萬片，總產(chǎn)能62萬片。2)各廠商AI芯片單晶圓切出量、單卡HBM堆棧數(shù)量以及單HBM堆棧容量：我們基于各AI芯片尺寸計算每片切出芯片數(shù)目，并根據(jù)HBM參數(shù)，結合各廠商取得的CoWoS產(chǎn)能，以芯片出貨量為權重計算三項參數(shù)的加權平均。產(chǎn)能分布上，我們認為24-25年HBM需求仍以英偉達AIGPU為主體，英偉達24-25年仍將每年取得逾40%產(chǎn)能，同時關注到AMDMI300、谷歌TPUv5、AWSTrainium/Inferentia以及英特爾Gaudi2/3帶來的需求增量；單晶圓切出量上，伴隨設計尺寸增大，以及Blackwell對比Hopper產(chǎn)能占比提升，25年每片切出的AI芯片將隨之下降；結合前文，雖然每片切出數(shù)目減少，但單卡HBM堆棧數(shù)目增多、層數(shù)增高和容量增大將是大勢所趨。因此，我們預測24/25年單晶圓平均切出AI芯片39/38顆、單卡平均HBM堆棧數(shù)量5.3/5.9顆，以及單HBM堆棧平均容量14.0/14.7GB?；谝陨霞僭O，我們預測24/25年HBM總供給1067.3/1933.1mnGB，同比+123.3%/81.1%，其中24年海力士、三星和美光分別占總供給的57%、36%和8%，伴隨美光25年HBM產(chǎn)能開出，海力士、三星和美光HBM供給量將分別占總供給的50%、35%和15%。同時，我們預測24/25年HBM總需求1128.6/2014.3mnGB，由此測算得24/25年HBM供給缺口約為產(chǎn)能的5.4%/4%。鑒于三大廠商均提及與下游討論25年HBM供應，我們認為24年HBM擴產(chǎn)后，25年缺口雖收窄但仍將維持輕微的供給不足，從而使得HBMASP維持穩(wěn)定。以ASP11美元/GB測算，對應市場空間124.1/221.6億美元，同比+125.6%/78.6%。從AI服務器需求看HBM，高速增長帶來內存新增長點AI服務器的興起拉動HBM市場需求持續(xù)增長。根據(jù)TrendForce23年4月報道，現(xiàn)階段通用服務器DRAM約為500-600GB，而AI服務器則需要更多，平均為1.2-1.7TB，其中HBM容量為320-640GB。隨著AI模型日益復雜，對服務器訓練速度的追求將越來越高，因此DRAM和HBM是必不可少，同時，在SSD容量提升上亦呈現(xiàn)擴大的態(tài)勢。Trendforce估計未來AI服務器每臺DRAM容量為2.2-2.7TB，其中HBM容量為512-1024GB。根據(jù)海力士23Q3業(yè)績電話會，管理層預期未來5年HBM總市場規(guī)模的CAGR為60%-80%。AI服務器市場火熱亦可從服務器廠商業(yè)績略見一斑。2024年2月29日盤后Dell發(fā)布FY24Q4業(yè)績，Serversandnetworking業(yè)務收入環(huán)比增長4.3%至48.57億美元，超過彭博一致預期的48.09億美元，AI服務器出貨達8億美元。展望未來，公司的AI服務器累計在手訂單增長至29億美元，接近第三季度16億美元的兩倍，因此將帶來穩(wěn)健的增長前景，公司預計InfrastructureSolutionGroup（ISG）板塊（分為Serversandnetworking和Storage業(yè)務，包含AI基礎設施中的儲存產(chǎn)品PowerScale）將受益于來自AI客戶的強勁需求，同步增長15%-17%（mid-teensgrowth）。業(yè)績發(fā)布后一交易日，Dell股價盤中一度飆升至131.1元的高點，最終收盤于124.59美元，上漲31.62%。競爭格局：三大廠商瓜分HBM3/3E市場，各顯神通角逐HBM4在半導體行業(yè)，先進制程技術的發(fā)展呈現(xiàn)資金和技術壁壘不斷提高的趨勢，HBM所需工藝的復雜性和其應用場景，以及對供需雙方深度合作的要求，使得行業(yè)格局集中于海力士、三星和美光三大廠商。綜合YoleIntelligence24年2月發(fā)布的全球HBM市場報告，23年海力士市場份額為56%，三星市場份額為41%，美光市場份額為3%。美光：跳過HBM3，1-β制程HBM3E加速追趕我們看好美光HBM業(yè)務的邏輯不是其“贏在起跑線上”，相反，美光并非HBM市場的先行者，但我們預期美光將是本輪HBM高速增長的主要受惠者：1）中短期內HBM市場仍將供不應求，美光HBM3E可作為“二供”承接溢出訂單，同時其相較同業(yè)競品更優(yōu)的產(chǎn)品性能也有利于幫助其擴展下游客戶；2）HBM3E相較傳統(tǒng)DRAMASP更高，借助HBM3E的營收貢獻美光利潤率有望迎來優(yōu)化，同時HBM銷售多基于年度合同，相較傳統(tǒng)DRAM大宗商品屬性更低，擁有更好的抗周期性；3）與海力士和三星不同，美光借HBM3E“重啟”HBM業(yè)務幾近“從無到有”，2023年HBM市場份額僅為3%，低基數(shù)帶來相較前兩者更高的成長性；4）英偉達扶持，受益于英偉達大量HBM需求。23年英偉達H100HBM3由海力士獨供，我們認為一方面海力士HBM3/3E產(chǎn)能擴展有限，為保證AI芯片按期交付，英偉達積極扶持美光作為HBM“二供”；另一方面也是出于避免過分依賴海力士，防止海力士一家獨大的考量，尋求替代方案，“貨比三家”從而掌握更大的議價主動性。目前海力士HBM3/3E“獨供”格局已被打破，截至24年4月中旬，海力士和美光HBM3E均已通過英偉達效能驗證，確認供貨H200，三星HBM3E仍在驗證進程中，但Digitimes24年4月15日報道指出三星上修24年HBM出貨目標及訪臺謀求HBM合作當作積極，或隱含英偉達產(chǎn)品驗證進程順利。我們認為美光能否借HBM“東風”成功實現(xiàn)估值重估，關鍵在于在HBM的蛋糕不斷做大的前提下，其能否成功搶占份額：1）產(chǎn)能：當前美光HBM產(chǎn)能較海力士和三星仍然較低，24-25年美光能否成功擴產(chǎn)并滿足下游需求將是關鍵；2）良率：相較海力士MR-MUF鍵合，美光和三星均使用TC-NCF，鍵合技術良率仍然較低，能否通過良率提升進一步減少損耗成本，同時變相提升產(chǎn)能也將是未來發(fā)力重點。美光并非HBM領域的先行者，自研HMC未獲廣泛應用。2011年9月，英特爾于開發(fā)者論壇（IDF）介紹其與美光合作開發(fā)的HMC（HybridMemoryCube混合內存立方體）技術，同樣基于TSV技術構建DRAM堆棧，以解決DDR3面臨的帶寬問題。但限于成本高昂及并非開放標準，并未獲得業(yè)界廣泛采用。根據(jù)MicroprocessorReport14年9月的報道，富士通Sparc64XIfx是為數(shù)不多采用美光HMC的處理器之一，搭載于15年推出的富士通PRIMEHPCFX100超級電腦。2018年8月，因未獲市場采納，美光宣布放棄HMC，轉向HBM，2020年3月美光開始提供HBM2產(chǎn)品，面向高端AI芯片的顯存方案，并于2020年7月宣布量產(chǎn)HBM2E，此時較2016年三星率先發(fā)布HBM2已然過去近4年。美光跳過HBM3，意圖通過1-β制程占領HBM3E市場份額。為追趕SK海力士和三星，美光決定跳過HBM3直接生產(chǎn)HBM3E。2023年7月，美光宣布與臺積電3D-Fabric聯(lián)盟，推出1-β制程的HBM3E，其DRAM堆棧為8層，提供24GB容量，帶寬、傳輸速度達到1.2TB/s、9.2Gbps。24年2月26日，美光率先宣布實現(xiàn)HBM3E量產(chǎn)，確認供貨英偉達H200，24年3月美光已宣布出樣12層36GBHBM3E，預期25年量產(chǎn)。對比海力士和三星的HBM3E，美光布局較晚，欲在工藝上彎道超車，提升產(chǎn)品性能。根據(jù)公司FY24Q2業(yè)績會，美光HBM3E相較于同代競品實現(xiàn)約10%的性能提升，降低約30%的功耗，管理層稱美光HBM3E的性能優(yōu)勢獲得客戶青睞，并證實其跳過HBM3直接布局HBM3E戰(zhàn)略的可行性：1）制程上：根據(jù)Digitimes24年1月報道，美光和海力士HBM3E均采用1-β制程，領先于三星的1-α制程，而美光預期于25年率先量產(chǎn)下一代1-γDRAM，由于HBM本質是DRAM堆疊，若率先采用1-γ制程的DRAM將同樣為HBM產(chǎn)品帶來性能優(yōu)勢；2）布局中國臺灣，加強供應鏈合作：根據(jù)臺媒數(shù)位時代24年3月專訪中國臺灣美光董事長盧東暉的報道，結合Digitimes24年3月相關新聞，美光HBM3E封測和出貨均在中國臺灣完成，自產(chǎn)品設計階段開始與中國臺灣供應鏈合作緊密，例如，在中國臺灣供應鏈部分，美光與IP供應商合作提供GPU與HBM快速交互的相關技術。同時，相較三星集存儲、AI芯片設計、晶圓代工和封裝為一體，美光定位與海力士接近，與臺積電不存在競爭關系，因此自HBM3E研發(fā)初期開始即可以與臺積電緊密合作商討HBM與GPU整合方案，鑒于英偉達和AMD等下游客戶是臺積電CoWoS的“頭號客戶”，美光與臺積電的合作加速客戶驗證其HBM3E進程，糾錯過程亦更易進行。同時，三星24年3月下旬訪臺就HBM加強與臺積電合作，并拉攏更多供應鏈伙伴，海力士HBM開發(fā)過程中也曾數(shù)次訪問臺積電，側面印證HBM供應鏈合作的必要性。SK海力士：超越三星的HBM領頭羊，先發(fā)優(yōu)勢、領先制程和鍵合工藝穩(wěn)坐頭把交椅我們認為，海力士自獨供英偉達HBM3開始的先發(fā)優(yōu)勢使得其坐穩(wěn)行業(yè)龍頭，但面對來勢洶洶的美光，其在HBM市場50%左右的份額能否保持則有待觀察。盡管英偉達對HBM3E需求增加，但AMD和云廠商自研芯片對HBM3需求也不可忽視，24-25年HBM3仍將是海力士營收增長的“基本盤”。相較美光和三星，海力士已積累與下游客戶合作的豐富經(jīng)驗，如我們前文所述，其效能驗證和糾錯效率或較競爭對手更高；相較三星，海力士HBM3已形成成熟供應鏈，良率穩(wěn)定且技術較三星更有優(yōu)勢。SK海力士的第一代HBM與AMD聯(lián)合開發(fā)，之后公司多次發(fā)布新產(chǎn)品，保持HBM領先地位。2013年12月，公司與AMD聯(lián)合開發(fā)HBM1，和AMDFijiGPU一起應用于AMDRadeonFury系列顯卡。之后的7年間迭代更新HBM2和HBM2E；于2021年10月推出全球首款HBM3，2022年6月實現(xiàn)量產(chǎn)后獨供英偉達H100。2023年4月推出24GB12層堆疊的HBM3，通過將單個DRAM的高度磨削到約30微米（比16GBHBM3單片薄40%），實現(xiàn)了與16GB產(chǎn)品相同的高度。2023年8月發(fā)布HBM3E。海力士在CES2024展示的HBM3E提供1.18TB/s數(shù)據(jù)處理速度（發(fā)布初為1.15TB/s），并已經(jīng)于24年3月實現(xiàn)HBM3E量產(chǎn)，開始向英偉達供貨。根據(jù)TechInsights轉載24年2月國際固態(tài)電路研討會（ISSCC2024）日程，海力士于會上Paper13.4中公開其16層堆疊的HBM3E技術，提供48GB內存和近1.3TB/s的帶寬。根據(jù)Digitimes24年2月26日報道，業(yè)界估計24年海力士HBM營收將達10兆韓元（約74.9億美元），相當于23年總營收的一半，Digitimes該篇報道亦假設利潤率為50%，由此推出海力士HBM利潤約為5兆韓元，將占24年整體利潤的50%。相較三星和美光，海力士采用領先的HBM鍵合工藝，是業(yè)內唯一將MR-MUF技術應用于HBM的公司。海力士的HBM2和三星HBM鍵合均采用TC-NCF（基于熱壓的非導電薄膜ThermalCompression-NonConductiveFilm）工藝，該過程需要高溫高壓環(huán)境將凸點（bumps）推入非導電薄膜，在單個DRAM高度減少的環(huán)境下更易導致芯片翹曲。海力士在HBM2E中首次使用MR-MUF（批量回流模制底部填充MassReflowMoldedUnderfill），通過在芯片間注入EMC（液態(tài)環(huán)氧樹脂模塑料EpoxyMoldingCompound）填充芯片之間或芯片與凸塊之間間隙。EMC本身具備中低溫固化、低翹曲、低吸水率等優(yōu)點，無需借助高溫高壓，可有效解決芯片翹曲從而提升良率。在設計12層HBM3時，公司采用了AdvancedMR-MUF技術，進一步提升工藝良率和散熱性能。與三星不同，海力士沒有晶圓代工業(yè)務，與臺積電合作更加緊密，二者作為受益于AI芯片的利益共同體，合作推進HBM4研發(fā)。2024年4月，海力士與臺積電簽署合作備忘錄，合作開發(fā)預計在2026年投產(chǎn)的HBM4，以此與三星的“一站式策略（TurnkeyStrategy）”競爭。該合作主要分為兩個方面：1）海力士和臺積電將首先致力改善HBM封裝內最底層的基礎裸片（BaseDie），該片與上方的DRAM不同，對上方的DRAM堆棧（CoreDie）起到控制作用，同樣連接至GPU。過往包括HBM3E在內的海力士HBM產(chǎn)品的基礎裸片由海力士基于自身制程工藝制造，但從HBM4開始采用臺積電先進邏輯制程，更細微的工藝可以在基礎裸片上增加更多功能，從而滿足客戶定制化產(chǎn)品在性能和功效上更加多樣的需求；2）雙方將進一步優(yōu)化海力士HBM產(chǎn)品和臺積電CoWoS技術融合，改善性能表現(xiàn)。三星：依托自家晶圓代工部門，一站式策略追趕海力士市場份額三星于23H2開始量產(chǎn)16GB/24GB1-ZHBM3，根據(jù)Trendforce24年3月報道，其16/24GBHBM3已于23年底確認供貨英偉達，打破海力士作為英偉達HBM3“獨供”格局。GTC2024期間三星展示其12層36GBHBM3E，預期于24H2實現(xiàn)量產(chǎn)。英偉達CEOJensenHuang會上于三星12層HBM3E旁簽下“JensenApproved”，確認該產(chǎn)品正在通過英偉達效能驗證。Digitimes24年4月報道三星HBM3E測試已近尾聲，最快24Q2開始供貨英偉達，相較之前市場預期24H2提前。我們認為，三星是海力士HBM市場的有力競爭者，短期HBM3市場或難以追趕海力士，但中期HBM3E/4將凸顯其優(yōu)勢：1）相較海力士，三星HBM3起步較晚，因此市場份額或難以相匹敵，然而24年2月三星12層36GBHBM3E已經(jīng)宣布開發(fā)完成，且?guī)捥嵘噍^海力士更為激進，若三星成功于24H1量產(chǎn)HBM3E，并后續(xù)通過英偉達驗證，則將與海力士重回同一起跑線；2）對比海力士和美光，三星的獨特之處在于其整合存儲芯片和晶圓代工的能力，從而實現(xiàn)“一站式策略（TurnkeyStrategy）”。中期來看，三星的“一站式策略”將服務于HBM4的研發(fā)，其邏輯類似海力士與臺積電的合作，三星存儲與封裝部門協(xié)同將縮短HBM4從研發(fā)到生產(chǎn)的中間環(huán)節(jié)，并在未來的量產(chǎn)中縮短從存儲顆粒制造、封裝到交付的周期，從而能占得HBM4及后續(xù)產(chǎn)品先機；3）對比海力士積極推進HBM3/3E產(chǎn)能迭代，三星在HBM2E市場仍然有著來自AMDXilinx、中國芯片廠商以及云廠商自研芯片的HBM需求。例如XilinxVersalFPGA、GoogleTPUv5e、AmazonInferentia2和Trainum、壁仞科技（Biren）106系列和燧原科技（Enflame）云燧T20仍采用HBM2E，短期內仍有部分需求。海力士HBM3率先量產(chǎn)占得先機，三星加速迭代奮起直追。16年1月，三星跳過HBM