電子行業(yè)AI算力供應(yīng)鏈系列報告：大模型時代AI服務(wù)器需求提升算力市場打開長線空間

證券研究報告證券研究報告|行業(yè)深度報告大模大模型時代AI服務(wù)器需求提升，算力市場打開長線空間AI算力供應(yīng)鏈系列報告大模型訓(xùn)練和推理階段算力芯片需求量的測算原理，從服務(wù)器拆分的角度針對服務(wù)器等算力硬件產(chǎn)業(yè)鏈相關(guān)標(biāo)的?？贏I大模型通常伴隨著計(jì)算量和模型數(shù)量同步增長，全球算力需求數(shù)倍增長。長。我們認(rèn)為出于商業(yè)競爭和國家地區(qū)數(shù)據(jù)安全等角度考慮，未來全球各大口數(shù)據(jù)中心是未來智算基礎(chǔ)保障，AI服務(wù)器作為核心設(shè)施成長空間可觀。服務(wù)口AI研究與軟硬件生態(tài)息息相關(guān)，英偉達(dá)多層次全面布局提供綜合解決方案。種加速庫與云服務(wù)，最新一代大模型芯片為H100GPU，并提供擅長單線程DGX系統(tǒng)可用于構(gòu)建AI超級計(jì)算機(jī)。軟件方面推出多種加速庫與DGX心或?qū)⒊蔀槲磥砗诵母偁幜ΡＵ现?，服?wù)器作為數(shù)據(jù)中心的核心設(shè)備未來險、行業(yè)競爭加劇的風(fēng)險、宏觀政策和國化的風(fēng)險、技術(shù)路徑變化的風(fēng)險、供應(yīng)鏈?zhǔn)芟薜娘L(fēng)險。T業(yè)規(guī)模流通市值(億元)業(yè)指數(shù)%%7.7對表現(xiàn)(%)0(%)00-10Apr22Aug/22相關(guān)報告相關(guān)報告曙光初現(xiàn)，自主可控持續(xù)加速》-04》2023-03-23、《英偉達(dá)GTC2023跟蹤報告—鄢凡S1090511060002yanfan@曹輝S1090521060001caohui@告敬請閱讀末頁的重要說明2 服務(wù)器按照外形分類(以浪潮信息為例) 11 圖13：全球服務(wù)器廠商市場份額(22Q4) 12 敬請閱讀末頁的重要說明3 TaishanPro為例) 13AINF5468A5GPU服務(wù)器為例) 14AI信息(以浪潮NF5468A5GPU服務(wù)器為例) 15AI信息(以浪潮NF5468A5GPU服務(wù)器為例) 15 A 22 告敬請閱讀末頁的重要說明41、AI模型分為訓(xùn)練和推理兩個過程，GPT模型進(jìn)步的一個顯著特征是參數(shù)量大幅提升AI為訓(xùn)練和推理過程，訓(xùn)練奠定模型的性能根基，推理是將已有模型應(yīng)用到具體場景對相應(yīng)需求做出反在AI大模型發(fā)展過程中，通常伴隨著模型參數(shù)量增大、訓(xùn)練數(shù)據(jù)增多的趨勢，對于芯片的算力需求持續(xù)增長。根據(jù)《AI算力集群方案設(shè)計(jì)與優(yōu)化》總結(jié)的過去4年全球主要NLP(自然語言處理)模型，模型的參數(shù)量從ELMo的9400萬增長至Megatron-TuringNLG的5300億，增長了近5600倍。以GPT-1到GPT-3的發(fā)展過程為例，2018年6月型，整個模型參數(shù)量達(dá)到1.17億，其中預(yù)訓(xùn)練數(shù)據(jù)量達(dá)到5GB。GPT-2于2019年2月發(fā)布，預(yù)訓(xùn)練過程同樣是無監(jiān)督的，采用多任務(wù)學(xué)習(xí)的方式，參數(shù)量提升至15億，預(yù)訓(xùn)練數(shù)據(jù)量提升至40GB。GPT-3于2020年5月發(fā)布，通過更為海量的參數(shù)來進(jìn)行訓(xùn)練和學(xué)習(xí)，參數(shù)量進(jìn)一步提升至1750億，預(yù)訓(xùn)練數(shù)據(jù)量提升數(shù)個數(shù)量級至45TB。AI模型的發(fā)展在目前階段來看，更好的性能獲取通常意味著更多的參數(shù)量和更大的數(shù)據(jù)集，AI模型的迅猛發(fā)展與芯片層面的算力進(jìn)步密不可分，以GPU為代表的加速芯片快速迭代發(fā)展為大模型更替奠定了良好的硬件基礎(chǔ)。告敬請閱讀末頁的重要說明52、全球互聯(lián)網(wǎng)等大廠和各個國家及地區(qū)均有望推出自研大模型鞏固核心競爭力aM考慮到大語言模型屬于公司未來可能潛在的核心競爭力，預(yù)計(jì)未來各大公司均有意愿去構(gòu)建自己專屬的大語言模型。ChatGPT家出于自身數(shù)據(jù)安持續(xù)增長。發(fā)布主體模型名稱發(fā)布日期訓(xùn)練規(guī)模硬件7d.81TensV28densV100A21LabsJurassic-I-ensYuan1.0-ens微軟以及英偉達(dá)-ens8080GA100ebGPT------e--AmazonAlexaTM-----vMetaAI以及e-ens-0GA100----------A100ensAscend-----------軟-U------mer---騰訊-預(yù)計(jì)2023年4月---告敬請閱讀末頁的重要說明63、模型參數(shù)量和數(shù)量兩方面增長帶來更多算力需求，遠(yuǎn)期推理算力需求望超訓(xùn)練需求GPU增多均對于大模型的訓(xùn)練階段，影響因素主要是模型參數(shù)量、訓(xùn)練數(shù)據(jù)量和芯片算力，預(yù)計(jì)GPT-3模型訓(xùn)練一次需要幾萬達(dá)到3.14*10^23Flops(floatingpointoperations，浮點(diǎn)運(yùn)算數(shù))。以目前主流的訓(xùn)練芯片英偉達(dá)A100為例進(jìn)告敬請閱讀末頁的重要說明7用需求彈性較大、推理端單芯片算力通常較訓(xùn)練端較小等因素影響所致。根據(jù)英偉達(dá)官網(wǎng)信息，英偉達(dá)A30，算IGPU作為實(shí)例，核心參數(shù)包括使用ChatGPT等大模型的人數(shù)、單人訪問次數(shù)、大模型參數(shù)量、推理加速卡的算力，我們認(rèn)為未來AI大模型或?qū)⒉粌H僅局限在網(wǎng)站瀏覽器里，以微軟Office辦公軟件為例可知未來有更多應(yīng)用望直接接入大模型，預(yù)計(jì)敬請閱讀末頁的重要說明8訓(xùn)練階段20232024202520262027模型數(shù)量(個)單模型參數(shù)量(億)訓(xùn)練數(shù)據(jù)集大小(tokens，億)每個參數(shù)每token需要的Flops66666總訓(xùn)練計(jì)算量(Flops)E4E42.03E+25E5總訓(xùn)練計(jì)算量(PF·天)英偉達(dá)A100訓(xùn)練算力(FP16，TFLOPS)單日GPU需求(張)單日服務(wù)器需求(臺，8路GPU)推理階段20232024202520262027網(wǎng)站單日訪問人數(shù)(億)1369單人平均訪問次數(shù)峰值訪問量(億人次)單人單次token量單tokenFlops量22222模型參數(shù)量(億)推理計(jì)算量(Flops)E350E+24E24英偉達(dá)A30推理算力(FP16，TFLOPS)單日GPU需求(張)單日服務(wù)器需求(臺，4路GPU)總計(jì)GPU需求(張)14108133471776081313951412346988單日服務(wù)器需求(臺，8路GPU)2069754466134559254885440680市場規(guī)模測算GPU訓(xùn)練卡市場規(guī)模(億元，A100：7萬元/張)GPU推理卡市場規(guī)模(億元，A30：3萬元/張)7AI服務(wù)器GPU市場規(guī)模(億元)1944067191172訓(xùn)練型AI服務(wù)器規(guī)模(8*A100型：100萬元)推理型AI服務(wù)器規(guī)模(4*A30型：25萬元)AI服務(wù)器市場規(guī)模(億元)16135575413412197AI發(fā)展的早期階段以訓(xùn)練能力為核心，在進(jìn)入應(yīng)用期后將逐步以推理為核心，未來對推理芯片的需求或?qū)⑦h(yuǎn)超對訓(xùn)IDC年中國人工智能服務(wù)器工作負(fù)載中，用于推理和訓(xùn)練的占比分別為58.5%和敬請閱讀末頁的重要說明9測52%58%59%52%58%59%60%61%62%62%49%42%42%41%39%38%38%%告敬請閱讀末頁的重要說明10設(shè)施未來占比望逐步增長1、數(shù)據(jù)中心等產(chǎn)生更多服務(wù)器需求，AI服務(wù)器出貨量占比1%增速超服務(wù)器行業(yè)整體務(wù)構(gòu)成，其占比分別為70%、20%、10%，服務(wù)器在購置預(yù)算中的占比最大，凸顯數(shù)據(jù)中心中服務(wù)服務(wù)器存儲軟件與服務(wù)理部署。據(jù)中心、存儲、AI加速計(jì)算等類型。智慧時代下的業(yè)務(wù)場景與傳統(tǒng)信息化應(yīng)用相比，對計(jì)算增長呈線性增長，但是以云計(jì)算、大數(shù)據(jù)和深度學(xué)習(xí)為支撐的智慧計(jì)算則突破了認(rèn)知、學(xué)習(xí)和預(yù)測的邊界，告敬請閱讀末頁的重要說明11圖9：服務(wù)器按照外形分類(以浪潮信息為例)圖10：服務(wù)器按應(yīng)用場景分類源：浪潮信息M5產(chǎn)品手冊，招商證券資料來源：浪潮信息官網(wǎng)，招商證券atGPT005020222023E2024F2025F2026FMAI告敬請閱讀末頁的重要說明12ODM浪潮華為戴爾SuperMicroCisco其他聯(lián)想新華三浪潮新華三戴爾Oracle聯(lián)想華為其他IBM4%0%6%5%PU -- 資料來源：英偉達(dá)官網(wǎng)，招商證券2、服務(wù)器演進(jìn)從以CPU為主逐步到以GPU為核心，大芯片+存儲將占據(jù)主要價值量IO模組每個插槽采用模塊化設(shè)計(jì)，支持PCIeGen4規(guī)格和在線熱插拔，F(xiàn)SP卡進(jìn)行系統(tǒng)管理和監(jiān)控管理，PSU電，通常CPU和內(nèi)存條所在距離相對較近，對告敬請閱讀末頁的重要說明13示意圖(以浪潮信息K1PowerE950服務(wù)器為例)整理CPU核心，通過CPU搭配多個內(nèi)存條和存儲硬盤的形式來完成大規(guī)模數(shù)據(jù)計(jì)算或存儲，核roU構(gòu)成部分示意圖(以華為Taishan200Pro服務(wù)器為例)AI服務(wù)器相較于通用服務(wù)器最大的差異在于加入了高算力加速卡(GPU等)，可滿足AI訓(xùn)練和推理等多種高算力C結(jié)構(gòu)從前面板到后面板依次是磁盤存儲區(qū)、系統(tǒng)散熱區(qū)、CPU+內(nèi)存區(qū)、GPU區(qū)。相較于通用服務(wù)器內(nèi)部結(jié)構(gòu)，AI敬請閱讀末頁的重要說明14AI(以浪潮NF5468A5GPU服務(wù)器為例)網(wǎng)，招商證券整理若考慮內(nèi)存和硬盤價值量占比較大，以及實(shí)際情況下可能單機(jī)會盡量滿配GPU數(shù)量，預(yù)計(jì)高性能AI服務(wù)器敬請閱讀末頁的重要說明15AI號、用量、單價和功能信息(以浪潮NF5468A5GPU服務(wù)器為例)當(dāng)前AI加速計(jì)算卡除了GPU之外還有部分FPGA產(chǎn)品，F(xiàn)PGA具備低延遲、易燒錄等優(yōu)點(diǎn)，F(xiàn)PGA通常用于推理階段，關(guān)注未來FPGA在大模型領(lǐng)域潛在的滲透率提升空間。目前，我們在AI計(jì)算平臺使用最廣泛的兩種加速部件是GPU和FPGA。GPU可適用于具備計(jì)算密集、高并行、SIMD(SingleInstructionMultipleData，單指令多數(shù)據(jù)流)應(yīng)用等特點(diǎn)的深度學(xué)習(xí)訓(xùn)練模型領(lǐng)域，并且GPU創(chuàng)建了包含CNN、DNN、RNN、LSTM以及強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)等算法在內(nèi)的應(yīng)用加速平臺和生態(tài)系統(tǒng)。GPU在深度學(xué)習(xí)算法模型訓(xùn)練上非常高效，但在推理時對于小批量數(shù)據(jù)，并行計(jì)算的優(yōu)勢不能發(fā)揮出來。而FPGA同時擁有流水線并行和數(shù)據(jù)并行，因此處理任務(wù)時候延遲更低，同時FPGA是可編程芯片，算法燒錄更加靈活，根據(jù)浪潮AIHPC公眾號預(yù)測，未來至少95%的機(jī)器學(xué)習(xí)計(jì)算都是用于推斷，只有不到5%是用于模型訓(xùn)練，而FPGA正是強(qiáng)在推斷，大幅提升推斷效率的同時，還能最小限度損失精確性，這正是FPGA的強(qiáng)項(xiàng)。AI號、用量、單價和功能信息(以浪潮NF5468A5GPU服務(wù)器為例)網(wǎng)，招商證券整理告敬請閱讀末頁的重要說明16AI發(fā)展和軟硬件生態(tài)息息相關(guān)，英偉達(dá)多層次全面布局為國內(nèi)公1、英偉達(dá)利用GPU壯大發(fā)展，逐步布局CPU、服務(wù)器和各種云服務(wù)等軟硬件支持公司針對服務(wù)器與高效運(yùn)算、個人與游戲玩家、專業(yè)工作站推出Tesla、GeForce、RTX(Quadro)三大產(chǎn)品線。顯著優(yōu)于其他產(chǎn)品系列。例如，根據(jù)英偉達(dá)官網(wǎng)與Techpowerup網(wǎng)站，定位于個人與游戲玩家的最新一代產(chǎn)品GeForceRTX4090顯卡售價13000-16000元，使用24GBGDDR6X顯存，帶寬1008GB/s，在FP64上提供產(chǎn)品系列推出時間架構(gòu)制程主要應(yīng)用領(lǐng)域DataCenterTeslaHopper(H100)2022.3HopperTSMC4nm數(shù)據(jù)中心TeslaAda(L4,L40)2022.10AdaLovelaceTSMC4nmTeslaAmpere(A100,A800)2020.5-2022.11AmpereTSMC7nm;Samsung8nm(A100與A800產(chǎn)品均采用TSMC7nm)TeslaTuring(T4，T10等)2018.9-2020TuringTSMC12nmTeslaVolta(V100等)2017.6-2019.11VoltaTSMC12nmTeslaPascal(P100等)2016.4-2017.3PascalTSMC16nmGeForceGeForceRTX402022.9-2023AdaLovelaceTSMC4nm游戲娛樂、創(chuàng)作等GeForceRTX30-2022.12AmpereSamsung8nmGeForceRTX20-2021.12TuringTSMC12nmGeForceGTX162019.2-2022.6TuringTSMC12nmRTX/QuadroQuadroAda(RTX6000Ada)2022.12AdaLovelaceTSMC4nm工業(yè)設(shè)計(jì)、高級特效、科學(xué)可視化等QuadroAmpere0.10-2022.3AmpereSamsung8nmQuadroTuring2018.8-2021.5TuringTSMC12nmQuadroVolta2018.3VoltaTSMC12nmRTXTitanTITANRTX2018.12TuringTSMC12nm研究、開發(fā)、創(chuàng)作Techpowerup：粗體字表示該系列芯片為模型訓(xùn)練芯片)HopperAmpereTuringVolta支持的TensorCore精度FP64、TF32、bfloat16、FP16、FP8FP64、TF32、bfloatFPINTINT1FP16支持的CUDACore精度FP64、TF32、FP16、FP64、TF32、FP16、FP64、FP32、FP16、INT8FP64、FP32、FP16、INT8告敬請閱讀末頁的重要說明17A0芯片GPU之間的傳輸速度減少至400GB/s(A100芯片使用NVLink時GPU之間傳輸速度為H100PCIeA10080GBPCIeA80080GBPCIeV100PCIeP100PCIe16GB發(fā)布時間2022.32021.62022.112018.52016.6顯存大小80GBHBM2e80GBHBM2e80GBHBM2e32GBHBM216GBHBM2顯存帶寬2TB/s1935GB/s1935GB/s900GB/s732GB/sFP6426TFLOPS9.7TFLOPS9.7TFLOPS7TFLOPS4.7TFLOPSFP64TensorCore51TFLOPS19.5TFLOPS19.5TFLOPS--FP3251TFLOPS19.5TFLOPS19.5TFLOPS14TFLOPS9.3TFLOPSTensorFloat32756TFLOPS*156TFLOPS|312TFLOPS*156TFLOPS|312TFLOPS*--BFLOAT16TensorCore1513TFLOPS*312TFLOPS|624TFLOPS*312TFLOPS|624TFLOPS*--FP16TensorCore1513TFLOPS*312TFLOPS|624TFLOPS*312TFLOPS|624TFLOPS*--FP8TensorCore3026TFLOPS*----INT8TensorCore3026TOPS*624TOPS|1248TOPS*624TOPS|1248TOPS*--功耗300-350W300W300W250W250WCUDACore145926912691251203584TensorCore456432432640-注：*表示采用稀疏技術(shù))opperSuperchip告敬請閱讀末頁的重要說明18PU資料來源：英偉達(dá)官網(wǎng)，招商證券資料來源：英偉達(dá)官網(wǎng)，招商證券eI資料來源：英偉達(dá)官網(wǎng)，招商證券資料來源：英偉達(dá)官網(wǎng)，招商證券告敬請閱讀末頁的重要說明19SHARP寬和更低延遲。資料來源：英偉達(dá)官網(wǎng)，招商證券AI告敬請閱讀末頁的重要說明20(4)軟件層面：公司提供多種加速庫與DGXCloud、AIFoundations云服務(wù)2、CUDA架構(gòu)深度適配各類AI框架，配合硬件基礎(chǔ)打造用戶高度依賴的研發(fā)環(huán)境GPUCPUDPUDGX據(jù)英偉達(dá)官網(wǎng)，ations英偉達(dá)的核心競爭力之一在于其CUDA架構(gòu)，成為當(dāng)前全球加速計(jì)算領(lǐng)域依賴度極高的架構(gòu)之一，助力英偉達(dá)打造告敬請閱讀末頁的重要說明210%%證券告敬請閱讀末頁的重要說明221、全球服務(wù)器產(chǎn)業(yè)鏈范圍廣泛提供眾多機(jī)遇，國內(nèi)公司在各個細(xì)分領(lǐng)域均有布局GPU的業(yè)績表現(xiàn)，以及英偉達(dá)產(chǎn)業(yè)鏈相關(guān)受益標(biāo)的。JDM告敬請閱讀末頁的重要說明232、未來價值量占比最大的是GPU等算力芯片，關(guān)注服務(wù)器配套的其它電子零部件產(chǎn)品GPUGPU相對激烈，建議關(guān)注未來在算力需求大幅營計(jì)算設(shè)CU統(tǒng)。2010年，在中國科學(xué)院和北京市政府共同牽頭出資支持下，龍芯開始市場化運(yùn)作，對龍芯處理器研發(fā)成果進(jìn)行產(chǎn)業(yè)告敬請閱讀末頁的重要說明24公司產(chǎn)品名稱制程 (nm)FP32 (TFLOPS)FP16 (TFLOPS)INT16 (TOPS)INT8 (TOPS顯存容量 (GB)帶寬 (GB/s)功耗 (W)寒武紀(jì)MLU370-S474MLU370-X474564MLU370-X87456850MLU290-M57--56MLU270-S4--MLU270-F4--海光信息深算一號(8100)7支持雙精度/單精度/半精度浮點(diǎn)數(shù)與各種常見整型數(shù)1TB/s260-350景嘉微JM72008------JM9----8JM9第二款-512GFLOPS---825.6天數(shù)智芯天垓10079550智鎧10074--壁仞科技壁仞100P740--450-550壁仞104P7峰值為256TFLOPS(TF32+)、512TFLOPS (BF16)鯤云CAISA8-----星空X3加速卡8---8-星空X9加速卡8---3.6-30沐曦MXN7----燧原科技云燧T20(燧思2.0)-561.6TB/s云燧T21(燧思2.0)-561.6TB/s云燧T10(邃思)0--25云燧T11(邃思)2--云燧i20(邃思)-56云燧i10(邃思)-昆侖芯2代AI芯片7--56-AI加速卡R200(2代)756AI加速卡R200-8F(2代)756AI加速器組R480-X8(2代)756-1代AI芯片--56--K100(1代)-----K200(1代)---56--摩爾線程MTTS80(春曉)7---855MTTS30-2.6---4-0MTTS10-2---2--MTTS50----8-MTTS3000(春曉)7---850MTTS2000(蘇堤)--2.4-證券整理務(wù)器存儲份額主要集中于海外大廠，