計算機行業(yè)算力租賃市場分析

計算機行業(yè)算力租賃市場分析AI算力需求空間測算訓(xùn)練規(guī)模突破臨界值，大模型“智慧涌現(xiàn)”大模型訓(xùn)練規(guī)模與參數(shù)量、數(shù)據(jù)量及訓(xùn)練輪數(shù)等緊密相關(guān)。當(dāng)模型規(guī)模突破闕值，即出現(xiàn)“智慧涌現(xiàn)”。邁入AI智能時代，計算芯片依賴已從CPU轉(zhuǎn)向GPUAI時代離不開機器學(xué)習(xí)，而神經(jīng)網(wǎng)絡(luò)訓(xùn)練及推理需要進(jìn)行大量的矩陣運算和卷積運算，具有強并行運算與浮點計算能力的GPU逐漸成為計算主力軍。大模型訓(xùn)練側(cè)GPU需求測算2022年，英偉達(dá)、斯坦福聯(lián)合微軟研究院共同訓(xùn)練出了萬億級參數(shù)的GPT，比1746億參數(shù)的GPT-3還高出了一個量級；論文中的測試基于DGXA100-80GB集群完成。對于最大的1T規(guī)模的模型，一共使用了384臺8卡DGX-A100服務(wù)器，服務(wù)器內(nèi)部各GPU間使用超高速NVLink和NVSwitch互聯(lián)，每臺機器裝有8個200Gbps的InfiniBand網(wǎng)卡；GPU利用率=單張GPU訓(xùn)練時吞吐量/單張GPU峰值吞吐量，論文使用了數(shù)據(jù)并行、流水線模型并行、張量模型并行、服務(wù)器通信優(yōu)化等加速技術(shù)提高GPU利用率。訓(xùn)練過程中，英偉達(dá)A100卡使用數(shù)量的變化范圍為[32,3072]，GPU利用率隨參數(shù)量增加而增長，變化范圍為[44%,52%]。大模型推理側(cè)GPU需求測算——推理側(cè)具備更大的成長空間根據(jù)Similarweb數(shù)據(jù)，2023年8月ChatGPT的月度訪問量為14億（包括直接訪問、外鏈等），平均訪問時長為7分鐘。假設(shè)1：ChatGPT訪客平均每次訪問提問數(shù)為10個，每個問題加上其回答的Token數(shù)量平均為1000；假設(shè)2：ChatGPT訪客來自全球各地，假設(shè)在每日24小時內(nèi)平均分配訪問量和計算量；假設(shè)3：在推理側(cè)，大模型運算更為簡單，我們?nèi)员Ｊ丶僭O(shè)GPU利用率為45%。推理過程中，每個參數(shù)只需執(zhí)行1次乘法運算和1次加法運算，以GPT-3的參數(shù)量1750億帶入以下測算。推理前一般采用量化等技術(shù)將模型優(yōu)化到Int8精度，在此精度下，每張A100的峰值吞吐量（非稀疏）為624TOPS。未來每家龍頭大模型廠商推理側(cè)A100需求有望達(dá)到十萬張量級2023年9月25日，ChatGPT進(jìn)行重大更新——GPT-4和GPT-3.5都具有了基于圖像進(jìn)行分析和對話的能力。我們認(rèn)為，當(dāng)模型參數(shù)增長至萬億級且具有多模態(tài)能力，能承擔(dān)更多生成、分析等任務(wù)時，將吸引更多用戶，ChatGPT月度訪問量將高增（2023年8月，谷歌月度訪問量為860億，約為ChatGPT的70倍）。在以下三點假設(shè)下，長期來看，我們推測未來ChatGPT推理側(cè)A100需求將超過70萬張。假設(shè)1：我們采用外媒SemiAnalysis給出的數(shù)據(jù)，即使用GPT-4時每次推理只需使用2800億個參數(shù)；假設(shè)2：多模態(tài)能力與更強大的分析能力將使得用戶更加依賴大模型，推理側(cè)每日問答的Token平均數(shù)量達(dá)到30000甚至更多；假設(shè)3：隨著大模型技術(shù)發(fā)展，假設(shè)未來ChatGPT的月度訪問量翻20倍，達(dá)到300億。大模型推理側(cè)GPU需求測算——微軟Copilot2023年9月21日，微軟宣布基于GPT-4的Copilot將全面開放：微軟全球版Copilot于2023年9月26日隨更新的Windows11以初期版本形式推出，融入到畫圖、照片、Clipchamp等應(yīng)用程序中；全球版Microsoft365Copilot將于2023年11月1日起面向企業(yè)用戶提供服務(wù)，融入Teams、Outlook、Word、Excel、Loop、OneNote和OneDrive等應(yīng)用程序中，同時微軟將推出AI助手Microsoft365Chat。大模型推理側(cè)GPU需求測算——Copilot+Microsoft365微軟曾在FY20Q1電話會議上披露，Office365（現(xiàn)已更名為Microsoft365）商業(yè)版的月度活躍用戶突破2億，而根據(jù)微軟的季報及年報數(shù)據(jù)，商業(yè)版用戶數(shù)量年增速保持在15%左右，我們推測Microsoft365企業(yè)用戶數(shù)目前已突破3億。假設(shè)Microsoft365中Copilot使用率為15%-80%，企業(yè)用戶使用Copilot時，輸入和輸出的平均Token數(shù)量為2000-30000。驅(qū)動AI發(fā)展的關(guān)鍵引擎，英偉達(dá)A100&H100供不應(yīng)求自年初以來，英偉達(dá)A100一直處于供不應(yīng)求的狀態(tài)，而其他加速卡由于性能、生態(tài)等方面與英偉達(dá)存在較大差距，大部分場景無法實現(xiàn)替代，尤其在訓(xùn)練側(cè)，A100與H100具有極大的優(yōu)勢與較高的技術(shù)壁壘?，F(xiàn)階段，大模型技術(shù)突破遭遇瓶頸，算力資源短缺為重要原因之一。OpenAI表示GPU供應(yīng)不足阻礙了其研發(fā)計劃的推進(jìn)，例如模型微調(diào)和劃撥專用容量等受到影響。OpenAI聯(lián)合創(chuàng)始人AndrejKarpathy曾轉(zhuǎn)發(fā)了一篇博客文章。這篇文章認(rèn)為訓(xùn)練大語言模型的初創(chuàng)企業(yè)、云服務(wù)供應(yīng)商及其他大公司需要擁有超過1000張H100或A100。A100方面：GPT-4可能在10000-25000張A100上進(jìn)行了訓(xùn)練，Meta擁有約21000張A100，特斯拉擁有約7000張A100，StabilityAI擁有約5000張A100，F(xiàn)alcon-40B在384張A100上進(jìn)行了訓(xùn)練。H100方面：a)OpenAI可能需要50000張，Inflection可能需要22000張，Meta可能需要25000張。大型云廠商可能每家都需要30000張（Azure、谷歌、AWS、Oracle）。Lambda和CoreWeave以及其他私有云廠商可能總共需要10萬張，CoreWeave預(yù)訂的H100數(shù)量約為35000-40000張，而Anthropic、Helsing、Mistral、Character等每家可能需要10000張。b)Inflection在其GPT-3.5等效模型中使用了3500張H100。GCP擁有大約25000張H100。微軟Azure和Oracle可能有10000-40000張H100。發(fā)展趨勢大模型訓(xùn)練中的故障與中斷問題對GPU集群的質(zhì)與量提出了更高要求大模型架構(gòu)復(fù)雜，訓(xùn)練周期較長。硬件、系統(tǒng)、軟件、驅(qū)動等等需要穩(wěn)定運轉(zhuǎn)才能最大化加速卡并行運算的能力，保障模型訓(xùn)練的效率，縮短訓(xùn)練的時間和成本。雖然加速卡具有優(yōu)異的計算性能，但軟、硬件等故障時常發(fā)生，各類任務(wù)頻繁重啟，訓(xùn)練經(jīng)常中斷、持續(xù)時間較短。如果訓(xùn)練中斷后不能及時恢復(fù)，不僅會影響訓(xùn)練成功率，還會使得訓(xùn)練成本居高不下。案例：阿里云面向AI大模型的解決方案SCC高性能彈性計算集群：為提升并行運算的效率，集群中GPU之間使用了最高效的NVSwitch互聯(lián)。節(jié)點之間使用了非阻塞式的RDMA網(wǎng)絡(luò)，同時節(jié)點間還有VPC網(wǎng)絡(luò)互聯(lián)。此外，集群還用了高性能的集群存儲CPFS和塊存儲。算力切割&調(diào)度：提供更小的GPU計算粒度，通過池化的方式提升資源使用效率。例如，通過cGPU技術(shù)實現(xiàn)GPU的資源切割和跨主機資源池，以解決GPU資源的使用不充分、或者更加夸張的計算資源配比需求等等，幫助用戶獲得更有效率和更有性價比的GPU計算資源。阿里云基于自身IaaS資源推出AI加速套件AIACC，用于優(yōu)化基于AI主流計算框架搭建的模型，顯著提升訓(xùn)練和推理性能。當(dāng)前AIACC推理引擎包含AIACC-Torch（Pytorch推理加速引擎）、AIACC-MLIR（MLIR推理加速引擎）、AIACC-HRT（AIACC算子深度加速引擎）幾個組件。AIACC-Torch（Pytorch推理加速引擎）主要用于業(yè)界主流的PyTorch模型的推理加速引擎；AIACC-MLIR（MLIR推理加速引擎）是基于MLIR用于優(yōu)化Tensorflow的加速引擎；AIACC-HRT（AIACC算子深度加速引擎）是阿里云底層高性能的限制加速庫。競爭格局和要素云廠商的核心競爭力體現(xiàn)在資金、軟硬件、下游客戶等多個層面算力需求貫穿大模型訓(xùn)練、微調(diào)、推理整個周期，無論是國內(nèi)還是國外，目前AI算力需求都具有較強的確定性，我們認(rèn)為AI算力需求未來還將維持高增。各個云廠商在硬件、軟件和商業(yè)化上的布局不同，所匹配到的客戶特征、用戶決策偏好以及在LLM發(fā)展的客戶需求等方面也存在差異。硬件：GPU、通信、裸機實例；從NVIDIA拿貨的實力尤為重要：提貨優(yōu)先級>目前所擁有的絕對數(shù)量。NVIDIA不僅會考慮云廠商服務(wù)的大模型客戶的實力，還會考慮LLM生態(tài)均衡性、自研芯片的競爭態(tài)勢和客戶體量等因素；裸機實例在訓(xùn)練環(huán)節(jié)更占優(yōu)勢，因為客戶需要最大化利用算力資源；而在微調(diào)與推理環(huán)節(jié)，由于業(yè)務(wù)復(fù)雜度、成本等考量，傳統(tǒng)進(jìn)行虛擬化后的云服務(wù)大概才能滿足各類客戶的多樣化需求。軟件：Kubernetes、ML/AIOps；商業(yè)化：硬件和運維成本、定價策略、目標(biāo)客群、用戶體驗等。AI算力租賃的收入和成本結(jié)構(gòu)采購端，目前A800服務(wù)器整機含配套采購價格約為120-150萬元/臺，我們按照5-7年折舊；收入端，按照中貝通信與青海聯(lián)通簽訂的算力服務(wù)框架協(xié)議，租金按照含稅￥12萬元/P/年計算，單臺8卡A800服務(wù)器租金約為60萬元/年。采取FP16（稀疏）精度下的算力。單張A800卡算力為624TFLOPS，則一臺8卡A800服務(wù)器算力約為5P；單張H800卡算力為1979TFLOPS，則一臺8卡H800服務(wù)器算力約為16P。重點公司算力布局情況鴻博股份：深度綁定英偉達(dá)，AI算力穩(wěn)步落地鴻博股份2022年8月切入AI算力領(lǐng)域，與中關(guān)村中恒文化、英偉達(dá)、英博數(shù)科簽訂四方合作協(xié)議，合作成立北京AI創(chuàng)新賦能中心。主要業(yè)務(wù)為：算力出租、云資源采購一站式服務(wù)、人工智能教育培訓(xùn)、產(chǎn)業(yè)實驗室。2023年7月，完成共計1000P由英偉達(dá)A&H系列智算服務(wù)器組成的AI算力集群部署調(diào)優(yōu)并交付。9月，已向客戶交付1300P算力。計劃于2023年在京落成3000P以上智算中心。搏博云平臺：跨平臺GPU算力管理、統(tǒng)籌、調(diào)度及整合。截至2023年6月，已完成5120P訂單簽約?？蛻簦憾嗄B(tài)大模型訓(xùn)練、云渲染、無人駕駛、量化交易模型訓(xùn)練等。青云科技：云服務(wù)技術(shù)背景+大集群運維經(jīng)驗，輕資產(chǎn)模式優(yōu)勢盡顯公司提供NVIDIAA800和H800云服務(wù)器的算力租賃業(yè)務(wù)，打造第二成長曲線：2023H1，公司實現(xiàn)AI算力服務(wù)收入2651萬元。公司超級智算平臺適用于生命科學(xué)、CAE仿真、海洋氣象、影視渲染、石油勘探、深度學(xué)習(xí)、測繪地理、模型訓(xùn)練、場景推理等計算場景?！按?輕資產(chǎn)”模式優(yōu)勢盡顯：在三大國家千億萬次超算中心之一的國家超算濟南中心項目上，公司交付了一整套完整的多元算力服務(wù)管理平臺，包括了HPC算力、GPU算力、云計算算力、高性能存儲以及海量非結(jié)構(gòu)化數(shù)據(jù)存儲。AI算力調(diào)度平臺優(yōu)勢：提供多元算力統(tǒng)一調(diào)度、實現(xiàn)智能化算力調(diào)度與管理、芯片國產(chǎn)替代、智簡運營運維、建設(shè)智能生態(tài)打造豐富應(yīng)用。中貝通信：智算中心建設(shè)加速推進(jìn)，計劃年內(nèi)落地AI算力5000P中貝通信確定發(fā)展AI大模型業(yè)將智算算力服務(wù)作為新基建業(yè)務(wù)發(fā)展重點，目前已部署合肥與長三角兩個算力中心，計劃2023年實現(xiàn)5000P算力服務(wù)能力，未來三年達(dá)成萬P算力+萬卡集群的“雙萬”戰(zhàn)略目標(biāo)：收購容博達(dá)云計算70%股權(quán)，合肥算力中心首期投資約10億元，已完成土建與園區(qū)配套，機房配套已啟動，一期項目將實現(xiàn)算力3000P，計劃在2023Q4具備服務(wù)能力，總體建成后最大可提供算力10000P的能力；長三角算力中心計劃投資2億元，提供800-1000P算力能力，機房選址已初步確定，正在與當(dāng)?shù)卣⒄勍顿Y協(xié)議；前期采購的A800卡與服務(wù)器已陸續(xù)到位，H800服務(wù)器采購訂單已經(jīng)陸續(xù)下達(dá)，在9-10月份陸續(xù)到貨，已提供樣機給部分客戶進(jìn)行測試。供應(yīng)端，與浪潮、新華三等簽訂戰(zhàn)略合作協(xié)議，在服務(wù)器采購供應(yīng)、資源共享、用戶開發(fā)與維護(hù)、商業(yè)推廣等領(lǐng)域開展合作達(dá)成行動方案。恒潤股份：在手算力2500P，攜手運營商建設(shè)蕪湖智算中心2023年7月，恒潤股份與上海六尺科技集團有限公司共同出資設(shè)立上海潤六尺科技有限公司，計劃于上海、福州經(jīng)開區(qū)、安徽蕪湖、山東濟寧等地合作建立算力中心，并打造長三角GPU算力中心集群。上海六尺核心團隊深耕GPU算力多年，具有豐富的AI智算中心(GPU算力)建設(shè)、運營經(jīng)驗和算力市場資源。與上游GPU供應(yīng)廠商英偉達(dá)、新華三等