計算機行業(yè)專題報告：華為昇騰國產(chǎn)AI算力“扛旗者”

計算機行業(yè)專題報告：華為昇騰，國產(chǎn)AI算力“扛旗者”1AI算力需求快速提升，未來市場大有可觀1.1數(shù)據(jù)量增長帶來算力需求提升，智能算力規(guī)模有望快速增長數(shù)據(jù)海量增加，算法模型愈加復雜，應(yīng)用場景的深入和發(fā)展，帶來了對算力需求的快速提升。根據(jù)白皮書數(shù)據(jù)顯示，從2012年開始的6年中,Al計算的需求增加了30萬倍。1）根據(jù)IDC測算，國內(nèi)智能算力規(guī)模正在高速增長，2021年中國智能算力規(guī)模達155.2每秒百億億次浮點運算（EFLOPS），2022年智能算力規(guī)模將達到268.0EFLOPS，預(yù)計到2026年智能算力規(guī)模將進入每秒十萬億億次浮點計算（ZFLOPS）級別，達到1,271.4EFLOPS。2021-2026年期間，預(yù)計中國智能算力規(guī)模年復合增長率達52.3%。2）通用算力規(guī)模也正在高速增長，根據(jù)IDC測算，2021年中國通用算力規(guī)模達47.7EFLOPS，預(yù)計到2026年通用算力規(guī)模將達到111.3EFLOPS。2021-2026年期間，預(yù)計中國通用算力規(guī)模年復合增長率為18.5%。1.2AI芯片是提供算力的基礎(chǔ)，國內(nèi)市場22-24年增速有望超40%AI包括人工智能芯片、服務(wù)器、計算架構(gòu)、算法及應(yīng)用等方面，本文主要關(guān)注算力層面，即AI芯片和服務(wù)器。1）全球市場：全球人工智能技術(shù)發(fā)展逐漸成熟，數(shù)字化基礎(chǔ)設(shè)施不斷建設(shè)完善，推動全球人工智能芯片市場高速增長。IDC全球范圍調(diào)研顯示，人工智能芯片搭載率（attachrate）將持續(xù)增高。根據(jù)Tractica、寒武紀招股書相關(guān)數(shù)據(jù)，全球人工智能芯片2022年市場規(guī)模預(yù)計約395億美金，預(yù)計到2025年將達到726億美金，年復合增長率達到22%。2）國內(nèi)市場：22-24年復合增速有望達到46%。隨著大數(shù)據(jù)的發(fā)展和計算能力的提升，根據(jù)寒武紀招股書，2022年中國人工智能芯片市場規(guī)模預(yù)計達368億元，預(yù)計2024年市場規(guī)模將達到785億元，復合增速有望達到46%。AI服務(wù)器市場保持快速發(fā)展：國內(nèi)2021年市場規(guī)模超300億元，增速近70%。1）全球市場：根據(jù)IDC發(fā)布的《全球人工智能市場半年度追蹤報告》顯示，2021年全球人工智能服務(wù)器市場規(guī)模達156.3億美元，約合人民幣1045億元，全球年度人工智能服務(wù)器市場首次突破千億元人民幣，同比2020年增速達39%。其中，浪潮信息、戴爾、HPE分別以20.9%、13.0%、9.2%的市占率位列前三，三家廠商總市場份額占比達43.1%。人工智能服務(wù)器市場預(yù)計將繼續(xù)高速增長，預(yù)計2026年全球人工智能服務(wù)器市場規(guī)模將達到347.1億美元，五年復合增長率為17.3%。2）國內(nèi)市場：根據(jù)IDC數(shù)據(jù)，2021年中國人工智能服務(wù)器市場規(guī)模達到59.2億美元，與2020年相比增長68.2%，其中，浪潮信息、新華三、寧暢、安擎、華為等諸多中國廠商正加速推動人工智能基礎(chǔ)設(shè)施產(chǎn)品的優(yōu)化更新。預(yù)計到2026年，中國人工智能服務(wù)器市場規(guī)模將達到123.4億美元。從工作負載角度而言：企業(yè)將把精力更多從人工智能訓練轉(zhuǎn)移到人工智能推理工作負載上，根據(jù)IDC數(shù)據(jù)，2021年中國數(shù)據(jù)中心用于推理的服務(wù)器的市場份額占比已經(jīng)過半，達到57.6%，預(yù)計到2026年，用于推理的工作負載將達到62.2%。2昇騰生態(tài)羽翼漸豐，芯片扛旗者初露鋒芒2.1昇騰AI軟硬件平臺，構(gòu)建智能世界基石全棧AI軟硬產(chǎn)品，覆蓋“端邊云”。昇騰計算產(chǎn)業(yè)憑借著以昇騰AI處理器為核心，通過系列硬件和基礎(chǔ)軟件構(gòu)建全棧AI計算基礎(chǔ)設(shè)施，為各行各業(yè)賦能。在硬件方面，包括模塊、標卡、小站、服務(wù)器、集群等產(chǎn)品形態(tài)；在軟件層面，包括

異構(gòu)計算架構(gòu)、AI框架、應(yīng)用使能、全流程開發(fā)工具鏈等產(chǎn)品。2.1.1硬件是AI體系的基礎(chǔ)，提供強大計算能力基于達芬奇架構(gòu)的兩顆“芯”。2018年10月，代號為310和910的昇騰處理器系列產(chǎn)品推出。1）昇騰310處理器：本質(zhì)上是人工智能片上系統(tǒng)，主要應(yīng)用于邊緣計算產(chǎn)品和移動端設(shè)備等低功耗的領(lǐng)域。該芯片采用12nm制造工藝，最大功耗僅為8W，半精度（FP16）算力可達8TFLOPS，整數(shù)精度（INT8）算力可達16TOPS，同時還集成了16通道全高清視頻解碼器。2）昇騰910處理器：該芯片計算密度大，領(lǐng)先全球，相比于同時代的英偉達TeslaV100GPU還要高出一倍，其主要應(yīng)用于云端，可以為深度學習的訓練算法提供強大算力。在算力方面，昇騰910表現(xiàn)非常出色，半精度（FP16）算力可達320TFLOPS，整數(shù)精度（INT8）算力可達640TOPS，功耗只有310W，同時采用了7nm先進工藝進程，支持128通道全高清視頻解碼。從算力上看，昇騰910和英偉達A100性能基本上相當。行業(yè)性能領(lǐng)先的服務(wù)器。昇騰AI服務(wù)器具有超強算力，適用于中心側(cè)AI推理以及深度學習模型開發(fā)和訓練場景。1）Atlas800推理服務(wù)器（型號：3000）：具有高算力和高能效特點。最大可支持8個Atlas300I/VPro，提供強大的實時推理能力，廣泛應(yīng)用于中心側(cè)AI推理場景。2）Atlas800推理服務(wù)器（型號：3010）：具有靈活配置，適配多項負載特點。最大可支持7個Atlas300I/VPro，廣泛應(yīng)用于中心側(cè)AI推理場景。3）Atlas800訓練服務(wù)器（型號：9000）：具有高算力密度等特點。擁有4顆鯤鵬

920芯片，廣泛應(yīng)用于深度學習模型開發(fā)和訓練，適用于智慧城市、智慧醫(yī)療、天文探索、石油勘探等需要大算力的行業(yè)領(lǐng)域。4）Atlas800訓練服務(wù)器（型號：9010）：具有高算力密度等特點。可提供2.24PFLOPSFP16算力，廣泛應(yīng)用于深度學習模型開發(fā)和訓練。5）Atals800TA2訓練服務(wù)器：具有高速帶寬等特點。雙向互聯(lián)帶寬達392GB/s，廣泛應(yīng)用于深度學習模型開發(fā)和訓練。6）Atlas500Pro智能邊緣服務(wù)器：具有易于部署維護和支持云邊協(xié)同等特點。最大支持3張Atlas300I/VPro推理卡，單卡功耗僅72W，發(fā)揮鯤鵬架構(gòu)多核、低功耗優(yōu)勢，在邊緣場景中廣泛部署。華為昇騰超強算力推理+訓練標卡。訓練及推理標卡融合“通用處理器、AICore、編解碼”于一體，需要安裝到服務(wù)器上，通過服務(wù)器提供運算和模型，為數(shù)據(jù)中心提供強勁算力。1）推理卡：包括Atlas300V視頻解析卡、Atlas300VPro視頻解析卡、Atlas300IPro推理卡、Atlas300IDuo推理卡。其中，Atlas300IDuo推理卡在配置下可以輸出整數(shù)精度（INT8）達到280TOPS，半精度（FP16）算力達到140TOPS。2）訓練卡：主要以Atlas300TPro訓練卡（型號：9000）、Atlas300TA2訓練卡為主，可廣泛應(yīng)用于智慧城市、智慧交通、智慧園區(qū)、智慧金融等諸多AI行業(yè)場景。性能領(lǐng)先的訓練集群。華為昇騰面向人工智能計算中心等重算力場景，構(gòu)筑性能領(lǐng)先的訓練集群，目前主要包含Atlas900PoD（型號：9000）、Atlas900A2PoD、Atlas900AI集群三種產(chǎn)品，廣泛應(yīng)用于深度學習模型開發(fā)和訓練。1）Atlas900PoD（型號：9000）：可提供20.4PFLOPSFP16算力，能效比最高可達20.4PFLOOPS/46kW，搭載32顆超強算力的鯤鵬920處理器，全節(jié)點100G網(wǎng)絡(luò)互聯(lián)，可實現(xiàn)高效加速應(yīng)用。2）Atlas900A2PoD：提供25.6/24PFLOPSFP16算力，最大可拓展至3.2EFLOPS，全節(jié)點200G網(wǎng)絡(luò)互聯(lián)，能效比可達25.6PFLOPS/47.5kW，具有極致算力密度、極高A級能效、極簡交付部署等特點。3）Atlas900AI：其總算力達到256P~1024PFLOPSFP16，相當于50萬臺高性能PC的計算能力，讓人類更高效地探索宇宙奧秘、預(yù)測天氣、勘探石油，加速自動駕駛的商用進程。其他華為昇騰超高算力集成產(chǎn)品。1）開發(fā)者套件：Atlas200IDKA2開發(fā)者套件開發(fā)板集成了昇騰310B處理器，半精度為4TFLOPS@FP16，整數(shù)精度可達8TOPS@INT8，功耗為24W。可以直接為開發(fā)者提供運算和模型等，能滿足視頻圖像分析、自然語言處理、機器人等多個領(lǐng)域的需求。2）智能小站：Atlas500AI邊緣推理小站算力可達10TFLOPS@FP16或20TOPS@INT8，在有盤配置情況下，功耗為44.5W，無盤配置時，功耗32.3W?？瑟毩⒉渴穑子诰S護和支持云邊協(xié)同。3）模塊：Altas200AI加速模塊僅有半張信用卡大小，卻能提供22TOPS的INT8算力。具有在邊端側(cè)實現(xiàn)人臉識別、圖像分類等功能，因此廣泛應(yīng)用于智能攝像機、機器人、無人機等邊端側(cè)AI場景。2.1.2軟件釋放硬件性能，推動AI生態(tài)繁榮華為針對AI場景，設(shè)計了異構(gòu)計算架構(gòu)CANN、AI計算框架MindSpore和第三方適配以及全流程開發(fā)工具鏈MindStudio。本文主要關(guān)注CANN、MindSpore和MindStudio。CANN是一種異構(gòu)計算架構(gòu)，功能類似英偉達CUDA。CANN位于計算資源層和應(yīng)用層之間，即芯片使能層，實現(xiàn)了在高性能計算硬件和AI應(yīng)用之間架起一座橋梁。部署在昇騰服務(wù)器，包含統(tǒng)一的編程語言、統(tǒng)一網(wǎng)絡(luò)構(gòu)圖接口、高性能計算引擎以及算子庫。通過AscendCL對外提供Device管理、Context管理、Stream管理、內(nèi)存管理、模型加載與執(zhí)行、算子加載與執(zhí)行、媒體數(shù)據(jù)處理等API，幫助開發(fā)者實現(xiàn)在CANN平臺上進行深度學習推理計算、圖像預(yù)處理、單算子加速計算。在離線推理場景和訓練場景都有應(yīng)用。CANN釋放AI硬件的極致性能，其高性能算子庫和調(diào)優(yōu)引擎，支撐快速部署神經(jīng)網(wǎng)絡(luò)。深度學習框架構(gòu)建的模型是由一個個計算單元組成，這些計算單元被稱為算子，對應(yīng)著特定的計算邏輯，構(gòu)成了加速神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)和核心。CANN支持超過1400個高性能算子，并提供900多種優(yōu)選模型，并且覆蓋了80%的DSL算子，其DSL算子相比業(yè)界其他的產(chǎn)品，提升了70%開發(fā)效率。正是這些豐富的算子，筑起了澎湃的算力源泉。此外，CANN還提供了新一代智能調(diào)優(yōu)工具AOE，取代了繁瑣的手動優(yōu)化操作，降低了調(diào)優(yōu)的門檻，并提高了調(diào)優(yōu)的效率。以ResNet50網(wǎng)絡(luò)為例，使用AOE進行調(diào)優(yōu)的效率比上一代工具提升了一倍以上，并且性能提升超過100%。在CANN6.0版本下，模型遷移成功率可達90%。CANN在各領(lǐng)域深受認可。1）在學術(shù)領(lǐng)域方面：2022年3月，基于CANN的AI論文PLGAN強勢上榜2022CVPR，5月榮獲“軟件行業(yè)示范案例”，12月，在第八屆中國國際“互聯(lián)網(wǎng)+”大學生創(chuàng)新創(chuàng)業(yè)大賽中，“基于昇騰算力及CANN的創(chuàng)新應(yīng)用”突破“互聯(lián)網(wǎng)+”國賽金獎。2）在科研領(lǐng)域方面：分子動力學模擬服務(wù)在CANN的助力下成功商用，AI預(yù)測性能達到現(xiàn)有產(chǎn)品的1.5+倍，可預(yù)測規(guī)模較傳統(tǒng)方法提升10000+倍，為光伏材料、新能源電池、半導體材料研究帶來巨大的商業(yè)應(yīng)用價值。此外，昇騰AI平臺端到端使能蛋白質(zhì)結(jié)構(gòu)預(yù)測基于CANN進行多維度性能優(yōu)化，使得AI預(yù)測效率較Baseline提升2+倍，同時具備長序列推理能力，2022年底已支持3800+長度的蛋白質(zhì)氨基酸序列，達到業(yè)界領(lǐng)先水平。MindSpore是華為推出的支持云邊端靈活部署的深度學習框架。人工智能領(lǐng)域的發(fā)展，離不開深度學習框架。從2012年以前的Torch、OpenNN等原始深度學習框架的發(fā)布，到后面形成了TensorFlow和PyTorch雙頭壟斷，再到現(xiàn)在中國國產(chǎn)框架有了一席之地，深度學習框架市場新品更新不斷。2020年，華為研制的MindSpore正式開源，和TensorFlow、PyTorch、飛槳等框架共同為人工智能領(lǐng)域發(fā)力。MindSpore幫助開發(fā)者孵化出各種AI創(chuàng)新算法和應(yīng)用，大幅提升效率。在2018年“華為全聯(lián)接大會“上提出了人工智能面臨的十大挑戰(zhàn)，其中提到長部署周期，高開發(fā)成本、高技術(shù)門檻等問題，為了應(yīng)對這些問題，昇騰MindSpore專注于實現(xiàn)開發(fā)友好、運行高效、全場景按需協(xié)同三大目標，以有效降低開發(fā)門檻。一般而言，開發(fā)深度學習軟件框架能夠把程序員從煩瑣細致的具體編程工作中解放出來，從而將主要精力集中在人工智能算法的調(diào)優(yōu)和改進上。昇思MindSpore作為新一代全場景AI框架，亦是如此，同時具有圖算融合、分布式并行、企業(yè)安全可信等功能，能夠?qū)崿F(xiàn)模型的訓練-推理-全場景部署。MindSpore易用性和性能全國領(lǐng)先。根據(jù)Omdia發(fā)布的2023年《中國人工智能框架市場調(diào)研報告》可知，有40%的開發(fā)者將“易用性”作為選擇框架的首選因素，35%的開發(fā)者將”性能“作為選擇框架的首選因素。其易用性是指產(chǎn)品被用戶使用時，能夠被用戶理解、學習、使用和吸引用戶的能力，易用性是產(chǎn)品的基本自然屬性，標志著最終產(chǎn)的可用性和成熟度。MindSpore在易學習低門檻、易開發(fā)高效率、問題快速閉環(huán)三方面，提升易用性，并且成立了易用性SIG。《中國人工智能框架市場調(diào)研報告》中提到，在國外的端到端框架中，開發(fā)者認為TensorFlow，PyTorch的易用性更好，而本土框架昇思MindSpore和飛槳PaddlePaddle在易用性方面緊隨其后。在端到端人工智能框架性能方面，MindSpore以13%的占比排名第三。MindSpore在全球AI框架使用率方面處于第一梯隊。根據(jù)Om