華為昇騰服務器研究框架

昇騰計算產(chǎn)業(yè)生態(tài)全景012資料來源：昇騰社區(qū)官網(wǎng)，浙商證券研究所MindxMinsSporeTensorFlow/PyTorch/…異構計算架構

CANNNPU驅動系列硬件昇騰系列處理器行業(yè)應用初創(chuàng)公司高校ISVC&SI開發(fā)者OEMODM合作伙伴銷售參考設計昇騰計算軟硬件體系ModelArts HiAL

Service 第三平臺IHV賦能認證開源貢獻教學科研算子眾籌賦能認證開源貢獻產(chǎn)品銷售 開源開放開源貢獻銷售參考設計集成昇騰計算產(chǎn)業(yè)生態(tài)醫(yī)療制造……能源交通人工智能計算中心運營商互聯(lián)網(wǎng)金融機器人平安城市摘要站在當前科技重大轉折點——ChatGPT時刻，科技企業(yè)的競爭日益聚焦于AIGC領域，大模型成為核心競爭力的重要體現(xiàn)。華為作為國內(nèi)科技龍頭，2021年發(fā)布的盤古大模型有望在AIGC時代中引領潮流。其中，昇騰全棧AI軟硬件平臺構筑智能世界的基石，昇騰計算產(chǎn)業(yè)生態(tài)不斷發(fā)展完善，為盤古大模型提供了底層算力支撐。1、昇騰系列硬件：AI處理器+多產(chǎn)品形態(tài)以昇騰AI處理器為基礎，通過模塊、標卡、小站、服務器等豐富的產(chǎn)品形態(tài)，打造面向“端、邊、云“的全棧解決方案，為整個昇騰AI產(chǎn)業(yè)的底層核心支撐。2、CANN：針對AI場景提出的異構計算架構作為華為昇騰AI基礎軟硬件平臺的核心，CANN向上支持多種AI框架，向下服務AI處理器與編程，以極致性能、極簡開發(fā)、開放生態(tài)為目標，助力昇騰構建全場景人工智能平臺。3、MindSpore：面向全場景的AI計算框架國內(nèi)首個支持千億參數(shù)大模型訓練AI框架，支持終端、邊緣、云全場景靈活部署，開創(chuàng)全新的AI編程范式，致力于實現(xiàn)開發(fā)態(tài)友好、運行態(tài)高效、全場景按需協(xié)同三大目標，降低AI開發(fā)門檻。4、MindX：應用使能=2個組件+1個模型庫+多行業(yè)SDK深度學習組件MindX

DL以提供參考架構的方式，供業(yè)界平臺伙伴快速開發(fā)商永版本的深度學習系統(tǒng)；智能邊緣組件MindXEdge可實現(xiàn)快速將云端模型推送至邊緣端部署，并將邊緣側未識別數(shù)據(jù)上傳至云端進行增量訓練；ModelZoo將AI開發(fā)模型提前調(diào)優(yōu)后提供給開發(fā)者進行選擇。2個組件及1個模型庫支撐行業(yè)AI應用落地，SDK凝聚行業(yè)知識、結合AI實踐。5、生態(tài)構建及應用落地：多領域合作，10+行業(yè)應用，多方面解決方案攜手賦能各領域合作伙伴和開發(fā)者，目前圍繞昇騰計算體系，已在能源、金融、公共、交通、電信、制造、教育等多行業(yè)實現(xiàn)應用，提供城市智能中樞、昇騰智巡、昇騰智行、昇騰制造等解決方案。建議關注標的：神州數(shù)碼、拓維信息、麒麟信安、軟通動力、常山北明、海量數(shù)據(jù)、潤和軟件、英方軟件3資料來源：昇騰社區(qū)官網(wǎng)，昇騰計算產(chǎn)業(yè)發(fā)展白皮書，浙商證券研究所風險提示41、宏觀經(jīng)濟下行風險2、上游晶圓緊缺加劇的風險3、市場發(fā)展不及預期的風險4、行業(yè)競爭超預期風險目錄C

O

N

T

E

N

T

S5昇騰AI概覽01硬件產(chǎn)品軟件框架生態(tài)伙伴02030405應用落地016昇騰AI概覽服務器行業(yè)演進歷程01傳統(tǒng)服務器傳統(tǒng)服務器傳統(tǒng)服務器傳統(tǒng)服務器2012年2016年2020年云服務器AI服務器云服務器云服務器AI服務器邊緣服務器神經(jīng)網(wǎng)絡需要更特殊的計算架構，AI極大的算力需求打開AI服務器藍海市場隨著云技術成熟，下游云服務商深度定制化的云服務器成為市場增長的重要動力IT部署形勢以本地構建數(shù)據(jù)中心為主，只有政府、金融機構和大型企業(yè)能夠負擔本地IT部署本地云端IT部署云端CPUAI特定算力需求中心GPU、FPGA、ASIC5G、物聯(lián)網(wǎng)應用邊緣“云+邊緣”的部署架構形勢已成為市場共識，邊緣機房環(huán)境與傳統(tǒng)數(shù)據(jù)中心迥異，帶來全新增量市場7資料來源：行行查研究中心，浙商證券研究所通用服務器

VS

云計算服務器01傳統(tǒng)服務器云計算服務器處理器模塊網(wǎng)絡模塊存儲模塊電源、風扇等網(wǎng)絡處理模塊云處理器模塊 存儲處理模塊系統(tǒng)件模塊高性能吞吐計算能力關注工作量總和傳統(tǒng)服務器業(yè)務 VS 云服務器租用業(yè)務投入成本傳統(tǒng)服務器業(yè)務 云服務器租用業(yè)務高額的綜合信息化成本投入 按需付費，有效降低綜合成本產(chǎn)品性能難以確保獲得持續(xù)可控的產(chǎn)品性能硬件資源的隔離+獨享帶寬管理能力日趨復雜的業(yè)務管理難度集中化的遠程管理平臺+多級業(yè)務備份擴展能力服務環(huán)境缺乏靈活的業(yè)務彈性快速的業(yè)務部署與配置、規(guī)模的彈性擴展能力8資料來源：搜狗百科，浙商證券研究所昇騰全棧AI軟硬件平臺，構筑智能世界的基石01行業(yè)應用應用使能AI框架異構計算框架Atlas

系列硬件標卡小站服務器集群昇騰系列AI處理器 模塊基于CANN統(tǒng)一異構計算架構，釋放昇騰硬件澎湃算力MindSpore匹配昇騰AI處理器算力的全場景深度學習框架TensorFlow/PyTorch可基于第三方框架開發(fā)的模型進行二次開發(fā)、訓練和推理ModelArtsHiAI

Service第三方平臺MindX

DLModelZoo深度學習使能優(yōu)選模型庫MindX

EdgeMindXSDK智能邊緣使能行業(yè)SDK能源、金融、公共、交通、電信、制造、教育等更多行業(yè)應用全流程開發(fā)工具鏈管理運維工具MindStudioFusionDirectorSmartKit算子、模型、應用一站式高效開發(fā)和極簡部署華為IT產(chǎn)品運維服務工具平臺服務器全生命周期智能運維的管理軟件9資料來源：鯤鵬社區(qū)官網(wǎng)，昇騰計算產(chǎn)業(yè)發(fā)展白皮書，浙商證券研究所Atlas人工智能計算解決方案，覆蓋深度學習全流程01昇騰系列AI處理器基礎軟件超強算力達芬奇架構最強AI算力底座更優(yōu)效能極致散熱技術更高能效比開放易用端邊云協(xié)同軟硬件開放安全可信從芯片到系統(tǒng)構建可信AI平臺關鍵特性Atlas人工智能計算解決方案“開放、簡單、可信”的AI解決方案昇騰計算產(chǎn)品AI模塊AI加速卡 智能邊緣 AI服務器AI集群10資料來源：華為官網(wǎng)，浙商證券研究所01昇騰Al夯實智能根基，生態(tài)蓬勃向上硬件開放軟件開源使能伙伴解決方案發(fā)展人才520+硬件合作伙伴2020 2200222210.8萬+320萬+MindSpore社區(qū)下載量1591000+合作伙伴2221600+解決方案4.5萬+100萬+開發(fā)者11資料來源：華為全聯(lián)接大會2022，浙商證券研究所0212硬件產(chǎn)品昇騰AI處理器AI模塊+AI加速卡+智能邊緣+AI服務器+AI集群昇騰AI處理器構建底座，提供強大算力支持02自研華為達芬奇架構NPU在8W數(shù)據(jù)精度下算力可達16TOPS高性能

3D

Cube昇騰

310華為首款全棧全場景人工智能芯片自研華為達芬奇架構NPU640

TOPS@INT8，320TFLOPS@FP16最大功耗310W昇騰

910算力最強AI處理器架構華為達芬奇架構華為達芬奇設計3D

Cube設計3D

Cube性能16TOPS@INT8和

8TOPS@FP16性能320TFLOPS@FP16和

640TOPS@INT8最大功耗8W最大功耗310W工藝12nmFFC工藝N7+

13資料來源：海思官網(wǎng)，浙商證券研究所昇騰AI硬件體系完善，提供多樣化算力選擇0214數(shù)據(jù)來源：華為昇騰官網(wǎng)，浙商證券研究所推理服務器訓練服務器推理卡芯片：昇騰310最高算力：88

TOPS訓練卡芯片：昇騰910最高算力：280

TFLOPS開發(fā)者套件芯片：昇騰310最高算力：22

TOPSAI加速模塊芯片：昇騰310最高算力：22

TOPS智能小站芯片：昇騰310最高算力：22TOPS邊緣服務器芯片：鯤鵬920最高算力：352

TOPS8*昇騰910+4*鯤鵬920最高算力：2.24

PFLOPS2*鯤鵬920最高算力：704

TOPSAI模塊加速卡智能邊緣AI服務器AI集群AI集群數(shù)千顆昇騰910算力：256P～1024P

FLOPSAI集群基礎單元64*昇騰910+32*鯤鵬920形態(tài)：47U機柜0315軟件框架CANN異構計算架構MindSpore人工智能框架MindStudio開發(fā)工具鏈MindX應用使能CANN：軟硬協(xié)同釋放澎湃算力0316數(shù)據(jù)來源：華為昇騰官網(wǎng)，浙商證券研究所昇騰計算語言AscendCL算子開發(fā)接口TBE計算圖開發(fā)接口AIR應用開發(fā)接口昇騰計算服務層昇騰算子庫AOLNN庫其他FrameworkAdapterGraph

ComplierTBE昇騰計算編譯層昇騰張量編譯器ATCRuntimeHCCL昇騰計算執(zhí)行層昇騰計算執(zhí)行器ACEGraph

ExecutorAIPPDVPP其他OS昇騰計算基礎層昇騰基礎層ABLSVM VM HDC

其他昇騰調(diào)優(yōu)引擎NN庫NN庫其他其他CANN：針對AI場景提出的異構計算架構0317資料來源：昇騰計算產(chǎn)業(yè)發(fā)展白皮書，浙商證券研究所開放平臺編程語言 編譯及調(diào)試工具 編程模型支持端邊云全場景協(xié)同，支持超過10種設備形態(tài)、EMUI、Andriod、openEuler等超過14種操作系統(tǒng)和多種AI計算框架支持多種計算架構和計算框架，一套體系支持CPU、NPU等架構和多種AI計算框架支持向后兼容和演進，向后兼容是為了保護開發(fā)者的已有開發(fā)投資具有極強的伸縮性和適應性，適應不同算力和內(nèi)存變化AscendCLGraph

EngineRuntime DVPP CANN

Lib/HCCLDriver開發(fā)體系編程語言TBE編譯及調(diào)試工具編程模型支持的深度學習框架與引擎MindSpore：總體架構0318數(shù)據(jù)來源：

華為昇騰官網(wǎng)，浙商證券研究所昇騰計算語言AudioModel

Zoo模型庫ModelHub開發(fā)態(tài)友好全場景部署VisionRecNLPExtend強化學習/GNN/深度概率編程…Sience科學計算電磁仿真/分子模擬/量子計算Expression

全場景統(tǒng)一APINN函數(shù)/OOP編程范式融合AI+數(shù)值計算表達融合Ops

Dataset第三方前端倉頡 Julia運行態(tài)高效動靜表達統(tǒng)一 單機分布式表達統(tǒng)一Train/Infer

NumpyComplier

AI編譯器內(nèi)存優(yōu)化圖算融合流水線執(zhí)行IR中間表達層硬件相關優(yōu)化量子自動生成量化/剪枝/蒸餾數(shù)據(jù)加載數(shù)據(jù)格式異構加速數(shù)據(jù)增強Data端-邊-云全場景運行時系統(tǒng)Runtime多樣性硬件CNN(NPU)CUDA(GPU)Eigen(CPU)oneDNN(CPU)密態(tài)AI可信AI性能調(diào)優(yōu)網(wǎng)絡調(diào)試Insight精度調(diào)優(yōu)ArmourAI安全二階優(yōu)化自動并行自動微分類型推導MindSpore：執(zhí)行流程0319數(shù)據(jù)來源：

昇騰計算產(chǎn)業(yè)發(fā)展白皮書，浙商證券研究所端云協(xié)同（聯(lián)邦學習、端云AutoML等）MindSpore

訓練和驗證ModelZoo模型庫MindSporeDevKit開發(fā)套件MindSporeExtend高階擴展庫MindSpore

Hub預訓練模型MindSporeData數(shù)據(jù)MindSporeArmour

AI安全MindIR端云統(tǒng)一IRMindSporeServinig

云測推理MindSpore

Lite端側推理端邊增量學習Fine-tuning訓練等下載模型模型導出模型導入調(diào)試調(diào)優(yōu)MindSporeInsight

可視化安全機制數(shù)據(jù)處理MindSpore：三方面創(chuàng)新0320資料來源：昇騰計算產(chǎn)業(yè)發(fā)展白皮書，浙商證券研究所全場景深度學習框架動靜態(tài)圖轉換自動并行采用SCT的AD機制，實現(xiàn)對靜態(tài)圖和動態(tài)圖的支持，高效易用，靜態(tài)圖和動態(tài)圖模式切換只需要一行代碼。幫助開發(fā)者提升網(wǎng)絡調(diào)試調(diào)優(yōu)效率，并獲得訓練性能的收益。Auto

Parallel特性，用于實現(xiàn)自動的數(shù)據(jù)并行和模型并行的混合并行訓練，最大優(yōu)勢是易用和高性能。此外MindSpore可以結合內(nèi)存、計算和通信開銷，為用戶選擇一個性能較優(yōu)的并行切分策略實現(xiàn)大規(guī)模網(wǎng)絡的線性加速、自動擴展。針對“端、邊、云”全場景提供一致的開發(fā)和部署能力，以及按需協(xié)同能力，讓開發(fā)者能夠實現(xiàn)AI應用在云、邊緣和手機上的快速部署，全場景互聯(lián)互通，更好利用資源和保護隱私，創(chuàng)造更加豐富的AI應用?？焖俣嗵幉渴穑横槍μ囟☉脠鼍埃阉鳚M足性能約束的模型，拿來即用，無需重訓。端邊云協(xié)同全棧性能優(yōu)化：神經(jīng)架構搜索、模型壓縮、編譯優(yōu)化等手段優(yōu)化精度、大小、時延。靈活易用：支持多種策略組合使用，打通云到端全流程，集中管理全流程策略和配置。多種學習形態(tài)：比如當前業(yè)界常用的端側推理形態(tài)，滿足開發(fā)者各種各樣的場景需求。0321資料來源：昇騰社區(qū)官網(wǎng)，浙商證券研究所MindStudio：提供全棧全流程支持算子開發(fā)支持TBE自定義支持TBE自定義算子語法智能糾錯與代碼自定補全支持算子工程的仿真調(diào)試多設備日志即時查看算子性能profiling分析模型開發(fā)應用開發(fā)支持MindSpore/caffe/TF等框架離線模型轉換模型算子精度比對模型整網(wǎng)性能profiling分析支持網(wǎng)絡模型的可視化Al應用開發(fā)與調(diào)試算法代碼自動生成模型市場ModelZo0推理結果的圖形化展示全系統(tǒng)調(diào)優(yōu)MindStudio開發(fā)流程MindX：2+1+X

應用使能0322資料來源：昇騰計算產(chǎn)業(yè)發(fā)展白皮書，浙商證券研究所1個模型庫2個組件X行業(yè)應用mxVision深度學習組件MindX

DL智能邊緣組件MindX

Edge優(yōu)選模型庫ModelZoo行業(yè)

SDKmxManufacture深度學習平臺基礎組件智能邊緣平臺基礎組件預訓練高性能模型視頻分析

SDK智能制造

SDK集群調(diào)度MindX

EdgeFrameworkAtlasEdge設備管理OM基礎服務MindX模型保護ToolBox計算機視覺自然語言處理多模態(tài)科學技術……質(zhì)檢算法視覺工具模型算法工具0423生態(tài)伙伴04昇騰開發(fā)者社區(qū)，打造最佳開發(fā)者體驗資源中心降低開發(fā)門檻工具與樣例超100

種數(shù)據(jù)集超50

種直播課程超50

門個人課程超70

門賦能中心助力AI領域知識掌握支持中心超

20

名專家輪值服務問題1h內(nèi)快速答復昇騰應用使能MindX業(yè)務開發(fā)覆蓋～90%開發(fā)者AI框架MindSporeAI應用開發(fā)覆蓋～10%開發(fā)者AI平臺算子及網(wǎng)絡開發(fā)覆蓋～1%開發(fā)者異構計箅架構 CANN全流程開發(fā)工具鏈MingStudio

2.0分層開放能力認證體系門戶網(wǎng)站昇騰開發(fā)者社區(qū)開發(fā)者權益24資料來源：昇騰計算產(chǎn)業(yè)發(fā)展白皮書，浙商證券研究所04伙伴合作計劃開發(fā)人員成長計劃高校合作計劃初創(chuàng)扶植計劃咨詢與解決方案集成商C&SI獨立軟件開發(fā)商ISV獨立硬件開發(fā)商IHV云服務提供商XaaS原始設備制造商OEM原始設計制造商ODM學習階段（LDF，學習成長基金）構建階段(PDF，產(chǎn)品開發(fā)基金）上市階段(MDF，市場開發(fā)基金）上市階段(MDF，市場開發(fā)基金）機器視覺生態(tài)機器視覺生態(tài)人才培訓云資源樣機NREPAE/FAEMarketplaceMDF直接業(yè)績激勵間接業(yè)績激勵昇騰萬里合作伙伴計劃昇騰萬里合作伙伴計劃合作伙伴獨立生態(tài)計劃鼓勵伙伴發(fā)布關于昇騰的單獨生態(tài)計劃權益可疊加全方位激勵機制，繁榮昇騰生態(tài)25資料來源：昇騰計算產(chǎn)業(yè)發(fā)展白皮書，浙商證券研究所昇騰生態(tài)伙伴網(wǎng)絡覆蓋眾多主流廠商數(shù)據(jù)來源：

昇騰社區(qū)官網(wǎng)，浙商證券研究所整機硬件伙伴IHV硬件伙伴一體機解決方案伙伴應用軟件伙伴輔助運營伙伴2604IHV硬件伙伴一體機解決方案伙伴應用軟件伙伴輔助運營伙伴整機硬件伙伴0527應用落地AI計算中心解決方案05L4應用平臺L3軟件平臺L2硬件平臺L1機房設施L0樓宇平臺全棧AI計算中心解決方案云AI計算中心解決方案輕量化AI計算中心解決方案AI應用（合作伙伴/開發(fā)者/高校）應用使能、AI框架、芯片使能華為云HCSO(ModelArts)合作伙伴深度學習平臺通用計算：鯤鵬、X86AI計算：昇騰、GPUAtlas

800

訓練服務器Atlas

900