智算中心綜合評(píng)價(jià)報(bào)告（2024年）

版權(quán)聲明本報(bào)告版權(quán)屬于中國(guó)信息通信研究院，并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其它方式使用本報(bào)告文字或者觀點(diǎn)的，應(yīng)注明“來(lái)源：中國(guó)信息通信研究院”。違反上述聲明者，本院將追究其相關(guān)法律責(zé)任。我國(guó)正積極應(yīng)對(duì)這一技術(shù)變革，加強(qiáng)智能算力的布局、研發(fā)和應(yīng)用，設(shè)施協(xié)調(diào)發(fā)展有關(guān)事項(xiàng)的通知》，再次強(qiáng)調(diào)逐步提升智能算力占比。 2 4 4 （四）AI服務(wù)器功率驟升，綠色低碳發(fā)展面臨挑戰(zhàn) （五）軟硬件一體化融合，智算中心追求提質(zhì)增效 （六）建設(shè)經(jīng)營(yíng)多元發(fā)展，統(tǒng)一評(píng)價(jià)體系有待構(gòu)建 2 4 1一、智算中心發(fā)展背景和機(jī)遇。智算中心不僅成為支持人工智能、大數(shù)據(jù)等服務(wù)業(yè)中的深度應(yīng)用平臺(tái)，也是在新型工業(yè)化進(jìn)程中時(shí)，市場(chǎng)對(duì)高效、穩(wěn)定算力服務(wù)需求的激增，加之開(kāi)源軟件如（一）智能算力成為經(jīng)濟(jì)發(fā)展新引擎2（二）智能算力需求多層面快速擴(kuò)張3（三）國(guó)家引導(dǎo)智算中心高質(zhì)量發(fā)展步深化，指引方向更加明確。在今年的兩會(huì)上，“人工智能+”被首次4二、智算中心發(fā)展現(xiàn)狀（一）智算架構(gòu)不斷豐富，評(píng)價(jià)體系由硬向軟演進(jìn)在傳統(tǒng)數(shù)據(jù)中心中，業(yè)界更多關(guān)注底層的風(fēng)火水電等硬件設(shè)施。5（二）算力結(jié)構(gòu)不斷優(yōu)化，智能算力規(guī)模逐步擴(kuò)大6集群，研發(fā)MegaScale生產(chǎn)系統(tǒng)用于訓(xùn)練大語(yǔ)言模型。科大訊飛在2023年建成了首個(gè)昇騰萬(wàn)卡算力平臺(tái)“飛星一（三）國(guó)家引導(dǎo)布局優(yōu)化，持續(xù)扶持智算中心發(fā)展7發(fā)布《深入實(shí)施“東數(shù)西算”工程加快構(gòu)建全國(guó)一體化算力網(wǎng)的實(shí)施（四）企業(yè)成為重要主體，積極推進(jìn)智算中心建設(shè)并融合技術(shù)、應(yīng)用等優(yōu)勢(shì)，加快落實(shí)布局東西部算力基礎(chǔ)設(shè)施建設(shè)。8（五）通算智算齊頭并進(jìn)，應(yīng)用場(chǎng)景日趨多元豐富9三、智算中心發(fā)展挑戰(zhàn)（一）智算規(guī)模持續(xù)擴(kuò)大，倒逼底層技術(shù)加速變革AI應(yīng)用場(chǎng)景對(duì)冷卻的要求較高，風(fēng)冷難以消解局部熱點(diǎn)。大規(guī)（二）算力應(yīng)用門檻較高，普適普惠水平有待提高化轉(zhuǎn)型需求，以點(diǎn)帶面，助力全行業(yè)實(shí)現(xiàn)智（三）智算業(yè)務(wù)靈活部署，算存運(yùn)能力需全面增強(qiáng)1．智算深挖芯片潛力，算力調(diào)度與管理待優(yōu)化2．AI大模型算力需求大，存儲(chǔ)能力需同步升級(jí)實(shí)現(xiàn)數(shù)據(jù)在多個(gè)計(jì)算節(jié)點(diǎn)間的共享訪問(wèn)，且3．網(wǎng)絡(luò)性能需求提升，技術(shù)創(chuàng)新刻不容緩（四）AI服務(wù)器功率驟升，綠色低碳發(fā)展面臨挑戰(zhàn)成為智算中心迫在眉睫的問(wèn)題。一方面，AI計(jì)算任務(wù)的復(fù)雜性和數(shù)訓(xùn)練AI模型產(chǎn)生的能耗將為常規(guī)云工作的3倍，預(yù)計(jì)到2030年，智（五）軟硬件一體化融合，智算中心追求提質(zhì)增效（六）建設(shè)經(jīng)營(yíng)多元發(fā)展，統(tǒng)一評(píng)價(jià)體系有待構(gòu)建四、智算中心綜合評(píng)價(jià)體系（一）綜合評(píng)價(jià)體系構(gòu)建目前我國(guó)算力評(píng)價(jià)主要可分為規(guī)格算力評(píng)價(jià)和算力綜合評(píng)價(jià)兩高運(yùn)力構(gòu)成了智算中心的算力底座。智算中心深刻洞察。對(duì)應(yīng)“5+3+1”特征2，報(bào)告從算存運(yùn)能力、安全可用性、的速度與效率。算力是支撐“人工智能與大數(shù)據(jù)“底座”，也是驅(qū)動(dòng)經(jīng)濟(jì)數(shù)字化轉(zhuǎn)型的新引擎。體服務(wù)水平起著決定性的作用。理論算力，即AI芯片的各類性能參1.AI芯片單卡峰值算力AI芯片的單卡峰值算力是衡量其性能的關(guān)鍵指標(biāo)，它決定了芯2.模型利用率（MFU）模型利用率指模型一次前反向計(jì)算消耗的矩陣算力與機(jī)器理論3.線性度線性度是衡量一個(gè)系統(tǒng)或模型輸出與輸入之間線性相關(guān)程度的4.集群有效算力5.模型訓(xùn)練能力性廣度的關(guān)鍵指標(biāo)。由于人工調(diào)參的差異，AI芯片適用的業(yè)務(wù)場(chǎng)景6.模型推理能力構(gòu)化、復(fù)雜化，AI模型走向巨量化，存儲(chǔ)層面面臨著海量數(shù)據(jù)的采1.存儲(chǔ)集群容量2.吞吐量存儲(chǔ)的吞吐性能作為衡量智算中心存儲(chǔ)集群設(shè)備性能的重要標(biāo)3.存儲(chǔ)集群可靠性4.彈性擴(kuò)展和智能數(shù)據(jù)分級(jí)5.數(shù)據(jù)管理1.集群通信性能智算中心的集群通信性能是評(píng)估算力與存力設(shè)備在集群環(huán)境中2.數(shù)據(jù)傳輸時(shí)延到點(diǎn)單向時(shí)延＜3.5us，三跳網(wǎng)絡(luò)下點(diǎn)到點(diǎn)單向時(shí)延＜3.數(shù)據(jù)有效帶寬輸協(xié)議等。RDMA（RemoteDirectMemoryAccess，遠(yuǎn)程直接內(nèi)存訪4.服務(wù)器網(wǎng)絡(luò)冗余5.網(wǎng)絡(luò)可視化監(jiān)控（五）安全性1.物理安全2.人員安全3.設(shè)備安全4.消防安全5.網(wǎng)絡(luò)安全（六）可用性中國(guó)雅安大數(shù)據(jù)產(chǎn)業(yè)園在供電系統(tǒng)設(shè)計(jì)上采用了雙電源多回路環(huán)網(wǎng)1.供電系統(tǒng)2.溫控系統(tǒng)同樣需要對(duì)CDU換熱單元作冗余設(shè)置以保證單條線路故3.設(shè)備和環(huán)境監(jiān)控系統(tǒng)設(shè)備和環(huán)境監(jiān)控系統(tǒng)能隨時(shí)采集各個(gè)設(shè)備的運(yùn)行狀態(tài)和健康狀都依賴于穩(wěn)定的電力供應(yīng)。由一路不間斷電源+一路市電供電并保持4.網(wǎng)絡(luò)布線分智算中心具備2個(gè)及以上不重合的管道路由就可以滿足可用性的（七）綠色低碳1.基礎(chǔ)設(shè)施比值，一般用年均PUE值。統(tǒng)計(jì)除建筑辦公設(shè)施外，智算中心IT設(shè)（2）水資源利用效率（WUE）為智算中心二氧化碳總排放當(dāng)量(CO2eq)與IT設(shè)備負(fù)載能源使用量碳等溫室氣體排放。IT設(shè)備負(fù)載能源使用量為智算中心中IT設(shè)備耗智算中心中的可再生能源電力耗電量與數(shù)據(jù)中心總耗電量的比2.設(shè)備（2）算力能效（CEE）是指考慮了通用服務(wù)器、AI服務(wù)器、數(shù)據(jù)存儲(chǔ)以及網(wǎng)絡(luò)交換實(shí)際使3.算力平臺(tái)算力資源選擇和遷移能力指的是企業(yè)在不同智算中心之間選擇（2）平臺(tái)碳排放量監(jiān)測(cè)與統(tǒng)計(jì)平臺(tái)碳排放量監(jiān)測(cè)與統(tǒng)計(jì)這一指標(biāo)旨在對(duì)平臺(tái)運(yùn)行過(guò)程中產(chǎn)生的碳排放量進(jìn)行精準(zhǔn)跟蹤和詳細(xì)記錄。該指標(biāo)（3）算力調(diào)度（4）計(jì)算資源占用率（八）服務(wù)能力的提供和優(yōu)化，根據(jù)用戶需求提供靈活的計(jì)算資源配置方案，包括訓(xùn)練模型和定制化模型開(kāi)發(fā)等服務(wù)支持用戶加速自身的應(yīng)用開(kāi)發(fā)和1.智算基礎(chǔ)設(shè)施服務(wù)申請(qǐng)、設(shè)備簽收、安裝前檢查、硬件部署、硬件初始化、固件升級(jí)、（2）算力平臺(tái)算力平臺(tái)集成服務(wù)主要包含子系統(tǒng)設(shè)計(jì)與實(shí)施以及集群系統(tǒng)集集群集成功能/性能測(cè)試驗(yàn)證能力，包括應(yīng)具備算存網(wǎng)協(xié)同測(cè)試2.大模型服務(wù)非結(jié)構(gòu)化/半結(jié)構(gòu)化文檔，通過(guò)文本和信息處理形成初始的訓(xùn)練數(shù)據(jù)（2）模型服務(wù)AI開(kāi)發(fā)環(huán)境部署支持主要根據(jù)客戶的具體模型需求，結(jié)合產(chǎn)品發(fā)工具部署支持。AI開(kāi)發(fā)使用支持具體包含訓(xùn)練開(kāi)發(fā)支持，推理開(kāi)模型調(diào)優(yōu)針對(duì)已遷移模型優(yōu)化模型的計(jì)算精度與計(jì)算性能至服務(wù)驗(yàn)3.服務(wù)質(zhì)量故障快速恢復(fù)能力是指智算中心發(fā)生故障時(shí)能夠快速進(jìn)行故障與該故障被修復(fù)，任務(wù)重新獲得執(zhí)行的時(shí)間點(diǎn)（九）智能運(yùn)營(yíng)1.監(jiān)控管理），2.自動(dòng)化運(yùn)維3.維保管理4.容量管理