T/BECC 002-2024智算中心技術(shù)要求和評(píng)估方法

ICS35040

CCSI6.540

團(tuán)體標(biāo)準(zhǔn)

T/BECC002—2024

智算中心技術(shù)要求和評(píng)估方法

Technicalrequirementsandevaluationmethodofartificial

intelligencecomputingcenter

2024-03-28發(fā)布2024-04-02實(shí)施

北京電子商會(huì)發(fā)布

中國(guó)標(biāo)準(zhǔn)出版社出版

T/BECC002—2024

目次

前言

…………………………Ⅲ

引言

…………………………Ⅳ

范圍

1………………………1

規(guī)范性引用文件

2…………………………1

術(shù)語(yǔ)和定義

3………………1

縮略語(yǔ)

4……………………1

智算中心總體要求

5………………………2

智算中心服務(wù)分類(lèi)

5.1…………………2

智算中心功能架構(gòu)

5.2…………………2

智算中心通用要求

5.3…………………3

智算基礎(chǔ)設(shè)施

6……………5

機(jī)房

6.1IDC……………5

網(wǎng)絡(luò)交換機(jī)

6.2…………………………9

智算算力服務(wù)器

6.3……………………11

通用計(jì)算服務(wù)器

6.4……………………12

存儲(chǔ)服務(wù)器

6.5…………………………12

安全服務(wù)器

6.6…………………………13

智算基礎(chǔ)平臺(tái)

7……………13

算力服務(wù)

7.1……………13

容器服務(wù)

7.2……………13

容器鏡像服務(wù)

7.3………………………13

網(wǎng)絡(luò)服務(wù)

7.4……………14

存儲(chǔ)服務(wù)

7.5……………14

安全服務(wù)

7.6……………14

機(jī)器學(xué)習(xí)平臺(tái)

8……………15

總體要求

8.1……………15

數(shù)據(jù)預(yù)處理

8.2…………………………15

模型開(kāi)發(fā)

8.3……………16

模型訓(xùn)練

8.4……………16

模型推理

8.5……………16

模型優(yōu)化

8.6……………17

模型評(píng)估

8.7……………17

模型納管

8.8……………17

Ⅰ

T/BECC002—2024

模型部署

8.9……………18

大模型智算平臺(tái)

9…………………………18

總體要求

9.1……………18

數(shù)據(jù)采集

9.2……………19

大模型訓(xùn)練

9.3…………………………19

大模型微調(diào)

9.4…………………………19

大模型推理

9.5…………………………20

大模型多模納管

9.6……………………20

統(tǒng)一監(jiān)控運(yùn)營(yíng)平臺(tái)

10……………………20

平臺(tái)業(yè)務(wù)流程

10.1……………………20

統(tǒng)一門(mén)戶(hù)

10.2…………………………21

用戶(hù)控制臺(tái)

10.3………………………21

資源管理

10.4…………………………21

運(yùn)營(yíng)管理

10.5…………………………22

運(yùn)維管理

10.6…………………………22

融合多租戶(hù)管理

10.7…………………22

統(tǒng)一安全管理

10.8……………………23

自動(dòng)化安裝部署

10.9…………………23

通用基礎(chǔ)平臺(tái)

10.10……………………23

機(jī)器學(xué)習(xí)平臺(tái)和大模型智算平臺(tái)的運(yùn)營(yíng)

10.11………23

智算中心評(píng)估方法

11……………………23

評(píng)估原則

11.1…………………………23

評(píng)估內(nèi)容與指標(biāo)

11.2…………………24

評(píng)估方法

11.3…………………………24

評(píng)估結(jié)論與判定

11.4…………………24

附錄資料性智算中心典型場(chǎng)景案例

A()………………25

附錄資料性智算中心統(tǒng)一監(jiān)控運(yùn)營(yíng)平臺(tái)相關(guān)能力

B()………………32

參考文獻(xiàn)

……………………36

Ⅱ

T/BECC002—2024

前言

本文件按照標(biāo)準(zhǔn)化工作導(dǎo)則第部分標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則的規(guī)定

GB/T1.1—2020《1:》

起草

。

請(qǐng)注意本文件的某些內(nèi)容可能涉及專(zhuān)利本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專(zhuān)利的責(zé)任

,。

本文件由北京電子商會(huì)提出并歸口

。

本文件起草單位北京電子控股有限責(zé)任公司北京電子數(shù)智科技有限責(zé)任公司阿里云計(jì)算有限

:、、

公司新華三集團(tuán)首都信息發(fā)展股份有限公司中國(guó)軟件評(píng)測(cè)中心北京電子城數(shù)智科技有限公司

、、、、、

中國(guó)電信股份有限公司北京分公司中電云計(jì)算技術(shù)有限公司浪潮北京電子信息產(chǎn)業(yè)有限公司

、、()。

本文件主要起草人王琳楊坤徐文星陸海翔劉如冰王磊魏詩(shī)雅郭磊師宇楊鑫孫東明

:、、、、、、、、、、、

李輝于波徐高杰楊景劉小健劉俊偉馬輝蘭文麗趙德智郝杰

、、、、、、、、、。

技術(shù)審查專(zhuān)家吳志剛張群張東于鐵強(qiáng)蔡春久胡良霖曹建彤朱大培陳玉峰張雅彬

:、、、、、、、、、、

馬福忠

。

Ⅲ

T/BECC002—2024

引言

智算中心是開(kāi)展算力資源服務(wù)支撐各領(lǐng)域開(kāi)展數(shù)據(jù)運(yùn)營(yíng)的重要基礎(chǔ)設(shè)施之一目前智算中心存

,。,

在能力等級(jí)不清晰度量指標(biāo)不統(tǒng)一服務(wù)商的服務(wù)能力不明確等問(wèn)題亟待解決的典型問(wèn)題包括

、、。:

對(duì)于中等復(fù)雜模型算力預(yù)訓(xùn)練微調(diào)檢驗(yàn)回歸測(cè)試全流程的效率較低

a),、、、;

算力隔離問(wèn)題號(hào)稱(chēng)支持多個(gè)隔離與實(shí)際效果不符缺乏隔離評(píng)價(jià)機(jī)制

b),CPU,;

如何保障存儲(chǔ)算力負(fù)載全鏈路的高效可靠

c)、、。

因此急需制定本文件從用戶(hù)對(duì)算力服務(wù)的不同需求數(shù)據(jù)應(yīng)用服務(wù)的不同環(huán)節(jié)采集傳輸交互

,,、(、、

加工處理分析建模應(yīng)用服務(wù)等出發(fā)明確算力服務(wù)類(lèi)別功能性能要求和評(píng)估方法等作為智算中心

、、),、,

建設(shè)評(píng)估參考依據(jù)

/:

便于用戶(hù)依據(jù)應(yīng)用場(chǎng)景資金預(yù)算對(duì)算力服務(wù)的選型參考

a)、;

為算力服務(wù)供應(yīng)鏈各方的產(chǎn)品研發(fā)和統(tǒng)一對(duì)接提供參考標(biāo)準(zhǔn)實(shí)現(xiàn)高效高質(zhì)量高性?xún)r(jià)比的

b),、、

算力服務(wù)

;

為政府企事業(yè)單位等各類(lèi)算力用戶(hù)第三方評(píng)估機(jī)構(gòu)開(kāi)展算力服務(wù)評(píng)價(jià)提供參考依據(jù)

c)、/。

Ⅳ

T/BECC002—2024

智算中心技術(shù)要求和評(píng)估方法

1范圍

本文件規(guī)定了智算中心的服務(wù)分類(lèi)功能架構(gòu)通用要求智算基礎(chǔ)設(shè)施智算基礎(chǔ)平臺(tái)機(jī)器學(xué)習(xí)

、、、、、

平臺(tái)大模型智算平臺(tái)統(tǒng)一監(jiān)控運(yùn)營(yíng)平臺(tái)的技術(shù)要求和評(píng)估方法

、、。

本文件適用于指導(dǎo)智算中心的研發(fā)設(shè)計(jì)建設(shè)和運(yùn)營(yíng)

、、。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款其中注日期的引用文

。,

件僅該日期對(duì)應(yīng)的版本適用于本文件不注日期的引用文件其最新版本包括所有的修改單適用于

,;,()

本文件

。

潔凈廠房設(shè)計(jì)規(guī)范

GB50073—2013

火災(zāi)自動(dòng)報(bào)警系統(tǒng)設(shè)計(jì)規(guī)范

G