T-SHSIC 0101-2023 智算中心算力性能評估測試方法

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

35.240學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載CCS

L70團(tuán) 體 標(biāo) 準(zhǔn)

0101智算中心算力性能評估測試方法

Performance

Evaluation

Test

of

20230614

20230630

上海市通信學(xué)會

學(xué)ｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)兔兔ｗ下載學(xué)ｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)兔兔ｗ下載學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載目次

..............................................................................

................................................................................

......................................................................

..........................................................................

............................................................................ 4.1

.................................................................... 4.2

.................................................................... 4.3

.................................................................... 4.4

.................................................................... 4.5

....................................................................

.................................................................... 5.1

........................................................................ 5.2

............................................................................ 5.3

..........................................................................

................................................................... 106.1

....................................................................... 106.2

....................................................................... 11

..................................................................... 137.1

..................................................................... 137.2

................................................................... 137.3

................................................................... 14

................................................................... 158.1

..................................................................... 158.2

................................................................... 168.3

................................................................... 17

....................................................................... 189.1

............................................................... 189.2

................................................................. 209.3

................................................................... 21

.................................. 23............................................................................. 24學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/SHSIC

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載前 言

1.1—2020

本文件起草單位：中國電信股份有限公司上海分公司、上海超級計(jì)算中心、上海華東電信研究院、上海郵電設(shè)計(jì)咨詢研究院有限公司、華為技術(shù)有限公司、上海大學(xué)、中國移動通信集團(tuán)上海有限公司、繼、沈陽、曹曉琦、童維勤、李康童、肖晴、姜愷、王思善、朱方、鄭榮、代小菊、徐鈺峰、朱云峰、上海郵電設(shè)計(jì)咨詢研究院有限公司、華為技術(shù)有限公司、上海大學(xué)、中國移動通信集團(tuán)上海有限公司、學(xué)ｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)兔兔ｗ下載學(xué)ｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)兔兔ｗ下載學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載智算中心算力性能評估測試方法

intelligent

computing

centerAI

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

PaaS

3.10

a) b)c)測試用例算法模型和數(shù)據(jù)集由測試者根據(jù)目標(biāo)選擇，封閉模式使用業(yè)界公開的算法模型和數(shù)開放d)

1)???2)學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載??

?3)? ??

1) 2) 3)訓(xùn)練測試過程中，對已實(shí)現(xiàn)的指標(biāo)測量函數(shù)或測試流程控制函數(shù)實(shí)施改動、繼承或重載4)??

?

??5)6)

1)? ?? 2)?? ?

?3)? ??4)

不發(fā)送兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下學(xué)載

兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下學(xué)載??

1)2)?????

4.2.2b

1)2)3)

epoch

epoch

HH:mm:ss]–

4) 5)

?λ

k

k)

????

????

5s-10s10

ｏｍ標(biāo)準(zhǔn)學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃ下載

ｏｍ標(biāo)準(zhǔn)學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃ下載

1)???2)? ? ?? 3)??學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載?

1) ? ? ?? 2)??測試前，除數(shù)據(jù)集封裝格式轉(zhuǎn)化外，不應(yīng)瀏覽或記錄數(shù)據(jù)、修改數(shù)據(jù)（非預(yù)處理）、?

1) 2)3)

1)2)

]–[1)2)

3)4)學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載5)

節(jié)對智算中心的算力資源管理能力進(jìn)行評估，主要評估被測試者的算力加速卡支持的虛擬化分片方式、分布式聚合方式及資源管理的開放程度，第節(jié)對智算中心的生態(tài)支持能力進(jìn)行評估，主要評a)b)要求被測試者提供支持方式的評估項(xiàng)，應(yīng)可在測試環(huán)境中進(jìn)行驗(yàn)證，測試環(huán)境可由測試者準(zhǔn)c)d) e)

a)b)c)d) e)f)

????dtype

????

.................................

????dtype

FP16T——學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載K——

）單柜測試：使用一個機(jī)柜中的所有服務(wù)器系統(tǒng)中的所有加速卡實(shí)施計(jì)算，單柜測試可擴(kuò)展到更

）使用被測系統(tǒng)向智能計(jì)算應(yīng)用提供的張量計(jì)算的算子，進(jìn)行一次或多次的矩陣（稠密矩陣或?。┊?dāng)測試對象為單機(jī)或單柜時，使用被測系統(tǒng)向智能計(jì)算應(yīng)用提供的通信功能，進(jìn)行必要的并行15OPS

功耗是指在第5.1節(jié)峰值算力測試場景下，人工智能加速卡、服務(wù)器系統(tǒng)或整機(jī)柜單位時間內(nèi)所消Np0

p1pN+1N????

????

1

Ni=1????i

..................................

兔ｗｗｗ．ｂｚｆｘｗ學(xué)兔．ｃｏｍ標(biāo)準(zhǔn)下載

兔ｗｗｗ．ｂｚｆｘｗ學(xué)兔．ｃｏｍ標(biāo)準(zhǔn)下載

1%10

-6

OPSdtypeOPSdtype

.............................

MSa/s

BMC

）測試對象為單卡、單機(jī)或單柜；單卡功耗指單個加速卡的功耗，單機(jī)功耗指單個服務(wù)器系統(tǒng)的

速卡????????Sp

pOPSdtypedtype

a) b)c) 學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

1

2,,…N,}average?epochtrain

指一次完整的訓(xùn)練過程中，被測系統(tǒng)所消耗的功耗，訓(xùn)練功耗單位為瓦（）。取多次訓(xùn)練測得訓(xùn)

a)b)

a) TensorFlowONNXb) c) d)FP16FP32

a) b)

．ｂｚｆｘｗｗｗ．ｃ兔ｗ學(xué)兔ｏｍ標(biāo)準(zhǔn)下載

．ｂｚｆｘｗｗｗ．ｃ兔ｗ學(xué)兔ｏｍ標(biāo)準(zhǔn)下載 FP16FP32

?????????????????????????????????????????????????????????????????????????

?????????????????????????

???????????????????????????????????????????????????????????????????????????????????????????????????）為一次訓(xùn)練任務(wù)的時間。執(zhí)行次，去除最高值和最低值，計(jì)算平均值，得到

????????????????????????

Ttraini

）中，通過配套的功率計(jì)，測量訓(xùn)練任務(wù)消耗的功耗。執(zhí)行

train

Ptraini

推理學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

率、準(zhǔn)確率、F1-score（精確率和召回率的調(diào)和平均數(shù)）等；自然語言處理場景的BLEU

）開放模式：使用被測者提供的自定義算法模型，樣本數(shù)據(jù)使用自定義數(shù)據(jù)集。應(yīng)明確被測模型

要求披露被測系統(tǒng)服務(wù)器規(guī)格，包括處理器型號，CPU核數(shù)、內(nèi)存容量等；算力芯片規(guī)格，包括芯

TensorFlowONNXINT8FP16

ｚｆｘｗ．ｂ．ｃ學(xué)兔兔ｗｗｗｏｍ標(biāo)準(zhǔn)下載

ｚｆｘｗ．ｂ．ｃ學(xué)兔兔ｗｗｗｏｍ標(biāo)準(zhǔn)下載

?????????????????????????????????????????????????inference

finish

startTinference

Tinference

P

...............................P

...............................

OPSdtypedtype

5.15.2節(jié)測試方法，分別測試單卡、單機(jī)、單柜的峰值算力，記錄峰值算力值，

ｗｗ．ｂｚｆｘｗ．ｃ學(xué)兔兔ｗｏｍ標(biāo)準(zhǔn)下載???

EDIT

.......................................

Thｗｗ．ｂｚｆｘｗ．ｃ學(xué)兔兔ｗｏｍ標(biāo)準(zhǔn)下載???

EDIT

.......................................

Th?

?∏

sThτss

τs (6)

載下，總耗電量與信息設(shè)備耗電量的比值。它用來衡量智算中心的電能利用效率。PUE????????????

EDDDIT

GB

GB

吞吐images/ssentences/s合有Ths

S

Ths

為基線吞吐率的加速卡型號及相應(yīng)的人工智能服務(wù)器系統(tǒng)的具體配置環(huán)境，以便測試結(jié)果可以橫向?qū)?/p>

兔學(xué)兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

兔學(xué)兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

a)

b)

*c)

Ths

Thsd)

(6)

給定的標(biāo)準(zhǔn)模型計(jì)算任務(wù)，比較切分后的實(shí)際吞吐量和切分前的人工智能加速卡（服務(wù)器）的吞吐量。

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載1)2)3)1)2)3)1) 2)3)

在服務(wù)器集群場景中，為提高資源利用率、應(yīng)用安全性和可移植性，需要支持容器化部署及K8S

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

a)

1) 2) 3) 6.14)5)b)

1)2) 3) 4) 5)

應(yīng)能提供當(dāng)前算力設(shè)備的運(yùn)行狀態(tài)信息采集接口，包括卡運(yùn)行溫度、功率、CPU

利用率、加速卡

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載CPU/

a)

b)

c)

d)

Docker

a)

用于軟件開發(fā)；b)c)

C++

支持用戶開發(fā)；d) 編譯工具鏈支持，是否提供編譯工具鏈包含編譯器、調(diào)試和分析工具，對用戶程序進(jìn)行編譯、e)

Send/Recv

g)

PythonC++

PaddlePaddleMindSpore

a)

b)

c)

SNa)

b)

a)

b)

Sample

samplea)

b)

blas

a)

b)

a)

b)

a)

sampleb)

a)

b)

兔ｗ兔學(xué)ｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

兔ｗ兔學(xué)ｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載模型

ONNXa)

b)

c)

a)

b)