騰訊中國電信-電力行業(yè)數(shù)據(jù)中心算力-電力靈活性協(xié)同研究：智能管控計(jì)算負(fù)載靈活調(diào)節(jié)電力負(fù)荷

背景 1 系統(tǒng)化構(gòu)建數(shù)據(jù)中心算力-電力靈活性方案......4 利用空載服務(wù)器在不同功耗狀態(tài)之間切換 4利用計(jì)算任務(wù)在服務(wù)器硬件資源消耗上的不均衡性......4 利用空載服務(wù)器在不同功耗狀態(tài)之間切換的策略測試....5利用計(jì)算任務(wù)在服務(wù)器子部件消耗不均衡性的策略測試..6 CPU密集型任務(wù) 8利用平移和伸縮實(shí)時(shí)性不敏感的計(jì)算任務(wù)策略測試.......8 適應(yīng)新能源發(fā)電比例不斷提高，以及用戶側(cè)電力需求響應(yīng)逐步常態(tài)化的趨勢，騰訊攜手過2綠色電力，并希望主動(dòng)承擔(dān)起助力社索心PUE=數(shù)據(jù)中心總能耗/IT設(shè)備能耗PUE，PowerUsageEffectiveness的簡寫，是評價(jià)數(shù)據(jù)中心能3服務(wù)器負(fù)載 收服務(wù)器負(fù)載 收外硬件購置成本資源協(xié)同 ??服務(wù)器功率??數(shù)據(jù)中心負(fù)載藍(lán)色為本研究關(guān)注重點(diǎn)非服務(wù)器負(fù)載AIAI優(yōu)化4調(diào)節(jié)計(jì)算任務(wù)?服務(wù)器通過操作系統(tǒng)電源管?功耗狀態(tài)之間的切換時(shí)間影調(diào)節(jié)計(jì)算任務(wù)?服務(wù)器通過操作系統(tǒng)電源管?功耗狀態(tài)之間的切換時(shí)間影?通過將業(yè)務(wù)冷遷移或者熱遷移到不同地理位置的數(shù)據(jù)中 -26%功率44跨數(shù)據(jù)中心轉(zhuǎn)移任務(wù)內(nèi)存等各子部件的顆粒度進(jìn)行調(diào)節(jié)，在考慮業(yè)務(wù)性能和電力功率業(yè)服務(wù)器算力的總彈性便成為數(shù)據(jù)中心可主動(dòng)向電網(wǎng)提供的電力靈性5GPU硬盤存帶寬GPU硬盤存帶寬CPU各部件默認(rèn)供電業(yè)務(wù)實(shí)際所需供電CAI資IT排研究的重要課題。，HPC68億美元，較2020 原始平移縮容伸縮數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中數(shù)據(jù)中心前三個(gè)策略的實(shí)現(xiàn)需要業(yè)務(wù)-算力-電力三者的精準(zhǔn)關(guān)聯(lián)關(guān)系和協(xié)務(wù)具作為狀態(tài)監(jiān)測和功率調(diào)整工?英特爾?數(shù)據(jù)中心管理平臺(tái)(Intel?DataCenterManagement,Intel?DCM)：該平臺(tái)能夠通過帶外讀取系統(tǒng)整體電力和關(guān)鍵服同時(shí)其PowerGovernor模塊中的PowerCap功能還能夠提供精CPU秒級限制。inuxmpstatfreeiostatnicstatCPU6恢復(fù)指令FreezePowercap恢復(fù)指令FreezePowercap215W100%CPU53%%其他26%UFreezePowerCap8測試策略流程圖降低。其中，F(xiàn)reeze、PowerCap皆可秒級響應(yīng)，功率降比分別為分鐘，額外消耗電量0.0083kWh。省電指令下發(fā)空載狀態(tài)空載狀態(tài)恢復(fù)指令下省電指令下發(fā)空載狀態(tài)空載狀態(tài)250服務(wù)器功250(W)(W)15010050Shutdown500時(shí)間(分鐘)02468101214161820Freeze9W4%Powercap57W27%215W100%~3min部件施加壓力的負(fù)載并不代表不會(huì)對其他子部件造成壓力，例如內(nèi)取對單一部件壓力最大、同時(shí)關(guān)聯(lián)的其他子部件的壓力盡可能小的模擬負(fù)模硬盤密集型任務(wù)測試負(fù)載CPUGPUGPU盤7降低CPU功率硬盤復(fù)制1024x5MB4030可壓縮功率空間2000降低CPU功率硬盤復(fù)制1024x5MB4030可壓縮功率空間2000所用時(shí)間(秒)220210200190180170160150總功率(W)215W55W26%表2測試結(jié)果表內(nèi)存密集型任務(wù)測試負(fù)載CPUGPUGPU盤基于單服務(wù)器，執(zhí)行Linux系統(tǒng)上memtester工具，使得對內(nèi)存帶寬利用率維持在74%、47%和28%三個(gè)壓力水平。接著使用降低降低CPU功率Band47任務(wù)Band28任務(wù)，可對CPU功率進(jìn)行壓W內(nèi)存帶寬利80用率(%)6040200功率可壓縮空間 band74band47band283503002501350300250150服務(wù)器功率(W)82600220018001400100040035025020026002200180014001000400350250200Band28255W6W%Band47278W23W8%Band74313W57W表3測試結(jié)果表CPU密集型任務(wù)測試負(fù)載CPUGPUGPU硬盤網(wǎng)絡(luò)測試流程：運(yùn)行LinpackSMP任務(wù)作為CPU密集型的任U服務(wù)器CPU之外的子部件所用時(shí)間(秒)300功率300功率(W)CPU的性能-電力特性曲線(CPU功率調(diào)控)在斷點(diǎn)續(xù)算的基礎(chǔ)上，如果應(yīng)用軟件還具有并行計(jì)算節(jié)點(diǎn)數(shù)可變長和Glops長和Glops指標(biāo)。降低CPU功率單節(jié)點(diǎn)LINPACKSMPW91節(jié)點(diǎn)運(yùn)算擴(kuò)容10’27’’118Wh13’49’’123Wh9’54’’125Wh3節(jié)點(diǎn)2節(jié)點(diǎn)1節(jié)點(diǎn)1節(jié)點(diǎn)運(yùn)算擴(kuò)容10’27’’118Wh13’49’’123Wh9’54’’125Wh3節(jié)點(diǎn)2節(jié)點(diǎn)1節(jié)點(diǎn)測試負(fù)載CPUGPUGPU盤性圖測試流程：在2~3臺(tái)計(jì)算節(jié)點(diǎn)上分別按以下3種策略在3節(jié)點(diǎn)運(yùn)算功率(W)120010008006004002000時(shí)間測試負(fù)載VASP(ViennaAbinitioSimulationPackage)是當(dāng)下具備最廣泛的P一個(gè)VASP任務(wù)作為典型的子任務(wù)耦合型并行計(jì)算任務(wù)，任務(wù)詳CPUGPUGPU盤特性圖4節(jié)點(diǎn)運(yùn)算4節(jié)點(diǎn)運(yùn)算4節(jié)點(diǎn)運(yùn)算52’41’’41’42’’753Wh4節(jié)點(diǎn)37’07‘’623Wh45’35‘’661Wh24節(jié)點(diǎn)運(yùn)算4節(jié)點(diǎn)運(yùn)算4節(jié)點(diǎn)運(yùn)算52’41’’41’42’’753Wh4節(jié)點(diǎn)37’07‘’623Wh45’35‘’661Wh2節(jié)點(diǎn)4節(jié)點(diǎn)運(yùn)算圖24策略測試流程圖節(jié)點(diǎn)，對中斷的任務(wù)進(jìn)行續(xù)算，總計(jì)算耗時(shí)45分35秒，總功耗1500115005000務(wù)器集群在運(yùn)行不同IT任務(wù)類型消務(wù)式科到務(wù)心領(lǐng)?從CPU功率調(diào)控到內(nèi)存功率調(diào)控：本項(xiàng)目中所使用的服務(wù)器內(nèi)務(wù)(程序)開發(fā)方、硬件生產(chǎn)商、業(yè)務(wù)運(yùn)行方甚至硬件調(diào)度方(例如云協(xié)作，制定和采用一套標(biāo)準(zhǔn)的測試方交換機(jī)2千兆電口網(wǎng)絡(luò) 01……計(jì)交換機(jī)2千兆電口網(wǎng)絡(luò) 01……計(jì)算節(jié)點(diǎn)20綠綠色數(shù)據(jù)中心目標(biāo)?數(shù)據(jù)中心層?池技術(shù)? 維?機(jī)架層?? 技術(shù)?浸沒式液冷設(shè)計(jì)指南/規(guī)范服務(wù)器層?48V供電架構(gòu)?冷板式液冷設(shè)計(jì)指南/規(guī)范?先進(jìn)風(fēng)冷設(shè)計(jì)指南/規(guī)范?節(jié)點(diǎn)管理技術(shù)XPU層控制技術(shù)?考慮熱性能的硅片設(shè)計(jì)?英特爾?速度選擇技術(shù)?XPU層控制技術(shù)?考慮熱性能的硅片設(shè)計(jì)?英特爾?速度選擇技術(shù)柜2臺(tái)20臺(tái)CPU型號：英特爾?至強(qiáng)?E5-2680V4處理器，35MCache,2.40GHzCPU顆數(shù)：2CPU總核數(shù)：28128G盤300G*2HDDTLinux2.2(兼容CentOS7)跳板機(jī)交換兆光絡(luò)點(diǎn)共享文件盤本項(xiàng)目中使用的LinpackSMP參數(shù)如下：LinpackSMPDistirbutionxlinpack_xeon64Problemsize58608,120832LDA58608,120832不同實(shí)驗(yàn)Linpack配置對于內(nèi)存功率變化不明顯，在分析中僅展示ProblemSize為58608的運(yùn)行結(jié)果。算柜<5356.8(N*mm/°)300100腳注和法律聲明IPCCAR6WGIII,ClimateChange2022:MitigationofClimateChange,2022業(yè)將于2030年左右達(dá)峰，碳減排需聚焦四個(gè)方面》，/s?id=1726974026040997440&wfr=spider&for=pcRossKoningstein，Wenowdomorecomputingwherethere’scleanerenergy，2021，https://blog.google/outreach-initiatives/sustainability/carbon-aware-computing-location/AnaRadovanovic,Ourdatacentersnowworkharderwhenthesunshinesandwindblows，2022，https://blog.google/inside-google/infrastructure/data-centers-work-harder-sun-shines-wind-blows/Intel,DynamicallyControllingServerPowerConsumptionandReducingDataCenterPeakUsageby16to18Percent,2012,/content/www/cn/zh/software/ntt-dat