《電信運營商液冷技術白皮書》

LiquidCoolingTechnologyWhitepaper(2023年)中國移動通信集團有限公司中國電信集團有限公司中國聯(lián)合網(wǎng)絡通信集團有限公司12前言 11.1面臨形勢1.1.1高密高算力基礎設施推動液冷新需求圖形渲染等計算密集型業(yè)務發(fā)展。計算型節(jié)點、AI訓練、超算等高算力業(yè)務需數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實施方案》中要求“推動數(shù)據(jù)中心采用液冷、機柜模塊年行動計劃(2021-2023年)》要求“加強核心技術研發(fā)。鼓勵企業(yè)加大技術研發(fā)層，總線級超融合網(wǎng)絡等網(wǎng)絡層的技術研發(fā)”。2021年11月發(fā)改委《貫徹落實碳達峰碳中和目標要求推動數(shù)據(jù)中心和5G等新型基礎設施綠色高質量發(fā)展實采用液冷等方式”。22021年7月工信部印發(fā)《新型數(shù)據(jù)中心發(fā)展三年行動計劃(2021-2023年)》 (工信部通信〔2021〕76號)，明確“到2023年底，新建大型及以上數(shù)據(jù)中心PUE以內”。2021年11月發(fā)改委印發(fā)《貫徹落實碳達峰碳中和目標要求推動數(shù)據(jù)中心和5G等新型基礎設施綠色高質量發(fā)展實施方案》(發(fā)改高技〔2021〕1742號)，明確“到2025年，月發(fā)改委同意啟動建設全國一體化算力網(wǎng)絡國家樞紐節(jié)點的系列復函中明1.2發(fā)展現(xiàn)狀31.2.2當前液冷技術發(fā)散冷是用冷卻液直接噴淋芯片等發(fā)熱單元，通過對流換熱進行散熱的一種方 (1)標準編制中參與編制的“《數(shù)據(jù)中心液冷服務器系統(tǒng)總體技術要求和測試方法》等團體標 (2)應用實踐項、軟件著作權1項、發(fā)表論文23篇。目前已穩(wěn)定運行近10年，年均PUE保4G5中國電信深入開展數(shù)據(jù)中心綠色低碳化建設，大力推進“要素升級、集成創(chuàng) (1)技術研究條件下，液冷運行PUE運行約1.15，項目2021年獲得“2021信息通信產(chǎn)業(yè)創(chuàng)新貢獻獎”(ICT最佳案例)。6 (2)試點應用GBBU試點應用。BUPUEPUEGBBU服務器試點應用U7州安裝冷板式液冷微模塊(2列服務器機柜)和風冷微模塊各1個，液冷微模塊劃在京津冀數(shù)據(jù)中心實施30個液冷服務器機柜；計劃在安徽建設3列，每列7臺36KW冷板式液冷機柜，預留8臺40KW浸沒式液冷機柜；在廣州開展1個 (1)理論研究溫度相互作用，研究不同液冷技術必要性及適應性，為建立“冷卻-能耗”模型提供8 (2)試點應用穩(wěn)定kW液冷機柜，并同步與風冷測試。風冷機柜PUE為1.448，液冷機柜PUE為1.254。如考慮液冷模式下主設備BBU取消風PUE1.4產(chǎn)業(yè)生態(tài)1.4.1產(chǎn)業(yè)鏈上游1.4.2產(chǎn)業(yè)鏈中游分1.4.3產(chǎn)業(yè)鏈下游91.5發(fā)展挑戰(zhàn) (1)液冷產(chǎn)業(yè)生態(tài)尚不成熟 (2)液冷系統(tǒng)架構尚在演進 (3)液冷系統(tǒng)成本仍較高2.1三年愿景據(jù)中心電能利用效率)，又要獲取最低TCO(全生命周期成本)；發(fā)揮規(guī)模優(yōu)2023年開展技術驗證，充分驗證液冷技術性能，降低PUE，儲備規(guī)劃、建 2.2技術路線在芯片演進趨勢上，芯片TDP設計功耗不斷增長，單個CPU功耗已達到PUW件2.3生態(tài)完善合作共贏的“新生態(tài)”。3技術方案3.1冷板式液冷3.1.1服務器與機柜解耦 (1)交付模式比較商交付。一體化交付是液冷整機柜(包括機柜和服務器)由廠商自定標準進行集 (2)盲插解耦方案CDU源風液換熱器，有效提升功率密度，降低PUE，節(jié)省布線空間，提高3.1.2CDU形式布局路主要由CDU(內循環(huán)通道部分)、液冷要由CDU(內流管路組件系統(tǒng)等組成量分配可維護性適用場景于業(yè)務需求明確的場CDU負率場景，易于機柜功耗匹配度3.1.3供電模塊器內器件供電電壓逐步向48V演進，與集中供電適配性高，可進一步減少服務分布供電模式：電源分布在每個服務器節(jié)點上，主要由PDU和分布在每個電模式對比DC模塊busbar故障時切換至另外一路。進行電源線纜，電機柜內設備通過銅排集中取電，極端情況下如分攤業(yè)務等方式，可避免對業(yè)務的影響。3.1.4冷卻液選擇乙二醇溶液為主，浪潮、新華三以25%丙二醇溶液為主。濃度25%并非定值，液性能對比25%丙二醇去離子水液行標要求-℃0-W/m*K)-/(KJ/kg*K)3474812-kgm3)-(mm2/s)52溫度下液體<50mm2/s對比AAA液體循環(huán)體電阻系數(shù)00μS/cm無液體允許接觸濃度>100ppm；使用液體要求無皮膚接觸，無眼接觸害無影響-道道放通過添加劑(緩蝕和殺菌)有效材料的滋長通過添加劑(緩蝕和殺菌)有效抑制質運蝕和 (緩蝕和殺菌)-本熟-3.2浸沒式液冷3.2.1系統(tǒng)方案流場及散熱優(yōu)化。浸沒式液冷設備內部冷卻液與IT設備直接接觸進行熱交換，由于不同的IT設備熱功耗不同，因此需考慮機柜內溫度場分布均勻，按需圖3.2.2冷卻液 (1)碳氫化合物(Hydrocarbon)及有機硅類冷卻液油、有機硅油3 (2)碳氟類(Fluorocarbon)冷卻液溫室效應碳氟化合物(UltraLowGWP)，爭取對環(huán)境友好的同時兼顧商用需求、例，能對比硅類冷卻液液天然礦物油合成油 ) P68電子冷卻氟化液壞無無無室效應高低2.22.2低低低高高性，會變色需要定期檢測害大高低低高，便于維護 低高高低性能(與密有關)低高 (絕緣性)低低低低4推進計劃4.1制定標準4.1.1冷板式液冷4.1.2單相浸沒式液冷4.2測試驗證4.2.1冷板式液冷4.2.2單相浸沒式液冷2024年適時開展系統(tǒng)兼容性、服務器定制、冷卻液(碳氫及有機硅化合物類和碳氟化合物類)國產(chǎn)替代等研發(fā)與試點驗證。4.3規(guī)模推廣議縮略語列表英文全名IArtificialIntelligencePowerUsageEffectivenessTotalCostofOwnershipThermaldesignpowerCentralProcessingUnitgraphicsprocessingunitcoolantdistributionunitUPowerSupplyUnitPowerDistributionUnit參考文獻著，數(shù)據(jù)中心熱點技術剖析[M].人民郵電出版社.2019委員會.液冷技術與應用發(fā)展白皮書[R].20185.英特爾公司.綠色數(shù)據(jù)中心創(chuàng)新實踐——冷板液冷系統(tǒng)設計參考[R].6.中國智能計算產(chǎn)業(yè)聯(lián)盟.東數(shù)西算下新型算力基礎設施發(fā)展白皮書[R].心委員會.冷板式液冷服務器可靠性白皮書[R].20228.開放數(shù)據(jù)中心委員會.ODCC-2020-05001.浸沒液冷數(shù)據(jù)中心規(guī)范[S].9.中華人民共和國工業(yè)和信息化部.YD/T3979-2021.數(shù)據(jù)中心浸沒式液試方法[S].202110.中華人民共和國工業(yè)和信息化部.YD/T3980-2021.數(shù)據(jù)中心冷板式液冷試方法[S].202111.中華人民共和國工業(yè)和信息化部.YD/T3981-2021.數(shù)據(jù)