冷板液冷服務(wù)器設(shè)計白皮書 2023

冷板液冷服務(wù)器設(shè)計白皮書版權(quán)聲明編制說明1 2 2 4 5 6 16 20 21 12圖1冷板式液冷原理示意圖。4表1液冷技術(shù)對比液冷方案非接觸式液冷接觸式液冷冷板式熱管式浸沒式液冷噴淋式相變浸沒式單相浸沒式投資成本初始投資中等，運維成本低初始投資中等，運維成本低初始投資及運維成本高初始投資及運維成本高結(jié)構(gòu)改造及液體消耗成本大，液冷系統(tǒng)初始投資成本低可維護(hù)性較簡單簡單復(fù)雜復(fù)雜供應(yīng)商超聚變等主流供應(yīng)商僅浪潮僅曙光云圖、云酷智能、曙光數(shù)創(chuàng)僅廣東合一應(yīng)用案例多少超算領(lǐng)域較多較多數(shù)據(jù)中心場景無批量使用分析初始投資中等，運維成本中等，部署方式與風(fēng)冷相式過渡較平滑初始投資中等，運維成本低，熱管的散熱能力收益較低初始投資最最高，需使用專用機(jī)柜，服務(wù)器結(jié)構(gòu)需改造為刀片式初始投資較收益較高，部分部件不兼容，服務(wù)器結(jié)構(gòu)需改造初始投資較高，運維成本高，液體消耗成本高，PUE收益中等，部署方式同浸沒式，服務(wù)器結(jié)構(gòu)需改造5液冷機(jī)柜架空地板二次側(cè)出水二次側(cè)回水一次側(cè)接口架空地板液冷機(jī)柜架空地板二次側(cè)出水二次側(cè)回水一次側(cè)接口架空地板液冷機(jī)柜分布式集中式CDU一次側(cè)接口一次側(cè)接口分布式式CDU集中式CDU。7形態(tài)機(jī)柜形態(tài)，與一個服務(wù)器機(jī)柜尺寸基本相同設(shè)備形態(tài)，寬、深與服務(wù)器尺寸基本相部署方式與服務(wù)器機(jī)柜并排部署，可同時為多個服務(wù)器機(jī)柜提供制冷能力部署在服務(wù)器機(jī)柜底部，只能為所在服務(wù)器機(jī)柜提供制冷能力部署復(fù)雜性服務(wù)器機(jī)房需要進(jìn)行二次側(cè)管路部署，部署復(fù)雜服務(wù)器機(jī)房免二次側(cè)管路部署，部署簡單可靠性冗余能力，可靠性高間冗余能力，可靠性低（理論上可以通性）空間利用率CDU需占用機(jī)柜安裝空間，液冷機(jī)柜規(guī)模較小時，空間利用率較分布式CDU低；規(guī)模部署液冷機(jī)柜時，空間利用率高CDU不占用機(jī)柜安裝空間，液冷機(jī)柜規(guī)模較小時，空間利用率高；規(guī)模部署液冷機(jī)柜時，空間利用率較集中式成本小規(guī)模時成本較分布式CDU高，大規(guī)模時成本低小規(guī)模時成本低，大規(guī)模時成本較集中適用場景大型數(shù)據(jù)中心，液冷大規(guī)模部署中小型數(shù)據(jù)中心，液冷小規(guī)模部署3.5服務(wù)器液冷管路。94.1整機(jī)柜服務(wù)器的要求表3通用算力整機(jī)柜服務(wù)器要求機(jī)柜服務(wù)器節(jié)點供電電源配置支持整柜集中供電，單個電源框高度≤3RU，支持2N供電系統(tǒng)，電源模塊支每相電流32A；交換槽位最少支持5個交換機(jī)槽位，支持第三方標(biāo)準(zhǔn)通用交換機(jī)安裝。管理模塊宜通過管理模塊對電源進(jìn)行統(tǒng)一管理并提供整機(jī)柜總功率；電源框體內(nèi)宜配置管理模塊，并具備動態(tài)節(jié)能管理功能。機(jī)柜內(nèi)供電總線1、48V銅排供電，滿足計算節(jié)點和+48V通用交換機(jī)供電需求。熱器半液冷場景：Manifold帶走服務(wù)器冷板熱量，服務(wù)器風(fēng)冷部分熱量和柜內(nèi)交換機(jī)的熱量通過機(jī)房散熱設(shè)備帶走。全液冷場景：Manifold帶走服務(wù)器冷板熱量，服務(wù)器風(fēng)冷部分熱量和柜內(nèi)交換機(jī)的熱量通過風(fēng)液換熱器帶走，實現(xiàn)100%液冷散熱。漏液檢測1、服務(wù)器節(jié)點、機(jī)柜防漏液設(shè)計，支持柜級和節(jié)點級漏液監(jiān)控，能夠?qū)崿F(xiàn)漏液自隔離。2、實現(xiàn)機(jī)柜功率、溫度、漏液檢測等信息采集、告警生成及上傳，并滿足與集中監(jiān)控平臺、集中帶外管理工具對接的要求。一體化交付支持除機(jī)柜門及其附件的整柜運輸（含機(jī)柜、服務(wù)器節(jié)點、交換節(jié)點、管理模表4AI算力整機(jī)柜服務(wù)器要求機(jī)柜服務(wù)器節(jié)點最少32U服務(wù)器部署空間，可適配GPU模組，液冷冷板至少覆蓋CPU、供電電源配置支持整柜集中供電，2個3U電源框，單個電源框高度≤3RU，最大支持36交換槽位最少支持5個交換機(jī)槽位，支持第三方標(biāo)準(zhǔn)通用交換機(jī)安裝。管理模塊宜通過管理模塊對電源進(jìn)行統(tǒng)一管理并提供整機(jī)柜總功率；電源框體內(nèi)宜配置管理模塊，并具備動態(tài)節(jié)能管理功能。機(jī)柜內(nèi)供電總線1、48V銅排供電，滿足計算節(jié)點和+48V通用交換機(jī)供電需求。熱器半液冷場景：Manifold帶走服務(wù)器冷板熱量，服務(wù)器風(fēng)冷部分熱量和柜內(nèi)交換機(jī)的熱量通過機(jī)房散熱設(shè)備帶走。全液冷場景：Manifold帶走服務(wù)器冷板熱量，服務(wù)器風(fēng)冷部分熱量和柜內(nèi)交換機(jī)的熱量通過風(fēng)液換熱器帶走，實現(xiàn)100%液冷散熱。漏液檢測1、服務(wù)器節(jié)點、機(jī)柜防漏液設(shè)計，支持柜級和節(jié)點級漏液監(jiān)控，能夠?qū)崿F(xiàn)漏液自隔離。2、實現(xiàn)機(jī)柜功率、溫度、漏液檢測等信息采集、告警生成及上傳，并滿足與集中監(jiān)控平臺、集中帶外管理工具對接的要求。一體化交付支持除機(jī)柜門及其附件的整柜運輸（含機(jī)柜、服務(wù)器節(jié)點、交換節(jié)點、管理模4.2單節(jié)點服務(wù)器的要求模式一模式二模式三模式一模式二模式三5.1液冷三種交付模式及優(yōu)劣勢表5液冷服務(wù)器交付模式交付模式IT設(shè)備側(cè)交付內(nèi)容交付界面說明模式一液冷服務(wù)器大型液冷機(jī)房，基礎(chǔ)設(shè)施已經(jīng)完備，只需采購“液冷服務(wù)器和接頭”即可。模式二液冷服務(wù)器+液冷機(jī)柜大型液冷機(jī)房，基礎(chǔ)設(shè)施已經(jīng)完備，已完成集中式CDU及機(jī)房內(nèi)二次側(cè)管路布局；只需采購交付“液冷服務(wù)器+液冷機(jī)柜及內(nèi)部配套部件”。模式三液冷服務(wù)器+液冷機(jī)柜機(jī)房外部冷塔及一次側(cè)管路已具備，只涉及機(jī)房內(nèi)部的二次側(cè)管路改造和布設(shè)，可以打包采購交付“服務(wù)器+機(jī)柜機(jī)房內(nèi)設(shè)施服務(wù)器服務(wù)器+機(jī)柜服務(wù)器圖5液冷不同交付模式示意圖表6液冷服務(wù)器三種交付模式對比方案對比模式一模式二模式三備注方案冷服務(wù)器2、其他配套全部由省公司統(tǒng)一建設(shè)1、IT側(cè)負(fù)責(zé)“液冷服務(wù)器+液冷機(jī)柜（整機(jī)2、其他配套全部由省公司統(tǒng)一建設(shè)1、IT側(cè)負(fù)責(zé)“服務(wù)器次側(cè)管路”等；2、其他配套全部由省公司統(tǒng)一建設(shè)。技術(shù)評估產(chǎn)品成熟度較差，需要較多服務(wù)器定制和接口對接驗證，存在兼容性風(fēng)險兼容性對接內(nèi)容較少，但整機(jī)柜方案對機(jī)房入口、電梯、走道等搬運空間和運輸通道要求高。目前應(yīng)用案例相對更多，業(yè)界產(chǎn)品更成熟，整體交付責(zé)任界面較清晰，但整機(jī)柜方案對機(jī)搬運空間和運輸通道承載要求更高。業(yè)界尚無完善的兼容性標(biāo)準(zhǔn)，現(xiàn)行液冷產(chǎn)品普遍存在廠家服務(wù)器和液冷機(jī)柜等配套設(shè)施整體打包交付情況建設(shè)周期機(jī)柜分離建設(shè)方式，需要進(jìn)行服務(wù)器與配套間的對接，建設(shè)周期相對較長配套對接相對較少，比風(fēng)冷周期長，但比機(jī)柜分開建設(shè)周期短，整機(jī)柜方案工廠完成主要集成，現(xiàn)場交付周期相對短配套對接最少，比風(fēng)冷周期長，由于服務(wù)器整機(jī)柜打包交付，實施復(fù)雜度最小和建設(shè)周期相對最短均比風(fēng)冷建設(shè)周期長，初步調(diào)研預(yù)計6個月以上，無法做到類似現(xiàn)網(wǎng)風(fēng)冷快速上線方案總結(jié)優(yōu)：界面與傳統(tǒng)風(fēng)冷類似劣：產(chǎn)品成熟度較差，建設(shè)周期較長。優(yōu)：產(chǎn)品成熟度較好，配套對接內(nèi)容少，交付及后期運維風(fēng)險較小。劣：IT側(cè)運維范圍相對較大，增加機(jī)柜內(nèi)水路運維。優(yōu)：當(dāng)前產(chǎn)品和解決方案成熟度最好，項目實施難度最小。劣：IT側(cè)運維范圍最二次測管路等非常規(guī)IT類設(shè)備。5.2液冷機(jī)房配套要求表7液冷給機(jī)房配套帶來的變化現(xiàn)網(wǎng)機(jī)房冷板式液冷浸沒式液冷備注設(shè)備尺寸（如含液冷門，建議深度≤m同時考慮卸貨平設(shè)備重量機(jī)房承重儲密集部署形態(tài)非標(biāo)機(jī)柜箱式部署（約3個標(biāo)準(zhǔn)機(jī)柜空架高地板入門坡道非必須≤7°≤7°列間空調(diào)必須（通道封閉）列間空調(diào)/液冷門不需要通道封閉需要需要/不需要不需要冷卻塔可使用隔離換板，具體評估一次側(cè)冷卻水軟化水/純水/去離子水軟化水/純水/去離子水二次側(cè)管道無需要，不銹鋼環(huán)路部署需要，不銹鋼環(huán)路部署二次側(cè)換熱列間空調(diào)/水冷門運維空間無需獨立運維空間無需獨立運維空間需要配套提供運維天車及運維臺空間功率密度（高功率暫無應(yīng)用案例）5.3液冷運維與風(fēng)冷運維的對比分析表8液冷給運維帶來的變化比較項傳統(tǒng)服務(wù)器冷板式液冷浸沒式液冷服務(wù)器風(fēng)扇冷散熱，其余仍然風(fēng)扇散熱部件兼容性兼容所有常見部件兼容所有常見部件存儲僅支持SSD和氦氣盤，電源無風(fēng)扇定制，光電轉(zhuǎn)接頭和線纜需密閉或防腐蝕定制前后窗IO拓展前后窗IO拓展（需含快接頭）前窗IO拓展（拓展能力受限）液冷部件不需要需要增加冷板、管路、漏液檢測線不需要部署方式部署方式機(jī)柜機(jī)柜式部署箱式部署二次側(cè)冷卻液不需要多使用乙二醇水，每柜氟化液或者礦物油，每箱分液器不需要每機(jī)柜均需部署不需要不需要需要，用于一次側(cè)和二次側(cè)換熱需要，用于一次側(cè)和二次側(cè)換熱漏液檢測系統(tǒng)不需要路都需要CDU、二次側(cè)管路都需要運維運維工具傳統(tǒng)手工補(bǔ)液頻率約半年每季度巡檢（年度酸值、顆粒物雜質(zhì)檢測等補(bǔ)液頻率約半年，需要運維天車、專用運維平臺等工具；1、不同的交付模式會影響原有機(jī)房側(cè)與IT設(shè)備側(cè)的維護(hù)界面劃分（采用機(jī)柜內(nèi)解耦時，維護(hù)界面與原有風(fēng)冷方式相同）2、對業(yè)務(wù)幾乎無影響1、部署運維方式改動較大，運維人員需特殊培訓(xùn)用前后IO機(jī)型部署，硬盤不支持熱插拔）氣盤，對服務(wù)器影響較大6.1超聚變金融領(lǐng)域液冷應(yīng)用案例6.2超聚變科教領(lǐng)域液冷應(yīng)用案例超聚變助力某教科研機(jī)構(gòu)搭建高性能、高質(zhì)量計算平臺項目規(guī)模?共240個液冷高密節(jié)點，4.5PB存儲。技術(shù)優(yōu)勢?算力密度提升：采用2U8高密液冷節(jié)點，提供1.43千萬億次計算能力?液冷高密節(jié)點及配套液冷設(shè)施單獨建設(shè)；?網(wǎng)絡(luò)，存儲低功耗設(shè)備仍采用風(fēng)冷建設(shè)。 交付模式：僅交付機(jī)柜及液冷服務(wù)器?一次側(cè)，液冷配套設(shè)施，機(jī)柜和服務(wù)器由不同廠家提供?一次側(cè)設(shè)備，CDU等提前部署，服務(wù)器廠家交付液冷機(jī)柜及液冷服務(wù)器進(jìn)行對接。 液冷方案收益?液冷2U8高密節(jié)點，相比同算力風(fēng)冷節(jié)點，節(jié)省8倍部署空間?低PUE，pPUE低至1.256.3浪潮金融領(lǐng)域液冷應(yīng)用案例整柜液冷交付，浪潮整機(jī)柜方案助力某金融客戶機(jī)房建設(shè)項目規(guī)模項目技術(shù)優(yōu)勢項目總體規(guī)模包含6000臺2U4節(jié)點液冷服務(wù)器、3000臺1U液冷服務(wù)器通用節(jié)點，單機(jī)柜支持36U液冷安裝空間，單柜功率達(dá)20kW每組機(jī)柜模塊配套2臺CDU，并形成液冷環(huán)網(wǎng)系統(tǒng)，在1臺CDU出現(xiàn)故障時，另一臺CDU可以完成對該組機(jī)柜模塊的液冷制冷機(jī)房規(guī)模約250臺液冷機(jī)柜、50臺350kW液冷CDU，二次側(cè)整體+IT設(shè)備交鑰匙 場景：風(fēng)液混合部署?每個模塊采用獨立的CDU+管路+液冷機(jī)柜+液冷服務(wù)器，即獨立的二次側(cè)循環(huán)由單一廠家供應(yīng)。?網(wǎng)絡(luò)，存儲等低功耗設(shè)備仍采用風(fēng)冷模塊建設(shè)。 交付模式：二次側(cè)打包采購?液冷方案一次側(cè)和二次側(cè)交付內(nèi)容分開采購?二次側(cè)打包服務(wù)器、機(jī)柜、CDU、二次側(cè)管路等統(tǒng)一設(shè)計，集中化布局 液冷方案收益?多節(jié)點服務(wù)器交付，算力密度提升4倍?PUE低至1.2；6.4曙光互聯(lián)網(wǎng)領(lǐng)域液冷應(yīng)用案例曙光數(shù)創(chuàng)冷板液冷解決方案助力某互聯(lián)網(wǎng)數(shù)據(jù)中心項目項目規(guī)模?某互聯(lián)網(wǎng)數(shù)據(jù)中心項目，共2700臺液冷機(jī)柜。項目技術(shù)優(yōu)勢?預(yù)制化二次側(cè)管網(wǎng)流體均流設(shè)計，并通過工廠均流性測試驗證；?液冷換熱單元CDU高效降溫，維護(hù)便捷；?液冷智能控制系統(tǒng)，設(shè)置多級別告警和應(yīng)急響應(yīng)機(jī)制。?每個模塊采用獨立的CDU+管路+液冷機(jī)柜+液冷服務(wù)器。即獨立的二次側(cè)循環(huán)由單一廠家供應(yīng)。?網(wǎng)絡(luò)，存儲等低功耗設(shè)備仍采用風(fēng)冷模塊建設(shè)。 ?液冷方案一次側(cè)和二次側(cè)交付內(nèi)容分開采購?統(tǒng)一標(biāo)準(zhǔn)：一次側(cè)供水流量，溫度，壓力，水質(zhì)為數(shù)據(jù)中心統(tǒng)一指標(biāo)。（冷塔，一次側(cè)管路由總集成方和設(shè)計院完成責(zé)任界面清晰。液冷方案收益?2U機(jī)架服務(wù)器，單柜21kW，算力密度提升2.5?低PUE，整體PUE低至1.25；曙光數(shù)創(chuàng)冷板液冷解決方案助力某IDC數(shù)據(jù)中心項目項目規(guī)模機(jī)柜。項目技術(shù)優(yōu)勢?預(yù)制化二次側(cè)管網(wǎng)流體均流設(shè)計，并通過工廠均流性測試驗證;；?液冷換熱單元CDU高效降溫，維護(hù)便捷；?液冷智能控制系統(tǒng)，設(shè)置多級別告警和應(yīng)急響應(yīng)機(jī)制。?每個模塊采用獨立的CDU+管路+液冷機(jī)柜+液冷服務(wù)器。即獨立的二次側(cè)循環(huán)由單一廠家供應(yīng)。?網(wǎng)絡(luò)，存儲等低功耗設(shè)備仍采用風(fēng)冷模塊建設(shè)。 ?液冷方案一次側(cè)和二次側(cè)交付內(nèi)容分開采購?統(tǒng)一標(biāo)準(zhǔn)：一次側(cè)供水流量，溫度，壓力，水質(zhì)為數(shù)據(jù)中心統(tǒng)一指標(biāo)。（冷塔，一次側(cè)管路由總集成方和設(shè)計院完成責(zé)任界面清晰。液冷方案收益?2U機(jī)架服務(wù)器，單柜20kW，算力密度提升2.5?低PUE，整體PUE低至1.25；6.6曙光氣象領(lǐng)域液冷應(yīng)用案例曙光數(shù)創(chuàng)冷板液冷解決方案助力國內(nèi)某高性能計算系統(tǒng)建設(shè)項目規(guī)模?氣象領(lǐng)域某高性能計算系統(tǒng)，一期88柜液冷系統(tǒng)、二期335柜液冷系統(tǒng)。項目技術(shù)優(yōu)勢?每個模塊采用獨立的CDU+管路+液冷機(jī)柜+液冷服務(wù)器。?網(wǎng)絡(luò)，存儲等設(shè)備采用風(fēng)冷冷卻模式。 交付模式：項目整體交付?項目低壓供電、風(fēng)冷冷卻方案、液冷方案一次側(cè)和二次側(cè)整體交付；液冷方案收益?4U液冷刀片服務(wù)器+2U液冷服統(tǒng)風(fēng)冷機(jī)柜提升10倍，低PUE，整體PUE低至1.23；6.7烽火科教領(lǐng)域液冷應(yīng)用案例某公有云數(shù)據(jù)中心，構(gòu)建新一代云基礎(chǔ)設(shè)施，已在多地規(guī)模部署液冷方案?采用華為液冷數(shù)據(jù)中心