2022數(shù)據(jù)中心液冷技術(shù)白皮書

中興通訊液冷技術(shù)白皮書液冷技術(shù)白皮書數(shù)據(jù)中心中興通訊液冷技術(shù)白皮書液冷技術(shù)白皮書

2022.11液冷技術(shù)應(yīng)用背景 01功率密度持續(xù)升高 01數(shù)據(jù)中心PUE指標(biāo)不斷降低 02目錄液冷技術(shù)優(yōu)勢 04目錄低能耗 04高散熱 05低噪聲 05低05液冷技術(shù)方案 06冷板式液冷 07浸沒式液冷 08噴淋式液冷 10液冷趨勢分析 10中興通訊液冷技術(shù)方案 11總體方案 11DC液冷方案 12IT液冷方案 17CT液冷方案 18中興通訊液冷技術(shù)實踐 20濱江液冷實驗局 20CT液冷實驗局 22展望 2401綠色低碳轉(zhuǎn)型和可持續(xù)發(fā)展，通訊領(lǐng)域?qū)?shù)據(jù)中心節(jié)能降耗要求越來越嚴(yán)格。算力和硬件部分能耗也在持續(xù)增加，而在“雙碳”政策的持續(xù)推進(jìn)下，國家、地方政府、企業(yè)層面均在積極推動液冷技術(shù)應(yīng)用背景01綠色低碳轉(zhuǎn)型和可持續(xù)發(fā)展，通訊領(lǐng)域?qū)?shù)據(jù)中心節(jié)能降耗要求越來越嚴(yán)格。算力和硬件部分能耗也在持續(xù)增加，而在“雙碳”政策的持續(xù)推進(jìn)下，國家、地方政府、企業(yè)層面均在積極推動液冷技術(shù)應(yīng)用背景1密度也在持續(xù)攀升，產(chǎn)品每演進(jìn)一代功率密度攀升30~50%。當(dāng)代X86平臺CPU300~400W密度已超過圖1-1機(jī)柜功率密度與制冷方式

芯片功率密度的攀升同時帶來整柜功率密度的增長，當(dāng)前最大已超過30kW/機(jī)架；對機(jī)房制冷技術(shù)也提出了更高的挑戰(zhàn)。不同機(jī)柜功率密度對應(yīng)的機(jī)房典型制冷方式如圖1-1所示，液冷作為數(shù)據(jù)中心新興制冷技術(shù)，被應(yīng)用于解決高功率密度機(jī)柜散熱需求。0202數(shù)據(jù)中心PUE指標(biāo)不斷降低城市年平均氣溫℃數(shù)據(jù)中心PUE要求北京12.3112233上海16.6廣東22.6浙江16.5江蘇15.5山東14.7青島12.7新建1.3，至2022年存量改造1.4重慶18.4到2025年，電能利用效率（PUE）不高于1.3。集群起步區(qū)內(nèi)PUE不高于1.25。力四川15.3內(nèi)蒙古4.3寧夏9.5貴州15.5 于。 0303算力的持續(xù)增加，意味著硬件部分的能耗也在持續(xù)提升；在保證算力運轉(zhuǎn)的前提下，只有通過降低數(shù)據(jù)中心輔助能源的PUE要求。典型數(shù)據(jù)中心能耗1-224以上，是數(shù)據(jù)中心輔助能源中占比最高的部分，因此，降低制冷系統(tǒng)能PUE的降低。近年來，為了降低制冷系統(tǒng)電能消耗，行業(yè)內(nèi)對機(jī)房制冷技術(shù)進(jìn)行了持續(xù)的創(chuàng)新和探索；各制冷技術(shù)對應(yīng)PUE范圍如圖1-3/損耗實現(xiàn)數(shù)據(jù)中心PUE1.15~1.35；液冷則利用液體的高導(dǎo)熱、高傳熱特性，在進(jìn)一步縮短傳熱路徑的同時充分利PUE1.25

圖1-2典型數(shù)據(jù)中心能耗占比圖1-3數(shù)據(jù)中心制冷技術(shù)對應(yīng)PUE范圍0404散熱、低噪聲、低TCO等優(yōu)勢，是解決數(shù)據(jù)中心散熱壓力和節(jié)能挑戰(zhàn)的必由之路。液冷利用了液體的高導(dǎo)熱、高熱容特性替代空氣作為散熱介質(zhì)，同傳統(tǒng)強(qiáng)迫風(fēng)冷散熱對比，液冷具有低能耗、高液冷是一種采用液體帶走發(fā)熱器件熱量的散熱技術(shù)，適用于需提高計算能力、能源效率、部署密度等應(yīng)用場景；液冷技術(shù)優(yōu)勢2低能耗液冷散熱技術(shù)傳熱路徑短、換熱效率高、制冷能效高的特點促成液冷技術(shù)低能耗優(yōu)勢：傳熱路徑短：低溫液體由CDU（冷量分配單元）直接供給通訊設(shè)備內(nèi)；換熱效率高：液冷系統(tǒng)一次側(cè)和二次側(cè)之間通過換熱器實現(xiàn)液液換熱；一次側(cè)和外部環(huán)境之間結(jié)合風(fēng)液換熱、液液換熱、蒸發(fā)汽化換熱三種形式，具備更優(yōu)的換熱效果；制冷能效高：液冷技術(shù)可實現(xiàn)40~55℃年自然冷卻；除制冷系統(tǒng)自身的能耗降低外，采用液冷散熱技術(shù)有利于進(jìn)一步降低芯片溫度，芯片溫度降低帶來更高的可靠性和更低的能耗，整機(jī)能耗預(yù)計可降低約5%。05高散熱風(fēng)冷具有更高的散熱能力。T低噪聲液冷散熱技術(shù)利用泵驅(qū)動冷卻介質(zhì)在系統(tǒng)內(nèi)循環(huán)流動并進(jìn)行散熱，解決全部發(fā)熱器件或關(guān)鍵高功率器件散熱問題；能夠降低提升機(jī)房運維環(huán)境舒適性，解決噪聲污染問題。低TCO如上所述液冷技術(shù)具有極佳的節(jié)能效果，液冷數(shù)據(jù)中心1.2W）冷凍水方案2冷每年的能耗和電費對比。

2-1（2MW）2-2（2MW）0606液冷技術(shù)方案3液冷技術(shù)分為接觸式及非接觸式兩種，接觸式液冷是指將冷卻液體與發(fā)熱器件直接接觸的一種液冷實現(xiàn)方式，包括冷板式等具體方案。其中，冷板式液冷采用微通道強(qiáng)化換熱技術(shù)具有極高的散熱性能，目前行業(yè)成熟度最100液冷系統(tǒng)通用架構(gòu)及原理如下圖所示；室外側(cè)包含冷卻塔、一次側(cè)管網(wǎng)、一次側(cè)冷卻液；室內(nèi)側(cè)包含CDU、液冷機(jī)柜、ICT設(shè)備、二次側(cè)管網(wǎng)和二次側(cè)冷卻液。圖3-1液冷系統(tǒng)通用架構(gòu)原理圖0707冷板式液冷通過冷卻液體將熱量帶走的一種散熱形式。冷板式液冷系統(tǒng)主要由冷卻塔、、一次側(cè)&二次側(cè)液冷管路、冷卻介質(zhì)、液冷機(jī)柜組成；其中液冷機(jī)柜內(nèi)包含液冷板、設(shè)備內(nèi)液冷管路、流體連接器、分液器等。芯片設(shè)備熱量通過熱傳導(dǎo)傳遞到液冷板，工質(zhì)在CDUCDU換熱器將熱量傳遞到一次側(cè)冷卻液，溫度降低；低溫的工質(zhì)再進(jìn)入循環(huán)泵，一次側(cè)冷卻液最終通過冷卻塔將熱量排至大氣環(huán)境中。圖3-2冷板式液冷系統(tǒng)原理圖10年以上的研究積累，在三種主流液冷方案中技術(shù)成熟度最高，是解決的有效應(yīng)用方案；具有以下技術(shù)特性和優(yōu)勢：產(chǎn)品架構(gòu)兼容性：可兼容現(xiàn)有硬件架構(gòu)；機(jī)房適應(yīng)性：靈活適用于舊機(jī)房改造和新建機(jī)房；可靠性：液體與設(shè)備不直接接觸，可靠性更高；

維護(hù)性：節(jié)能：PUE1.2噪聲：風(fēng)機(jī)轉(zhuǎn)速大幅降低，噪聲值可至70dB左右。冷板式液冷未能實現(xiàn)100%液體冷卻，因此存在機(jī)柜功耗低、液冷占比低時，節(jié)能收益不顯著問題；且液冷板設(shè)計需要考慮現(xiàn)有設(shè)備的器件布局，結(jié)構(gòu)設(shè)計和實現(xiàn)的難度較大，標(biāo)準(zhǔn)化推進(jìn)難度大。0808浸沒式液冷T按照熱交換過程中冷卻液是否存在相態(tài)變化，可分為單相浸沒液冷和兩相浸沒液冷兩類。作為傳熱介質(zhì)的二次側(cè)冷卻液在熱量傳遞過程中僅發(fā)生溫度變化，而不存在相態(tài)轉(zhuǎn)變，過程中完全依靠物質(zhì)的顯熱變化傳遞熱量。圖3-3單相浸沒液冷系統(tǒng)原理圖單相浸沒液冷系統(tǒng)原理如圖上所示，CDUITCDU；通過CDU內(nèi)部的板式換熱器將吸收的熱量傳遞給一次側(cè)冷卻液；吸熱升溫后的一次側(cè)冷卻液通過外部冷卻裝置（如冷卻塔）將熱量排放到大氣環(huán)境中，完成整個制冷過程。作為傳熱介質(zhì)的二次側(cè)冷卻液在熱量傳遞過程中發(fā)生相態(tài)轉(zhuǎn)變，依靠物質(zhì)的潛熱變化傳遞熱量。圖3-4兩相浸沒液冷系統(tǒng)原理作為傳熱介質(zhì)的二次側(cè)冷卻液在熱量傳遞過程中發(fā)生相態(tài)轉(zhuǎn)變，依靠物質(zhì)的潛熱變化傳遞熱量。圖3-4兩相浸沒液冷系統(tǒng)原理0909兩相浸沒液冷系統(tǒng)原理圖如上圖所示，其傳熱路徑與單相浸沒液冷基本一致。主要差異在于二次側(cè)冷卻液僅在浸沒腔體內(nèi)部循汽化產(chǎn)生的高溫氣態(tài)冷卻液因密度較小，會逐漸匯聚到浸沒腔體頂部，與安裝在頂部的冷凝器發(fā)生換熱后冷凝為低溫液態(tài)冷卻IT與傳統(tǒng)風(fēng)冷和冷板式液冷相比，浸沒式液冷具有多項優(yōu)勢：（PUE1.13緊湊：支持高密機(jī)柜，單柜散熱量高達(dá)160kW；同時，機(jī)柜間無需隔開距離，機(jī)房不需要空調(diào)和冷凍機(jī)組、無需架空地板、無需安裝冷熱通道封閉設(shè)施；高可靠：設(shè)備完全浸沒在液體中，排除了溫度、風(fēng)機(jī)振動、灰塵等帶來的可靠性問題；低噪聲：100%液體冷卻，無需配置風(fēng)扇，實現(xiàn)極致“靜音”機(jī)房。IT結(jié)構(gòu)顛覆性：區(qū)別于傳統(tǒng)意義上的立式機(jī)架結(jié)構(gòu)，浸沒液冷所用的浸沒腔體為臥式Tank；器件選型局限性：硬盤：由于冷卻液的滲入，普通機(jī)械硬盤無法正常運轉(zhuǎn)，需要被替換為固態(tài)盤，或氦氣硬盤；需再設(shè)計風(fēng)扇及配套的調(diào)速和故障檢測措施；光模塊；為了避免出現(xiàn)由冷卻液滲入引起的信號失真和錯亂，需要選用全密封處理的光模塊；導(dǎo)熱界面材料：液冷環(huán)境下導(dǎo)熱硅脂會被液體沖刷溶解，需要使用固態(tài)界面材料。維護(hù)局限性：雜度高，耗時長；且開蓋維護(hù)過程有一定的冷卻液揮發(fā)問題，增加運行成本；機(jī)房環(huán)境特殊性：因浸沒式液冷系統(tǒng)Tank內(nèi)充滿冷卻液，整柜重量大幅增加，對機(jī)房有特殊承重要求，普遍要求浸沒式液冷機(jī)房地板承重應(yīng)大于1500kg/m2。1010噴淋式液冷噴淋式液冷是面向芯片級器件精準(zhǔn)噴淋，通過重力或系統(tǒng)壓力直接將冷卻液噴灑至發(fā)熱器件或與之連接的導(dǎo)熱元件上的液冷形&圖3-5噴淋式液冷系統(tǒng)原理圖行噴淋；冷卻液通過T噴淋式液冷同樣實現(xiàn)了100%液冷，其結(jié)構(gòu)顛覆性優(yōu)于浸沒式液冷；但節(jié)能效果差于浸沒式液冷，且存在與浸沒式液冷相同的局限性問題。液冷趨勢分析液冷趨勢分析1111中興通訊液冷技術(shù)方案4總體方案DCIT液冷路由交換設(shè)備一體化集成開發(fā)、交付；液冷一體化方案架構(gòu)如下圖所示。圖4-1液冷一體化方案架構(gòu)PAGE14PAGE14液冷一體化解決方案實現(xiàn)了液冷系統(tǒng)能耗最優(yōu)、成本最優(yōu)，并大幅縮短開發(fā)和交付周期，具備多項技術(shù)優(yōu)勢。進(jìn)組件共用和控制優(yōu)化，實現(xiàn)低能耗、低成本；進(jìn)組件共用和控制優(yōu)化，實現(xiàn)低能耗、低成本；&處理；選擇控制；系統(tǒng)全面監(jiān)控，異常情況提前預(yù)判、及時告警高可靠：液冷系統(tǒng)整體可靠性設(shè)計，液體潤濕面材料綜合需求和環(huán)境情況實時調(diào)控運行參數(shù)保持最低運行能； 實現(xiàn)產(chǎn)品及機(jī)房級的標(biāo)準(zhǔn)化&模塊化設(shè)計，并最大程度促更節(jié)能：冷卻塔、CDU、IT、TDC液冷方案DCIT液冷路由交換設(shè)備一體化集成開發(fā)、交付；液冷一體化方案架構(gòu)如下圖所示。4.2.1.14.2.1.1圖4-2DC液冷方案架構(gòu)DCCDU為分界劃分為一次側(cè)系統(tǒng)和二次側(cè)系統(tǒng)。其中，一次側(cè)系統(tǒng)由室外冷源、一次側(cè)水泵、一次側(cè)管路組成，二次側(cè)系統(tǒng)由液冷機(jī)柜、二次側(cè)管路、CDU組成。中興通訊可提供上述全套的液冷產(chǎn)品以及配套群控系統(tǒng)，形成完整的數(shù)據(jù)中心液冷解決方案。4.2.2.1設(shè)計工況4.2.2.1設(shè)計工況基于冷板式液冷方案的一次側(cè)系統(tǒng)，其功能是為二次側(cè)系統(tǒng)提供滿足散熱要求的冷卻水，而二次側(cè)系統(tǒng)的供液溫度及流量應(yīng)滿足液冷元件的散熱要求。液冷系統(tǒng)的工況設(shè)計可參考下表：一次側(cè)二次側(cè)供液溫度綜合考量當(dāng)?shù)貧庀髼l件和二次側(cè)供液溫度要求，推薦供液溫度不超過35℃在滿足液冷元件散熱要求的前提下，從節(jié)能角度考慮，建議供液溫度控制在40~50℃流量推薦按5~10℃溫差設(shè)計推薦按5~10℃溫差設(shè)計表4-1液冷系統(tǒng)工況設(shè)計4.2.2.24.2.2.2在國內(nèi)絕大部分地區(qū)，液冷系統(tǒng)均能夠使用自然冷卻。常見的自然冷冷源可選擇開式/閉式冷卻塔、干式冷卻器。冷源的選擇應(yīng)根據(jù)項目所在地的場地、氣象、水電等因素綜合考量。開式冷卻塔閉式冷卻塔干式冷卻器初投資結(jié)構(gòu)簡單，成本較低成本較高成本介于閉式塔與開式塔之間占地面積占地面積較小占地面積介于開式塔與干冷器之間占地面積較大耗水量蒸發(fā)損失，耗水量較大就會產(chǎn)生水量介于開式塔與干冷器之間，耗或濕簾系統(tǒng)會產(chǎn)生少量水量消耗淋耗電量耗電量較低耗電量介于開式塔與干冷器之間耗電量較高水質(zhì)差，容易結(jié)垢、滋生細(xì)菌水質(zhì)較閉式循環(huán)，水質(zhì)較好閉式循環(huán)，水質(zhì)較好適用場景適用于室外空氣質(zhì)量較好的地區(qū)水質(zhì)要求較高的場合較差且對循環(huán)地區(qū)需要增加噴淋或炎熱表4-2冷源選型對比4.2.2.3（EDU4.2.2.3（EDU）工廠內(nèi)預(yù)制的生產(chǎn)模式更有利于質(zhì)量控制，可減少現(xiàn)場施工中的質(zhì)量問題。4.2.3.1設(shè)計工況4.2.3.1設(shè)計工況該產(chǎn)品包括：箱體結(jié)構(gòu)件、熱交換器、二次側(cè)水泵、管路組件、配電控制箱及各種傳感器。上述各組件中與冷卻工質(zhì)接觸的材料必須經(jīng)過測試驗證，確保其與工質(zhì)的材料兼容性。此外，CDUCDU支持的機(jī)柜數(shù)量可從單個機(jī)柜擴(kuò)展到機(jī)柜組乃至整個集群，中興通訊可提供多種形態(tài)的CDU產(chǎn)品以適配不同的場景和規(guī)模需求。產(chǎn)品規(guī)格應(yīng)用場景機(jī)架式CDU風(fēng)-液型，6~20kW機(jī)柜級應(yīng)用：液冷科學(xué)樣機(jī)或?qū)嶒灳诌吘壒?jié)點部署液-液型，20~60kW機(jī)柜式CDU制冷量：200~600kW結(jié)構(gòu)形式：機(jī)柜式房間級應(yīng)用：老舊機(jī)房單機(jī)房或單層騰退改造新建中等規(guī)模機(jī)房微模塊、集裝箱場景平臺式CDU制冷量：1200~3600kW建筑級應(yīng)用：大型數(shù)據(jù)中心集中供冷表4-3CDU的應(yīng)用場景4.2.3.2二次側(cè)管路二次側(cè)管路用于連接CDU和末端的液冷機(jī)柜，實現(xiàn)冷卻工質(zhì)的傳輸和均勻分配?？紤]到冗余設(shè)計，二次側(cè)管路通常采用環(huán)形管網(wǎng)的連接方式。，此外環(huán)形閉合回路有助于提升流量均勻性且不存在流動死區(qū)，工質(zhì)始終處于循環(huán)流動狀態(tài)，不易變質(zhì)。環(huán)形管網(wǎng)包含供液環(huán)管、回液環(huán)管、CDU支路、機(jī)柜支路、排氣裝置、排污閥等組件。4.2.3.2二次側(cè)管路圖4-3二次側(cè)管路示意圖環(huán)形管路一般采用廠內(nèi)分段預(yù)制，現(xiàn)場組裝的方式交付，以保證管路的焊接質(zhì)量和清潔度。中興通訊可提供現(xiàn)場勘察、設(shè)計、BIMFD量分配的均勻性。4.2.3.3液冷機(jī)柜4.34.44.2.3.3液冷機(jī)柜圖4-4液冷群控系統(tǒng)架構(gòu)圖中興通訊針對液冷系統(tǒng)的特點開發(fā)了一套完整的液冷群控系統(tǒng)。控制系統(tǒng)采用液冷設(shè)備、液冷群控、動環(huán)監(jiān)控平臺三層架構(gòu)。CDU、EDU兩種產(chǎn)品，CDU、EDUCDUEDU/CDU控制器采集溫度、壓力、流量等傳感器數(shù)據(jù)，根據(jù)運行參數(shù)控制本設(shè)備內(nèi)的水泵和電動閥等部件，從而實現(xiàn)二次側(cè)供液溫度、流量的控制和調(diào)節(jié)。EDU控制器采集溫度、壓力、流量等傳感器數(shù)據(jù)，根據(jù)運行參數(shù)控制本設(shè)備內(nèi)的水泵和電動閥以及冷卻塔/干冷器內(nèi)的風(fēng)機(jī)、噴淋泵等部件，從而實現(xiàn)一次側(cè)供液溫度、流量的控制和調(diào)節(jié)。液冷群控采集一/二次側(cè)管路上的溫度、壓力、流量等傳感器數(shù)據(jù)，綜合所有運行參數(shù)整體協(xié)調(diào)所有液冷設(shè)備的運行，并實現(xiàn)主備切換，故障投切等綜合策略。同時，液冷群控還可以將定壓補(bǔ)水裝置、水處理裝置納入監(jiān)控，實現(xiàn)對液冷系統(tǒng)的集中控制。動環(huán)監(jiān)控平臺對數(shù)據(jù)中心內(nèi)的所有動力設(shè)備及環(huán)境變量進(jìn)行集中監(jiān)控。IT（60%80%），IT剩余的發(fā)熱量（20%~40%）仍需要通過空調(diào)系統(tǒng)解決。中興通訊可提供間蒸空調(diào)、氟泵空調(diào)、冷凍水系統(tǒng)等多種空調(diào)系統(tǒng)解決方案，適配不同的應(yīng)用場景和客戶需求。圖4-5液冷數(shù)據(jù)中心冷卻系統(tǒng)示意圖IT液冷方案IT以及漏液檢測裝置。液冷工質(zhì)IT直接影響液冷系統(tǒng)的設(shè)計方案、工作環(huán)境、可靠性、維護(hù)方（導(dǎo)熱系數(shù)等）、兼容性（金屬、非金屬）、成本和可獲取性IT液冷板IT需要根據(jù)單板芯片和芯片布局進(jìn)行芯片冷板和管路布局設(shè)計，具有一定的定制化特性，其次在定制化結(jié)構(gòu)設(shè)計中應(yīng)盡量保證內(nèi)部零件的通用性，如芯片冷板內(nèi)部流道、外形尺寸，以及液冷板進(jìn)出口組件結(jié)構(gòu)盡可能一致，以降低成本。液冷板的選型還需要結(jié)合實際功耗、工作壓力、流速等條件，綜合考慮冷板材質(zhì)、工藝等。同時，為了提升節(jié)能效果，IT設(shè)備應(yīng)盡可能提高冷板板式液冷占比；目前ZTE已推出自研液冷服務(wù)器，并制定了不同

的液冷解決方案，如CPUCPU+內(nèi)存條液冷，以及CPUVR80流體連接器流體連接器主要用于液冷散熱系統(tǒng)環(huán)路中各部件間的快速連接和斷開。選型要點包括工作流量、溫度、壓力、介質(zhì)、殼體材料、流阻特性、顏色標(biāo)識、安裝方式、接口形式等?，F(xiàn)階段，中興通訊自研液冷服務(wù)器產(chǎn)品選擇了Intel推薦的UQD系列流體連接器，促進(jìn)行業(yè)標(biāo)準(zhǔn)化進(jìn)程，滿足最終用戶兼容替代需求。分液器分液器安裝在IT設(shè)備液冷機(jī)柜內(nèi)，起到流量分配作用，將系統(tǒng)的循環(huán)工質(zhì)分配到各個IT設(shè)備節(jié)點，在液冷板內(nèi)換熱后將熱量帶出到主水管路。其設(shè)計選型需要考慮以下幾個方面：分液器內(nèi)流速通常不超過1.5m/s，流量分配需要均勻一致，根據(jù)結(jié)構(gòu)空間、充注量和機(jī)柜總重量綜合考慮分液器的體積。液冷軟管液冷管路是循環(huán)工質(zhì)流通通路，液冷管路需要參與整個液冷接接口。IT（柔1.5m/s）、管路布置、安裝方式、流量分配設(shè)計以及可靠性方面的要求。

漏液檢測裝置&整柜級智能監(jiān)控漏液檢測技術(shù)，及時告警，快速處理。主板預(yù)留液冷方案漏液偵測接口可快速識別泄漏情況，具有告警機(jī)制及應(yīng)急動作。CT液冷方案TITTCT液冷系統(tǒng)設(shè)計要素，以及與IT液冷工質(zhì)二次側(cè)液冷工質(zhì)采用國產(chǎn)化氟碳類冷卻液，絕緣不導(dǎo)電，即使極端情況下系統(tǒng)發(fā)生泄漏也不造成設(shè)備損壞；同時，氟碳工質(zhì)基本組成成份為大分子化合物，不能被微生物分解，微生物缺少生產(chǎn)繁殖的基礎(chǔ)碳源，因此，無水液冷系統(tǒng)中幾乎不存在微生物生產(chǎn)繁殖問題；系統(tǒng)整體可靠性等級更高。此外，氟碳工質(zhì)物理、化學(xué)穩(wěn)定性突出，與液冷系統(tǒng)潤濕面材料相容性更好，系統(tǒng)運行過程無需額外添加化學(xué)藥劑。液冷架構(gòu)CT制化設(shè)計，重點考慮以下因素：分液器易于安裝、拆卸；分液器在機(jī)柜內(nèi)的位置能夠?qū)崿F(xiàn)安裝在其上的流體連接器或管路插拔維護(hù)；分液器易于安裝、拆卸；分液器在機(jī)柜內(nèi)的位置能夠?qū)崿F(xiàn)安裝在其上的流體連接器或管路插拔維護(hù)；液冷管路與光纖線纜布局合理性，具備可操作性和可維護(hù)性；業(yè)務(wù)板和交換板功率具有一定差異，流量需求也不同，因此系統(tǒng)架構(gòu)層面需要具備流量易分配性。單板兼容性單板進(jìn)、出液接口：同一槽位，不同類型單板對外接口位置和結(jié)構(gòu)保持一致；單板進(jìn)、出液接口：同一槽位，不同類型單板對外接口位置和結(jié)構(gòu)保持一致；單板流阻：單板風(fēng)阻：不同類型單板因液冷板結(jié)構(gòu)設(shè)計帶來的風(fēng)阻變化盡量小。液冷板ITTT設(shè)備液冷板采用全金屬材料，各個芯片冷板之間通過金屬管進(jìn)行連接，金屬管與芯片冷板之間焊接成型，液冷板泄漏風(fēng)險顯著降低，可靠性更高。全金屬材料在帶來密封可靠性的同時，也引入了獨特的支反力問題。&金屬波紋管方案：芯片冷板之間采用金屬波紋管連接，大幅提高芯片冷板間浮動量，降低支反力約束。&金屬波紋管方案：芯片冷板之間采用金屬波紋管連接，大幅提高芯片冷板間浮動量，降低支反力約束。&維護(hù)性CT設(shè)備對產(chǎn)品可靠性要求高，非極端情況不允許業(yè)務(wù)中斷，因此需全面識別液冷系統(tǒng)失效模式，并制定對應(yīng)探測和預(yù)防措施，漏液檢測：漏液檢測：CTCDU液冷系統(tǒng)維護(hù)過程保證設(shè)備液體循環(huán)不中斷；專業(yè)在線維護(hù)車，提供第二套循環(huán)供液回路：液冷系統(tǒng)出現(xiàn)滲漏時首先將正式循環(huán)回路切換至維護(hù)回路，然后斷開被維護(hù)零部件進(jìn)行備件更換，最后由維護(hù)回路切換至正式循環(huán)回路；單板連接處采用小通徑動壓插拔流體連接器，工作狀態(tài)插拔力較小，可實現(xiàn)單板處的不斷液插拔；主管路連接采用大通徑流體連接器，工作狀態(tài)插拔力較大，需排液后再進(jìn)行插拔維護(hù)，提高維護(hù)操作性和可靠性。2020通訊液冷技術(shù)實踐5濱江液冷實驗局為了驗證液冷系統(tǒng)冷卻能力和節(jié)能效果，測試自研液冷產(chǎn)品的性能和可靠性，中興通訊在南京濱江部署了液冷實驗局。圖5-1系統(tǒng)原理圖PAGE22PAGE22濱江液冷實驗局基于冷板式液冷技術(shù)，創(chuàng)新地采用了全液冷設(shè)計。其系統(tǒng)原理圖如圖5.1所示，整個系統(tǒng)包含兩個熱量傳遞路徑：其一，液冷服務(wù)器內(nèi)主要發(fā)熱元件產(chǎn)生的熱量經(jīng)液冷板傳遞給二次側(cè)工質(zhì)，二次側(cè)工質(zhì)在二次側(cè)水泵的驅(qū)動下進(jìn)入板式換熱器，換熱器內(nèi)二次側(cè)工質(zhì)將熱量傳遞給一次側(cè)工質(zhì)，一次側(cè)工質(zhì)在一次側(cè)水泵的驅(qū)動下進(jìn)入閉式冷卻塔，在冷卻塔內(nèi)一次側(cè)工質(zhì)與室外空氣進(jìn)行換熱，完成散熱循環(huán)。其二，室內(nèi)空氣在風(fēng)扇的驅(qū)動下帶走液冷服務(wù)器內(nèi)次要發(fā)熱元件產(chǎn)生的熱量，之后空氣經(jīng)過液冷背門將熱量傳遞給一次側(cè)工質(zhì)，一次側(cè)工質(zhì)在一次側(cè)水泵的驅(qū)動下進(jìn)入閉式冷卻塔，在冷卻塔內(nèi)一次側(cè)工質(zhì)與室外空氣進(jìn)行換熱，完成散熱循環(huán)。圖5-2現(xiàn)場外觀圖IT柜四個部分組成。其中配電管控柜內(nèi)部署了配電箱、US、電池包等設(shè)備可為IT和冷卻系統(tǒng)提供可靠的供電。配電管控柜內(nèi)還集成了動環(huán)監(jiān)控平臺，可對所有的動力設(shè)備和環(huán)境變量進(jìn)行集中監(jiān)控。ITITIntelXEON高性能CPU、32節(jié)，可用于液冷系統(tǒng)的測試。

圖5-3液冷IT柜正面 圖5-4液冷IT柜背面圖5-5液冷CDU

CDU采用機(jī)架式設(shè)計，部署于液冷IT柜內(nèi)。CDU內(nèi)集成了二次側(cè)水泵、板式換熱器、二次側(cè)電動閥、各種傳感器以及控制器等組件。CDU控制器可對二次側(cè)工質(zhì)的溫度的進(jìn)行恒溫控制，并根據(jù)服務(wù)器的負(fù)載變化調(diào)節(jié)流量，實現(xiàn)制冷量與發(fā)熱量的匹配。EDU動閥、定壓補(bǔ)水裝置、各種傳感器以控EDU件的進(jìn)行控制外，還集成了閉式冷卻塔的控制，從而實現(xiàn)對一次側(cè)工質(zhì)溫度和流量的控制和調(diào)節(jié)。液冷背門安裝于液冷IT機(jī)柜背面，設(shè)占地面積小的優(yōu)點。液冷背門由管翅式換熱器和風(fēng)扇組成，管內(nèi)側(cè)為一次側(cè)冷卻水，通過冷卻水對服務(wù)器的出風(fēng)進(jìn)行冷卻。本項目液冷背門針對高溫冷卻水CT液冷實驗局

進(jìn)行了優(yōu)化，可以滿足服務(wù)器風(fēng)冷器件的散熱需求。該試點方案針對冷板式液冷系統(tǒng)無法實100PUEPUE1.14CDU一次側(cè)系統(tǒng)可簡化冷卻系統(tǒng)架構(gòu)，降低系統(tǒng)的初投資。

圖5-6水冷背門PUECDU；液冷核心路由器機(jī)柜；風(fēng)冷機(jī)房空調(diào)組成。CDU控制器根據(jù)被冷卻器件熱負(fù)荷的變化，通過調(diào)節(jié)冷卻塔風(fēng)機(jī)轉(zhuǎn)速、噴淋泵的啟停以及一次側(cè)冷卻液流量來控制換熱設(shè)備工作負(fù)荷，從而達(dá)到精確控制冷卻介質(zhì)溫度的要求，確保被冷卻器件進(jìn)液溫度穩(wěn)定在設(shè)計目標(biāo)值。CDU與液冷核心路由器間的二次側(cè)熱交換采用國產(chǎn)無水工質(zhì)實現(xiàn)，通過CDU內(nèi)的泵驅(qū)動冷卻液將路由器中器件的熱量帶到CDU內(nèi)的板式換熱器，完成一次側(cè)和二次側(cè)的熱量傳遞。液冷核心路由器采用風(fēng)/液混和的冷卻方式，風(fēng)冷部分熱量依靠機(jī)房空調(diào)解決，液冷部分熱量通過CDU以及室外冷卻塔解決。液冷系統(tǒng)采用單相無水工質(zhì)，絕緣不導(dǎo)電，使用更安全可靠，滿足十年長期穩(wěn)定運行；液冷單板采用流體連接器，支持設(shè)備運行過程中帶壓插拔，即插即用，高效維護(hù)。CDU使用外置方式，占用一個機(jī)柜位，液冷系統(tǒng)一次側(cè)采用冷卻塔冷卻、二次側(cè)高溫供液（≥45℃）方案，具有節(jié)能、高效、高集成的特點；關(guān)鍵部件采用冗余備份設(shè)計，可靠性更高。該解決方案實現(xiàn)核心芯片運行溫度降低10℃，理論故障率約減少一半；整機(jī)噪聲降6dBA以上，極大改善了機(jī)房環(huán)境，保護(hù)了工作人員身體健康；大容量核心機(jī)房綜合PUE1.2，還解決了高功率路由器空調(diào)散熱難的問題，充分體現(xiàn)了液冷代替風(fēng)冷的巨大優(yōu)勢。

圖5-7室外冷卻塔圖5-8CDU5-95-92424展望6在“數(shù)字經(jīng)濟(jì)”和“雙碳”大背景下，不斷提升的芯片熱流密度和不斷嚴(yán)苛的設(shè)備能耗設(shè)計要求成為制冷技術(shù)不斷演進(jìn)的兩大等優(yōu)勢，是解決數(shù)據(jù)中心散熱壓力和節(jié)能挑戰(zhàn)的必由之路。ICT當(dāng)前行業(yè)內(nèi)液冷技術(shù)成熟度、規(guī)范化和標(biāo)準(zhǔn)化工作有待進(jìn)一步提升，中興通訊希望與整個產(chǎn)業(yè)鏈上下游密切合作，共同推進(jìn)液冷技術(shù)的快速發(fā)展，促進(jìn)數(shù)據(jù)中心節(jié)能建設(shè)和國家雙碳目標(biāo)達(dá)成。 GB12955GB17565GB50016GB50052GB50084GB50116GB50140GB50174GB50189GB50222GB50223GB50311GB50370GB50462GB50898GB/T7106GB/T39786GB/T37092GA38JR/T0131JGJ16ANSI/TIA942-B（TelecommunicationsInfrastructureStandardforDataCenters） 機(jī)房工程項目（以下簡稱機(jī)房工程）engineeringofelectronicequipment總行機(jī)房headdata分行機(jī)房branchdata中心機(jī)房activedata災(zāi)備機(jī)房businessrecoverydata甲類項目ClassAdata1ClassB1data2ClassB2data丙類項目Cl