聯(lián)想水冷技術介紹課件

聯(lián)想水冷解決方案2016Lenovo.Allrightsreserved.LenovoHPCSummit北京,七月一日.聯(lián)想水冷解決方案2016Lenovo.Allright2016Lenovo.Allrightsreserved.日程基礎架構制冷基礎架構管理12016Lenovo.Allrightsreserv面向選擇寬泛的客戶面向嚴苛的能源效率、高密設計要求的客戶面向既考慮制冷效率又關心配置靈活性的客戶水冷技術的選擇PUE=~1.5PUE=~1.2PUE<=1.1節(jié)點內直接水冷技術空氣制冷節(jié)點風冷，背板水冷熱交換內置風扇控制氣流適合任何數(shù)據(jù)中心最大的靈活性配件選擇寬泛支持節(jié)點直接擴展(StorageNeX,PCINeX)節(jié)點風冷,用水冷北門補充制冷用18度存儲制冷擴展受背門限節(jié)點內通過銅盤管直接水冷，沒有風扇，靜音效果良好提高分攤到每度電上的性能增加溫水水冷能源再利用高密度設計優(yōu)化能源消費和數(shù)據(jù)中心布局支持更高性能的處理器多數(shù)情況下，三種制冷方式可以并存(混合制冷數(shù)據(jù)中心)面向選擇寬泛的客戶面向嚴苛的能源效率、高密設計要求的客戶面向iDataplexdx360M4(2010-2013)在42U空間里面，配置i84臺iDataplexdx360M4服務器dx360M4節(jié)點,2xCPUs(130W,115W),16xDIMMS(4GB/8GB),1HDD/2SSD,networkcard.85%熱量可回收，

水溫18°C-45°C,0.5升每節(jié)點分鐘.iDataplex機架dx360M4服務器iDataplexdx360M4(2010-2013)在2016Lenovo.Allrightsreserved.NextScalenx360M5WCT(2013-2015)機柜配置NextScale機箱NextScale機箱6U高，支持12節(jié)點.nx360M5WCT2xCPUs(upto165W),16xDIMMS(8GB/16GB/32GB),1HDD/2SSD,1ML2orPCIeNetworkCard.85%熱量可回收，

水溫18°C-45°C,0.5升每節(jié)點分鐘2Nodesofnx-360M5WCTinaTraynx360M5with2SSDsScalableManifoldNextScale機箱2016Lenovo.AllrightsreservNextScalenx360M5WCT(2016)NextScale機箱6U高，支持12節(jié)點.nx360M5WCT2xCPUs(upto165W),16xDIMMS(8GB/16GB/32GB),1HDD/2SSD,1ML2orPCIeNetworkCard.85%熱量可回收,水溫18°C-45°C,0.5升每節(jié)點分鐘.現(xiàn)存的銅盤管通過聚乙烯盤管降低成本(FluorinatedEthylenePropylene)2Nodesofnx-360M5WCTinaTraynx360M5with2SSDsNextScalenx360M5WCT(2016)Ne如何測試PUEEnergyReuseEffectiveness度量數(shù)據(jù)中心是如何重復利用計算機散發(fā)出的能量ERE是計算消耗的電力和

計算機所消耗的電力與被重復利用的電力差的比值.理想的ERE等于0.如果沒有電力回收利用方案,ERE=PUEPUE=TotalFacilityPowerITEquipmentPower(ITpower+VR+PSU+Fan)ITPowerITUE=ERE=TotalFacilityPower–TreuseITEquipmentPowerPUEPowerusageeffectiveness(PUE)是一個衡量數(shù)據(jù)中心電力利用效率的數(shù)值;PUE是數(shù)據(jù)中心所需所有電力和利用在計算機上的電力的比值.理想數(shù)值是1.0該值并不能表現(xiàn)是如何優(yōu)化耗電結構的ITUEITpowereffectiveness(ITUE)度量節(jié)點是如何優(yōu)化耗電結構的理想值是1.0ERE7如何測試PUEEnergyReuseEffectiven面向選擇寬泛的客戶面向嚴苛的能源效率、高密設計要求的客戶面向既考慮制冷效率又關心配置靈活性的客戶PUE=~1.5/

ERE~2–1.5PUE=~1.2/ERE~1.5–1.2PUE<=1.1/ERE<<1withhotwater節(jié)點內直接水冷技術空氣制冷節(jié)點風冷，背板水冷熱交換內置風扇控制氣流適合任何數(shù)據(jù)中心最大的靈活性配件選擇寬泛支持節(jié)點直接擴展(StorageNeX,PCINeX)節(jié)點風冷,用水冷北門補充制冷用18度存儲制冷擴展受背門限節(jié)點內通過銅盤管直接水冷，沒有風扇，靜音效果良好提高分攤到每度電上的性能增加溫水水冷能源再利用高密度設計優(yōu)化能源消費和數(shù)據(jù)中心布局支持更高性能的處理器多數(shù)情況下，三種制冷方式可以并存(混合制冷數(shù)據(jù)中心)水冷技術的選擇面向選擇寬泛的客戶面向嚴苛的能源效率、高密設計要求的客戶面向

萊布尼茲系統(tǒng)SuperMUC:一期和二期PUE1.1五年內電力節(jié)省~37%，資金銷售從from27.6M€降到17.4M€3096臺nx360m5計算節(jié)點(HaswellEPCPUs)HPL=2.8PetaFLOP/s直接水冷,EASInfinibandFDR10臺

GSS26,7.5PB容量,100GB/sIO帶寬一期二期排名28和29，Top5002016.6性能一覽2012年6月歐洲Top500排名第一的系統(tǒng)9324節(jié)點配置2顆IntelSandyBridgeEPCPUsHPL=2.9PetaFLOP/sInfinibandFDR10網絡適合各種用途的巨大存儲空間利用IBMGPFS實現(xiàn)10P容量和200GB/s的IO帶寬

能源利用效率方面的創(chuàng)新溫水水冷EnergyAwareScheduling(EAS技術)最優(yōu)制冷效果的HPC系統(tǒng)9萊布尼茲系統(tǒng)SuperMUC:一期和二期PUE廢熱再利用廢熱夏天干什么?SuperMUCs的廢熱，為40.000m2

的辦公室供暖德國的新的建筑標準，隔熱性能指標很好:標準的熱量需求只有50W/m2廢熱再利用廢熱夏天干什么?SuperMUCs的廢熱，為40CooLMUC-2:廢熱重復利用用來生產冷卻水制冷機的制冷能力CooLMUC-2:廢熱重復利用用來生產冷卻水制冷機的制冷CooLMUC-2:ERE=0.3CooLMUC-2電力消耗CooLMUC-2熱量通過設循環(huán)水被帶走制冷機的制冷能力(COP~0,5–0,6)12ERE

=TotalFacilityPower–TreuseITEquipmentPower=120–87

104CooLMUC-2:ERE=0.3CooLMUC-2進口水溫為50°C全季節(jié)美歐壓縮機的制冷384計算節(jié)點466TFlop/s峰值計算能力基于氟化物涂層和金屬纖維的熱交換技術比基于當前基于硅膠制冷技術有三個優(yōu)點COP=60%總體省電50+%CooLMUC-2ERE=TotalFacilityPower–TreuseITEquipmentPower聯(lián)想NeXtScaleWaterCool(WCT)系統(tǒng)技術SorTech的吸收式制冷機組366TFlop/sHPLPerformanceRank262(November2015EnergyReuseEffectiveness(ERE)度量數(shù)據(jù)中心是如何重復利用計算機散發(fā)出的能量rERE=0.3進口水溫為50°C基于氟化物涂層和金屬纖維的熱交換技術CoDWC降低處理溫度（Xeon2697v4）19結論:直接水冷降低5%的CPU耗電并且支持更高主頻DWC降低處理溫度（Xeon2697v4）19結論:空冷和水冷比較

（Xeon2697v4）結論:關閉Turbo情況下,直接水冷節(jié)省5%電力，,and打開Turbo情況下,提高3%的性能，仍然省電1%15空冷和水冷比較（Xeon2697v4）結論:關閉Tu直接水冷帶給聯(lián)想的價值采用50°C水制冷,通過向建筑物提供能源，節(jié)省30%的能源服務器電力消耗降低CPU耗電(~5%)節(jié)點不需要風扇(~4%)制冷電力消耗采用45°C水制冷,可以估算一年節(jié)省~20%的制冷電力制冷設備節(jié)省熱力再利用

總共節(jié)省=50+%直接水冷帶給聯(lián)想的價值采用50°C水制冷,通過向建筑物提供如何管理電力節(jié)省閑置節(jié)點的電力消耗節(jié)省工作節(jié)點的電力消耗報告每節(jié)點、每機箱的溫度和電力每個作業(yè)的電力消耗優(yōu)化如何管理電力節(jié)省閑置節(jié)點的電力消耗報告每節(jié)點、每機箱的溫度和Antilles:開放的系統(tǒng)管理WEB控制臺LenovocomponentsOpenSource/3rdpartyLenovoHardwarexCAT/ConfluentTorque/MAUIGangliaWEBCONSOLEGUIOpenMPI,MVAPICHMPICH,IntelParallelstudioCentOS/RHELLustreOFEDServerStorageNetworkGui里面羅列的主要HPC組件是OpenHPC項目的一部分新功能制冷基于機柜和服務器的熱力圖CDU的水流狀況可預知的能源利用

獨立的調度器WEBCONSOLEGUIAdminguide/scriptsInstallationguide/scriptsGangliaTorque/MAUIOpenMPI,MVAPICHMPICH,IntelParallelstudioxCAT/ConfluentCentOS/RHELLustreOFEDServerStorageNetworkLenovocomponen