數(shù)據(jù)中心的高壓直流之路

1、數(shù)據(jù)中心的高壓直流之路1. 引言傳統(tǒng)的數(shù)據(jù)中心大都通過(guò) UPS 來(lái)實(shí)現(xiàn)掉電保護(hù)，通常所有 IT 負(fù)載都要經(jīng)過(guò) UPS 來(lái)供電， 假定實(shí)際運(yùn)行 UPS 的平均效率為 90%（雖然目前 UPS 最高效率是可以達(dá)到 95%以上， 但我們知 道 UPS 的效率和負(fù)載率有關(guān)，如左下圖所示，隨著負(fù)載率的提升，效率才會(huì)變高，那么正常情 況 20%-40% 負(fù)載率下很難會(huì)達(dá)到最高效率點(diǎn)。根據(jù)在運(yùn)行UPS 的實(shí)際測(cè)試數(shù)據(jù)，絕大多數(shù)情況下的效率不高于 90% ），那么每 100 度電，經(jīng)過(guò) UPS 這個(gè)環(huán)節(jié)就白白損耗掉 10%。不僅如此， 我們還需要考慮 UPS 散發(fā)出來(lái)的熱量需要額外的空調(diào)帶走，按數(shù)據(jù)中心典型

2、PUE 為 1.8 來(lái)算， 那么 UPS 環(huán)節(jié)帶來(lái)的總能耗達(dá) 18% ，很不節(jié)能。a） UPS 效率和負(fù)載率的關(guān)系（b）傳統(tǒng)機(jī)房的能耗分布我們還知道 UPS 設(shè)備的拓?fù)浣Y(jié)構(gòu)比較復(fù)雜，因此其單機(jī)可靠性一直不是很高。為了解決單 點(diǎn)故障問(wèn)題，通常會(huì)引入 2N，甚至 2* （ N+1 ）的冗余配置，那么這種情況下，雖然一定程度上 提升了整個(gè)系統(tǒng)的可靠性，但帶來(lái)的問(wèn)題其實(shí)不少。首先， 投資成本雙倍增加， 而且占用了很多 機(jī)房的寶貴空間，并增加了運(yùn)維的復(fù)雜度。其次，同前面解釋過(guò)的一樣， UPS 系統(tǒng)的負(fù)載率在2N 情況下會(huì)比較低， 此時(shí) UPS 的效率也很低， 額外增加了不少電費(fèi)開(kāi)銷并浪費(fèi)了很多寶貴的能

3、源。最后，單機(jī) UPS的容量可能不夠大，那么往往會(huì)采用并機(jī)模式，同樣由于 UPS 自身結(jié)構(gòu)的 復(fù)雜性，且并機(jī)要求幅度、頻率、相位等同，加上并機(jī)板自身也為單故障點(diǎn)，并機(jī)風(fēng)險(xiǎn)較大。很多實(shí)際發(fā)生的案例表明在市電電網(wǎng)正常情況下，但因 UPS 自身故障引起機(jī)房掉電情況。 UPS 是大容量危險(xiǎn)設(shè)備，其內(nèi)部電容等元件壽命只有五年，因此電容擊穿、漏液短路等危險(xiǎn)也 時(shí)有發(fā)生，輕則造成系統(tǒng)宕機(jī)，重則導(dǎo)致機(jī)房著火，而且出了事故，第一時(shí)間現(xiàn)場(chǎng)無(wú)法處理，嚴(yán)重依賴廠商響應(yīng)速度。綜上所述，傳統(tǒng)的 UPS 供電方案，可靠性也不是很高。或者說(shuō)為了達(dá)到 較高可靠性，需要把系統(tǒng)做得很復(fù)雜，且投資很大。這里再補(bǔ)充一點(diǎn)關(guān)于模塊化 UP

4、S 的看法，雖然模塊化 UPS 部分解決了分期投資以及可調(diào)負(fù) 載率從而效率更高等問(wèn)題， 但同樣存在多模塊設(shè)計(jì)并機(jī)復(fù)雜引起的可靠性問(wèn)題仍沒(méi)很好解決， 而 且由于電池掛接在逆變器之前， 也無(wú)法實(shí)現(xiàn)輕載下的節(jié)能休眠等功能， 因此不是很好的解決辦法。c) UPS 配電的復(fù)雜性d) UPS 故障引發(fā)機(jī)房燃燒事故2. 高壓直流技術(shù)初探筆者作為國(guó)內(nèi)較早從事高壓直流產(chǎn)品開(kāi)發(fā)， 并進(jìn)行后續(xù)應(yīng)用研究的同行， 在這里和大家一起探討發(fā)掘， 以便讓此技術(shù)得到更好應(yīng)用。 本文主要分析比較 240V 高壓直流解決方案的一些特點(diǎn)上圖是高壓直流的簡(jiǎn)單拓?fù)浣Y(jié)構(gòu)，很直觀得展現(xiàn)了 240V 高壓直流的一些特點(diǎn)： 1、減少變化級(jí)數(shù)，

5、整體效率更高； 2、電池直掛在輸出母線上， 相當(dāng)于提供另外一路備份， 可靠性更高； 3、 兼容現(xiàn)有絕大多數(shù) IT 設(shè)備的高頻開(kāi)關(guān)電源，用電設(shè)備幾乎不用任何更改，推廣非常容易；4、拓?fù)浞浅：?jiǎn)單，可靠性提高； 5、高壓直流系統(tǒng)為模塊化熱插拔設(shè)計(jì)，運(yùn)維非常方便。關(guān)于 240V 高壓直流兼容現(xiàn)有絕大多數(shù) IT 設(shè)備的高頻開(kāi)關(guān)電源可行性分析， 可參考拙作 交 流電源的高壓直流直供可行性分析 一文。 鑒于此，該技術(shù)的推廣門檻非常低， 用電設(shè)備基本不 用任何改造，經(jīng)過(guò)簡(jiǎn)單測(cè)試驗(yàn)證后即可投入應(yīng)用。國(guó)內(nèi)已有多個(gè)數(shù)據(jù)中心跑在 240V 高壓直流供 電環(huán)境下， 一直工作穩(wěn)定可靠， 因此也從理論和實(shí)際都證明了該方案可

6、行。 而且由于電池直掛母 線，可作為很大的一個(gè)濾波池， 濾除電網(wǎng)串過(guò)來(lái)的毛刺以及其它供電支路諧波的影響， 給用電設(shè) 備提供一個(gè)很好的供電電源。電信行業(yè)幾萬(wàn)臺(tái)設(shè)備，及多年的應(yīng)用數(shù)據(jù)表明，采用 240V 高壓直 流給 IT 設(shè)備供電，電源的可靠性不僅沒(méi)有降低，而且還提升一倍以上。3. 高壓直流技術(shù)的一些優(yōu)點(diǎn)1、高壓直流系統(tǒng)的模塊化設(shè)計(jì)。如下圖，高壓直流系統(tǒng)采用模塊化設(shè)計(jì)，可大容量并機(jī)集 中式供電也可小容量一體柜分布式供電， 供電方式非常靈活。 采用分布式供電的高壓直流系統(tǒng)可 以直接放置在列頭柜位置， 無(wú)須配套的獨(dú)立電力室， 大大節(jié)省機(jī)房空間。 而且分布式供電故障影 響面小，只影響一小區(qū)域，不像 U

7、PS 出故障則影響一大片區(qū)域的供電。高壓直流系統(tǒng)不僅供電 設(shè)備可以分期建設(shè)，而且設(shè)備內(nèi)部還可隨著 IT 設(shè)備上架量不斷增加，逐步按需配置模塊個(gè)數(shù)。 而且直流并機(jī)沒(méi)有頻率和相位相同的需求，因此并機(jī)非常簡(jiǎn)單可靠，同樣系統(tǒng)擴(kuò)容也非常容易。模塊化設(shè)計(jì)的另外一個(gè)重大好處是運(yùn)維得到了大大解放， 而且不再依賴于 UPS 廠家的支持。 如果發(fā)現(xiàn)了故障模塊， 需要做的只是熱插拔更換故障模塊， 像換塊服務(wù)器硬盤一樣簡(jiǎn)單， 一線的 現(xiàn)場(chǎng)人員即可處理，非常便捷。我們知道 48V 的通信電源系統(tǒng)非常成熟可靠，而且大家有豐富 的運(yùn)營(yíng)經(jīng)驗(yàn)，那么 240V 高壓直流技術(shù)的運(yùn)營(yíng)幾乎借鑒了 48V 系統(tǒng)的原理，也非常便捷可靠。2

8、、關(guān)于高壓直流系統(tǒng)的高效率。前面的分析，我們知道高壓直流系統(tǒng)不再采用2N 配置（ 如果要求高可靠性，完全也可以實(shí)現(xiàn)2N） ，而采用的是系統(tǒng)內(nèi)部模塊的 N+1 配置，且可以根據(jù)實(shí)際負(fù)載情況配置合適的整流模塊個(gè)數(shù)，得到較高的負(fù)載率，從而有很高的系統(tǒng)效率。不僅如此， 由于高壓直流系統(tǒng)自身具備的節(jié)能休眠功能， 可以根據(jù)實(shí)時(shí)負(fù)載需求開(kāi)啟合適的工作模塊個(gè)數(shù)，保證在全負(fù)載范圍和機(jī)房全生命周期都可實(shí)現(xiàn)高效率。而不像傳統(tǒng)的UPS 方案 在機(jī)房建成初期設(shè)備上架率較低時(shí)候效率很差。高壓直流系統(tǒng)的一個(gè)非常明顯的優(yōu)點(diǎn)是不但自身可實(shí)現(xiàn)成熟的電池管理， 而且還有智能休眠 節(jié)能功能， 其原因仍是電池直掛母線。 由于電池直掛母

9、線， 那么瞬時(shí)的負(fù)載沖擊可以通過(guò)電池放 電來(lái)做緩沖，休眠退出過(guò)程中電池放電，然后設(shè)備退出休眠后再正常帶載，因此不會(huì)拉垮系統(tǒng)； 而傳統(tǒng)的模塊化 UPS 方案若啟動(dòng)休眠，由于電池掛接在逆變環(huán)節(jié)之前，則可能無(wú)法及時(shí)退出休 眠導(dǎo)致整個(gè)系統(tǒng)宕機(jī)掉電空載下高壓直流系統(tǒng)啟動(dòng)節(jié)能休眠后功耗很低只有幾百瓦，日耗電6 度，而傳統(tǒng)的 UPS 空載日耗電 160 度，低載下節(jié)能非常明顯。 并且最新的高壓直流系統(tǒng)休眠控制策略還具有同步老化以及定時(shí)喚醒功能 ,保證整個(gè)系統(tǒng)的各個(gè)整流模塊同步老化, 并提高系統(tǒng)的可靠性。下表為國(guó)內(nèi)某運(yùn)營(yíng)商的實(shí)際運(yùn)行數(shù)據(jù)，我們可以看到節(jié)能和節(jié)省投資非常明顯。3、關(guān)于高壓直流系統(tǒng)的可靠性。前面我

10、們已經(jīng)知道高壓直流系統(tǒng)內(nèi)是N+1 的配置方式，那么即便壞了一個(gè)整流模塊， 對(duì)系統(tǒng)的可靠性幾乎沒(méi)有影響。 而且電池作為另外一個(gè)備份單元， 也 可給運(yùn)維人員提供充足的割接改造等騰挪時(shí)間。下圖比較了傳統(tǒng) UPS 單機(jī)和 240V 高壓直流拓?fù)浣Y(jié)構(gòu)，從結(jié)構(gòu)上看，高壓直流系統(tǒng)和傳統(tǒng)48V 通信電源系統(tǒng)差異很少，只是電壓更高些，整體結(jié)構(gòu)非常清爽，非常簡(jiǎn)單。即便整流環(huán)節(jié)出 了故障，還有電池直掛母線繼續(xù)保障系統(tǒng)供電。 反觀 UPS 方案，由于涉及靜態(tài)旁路、 整流環(huán)節(jié)、 逆變環(huán)節(jié)、 以及輸出靜態(tài)開(kāi)關(guān)， 甚至輸出升壓變壓器等， 越復(fù)雜的系統(tǒng)， 出故障的概率就要增加， 因此整體可靠性較 240V 高壓直流方案要低很

11、多4、關(guān)于高壓直流的安全性。很多同行一聽(tīng)到高壓直流，都覺(jué)得非?？植?，似乎高壓則安全 性差，直流則無(wú)法脫開(kāi)，那么是否是這樣呢？我們下面來(lái)分析這個(gè)問(wèn)題。高壓直流系統(tǒng)和傳統(tǒng)的 UPS 方案不一樣，采用的是正負(fù)極輸出浮地方式，不像 48V 通信電源系統(tǒng)采用正極接地方式，也不像傳統(tǒng) UPS 采用中線接地方式。由于整流模塊內(nèi)部輸出安規(guī)電容的原因，實(shí)際高壓直流系統(tǒng)正負(fù)極到大地的電壓都是135V 左右（ 240V 的高壓直流系統(tǒng)額定電壓為 240V ，但默認(rèn)電壓為 270V ，好比 48V 電源系統(tǒng)的默認(rèn)電壓為 54V 一樣，兩者是 5倍的關(guān)系），根據(jù)人體正常電阻約為 6300 ohms 左右，那么誤碰到其中

12、一極的 135V 直流估算下來(lái)的 電流不足以對(duì)人體造成傷害的， 況且通常我們還穿鞋等， 因此實(shí)際即便誤碰到任何一根母排， 人體是幾乎沒(méi)有感覺(jué)的（非專業(yè)人士勿試，也強(qiáng)烈不建議模仿），如下圖單手觸摸母排照片所示。UPS 方案，任何一相火線如果正負(fù)母排的任何一級(jí)接地了，雖不會(huì)造成系統(tǒng)掉電（而傳統(tǒng) 輸出接地，則會(huì)導(dǎo)致設(shè)備掉電），此時(shí)若誤碰到另外一極，則 270V 直流可能會(huì)讓操作人員有觸 電感覺(jué)，但根據(jù)理論估算，同樣不會(huì)對(duì)人體有較大傷害（再次強(qiáng)烈不建議拿自己安全做測(cè)試）。 實(shí)際設(shè)計(jì)中為了避免此意外發(fā)生， 通常要求高壓直流系統(tǒng)配置絕緣監(jiān)測(cè)儀， 以便出現(xiàn)系統(tǒng)絕緣問(wèn) 題時(shí)候提早預(yù)防并定位故障點(diǎn)。反觀傳統(tǒng)的

13、UPS 系統(tǒng)，從下面的表格可以知道其實(shí)人體對(duì)交流的耐受能力遠(yuǎn)遠(yuǎn)低于直流， 其可能原因是人體心臟的心跳頻率和交流 50Hz 或者 60Hz 的工頻較為接近，那么交流觸電時(shí)候 更容易引起心室震顫（共振原理？待考證），導(dǎo)致生命危險(xiǎn)。因此 240V 高壓直流其實(shí)挺安全。4. 高壓直流供電方案研究1、單機(jī)供電方案從前面的分析上看，我們知道高壓直流系統(tǒng)的單機(jī)可靠性要遠(yuǎn)高于 UPS 單機(jī)的可靠性，因 為高壓直流設(shè)備內(nèi)部的 N+1 的模塊化設(shè)計(jì)，以及有電池直掛母線作為備份。雖然可以有較高的 可靠性， 但畢竟是單路系統(tǒng)， 那么可以采取下圖的雙路供電配電結(jié)構(gòu)， 采用來(lái)自同一電源系統(tǒng)的 A、 B 路給雙電源服務(wù)器供

14、電，雖然是假雙路供電，但任何一路跳閘，另外一路仍可保證設(shè)備不 掉電。這種結(jié)構(gòu)的一個(gè)不足是單電源設(shè)備的可靠性還不是非常高。2、雙系統(tǒng)雙路供電配電結(jié)構(gòu)對(duì)于一些要求超高可靠性的系統(tǒng)， 可以采用雙系統(tǒng)雙路供電配電結(jié)構(gòu)來(lái)供電， 這種配置方式 下可靠性非常高，不僅實(shí)現(xiàn)了 2*(N+1) 配置，還有兩路電池直接掛在母線上，達(dá)到了運(yùn)營(yíng)商骨干 網(wǎng)的可靠性等級(jí)。 這種方式可靠性問(wèn)題是解決了， 但不足之處是投資成本會(huì)加大。 其實(shí)很多情況 下，業(yè)務(wù)的可靠性無(wú)需這么高，因此是否有新的拓?fù)浣Y(jié)構(gòu)來(lái)實(shí)現(xiàn)低成本且高可靠呢？3、一路市電一路高壓直流方案我們這里創(chuàng)新性得提出如下的一路市電加一路 240V 高壓直流的供電方案， 既可

15、以實(shí)現(xiàn)低成 本，還能實(shí)現(xiàn)高可靠， 非常值得推廣。 當(dāng)然這個(gè)拓?fù)渖婕叭齻€(gè)問(wèn)題， 一個(gè)是市電直接給設(shè)備供電，是否會(huì)造成設(shè)備損壞或者掉電？第二個(gè)是直接將 240V 高壓直流給設(shè)備供電， 設(shè)備是否支持？第關(guān)于第一個(gè)問(wèn)題， 我們知道身邊就有無(wú)以計(jì)數(shù)的電子設(shè)備等跑在市電電網(wǎng)下， 正常情況下極 少出現(xiàn)問(wèn)題，那么對(duì)于性能以及可靠性要求更高的 IT 設(shè)備電源，也是基本沒(méi)問(wèn)題的。況且對(duì)于 雙電源設(shè)備，即便市電供電的這個(gè)電源因電網(wǎng)原因出現(xiàn)異常， 270V 供電的另外一個(gè)電源仍能保 證系統(tǒng)可靠工作不掉電。 當(dāng)然為了保證整體系統(tǒng)的可靠性， 市電直供輸入的防雷接地等工作要做 好。那么第二個(gè)問(wèn)題，其實(shí)前面已經(jīng)介紹過(guò)了，普通

16、 IT 設(shè)備的電源絕大多數(shù)都是支持 240V 高 壓直流的(同樣可參考拙作交流電源的高壓直流直供可行性分析)，除了極少數(shù)電源內(nèi)部增 加了頻率檢測(cè)等機(jī)制 (完全可以通過(guò)升級(jí)軟件屏蔽此功能等辦法來(lái)解決) ，那么在前期在設(shè)備上 架前做好高壓直流適應(yīng)性測(cè)試即可。 當(dāng)然少量的單電源設(shè)備可以從高壓直流支路取電， 仍可實(shí)現(xiàn) 較高可靠性。第三個(gè)關(guān)于諧波的問(wèn)題，我們知道傳統(tǒng)的UPS 采用的是晶閘管不控整流技術(shù)，不管是 6 脈沖還是 12 脈沖，單靠 UPS 設(shè)備是無(wú)法達(dá)到很低的電流諧波的，那么高的諧波電流不僅影響運(yùn)行可靠性，造成能源浪費(fèi)的同時(shí)還可能被電網(wǎng)公司罰錢，而高壓直流技術(shù)則沒(méi)有此問(wèn)題。 原因是高壓直流設(shè)備

17、采用成熟的功率因數(shù)校正技術(shù)，功率因數(shù)很高且諧波很小基本可以達(dá)到 A 類機(jī)房的要求，無(wú)須再配置額外的諧波治理設(shè)備。同樣現(xiàn)在的 IT 設(shè)備采用的高頻開(kāi)關(guān)電源，且 諧波也很小，因此市電直供部分也無(wú)須諧波治理，配電結(jié)構(gòu)非常簡(jiǎn)單。繼續(xù)分析這個(gè)拓?fù)浣Y(jié)構(gòu)的可靠性，從前面的 UPS 單機(jī)可靠性以及高壓直流單機(jī)可靠性數(shù)據(jù) 來(lái)比較這種拓?fù)浣Y(jié)構(gòu)和 2N 配置的 UPS(市電可靠性按 99.86% 來(lái)算，目前大多數(shù)數(shù)據(jù)中心所在 城市的電網(wǎng)可靠性基本都可達(dá)到此值)。根據(jù)計(jì)算可以得到如下可靠性：2N UPS 可靠性： 1-( 1-0.99999)*(1-0.99999)10 個(gè) 9一路市電一路高壓直流可靠性： 1-( 1

18、-0.9986)*(1-0.9999999) 10 個(gè) 9 我們發(fā)現(xiàn)一路市電一路高壓直流方案的可靠性和2N 的 UPS 配置差別不大，基本是一個(gè)量級(jí)的。那么鑒于此這種方式可以省去一路 UPS的投資，而且省去那一路的 UPS 帶來(lái)的電費(fèi)也相 應(yīng)可以省掉， 意味著可以帶來(lái) capex 和 opex 的大大節(jié)省，下面我們?cè)賮?lái)好好算這筆帳： 假定一個(gè)大型數(shù)據(jù)中心有 10 萬(wàn)臺(tái)服務(wù)器，每臺(tái)服務(wù)器按 200W 功耗計(jì)算，在相同的可靠性 下計(jì)算。先來(lái)算 capex ：傳統(tǒng) 2N UPS 方案，按單機(jī) 800KVA 的 UPS 來(lái)算(若按 400KVA 系統(tǒng)算，會(huì)省錢更多)， 每臺(tái)含電池 120W 算，需要投資 120W*2*10 萬(wàn) *0.2KW/(800KVA*0.9*0.8)=8330W;一路市電一路高壓直流方案，按單機(jī) 140KW 的高壓直流系統(tǒng)，每臺(tái)含電池30W ，需要投資30W*1*10W*0.2KW/ ( 140KW*0.85 ) =5042W節(jié)約投資 3288W ，這里暫且還沒(méi)考慮 2N UPS 方案下需要低配、旁路、隔離變壓器、諧波治理、STS 等等配電環(huán)節(jié)的額外投資，因此總體算下來(lái)， capex 方面可以減少投資 5000W 以上。 而且這里計(jì)算的高壓直流價(jià)格偏高， 隨著高壓直流技術(shù)的成熟， 未來(lái)價(jià)格有很大的下降空間