大道至簡(jiǎn)-圖解大型互聯(lián)網(wǎng)數(shù)據(jù)中心典型模型-李典林

大道至簡(jiǎn)，圖解大型互聯(lián)網(wǎng)數(shù)據(jù)中心典型模型原創(chuàng)

2016-04-08

騰訊數(shù)據(jù)中心ensoli數(shù)據(jù)中心本質(zhì)上是數(shù)學(xué)和邏輯的組合，分析模塊化數(shù)據(jù)中心的顆粒度可以歸納演繹出其典型模型，本文介紹一些大型互聯(lián)網(wǎng)數(shù)據(jù)中心的典型案例，正是為了做此方面的分析。大型互聯(lián)網(wǎng)公司數(shù)據(jù)中心建筑布局圖一是谷歌數(shù)據(jù)中心的典型布局，從空中俯視看到的浩大體量和氤氳升騰的水汽，讓人立馬聯(lián)想到現(xiàn)代化的超級(jí)信息處理工廠，或在海上全力巡航的超級(jí)信息航母。谷歌的數(shù)據(jù)中心建筑結(jié)構(gòu)極其精簡(jiǎn)，主體機(jī)房為寬而矮的單層倉(cāng)儲(chǔ)式廠房建筑結(jié)構(gòu)，船體的中后兩艙為兩個(gè)長(zhǎng)寬形主體機(jī)房模塊，船頭為機(jī)房配套的功能區(qū)域(如安保辦公、拆包卸貨、備品備件間等)；船體左側(cè)為模塊化變配電及柴發(fā)區(qū)域，船體右側(cè)是模塊化制冷及散熱儲(chǔ)水區(qū)域，水電分區(qū)，左右兩翼像巡洋艦和護(hù)衛(wèi)艦等保障航空母艦的穩(wěn)定平安運(yùn)行。

圖一

谷歌數(shù)據(jù)中心俯視圖圖二為其主平面布局圖。北側(cè)為水，南側(cè)為電，中間為機(jī)房模塊，約2萬(wàn)平米的中間主機(jī)房區(qū)可以支持約8到10萬(wàn)臺(tái)服務(wù)器，左右兩側(cè)為網(wǎng)絡(luò)間以及辦公支持區(qū)。白地板區(qū)域分為南北共四個(gè)大機(jī)房房間，每個(gè)房間可以支持約2萬(wàn)到2.5萬(wàn)臺(tái)服務(wù)器，每個(gè)機(jī)房模塊內(nèi)約30縱列，每列約25到30個(gè)IT機(jī)柜，每個(gè)大房間可以部署約750到900個(gè)機(jī)柜，約1萬(wàn)KVA的電力，整個(gè)建筑約4萬(wàn)KVA總用電。圖二

谷歌數(shù)據(jù)中心平圖布局圖圖三是facebook在瑞典的模塊化數(shù)據(jù)中心效果圖，該建筑也是倉(cāng)儲(chǔ)式大廠房結(jié)構(gòu)，左右兩棟數(shù)據(jù)中心大樓內(nèi)共建設(shè)了1#-4#四個(gè)大房間的數(shù)據(jù)中心模塊，兩棟建筑之間有一個(gè)專(zhuān)用制冷機(jī)房，在建筑的兩側(cè)也部署了室外集裝箱柴發(fā)。此外，在數(shù)據(jù)中心建筑隔壁，還設(shè)有一個(gè)用于辦公的其它功能的建筑。

圖三

facebook模塊化機(jī)房俯視圖圖四類(lèi)似這個(gè)數(shù)據(jù)中心的平面布局（冷機(jī)和配電位置稍有改變，但主體框架模塊沒(méi)變），同樣左右兩側(cè)共四個(gè)大機(jī)房模塊，A/B區(qū)南北各兩個(gè)，大房間的南北兩側(cè)為AHU模塊，同樣和冷熱通道一一對(duì)應(yīng)；兩個(gè)建筑大房間之間為電力模塊，以及制冷模塊，同樣是模塊化的設(shè)計(jì)。每個(gè)AHU對(duì)應(yīng)各自的一個(gè)通道，約60個(gè)機(jī)柜，平均每個(gè)IT機(jī)柜功率約為8-10KW，因此每個(gè)AHU的制冷量約為500-600KW。中間北側(cè)為電力模塊房間，四個(gè)房間共6套IT電力模塊，以及1套備份模塊、1套冷機(jī)等負(fù)載配單模塊；中間南側(cè)為制冷泵房，共9個(gè)制冷模塊，按8用1備計(jì)算，每個(gè)房間均攤約2個(gè)制冷模塊。

每個(gè)大機(jī)房房間同樣可支持約2萬(wàn)到2.5萬(wàn)臺(tái)規(guī)模服務(wù)器，每個(gè)房間內(nèi)部署了約4*13*15個(gè)機(jī)柜，共約780個(gè)機(jī)柜，并支持?jǐn)U展到900個(gè)，同樣約1萬(wàn)KVA的電力，整個(gè)建筑約4萬(wàn)KVA總用電，共支持約8到10萬(wàn)臺(tái)的服務(wù)器。圖四

facebook數(shù)據(jù)中心平面布局圖圖五是facebook另外一個(gè)長(zhǎng)條形數(shù)據(jù)中心的俯視圖，該建筑從左到右共有四個(gè)大機(jī)房模塊，每個(gè)機(jī)房模塊有獨(dú)立的4臺(tái)室外型集裝箱柴發(fā)，屋頂是其自然冷空調(diào)系統(tǒng)，緊貼數(shù)據(jù)中心建筑的上側(cè)有辦公用房。

圖五

facebook數(shù)據(jù)中心布局二這種長(zhǎng)條形布局下，機(jī)房?jī)?nèi)部如圖六Open

datacenter的數(shù)據(jù)中心機(jī)房模型，每個(gè)大機(jī)房模塊共12*6*11=792個(gè)機(jī)柜，整個(gè)數(shù)據(jù)中心建筑共有12到14臺(tái)柴發(fā)，兩個(gè)蓄冷罐，支撐四個(gè)大機(jī)房模塊運(yùn)用。

圖六

Open

datacenter的模型布局圖七是Switch公司的super

nap

7數(shù)據(jù)中心俯視圖，類(lèi)似的，整個(gè)數(shù)據(jù)中心建筑由四個(gè)大機(jī)房模塊構(gòu)成，每個(gè)機(jī)房模塊約10MVA的供電容量，由6臺(tái)（5+1）2000KW的柴發(fā)做掉電備份，9套1200KVA的UPS，三角形DR方式2N供電。同樣的，每個(gè)大機(jī)房模塊有44個(gè)R18的微模塊構(gòu)成，總計(jì)約792個(gè)IT機(jī)柜，平均單功率約為9KW；9個(gè)（8+1）AHU空調(diào)模塊，每個(gè)AHU模塊標(biāo)稱(chēng)具有1000KW的散熱實(shí)力。

圖七

Switch公司的supernap

7數(shù)據(jù)中心布局從谷歌、facebook和super

nap等數(shù)據(jù)中心的典型模型上看，大型互聯(lián)網(wǎng)數(shù)據(jù)中心大多是模塊化設(shè)計(jì)，基本整個(gè)園區(qū)規(guī)劃有兩到三棟大型數(shù)據(jù)中心建筑，總共用電80到120MVA，由132KV變電站供電。每棟數(shù)據(jù)中心建筑用電量則高達(dá)40MVA，數(shù)據(jù)中心建筑內(nèi)有4個(gè)大機(jī)房模塊，每個(gè)機(jī)房模塊約2-2.5萬(wàn)臺(tái)服務(wù)器，典型的單模塊機(jī)柜數(shù)量為750-1000個(gè)機(jī)柜，每棟數(shù)據(jù)中心建筑約有8-10萬(wàn)臺(tái)的服務(wù)器，總機(jī)柜數(shù)量為3000到4000個(gè)機(jī)柜。大型互聯(lián)網(wǎng)數(shù)據(jù)中心基本多為倉(cāng)儲(chǔ)式單層建筑結(jié)構(gòu)，建筑內(nèi)的典型四個(gè)大機(jī)房模塊有長(zhǎng)條型并排布局，也有南北向田字型布局，模塊化的電力和空調(diào)模塊就近擺放。大型互聯(lián)網(wǎng)公司數(shù)據(jù)中心的電氣為什么大型互聯(lián)網(wǎng)數(shù)據(jù)中心都有相像的特征，這背后有何邏輯呢？

其實(shí)數(shù)據(jù)中心的一些邊界條件基本限制了數(shù)據(jù)中心的典型模型，比如一條中壓外線(xiàn)（美國(guó)為13.2KV，歐洲中國(guó)約為10KV）的電力容量約為10MVA-12MVA，典型的變壓器容量約為1600KVA、2000KVA、2500KVA、3000KVA、3150KVA等有限檔位，母排和斷路器容典型量約1600A、2000A、3200A、4000A、50000A、6300A等有限檔位，還有冷機(jī)的冷量、UPS的容量等都是類(lèi)似的有限檔位，因此數(shù)據(jù)中心規(guī)劃設(shè)計(jì)須要兼顧到這些產(chǎn)業(yè)鏈，并滿(mǎn)意馬路運(yùn)輸條件，以及操作人員可以忍受的連續(xù)工作最高溫度等，依據(jù)不同系統(tǒng)的合適顆粒度，選擇最佳性?xún)r(jià)比的典型模型。

通常電力是數(shù)據(jù)中心內(nèi)較為珍貴的資源，所以數(shù)據(jù)中心設(shè)計(jì)通常會(huì)把一條外線(xiàn)的容量盡量用滿(mǎn)，即一個(gè)機(jī)房模塊通常會(huì)用滿(mǎn)10到12MVA的外電容量，圖八是個(gè)典型的互聯(lián)網(wǎng)公司數(shù)據(jù)中心供電架構(gòu)圖，單路市電供電，高壓柴發(fā)備份。

圖八

典型互聯(lián)網(wǎng)數(shù)據(jù)中心供電架構(gòu)圖我們可以依據(jù)一條13.2KV外線(xiàn)約12MVA的容量來(lái)推算該機(jī)房模塊的模型，配置了4臺(tái)2500KW左右的高壓柴發(fā)，4臺(tái)3000KVA的變壓器，額外有1臺(tái)2500KW的柴發(fā)和3000KVA的變壓器作為四個(gè)房間的冗余備份，剛好用滿(mǎn)電力容量，因此數(shù)據(jù)中心大機(jī)房模塊內(nèi)通常也規(guī)劃有4個(gè)小房間的模塊。

前面是針對(duì)互聯(lián)網(wǎng)數(shù)據(jù)中心內(nèi)單路市電+柴發(fā)的供電架構(gòu)，假如對(duì)于部分雙路10KV外電的高牢靠2N供電架構(gòu)，事實(shí)上也是類(lèi)似處理方法，將10MVA的外電，分?jǐn)偟?個(gè)IT房間，每個(gè)房間約2個(gè)2000KVA的變壓器，剩余一對(duì)2000KVA的變壓器給到制冷房間用于冷機(jī)制冷等。當(dāng)然也可以按三個(gè)IT房間來(lái)規(guī)劃，這種布局下每個(gè)房間配置2個(gè)2500KVA的變壓器，剩余一對(duì)2500KVA的變壓器給到冷機(jī)和其他動(dòng)力設(shè)備。

圖九

典型數(shù)據(jù)中心2N供電高牢靠設(shè)計(jì)的模型在建筑布局上，同樣采納模塊化的布局，如圖十的典型數(shù)據(jù)中心建筑內(nèi)有左右兩個(gè)大機(jī)房模塊，每個(gè)大機(jī)房模塊內(nèi)的一對(duì)10KV外線(xiàn)帶有四個(gè)IT房間，每個(gè)房間由一對(duì)2000KVA的變壓器來(lái)?yè)?dān)當(dāng)，每個(gè)房間按IT機(jī)柜功率來(lái)部署，大約有200到250個(gè)的IT機(jī)柜（由IT機(jī)柜平均功率確定）。同樣配套的模塊化電力和空調(diào)就近擺放，按需建設(shè)實(shí)現(xiàn)變成長(zhǎng)邊投資，為將來(lái)的技術(shù)升級(jí)供應(yīng)條件。

圖十

典型數(shù)據(jù)中心2N供電高牢靠設(shè)計(jì)的布局綜上，典型的互聯(lián)網(wǎng)數(shù)據(jù)中心機(jī)房模塊內(nèi)，也同樣因?yàn)殡娏θ萘肯拗疲约霸O(shè)備顆粒度的不連續(xù)性，加上產(chǎn)業(yè)鏈生態(tài)等會(huì)有最佳模型。典型的模塊化數(shù)據(jù)中心由2個(gè)高壓模塊（或者單N的1條外線(xiàn)）、8到10個(gè)低壓變配電模塊（或者單N的4到5個(gè)低壓模塊）、3到4個(gè)IT房間（每個(gè)機(jī)房模塊配置2500KVA或者2000KVA的變壓器）的典型模型。每個(gè)模塊化數(shù)據(jù)中心約750到1000個(gè)IT機(jī)柜，每個(gè)IT房間約200到250個(gè)IT機(jī)柜。動(dòng)力設(shè)備方面基本多為3到4臺(tái)800到1100冷噸的冷機(jī)，以及4到6臺(tái)1800KW到2500KW的柴發(fā)等。大型互聯(lián)網(wǎng)公司數(shù)據(jù)中心空調(diào)模塊相對(duì)而言，大型互聯(lián)網(wǎng)數(shù)據(jù)中心的制冷系統(tǒng)的標(biāo)準(zhǔn)化較差，這主要由不同地區(qū)的制冷方式差異導(dǎo)致。比如熱帶地區(qū)采納的集中式冷機(jī)制冷，和涼快地區(qū)分散式AHU模塊制冷就會(huì)有很大的差異。但從前面分析的數(shù)據(jù)中心模型上看，大型互聯(lián)網(wǎng)數(shù)據(jù)中心的空調(diào)系統(tǒng)也呈模塊化方式在建設(shè)。如圖十一所示的谷歌數(shù)據(jù)中心，綜前所述，一棟40MVA的數(shù)據(jù)中心建筑，由四個(gè)大機(jī)房模塊構(gòu)成，每個(gè)機(jī)房模塊約10MVA的用電。整個(gè)數(shù)據(jù)中心建筑左側(cè)有15套空調(diào)系統(tǒng)，因此每個(gè)機(jī)房模塊分?jǐn)偟?套空調(diào)系統(tǒng)，剩余3套空調(diào)給四個(gè)機(jī)房模塊做冗余備份，以及其他辦公和環(huán)境負(fù)荷等，每套空調(diào)系統(tǒng)約有1000到1200冷噸。

圖十一

谷歌數(shù)據(jù)中心的模塊化空調(diào)系統(tǒng)而如圖十二的Super

nap數(shù)據(jù)中心則采納了模塊化AHU散熱方式，每個(gè)10MVA的大機(jī)房模塊配置了9個(gè)AHU模塊，每個(gè)AHU模塊的散熱實(shí)力達(dá)到了1000KW，8用1備，該AHU支持六種不同的冷卻方式，并在AHU內(nèi)部加裝了小飛輪UPS，保障AHU模塊供冷的持續(xù)性，也是特別經(jīng)典的模塊化空調(diào)設(shè)計(jì)實(shí)現(xiàn)。

圖十二

SuperNAP數(shù)據(jù)中心的模塊化空調(diào)系統(tǒng)前面簡(jiǎn)潔介紹了兩個(gè)大型互聯(lián)網(wǎng)公司模塊化空調(diào)系統(tǒng)的應(yīng)用案例。地區(qū)不同，制冷方式不同，