數(shù)據(jù)中心中各類IT硬件占比拆分

1、目 錄TOC o 1-2 h z u HYPERLINK l _TOC_250006 數(shù)據(jù)中心的主流架構(gòu)葉脊架構(gòu) 5 HYPERLINK l _TOC_250005 初識(shí)葉脊架構(gòu) 5 HYPERLINK l _TOC_250004 葉脊架構(gòu)帶來 IT 設(shè)備變化 6 HYPERLINK l _TOC_250003 IT 設(shè)備用量的詳細(xì)拆解 7 HYPERLINK l _TOC_250002 IT 設(shè)備價(jià)值量的拆算 9 HYPERLINK l _TOC_250001 投資建議 10 HYPERLINK l _TOC_250000 風(fēng)險(xiǎn)提示 10圖表目錄圖 1：數(shù)據(jù)中心葉脊架構(gòu)中 Pod 劃分 5圖

2、 2：數(shù)據(jù)中心葉脊架構(gòu)平面示意圖 5圖 3：數(shù)據(jù)中心葉脊架構(gòu)立體圖 6圖 4：數(shù)據(jù)中心內(nèi)部 IT 設(shè)備分布示意圖 6圖 5：全球數(shù)據(jù)中心流量分布 7表 1：單機(jī)柜折算后 IT 設(shè)備需求量 8表 2：數(shù)據(jù)中心單機(jī)柜投資金額測算 9數(shù)據(jù)中心的主流架構(gòu)葉脊架構(gòu)初識(shí)葉脊架構(gòu)Facebook 于 2014 年提出一種新興的網(wǎng)絡(luò)架構(gòu)，即葉脊架構(gòu)（Spine-Leaf）。葉脊架構(gòu)較傳統(tǒng)網(wǎng)絡(luò)架構(gòu)相比，數(shù)據(jù)交換和吞吐能力更強(qiáng)，網(wǎng)絡(luò)也更加扁平化和密集。目前已經(jīng)成為全球的云計(jì)算/互聯(lián)網(wǎng)公司，包括國內(nèi)的阿里騰訊等，數(shù)據(jù)中心的主流部署方式。為了更加清晰的拆分云計(jì)算企業(yè)的 CAPEX 結(jié)構(gòu)，首先我們需要了解葉脊架構(gòu)的構(gòu)成

3、。我們以 Facebook 數(shù)據(jù)中心為例，自下而上可以劃分為：機(jī)柜層、Leaf 層、Spine 層。機(jī)柜層：機(jī)柜層是整個(gè)網(wǎng)絡(luò)拓?fù)浼軜?gòu)中最底層的結(jié)構(gòu)，用于放置服務(wù)器，通常來說單機(jī)柜可以放置 20-24 臺(tái)標(biāo)準(zhǔn)服務(wù)器。機(jī)柜內(nèi)部的服務(wù)器互聯(lián)通過機(jī)柜頂層的交換機(jī)，該交換機(jī)也被稱為 ToR（Top of Rack）交換機(jī)。實(shí)際上 TOR 交換機(jī)既可以部署在機(jī)柜頂部，也可以部署在機(jī)柜的中部 （Middle of Rack）或底部 （Bottom of Rack）。通常而言，將交換機(jī)部署在機(jī)柜頂部是最有利于走線的，因此這種架構(gòu)應(yīng)用最多。Leaf 層：Leaf 層是網(wǎng)絡(luò)架構(gòu)中承上啟下的一層，主要由葉交換機(jī)組成

4、。葉交換機(jī)向下與 ToR交換機(jī)相連，向上與脊交換機(jī)相連。 每臺(tái)葉交換機(jī)則向下連接 48 臺(tái) ToR 交換機(jī)，這樣通過 葉交換機(jī)便實(shí)現(xiàn)了機(jī)柜之間的互聯(lián)。48 臺(tái) ToR 交換機(jī)與 4 臺(tái)葉交換機(jī)對應(yīng)劃分出的結(jié)構(gòu)也 被稱為 Server Pods。數(shù)據(jù)中心在部署時(shí)根據(jù)需求，劃分為 N 個(gè) Server Pods， N 的數(shù)量可以從幾十到幾百。邊緣的 Pod 又被稱為 Edge 平面，負(fù)責(zé)出口流量，實(shí)現(xiàn)數(shù)據(jù)中心之間的互聯(lián)。Spine 層：Spine 層是整個(gè)數(shù)據(jù)中心拓?fù)渚W(wǎng)絡(luò)的頂層。為了實(shí)現(xiàn)全網(wǎng)的連通性，F(xiàn)acebook 設(shè)計(jì)了四個(gè)獨(dú)立的骨干交換機(jī)平面(Spine plane)，每個(gè)平面可以根據(jù)需求擴(kuò)

5、展脊交換機(jī)， 而每 個(gè) Pod 的每一臺(tái)葉交換機(jī)都會(huì)與所在平面的每一臺(tái)脊交換機(jī)互聯(lián)。按照 Facebook 最初提出的葉脊架構(gòu)進(jìn)行估算，整個(gè)數(shù)據(jù)中心共可以容納的服務(wù)器總數(shù)量為24*48*N 臺(tái)服務(wù)器網(wǎng)絡(luò)的彼此互聯(lián)。通過設(shè)計(jì)更多的 Server Pods，則單個(gè)數(shù)據(jù)中心可以實(shí)現(xiàn)高達(dá)幾十萬臺(tái)的服務(wù)器的容量。圖 1：數(shù)據(jù)中心葉脊架構(gòu)中 Pod 劃分圖 2：數(shù)據(jù)中心葉脊架構(gòu)平面示意圖數(shù)據(jù)來源：觀研網(wǎng)， 數(shù)據(jù)來源：觀研網(wǎng)， 圖 3：數(shù)據(jù)中心葉脊架構(gòu)立體圖數(shù)據(jù)來源：觀研網(wǎng)， 葉脊架構(gòu)帶來 IT 設(shè)備變化葉脊架構(gòu)下，每層網(wǎng)絡(luò)結(jié)構(gòu)所用 IT 設(shè)備如下圖所示：機(jī)柜層：服務(wù)器、ToR 交換機(jī)、光模塊；Leaf 層

6、：Leaf 交換機(jī)、光模塊；Spine 層：Spine 交換機(jī)、光模塊；圖 4：數(shù)據(jù)中心內(nèi)部 IT 設(shè)備分布示意圖數(shù)據(jù)來源：公開資料， 繪制葉脊架構(gòu)拉動(dòng)高端光模塊需求。隨著全球數(shù)據(jù)流量爆發(fā)式增長，建設(shè)大型的數(shù)據(jù)中心較傳統(tǒng)的小數(shù)據(jù)中心具有顯著的成本優(yōu)勢，為適應(yīng)數(shù)據(jù)中心規(guī)模的擴(kuò)大以及提升流量傳輸效率，原有的三層網(wǎng)絡(luò)架構(gòu)與數(shù)據(jù)中心的發(fā)展格格不入，性能出現(xiàn)瓶頸，在此背景下葉脊架構(gòu)誕生了。葉脊架構(gòu)以東西向（East-West）流量為主，如機(jī)柜間互聯(lián)以及 Leaf-Spine 互聯(lián)的短距高速高模塊需求大幅增加，當(dāng)前北美應(yīng)用最為廣泛的為 100G 光模塊，并且隨著數(shù)據(jù)流量的增加 100G 光模塊正在向 40

7、0G 升級(jí)。而南北向流量壓力得到很大緩解，數(shù)據(jù)中心設(shè)計(jì)往往向上也呈現(xiàn)一定的收斂比，南北向光模塊如 ToR-Leaf 互聯(lián)光模塊和 Leaf-Spine 互聯(lián)光模塊速率并不會(huì)顯著升級(jí)。與此同時(shí)，交換機(jī)也伴隨升級(jí)：端口數(shù)量越來越多，芯片轉(zhuǎn)發(fā)速率越來越高。圖 5：全球數(shù)據(jù)中心流量分布數(shù)據(jù)來源：Cisco， IT 設(shè)備用量的詳細(xì)拆解以下，我們將按照前一小節(jié)所闡述的葉脊架構(gòu)，對數(shù)據(jù)中心內(nèi)部服務(wù)器、交換機(jī)、光模塊等幾類 IT基礎(chǔ)產(chǎn)品的用量進(jìn)行詳細(xì)拆解。核心假設(shè)：高功耗單機(jī)柜滿載 24 臺(tái)服務(wù)器；ToR 交換機(jī)上下行端口比例為 1:6；Leaf 交換機(jī)上下行端口比例為 1:6；Spine 交換機(jī)不考慮上行，

8、不考慮數(shù)據(jù)中心之間互聯(lián)的 Edge 交換機(jī)目前海外主流光模塊方案，服務(wù)器互聯(lián)采用 25G 光模塊，ToR 與 Leaf 交換機(jī)、Leaf 與 Spine交換機(jī)采用 100G 光模塊機(jī)柜層：服務(wù)器和交換機(jī)用量較為清晰，單機(jī)柜設(shè)計(jì)的服務(wù)器數(shù)量為 24 臺(tái)，機(jī)柜頂放置 1 臺(tái)ToR 交換機(jī)。交換機(jī)分為下行接口和上行接口。下行即連接下層的服務(wù)器，上行即連接上層的葉交換機(jī)，中間通過兩端帶有光模塊的 MTP/MPO 光纖連接器進(jìn)行連接。光模塊用量按照如下測算：下行的測算：24（24 臺(tái)服務(wù)器，一臺(tái)服務(wù)器連一個(gè)光模塊）+ 24（ToR 交換機(jī) 24 個(gè)下行接口）= 48 個(gè)，一般采用為 25G 連接。上行的

9、測算：一臺(tái) ToR 交換機(jī)一般 4 個(gè)上行接口（連接 4 個(gè)葉交換機(jī)），上行接口速率為100G。小結(jié)：按照單機(jī)柜折算，即需要 24 臺(tái)服務(wù)器，1 臺(tái) ToR 交換機(jī)，48 個(gè) 25G 光模塊，4 個(gè) 100G高速光模塊。Leaf 層：不含服務(wù)器，只計(jì)算交換機(jī)與光模塊用量。交換機(jī)用量較為清晰，一個(gè) Pod（48 個(gè)機(jī)柜）對應(yīng) 4 臺(tái)葉交換機(jī)。光模塊用量按照如下測算：下行的測算：對應(yīng)于 ToR 交換機(jī)的上行，一臺(tái)葉交換機(jī)有 48 個(gè)下行速率為 100G 的端口，即需要 48 個(gè) 100G 的光模塊。上行的測算：考慮到在 Leaf 層南北向流量較少，可以按照 1：6 的收斂比進(jìn)行設(shè)計(jì)，即 8 個(gè)上行

10、接口，Spine 平面設(shè)計(jì) 8 臺(tái)脊交換機(jī)。因此單臺(tái)葉交換機(jī)最多對應(yīng) 6 個(gè) 100G 光模塊。小結(jié)：按照單機(jī)柜折算，即需要 4/48=0.08 臺(tái)葉交換機(jī)，（48+8）*（4/48）=4.7 個(gè) 100G 高速光模塊。Spine 層：按照 4 個(gè) Spine 平面，每個(gè)平面擴(kuò)展 8 個(gè)脊交換機(jī)，脊交換機(jī)總用量為 32 臺(tái)；按照 64 個(gè) Pod 平面估算，每個(gè) Pod 平面對應(yīng) 0.5 臺(tái)脊交換機(jī)。光模塊用量的估算，每臺(tái)脊交換機(jī)下行與每個(gè) Pod 所在平面的葉交換機(jī)相連，則要求脊交換機(jī)要有 64 個(gè)下行端口，每臺(tái)脊交換機(jī)對應(yīng)高速光模塊用量 64 個(gè)。小結(jié)：按照單機(jī)柜折算，即需要 0.5/48

11、=0.01 臺(tái)脊交換機(jī)，64*（0.5/48）=0.67 個(gè) 100G 高速光模塊。將以上匯總后，合計(jì)單機(jī)柜對應(yīng)服務(wù)器 24 臺(tái)、1 臺(tái) ToR 交換機(jī)，1/12 臺(tái)葉交換機(jī)，1/96 臺(tái)脊交換機(jī)、48 個(gè) 25G，28/3 個(gè) 100G 更高速光模塊，具體用量如下表所示：表 1：單機(jī)柜折算后 IT 設(shè)備需求量網(wǎng)絡(luò)架構(gòu)服務(wù)器交換機(jī)光模塊機(jī)柜層241 臺(tái) ToR48 個(gè) 25G，4 個(gè) 100G 更高速光模塊Leaf 層00.08 臺(tái)葉交換機(jī)4.7 個(gè) 100G 更高速光模塊Spine 層00.01 臺(tái)脊交換機(jī)0.7 個(gè) 100G 更高速光模塊合計(jì)241 臺(tái) ToR 交換機(jī)，0.08 臺(tái)葉交換機(jī)

12、，0.01 臺(tái)脊交換機(jī)48 個(gè) 25G，9.3 個(gè) 100G 更高速光模塊數(shù)據(jù)來源： 測算IT 設(shè)備價(jià)值量的拆算按照如前一小節(jié)的拆解，單機(jī)柜的投資金額可以劃分為如下幾個(gè)部分：IDC 及機(jī)柜 CAPEX：根據(jù)項(xiàng)目以及建設(shè)地理位置不同，單機(jī)柜投資金額在 12-18 萬之間，按照平均 15 萬進(jìn)行估算，其中投資包含了土地、建筑、機(jī)柜、溫控系統(tǒng)、供電系統(tǒng)（柴發(fā)、蓄電池）等等。該項(xiàng)投資一般情況由 IDC 企業(yè)支出，特殊情況下如阿里定制化模式，土地支出及所有權(quán)不屬于 IDC 企業(yè)。定制化模式下單機(jī)柜的投資成本可能更低。服務(wù)器：目前標(biāo)準(zhǔn)的機(jī)柜通常按照滿載 24 臺(tái)服務(wù)器設(shè)計(jì)，實(shí)際根據(jù)客戶需求不一定按照 24

13、臺(tái)滿載運(yùn)行。在此估算中暫且按照 24 臺(tái)滿載進(jìn)行估算。交換機(jī)：ToR 交換機(jī)通常為 24 口，價(jià)格約在 2 萬元左右；Leaf 交換機(jī)和 Spine 交換機(jī)會(huì)根據(jù)支持端口速率或數(shù)量的不同，價(jià)格有較為明顯的差異。以某一線品牌 Leaf 交換機(jī)（48 個(gè) 10G 下行接口，6 個(gè) 100G 上行接口）為例，軟硬件報(bào)價(jià)約在 4 萬元左右；某一線品牌 Spine交換機(jī)（18 個(gè) 100G 下行接口）為例，軟硬報(bào)價(jià)約在 30 萬左右。一般來說，數(shù)據(jù)中心規(guī)模越大，要求使用的 Leaf 和 Spine 交換機(jī)的端口速率和數(shù)量越多。超大規(guī)模的數(shù)據(jù)中心使用的 Spine 交換機(jī)價(jià)格甚至在成百上千萬元/臺(tái)。在此

14、64 端口的脊交換機(jī)我們按照 100 萬元進(jìn)行估算。光模塊：目前數(shù)據(jù)中心主流采用 25G 端口服務(wù)器，因此服務(wù)器上行以及 ToR 交換機(jī)下行之間的端口連接采用 25G 光模塊；而 ToR 交換機(jī)上行、Leaf 交換機(jī)以及 Spine 交換機(jī)采用 100G 光模塊，甚至升級(jí)為更高速率光模塊。表 2：數(shù)據(jù)中心單機(jī)柜投資金額測算單位：萬元數(shù)量單價(jià)價(jià)值量IDC 及機(jī)柜 Capex11515.0服務(wù)器24372.0ToR 交換機(jī)122.0Leaf 交換機(jī)0.0840.3Spine 交換機(jī)0.011001.0光模塊-25G480.031.4光模塊-100G9.30.131.2合計(jì)92.9數(shù)據(jù)來源： 測算云

15、計(jì)算基礎(chǔ)設(shè)施各細(xì)分領(lǐng)域，IDC：服務(wù)器：網(wǎng)絡(luò)設(shè)備：光模塊大約為 15：72：3.3：2.6（對應(yīng) 16%：77%：4%：3%）的關(guān)系。對于超大型云計(jì)算數(shù)據(jù)中心，交換機(jī)所需要的型號(hào)更加高端，價(jià)值量更高。注意的是，該測算未包括光纖光纜、跨洋光纜等測算。因此平均來說，單機(jī)柜的資本開支可能更大。但總體來說，幾類常見 IT 設(shè)備間的配比關(guān)系，相對正確。從通信板塊的投資彈性來說：光模塊：下游應(yīng)用場景中數(shù)據(jù)中心光模塊價(jià)值占比量高，且受益于產(chǎn)品升級(jí)迭代的量價(jià)齊升；IDC：存量機(jī)柜貢獻(xiàn)穩(wěn)定利潤，增量機(jī)柜體現(xiàn)利潤增速（增量機(jī)柜只有量的彈性）；網(wǎng)絡(luò)設(shè)備：下游應(yīng)用場景中數(shù)據(jù)中心占比較小，企業(yè)級(jí)應(yīng)用較高。因此云計(jì)算基礎(chǔ)設(shè)施領(lǐng)域投資彈性排序?yàn)椋悍?wù)器，光模塊IDC網(wǎng)絡(luò)設(shè)備投資建議IDC 行業(yè)長期將受益于國內(nèi) IT 云化程度加深，以及 5G、物聯(lián)網(wǎng)、AI 等新科技帶來數(shù)據(jù)流量的提升。原來預(yù)期 2020 年云計(jì)算capex 復(fù)蘇，再疊加新年中互聯(lián)網(wǎng)應(yīng)用的爆發(fā)，數(shù)據(jù)中心全年有望保持高景氣。伴隨新基建之風(fēng)吹過，IDC 及網(wǎng)絡(luò)基礎(chǔ)設(shè)施領(lǐng)域的投資機(jī)會(huì)將進(jìn)一步確立。我們看好 IDC 及網(wǎng)絡(luò)基礎(chǔ)設(shè)施領(lǐng)域全年投資機(jī)會(huì)，建議關(guān)注光模塊板塊：中際旭創(chuàng)(300308，未評(píng)級(jí))、劍橋科技(603083，未評(píng)級(jí))、新易盛(300502，未評(píng)級(jí))；IDC 板塊：建議關(guān)注光環(huán)新網(wǎng)(300383，買入) 、數(shù)