CloudFabric云數(shù)據(jù)中心網(wǎng)解決方案-Multi-PoD設(shè)計指南

1、 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY PartNumber DOCPROPERTY Product&Project Name CloudFabric云數(shù)據(jù)中心網(wǎng)解決方案 DOCPROPERTY DocumentName 設(shè)計指南（Multi-PoD） DOCPROPERTY Product&Project NameCloudFabric云數(shù)據(jù)中心網(wǎng)解決方案 DOCPROPERTY DocumentName 設(shè)計指南（Multi-PoD） STYLEREF Contents 目 錄文檔版本 DOCPROPERTY DocumentV

2、ersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司PAGE ii DOCPROPERTY DocumentVersion * MERGEFORMAT 01 DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司PAGE xxxvii DOCPROPERTY DocumentVersion * MERGEFORMAT 01 DOCP

3、ROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司 STYLEREF 1 多數(shù)據(jù)中心業(yè)務(wù)訴求和場景文檔版本 DOCPROPERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司PAGE 13多數(shù)據(jù)中心業(yè)務(wù)訴求和場景 HYPERLINK l _ZH-CN_TOPIC_0221233993 o 1.1 多數(shù)據(jù)中心業(yè)

4、務(wù)場景分析 HYPERLINK l _ZH-CN_TOPIC_0221233997 o 1.2 華為Multi-PoD方案整體架構(gòu)多數(shù)據(jù)中心業(yè)務(wù)場景分析隨著業(yè)務(wù)的發(fā)展，越來越多的應(yīng)用部署在數(shù)據(jù)中心，單個數(shù)據(jù)中心的規(guī)模有限，不可能無限擴容，業(yè)務(wù)規(guī)模的不斷增長使得單個數(shù)據(jù)中心的資源很難滿足業(yè)務(wù)增長的需求，需要多個數(shù)據(jù)中心來部署業(yè)務(wù)；同時，數(shù)據(jù)安全、業(yè)務(wù)的可靠性和連續(xù)性也越來越被重視，備份和容災(zāi)逐漸成為了普遍需求，需要通過建設(shè)多個數(shù)據(jù)中心來解決容災(zāi)備份問題。集群跨DC部署對于DB層服務(wù)器，以及少量App層服務(wù)器，往往采用物理IP直接提供業(yè)務(wù)，這種模式僅用于數(shù)據(jù)類應(yīng)用（CS模式）。通常以集群方式部署，

5、為了提高業(yè)務(wù)連續(xù)性，集群也可以跨DC部署，此時，集群服務(wù)器分布在不同數(shù)據(jù)中心，對外提供統(tǒng)一訪問接口，業(yè)務(wù)IP由VIP取代，服務(wù)器集群中間通過DC間互聯(lián)網(wǎng)絡(luò)實現(xiàn)協(xié)商和狀態(tài)同步。由于集群心跳及集群公網(wǎng)通常需要接入同一個二層域，需要跨DC的大二層網(wǎng)絡(luò)，因此可采用裸光纖、波分傳輸、VPLS、EVPN-VXLAN等技術(shù)進(jìn)行二層互聯(lián)，如REF _fig422313903815 r h圖1-1所示。集群跨DC部署示意圖服務(wù)器集群方案對數(shù)據(jù)中心網(wǎng)絡(luò)要求：低時延：RTT時延要求，對部署距離有限制二層互聯(lián)：要求二層互聯(lián)、對互連時延有限制網(wǎng)絡(luò)高可靠：互聯(lián)網(wǎng)絡(luò)高可靠，避免腦裂發(fā)生虛機跨DC遷移對于虛擬機承載的數(shù)據(jù)類應(yīng)

6、用系統(tǒng)，業(yè)務(wù)是由虛擬機直接提供訪問的，因此虛擬機的IP地址就是業(yè)務(wù)的訪問IP地址。當(dāng)服務(wù)器虛擬化后，其最大的特征是動態(tài)性與資源復(fù)用特性。由于應(yīng)用直接由虛擬機提供服務(wù)，因此無法借助于SLB進(jìn)行資源調(diào)配，只能將虛擬機遷移到更空閑的物理機上運行。應(yīng)用管理員可以根據(jù)應(yīng)用的資源需求（如CPU性能需求、內(nèi)存需求），靈活調(diào)度、調(diào)整虛擬機運行位置、上下線狀態(tài)。當(dāng)虛擬機資源池擴展到兩個中心后，則可以更加靈活的充分利用備中心的物理服務(wù)器資源，實現(xiàn)跨中心的虛擬資源靈活調(diào)度，大幅提升資源利用率。特別是故障場景，利用虛擬機高可用機制，當(dāng)主用數(shù)據(jù)中心A虛擬機發(fā)生故障時，虛擬機可以動態(tài)熱遷移到主用數(shù)據(jù)中心B，業(yè)務(wù)不中斷，如

7、REF _fig8232191318390 r h圖1-2所示。VM遷移前后流量示意圖虛擬機跨數(shù)據(jù)中心熱遷移對網(wǎng)絡(luò)的要求：二層互聯(lián)：IP/MAC地址配置，TCP會話狀態(tài)等不發(fā)生改變低時延：虛擬機狀態(tài)同步，要求低時延大帶寬：虛擬機遷移要求較高的帶寬，保證狀態(tài)數(shù)據(jù)和存儲數(shù)據(jù)快速遷移網(wǎng)絡(luò)級主備容災(zāi)當(dāng)前有很多應(yīng)用是通過集群軟件提供服務(wù)的，集群軟件將網(wǎng)絡(luò)上的多臺服務(wù)器關(guān)聯(lián)在一起，對外表現(xiàn)為一臺邏輯服務(wù)器，提供一致的服務(wù)。通過集群，利用多臺服務(wù)器負(fù)載分擔(dān)提升集群整體業(yè)務(wù)處理能力，并且多臺服務(wù)器間互為備份，提升系統(tǒng)的可靠性。如果將集群中的服務(wù)器部署于不同數(shù)據(jù)中心，當(dāng)某個數(shù)據(jù)中心發(fā)生故障時，集群內(nèi)其他數(shù)據(jù)中心

8、的服務(wù)器仍可提供服務(wù)，可實現(xiàn)跨數(shù)據(jù)中心的應(yīng)用系統(tǒng)容災(zāi)。多數(shù)廠商的集群軟件需要各服務(wù)器間采用二層網(wǎng)絡(luò)互連，因此，服務(wù)器集群跨數(shù)據(jù)中心部署需要網(wǎng)絡(luò)提供跨DC的大二層能力。同時，集群對外提供服務(wù)的地址是一個虛IP，該地址將通過數(shù)據(jù)中心前端網(wǎng)絡(luò)向外發(fā)布，因此，集群跨數(shù)據(jù)中心部署需要網(wǎng)絡(luò)給集群的虛IP提供跨DC的網(wǎng)關(guān)，跨DC的網(wǎng)關(guān)可以是主備或者雙活。主備網(wǎng)關(guān)是對外發(fā)布主備路由，正常情況下南北向流量根據(jù)主路由走主數(shù)據(jù)中心的主網(wǎng)關(guān)。當(dāng)主用數(shù)據(jù)中心故障，切換到備份路由，流量走備數(shù)據(jù)中心的備網(wǎng)關(guān)。雙活網(wǎng)關(guān)是對外發(fā)布等價路由，正常情況下南北向流量根據(jù)等價路由分擔(dān)到兩個數(shù)據(jù)中心。當(dāng)一個數(shù)據(jù)中心故障，流量切換到其他數(shù)

9、據(jù)中心的網(wǎng)關(guān)。對于集群的南北向流量通常需要防火墻提供安全防護(hù)，防火墻部署也可以是主備或者雙活，如REF _fig1497319184483 r h圖1-3所示。網(wǎng)絡(luò)級容災(zāi)華為Multi-PoD方案整體架構(gòu)方案整體架構(gòu)華為CloudFabric解決方案的Multi-PoD方案主要聚焦于跨數(shù)據(jù)中心網(wǎng)絡(luò)部分，通過虛擬化和SDN技術(shù)，解決跨數(shù)據(jù)中心互通的自動化部署和跨數(shù)據(jù)中心的業(yè)務(wù)容災(zāi)多活的問題。華為CloudFabric Multi-PoD解決方案的整體架構(gòu)如下圖所示。Multi-PoD整體架構(gòu)圖華為Multi-PoD方案的整體架構(gòu)主要分為：業(yè)務(wù)控制層、基礎(chǔ)設(shè)施層和轉(zhuǎn)發(fā)實現(xiàn)層。業(yè)務(wù)控制層，主要是SD

10、N控制器，負(fù)責(zé)控制某個數(shù)據(jù)中心的網(wǎng)絡(luò)，以及打通跨數(shù)據(jù)中心的網(wǎng)絡(luò)，SDN控制器還對接業(yè)務(wù)編排器和VMM（Virtual Machine Manager虛擬機管理器），完成計算與網(wǎng)絡(luò)聯(lián)動以及跨數(shù)據(jù)中心的互通。業(yè)務(wù)編排器負(fù)責(zé)跨數(shù)據(jù)中心的業(yè)務(wù)編排，VMM負(fù)責(zé)虛擬機的生命周期管理?；A(chǔ)設(shè)施層，主要是物理網(wǎng)絡(luò)和邏輯網(wǎng)絡(luò)，數(shù)據(jù)中心內(nèi)的物理網(wǎng)絡(luò)是Spine-Leaf架構(gòu)的組網(wǎng)，多個數(shù)據(jù)中心通過DCI骨干網(wǎng)連接；邏輯網(wǎng)絡(luò)是通過網(wǎng)絡(luò)虛擬化和VXLAN技術(shù)、基于業(yè)務(wù)按需構(gòu)建的連接虛擬機的虛擬網(wǎng)絡(luò)。轉(zhuǎn)發(fā)實現(xiàn)層，主要是通過VXLAN網(wǎng)絡(luò)連接數(shù)據(jù)中心內(nèi)的虛擬機，以及連接數(shù)據(jù)中心間的虛擬機，BGP-EVPN作為VXLAN的

11、控制面。對于使用者來說，主要看到業(yè)務(wù)控制層，根據(jù)業(yè)務(wù)的需要，將業(yè)務(wù)網(wǎng)絡(luò)劃分成多個VPC，通過編排器編排VPC，通過控制器在不同數(shù)據(jù)中心發(fā)放VPC的邏輯網(wǎng)絡(luò)。這個過程里，編排器主要是針對跨Fabric的網(wǎng)絡(luò)進(jìn)行編排。編排完成后，會根據(jù)編排的結(jié)果，將任務(wù)下發(fā)給對應(yīng)的控制器，由控制器將配置下發(fā)到物理設(shè)備上。Multi-DC Fabric編排示意圖Multi-PoD主要的場景就是在同城近距離部署的數(shù)據(jù)中心中，網(wǎng)絡(luò)層面提供網(wǎng)絡(luò)容災(zāi)的功能。多個DC的計算、網(wǎng)絡(luò)都是統(tǒng)一的資源池，統(tǒng)一由一套控制器集中管理，VPC可跨DC部署，子網(wǎng)可跨DC部署，可二層互通，可三層互通。為提高管理面的可靠性，兩個DC都可以部署控

12、制器，兩套控制器集群建立主備集群關(guān)系，由主用控制器集群管理網(wǎng)絡(luò)，當(dāng)主用控制器集群發(fā)生故障時，兩套集群發(fā)生主備切換，由原來備控制器集群升主，接管網(wǎng)絡(luò)，在管理面上實現(xiàn)容災(zāi)備份。Multi-PoD方案架構(gòu)在此場景中，每個DC的物理網(wǎng)絡(luò)在架構(gòu)上相互間獨立，需要在單DC的基礎(chǔ)上增加DC間互聯(lián)的設(shè)備和通路，多個DC是統(tǒng)一的端到端VXLAN域，網(wǎng)絡(luò)和計算都是統(tǒng)一的資源池。對于出口網(wǎng)關(guān)，推薦部署主備出口網(wǎng)關(guān)，即所有南北向流量都從主出口網(wǎng)關(guān)進(jìn)行繞行（如上圖中DC1的出口），出口主備的情況下，防火墻也是主備部署，實現(xiàn)業(yè)務(wù)高可用。部署場景Multi-Pod主要有兩種部署場景，一是多個PoD在同一個DC內(nèi)多個PoD形

13、成一個大資源池，二是同城近距兩個DC形成一個大資源池，滿足主備容災(zāi)容災(zāi)的訴求，它們的主要區(qū)別是部署物理位置的不同。同一個物理資源池中的多個PoDMulti-PoD方案可以將一個物理DC內(nèi)多個PoD統(tǒng)一管理，這種應(yīng)用場景的好處是，將多個PoD作為一個大二層資源池，以便業(yè)務(wù)可以隨意遷移，此外，將大組網(wǎng)結(jié)構(gòu)劃分在較小的Pod中，可以以通過多個小Pod提供物理故障域的隔離。多PoD跨DC互連Multi-PoD方案可以將兩個物理DC統(tǒng)一管理，構(gòu)建跨DC的大二層，提供兩個DC間的主備容災(zāi)能力。方案特點Multi-PoD場景方案特性如REF _fig159931644104216 r h圖1-9所示。Mul

14、ti-PoD主要特性示意圖Multi-PoD場景主要有以下一些特性：單Domain管理面容災(zāi)：多個DC是一個資源池，在一個VXLAN域內(nèi)，對于業(yè)務(wù)來說，相當(dāng)于只看到一個資源池，所以VPC可以跨DC進(jìn)行部署，同時控制器主備集群部署，提供管理面容災(zāi)功能。VPC跨DC：如上面所說，由于是一個資源池，VPC可以跨Fabric部署。VPC出口（外部網(wǎng)絡(luò)）跨DC（主備容災(zāi)）：多DC可以有多個出口，VPC可以選擇其中一個出口作為外部網(wǎng)關(guān)，其余出口作為備份。主備出口通過路由優(yōu)先級實現(xiàn)。也可以只選擇一個出口，集中出口，所有南北向流量均從這一個出口訪問北向。VPC內(nèi)FW跨DC主備：Fabric內(nèi)FW主備鏡像，F(xiàn)a

15、bric間部署兩組FW，控制器向兩組FW雙下配置，雙下策略，兩組FW之間的主備由主備路由確定。與Multi-Site方案的對比和選擇除了Multi-PoD方案之外，CloudFabric多DC場景中還有Multi-Site方案。PoD強調(diào)的是一組相對獨立的物理資源；Multi-PoD是指一套控制器管理的多個PoD，是一個端到端VXLAN隧道構(gòu)成的VXLAN域，PoD之間距離不會太遠(yuǎn)，通常是同城近距。一個Site是指一個控制器管理的資源池，是一個或多個PoD，是一個端到端VXLAN隧道構(gòu)成的VXLAN域；Multi-Site是指多個控制器管理域之間的互通，即多個Multi-PoD之間的互通，是多

16、個VXLAN域，對距離不敏感，可異地部署。Multi-Site場景Multi-Site子方案適用于異地多DC方案，即兩個或者多個位于不同地域，或者物理距離太遠(yuǎn)而無法被同一套控制器納管的多個DC之間互聯(lián)互通方案。Multi-Site場景對應(yīng)比較大的網(wǎng)絡(luò)，需要一個編排器拉通多個控制器，將多個控制器管理的網(wǎng)絡(luò)統(tǒng)一納管。所有業(yè)務(wù)由編排器進(jìn)行統(tǒng)一編排，再下發(fā)到各控制器上由控制器將具體配置下發(fā)給對應(yīng)的物理網(wǎng)絡(luò)。Multi-Site場景方案如REF _fig6875735173811 r h圖1-10所示。Multi-Site場景示意圖Multi-PoD場景Multi-POD方案適用于地域上距離較近，可以被

17、同一套控制器納管的DC或者資源Module。在網(wǎng)絡(luò)規(guī)模不大的情況下，只需要一套控制器進(jìn)行多個DC的管理，不需要多DC協(xié)同編排器這個角色。這種場景我們叫做Multi-Pod場景，這種場景下，DC內(nèi)和DC間的網(wǎng)絡(luò)配置均在控制器上進(jìn)行配置。這種場景下，我們可以提供多DC之間的容災(zāi)和主備出口等能力。Multi-PoD場景方案如REF _fig52707118402 r h圖1-11所示。Multi-PoD場景示意圖場景對比Multi-Site方案和Multi-PoD分別適用于不同的場景，Multi-Site方案是多個控制器管理域，Multi-Pod方案是單個控制器管理域，兩種場景具體對比參見下表。對比

18、項Multi-SiteMulti-PoD管理域多個管理域（控制器）單一管理域（控制器）業(yè)務(wù)編排編排器統(tǒng)一編排控制器界面編排，或單個OpenStack編排網(wǎng)絡(luò)規(guī)模物理網(wǎng)絡(luò)規(guī)模大（Leaf多，F(xiàn)abric多，DC多）物理網(wǎng)絡(luò)規(guī)模小（Leaf總數(shù)約束在一個控制器的規(guī)格范圍內(nèi)）服務(wù)器規(guī)模服務(wù)器數(shù)量多服務(wù)器數(shù)量少，受限于物理網(wǎng)路規(guī)模故障域DC間故障域解耦DC間故障域強耦合距離遠(yuǎn)距離，延時不敏感近距離，受單控制器拉遠(yuǎn)管理時延限制大二層大二層在一個VXLAN域內(nèi)，整體看大二層不跨DC大二層在一個VXLAN域內(nèi)，大二層跨DC遷移L2不跨Site，不需要虛機跨Site遷移虛機跨POD遷移，云主機高可用容災(zāi)應(yīng)用級

19、多活I(lǐng)P地址不變，跨DC網(wǎng)絡(luò)容災(zāi)轉(zhuǎn)發(fā)面每個DC是獨立的VXLAN域，DC間是分段的VXLAN一個VXLAN域，DC間是E2E VXLAN，適用場景要求DC間解耦遠(yuǎn)距離大規(guī)模要求網(wǎng)絡(luò)提供容災(zāi)近距離小規(guī)模 DOCPROPERTY Product&Project NameCloudFabric云數(shù)據(jù)中心網(wǎng)解決方案 DOCPROPERTY DocumentName 設(shè)計指南（Multi-PoD） STYLEREF Appendix heading 1 n * MERGEFORMAT Error! No text of specified style in document. STYLEREF Appe

20、ndix heading 1 Error! No text of specified style in document.Multi-PoD方案設(shè)計 HYPERLINK l _ZH-CN_TOPIC_0221233979 o 2.1 Multi-PoD方案部署設(shè)計 HYPERLINK l _ZH-CN_TOPIC_0221233980 o 2.2 PoD內(nèi)組網(wǎng)設(shè)計 HYPERLINK l _ZH-CN_TOPIC_0221233984 o 2.3 Multi-PoD對于IP Network的要求 HYPERLINK l _ZH-CN_TOPIC_0221233986 o 2.4 Multi-P

21、oD 管理面方案 HYPERLINK l _ZH-CN_TOPIC_0221233987 o 2.5 云平臺與VMM對接 HYPERLINK l _ZH-CN_TOPIC_0221233988 o 2.6 Multi-PoD - Underlay網(wǎng)絡(luò)方案 HYPERLINK l _ZH-CN_TOPIC_0221233989 o 2.7 Multi-PoD Overlay網(wǎng)絡(luò)方案Multi-PoD方案部署設(shè)計基礎(chǔ)網(wǎng)絡(luò)設(shè)計Multi-PoD場景方案基礎(chǔ)網(wǎng)絡(luò)設(shè)計如REF _fig1179065115447 r h圖2-1所示，每個DC具有相同的網(wǎng)絡(luò)架構(gòu)，分為業(yè)務(wù)區(qū)、管理區(qū)和存儲區(qū)，業(yè)務(wù)區(qū)Spine

22、-Leaf架構(gòu)，管理區(qū)和存儲區(qū)星型組網(wǎng)。只有業(yè)務(wù)區(qū)是SDN架構(gòu)，存儲區(qū)和管理區(qū)均為傳統(tǒng)網(wǎng)絡(luò)?；A(chǔ)網(wǎng)絡(luò)設(shè)計示意圖由于Multi-PoD場景下主要對基礎(chǔ)網(wǎng)絡(luò)的訴求就是可以將基礎(chǔ)網(wǎng)絡(luò)拉通為一個端到端的VXLAN，所以兩個DC的基礎(chǔ)網(wǎng)絡(luò)需要連起來，業(yè)務(wù)網(wǎng)絡(luò)一般通過Spine進(jìn)行互聯(lián)，存儲網(wǎng)絡(luò)和管理網(wǎng)絡(luò)也需要互聯(lián)，一般視客戶習(xí)慣進(jìn)行處理。網(wǎng)絡(luò)分為三個平面：業(yè)務(wù)平面、管理平面、存儲平面：業(yè)務(wù)網(wǎng)絡(luò)平面：采用Spine-Leaf組網(wǎng)，服務(wù)器業(yè)務(wù)口雙歸到ServerLeaf，F(xiàn)W和LB設(shè)備旁掛ServiceLeaf。管理網(wǎng)絡(luò)平面：包括業(yè)務(wù)控制與網(wǎng)絡(luò)管理，云平臺、控制器、VMM、網(wǎng)管等雙歸到管理接入交換機，仲裁服

23、務(wù)器部署在第三站點（仲裁DC），仲裁DC核心交換機分別與兩個DC的管理核心交換機光纖（波分）直連。存儲網(wǎng)絡(luò)平面：存儲網(wǎng)絡(luò)連接Server和存儲，屬于傳統(tǒng)網(wǎng)絡(luò)Multi-PoD也支持多個PoD或者多個DC的場景，多個PoD或者多個DC通過IP Network物理互聯(lián)。選擇兩個有Internet出口的DC作為Main DC，其他的PoD或者DC作為Remote PoD，一部分Remote PoD與Main DC1組成Fabric 1，另一部分Remote PoD與Main DC2組成Fabric 2，F(xiàn)abric 1與Fabric 2組成主備Fabric，形成Multi-PoD方案，共享Main

24、DC的主備出口。Remote PoD在Multi-PoD方案中的設(shè)計PoD內(nèi)組網(wǎng)設(shè)計Multi-PoD方案實際上在近距離的場景下，通過單套控制器拉遠(yuǎn)管理多個PoD，每個PoD都遵循相同的組網(wǎng)方案和原則。物理網(wǎng)絡(luò)架構(gòu)根據(jù)華為CloudFabric解決方案對數(shù)據(jù)中心組網(wǎng)的先進(jìn)設(shè)計理念，一個典型的數(shù)據(jù)中心內(nèi)部的物理組網(wǎng)架構(gòu)，應(yīng)遵循Spine-Leaf架構(gòu)。推薦的物理組網(wǎng)如下圖所示。推薦的物理組網(wǎng)方式其中對上圖CloudFabric解決方案的物理組網(wǎng)中各類角色的定義參見REF _table13168102811710 r h表2-1。物理組網(wǎng)中各類角色的功能說明物理組網(wǎng)角色含義和功能說明Fabric一

25、個SDN控制器管理的網(wǎng)絡(luò)故障域，可以包含一個或多個Spine-Leaf網(wǎng)絡(luò)結(jié)構(gòu)。Spine骨干節(jié)點，VXLAN Fabric網(wǎng)絡(luò)核心節(jié)點，提供高速IP轉(zhuǎn)發(fā)功能，通過高速接口連接各個功能Leaf節(jié)點。Leaf葉子節(jié)點，VXLAN Fabric網(wǎng)絡(luò)功能接入節(jié)點，提供各種網(wǎng)絡(luò)設(shè)備接入VXLAN網(wǎng)絡(luò)功能。Service LeafLeaf功能節(jié)點，提供Firewall和LoadBalance等L4L7增值服務(wù)接入VXLAN Fabric網(wǎng)絡(luò)的功能。Server LeafLeaf功能節(jié)點，提供虛擬化服務(wù)器、非虛擬化服務(wù)器等計算資源接入VXLAN Fabric網(wǎng)絡(luò)的功能。Border LeafLeaf功能節(jié)

26、點，提供數(shù)據(jù)中心外部流量接入數(shù)據(jù)中心VXLAN Fabric網(wǎng)絡(luò)的功能，用于連接外部路由器或者傳輸設(shè)備。一個典型的數(shù)據(jù)中心組網(wǎng)中Fabric網(wǎng)絡(luò)結(jié)構(gòu)具有以下幾個特點：包含了一個或多個Spine-Leaf結(jié)構(gòu)；具有高帶寬、大容量能力；接入節(jié)點間無差異性；采用扁平結(jié)構(gòu)，由于當(dāng)前數(shù)據(jù)中心內(nèi)部東西流量較大，因此采用扁平化設(shè)計可使流量路徑盡可能短，轉(zhuǎn)發(fā)效率高；靈活組網(wǎng)、彈性擴縮：當(dāng)服務(wù)器數(shù)量增加時，可相應(yīng)增加Leaf數(shù)量；當(dāng)Spine轉(zhuǎn)發(fā)帶寬不足時，可相應(yīng)增加Spine節(jié)點個數(shù)，擴容靈活。對于Spine-Leaf架構(gòu)的組網(wǎng)，推薦以下組網(wǎng)形態(tài)：推薦采用由CE大容量物理交換機組網(wǎng)；推薦采用L3網(wǎng)絡(luò)、部署IG

27、P路由協(xié)議：Leaf和Spine之間采用三層互聯(lián)；推薦采用ECMP實現(xiàn)等價多路徑負(fù)載均衡和鏈路備份：從Leaf通過多條等價路徑轉(zhuǎn)發(fā)數(shù)據(jù)流量到Spine，在保證可靠性的同時也能提升網(wǎng)絡(luò)的帶寬。Fabric提供的服務(wù)原則上要求網(wǎng)絡(luò)接入節(jié)點間可提供無差異互訪能力。物理網(wǎng)絡(luò)設(shè)計基本原則一個數(shù)據(jù)中心網(wǎng)絡(luò)內(nèi)部推薦采用由CE系列交換機組成的Spine-Leaf結(jié)構(gòu)，并根據(jù)網(wǎng)絡(luò)規(guī)模來靈活配置Spine和Leaf的節(jié)點數(shù)量。Fabric中ECMP示意圖Spine設(shè)計在Spine-Leaf網(wǎng)絡(luò)架構(gòu)中，Spine的數(shù)量由Leaf到Spine的收斂比（Leaf的下行總帶寬和Leaf的上行總帶寬的比值，不同的行業(yè)及不同

28、的客戶有各自的要求）來決定。Spine節(jié)點與Leaf節(jié)點之間使用以太網(wǎng)口互聯(lián)，并且配置成三層路由接口模式，從而構(gòu)建全I(xiàn)P的 Fabric網(wǎng)絡(luò)。Leaf設(shè)計Leaf可使用多種靈活組網(wǎng)方式，如M-LAG（推薦）和堆疊。每一個Leaf節(jié)點與所有Spine節(jié)點相連，構(gòu)建全連接拓?fù)湫螒B(tài)。Leaf節(jié)點的TOR設(shè)備數(shù)量較多，建議通過ZTP的方式來部署TOR設(shè)備，降低部署復(fù)雜度。ZTP - Zero Touch Provisioning 是指新出廠或空配置設(shè)備上電啟動時采用的一種自動加載版本文件，包括系統(tǒng)軟件、配置文件、補丁文件的功能。轉(zhuǎn)發(fā)設(shè)計Underlay路由建議選擇OSPF動態(tài)路由協(xié)議，Spine-Le

29、af間可以形成IP ECMP等價路徑。Leaf設(shè)備到Spine設(shè)備的流量形成ECMP負(fù)載分擔(dān)，無阻塞轉(zhuǎn)發(fā)，故障快速收斂。ECMP鏈路須選擇基于L4 Port的負(fù)載分擔(dān)算法，由于VXLAN使用的是UDP封裝，因此VXLAN報文的目的端口號是4789不變，而VXLAN報文頭部的源端口號可變，基于此來進(jìn)行負(fù)載分擔(dān)。路由協(xié)議設(shè)計Underlay路由選用OSPFUnderlay路由選用OSPF，路由規(guī)劃如下：單Fabric內(nèi)部，Spine和Leaf節(jié)點的物理交換機上全部部署OSPF，并都在Area 0中，使用三層路由口地址建立OSPF鄰居，打通Underlay路由，network類型建議為P2P，如RE

30、F _fig10968162216461 r h圖2-5所示。多Fabric之間互聯(lián)設(shè)備部署在OSPF Area0，打通Underlay路由，如REF _fig14995181182015 r h圖2-6所示。單Fabric內(nèi)部OSPF路由規(guī)劃推薦多Fabric部署OSPF路由規(guī)劃推薦當(dāng)Underlay的路由選用OSPF時的優(yōu)缺點對比參見REF _table1756318320316 r h表2-2。Underlay路由為OSPF時的優(yōu)缺點對比說明項目說明優(yōu)點OSPF路由協(xié)議部署簡單OSPF路由收斂速度快Underlay中的OSPF路由協(xié)議報文與Overlay中的BGP協(xié)議報文不同隊列，VRF

31、和路由表項都相互隔離，從而實現(xiàn)underlay和overlay路由協(xié)議故障上互相隔離缺點OSPF路由域規(guī)模受限故障域較大故障場景分析網(wǎng)絡(luò)中的常見故障點如下圖所示。常見故障點服務(wù)器接入鏈路故障：服務(wù)器雙歸接入（負(fù)載分擔(dān)/主備）接入鏈路故障，業(yè)務(wù)倒換到冗余/備份鏈路ServerLeaf故障：ServerLeaf配置雙活接入ServerLeaf故障，業(yè)務(wù)倒換到另外一臺ServerLeaf上Leaf上行鏈路故障(ServerLeaf, BorderLeaf, ServiceLeaf)：Leaf和Spine間多條鏈路實現(xiàn)ECMP上行鏈路故障后，業(yè)務(wù)倒換到冗余鏈路上BorderLeaf故障：BorderL

32、eaf配置雙活或堆疊。ServiceLeaf故障：ServiceLeaf配置雙活或堆疊。LB和FW互聯(lián)故障：Trunk成員口故障之后，業(yè)務(wù)不會中斷。單臺LB或FW互聯(lián)故障：單臺LB或FW互聯(lián)故障，切換到備份LB或FW。Multi-PoD對于IP Network的要求IP Network物理組網(wǎng)在Multi-PoD方案里，多個PoD之間的互聯(lián)通過IP Network實現(xiàn)，物理網(wǎng)絡(luò)互聯(lián)有三種方案。多PoD間互聯(lián)方案Optioin1：通過核心交換機互聯(lián)，適用于一個園區(qū)內(nèi)站點較多的場景，此互聯(lián)方式的優(yōu)點是簡單，不足之處在于受限于布線，要求距離很近；Optioin2：通過裸光纖/DWDM直連，適用于站點

33、較少的場景，此互聯(lián)方式的優(yōu)點是獨享式通道（僅用于數(shù)據(jù)中心之間的流量交互），可充分滿足數(shù)據(jù)中心之間流量交互的高帶寬和低延時需求，不足之處在于需要新建或租用光纖資源，成本高；Optioin3：通過WAN網(wǎng)互聯(lián)，適用于異地站點較多的場景，此互聯(lián)方式的優(yōu)點是只需要在當(dāng)前的網(wǎng)絡(luò)通道上疊加一層VPN通道以隔離于網(wǎng)絡(luò)中現(xiàn)有的數(shù)據(jù)流量，不足之處在帶寬受限。IP Network路由傳遞Multi-PoD邏輯上是Main DC的Leaf拉遠(yuǎn)，多個PoD內(nèi)任意兩臺Leaf之間直接建立VXLAN隧道，這樣某個PoD的VM可以與其他POD的VM通過VXLAN隧道L2或L3互通。因此，IP Network承擔(dān)數(shù)據(jù)面VXL

34、AN隧道端點的網(wǎng)絡(luò)互通，保證各VTEP的VTEP IP路由可達(dá)。IP Network路由傳遞IP Network可以通過VRF-Lite或 MPLS VPN 方式傳遞各PoD的VTEP IP路由；OptioinA：VRF-Lite 方式，對應(yīng)于物理連接方式的Option1和Option2，即，核心交換機互聯(lián)或Dark Fiber/DWDM互聯(lián)，IP Network中的設(shè)備運行IGP/BGP路由協(xié)議，通過VRF-lite方式，傳遞各PoD的VTEP IP路由；OptioinB：MPLS VPN 方式，對應(yīng)于物理連接方式的Option3，WAN網(wǎng)互聯(lián)方案，各PoD與WAN網(wǎng)的PE間運行IGP/BG

35、P路由協(xié)議，通過MPLS VPN打通多個PoD之間的VTEP IP路由。在WAN網(wǎng)傳輸時，實際上是VXLAN over MPLS。IP Network MTU由于Main DC的ServerLeaf與其他Remote POD的ServerLeaf之間通過VXLAN隧道互通，當(dāng)隧道是IPv4 VXLAN時，是在原始報文前面增加了50 Bytes (or 54 Bytes)，如下圖所示。VXLAN報文封裝格式為避免分片，需要調(diào)整IP Network的MTU，建議在IP Network現(xiàn)有MTU的基礎(chǔ)上至少增加54Bytes以上。此外，通常數(shù)據(jù)中心需要支持Jumbo Frame，并且絕大部分的網(wǎng)卡都

36、支持到9000Bytes，建議將IP Network轉(zhuǎn)發(fā)設(shè)備的MTU設(shè)置在9216 Bytes以上。注：當(dāng)前僅支持外層是IPv4 VXLAN封裝。IP Network RTT要求在部署過程中，對于連接多個PoD的IP網(wǎng)絡(luò)時延有如下要求：控制器和其他PoD的轉(zhuǎn)發(fā)器之間RTT需要小于50毫秒。由于兩個主DC的控制器是主備容災(zāi)部署，所以要求兩個控制器集群間RTT小于10ms。IP Network帶寬要求IP Network承載多個PoD間互通的流量，包括控制器管理多個PoD設(shè)備的控制面流量，以及數(shù)據(jù)面轉(zhuǎn)發(fā)的流量：控制器管理轉(zhuǎn)發(fā)器的帶寬要求在100Mbps以上；多個PoD間數(shù)據(jù)面的帶寬需求，請基于實際

37、業(yè)務(wù)需求評估，并在IP Network上預(yù)留相應(yīng)帶寬。Multi-PoD 管理面方案管理面是指控制器管理交換機設(shè)備，并基于業(yè)務(wù)模型自動下發(fā)設(shè)備配置的平面，如下圖所示。Multi-PoD管理面示意圖管理面的核心是控制器，控制器是集群方式部署，部署在Main DC，為提高管理面的可靠性，在兩個Main DC各部署一套控制器集群，兩套控制器集群配置為主備關(guān)系，由主控制器集群管理兩個Main DC的交換機設(shè)備及所有Remote PoD的ServerLeaf，備控制器集群作為備份，當(dāng)主控制器集群故障后，備控制器集群升為主，接管兩個Main DC的交換機設(shè)備及所有Remote PoD的 ServerLea

38、f，保障業(yè)務(wù)下發(fā)的連續(xù)性。管理面還包括控制器納管設(shè)備，需要管理面的網(wǎng)絡(luò)保證控制器的南向IP與設(shè)備的管理IP路由可達(dá)，管理面的網(wǎng)絡(luò)構(gòu)建在Underlay網(wǎng)絡(luò)平面上，如何連通將在下面一部分介紹。管理網(wǎng)絡(luò)組網(wǎng)設(shè)計管理分區(qū)主要是部署云平臺和控制器，其分為兩層架構(gòu)，管理接入交換機只做二層接入，管理核心交換機作為各DC管理區(qū)的網(wǎng)關(guān)。DC間管理核心交換機、管理網(wǎng)FW之間部署動態(tài)路由，打通DC間打通管理區(qū)內(nèi)網(wǎng)路由，第三仲裁站點與兩個DC管理區(qū)核心交換機之間配置靜態(tài)路由打通。管理網(wǎng)絡(luò)設(shè)計示意圖網(wǎng)絡(luò)級容災(zāi)-管理面容災(zāi)設(shè)計Multi-PoD方案是一個控制器管理域，由一套控制器集群管理所有DC的網(wǎng)絡(luò)，為提高管理面的可

39、靠性，在不同DC再部署一套備用控制器集群，主備控制器集群間實時同步，支持主備切換，由主控制器集群管理設(shè)備，對接仲裁方腦裂。兩集群間為主備關(guān)系，互為備份集群內(nèi)節(jié)點間的互為備份單DC斷電，備升主兩DC間鏈路Down，集群分裂，依靠仲裁服務(wù)，判斷出腦裂發(fā)生，依據(jù)預(yù)配置的優(yōu)先級決定主，避免雙主出現(xiàn)，如REF _fig833735694518 r h圖2-13所示。仲裁服務(wù)運行示意圖云平臺與VMM對接對接云平臺Multi-PoD場景對接FusionSphere時：由一套控制器集群拉遠(yuǎn)管理多個DC為提高OPS的可靠性，部署跨DC的集群對接FusionSphere場景，支持對接仲裁防腦裂對接FusionSp

40、here示意圖對接VMMMulti-PoD場景對接VMM時：由每個DC各部署一套VMM一套控制器對接多套VMM對接VMM示意圖Multi-PoD - Underlay網(wǎng)絡(luò)方案多個PoD通過IP Network互連場景，業(yè)務(wù)區(qū)Underlay路由設(shè)計當(dāng)多個PoD之間通過IP Network互連時，業(yè)務(wù)區(qū)的Underlay路由設(shè)計如下圖所示。業(yè)務(wù)區(qū)的Underlay路由設(shè)計（通過IP Network互連）在Multi-PoD方案里，Underlay網(wǎng)絡(luò)平面承擔(dān)管理面的網(wǎng)絡(luò)互通，以及承擔(dān)數(shù)據(jù)面VXLAN隧道端點的網(wǎng)絡(luò)互通，因此Underlay網(wǎng)絡(luò)平面需要提供控制器的南向IP與各設(shè)備的管理IP之間路由

41、可達(dá)，需要提供各VTEP的VTEP IP路由可達(dá)。各POD內(nèi)，推薦使用OSPF打通各POD內(nèi)的Underlay路由，Underlay路由包括：各設(shè)備的管理IP，主備控制器的南向IP，各VTEP的VTEP IP；各POD與IP Network的PE之間，推薦使用OSPF，傳遞Underlay路由；各POD間，通過IP network的Underlay 路由平面打通Underlay路由，IP Network推薦MPLS VPN 或 VRF-Lite，傳遞各PoD的Underlay路由，保證主備控制器的南向IP與各設(shè)備的管理IP路由可達(dá)，保證各VTEP的VTEP IP路由可達(dá)。兩個PoD光纖直連場景

42、，業(yè)務(wù)區(qū)Underlay路由設(shè)計由于是一個VXLAN域，所以兩個PoD的Underlay路由需要打通。一般推薦Underlay路由采用OSPF。為了路由收斂速度和限制故障域，一般我們通過多個Area將兩個DC的OSPF路由域分割。如REF _fig1624062215583 r h圖2-17所示，DC1部署OSPF Area1，DC2部署OSPF Area2，DC間部署OSPF Area0。業(yè)務(wù)區(qū)Underlay路由設(shè)計Underlay路由需要將Loopback（VTEP）和直連接口路由都打通。Multi-PoD Overlay網(wǎng)絡(luò)方案Multi-PoD Overlay控制面方案Multi-P

43、oD場景中的Overlay控制面方案如下圖所示。Overlay控制面方案Overlay控制面是指：指導(dǎo)VM業(yè)務(wù)報文轉(zhuǎn)發(fā)的路由信息傳遞的路由協(xié)議平面，在Multi-PoD方案里，Overlay控制面包括：通過BGP-EVPN作為VXLAN轉(zhuǎn)發(fā)的控制面；如果有FW，ServiceLeaf與FW之間配置靜態(tài)路由，打通到FW的路由；BorderLeaf與外部PE之間部署eBGP動態(tài)路由，根據(jù)外部網(wǎng)絡(luò)預(yù)配置的主備關(guān)系，手工預(yù)配置主備路由優(yōu)先級，實現(xiàn)對外發(fā)布主備路由。BGP-EVPN作為VXLAN轉(zhuǎn)發(fā)的控制面，主要作用是VXLAN隧道的建立和Overlay路由的生成和傳遞：通過BGP-EVPN用inclu

44、sive路由（Type-3型路由）來傳遞L2 VNI和VTEP地址信息，實現(xiàn)動態(tài)創(chuàng)建VXLAN隧道和頭端復(fù)制表，避免full-mesh的靜態(tài)隧道配置。Overlay路由生成：主機路由：Remote PoD ServerLeaf，MainDC的ServerLeaf或ServiceLeaf通過學(xué)習(xí)server或者LB的ARP，通過BGP EVPN協(xié)議進(jìn)行全網(wǎng)通告。網(wǎng)段路由：Internet外部網(wǎng)絡(luò)配置默認(rèn)路由指向FW，配置主備優(yōu)先級引入BGP EVPN進(jìn)行全網(wǎng)通告。Overlay路由同步：Main DC的Spine作為RR反射，Leaf與本DC的Spine之間建立BGP peer，兩個Main D

45、C的Spine之間建立BGP peer，Remote PoD ServerLeaf與兩個Main DC的Spine建立BGP peer，通過BGP EVPN協(xié)議通告或?qū)W習(xí)主機路由和網(wǎng)段路由 。Multi-PoD Overlay數(shù)據(jù)面方案Multi-PoD Overlay數(shù)據(jù)面方案 東西向流量POD間VM互通Multi-PoD場景中的Overlay數(shù)據(jù)面方案如下圖所示。Overlay數(shù)據(jù)面方案Remote PoD ServerLeaf接入的VM發(fā)出數(shù)據(jù)報文或ARP報文，會觸發(fā)Remote PoD ServerLeaf節(jié)點的MAC或ARP等轉(zhuǎn)發(fā)表項學(xué)習(xí)；Remote PoD ServerLeaf節(jié)

46、點將學(xué)習(xí)到的轉(zhuǎn)發(fā)表項導(dǎo)入BGP-EVPN實例，形成BGP-EVPN協(xié)議路由信息；Remote PoD ServerLeaf節(jié)點的BGP-EVPN協(xié)議將路由信息（Type-2型MAC/IP路由）向鄰居擴散；其他Remote PoD的Remote PoD ServerLeaf和Main DC的Leaf通過BGP-EVPN協(xié)議學(xué)習(xí)Type-2型MAC/IP路由信息，然后后生成轉(zhuǎn)發(fā)表；反向亦然，其他Remote PoD的Remote PoD ServerLeaf和Main DC的Leaf也通過BGP-EVPN協(xié)議擴散自己的MAC/IP路由信息（Type-2型），整網(wǎng)打通二三層轉(zhuǎn)發(fā)路徑；東西向流量轉(zhuǎn)發(fā)時

47、，同子網(wǎng)流量查MAC，跨子網(wǎng)流量查路由，找到下一跳VTEP，通過VXLAN轉(zhuǎn)發(fā)，具體流程與單DC方案相同，不再贅述。網(wǎng)絡(luò)級容災(zāi)-主備出口設(shè)計Multi-PoD主備出口，是指在一套控制器管理下多個DC互聯(lián)成一個統(tǒng)一資源池，業(yè)務(wù)將其中一個DC作為外網(wǎng)主用出口，將另一個DC的作為外網(wǎng)備用出口。兩個DC出口互為主備的網(wǎng)絡(luò)模型如圖所示。主備出口：兩個DC間出口可以形成主備關(guān)系，可以基于VPC進(jìn)行負(fù)載分擔(dān)。主備出口邏輯示意圖2個DC通過端到端VXLAN隧道二層拉通，通過分布式VXLAN網(wǎng)關(guān)構(gòu)建跨DC的邏輯路由器，使得業(yè)務(wù)VPC內(nèi)部東西向互通的虛擬網(wǎng)絡(luò)能夠跨DC部署，可支持VM跨DC遷移，可支持云主機高可用部署。2個DC的出口配置為主備關(guān)系的外部網(wǎng)絡(luò)（可配置多個外部網(wǎng)絡(luò)），可以形成兩種類型的主備關(guān)系，即：對于一個外部網(wǎng)絡(luò)可選主出口在DC1備出口在DC2，