數(shù)據(jù)中心網(wǎng)絡(luò)高可用技術(shù)

1、數(shù)據(jù)中心網(wǎng)絡(luò)高可用技術(shù)高可用性，金融數(shù)據(jù)中心建設(shè)中最受關(guān)注的問題之一。高可用性設(shè)計是個系統(tǒng)工程，其內(nèi)容涉及構(gòu)成數(shù)據(jù)中心的四個組成要素（網(wǎng)絡(luò)、計算、存儲、機房基礎(chǔ)設(shè)施）的多方面內(nèi)容，本文聚焦網(wǎng)絡(luò)系統(tǒng)，闡述了多種網(wǎng)絡(luò)高可用技術(shù)在數(shù)據(jù)中心的部署最佳實踐。一、             高可用性的定義系統(tǒng)可用性（Availability）的定義公式為：Availability  MTBF / ( MTBF + MTTR ) × 

2、;100%MTBF（Mean Time Between Failure），即平均無故障時間，是描述整個系統(tǒng)可靠性（reliability）的指標(biāo)。對于一個網(wǎng)絡(luò)系統(tǒng)來說，MTBF是指整個網(wǎng)絡(luò)的各組件（鏈路、節(jié)點）不間斷無故障連續(xù)運行的平均時間。MTTR（Mean Time to Repair），即系統(tǒng)平均恢復(fù)時間，是描述整個系統(tǒng)容錯能力（fault-tolerant capability）的指標(biāo)。對于一個網(wǎng)絡(luò)系統(tǒng)來說，MTTR是指當(dāng)網(wǎng)絡(luò)中的組件出現(xiàn)故障時，網(wǎng)絡(luò)從故障狀態(tài)恢復(fù)到正常狀態(tài)所需的平均時間。從公式可看出，提高MTBF或降低MTTR都能提高網(wǎng)絡(luò)可用性。造成數(shù)據(jù)中心網(wǎng)絡(luò)不可用的因素包括：設(shè)備

3、軟硬件故障、設(shè)備間鏈路故障、維護升級、用戶誤操作、網(wǎng)絡(luò)擁塞等事件。針對這些因素采取措施，如提高軟硬件質(zhì)量、減少鏈路故障、避免網(wǎng)絡(luò)擁塞丟包、避免用戶誤操作等，使網(wǎng)絡(luò)盡量不出故障、提高網(wǎng)絡(luò)MTBF指標(biāo)，也就提升了整網(wǎng)的可用性水平。然而，網(wǎng)絡(luò)中的故障總是不可避免的，所以設(shè)計和部署從故障中快速回復(fù)的技術(shù)、縮小MTTR指標(biāo)，同樣是提升網(wǎng)絡(luò)可用性水平的手段。在網(wǎng)絡(luò)出現(xiàn)故障時，確保網(wǎng)絡(luò)能快速回復(fù)的容錯技術(shù)均可以歸入高可用技術(shù)。常用的網(wǎng)絡(luò)高可用技術(shù)可歸為以下幾類：l         單設(shè)備的硬件冗余：冗余電源、冗余風(fēng)扇、

4、雙主控、板卡支持熱插拔；l         物理鏈路捆綁：以太網(wǎng)鏈路聚合，基于IRF的跨設(shè)備以太網(wǎng)鏈路聚合；l         二層冗余路徑：STP、MSTP、SmartLink；l         三層冗余路徑：VRRP、ECMP、動態(tài)路由協(xié)議多路徑；l      &

5、#160;  故障檢測：NQA、BFD、OAM、DLDP；l         不間斷轉(zhuǎn)發(fā)：GR、熱補丁升級；l         L4-L7多路徑：狀態(tài)熱備、非對稱路徑轉(zhuǎn)發(fā)。在進行高可用數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)劃時，不能只將上述技術(shù)進行簡單疊加和無限制的冗余，否則，一方面會增加網(wǎng)絡(luò)建設(shè)整體成本，另一方面還會增加管理維護的復(fù)雜度，反而給網(wǎng)絡(luò)引入了潛在的故障隱患。因此在進行規(guī)劃時，應(yīng)該根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)類型和網(wǎng)絡(luò)

6、層次，分析網(wǎng)絡(luò)業(yè)務(wù)模型，確定數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)拓撲，明確對網(wǎng)絡(luò)可用性最佳的關(guān)鍵節(jié)點和鏈路，合理規(guī)劃和部署各種網(wǎng)絡(luò)高可用技術(shù)。二、             數(shù)據(jù)中心網(wǎng)絡(luò)高可用部署方案1.  數(shù)據(jù)中心服務(wù)器區(qū)典型組網(wǎng)圖1.  高可用扁平化架構(gòu)典型組網(wǎng)圖1是典型的數(shù)據(jù)中心服務(wù)器區(qū)分層網(wǎng)絡(luò)拓撲（接入、匯聚、核心）。接入層交換機為服務(wù)器提供高可用網(wǎng)絡(luò)接入。匯聚層設(shè)備做為服務(wù)器的網(wǎng)關(guān)，并通過部署應(yīng)用優(yōu)化設(shè)備（如服務(wù)負載分擔(dān)設(shè)備）以減輕服務(wù)器

7、的處理負擔(dān)，并提高服務(wù)器系統(tǒng)的可用性。匯聚層部署的安全設(shè)備（如防火墻）做為整個服務(wù)器區(qū)的安全邊界，為服務(wù)器提供訪問控制。建議在匯聚層采用與交換機一體化的應(yīng)用優(yōu)化或安全插板部署方式，以代替?zhèn)鹘y(tǒng)的獨立盒式設(shè)備。采用插板方式的好處是降低能耗、減少布線復(fù)雜性，從而提升網(wǎng)絡(luò)的整體可用性。2.  網(wǎng)絡(luò)接入層高可用部署方案接入層到匯聚層有4種連接方式，如圖2所示，分別為：倒U形接法（拓撲1）、U形接法（拓撲2）、矩形接法（拓撲3）和三角形接法。不同類型的接法以二層鏈路的物理拓撲為評判依據(jù)，比如對于矩形接法（拓撲3），接入交換機之間、接入交換機與匯聚交換機之間、匯聚交換機之間均以二層鏈路互

8、聯(lián)，并且兩臺接入交換機與兩臺匯聚交換機構(gòu)成了矩形的二層互聯(lián)拓撲。圖2.  高可用擴展多級架構(gòu)典型組網(wǎng)接入層的四種拓撲的比較：拓撲優(yōu)點缺點備注說明1倒U形不啟用STP，網(wǎng)絡(luò)管理簡單。VLAN可以跨匯聚層交換機，服務(wù)器二層的擴展靈活。匯聚交換機故障時，造成其同側(cè)接入交換機上的服務(wù)器不可達，無法實現(xiàn)高可用接入2U形不啟用STP，網(wǎng)絡(luò)管理簡單。接入交換機與匯聚交換機之間有冗余鏈路。VLAN不能跨匯聚交換機，服務(wù)器部署不靈活。接入交換機間鏈路故障時，VRRP心跳報文無法傳遞，網(wǎng)絡(luò)處于不穩(wěn)定狀態(tài)。3矩形接入交換機與匯聚交換機之間有冗余鏈路。VLAN可以跨匯聚層交換機當(dāng)接入交換機上行鏈路

9、故障時，所有流量將從另一側(cè)的交換機上行，網(wǎng)絡(luò)收斂比變小，網(wǎng)絡(luò)易擁塞，降低了網(wǎng)絡(luò)可用性。4三角形接入交換機與匯聚交換機之間有冗余鏈路、冗余路徑。VLAN 可以跨匯聚層交換機，服務(wù)器部署靈活生成樹計算比矩形拓撲復(fù)雜。推薦方式表1.  四種拓撲連接方式的對比由上表可以看出，三角形組網(wǎng)（拓撲4）提供了更高的接入可用性以及更靈活的服務(wù)器擴展能力，所以對于數(shù)據(jù)中心獨立服務(wù)器的接入，建議采用三角形組網(wǎng)方式。由于接入層三角形組網(wǎng)存在二層環(huán)路，所以需要在交換機上使能多生成樹協(xié)議MSTP（Multiple Spanning Tree Protocol）。匯聚層交換機（或匯聚交換上的L

10、4/L7層設(shè)備）部署虛擬路由器冗余協(xié)議（virtual router redundancy protocol, VRRP），并將VRRP組的虛擬IP地址作為服務(wù)器網(wǎng)關(guān)。對于接入層這種典型的MSTP+VRRP部署方式，還應(yīng)關(guān)注以下幾點：l       利用MSTP多實例特性，合理規(guī)劃VLAN與實例映射關(guān)系，實現(xiàn)業(yè)務(wù)流量的負載分擔(dān)。如圖3，VLAN50對應(yīng)的STP實例的根橋在AGG_SW2（VLAN50在ACC_SW1與AGG_SW1、及ACC_SW2與AGG_SW1之間的轉(zhuǎn)發(fā)被阻塞），VLAN30對應(yīng)的STP實例的根

11、橋在AGG_SW1（VLAN 30在ACC_SW1與AGG_SW2、ACC_SW2與AGG_SW2之間的轉(zhuǎn)發(fā)被阻塞）。l       規(guī)劃多個VRRP組，實現(xiàn)服務(wù)器網(wǎng)關(guān)的備份和負載分擔(dān)。如圖3，在正常轉(zhuǎn)發(fā)時匯聚交換機（AGG_SW1、AGG_SW2）分別作為VLAN30和VLAN50的VRRP Master設(shè)備。如匯聚層部署了L4/L7設(shè)備（如防火墻），則在L4/L7設(shè)備上規(guī)劃VRRP組，并將VRRP的虛擬IP作為服務(wù)器的網(wǎng)關(guān)。圖3.  接入層MSTP+VRRP部署l   &

12、#160;   在匯聚交換機上指定根橋。恰當(dāng)放置根橋不但可優(yōu)化生成樹協(xié)議所選擇的路徑，還可以為數(shù)據(jù)提供明確的路徑，明確的路徑使排錯和配置網(wǎng)絡(luò)變得更為容易。通過在匯聚層交換機上手工配置根橋的主、備策略，確保生成樹在二層鏈路形成最佳的樹型拓撲。l       匯聚交換機上聯(lián)的三層接口配置“STP Disable”命令。對于不需要參與STP的端口應(yīng)關(guān)閉STP特性，由此可節(jié)省設(shè)備的CPU資源和BPDU報文的發(fā)送范圍，以降低網(wǎng)絡(luò)發(fā)生故障的幾率。l     

13、  接入交換機與服務(wù)器直連端口設(shè)置為“邊緣端口”。網(wǎng)絡(luò)拓撲變化時，邊緣端口不會產(chǎn)生臨時環(huán)路。因此，如果將服務(wù)器接入端口配置為邊緣端口，則該端口可以快速遷移到轉(zhuǎn)發(fā)狀態(tài)，降低網(wǎng)絡(luò)的故障收斂時間。l       接入交換機與服務(wù)器相連的端開啟“BPDU保護”功能，如圖3。邊緣端口正常情況不應(yīng)收到生成樹協(xié)議的配置消息，如有人偽造配置消息惡意攻擊設(shè)備，會引起生成樹重新計算，啟動BPDU保護功能可防止這種攻擊，避免發(fā)生網(wǎng)絡(luò)拓撲震蕩。l       

14、接入交換機上行端口開啟“環(huán)路保護”功能，如圖3。如果接入交換機上行端口發(fā)生鏈路擁塞或者單向鏈路故障時，環(huán)路保護功能會將根端口的角色變?yōu)橹付ǘ丝冢丝诘臓顟B(tài)為Discarding；原來被阻塞端口同樣也變?yōu)橹付ǘ丝冢瑺顟B(tài)為Discarding 狀態(tài)，不轉(zhuǎn)發(fā)報文，從而不會在網(wǎng)絡(luò)中形成環(huán)路，避免引起網(wǎng)絡(luò)拓撲震蕩。l       匯聚交換機（根橋和備份根橋）與接入交換機互聯(lián)的端口開啟“root保護”功能，如圖3。當(dāng)開啟“root保護功能”的端口收到優(yōu)先級高的配置消息時，該端口的狀態(tài)將被設(shè)為Discarding，不再轉(zhuǎn)發(fā)報文。

15、當(dāng)足夠長的時間內(nèi)沒有再次收到更優(yōu)的配置消息時，端口會恢復(fù)正常狀態(tài)。這種功能可避免錯誤的配置或網(wǎng)絡(luò)攻擊造成匯聚交換機失去根橋地位而引起網(wǎng)絡(luò)拓撲變化。l       交換機上開啟“TC-BPDU保護”功能。為了避免交換機頻繁收到TC報文而去頻繁刪除MAC和ARP表項，繼而引起CPU繁忙并造成網(wǎng)絡(luò)業(yè)務(wù)中斷的情況，應(yīng)在交換機上開啟TC保護功能。l       在交換機上開啟loopback-detection（端口環(huán)回檢測）功能，防止錯誤的配置或連接形成端口自環(huán)。

16、l       匯聚與接入層交換機相連的端口避免配置trunk all，只允許使用的Vlan通過，如圖3中（只允許Trunk VLAN30和Trunk VLAN50），各個雙歸屬環(huán)用Vlan隔開，防止一個環(huán)上的廣播泛到另一個環(huán)上去。3.  網(wǎng)絡(luò)匯聚層高可用部署方案網(wǎng)絡(luò)匯聚層作為網(wǎng)絡(luò)接入層的流量會集點和服務(wù)器的網(wǎng)關(guān)，需要部署防火墻做為整個服務(wù)器區(qū)的安全控制邊界，還需要部署應(yīng)用優(yōu)化設(shè)備（服務(wù)負載分擔(dān)、SSL卸載等）用以減輕服務(wù)器的負擔(dān)，提高應(yīng)用響應(yīng)速度。建議在服務(wù)器群區(qū)域網(wǎng)絡(luò)匯聚層采用集成在機架式交換機上的安

17、全和應(yīng)用優(yōu)化多業(yè)務(wù)板卡，優(yōu)點在于簡化機架布線、提高系統(tǒng)可用性、降低設(shè)備整體功耗。圖4是匯聚層交換機上部署防火墻插板（FW）和負載分擔(dān)插板（LB）時的路由設(shè)計。FW板卡作為服務(wù)器網(wǎng)關(guān)，采用三層路由模式為訪問服務(wù)器的流量提供轉(zhuǎn)發(fā)，并提供攻擊防御、策略管理等功能。LB板卡采用單臂旁掛部署方式。缺省網(wǎng)關(guān)指定在匯聚交換機上。外部用戶訪問虛服務(wù)的流量在LB板卡上進行負載分擔(dān)與源目的地址變換后，再通過FW訪問內(nèi)部服務(wù)器。圖4.  匯聚層FW+LB的部署圖5是匯聚層FW與LB的雙機高可用部署方案。核心與匯聚交換機間運行OSPF協(xié)議。當(dāng)任一節(jié)點整機或鏈路故障時，網(wǎng)絡(luò)依靠OSPF進行故障收斂。

18、兩個LB之間運行VRRP，匯聚交換機將去往服務(wù)器IP地址的下一跳指向LB的VRRP虛IP地址，當(dāng)LB主路徑板卡故障時，通過VRRP可以切換到備份卡上繼續(xù)流量轉(zhuǎn)發(fā)。兩個FW之間也運行VRRP，F(xiàn)W主路徑板卡故障時，通過VRRP可以切換到備份卡上恢復(fù)流量。匯聚交換機之間需要Trunk V100/V400/V500圖5.  匯聚層FW+LB的部署匯聚層到核心層間采用OSPF等動態(tài)路由協(xié)議進行路由層面高可用保障。常見連接方式有兩種，如圖6。拓撲1采用了三角形連接方式，從匯聚層到核心層具有全冗余鏈路和轉(zhuǎn)發(fā)路徑；拓撲2采用了四邊形連接方式，從匯聚層到核心層沒有冗余鏈路，當(dāng)主鏈路發(fā)生故障時，需要通過路由協(xié)議計算獲得從匯聚到核心的冗余路徑。所以，三角形拓撲的故障收斂時間較小，但三角形拓撲要占用更多的設(shè)備端口，建網(wǎng)成本較高。圖6.  匯聚層與核心層的拓撲4.  IRF虛擬化技術(shù)高可用最佳實踐圖7.  傳統(tǒng)架構(gòu)服務(wù)器群網(wǎng)絡(luò)拓撲與IRF架構(gòu)服務(wù)器群網(wǎng)絡(luò)拓撲對比對于接入層而言傳統(tǒng)架構(gòu)為保證網(wǎng)絡(luò)高可用性通常采用MSTP+VRRP，這種組網(wǎng)需要在接入交換機與匯聚交換機間運行MSTP協(xié)議，管理和維護較復(fù)雜。但當(dāng)接入交換機和匯聚交換機都采用IRF架構(gòu)之后，可將每兩臺交換機（也可以是多臺）配置成一個IRF堆疊組，兩臺匯聚交