校園數(shù)據(jù)中心高可靠性網(wǎng)絡(luò)的研究與實(shí)現(xiàn)

1、校園數(shù)據(jù)中心高可靠性網(wǎng)絡(luò)的研究與實(shí)現(xiàn)沈立強(qiáng) 吳海燕 戚麗（清華大學(xué)計(jì)算機(jī)與信息管理中心，北京 100084）mail:slq摘要：校園數(shù)據(jù)中心是數(shù)字校園的核心，無(wú)單點(diǎn)故障的、高可用性網(wǎng)絡(luò)的建設(shè)至關(guān)重要。本文以清華大學(xué)校園數(shù)據(jù)中心的網(wǎng)絡(luò)建設(shè)為實(shí)例，探討如何設(shè)計(jì)數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)計(jì)方案以保證網(wǎng)絡(luò)的高可靠性，做到任何單個(gè)交換機(jī)或單條鏈路的故障都不會(huì)影響網(wǎng)絡(luò)的連通性，更不會(huì)導(dǎo)致整個(gè)網(wǎng)絡(luò)的癱瘓，從根本上解決數(shù)據(jù)中心面臨的風(fēng)險(xiǎn)。關(guān)鍵詞：校園數(shù)據(jù)中心 高可靠性網(wǎng)絡(luò) 單點(diǎn)故障 AFT VRRPthe research and implementation of a high available network

2、of university data centerShen Liqiang Wu Haiyan Qi Li(Tsinghua University, Beijing 100084)mail:slqAbstract：University data center (UDC) is the heart of digital university, so the building of single failure free, high available network is of the top importance. Based on Tsinghua University UDC networ

3、k building practice, this paper discusses how to design UDCs network building plan to achieve networks high availability, to ensure that any failure of single switch or link will not impact network connectivity, not saying result in the paralysis of the whole network. By this way, totally reduce UDC

4、s network risk.keyword：university data center high available network single failure AFT VRRP1. 前言清華大學(xué)在教育信息化建設(shè)方面經(jīng)過(guò)十余年艱苦努力，尤其在啟動(dòng)“211工程”之后，逐步建成了綜合信息服務(wù)系統(tǒng)、辦公自動(dòng)化系統(tǒng)、綜合教務(wù)系統(tǒng)、網(wǎng)絡(luò)教學(xué)系統(tǒng)、財(cái)務(wù)工資管理系統(tǒng)和開(kāi)放實(shí)驗(yàn)室綜合管理系統(tǒng)等多個(gè)應(yīng)用系統(tǒng)，數(shù)據(jù)中心為上述應(yīng)用系統(tǒng)提供了完善的網(wǎng)絡(luò)和運(yùn)行環(huán)境，并承擔(dān)了所有應(yīng)用系統(tǒng)的運(yùn)行和維護(hù)任務(wù)。目前數(shù)據(jù)中心內(nèi)有各類(lèi)服務(wù)器80余臺(tái)，幾乎所有應(yīng)用系統(tǒng)的關(guān)鍵數(shù)據(jù)都存放在數(shù)據(jù)中心，數(shù)據(jù)中心與各個(gè)業(yè)務(wù)部門(mén)之間的保持

5、著頻繁的重要通訊。為了保證數(shù)據(jù)中心的高可用性，達(dá)到7*24小時(shí)不間斷服務(wù)的目標(biāo)，一個(gè)全冗余、無(wú)單點(diǎn)故障的網(wǎng)絡(luò)就成了數(shù)據(jù)中心的基礎(chǔ)。為實(shí)現(xiàn)路由冗余，可以采用VRRP協(xié)議；為實(shí)現(xiàn)交換機(jī)的冗余，可以采用SPT協(xié)議；為實(shí)現(xiàn)鏈路冗余，可采用link-aggregation技術(shù)等。本文以清華大學(xué)數(shù)據(jù)中心的網(wǎng)絡(luò)建設(shè)為實(shí)例，探討如何設(shè)計(jì)數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)計(jì)方案以保證網(wǎng)絡(luò)的高可靠性，做到任何單個(gè)交換機(jī)或單條鏈路的故障都不會(huì)影響網(wǎng)絡(luò)的連通性，更不會(huì)導(dǎo)致整個(gè)網(wǎng)絡(luò)的癱瘓，從根本上解決數(shù)據(jù)中心面臨的風(fēng)險(xiǎn)。2. 清華大學(xué)校園數(shù)據(jù)中心結(jié)構(gòu)目前，清華大學(xué)校園數(shù)據(jù)中心的交換機(jī)有華為Quidway S8016、神州數(shù)碼DCRS75

6、04、Extreme Alpine 3808、Extreme Summit 48，Quidway S3050，S3026等。通過(guò)采用硬件上的冗余，包括交換機(jī)的冗余、交換機(jī)之間鏈路的冗余和服務(wù)器網(wǎng)卡的冗余等，基本實(shí)現(xiàn)了網(wǎng)絡(luò)的高可靠性，消除或部分消除了網(wǎng)絡(luò)的單點(diǎn)故障。數(shù)據(jù)中心的網(wǎng)絡(luò)拓樸結(jié)構(gòu)如圖1所示。圖 1 數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)3. 清華大學(xué)校園數(shù)據(jù)中心網(wǎng)絡(luò)可靠性分析一個(gè)高可靠的網(wǎng)絡(luò)應(yīng)該是全冗余、無(wú)任何單點(diǎn)故障的。下面我們根據(jù)圖1的網(wǎng)絡(luò)拓?fù)?，從網(wǎng)絡(luò)設(shè)備、通信鏈路兩方面來(lái)分析清華大學(xué)校園數(shù)據(jù)中心網(wǎng)絡(luò)的單點(diǎn)故障情況。3.1 網(wǎng)絡(luò)設(shè)備的可靠性分析(1) 中心路由交換機(jī)中心路由交換機(jī)采用的是華為公司高端千

7、兆路由交換機(jī)Quidway S8016。S8016的主控板、交換網(wǎng)板、路由處理系統(tǒng)、電源系統(tǒng)等所有關(guān)鍵部件都采用了冗余熱備份設(shè)計(jì)，其路由轉(zhuǎn)發(fā)處理引擎采用分布式結(jié)構(gòu)，因此，S8016本身不存在單點(diǎn)故障。數(shù)據(jù)中心采用了兩臺(tái)三層交換機(jī)作為中心路由交換機(jī)，同時(shí)，通過(guò)在兩臺(tái)中心路由交換機(jī)上運(yùn)行VRRP（虛擬冗余路由協(xié)議）協(xié)議來(lái)為服務(wù)器提供一個(gè)唯一的默認(rèn)網(wǎng)關(guān)。當(dāng)任何一臺(tái)中心路由交換機(jī)發(fā)生故障時(shí)，通過(guò)VRRP協(xié)議，另一臺(tái)中心路由交換機(jī)立即接管所有的工作，同時(shí)更新路由表，并通過(guò)動(dòng)態(tài)路由協(xié)議通知校園網(wǎng)端的路由器更新相應(yīng)的路由表。我們先介紹VRRP相關(guān)的部分術(shù)語(yǔ)：VRRP路由器 任何運(yùn)行VRRP協(xié)議的路由器或設(shè)備

8、；虛擬路由器 一個(gè)運(yùn)行VRRP協(xié)議的邏輯路由器，用來(lái)給一個(gè)網(wǎng)絡(luò)的主機(jī)提供路由服務(wù)。一個(gè)虛擬路由器包括一個(gè)虛擬路由標(biāo)識(shí)符VRID和一組IP地址，在物理上至少由兩臺(tái)或兩臺(tái)以上的VRRP路由器構(gòu)成；主虛擬路由器 給虛擬路由器提供IP包轉(zhuǎn)發(fā)和進(jìn)行相應(yīng)ARP應(yīng)答的VRRP路由器；備份虛擬路由器 當(dāng)主虛擬路由器失敗時(shí)，能自動(dòng)代替主虛擬路由器工作的VRRP路由器；虛擬路由器的MAC地址 虛擬路由器的MAC地址格式為：00-00-5E-00-01-VRID，其中： 00-00-5E 是生產(chǎn)廠(chǎng)家的唯一標(biāo)識(shí)號(hào)； 00-01 是一個(gè)常量，該地址塊保留給VRRP協(xié)議； VRID 是VRRP虛擬路由器標(biāo)識(shí)。在一個(gè)網(wǎng)絡(luò)中

9、最多可以有255個(gè)虛擬路由器。在清華大學(xué)校園數(shù)據(jù)中心有多個(gè)子網(wǎng)接入校園網(wǎng)，圖1中僅畫(huà)出了兩個(gè)子網(wǎng)Net1和Net2。圖1中SW1到RTA的實(shí)線(xiàn)表示RTA作為Net1的主虛擬路由器，SW4到RTB的實(shí)線(xiàn)表示RTB作為Net2的主虛擬路由器；SW3到RTA的虛線(xiàn)表示RTA作為Net2的備份虛擬路由器，SW2到RTB的虛線(xiàn)表示RTB作為Net1的備份虛擬路由器。這樣，一方面既實(shí)現(xiàn)了冗余的路由備份，另一方面又實(shí)現(xiàn)了負(fù)載的分擔(dān)，避免了所有的負(fù)載集中于一個(gè)VRRP路由器。下面我們以Net1為例來(lái)分析一下VRRP的工作過(guò)程。簡(jiǎn)化后的網(wǎng)絡(luò)拓?fù)湟?jiàn)圖2，圖2中的IP地址配置僅為示例，不代表目前清華大學(xué)校園數(shù)據(jù)中心

10、實(shí)際使用的IP地址。圖 2 Net1的VRRP協(xié)議配置通過(guò)在RTA和RTB上啟用VRRP協(xié)議，使RTA和RTB都成為VRRP路由器，正常情況下RTA和RTB通過(guò)Net1定期交換Hello報(bào)文以確定主虛擬路由器和備份虛擬路由器。一旦備份虛擬路由器在規(guī)定的時(shí)間內(nèi)沒(méi)有從Net1收到主虛擬路由器發(fā)送的Hello報(bào)文，將自動(dòng)變?yōu)橹魈摂M路由器，接管原主虛擬路由器的所有工作。這個(gè)時(shí)間很短，一般小于3秒，因此，用戶(hù)基本上感覺(jué)不到該切換。當(dāng)然，在切換過(guò)程中可能會(huì)發(fā)生短時(shí)間內(nèi)網(wǎng)絡(luò)路由不正確和少量IP報(bào)文丟失，通過(guò)TCP的重傳機(jī)制將保證端到端數(shù)據(jù)的正確性。當(dāng)Net1中的主機(jī)要向Net1以外的網(wǎng)絡(luò)發(fā)送IP報(bào)文時(shí)，先進(jìn)

11、行ARP廣播，請(qǐng)求網(wǎng)關(guān)（10.0.1.1）的MAC地址。RTA和RTB都收到了該請(qǐng)求，但只有主虛擬路由器響應(yīng)該ARP請(qǐng)求，并以虛擬路由器MAC地址00-00-5E-00-01-11進(jìn)行應(yīng)答。主機(jī)將IP報(bào)文以00-00-5E-00-01-11為目的MAC地址封裝在以太網(wǎng)的幀中進(jìn)行發(fā)送，主虛擬路由器接收該幀并基于IP進(jìn)行報(bào)文轉(zhuǎn)發(fā)。這樣，就通過(guò)VRRP協(xié)議實(shí)現(xiàn)了對(duì)中心路由交換機(jī)的動(dòng)態(tài)冗余備份。(2) 接入交換機(jī)為了消除由接入交換機(jī)引起的單點(diǎn)故障，必須設(shè)置冗余的交換機(jī)。我們可以將兩個(gè)交換機(jī)級(jí)聯(lián)（或堆疊）在一起，從邏輯上組成一個(gè)交換機(jī)。為提高級(jí)聯(lián)的可靠性，可采用端口聚合的方式進(jìn)行雙鏈路級(jí)聯(lián)。對(duì)于Extr

12、eme的交換機(jī)，還可以用Dual-home技術(shù)進(jìn)行雙鏈路級(jí)聯(lián)。然后從每個(gè)物理交換機(jī)分別連接到不同的中心路由交換機(jī)上，同時(shí)，服務(wù)器利用AFT技術(shù)通過(guò)兩塊網(wǎng)卡分別連接到不同的接入交換機(jī)。這樣，當(dāng)某一接入交換機(jī)發(fā)生故障時(shí)，如果有必要的話(huà)，服務(wù)器會(huì)自動(dòng)切換到備用網(wǎng)卡，從而連到另一個(gè)接入交換機(jī)，VRRP虛擬路由器根據(jù)當(dāng)前的狀態(tài)，還有可能發(fā)生主備虛擬路由器的切換，當(dāng)然，這個(gè)切換對(duì)服務(wù)器是透明的。3.2 鏈路的可靠性分析(1) 從中心路由交換機(jī)到校園網(wǎng)的出口鏈路任何一條出口鏈路出現(xiàn)故障時(shí)，相應(yīng)的中心路由交換機(jī)通過(guò)動(dòng)態(tài)路由協(xié)議更新路由表，將默認(rèn)的出口路由指向另外一臺(tái)中心路由交換機(jī)，然后經(jīng)另一個(gè)出口到校園網(wǎng)。由

13、于數(shù)據(jù)包回來(lái)的路由也發(fā)生了變化，因此要求校園網(wǎng)端也運(yùn)行動(dòng)態(tài)路由協(xié)議，實(shí)現(xiàn)動(dòng)態(tài)路由調(diào)整。(2) 兩個(gè)中心路由交換機(jī)之間的路由鏈路鏈路發(fā)生故障時(shí)，將導(dǎo)致Net1和Net2的互訪(fǎng)要經(jīng)過(guò)校園網(wǎng)端的路由器。由于兩臺(tái)中心路由交換機(jī)都支持端口聚合功能，因此，可在兩臺(tái)中心路由交換機(jī)之間建立多條鏈路，通過(guò)link-aggregation將多個(gè)端口聚合為一個(gè)邏輯端口。聚合端口通過(guò)流量配置算法支持端口流量自動(dòng)均衡保護(hù)，使所屬物理通道流量基本均衡；通過(guò)聚合端口發(fā)送的報(bào)文會(huì)從該聚合端口中任意一個(gè)且只有一個(gè)物理鏈路上發(fā)送，物理端口上的調(diào)度策略保證業(yè)務(wù)質(zhì)量和報(bào)文順序。當(dāng)聚合端口中一條或多條物理鏈路故障時(shí)，能自動(dòng)將流量轉(zhuǎn)移到

14、其他鏈路上去。當(dāng)端口重新恢復(fù)后，流量自動(dòng)重新分配。(3) 從接入交換機(jī)到中心路由交換機(jī)的鏈路從接入交換機(jī)到中心路由交換機(jī)的鏈路發(fā)生故障時(shí)，根據(jù)VRRP虛擬路由器的狀態(tài)，有可能發(fā)生VRRP主備虛擬路由器的切換。不過(guò)，該切換對(duì)服務(wù)器是透明的。為了增強(qiáng)該鏈路的可靠性，可采用端口聚合的方式通過(guò)雙鏈路將接入交換機(jī)上聯(lián)到中心路由交換機(jī)。對(duì)于Extreme的Summit48交換機(jī)，還可以采用Dual-home技術(shù)進(jìn)行雙鏈路上聯(lián)。(4) 從服務(wù)器到接入交換機(jī)的鏈路鏈路故障或網(wǎng)卡故障都將導(dǎo)致服務(wù)器不能連到相應(yīng)的接入交換機(jī)。服務(wù)器可采用雙網(wǎng)卡接到不同的接入交換機(jī)。在服務(wù)器上安裝2塊網(wǎng)卡，分別連接到2臺(tái)不同的接入交換機(jī)，利用AFT（Adapter Fault Tolerance）技術(shù)實(shí)現(xiàn)網(wǎng)卡間的容錯(cuò)，當(dāng)主網(wǎng)卡或該網(wǎng)卡到所連的交換機(jī)鏈路發(fā)生故障時(shí)，服務(wù)器會(huì)立刻將該網(wǎng)卡上的流量轉(zhuǎn)移到備份網(wǎng)卡上，這一過(guò)程不超過(guò)2秒。4. 結(jié)束語(yǔ)通過(guò)對(duì)路由器、交換機(jī)以及通信鏈路的冗余設(shè)置，配合VRRP、AFT、Link-Aggregation、SPT等技術(shù)，消除網(wǎng)絡(luò)中的單點(diǎn)故障，最終建立一個(gè)安全、可靠、高效的校園數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)。由于全部采用冗余設(shè)置，因此投資成本較高，對(duì)于條件不允許的校園數(shù)據(jù)中心，可以對(duì)部分重要的服務(wù)器所在的網(wǎng)絡(luò)采用全冗余的設(shè)計(jì)，而其它服務(wù)器還是采