華為交換機(jī)SVF

1、1 設(shè)備虛擬化，讓網(wǎng)絡(luò)更簡單“ 閑話大二層網(wǎng)絡(luò)” 已經(jīng)清晰地闡述了數(shù)據(jù)中心因?yàn)樘摂M機(jī)（ VM ）STP 的能力卻不足以支撐大二層網(wǎng)絡(luò)的需求。圖 1-1 傳統(tǒng)二三層網(wǎng)絡(luò)簡單理下脈絡(luò)就是網(wǎng)絡(luò)冗余備份的需求帶來了環(huán)路問題，為了解決環(huán)路問題從而STP 破環(huán)協(xié)議誕生了，但是STP 本身在功能和性能方面的缺陷卻導(dǎo)致二層大不起來。（至于為什么STP 不適應(yīng)大二層網(wǎng)絡(luò)的原因可以參考前期的“閑話大二層網(wǎng)絡(luò) ”，本文不做太多描述。）1.2 化繁為簡既然 STP 沒法用，那只能從解決環(huán)路問題方面入手嘍。問題不得不再次回歸到為什么會產(chǎn)生環(huán)路上來。為了提高網(wǎng)絡(luò)可靠性，通常設(shè)備和鏈路都是冗余備份的，而這樣就不可避免的形成

2、了環(huán)路。如果是單設(shè)備和單鏈路組成的樹型網(wǎng)絡(luò)，是沒有環(huán)路問題的，如圖1-2，但是出于可靠性考慮很少有這么干的。1.3 技術(shù)的演進(jìn)1-2 樹型網(wǎng)絡(luò)及冗余環(huán)路網(wǎng)絡(luò)那么有沒有什么辦法在設(shè)備、鏈路冗余的基礎(chǔ)上又保持樹型網(wǎng)絡(luò)的結(jié)構(gòu)呢 ?這樣既能保證可靠性，又天然無環(huán)?；谶@樣的設(shè)想，簡單粗暴、直接有效的網(wǎng)絡(luò)設(shè)備虛擬化技術(shù)出現(xiàn)了。設(shè)備虛擬化技術(shù)就是將相互冗余的兩臺或多臺物理設(shè)備組合在一起，虛擬化成一臺邏輯設(shè)備，在整個網(wǎng)絡(luò)中只呈現(xiàn)為一個節(jié)點(diǎn)，如圖1-3。（本文中的網(wǎng)絡(luò)虛擬化技術(shù)特指多虛一的技術(shù)，另外也有一虛多的技術(shù)，比如華為的VS 技術(shù)， 可以把一臺網(wǎng)絡(luò)設(shè)備虛擬成多臺網(wǎng)絡(luò)設(shè)備使用，但是本文中不涉及這種虛擬化。

3、）圖 1-3 虛擬化前后的邏輯網(wǎng)絡(luò)虛擬化后的設(shè)備之間相互冗余備份，單臺物理設(shè)備故障時，其他設(shè)備可 以接管控制，避免因單點(diǎn)故障導(dǎo)致業(yè)務(wù)中斷。設(shè)備虛擬化再配合鏈路聚 合技術(shù)，就可以把原來的多節(jié)點(diǎn)、多鏈路的結(jié)構(gòu)變成邏輯上單節(jié)點(diǎn)、單 鏈路的結(jié)構(gòu)，完美兼容高可靠性和無環(huán)。最早出現(xiàn)的設(shè)備虛擬化技術(shù)堆疊，例如華為的CSS/iStack、 Cisco 的VSS 和 H3C 的 IRF 等，可以將同一網(wǎng)絡(luò)層次上的同類型或同型號交換機(jī)多虛一，如圖1-4 所示，又稱為橫向虛擬化。橫向虛擬化技術(shù)從低端盒式設(shè)備到高端框式設(shè)備都已經(jīng)被廣泛應(yīng)用，具備了相當(dāng)?shù)某墒於群头€(wěn)定度。1-4 橫向虛擬化示意圖相對于傳統(tǒng)的xSTP+VR

4、RP 組網(wǎng)方案，堆疊+鏈路聚合網(wǎng)絡(luò)具有一些明顯的優(yōu)勢：簡化管理和配置堆疊建立后，多物理設(shè)備虛擬成為一臺設(shè)備，用戶可以通過任何一 臺成員設(shè)備登錄堆疊系統(tǒng)，對所有成員設(shè)備進(jìn)行統(tǒng)一的配置和管理， 使網(wǎng)絡(luò)需要管理的設(shè)備節(jié)點(diǎn)減少一半以上。其次，組網(wǎng)變得簡潔，不再需要配置xSTP、 VRRP 等協(xié)議，簡化了網(wǎng)絡(luò)配置。帶寬利用率高采用鏈路聚合的方式，帶寬利用率可以達(dá)到100 （ STP 會阻塞鏈路）快速的故障收斂相對于 STP 秒級的故障收斂時間，鏈路聚合的故障收斂時間可控制在 10ms 內(nèi)，大大降低了網(wǎng)絡(luò)鏈路或節(jié)點(diǎn)故障對業(yè)務(wù)的影響。擴(kuò)容方便、保護(hù)*隨著業(yè)務(wù)的增加，當(dāng)用戶進(jìn)行網(wǎng)絡(luò)升級時，只需要增加新設(shè)備既可

5、，在不需要更改網(wǎng)絡(luò)配置的情況下，平滑擴(kuò)容，很好的保護(hù)了* 。雖然橫向虛擬化技術(shù)在一定程度上優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu)、減少了管理節(jié)點(diǎn)，但是做的還不夠徹底。一方面是橫向虛擬化后依然沒有減少網(wǎng)絡(luò)的層級；另一方面是依然沒有徹底解決管理節(jié)點(diǎn)較多的問題。大規(guī)模的數(shù)據(jù)中心都有高密度接入的特點(diǎn)，有大量的接入交換機(jī)，為了可靠性一般是多臺接入交換機(jī)虛擬化（多是2 臺虛擬化），這樣即使在做了橫向虛擬化后管理節(jié)點(diǎn)的數(shù)量也是相當(dāng)可觀的。假設(shè)接入層有40 臺接入交換機(jī)，每兩臺交換機(jī)做虛擬化，那么依舊還是有多達(dá)20 個管理節(jié)點(diǎn)。隨著設(shè)備虛擬化技術(shù)的發(fā)展，一種更加極致的“縱向虛擬化”技術(shù)出現(xiàn)了混堆，例如華為的SVF 、 Cisco 的

6、 FEX、 H3C 的 IRF3?？v向虛擬化可以將不同網(wǎng)絡(luò)層次、不同類型的交換機(jī)多虛一，如圖1-5 所示。圖 1-5 縱向虛擬化示意圖相比較橫向虛擬化，縱向虛擬化具有更好的簡化網(wǎng)絡(luò)結(jié)構(gòu)、簡化管理等 作用，可以將虛擬化進(jìn)行的更徹底?？v向虛擬化可以將匯聚層、接入層的交換機(jī)融合進(jìn)一個更大的邏輯系統(tǒng)，只有一個管理、控制面。管理員只需要管理一臺邏輯交換機(jī)，不再有復(fù)雜的拓?fù)?，以及大量重?fù)的配置工作。通過縱向整合，網(wǎng)絡(luò)簡化效果也非常明顯，結(jié)構(gòu)更加簡明清晰。這樣的網(wǎng)絡(luò)是不是更符合數(shù)據(jù)中心對大二層的需求？ 此外，縱向虛擬化還可以簡化物理布線，降低網(wǎng)絡(luò)成本。1-6 TOR 和 EOR 布線示意圖如圖 1-6 所示

7、，傳統(tǒng)的數(shù)據(jù)中心TOR端部署 1-2 臺接入交換機(jī)，服務(wù)器直接接入機(jī)柜內(nèi)的交換機(jī)上，交換機(jī)上行端口通過光纖、銅纜接入到網(wǎng)絡(luò)機(jī)柜中的匯聚交換機(jī)上。 TOR 布線機(jī)架間布線簡單，但是接入設(shè)備成本高，管理節(jié)點(diǎn)多。采用 EOR 布線方案時，每排或每兩排機(jī)柜的最邊端/中間放2個網(wǎng)絡(luò)機(jī)柜，其他服務(wù)器機(jī)柜里的服務(wù)器直接通過跳線連接至網(wǎng)絡(luò)機(jī)柜中的交換機(jī)。雖然減少了接入交換機(jī)成本，但是每個機(jī)架都需要布置大量的線纜至網(wǎng)絡(luò)機(jī)柜，機(jī)架之間布線數(shù)量大。建立 SVF 后， 接入交換機(jī)采用TOR 的方式就近服務(wù)器部署，作為控制節(jié)點(diǎn)的交換機(jī)集中部署，在布線及管理方面兼顧TOR 及 EOR/MOR 的優(yōu)點(diǎn)。另外，相對于普通TO

8、R 交換機(jī)，SVF 中接入交換機(jī)對性能的要求更低，使用低成本的交換機(jī)代替高成本的TOR 交換機(jī)，進(jìn)一步降低了網(wǎng)絡(luò)部署成本。1.4 不得不說的痛前文描述了那么多設(shè)備虛擬化技術(shù)給網(wǎng)絡(luò)帶來的優(yōu)勢，估計會給部分讀者造成設(shè)備虛擬化技術(shù)簡直堪稱完美的錯覺，其不僅釜底抽薪式的解決了環(huán)路問題，還兼諸多優(yōu)點(diǎn)。對此筆者只能輕嘆一聲，十來年的辯證思維教育告訴我們完美的事物是不存在的。設(shè)備虛擬化技術(shù)的確算是一把利器，但卻不是無往不利的，它有著一定的局限性。一方面是各自為戰(zhàn)，設(shè)備虛擬化技術(shù)是各個廠家私有的，彼此之間不兼容，因此沒辦法使用不同廠家的設(shè)備來進(jìn)行多虛一（甚至于同一廠家的不同設(shè)備之前也可能無法多虛一）。對于存在

9、多廠家設(shè)備的網(wǎng)絡(luò)，該問題直接無解（至少目前是這樣的，至于以后么，也不用想太多，且不說技術(shù)上是否可行，各廠商會愿意彼此分享是如何實(shí)現(xiàn)該技術(shù)的么）。另一方面更重要的是虛擬化系統(tǒng)本身的規(guī)模限制。虛擬化后所有設(shè)備的控制平面合一，只有一個主控節(jié)點(diǎn)，其它都是備份角色，控制平面是1:N備份的（1+1=2 在這里不適用）。因此，整個系統(tǒng)的物理節(jié)點(diǎn)規(guī)模就受限于主控節(jié)點(diǎn)的處理能力，不是想做多大就做多大的。例如框式設(shè)備虛擬化一般 <4 臺，盒式設(shè)備一般<20 30臺。目前最大規(guī)模的虛擬化系統(tǒng)大概可以支持接入1 2萬臺主機(jī)，可以從容應(yīng)付一般的中、小型數(shù)據(jù)中心，但對于一些超大型的數(shù)據(jù)中心來說，就顯得力不從心

10、了。這也就是為什么接下來會出現(xiàn)TRILL 、 VXLAN 等大二層技術(shù)的原因了。（試想下，如果虛擬化技術(shù)能夠做到極致，支持無限或超多臺設(shè)備虛擬化，那么只要把網(wǎng)絡(luò)中所有設(shè)備都虛擬成一臺邏輯設(shè)備，以上說的一切問題都將迎刃而解，也就沒有TRILL 、 VXLAN 啥事了。關(guān)于TRILL 、VXLAN 等大二層技術(shù)后續(xù)會有詳細(xì)的介紹，此處不做贅述。）此外，設(shè)備虛擬化后控制面合一，系統(tǒng)被當(dāng)做一臺設(shè)備來管理，這還有可能會帶來可靠性方面的隱患。例如管理員不小心誤操作了（比如整機(jī)重啟），就有可能導(dǎo)致大范圍網(wǎng)絡(luò)故障，這樣比誤操作單一物理設(shè)備帶來的影響更大（當(dāng)然， 這個是低概率事件，不是限制其發(fā)展的主要原因）。1

11、.5 小結(jié)數(shù)據(jù)中心大規(guī)模二層網(wǎng)絡(luò)的需求目前已經(jīng)非常的清晰，各廠商都提出了有針對性的技術(shù)和方案，滿足大二層的當(dāng)前要求和未來擴(kuò)展需求。網(wǎng)絡(luò)設(shè)備虛擬化技術(shù)已經(jīng)存在了很多年，雖然當(dāng)初在出現(xiàn)的時候，并不是為了滿足大二層的需求，但是卻可以達(dá)到大二層網(wǎng)絡(luò)的效果，所以虛擬化技術(shù)在數(shù)據(jù)中心中有著廣泛的應(yīng)用。雖然設(shè)備虛擬化技術(shù)有著一定的不足，但從實(shí)際應(yīng)用情況來看，由于其簡單易用、成熟度高的優(yōu)勢，依然是中小規(guī)模數(shù)據(jù)中心的優(yōu)選方案。下文就對CloudEngine 系列交換機(jī)支持的堆疊和SVF 技術(shù)進(jìn)行詳細(xì)介紹。2 橫向虛擬化堆疊2.1 堆疊技術(shù)的分類堆疊技術(shù)一般是將同形態(tài)或同型號的多臺交換機(jī)虛擬化成一臺交換機(jī)。物理上

12、講，交換機(jī)可以分為框式交換機(jī)和盒式交換機(jī)兩種形態(tài)。因此堆疊又可簡單分為框式交換機(jī)堆疊（又稱集群CSS） 與盒式交換機(jī)堆疊（又稱 iStack），如圖2-1 所示。圖 2-1 CSS和 iStack示意圖框式交換機(jī)堆疊多用于網(wǎng)絡(luò)核心層或匯聚層，而盒式交換機(jī)堆疊一般用 于匯聚層或接入層。2.2 堆疊物理連線交換機(jī)之間正確的物理連線是建立堆疊的基本前提。框式、盒式交換機(jī) 由于物理形態(tài)、堆疊數(shù)量的差異，因此堆疊連線方式也有所不同。2.2.1 框式交換機(jī)堆疊連線框式交換機(jī)由兩臺設(shè)備通過相互連線組成堆疊系統(tǒng)，連接方式有主控板 直連和業(yè)務(wù)板直連兩種：2-2 框式交換機(jī)物理連線示意圖2.2.2 盒式交換機(jī)堆疊

13、連線主控板直連方式里，堆疊鏈路由兩部分組成，一部分是通過主控板上的SIP 口連接的管理鏈路，另一部分是通過接口板上的業(yè)務(wù)口連接的轉(zhuǎn)發(fā)鏈路。其中，管理鏈路負(fù)責(zé)堆疊系統(tǒng)管理報文及維護(hù)報文的轉(zhuǎn)發(fā)，轉(zhuǎn)發(fā)鏈路則負(fù)責(zé)跨框業(yè)務(wù)數(shù)據(jù)報文的轉(zhuǎn)發(fā)。轉(zhuǎn)發(fā)鏈路的業(yè)務(wù)口是被捆綁在一個堆疊邏輯端口(Stack-port)中的，一個堆疊邏輯端口里可以綁定多個業(yè)務(wù)口，這些業(yè)務(wù)口也可以跨板。在業(yè)務(wù)板直連方式里，管理鏈路和轉(zhuǎn)發(fā)鏈路是合一的，只需要連接接口板上的業(yè)務(wù)口即可，不需要連接主控板上的SIP 口。兩種連接方式各有優(yōu)劣，具體對比可參見表2-1 。表 2-1 兩種連接方式的優(yōu)缺點(diǎn)比較特征主控板直連方式業(yè)務(wù)板直連方式管理鏈路與轉(zhuǎn)

14、發(fā)鏈路 關(guān)系分離，無相互影響合一，有相互影響管理報文是否占用帶 寬不占用占用系統(tǒng)復(fù)雜度較低高堆疊成員設(shè)備之間通 信時延短較長堆疊管理通道潛在故 障點(diǎn)數(shù)目少較多是否需要額外部署線 纜需要不需要綜合可靠性高較低盒式交換機(jī)是由兩臺或者多臺交換機(jī)之間兩兩連線組成堆疊系統(tǒng)。其管 理鏈路和轉(zhuǎn)發(fā)鏈路是合一的，通過業(yè)務(wù)口連接。業(yè)務(wù)口被捆綁在堆疊邏 輯端口中，一個堆疊邏輯端口里可以綁定多個業(yè)務(wù)口。2-3 所示。2-3 盒式交換機(jī)物理連接示意圖兩種連接拓?fù)渫瑯痈饔袃?yōu)劣，對比如下：連接拓?fù)鋬?yōu)點(diǎn)缺點(diǎn)適用場景鏈形連接首尾不需要有物理連接，適合長距離堆疊?？煽啃缘?，其中某條堆疊鏈路出現(xiàn)故障，就會造成堆疊分裂。堆疊鏈路帶寬

15、利用率低，整個堆疊系統(tǒng)只有一條路徑。堆疊成員交換機(jī)距離較遠(yuǎn)時，組建環(huán)形連接比較困難，可以使用鏈形連接。環(huán)形連接可靠性高：當(dāng)其中某條堆疊鏈路出現(xiàn)故障時，環(huán)形拓?fù)渥兂涉溞瓮負(fù)?，不影響堆疊系統(tǒng)正常工作。堆疊鏈路帶寬利用率高，數(shù)據(jù)能夠按照最短路徑轉(zhuǎn)發(fā)。首尾需要有物理連接，不適合長距離堆疊。堆疊成員交換機(jī)距離較近時，從可靠性和堆疊鏈路利用率上考慮，建議使用環(huán)形連接。2.3 堆疊里的角色劃分多臺交換機(jī)在堆疊后，表現(xiàn)為一臺邏輯交換機(jī)，換個角度理解那就是 “控制平面合一，統(tǒng)一管理”。那么很明顯，這些交換機(jī)彼此之間必須要分出個高下來，誰管誰得有個說法，不能有組織無紀(jì)律。堆疊系統(tǒng)將交換機(jī)分成了主交換機(jī)、備交換機(jī)、

16、從交換機(jī)三種角色，如圖 2-4 所示，簡單對號入座理解就是山寨里的一個“大當(dāng)家”，一個“二當(dāng)家”，再加一群“小弟”。主交換機(jī)就是那個“大當(dāng)家”，又稱“堆疊主”或“系統(tǒng)主”，負(fù)責(zé)整個系統(tǒng)的控制和管理。備交換機(jī)很明顯就是那個“二當(dāng)家”，又稱“堆疊備”或“系統(tǒng)備”，它的一個重要職責(zé)就是隨時準(zhǔn)備替代“大當(dāng)家”，在“大當(dāng)家”出事后立即上位，管理那幫“小弟”。除了一個“大當(dāng)家”，一個“二當(dāng)家”，其它的自然都是“小弟”。2-4 堆疊成員角色示意圖框式交換機(jī)一個框內(nèi)有兩塊主控板，一塊是主用，一塊是備用。如圖2-4所示，兩臺框式交換機(jī)堆疊后，在控制平面上，主交換機(jī)的主用主控板 成為堆疊的系統(tǒng)主用主控板，作為整個

17、系統(tǒng)的管理主角色；備交換機(jī)的 主用主控板成為堆疊的系統(tǒng)備用主控板，作為系統(tǒng)的管理備角色；主交 換機(jī)和備交換機(jī)的備用主控板作為堆疊的冷備用主控板，不具有管理角色，只作為冷備板。2-5 框式交換機(jī)堆疊后主控板角色2.4 堆疊的系統(tǒng)管理2.4.1 成員管理堆疊系統(tǒng)使用成員編號（Member ID ，又常稱堆疊ID）來標(biāo)識和管理成員設(shè)備，堆疊中所有設(shè)備的成員編號都是唯一的。成員編號會被引入到接口編號中，便于用戶配置和識別成員設(shè)備上的接口?？蚴浇粨Q機(jī)未運(yùn)行堆疊功能時，接口編號采用三維格式“槽位號/子卡號/端口號”，例如 10GE1/0/1 ；當(dāng)設(shè)備運(yùn)行堆疊功能時，接口編號會變成四維格式“堆疊成員編號 /

18、槽位號/子卡號/端口號”，如果堆疊成員ID為2，則該接口的編號將變?yōu)?0GE2/1/0/1 。盒式交換機(jī)的接口編號采用“堆疊成員編號/子卡號/端口號”的形式（盒式交換機(jī)默認(rèn)使能堆疊，因此其初始就帶有堆疊成員編號）。2.4.2 配置管理多臺設(shè)備虛擬成的堆疊系統(tǒng)可以看作是單一實(shí)體，用戶可以使用Console口或者 Telnet 方式登錄到任意一臺成員設(shè)備，對整個堆疊系統(tǒng)進(jìn)行管理和配置。主交換機(jī)作為堆疊系統(tǒng)的管理中樞，負(fù)責(zé)響應(yīng)用戶的登錄、配置請求，即用戶無論使用什么方式，通過哪臺成員交換機(jī)登錄到堆疊系統(tǒng)，其實(shí)最終登錄的都是主交換機(jī)并通過主交換機(jī)進(jìn)行配置。堆疊具有嚴(yán)格的配置文件同步機(jī)制，用來保證堆疊中

19、的多臺交換機(jī)能夠像一臺設(shè)備一樣在網(wǎng)絡(luò)中工作。主交換機(jī)作為堆疊系統(tǒng)的管理中樞，負(fù)責(zé)將用戶的配置同步給備交換機(jī)，從而使堆疊內(nèi)各成員交換機(jī)的配置隨時保持一致。通過即時同步，堆疊中的所有成員交換機(jī)均保持相同的配置。即使主交換機(jī)出現(xiàn)故障，備交換機(jī)仍能夠按照相同的配置執(zhí)行各項功能。2.4.3 版本管理在堆疊系統(tǒng)里，所有成員設(shè)備都必須使用相同版本的系統(tǒng)軟件。堆疊具 有版本同步的功能，組成堆疊的成員交換機(jī)不需要具有相同的軟件版本， 只需要版本間兼容即可。當(dāng)主交換機(jī)選舉結(jié)束后，如果其它交換機(jī)與主 交換機(jī)的軟件版本號不一致，會自動從主交換機(jī)下載系統(tǒng)軟件，使用新 的系統(tǒng)軟件重新啟動后再加入堆疊。2.5 堆疊典型場景

20、下面的幾個堆疊場景以盒式交換機(jī)為例進(jìn)行描述，框式交換機(jī)的場景與其類似（可以理解框式交換機(jī)為2 臺堆疊的特殊場景）。2.5.1 堆疊建立場景2-6 堆疊建立示意圖堆疊建立是指所有成員交換機(jī)重新上電組建堆疊的場景，如圖2-5 所示。該情形通常是所有成員交換機(jī)完成堆疊軟件配置后下電，然后連接堆疊線纜， 最后將所有成員交換機(jī)上電。此后這些交換機(jī)進(jìn)入堆疊建立流程， 分為以下幾步：1. 各成員交換機(jī)通過堆疊鏈路發(fā)送鏈路探測報文，并進(jìn)行堆疊鏈路合法性檢測。2. 各成員交換機(jī)之間相互發(fā)送堆疊競爭報文，并根據(jù)選舉原則選舉出主交換機(jī)。選舉規(guī)則如下（依次從第一條開始判斷，直至找到最優(yōu)的交換機(jī)才停止比較）：運(yùn)行狀態(tài)比

21、較，最先完成啟動，并進(jìn)入堆疊運(yùn)行狀態(tài)的交換機(jī)優(yōu)先競爭為主交換機(jī)。堆疊優(yōu)先級比較，堆疊優(yōu)先級高的交換機(jī)優(yōu)先競爭為主交換機(jī)。軟件版本比較，軟件版本高的交換機(jī)優(yōu)先競爭為主交換機(jī)。主控板數(shù)量比較，有2 塊主控板的交換機(jī)優(yōu)先只有1 塊主控板的交換機(jī)競爭為主交換機(jī)（僅框式交換機(jī)堆疊才進(jìn)行此項比較）。橋 MAC 地址比較，橋MAC地址小的交換機(jī)優(yōu)先競爭為主交換機(jī)。3. 主交換機(jī)選舉完成后，其它成員交換機(jī)向主交換機(jī)發(fā)送成員信息報文。如果成員交換機(jī)之間ID有沖突或者與主交換機(jī)的版本不一致，成員交換機(jī)將重新修改ID 或者同步主交換機(jī)的版本。4. 主交換機(jī)收集所有成員交換機(jī)的信息并計算拓?fù)洌缓髮⒊蓡T信息和拓?fù)湫畔?/p>

22、同步至其它成員交換機(jī)。5. 主交換機(jī)根據(jù)選舉規(guī)則選舉一臺備交換機(jī)，并將備交換機(jī)信息同步至其它成員交換機(jī)。至此，堆疊系統(tǒng)建立成功。2.5.2 堆疊成員加入與退出場景堆疊成員加入是指向已經(jīng)穩(wěn)定運(yùn)行的堆疊系統(tǒng)中添加一臺新的交換機(jī)，如圖 2-6 所示。 這種情形一般是新加入的交換機(jī)不帶電加入的情況，即新加入的交換機(jī)完成堆疊軟件配置后先斷電，然后連接堆疊線纜，最后上電交換機(jī)（如果是帶電加入，可以理解為堆疊合并場景，該場景下面會有說明）。2-7 堆疊成員加入示意圖在加入場景，為了不影響已有堆疊系統(tǒng)的運(yùn)行，新加入的交換機(jī)會作為從交換機(jī)加入，堆疊系統(tǒng)中原有主、備、從角色不會變動。堆疊成員退出與加入相反，是指成

23、員交換機(jī)從堆疊系統(tǒng)中離開。根據(jù)退出成員交換機(jī)角色的不同，對堆疊系統(tǒng)的影響也有所不同：如果是主交換機(jī)退出，備交換機(jī)升級為主交換機(jī)，重新計算堆疊拓?fù)洳⑼降狡渌蓡T交換機(jī)，指定新的備交換機(jī)，之后進(jìn)入穩(wěn)定運(yùn)行狀態(tài)。如果是備交換機(jī)退出，主交換機(jī)重新指定備交換機(jī)，重新計算堆疊拓?fù)洳⑼降狡渌蓡T交換機(jī)，之后進(jìn)入穩(wěn)定運(yùn)行狀態(tài)。如果是從交換機(jī)退出，主交換機(jī)重新計算堆疊拓?fù)洳⑼降狡渌蓡T交換機(jī)，之后進(jìn)入穩(wěn)定運(yùn)行狀態(tài)。2.5.3堆疊合并場景堆疊合并是指穩(wěn)定運(yùn)行的兩個堆疊系統(tǒng)合并成一個新的堆疊系統(tǒng)，如圖2-7 所示，通常在以下兩種情形下出現(xiàn)：待加入堆疊系統(tǒng)的交換機(jī)配置了堆疊功能，在不下電的情況下，使用堆疊線纜連

24、接到正在運(yùn)行的堆疊系統(tǒng)。堆疊鏈路或設(shè)備故障導(dǎo)致堆疊分裂，鏈路或設(shè)備故障恢復(fù)后，分裂的堆疊系統(tǒng)重新合并。2-8 堆疊合并示意圖堆疊系統(tǒng)合并時，兩個堆疊系統(tǒng)的主交換機(jī)會進(jìn)行競爭，選舉出一個更優(yōu)的作為新堆疊系統(tǒng)的主交換機(jī)（與堆疊建立場景競爭主交換機(jī)的原則相同）。競爭勝出的主交換所在的堆疊系統(tǒng)將保持原有主、備、從角色和配置不變，業(yè)務(wù)也不會受到影響；而另外一個堆疊系統(tǒng)的所有成員交換機(jī)將重新啟動，走堆疊加入的流程重新加入新堆疊系統(tǒng)。2.5.4 堆疊分裂場景堆疊分裂是指一個穩(wěn)定運(yùn)行的堆疊系統(tǒng)分裂成了多個堆疊系統(tǒng)，如圖 2-8所示。這種情形一般是因?yàn)榫€纜、單板故障，或者錯誤配置導(dǎo)致成員交換機(jī)之間斷開了堆疊連接

25、，而分裂開的多個堆疊系統(tǒng)依然保持帶電運(yùn)行。2-9 堆疊分裂示意圖根據(jù)原堆疊系統(tǒng)主、備交換機(jī)分裂后所處位置的不同，堆疊分裂可分為 以下兩類：其一是堆疊分裂后，原主、備交換機(jī)在同一個堆疊系統(tǒng)中。這時原主交換機(jī)會重新計算堆疊拓?fù)?，將移出的成員交換機(jī)的拓?fù)湫畔h除， 并將新的拓?fù)湫畔⑼浇o其他成員交換機(jī)；而移出的成員交換機(jī)會 因?yàn)閬G主丟備且自身是從交換機(jī)，將自動復(fù)位，重新進(jìn)行選舉，形 成新的堆疊系統(tǒng)。另一種情況是堆疊分裂后，原主、備交換機(jī)在不同的堆疊系統(tǒng)中。這時原主交換機(jī)所在堆疊系統(tǒng)會重新指定備交換機(jī)，重新計算拓?fù)湫?息并同步給其他成員交換機(jī)；原備交換機(jī)所在堆疊系統(tǒng)將發(fā)生備升 主，原備交換機(jī)升級為主交

26、換機(jī)，重新計算堆疊拓?fù)洳⑼降狡渌?成員交換機(jī)，并指定新的備交換機(jī)。在網(wǎng)絡(luò)運(yùn)行中，一個堆疊分裂時，會產(chǎn)生有多個全局配置完全相同的堆疊系統(tǒng)，這些堆疊系統(tǒng)會以相同的IP 地址和 MAC 地址 (堆疊系統(tǒng)MAC地址) 與網(wǎng)絡(luò)中的其它設(shè)備交互。這樣就導(dǎo)致IP 地址和 MAC 地址沖突，引起整個網(wǎng)絡(luò)故障。所以在堆疊發(fā)生分裂后，必須進(jìn)行沖突檢測和處理。雙主檢測DAD ( Dual-Active Detect )就是一種檢測和處理堆疊分裂的協(xié)議，可以實(shí)現(xiàn)堆疊分裂的檢測、沖突處理和故障恢復(fù)，降低堆疊分裂對業(yè)務(wù)的影響。堆疊系統(tǒng)配置雙主檢測后，主交換機(jī)會周期在檢測鏈路上發(fā)送DAD 競爭報文。一旦發(fā)生分裂，分裂成多

27、部分的堆疊系統(tǒng)都會在檢測鏈路上互發(fā)競爭報文，并將接收到的競爭報文信息與本部分競爭信息做比較。如果本部分競爭勝出，則不做處理，正常轉(zhuǎn)發(fā)業(yè)務(wù)報文；如果本部分競爭失敗，則關(guān)閉除保留端口外的所有業(yè)務(wù)端口，停止轉(zhuǎn)發(fā)業(yè)務(wù)報文。DAD 競爭規(guī)則如下（依次從第一條開始判斷，直至找到最優(yōu)的交換機(jī)才 停止比較）：堆疊優(yōu)先級比較，堆疊優(yōu)先級高的交換機(jī)優(yōu)先競爭勝出。設(shè)備 MAC 地址比較，MAC 地址小的交換機(jī)優(yōu)先競爭勝出。堆疊分裂故障修復(fù)后，分裂成多部分的堆疊系統(tǒng)進(jìn)行堆疊合并，原競爭失敗的部分將重新啟動，同時將被關(guān)閉的業(yè)務(wù)端口恢復(fù)正常，整個堆疊 系統(tǒng)恢復(fù)。2.5.5 堆疊主備倒換場景參考框式交換機(jī)上主控板的主備倒換

28、概念，堆疊主備倒換就是指堆疊系統(tǒng)里主、備交換機(jī)角色的變換。通常主交換機(jī)故障、重啟，或者管理員 執(zhí)行主備倒換功能后會產(chǎn)生堆疊主備倒換。圖 2-10 主備倒換前后成員交換機(jī)角色的變化如圖 2-9 所示， 主備倒換時，備交換機(jī)會升級為主交換機(jī)，并指定新的備交換機(jī)。原主交換機(jī)會重啟后走成員加入流程加入堆疊系統(tǒng)（如果是框式交換機(jī)系統(tǒng)主用主控板故障導(dǎo)致的主備倒換，也可能不重啟）。2.6 流量本地優(yōu)先轉(zhuǎn)發(fā)如果沒有流量本地優(yōu)先轉(zhuǎn)發(fā)，進(jìn)入堆疊的流量會有一部分HASH 選路到跨設(shè)備的接口進(jìn)行轉(zhuǎn)發(fā)，流量會經(jīng)過堆疊線纜。由于堆疊線纜帶寬有限，跨設(shè)備轉(zhuǎn)發(fā)流量增加了堆疊設(shè)備之間的帶寬承載壓力，同時也降低了流量轉(zhuǎn)發(fā)效率。為

29、了提高轉(zhuǎn)發(fā)效率，減少跨設(shè)備轉(zhuǎn)發(fā)流量，堆疊需要支持Eth-Trunk 接口流量本地優(yōu)先轉(zhuǎn)發(fā)。即從本設(shè)備進(jìn)入的流量，優(yōu)先從本設(shè)備的出接口轉(zhuǎn)發(fā)出去；如果本設(shè)備的出接口故障，則流量從其它成員交換機(jī)的接口轉(zhuǎn)發(fā)出去圖2-10 所示。圖 2-11 流量本地優(yōu)先轉(zhuǎn)發(fā)示意圖注： 僅已知單播流量支持本地優(yōu)先轉(zhuǎn)發(fā)，BUM（廣播、組播和未知單播）流量不支持本地優(yōu)先轉(zhuǎn)發(fā)。2.7 堆疊典型應(yīng)用部署2.7.1 堆疊構(gòu)建三層架構(gòu)數(shù)據(jù)中心網(wǎng)絡(luò)如圖 2-11 所示的三層數(shù)據(jù)中心組網(wǎng)中，核心層由兩臺CE12800 組成，兩臺設(shè)備間通過2 條 10GE 鏈路聚合，從而保證鏈路的高可靠性。匯聚層、接入層分別由CE12800 交換機(jī)、C

30、E6800 交換機(jī)堆疊實(shí)現(xiàn)冗余備份，堆疊與上下游設(shè)備間通過跨框Eth-Trunk 連接。同時，通過Eth-Trunk 的流量本地優(yōu)先轉(zhuǎn)發(fā)功能減少框間鏈路的帶寬承載壓力。匯聚層通過創(chuàng)建VRF隔離業(yè)務(wù)網(wǎng)段路由與公網(wǎng)路由，采用旁掛方式部署防火墻，兩臺防火墻進(jìn)行雙機(jī)熱備份，保證高可靠性。2-13 基于堆疊的三層架構(gòu)數(shù)據(jù)中心組網(wǎng)圖2.7.2 堆疊構(gòu)建二層架構(gòu)數(shù)據(jù)中心網(wǎng)絡(luò)如圖 2-12 所示的數(shù)據(jù)中心組網(wǎng)，采用接入層+核心層的兩層方式部署。為了簡化網(wǎng)絡(luò)并提高可靠性，核心層由兩臺CE12800 組成CSS，接入層由多臺 CE6800 組成iStack。接入層與核心層之間通過跨設(shè)備Eth-Trunk 連接，消

31、除二層環(huán)路。同時，通過Eth-Trunk 的流量本地優(yōu)先轉(zhuǎn)發(fā)功能減少框間鏈路的帶寬承載壓力。核心層通過創(chuàng)建VRF 隔離業(yè)務(wù)網(wǎng)段路由與公網(wǎng)路由，采用旁掛方式部署防火墻，兩臺防火墻進(jìn)行雙機(jī)熱備份，保證高可靠性。3 縱向虛擬化 SVF3.7 SVF 技術(shù)的分類SVF( Super Virtual Fabric )可以將接入、匯聚等不同層次的交換機(jī)虛擬成一臺邏輯交換機(jī)，進(jìn)行集中管理，如圖3-1 所示。3-1 SVF 虛擬化示意圖SVF 中有兩類交換機(jī)角色：Spine，也稱父交換機(jī)，是整個SVF 系統(tǒng)的核心，負(fù)責(zé)整個系統(tǒng)的控制和管理。Leaf，也稱葉子交換機(jī)，是縱向擴(kuò)展設(shè)備，可以理解為Spine 的遠(yuǎn)程

32、接口板，由Spine 進(jìn)行統(tǒng)一管理。根據(jù)父交換機(jī)形態(tài)的不同，SVF 可以從形態(tài)組合上簡單劃分為盒盒SVF和框盒 SVF。顧名思議，盒盒SVF 就是指盒式交換機(jī)+盒式交換機(jī)組成的 SVF，父交換機(jī)和葉子交換機(jī)都由盒式交換機(jī)擔(dān)任；框盒SVF 就是指框式交換機(jī)+盒式交換機(jī)組成的SVF，框式交換機(jī)作為父交換機(jī)，盒式交換機(jī)作為葉子交換機(jī)（因?yàn)槿~子交換機(jī)是作為低成本的拓展設(shè)備，因此都是由盒式交換機(jī)擔(dān)任）。3.8 SVF 物理連線無論盒盒SVF ，還是框盒SVF，父交換機(jī)與葉子交換機(jī)之間都通過Fabric-port 口相連，一個葉子交換機(jī)對應(yīng)連接一個Fabric-port，如圖3-2所示。 Fabric-p

33、ort 是一種類似堆疊里Stack-port 的邏輯口，可以綁定多個物理成員口，通過多條鏈路的聚合，可以為SVF 鏈路提供更高的帶寬及可靠性。 父交換機(jī)上Fabric-port 中的成員口可以跨設(shè)備（針對盒盒SVF ）或跨板（針對框盒SVF）。3-2 SVF 物理連接示意圖SVF 與框盒 SVF 中支持的最大父交換機(jī)數(shù)量不同，因此盒盒SVF 與框盒 SVF 的組網(wǎng)拓?fù)湟灿行﹨^(qū)別（目前盒盒SVF 規(guī)格是 2+24，即父交換機(jī)最多是2臺， 葉子交換機(jī)最多24臺；框盒 SVF 的規(guī)格是1+32） 。3.2.1.2 盒盒 SVF 拓?fù)?-3 盒盒 SVF 拓?fù)浜泻?SVF 中，父交換機(jī)最多可以由2 臺

34、設(shè)備組成（圖3-3 右一）。這2臺父交換機(jī)組建為堆疊（iStack），可以實(shí)現(xiàn)控制平面的冗余備份，保證系統(tǒng)可靠性。葉子交換機(jī)雙歸連接2 臺父交換機(jī)，服務(wù)器可以主備或雙活接入多臺葉子交換機(jī)。當(dāng)然，父交換機(jī)如果是單機(jī)設(shè)備也是可以的（圖3-3 左一），但很顯然這種組網(wǎng) SVF 系統(tǒng)可靠性較低，如果父交換機(jī)故障則服務(wù)器流量會中斷。3.2.1.3 框盒 SVF 拓?fù)淇赐旰泻蠸VF 的組網(wǎng)拓?fù)浣榻B，估計有讀者不禁要問了：既然單父交換機(jī)不那么可靠，那框盒SVF 又是如何保證網(wǎng)絡(luò)可靠性的呢？看規(guī)格框盒SVF 可最多只有1 臺父交換機(jī)。不錯，單父交換機(jī)是不能保證SVF 系統(tǒng)的可靠性，但是我們可以使用雙SVF 系

35、統(tǒng)來保證業(yè)務(wù)流量的可靠性，類似VRRP 那樣。再結(jié)合另一神器跨設(shè)備鏈路聚合 M-LAG ，就可以實(shí)現(xiàn)鏈路備份及流量的負(fù)載分擔(dān)。如圖 3-4（右一）所示，通過在兩個SVF 之間組建M-LAG ，服務(wù)器就可以雙活接入至兩個SVF 系統(tǒng)的葉子交換機(jī)。3-4 框盒 SVF 拓?fù)渥ⅲ汉泻蠸VF 也可以采用SVF+M-LAG在框盒 SVF 組網(wǎng)中，有兩點(diǎn)需要特別需要注意，一是同一SVF 里葉子交換機(jī)的端口不可以加入同一個Eth-Trunk ，因此服務(wù)器不可以雙活接入同一 SVF 的葉子交換機(jī)，如圖3-5（左一）；另外一點(diǎn)是葉子交換機(jī)只能連接一臺父交換機(jī)，不可以雙歸連接到2 臺組建 M-LAG 的父交換機(jī)上

36、，如圖 3-5（右一）。3-5 SVF 不支持的連接拓?fù)?.3 SVF 建立流程完成父交換機(jī)、葉子交換機(jī)的軟件配置并連接兩者之間的線纜后，即進(jìn)入 SVF建立過程，主要分為以下幾步：1. 完成葉子ID 的分配。葉子ID 就是指葉子交換機(jī)的編號（作用類似于堆疊系統(tǒng)里的堆疊ID ），具有唯一性，用來標(biāo)識和管理葉子交換機(jī)。葉子交換機(jī)、父交換機(jī)通過SVF 鏈路互發(fā)鏈路探測報文，當(dāng)鏈路 Up后， 父交換機(jī)為葉子交換機(jī)分配葉子ID。 葉子 ID 是在父交換機(jī)上配置的， 與 Fabric-port 綁定， 一個 Fabric-port 綁定一個葉子ID。 因此，若葉子交換機(jī)分別連接至不同的Fabric-por

37、t，會被分配不同的ID。2. 完成軟件版本的同步。葉子交換機(jī)通過獲取父交換機(jī)的軟件版本信息，判斷自身與父交換機(jī)的軟件版本是否一致。如果不一致，則葉子交換機(jī)將自動從父交換機(jī)下載系統(tǒng)軟件，下載完成后以新版本重新啟動并完成向父交換機(jī)的注冊。葉子交換機(jī)同步的系統(tǒng)軟件非完整的父交換機(jī)的系統(tǒng)軟件，而是父交換機(jī)系統(tǒng)軟件中的一個獨(dú)立軟件包。父交換機(jī)的系統(tǒng)軟件中有兩個不同功能用途的軟件包，一個用于自身的運(yùn)行，一個用于同步給 葉子交換機(jī)，供葉子交換機(jī)的運(yùn)行。3. 完成配置的下發(fā)。等葉子交換機(jī)正常啟動并注冊后，父交換機(jī)向葉子交換機(jī)下發(fā)配置。SVF 系統(tǒng)作為一個虛擬設(shè)備，是由父交換機(jī)進(jìn)行統(tǒng)一配置和管理的，葉子交換機(jī)不具備配置和管理功能，所有的業(yè)務(wù)配置信息都保存在父交換機(jī)上。至此 SVF 系統(tǒng)就算是建立成功了，可以通過任意一臺父交換機(jī)或葉子交換機(jī)的 Console 口、 管理網(wǎng)口或其他三層口登錄SVF ， 進(jìn)行其他的業(yè)務(wù)特性配置。其實(shí)無論是從父交換機(jī)還是從葉子交換機(jī)上的接口登錄，最終登錄的都是父交換機(jī)。從葉子交換機(jī)接口登錄時會被重定向到父交換機(jī)。3.4 SVF 系統(tǒng)管理3.4.1 SVF成員管理與堆疊類似，SVF 使用葉子ID（ Leaf ID ）