![數(shù)據(jù)中心網(wǎng)絡技術(shù)紅寶書_第1頁](http://file4.renrendoc.com/view12/M01/0B/2E/wKhkGWY_X2CAIbgpAAJBG7L-hTE505.jpg)
![數(shù)據(jù)中心網(wǎng)絡技術(shù)紅寶書_第2頁](http://file4.renrendoc.com/view12/M01/0B/2E/wKhkGWY_X2CAIbgpAAJBG7L-hTE5052.jpg)
![數(shù)據(jù)中心網(wǎng)絡技術(shù)紅寶書_第3頁](http://file4.renrendoc.com/view12/M01/0B/2E/wKhkGWY_X2CAIbgpAAJBG7L-hTE5053.jpg)
![數(shù)據(jù)中心網(wǎng)絡技術(shù)紅寶書_第4頁](http://file4.renrendoc.com/view12/M01/0B/2E/wKhkGWY_X2CAIbgpAAJBG7L-hTE5054.jpg)
![數(shù)據(jù)中心網(wǎng)絡技術(shù)紅寶書_第5頁](http://file4.renrendoc.com/view12/M01/0B/2E/wKhkGWY_X2CAIbgpAAJBG7L-hTE5055.jpg)
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
萌芽階段,即便有幾臺服務器,也只是提供基本的文件備份、的信息化水平逐步提高,越來越多的企業(yè)將紙質(zhì)的文檔轉(zhuǎn)移成電子的數(shù)據(jù)。電子郵箱、這些數(shù)據(jù)不但對存儲速度有著苛刻的要求,同時還需要滿足絡環(huán)境的穩(wěn)定、通信線路的冗余、精密空調(diào)的支撐、消防與企業(yè)規(guī)模的擴張,多個地域分散著分公司、平級工廠,用,并且數(shù)據(jù)在近端和遠端也需要無差別地傳輸,企業(yè)的信11數(shù)據(jù)中心到底是什么呢?在進入正題之前,讓我們帶著這個對于谷歌數(shù)據(jù)中心來說,圖片清晰看到谷歌數(shù)據(jù)中心熱空氣的排氣風扇直接切斷廢氣的熱能轉(zhuǎn)化為封閉區(qū)域。在機谷歌提供最全面審視內(nèi)部的IT基礎設施,22RagingWire數(shù)據(jù)中心的顯著特點是在其布線管理上3344“黃石”超級計算中心55該數(shù)據(jù)中心并不陌生,位于新澤西州NJ1數(shù)據(jù)中心66位于愛爾蘭都柏林的微軟數(shù)據(jù)中心以“服務器農(nóng)場”所聞名。排列整齊的服務器,服務器安裝在一個熱通道密封系統(tǒng),走在里77通過這些圖片你看到了什么?服務器、機架、布線、架空地板、冷卻塔還是電池陣列?如前所見,數(shù)據(jù)中心(DataCenter)不再是服務器的集合,而是一套完整的、復雜的、大集合的系統(tǒng),它不僅僅包括計算機系統(tǒng)和其它與之配套如今,企業(yè)將更多地業(yè)務流程轉(zhuǎn)換成電子的模式,無紙易耗品,較高配置的刀片服務器和與之配套的存儲和通信系統(tǒng)能滿足信息系統(tǒng)的運轉(zhuǎn),但是依靠服務器和存儲并不能為企業(yè)帶來高可用性保障,從基礎設另一方面,數(shù)量龐大的服務器和存儲必然會給數(shù)據(jù)的是普通空調(diào)完全不能滿足如此大的熱能轉(zhuǎn)換,于是精密空調(diào)、冷熱通道、圍欄技術(shù)、提高可用性,這應該算是最基礎的措施。提高可用性還需要在數(shù)機,它的設計容量是N+1,并且需要配備雙路市電輸入,因為88靜電對電子設備的影響相信大家都不陌生,防靜電地板在數(shù)據(jù)中心算是首層防護工具,對于其他異常電量控制還需要多角度考慮。舉個簡單的例子,面這些只是數(shù)據(jù)中心的一個縮影,諸如避免火災的氣體消防系所以,我們對數(shù)據(jù)中心的考量不再是某個個體,而是將數(shù)據(jù)中到一起,有針對性、計劃性、全面性地評估和部署99(1)單級數(shù)據(jù)中心是指企業(yè)或組織將業(yè)務系統(tǒng)集中化管理,只設是本部,還是分支機構(gòu)的客戶端都通過相關(guān)通道連接內(nèi)(2)多級數(shù)據(jù)中心是指企業(yè)或組織以多層次、分布式的模式建設一級數(shù)據(jù)中心,下級單位建立二級數(shù)據(jù)中心、三級數(shù)據(jù)中2、根據(jù)服務對象的不同,將數(shù)據(jù)中心分為企業(yè)數(shù)據(jù)中心和互聯(lián)網(wǎng)數(shù)據(jù)中心。(1)企業(yè)數(shù)據(jù)中心是由企業(yè)或組織自行構(gòu)建,為企業(yè)內(nèi)部員工、供數(shù)據(jù)處理、數(shù)據(jù)訪問等信息服務,它可以是單級數(shù)據(jù)中心或面向的服務對象更廣,這類數(shù)據(jù)中心規(guī)模一般較大,設備和空間給中小企業(yè),中小企業(yè)通過備份軟件方式將本地數(shù)據(jù)集中備份在數(shù)據(jù)中心里面等。實,人為、設備、環(huán)境等因素都有可能造成服務的中斷。冗統(tǒng),無架空地板,即便有承載力也較低。此類數(shù)據(jù)節(jié)點出現(xiàn)問題都會導致數(shù)據(jù)中心的非正常運轉(zhuǎn),因此這些基礎設TierIII級數(shù)據(jù)中心的在線維護能力大幅提高,它可替換,增加或者減少與處理能力相關(guān)的部件,對部件和系統(tǒng)進容錯級數(shù)據(jù)中心需要考慮所有計劃性的維護和存在隱匿的的(N+1)UPS系統(tǒng)+發(fā)電機組、兩條通信線路等,即便是服務器輸入;另外,消防系統(tǒng)也采用了七氟丙烷氣體滅火系統(tǒng),并配備TierIV數(shù)據(jù)中心的可用性需要達TierIII級別的數(shù)據(jù)中心也是不錯的選擇,它在性價TierIV數(shù)據(jù)中心,它的性能最高,屬國家或軍用本文從數(shù)據(jù)中心起源講起,帶你一起體驗了全球幾大數(shù)據(jù)中數(shù)據(jù)中心的原型來自早期計算機領(lǐng)域巨大的計如果我們將數(shù)據(jù)中心定義為一個包含計算、存儲、網(wǎng)絡ENIAC是ElectronicNumer1964年,控制數(shù)據(jù)公司(ControlData“CDC6600”。該超級計算機也是超級計算數(shù)據(jù)中心的現(xiàn)代鼻祖,由西摩·克雷(Seymour樂公司Xerox推出了Alto,它是首個將計算機計算機和激光打印機連成網(wǎng)絡。這些將不同技術(shù)組合在一起,代之的是連接的網(wǎng)絡設備,尤其是CS技術(shù)模型的中心的部署提供了更多選擇。隨著公司對互聯(lián)網(wǎng)業(yè)務應用的作服務成為了企業(yè)部署IT服務的必備選擇。網(wǎng)絡模塊化數(shù)據(jù)中心將通常數(shù)據(jù)中心的設備都部署在集裝箱里面,因心。最有名的包括SunBlackbox—計算機的主要器件還是由電子管、晶體管組成,它們的體積龐貴,多用于國防軍事、科學研究等領(lǐng)域。由于涉及的數(shù)據(jù)非常敏感,當時價格UPS和精密空調(diào)也成為必備選項,這時的數(shù)據(jù)機房傾向于大型機的數(shù)據(jù)計算,因大規(guī)模集成電路飛速發(fā)展的年代,大型機和巨型機還是主時開啟了小型機和微型機的發(fā)展。技術(shù)的改進、性能型機領(lǐng)域發(fā)展迅猛,中小型數(shù)據(jù)機房也呈現(xiàn)爆炸式增輸也只是小范圍、低速率的領(lǐng)域。隨著互聯(lián)網(wǎng)的出現(xiàn),分散在各地整合到一起,并通過互聯(lián)網(wǎng)這個大的平臺分散給人類社會。分布式、模塊化數(shù)據(jù)中心正逐漸接管市場……新的技術(shù)不斷被提出并在數(shù)據(jù)中心里面加以應用。另外數(shù)據(jù)中據(jù),業(yè)務的連續(xù)性是數(shù)據(jù)中心生存的首要條件,短短幾分鐘的中于企業(yè)的關(guān)鍵業(yè)務來說那將是致命的打擊,未來的數(shù)據(jù)中心必服務器虛擬化在數(shù)據(jù)中心中已經(jīng)大行其道,但是仍然有很多數(shù)器,隨著時間的推移,物理服務會大跨步向虛擬服務遷移,當僅僅是服務器虛擬化顯然不能算是高度虛擬化的數(shù)據(jù)中心,存儲虛一方面,存儲虛擬化將毫無關(guān)聯(lián)且相互獨立的存儲空間源動態(tài)地分配給各個系統(tǒng)應用,資源的高利用率立刻可以體現(xiàn)?;瘜⒌讓酉鄬碗s的基礎存儲技術(shù)變得簡單,數(shù)據(jù)管理員看到的存儲設備,取而代之的是更加層次化、無縫的資源虛擬視圖。而加明顯,高速、大容量無疑是對存儲最好的詮釋。存儲虛擬化對服務器虛擬化、存儲虛擬化、網(wǎng)絡虛擬化將數(shù)據(jù)中心的基礎環(huán)得數(shù)據(jù)中心全局可用性和安全性得到了大幅提升,接下來在虛擬化和桌面虛擬化,在應用層面同樣采用虛擬的方式來運2.綠色、環(huán)保、低碳設備的大幅減少,支撐其運行的UPS系統(tǒng)也會呈現(xiàn)大幅支出就會為企業(yè)節(jié)省60%以上,綠色數(shù)據(jù)在基礎環(huán)境領(lǐng)域,設備本身也同樣經(jīng)歷著低碳概念的洗滌。主板應用RoHS認證材料,并采用全固態(tài)電容,材質(zhì)本身非常綠色環(huán)保、穩(wěn)定性更多核心的CPU在服務器的整體戰(zhàn)略角控微處理管理芯片,實時管理電源的工作狀態(tài),為整體節(jié)能降耗頻降頻提供著幫助,這只是服務器應用環(huán)節(jié)的一個縮影,存儲設環(huán)境的變化也在為降低數(shù)據(jù)中心整體TCO(在整體環(huán)境中,中央冷卻系統(tǒng)這樣的耗電大戶隨著設備的減少也感系統(tǒng)向管理平臺發(fā)送著實時的數(shù)據(jù),方便管理者進行最適宜裝采用圍欄技術(shù),將冷空氣流和熱空氣流通過乙烯基塑料隔板快速導流,保持空氣溫度長期均衡。另外,精密空調(diào)變速系統(tǒng)3.集裝箱與模塊化并通過冷熱通道將氣流疏導,加之全封閉的模式使得數(shù)據(jù)中心的PU將多個集裝箱疊加在一起,它的部署速度、協(xié)作能力、自動化部署為了應對目前快速增長的網(wǎng)游和電子商務市場,急需擴展長的業(yè)務需求,這種集裝箱、模塊化的數(shù)據(jù)中心可以起到推可以試想一下,電子商務、視頻播放、在線交友等網(wǎng)站,日次,支撐業(yè)務的平臺恐怕需要數(shù)萬臺服務器、多個數(shù)據(jù)中心以及面對如此龐雜的資源池,人工管理顯然非常不現(xiàn)實,所有人務的遷移、故障集群轉(zhuǎn)移與檢查排除、流程的跟蹤與審核都網(wǎng)絡設備、服務器(包含相關(guān)操作系統(tǒng)和應用軟件)和存儲設備等等。在這些組件中,交換機、防火墻、路由器等網(wǎng)絡設備的互聯(lián)構(gòu)成了數(shù)據(jù)中一般情況下,本著靈活、安全、易管理的設計原則,企設備進行分區(qū)。分區(qū)的劃分方式有以下幾種,不同分區(qū)方式接入?yún)^(qū)是數(shù)據(jù)中心對外提供服務的區(qū)域。根據(jù)接入的用戶類業(yè)務區(qū)是部署服務器和應用系統(tǒng)的區(qū)域。出于安全性和所部分區(qū)的規(guī)模和所承載的業(yè)務類型決定了數(shù)據(jù)中心網(wǎng)絡架構(gòu)兩層組網(wǎng)架構(gòu)這種組網(wǎng)方式在數(shù)據(jù)中心發(fā)展擴容時,可以根據(jù)需要將三層組網(wǎng)架構(gòu)一般情況下,數(shù)據(jù)中心網(wǎng)絡都會進行服務器的分區(qū)管理在這種組網(wǎng)方式中,交換核心區(qū)是整個數(shù)據(jù)中心網(wǎng)絡的存儲融合一般情況下,服務器需要HBA和NIC兩種網(wǎng)卡才務器數(shù)量大幅增加,布線復雜、維護成本高等一系列問題逐為了滿足業(yè)務的需要,傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡將逐漸向具備彈性、簡彈性是指網(wǎng)絡能夠?qū)崿F(xiàn)靈活、平滑擴展以適應業(yè)務-設備級彈性擴展:網(wǎng)絡設備需要具備持續(xù)的平滑擴容能力。例如接入交換機可-系統(tǒng)級彈性擴展:數(shù)據(jù)中心網(wǎng)絡需要支持更大規(guī)模的二層網(wǎng)絡。例如提供X萬-數(shù)據(jù)中心級彈性擴展:數(shù)據(jù)中心互聯(lián)網(wǎng)絡要能夠支持多個數(shù)據(jù)中心的資源整合,簡單就在于要能夠讓網(wǎng)絡更好的為業(yè)務服務,能 在開始之前,首先要明確一點,大二層網(wǎng)絡基本上都是針對數(shù)據(jù)實際上就是為了解決數(shù)據(jù)中心的服務器虛擬化之后出現(xiàn)的。對于普通的園區(qū)網(wǎng)之類網(wǎng)絡而言,大二層我們看到,這種網(wǎng)絡架構(gòu)其實和園區(qū)網(wǎng)等網(wǎng)絡的架構(gòu)是一樣行業(yè)的“加盟店”形式,而與之相對應的“三層到邊緣”架構(gòu),之所以采用這種網(wǎng)絡架構(gòu),是因為這種架構(gòu)非常成熟,相關(guān)VLAN+xSTP、三層路由)都是成熟的技術(shù),可但是這種網(wǎng)絡架構(gòu)對于數(shù)據(jù)中心來說,其實是隱藏著一個弱點的,服務器虛擬化技術(shù)是把一臺物理服務器虛擬化成多臺邏輯服務器,這種邏輯通過服務器虛擬化,可以有效地提高服務器的利用率,降低能PS:VMware是服務器虛擬化領(lǐng)域的市場領(lǐng)先產(chǎn)品和創(chuàng)新品牌,提供一整套V本來,服務器虛擬化對于數(shù)據(jù)中心網(wǎng)絡來說,也沒啥特別大的但是服務器虛擬化之后,帶來了一項伴生的技術(shù),那就是虛擬機動統(tǒng)的數(shù)據(jù)中心網(wǎng)絡帶來了很大的麻煩。當然在講麻煩之前,我所謂虛擬機動態(tài)遷移,就是在保證虛擬機上服務正常運行的同從一個物理服務器移動到另一個物理服務器的過程。該過說白了,動態(tài)遷移就是讓虛擬機搬家,但是要求搬家的時搞清楚虛擬機動態(tài)遷移是怎么回事之后,我們來看到底這個技還記得我前面賣得關(guān)子不?我說對于數(shù)據(jù)中心來說,二三層網(wǎng)絡架構(gòu)是有一個弱點的,的業(yè)務就會中斷,而且牽一發(fā)動全身,其他相關(guān)的服務器(比如幸好幸好在傳統(tǒng)的數(shù)據(jù)中心中,物理服務器位置的跨二層域遷移的場景是非常少見的,但是在服務器虛擬化之后,虛擬機的動態(tài)遷移會成為一種經(jīng)常遷移時業(yè)務不中斷,就要求在遷移時,不僅虛擬機的I而傳統(tǒng)的二三層網(wǎng)絡架構(gòu)限制了虛擬機的動態(tài)遷移只能在一個較小的局部范圍內(nèi)進行,所以,為了打破這種限制,實現(xiàn)虛擬機的大范圍甚至跨地域的就好比你原來住在南京,現(xiàn)在遷移到蘇州了,原來各城市的么從南京遷移到蘇州,人過去就行了,社保關(guān)系不需要任何這就是大二層網(wǎng)絡!一個真正意義的大二層網(wǎng)絡至少要能容納1萬以上的主機VM動態(tài)遷移只是要求把所有服務器都納入同一個二層網(wǎng)絡,那問題來了:原絡架構(gòu)為什么就不能把所有服務器都納入同一個二層網(wǎng)絡?傳統(tǒng)這也就是我前面賣的關(guān)子,為什么說傳統(tǒng)網(wǎng)絡架構(gòu)限制了虛要說清楚這一點,我們首先需要弄清楚二層網(wǎng)絡面臨的主要其實說起來也簡單,二層網(wǎng)絡的核心問題就是環(huán)路問題以及由此產(chǎn)生的廣播風暴問題。如果是一個單設備和單鏈路組成的樹型二層網(wǎng)絡,所以,為了提高網(wǎng)絡可靠性,通常會采用冗余設備和冗余報文轉(zhuǎn)發(fā)又沒有TTL機制,無限循環(huán)之下,就2環(huán)路的解決之道-通過劃分VLAN來縮小廣播域的規(guī)模VLAN技術(shù)可以把一個大的物理二層域劃分成許多小的邏輯二層域,這-通過破環(huán)協(xié)議來防止環(huán)路的產(chǎn)生另外一種治本的方法則是從廣播風暴形成的為出現(xiàn)了環(huán)路才導致的,那么通過一定的手段,防止成備份設備和備份鏈路。即冗余的設備端口和鏈路在參與數(shù)據(jù)報文的轉(zhuǎn)發(fā)。只有當前轉(zhuǎn)發(fā)的設備、端口、不通的時候,冗余的設備端口和鏈路才會被打開,使來控制廣播風暴的規(guī)模。而對于大二層網(wǎng)絡的需求而言(對于其他一些破環(huán)協(xié)議,雖然可能相比xST最后給個總結(jié)式的數(shù)據(jù),基于VLAN+xSTP技術(shù)的這與前一篇中所說的,真正意義上的大二層網(wǎng)絡至少能容納如上一篇介紹的那樣,傳統(tǒng)的二層技術(shù)無法實現(xiàn)真正意幸好這個世界上聰明的腦袋是很多的,這些技術(shù)大牛們各顯絡的核心問題是環(huán)路問題,那么解決了環(huán)路問題,就一勞永逸了。抽了“環(huán)路”的“薪”,那么廣播風暴的“火”也就燒不起來了。也就意味著,二層網(wǎng)絡想做多大就可以做多大。所謂網(wǎng)絡設備虛擬化技術(shù),就是將相互冗余的兩臺或多臺擬化技術(shù)就有點和服務器的虛擬化比較相似,但是我們本文中不涉及這種虛擬化)而且虛擬化技術(shù)和鏈路聚合技術(shù)都具備冗余備份功能,單障時,可以自動切換到其他物理設備和鏈路來進行數(shù)據(jù)轉(zhuǎn)發(fā),保證網(wǎng)絡的可靠性。虛擬網(wǎng)絡設備所能支持的接入能力,只要虛擬網(wǎng)絡設備允2)受限于堆疊系統(tǒng)本身的規(guī)模限制,目前最大規(guī)模的堆疊/集群大我們都知道,二層以太網(wǎng)的幀交換不能有環(huán)路,冗余鏈轉(zhuǎn)發(fā)網(wǎng)絡也是有環(huán)路的,為啥就沒有這些問題呢?而且三層),而三層網(wǎng)絡就聰明智能得多了。三層網(wǎng)絡是依靠路由協(xié)過路由協(xié)議,各臺路由設備就可以收集、擴散和更新彼此的臺設備可以知道全部或者局部網(wǎng)絡的拓撲信息,所以在數(shù)據(jù)證從某個主機發(fā)出的報文只會向著目標主機一路前進,而不所以,移花接木派就想到了能不能把三層網(wǎng)絡的路由轉(zhuǎn)發(fā)做ECMP。這樣可以將二層網(wǎng)絡的規(guī)模擴展到題外話:有喜歡鉆研的同學可能會疑問,那為啥當初二層網(wǎng)式設計呢?而要設計成這樣一個比較弱智的轉(zhuǎn)發(fā)而已,那個時候的網(wǎng)絡設備性能很低,要進行完整的路由具有很高的性能(所以那個時候路由器很貴的而那個時候的局域網(wǎng)又都不大,沒有遇到像現(xiàn)在這種大二層的網(wǎng)絡需求,所以弱智原則。當前的網(wǎng)絡設備的性能已經(jīng)不可同日而語擔更復雜的路由計算,而且又有大二層這種明確的需求通過路由計算方式進行二層報文的轉(zhuǎn)發(fā),需要定義新的協(xié)推向市場的“Pre-Standard”技術(shù)性功能和特性,我們暫不用去理會,基本上可以認為T的環(huán)路問題。而她還有一項眾所周知的偉大發(fā)明Nickname標識來進行轉(zhuǎn)發(fā),而Nickname就像路由一樣,可通過IS-IS-SPBEthernet報頭在運營商骨干區(qū)域二層BridgeTrafficEngineering用于在運營商的PBB-TE靜態(tài)規(guī)劃轉(zhuǎn)發(fā)路徑,明顯無法適用于大型二層網(wǎng)絡擴展的原始二層報文封裝后在現(xiàn)有網(wǎng)絡中進行透明傳輸,到達目通過封裝和解封裝,相當于一個大二層網(wǎng)絡疊加在現(xiàn)有的基礎過GRE封裝之后在三層網(wǎng)絡中進行傳輸,透明不可見的,也就相當于直接在源網(wǎng)絡和目標網(wǎng)絡之間直接但是GRE這樣的隧道協(xié)議是點到點的隧道協(xié)多主機需要二層通信的話,就要每兩臺主機之間都拉上“光纖”,這是無法想象的。的隧道封裝協(xié)議,完全忽略中間網(wǎng)絡的結(jié)構(gòu)和細節(jié),把整個中間網(wǎng)絡虛擬成一臺VM動態(tài)遷移了,不就是把VM主機從交換機的一個端口換到另一的IP/MAC地址作為外層頭進行封裝,承載網(wǎng)這也很好理解,對于VXLAN和NVG務器內(nèi)部的虛擬交換機vSwitch上進行的,外部網(wǎng)-一方面對于虛擬化的服務器來說,網(wǎng)絡設備的性能還是要比vSwitch強很多的,-另外一方面,在TOR上部署Overlay接入點,也可以把非虛擬化的服務器統(tǒng)一上一篇我們談了很多大二層網(wǎng)絡的技術(shù)和流派,但是細心的談這些方案和技術(shù),實際上都是講的同一個數(shù)據(jù)中心內(nèi)的大二層跨數(shù)據(jù)中心情況下,那么如果要實現(xiàn)跨數(shù)據(jù)中心的VM中心的服務器也都在同一個二層域內(nèi)。也就是說要構(gòu)建一個覆在討論跨數(shù)據(jù)中心的大二層網(wǎng)絡時,我們可以從數(shù)據(jù)中心內(nèi)的情釜底抽薪派通過網(wǎng)絡設備虛擬化來消除二層網(wǎng)絡環(huán)路這種方式就是把網(wǎng)絡設備虛擬化的范圍擴大到所有數(shù)據(jù)中心但是這種方式要求數(shù)據(jù)中心之間可以實現(xiàn)堆疊線纜和光纖線路的直如果不具備跨數(shù)據(jù)中心堆疊的條件,那么想通過純二層就不太現(xiàn)實了。而在一般情況下,多數(shù)據(jù)中心之間是通過三層路由互通能把每個數(shù)據(jù)中心內(nèi)的二層網(wǎng)絡作為大二層網(wǎng)絡的一個局部,再把這些overGRE。也有新興的專門為數(shù)據(jù)中心二層互聯(lián)開發(fā)的VPN技術(shù),例如華為的EVN等。到控制平面。這樣可以使設備在管理MAC最理想的狀況,當然是把所有數(shù)據(jù)中心的網(wǎng)絡(包括一下,對于一個全國性的企業(yè),多地數(shù)據(jù)中心的互所以,對于TRILL來說,最經(jīng)濟的方案,其實唯一需要說明的是,對于釜底抽薪派來說,TRILL報文,只取出用戶原始二層報文再進行然后……所以,無論是在數(shù)據(jù)中心內(nèi)的網(wǎng)絡,還是跨數(shù)據(jù)中心的互聯(lián)網(wǎng)VMB所在的VTEP中間網(wǎng)絡無論用什么技術(shù),只要能把報文轉(zhuǎn)發(fā)所以說,瞞天過海派是天然可以支持跨數(shù)據(jù)中心的大二層網(wǎng)絡前期的“2.1.1數(shù)據(jù)中心為什么需要大二層網(wǎng)絡”已經(jīng)清晰支撐大二層網(wǎng)絡的需求。會產(chǎn)生環(huán)路上來。為了提高網(wǎng)絡可靠性,通常設備和鏈路都是冗不可避免的形成了環(huán)路。如果是單設備和單鏈路組成的樹型網(wǎng)絡,是沒有環(huán)路問題的,那么有沒有什么辦法在設備、鏈路冗余的基礎上又保持樹型網(wǎng)絡的基于這樣的設想,簡單粗暴、直接有效的網(wǎng)絡設備虛擬化技術(shù)出術(shù)就是將相互冗余的兩臺或多臺物理設備組合在一起,虛擬化(本文中的網(wǎng)絡虛擬化技術(shù)特指多虛一的技術(shù)VS技術(shù),可以把一臺網(wǎng)絡設備虛擬成多臺網(wǎng)絡設備使用,但是本文中不涉及避免因單點故障導致業(yè)務中斷。設備虛擬化再配合鏈路聚合技術(shù),橫向虛擬化技術(shù)從低端盒式設備到高端框式設備都已經(jīng)被廣泛應堆疊建立后,多物理設備虛擬成為一臺設備,用戶可以錄堆疊系統(tǒng),對所有成員設備進行統(tǒng)一的配置和管理,解決管理節(jié)點較多的問題。大規(guī)模的數(shù)據(jù)中心都有高密度接入的相比較橫向虛擬化,縱向虛擬化具有更好的簡化網(wǎng)絡結(jié)構(gòu)、簡虛擬化進行的更徹底。縱向虛擬化可以將匯聚層、接入層的交換機邏輯系統(tǒng),只有一個管理、控制面。管理員只需要管理一臺邏輯的拓撲,以及大量重復的配置工作。通過縱向整合,網(wǎng)絡簡化效入交換機,服務器直接接入機柜內(nèi)的交換機上,交換機上行端口機柜里的服務器直接通過跳線連接至網(wǎng)絡機柜中的交換機。雖然前文描述了那么多設備虛擬化技術(shù)給網(wǎng)絡帶來的優(yōu)勢,擬化技術(shù)簡直堪稱完美的錯覺,其不僅釜底抽薪式的解決了環(huán)路問題,還兼諸多優(yōu)點。對此筆者只能輕嘆一聲,十來年的辯證思維教育告訴我們——完美的事物是不存在的。一方面是各自為戰(zhàn),設備虛擬化技術(shù)是各個廠家私有的法使用不同廠家的設備來進行多虛一(甚至于同一廠家的不么,也不用想太多,且不說技術(shù)上是否可行,各廠商會愿意另一方面更重要的是虛擬化系統(tǒng)本身的規(guī)模限制。虛擬化后所有設備的控制平面合一,心,但對于一些超大型的數(shù)據(jù)中心來說,就顯得力不從心了。這網(wǎng)絡中所有設備都虛擬成一臺邏輯設備,以上說的一切問題都將迎此外,設備虛擬化后控制面合一,系統(tǒng)被當做一臺設備來管數(shù)據(jù)中心大規(guī)模二層網(wǎng)絡的需求目前已經(jīng)非常的清晰,各廠術(shù)和方案,滿足大二層的當前要求和未來擴展需求。網(wǎng)絡設很多年,雖然當初在出現(xiàn)的時候,并不是為了滿足大二層的二層網(wǎng)絡的效果,所以虛擬化技術(shù)在數(shù)據(jù)中心中有著廣泛的術(shù)有著一定的不足,但從實際應用情況來看,由于其簡單易看過了前面的大二層網(wǎng)絡系列專題,相信大家對于云計算背景有了一個基本的認識。在云計算數(shù)據(jù)中心時代,由于虛擬機之間的集群計算所帶來的虛擬機遷移、東西向流量的增多等在一個數(shù)據(jù)中心服務器數(shù)量動輒上萬甚至十萬級別的今天,可以服務器數(shù)量的增加導致業(yè)務吞吐量增加,東西向流量增加,要提供線速轉(zhuǎn)發(fā)的能力,并且網(wǎng)絡中的鏈路必須盡可能的都利那么問題來了,看起來,我們需要一個大型的二層網(wǎng)絡,并且說了這么多,有點走投無路的感覺。再看一下方案一和方案二的種種問題,總結(jié)起來,我們需要一個能支持足夠多的設備,天生沒有環(huán)路,并且鏈且都能支持幾百臺設備的大型網(wǎng)絡。如果能讓路由協(xié)議部署在我們的這對而言,增加新類型的協(xié)議報文肯定是不如在原來的報文上增加幾個字段來的方便了。作為一個網(wǎng)絡協(xié)議,其收斂速度無疑是一個非常重要的指標個網(wǎng)絡中支持的設備規(guī)模,而網(wǎng)絡規(guī)模也是我們需要解決作在網(wǎng)絡層的,那是基于IP來進行尋址的嘛。那提出了集成ISIS協(xié)議。既然能夠針對I我們在這個二層網(wǎng)絡中的尋址的依據(jù),這個標識我們稱之的網(wǎng)段,然后再進行二層的轉(zhuǎn)發(fā)。那么在我們這個二層網(wǎng)絡中,不存在網(wǎng)段這個概念,路由協(xié)議的第一步,當然是要和相鄰的設備建立鄰居了。運ProtocolDiscriminaVersion/ProtocolIDID長度,用來標識該路由選擇域內(nèi)使用的NSA),LANHELLO數(shù)據(jù)包中的優(yōu)先級特性選取出來有了HELLO報文,我們就可以來建立鄰居了。既然我4:鄰居關(guān)系建立之后,兩臺Router會定期發(fā)送Hello報文我們增強型ISIS協(xié)議也可以利用這種機制簡化廣播鏈路上多設第四步:拓撲收集,路由計算。-CSNP:類似OSPF中的DD報文,報文中攜帶了鏈路數(shù)據(jù)),-PSNP:收到CSNP報文后,設備會用CSNP報文中的序列號信息和自身鏈路數(shù)據(jù)庫中的信息進行比對,如果發(fā)現(xiàn)有更新的L號”“校驗和”等等大家肯定都耳熟能詳了,這些示始發(fā)路由器支持自動修復區(qū)域的分段情況通過分析可以看到,數(shù)據(jù)庫交互基本可以沿用ISIS是中間某些我們不關(guān)注的字段給一個固定值即可。所以沿用ISIS協(xié)議的交互過程,我們以最常見的廣播網(wǎng)絡為例,對交4Router3收到指定路由器發(fā)來的CSNP報文,對比自己的LSDB數(shù)據(jù)庫,發(fā)送5指定路由器收到該PSNP報文請求后發(fā)送對應的LSP給Router3,Router3進行e)若兩個序列號和RemainingLifeti在研究轉(zhuǎn)發(fā)機制前,我們先給這個增強型ISIS協(xié)議及的名字,來和原本的ISIS協(xié)議進行區(qū)分。我們給了這RB(RouterBridge)指運行TRIDRB(DesignatedRouterBridgNETNickname該類型端口用于接入用戶終端,只能轉(zhuǎn)發(fā)NativeEt入。該端口既能接入終端的NativeETH報文們主要的尋址方式,其實包含了nickname等信息供查表轉(zhuǎn)發(fā)。VLAN,外層以太報頭中封裝的應該是用于承載TRILLVRM看完報文結(jié)構(gòu),大家應該對TRILL基本的報文文非常類似,僅僅是尋址標識從IP地址換這些疑問我們在后面會用一個具體的例子來說明,在這是泛洪到所有連接到這條鏈路的設備或者網(wǎng)絡(這里鏈路其到一個BUM報文,答案很簡單,就是同一廣播域的所有組播中,網(wǎng)絡的主要目的就是將組播報文發(fā)送到每一個有點播需求(發(fā)送IGMP請求)IP組播的基本思想簡單總結(jié)一下(實際上IP組播相當復個網(wǎng)絡的所有子網(wǎng)。而一旦某子網(wǎng)內(nèi)設備有點播需求,則的網(wǎng)關(guān)請求組播流量,而網(wǎng)關(guān)設備會繼續(xù)向上請求。如果某子網(wǎng)內(nèi)沒有任何點播需求,那么這個子網(wǎng)對應的組播樹樹枝就會被剪掉。當網(wǎng)絡穩(wěn)定后,組到網(wǎng)絡中所有的設備,當某設備配置了CE那么最后一個問題,組播樹該如何生成?我們知道,在是IGMP/PIM等組播路由協(xié)議。這些組播路由依賴單播路由協(xié)議的數(shù)據(jù)庫信息。簡單的說組播路由協(xié)議主備優(yōu)先成為樹根,如果根優(yōu)先級一致,則system-按照我們上面說的,如果生成一顆組播樹,那么可能組播樹會如左邊這種情況。此時,網(wǎng)絡中所有BUM流量都會從這顆樹得三條鏈路上所以實際上,在CE系列交換機的實現(xiàn)中,在以這兩個樹根計算兩顆最短路徑樹。每個VLAN會選枝。實際實現(xiàn)中,基數(shù)VLAN會選擇一顆最短路徑樹1:為何RB2學到的MACA表項出接口為RB13:RB2查找MAC表,發(fā)現(xiàn)目的MACA對應的出接口為RB1,于是查找TRILL單播轉(zhuǎn)發(fā)表,發(fā)現(xiàn)有兩個等價下一跳,于是通過HASH計算,得出nickname也是自己,于是剝掉TRILLMACA。于是查看TRILL單播路由轉(zhuǎn)發(fā)表,有兩個等價單播下nickname查看TRILL單播轉(zhuǎn)發(fā)表,查表傳統(tǒng)網(wǎng)絡需要單獨維護單播組播兩套協(xié)議,無疑為客戶降低非常多在網(wǎng)絡規(guī)劃時,為了保證可靠性,網(wǎng)絡或者設備經(jīng)常會雙歸或者絡,這種情況下,如何避免環(huán)路就成了非常重要的問題。TRILL協(xié)議運行在二層網(wǎng)絡,TRILLHello報文是組播發(fā)送計算,傳遞拓撲信息等。所以,需要將對應接口的端口模式配置成上面兩個思路雖然都能解決多歸屬問題,但是有一個共同鏈路聚合方式和設備進行對接。但是鏈路聚合可以保證鏈路的可M-LAG簡單來說是一種跨設備的鏈路聚合技術(shù),如圖,服務器上配置了網(wǎng)在IP組播中,組播報文在發(fā)到某網(wǎng)段后,缺省情況的組播組情況。這樣設備在收到組播報文后,根據(jù)組播組地Report/Leave報文,發(fā)往最后一跳組播路由器,觸發(fā)路由器上三層動態(tài)組播組云計算成為企業(yè)IT建設新形態(tài)云計算,憑借其在系統(tǒng)利用率高、人力/管理成本低、靈的優(yōu)勢,已經(jīng)成為目前企業(yè)IT建設的新形態(tài);而服務器虛擬化技術(shù)的廣泛部署,極大地增加了數(shù)據(jù)中心的計算密業(yè)務的靈活變更,虛擬機VM(VirtualM傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡面臨的挑戰(zhàn)虛擬機數(shù)量的快速增長與虛擬機遷移業(yè)務的日趨頻繁,給傳統(tǒng)的“化后,數(shù)據(jù)中心中VM的數(shù)量比原有的物理機發(fā)生了數(shù)量級的增長,伴隨而來的便是虛擬機網(wǎng)卡MAC地址數(shù)量的空前增加。此時,處于接入側(cè)的二層設備表示“我要Hold不住了”!虛擬機遷移,顧名思義,就是將虛擬機從一個物理機遷要求在遷移過程中業(yè)務不能中斷。要做到這一點,需要保證虛擬層域中。而傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡的二層域,將虛擬機遷移限制在了將虛擬機遷移的范圍擴大。但是,構(gòu)建物理上的大二層,難免VXLAN是什么NVO3(NetworkVirtualizatiUDP)的報文封裝模式,將二層報文用三層協(xié)議進行封裝,可實現(xiàn)二層網(wǎng)絡在三層范VXLAN網(wǎng)絡模型),“隧道”是一個邏輯上的概念,它并不新鮮,比如大家熟悉的GRE。說白了就是將見招拆招對于“虛擬機規(guī)模受網(wǎng)絡設備表項規(guī)格的限制”這個問題,可能格大一些的接入交換機(比如跟核心或網(wǎng)關(guān)同檔次的設備)不就行了。我只能說,和MAC地址作為外層頭,對網(wǎng)絡中的其他設文頭負責基本的三層轉(zhuǎn)發(fā)就可以了。因此,虛擬機規(guī)模VXLAN報文長啥樣看過上面的描述,你一定對于封裝后的VXLAN報文有了封裝外層以太頭。其中,源MAC地址(Src.M本章小結(jié)了解了VXLAN技術(shù)是如何見招拆招解決云計算時代建立VXLAN隧道.2什么是“同一大二層域”我們知道,不同的VLAN是通過VLANID#bridge-domain10//表示創(chuàng)建一個“大二層廣播域”BD,其編號為10vxlanvni5000//表示在BD10下,指定與之關(guān)聯(lián)的VNI為5000#<HUAWEI>displayvxlanvniNumberofvxlanvni:1VNIBD-IDState500010up是如何進行處理的。我們知道,報文要進入交換機進行下一步處理是判斷對檢查通過的報文做怎樣的處理。下面我們就來看下在二層子接口上,可以根據(jù)需要定義不同的流封裝類型(類似于untag看了上面的描述,再來回答“如何確定報文屬于哪個BD二層子接口加入指定的BD,然后根據(jù)二層子#interface10GE1/0/1.1model2//創(chuàng)建二層子接口10GE1/0/1.1encapsulationdot1qvid10//只允許攜帶VLANTag10的報文進入VXLAN隧道bridge-domain10//報文進入的是BD10#interface10GE1/0/1.2model2//創(chuàng)建二層子接口10GE1/0/1.2encapsulationuntag//只允許不攜帶VLANTag的報文進入VXLAN隧道bridge-domain20//報文進入的是BD20##interface10GE1/0/2.1model2//創(chuàng)建二層子接口10GE1/0/2.1encapsulationdefault//允許所有報文進入VXLAN隧道bridge-domain30//報文進入的是BD30#應該如何選擇配置哪種類型的二層子接口?三種類型的二層子接口default類型的二層子接口跟其他兩種類型的二層子接口是不可以在#ZH-CN_TOPIC_0023019275用中,請務必根據(jù)組網(wǎng)需求,結(jié)合#ZH-CN_TOPIC_0023019#interfaceNve1//創(chuàng)建邏輯接口NVE1source//配置源VTEP的IP地址(推薦使用Loopback接口的IP地址)vni5000head-endpeer-listvni5000head-endpeer-list#<HUAWEI>displayvxlanvni5000verboseSource:BUMMode:head-endGroupAddress:-PeerList:根據(jù)上表中的PeerList,本端VTEP就可以知道屬于同一BD(或同一VNI)的對(Broadcast&Unknown-unicast&Multicast,廣播&未知單播&組播從前面的描述我們知道,屬于同一BD的VXLAN隧道可能不止一條,我們知道,基本的二三層轉(zhuǎn)發(fā)中,二層轉(zhuǎn)發(fā)表,則主機發(fā)送ARP廣播報文請求對端的MAC地址;三層VXLAN網(wǎng)絡中報文的轉(zhuǎn)發(fā)流程⑤VTEP_3接收到VM_C發(fā)送的ARP----結(jié)束BDIF接口的功能與VLANIF接口類似,是基于MAC后,網(wǎng)關(guān)再將數(shù)據(jù)報文發(fā)送給VM_B。以上MAC地址學習的過程與.1同子網(wǎng)互通中MAC地址學習的流程一致,不再贅述。VXLAN側(cè)進入網(wǎng)關(guān)并解封裝后,就按照普通的單播報文發(fā)送方式本章小結(jié)本篇我們以下圖所示的典型的“Spine-Leaf”數(shù)據(jù)VXLAN網(wǎng)絡的子網(wǎng)互通行,這樣就導致Leaf與Spine之間的鏈路上,存在冗余的報文,額外占用了大量的帶易成為網(wǎng)絡瓶頸。部署VXLAN三層網(wǎng)關(guān)。兩個VXLAN三層網(wǎng)關(guān)Leaf作為VXLAN三層網(wǎng)關(guān)時,只學習其下掛終端租戶的表項,而不必像集中式三層網(wǎng)關(guān)一樣,VXLAN網(wǎng)絡的可靠性隨著網(wǎng)絡的快速普及和應用的日益深入,基礎網(wǎng)絡的可靠性日益成為用戶關(guān)注的焦點,堆疊方式可以將多臺交換機設備組合在一起,虛擬化成一臺這一臺虛擬交換機上進行,從而簡化了接入層設備的運維復成員交換機之間在進行冗余備份的同時,能夠通常采用多活網(wǎng)關(guān)方式提升核心層的可靠性。這是因為,核心VXLAN網(wǎng)絡的部署方案),VXLAN報文的封裝格式,讓你對VXLA數(shù)據(jù)中心互聯(lián)網(wǎng)絡分類在數(shù)據(jù)大集中的背景下,企業(yè)產(chǎn)生的數(shù)據(jù)量越來越大,數(shù)據(jù)的重于災備、用戶就近接入、提升資源利用率等方面的考慮,企業(yè)互聯(lián)網(wǎng)絡實現(xiàn)方案從圖2-52我們可以看到這幾種方案都可以用于之所以將這幾個方案放在一起講,因為本質(zhì)上來說,它們都這類實現(xiàn)方式的傳輸距離相對較短,因此一般適用于同城數(shù)方案應用的關(guān)鍵因素,當前主要由運營商,大型互聯(lián)網(wǎng)企業(yè)或除此之外,這類方案實現(xiàn)二層網(wǎng)絡擴展的同時,實際上也大大擴展了二層網(wǎng)絡中環(huán)路、廣播風暴的影響范圍。而其解決方案跟一般二層網(wǎng)絡一樣,通由于VPLS技術(shù)的標準化,該方案一度是使用最廣泛的數(shù)據(jù)中心二層互聯(lián)方連接配置。初始部署復雜是一方面,后續(xù)的維護也相對復雜,甚至不具備可行性:一旦需要擴展新的數(shù)據(jù)中心,或者由于數(shù)據(jù)中心內(nèi)增或者變更PE設備,就必須得在所有站點PBB-VPLS、MC-LAG+VPL上面我們都是從技術(shù)的維度去分析VPLS方案的不足。我們知道企業(yè)出于成本考慮一般采用向運營商租賃帶寬的方案由于采用站點間廣播的方式學習MAC,這種方式VPLS組網(wǎng)方案本身技術(shù)比較復雜,部署及運維管理難度較大,對人員的能力要如果說運營商不care成本,出于技術(shù)ISIS來實現(xiàn)MAC地址的發(fā)布(有沒有想到T置簡單,且在環(huán)路避免、多歸屬支持、廣播風暴抑制等方面均有很這一篇的內(nèi)容會有點多,還請各位看官耐心。為了防止一下類報文的跨站點泛洪可以顯著的減少對互聯(lián)帶寬的占用,知易行難,真要想抽絲剝繭可不是這么三兩句就完EVN組網(wǎng)模型現(xiàn)有的站點邊界設備中虛擬出來的邏輯設備(例如,匯聚層交換機作方案中多個VLAN可以通過同一個EVN實VLAN之間的轉(zhuǎn)發(fā)隔離,也不需要為每一個VLAN獨立進行E[PE2]evnevn-namesite1[*PE2-evn-site1]evn-id100[*PE2-evn-site1]vlan-list100to199[*PE2-evn-site1]quit[PE2]evnevn-namesite2[*PE2-evn-site1]evn-id200[*PE2-evn-site1]vlan-list200to299[*PE2-evn-site1]quit度來說,雙歸屬的場景下的原理比單歸屬場景下要復雜一些。接在介紹實現(xiàn)原理時,我們將從控制平面和轉(zhuǎn)發(fā)平面兩個維度來描過程大家可以理解為一個修路通車的過程,目的在于打通在始發(fā)控制平面工作原理過程;第二階段是PE上轉(zhuǎn)發(fā)表項(MAC路由表、BUMMAC路由表用于指導單播流量的轉(zhuǎn)發(fā);BUM轉(zhuǎn)發(fā)表用于指導廣播、未知單播和組在VPLS方式中通過在PE之間建立全連接來可以是一臺獨立的設備,也可以由PE設備兼任。在下圖所示的[~PE2]evnbgp[*PE2-evnbgp]source-address[*PE2-evnbgp]peerreflect-client[*PE2-evnbgp]peerreflect-client[~PE1]evnbgp[*PE1-evnbgp]source-address[*PE1-evnbgp]peer“State”字段為“Established”表示BGP鄰居建立成功。[~PE2]displayevnbgppeerBGPlocalrouterID:LocalASnumber:65534Totalnumberofpeers:2Peersinestablishedstate:2PeerVASMsgRcvdMsgSentOutQUp/DownStatePrefRcv46553446000:00:23Established146553446000:00:14Established1<HUAWEI>system-view[~HUAWEI]evnbgp[*HUAWEI-evnbgp]authenticationkeychainabc[*HUAWEI-evnbgp]bfdmin-tx-interval100min-rx-interval100detect-multiplier5BGP鄰居管理建立完成后,兩個站點之間的道路已經(jīng)打通了,但是真正的在單歸屬場景中,主要涉及前兩種路由的交互。接下來我們就看從網(wǎng)絡側(cè)同步MAC地址信息的具體過程,我們以圖2-59所示的組網(wǎng)為例進行說明??梢酝ㄟ^displaymacmtableevnevn-name可以查看生成的MAC路由信息。PE2根據(jù)接收到的MAC地址通告路由,將<PE2>displaymacmtableevnsite1Evn-name:site1LocalNum:2,RemoteNum:3MACAddressVLANLearned-FromMAC-1MAC-2MAC-3100……BGP鄰居關(guān)系建立后就開始集成多播路由的發(fā)送,該路由信息的具體字道屬性信息的“TunnelType”字段的BUM轉(zhuǎn)發(fā)表中PE相關(guān)基本信息如圖2-61所示。<PE2>displayvxlantunnelNumberofvxlantunnel:2TunnelIDSourceDestinationStateType3368601833686019upupdynamicdynamic到這里為止,控制面表項和隧道的建立過程就描述完了。正所謂路修好了,車也通了,接下來應該就是來一場說走就走的旅行了。接下來我們就來看一轉(zhuǎn)發(fā)平面工作原理單播流量轉(zhuǎn)發(fā)過程在站點內(nèi)和站點間有所不同,對于-最外層ETH封裝中路由表中下一跳對應的MAC地址。源MAC為發(fā)送方的接口Interface1。報文進入本地二層網(wǎng)絡,按照普通二層報文轉(zhuǎn)發(fā)方式轉(zhuǎn)發(fā)到BUM流量由于采用的是頭端復制的廣播方式,轉(zhuǎn)發(fā)的過程相對簡單。PE上進行VXLAN封裝后遵循普通IP報文的轉(zhuǎn)的報文進行解封裝,獲取原始的以太數(shù)據(jù)報文,再按傳統(tǒng)二層報文轉(zhuǎn)發(fā)方式轉(zhuǎn)發(fā)多歸接入場景),在前面介紹VPLS方案的問題時,我們有提到過,這種跨站需要強調(diào)的是,在EVN中,與同一CE相連的所有PE均為all-aPE在傳輸單播流量時才可以進行負載分擔。只要有一個的PE設備是.2Single-ActiveSingle-Active模式的核心是只保留一條鏈路用于轉(zhuǎn)發(fā) [~PE1]interface10ge1/0/0[*PE1-10GE2/0/0]esi0000.1111.1111.1111.2222-動態(tài)方式:通過LLDP生成。-根據(jù)以太網(wǎng)段路由獲取SourceIP地址(包含在RD字段中)的大小順序,對多流量,因此報文不會發(fā)送給CE12,即接入側(cè)不EthernetA-D路由與其他路由一樣包含在Update報文的NLRI字[~PE1]evnbgp[*PE1-evnbgp]redundancy-modeall-activeMAC路由的下一跳從PE1切換為備份下一跳PE2中為了解決這個問題,支持對等體狀態(tài)跟蹤功能。接下2當以太網(wǎng)段路由的發(fā)送延時計時器結(jié)束后,PE1會啟動以太網(wǎng)段路由接收計時器。PE1將會在該計時器規(guī)定時間間隔內(nèi)等待其他PE發(fā)送來的以<HUAWEI>system-view[~HUAWEI]interface10ge1/0/0//進入PE上連接CE的接口視圖[~HUAWEI-10GE1/0/0]estrackevn-peer//使能針對指定對等體的狀態(tài)跟蹤功能<HUAWEI>system-view[~HUAWEI]evnbgp[*HUAWEI-evnbgp]timeres-advertisement10//配置發(fā)送以太網(wǎng)段路由的延時計時器的時間間隔為[*HUAWEI-evnbgp]timeres-reception1//配置以太網(wǎng)段路由接收計時器的時間間隔為1秒問題,最好的方案是能夠?qū)崿F(xiàn)流量在所有的多歸鏈路間負載分擔,也即多活A組中所有PE都能從CE接收流量或轉(zhuǎn)All-Active模式與Single-Active模式一在本地二層網(wǎng)絡內(nèi)。接下來我們就看一下,EVN其他增強功能未知單播報文可以跨數(shù)據(jù)中心廣播。用戶可以選擇關(guān)閉該功能影響其他站點,這樣做也同時可以降低對互聯(lián)帶寬的占用,避的靜默服務器時,關(guān)閉未知單播泛洪功能后,這類服務器<HUAWEI>system-view[~HUAWEI]evn[*HUAWEI-evn]unknown-unicastdrop//使能EVN中丟棄未知單播報文功能[*HUAWEI-evn]quit[*HUAWEI]mac-addressstatic1234-2222-3333vlan10flooding//只有VLAN10中目的MAC地址為1234-2222-3333的未知單播報文可以泛洪<HUAWEI>system-view[~HUAWEI]evn[*HUAWEI-evn]arpcacheenable[*HUAWEI-evn]arpcachetimeout600 天下大勢,分久必合,合久必分。這句名言套用在我們今天要討論的主題“網(wǎng)絡虛擬化”在開始之前,先要做一下澄清,網(wǎng)絡虛擬化NV和網(wǎng)絡功能虛擬化NFV是網(wǎng)絡功能虛擬化NFV,是當前比較熱點的首先,我們知道在數(shù)據(jù)通信網(wǎng)絡中,除了基礎性的路由NFV正是針對上述特點和痛點,由電信運營商聯(lián)合提出的一個概念,就是希望通過x86服務器等通用性硬件以及虛擬化技術(shù),來承載很多功能的軟件處理,來擬化成多個虛擬機,分別安裝不同的網(wǎng)絡組件軟件,就可以提供更強大的業(yè)務鏈功能,進一步的,NFV除了在這些專用設備方面,在通用的基礎網(wǎng)絡設備上也開始逐漸發(fā)威??梢砸髲S家提供標準化的通用交換路由設備,不需要多么NFV所提供的虛擬網(wǎng)絡組件,是通過軟件模比差一些,但是在成本和靈活性方面卻有著巨大的優(yōu)勢。并且隨著服務器性能的提高,這種性能差距也正在逐漸縮小,所以NFV才被視為一項革命性的技術(shù)解決方案尋求生存,畢竟他們在這些領(lǐng)域的專業(yè)積累夠深,可以關(guān)于NFV,本文就談這么多,因為只是做一個澄清和簡單的可能大家對于服務器虛擬化有一定了解,它是指將物理服務就是把物理網(wǎng)絡資源虛擬化成邏輯網(wǎng)絡資源,以便提供更加靈活的網(wǎng)絡資源調(diào)配和供但是相比較于服務器虛擬化、桌面虛擬化等應用,網(wǎng)絡虛擬化的概原因在于大家對于“邏輯網(wǎng)絡資源”的定義和理解是不太一樣的。比如大部分人理解中,堆疊/集群等應該算是典型的網(wǎng)絡虛擬化的應用,堆疊后的網(wǎng)絡設在筆者看來,非要把概念和含義定義的清清楚楚、界限分明,其實一”。來提高資源利用率,這就是我們更熟悉的服務器虛擬化技術(shù),即所謂的“一虛多”。易理解。但是多虛一的范圍也不僅如此,我們大致可以再劃控制平面多虛一就是把多臺物理設備組合在一起,虛擬成一臺邏輯設備,在網(wǎng)絡拓撲中只呈現(xiàn)為一個節(jié)點。控制平面多虛一最典型的技術(shù)代表就是堆疊了,它把多臺差.2價值首先,這是為了簡化網(wǎng)絡管理和維護的需要。多虛一構(gòu)看實際的物理設備,那么無論配置、維護還是故障處理,都和一樣,你甚至可能感覺不到你在操作一臺邏輯設備,而以為自己其次,這是為了網(wǎng)絡擴展的需要,通過組建多虛一的邏輯系隨時在這個堆疊交換機中加入一臺新的TOR說完了控制平面多虛一技術(shù)的價值,下面我們來看看控制所謂橫向多虛一,就是把同一層次上的同類型的多臺物理設備虛擬成一臺邏輯設備,從而達到簡化配置和管理的目的。例如若干臺匯聚層交換機進行混堆,就可以把整個匯聚層以下的網(wǎng)混堆技術(shù)相比于單層次橫向虛擬化的堆疊/集群技術(shù)來說,越多個網(wǎng)絡層次,所以網(wǎng)絡簡化得更為徹底。以上面的圖為例,上面介紹控制平面多虛一的主要技術(shù),也介紹了這些技術(shù)的道,這個世界是辨證的,沒有什么完美無缺的技術(shù),你得到了相所有的控制平面多虛一技術(shù),都是各家廠商私有的技術(shù),只能進行堆疊或者混堆。這在互聯(lián)互通、升級擴容來說是一個不小的障另外一個方面,網(wǎng)絡設備虛擬化之后,所有主控平備備份的模式,即只有主設備的主控板正常工作,而其他主控板由協(xié)議報文(就像奏章一樣)都需要上送給“君”來處理,所以說,工作主控板是關(guān)鍵,也是瓶頸,而作為單塊主控板,性能再強也是有極限的,它的性能就決定和制約了整個多虛一系統(tǒng)的規(guī)模。從當前業(yè)界來心思想之一就是網(wǎng)絡的控制節(jié)點要分散,以規(guī)避一點受到攻擊就導致全網(wǎng)崩潰的風險,通過路由協(xié)議進行路由重計算和擴散,使得數(shù)據(jù)流可以迂回繞但是在控制平面的多虛一技術(shù)中,多臺物理設備被虛擬成一臺邏輯如果只是邏輯設備中的單臺物理設備的硬件故障,還可設備作為主設備保持繼續(xù)工作,影響不大。但是如果整個邏輯),令,使得整個堆疊系統(tǒng)宕機,導致整個網(wǎng)絡全部癱瘓。而如一臺臺獨立的物理設備,那么同樣的錯誤只會導致一臺設備我們都知道雞蛋不能放在一個籃子里的道理,這是規(guī)避風險平面多虛一技術(shù),和這個理念是有點背道而馳的,所以存在一定.5題外這種技術(shù)可以構(gòu)建無環(huán)可靠的二層網(wǎng)絡,所以它也恰好可以絡需求,所以也被列為數(shù)據(jù)中心大二層網(wǎng)絡的幾種主要解決方數(shù)據(jù)平面多虛一控制平面的虛擬化,前面談到了它存在的規(guī)模限制和可靠性還看不到解決的希望,于是就又有了數(shù)據(jù)平面的虛擬化方案TRILL/SPB等技術(shù),可能在別的地方并不叫虛擬化技術(shù),但是我們從這個視角來看,我們可以類比一臺框式交換機的運作機.2價值“虛擬交換機”,那么這個“虛擬交換機”的接口數(shù)量就極為可觀了??刂破矫娴亩嗵撘唬∟:1這里面N一般是個位數(shù)到十位數(shù),幾十臺設備堆疊到一絡的發(fā)展來看,規(guī)模和帶寬擴充是最重要的,因此數(shù)據(jù)平面但是數(shù)據(jù)平面的多虛一也不是完美無缺的,它在控和同步,增加了網(wǎng)絡的復雜度,另外對原始報文的封裝/解封裝還有挺關(guān)鍵的一點,TRILL/SPB等都是新技術(shù),可能需要使用新的硬件設備才能支持,議的處理通常需要新的芯片才能支持,所以必須整體更換原.4題外TRILL/SPB等數(shù)據(jù)平面的一虛多技術(shù),其提出的根本出發(fā)點就是為無環(huán)大二層網(wǎng)絡需求而提出來的,所以本身就是大二層網(wǎng)絡技術(shù)的最主流方案之一。說到一虛多,在服務器領(lǐng)域已經(jīng)很成熟了,例如將一個服供業(yè)務,可以非常有效的提升服務器的資源利用率。而網(wǎng)絡中數(shù)據(jù)平面一虛多數(shù)據(jù)平面一虛多,典型的就是上面提到的VLAN和MPLS個數(shù)據(jù)轉(zhuǎn)發(fā)平面虛擬成多個數(shù)據(jù)轉(zhuǎn)發(fā)平面,實現(xiàn)用戶或業(yè)務隔離。每一個VLAN或者控制平面一虛多控制平面的一虛多,顧名思義,就是把一個控制平面虛擬成多個業(yè)務/特性級的控制平面一虛多,繼續(xù)顧名思義,就是把具體某一個業(yè)務/特性的控制平.2設備級設備的整個控制平面虛擬成多個控制平面。換句話說,那就是把整臺物理有童鞋可能就要問了,既然數(shù)據(jù)平面一虛多和業(yè)務/特性級的控說到底,最主要的還是錢的事情,這和服務器虛擬化的目的是一通過一虛多,可以使用一臺物理設備來構(gòu)建多個網(wǎng)絡節(jié)點,可另外呢,通過一虛多,也可以在同一臺物理設備上第一種場景就是為了單純的簡化減少實際物理設備的數(shù)量這種場景主要是為了業(yè)務的安全隔離,一般新業(yè)務試點存在一定不確定性和風險,?)用在對端口密度不太敏感,可靠性要求也不是非常嚴苛,但是對關(guān)于網(wǎng)絡虛擬化的技術(shù),嘮嘮叨叨說了不少,最后把這前期的“zh-cn_topic_0023025535.xml”章節(jié)已經(jīng)對堆疊堆疊技術(shù)一般是將同形態(tài)或同型號的多臺交換機虛擬化成一換機可以分為框式交換機和盒式交換機兩種形態(tài)。因此堆疊框式交換機堆疊多用于網(wǎng)絡核心層或匯聚層,而盒式交換機堆疊交換機之間正確的物理連線是建立堆疊的基本前提??蚴健⒑惺浇粨Q機由于物理形態(tài)、框式交換機堆疊連線框式交換機由兩臺設備通過相互連線組成堆疊系統(tǒng),連接方式有管理鏈路,另一部分是通過接口板上的業(yè)務口連接的轉(zhuǎn)發(fā)鏈在業(yè)務板直連方式里,管理鏈路和轉(zhuǎn)發(fā)鏈路是合一的,只需要連高延短少高盒式交換機堆疊連線盒式交換機是由兩臺或者多臺交換機之間兩兩連線組成堆疊堆疊系統(tǒng)將交換機分成了主交換機、備交換機、從交換機三式交換機堆疊后,在控制平面上,主交換機的主用主控板成為堆疊的系統(tǒng)主用主控板,作為整個系統(tǒng)的管理主角色;備交換機的主用主控板成為堆疊成員管理成員編號會被引入到接口編號中,便于用戶配置和識別成員10GE1/0/1;當設備運行堆疊功能時配置管理方式登錄到任意一臺成員設備,對整個堆疊系統(tǒng)進行管理和系統(tǒng)的管理中樞,負責響應用戶的登錄、配置請求,即用戶無哪臺成員交換機登錄到堆疊系統(tǒng),其實最終登堆疊具有嚴格的配置文件同步機制,用來保證堆疊中的多臺樣在網(wǎng)絡中工作。主交換機作為堆疊系統(tǒng)的管理中樞,負責將用換機,從而使堆疊內(nèi)各成員交換機的配置隨時保持一致。通過即有成員交換機均保持相同的配置。即使主交換機出現(xiàn)故障,備交版本管理在堆疊系統(tǒng)里,所有成員設備都必須使用相同版本的系統(tǒng)軟件。當主交換機選舉結(jié)束后,如果其它交換機與主交換機的軟件下面的幾個堆疊場景以盒式交換機為例進行描述堆疊建立場景堆疊建立是指所有成員交換機重新上電組建堆疊的場景,如所有成員交換機完成堆疊軟件配置后下電,然后連接堆疊線纜,2各成員交換機之間相互發(fā)送堆疊競爭報文,并根據(jù)選舉原則選舉出主交換機。選):-運行狀態(tài)比較,最先完成啟動,并進入堆疊運行狀態(tài)的交換機優(yōu)先競爭為主交-堆疊優(yōu)先級比較,堆疊優(yōu)先級高的交換機優(yōu)先競爭為主交換機。-軟件版本比較,軟件版本高的交換機優(yōu)先競爭為主交換機。-主控板數(shù)量比較,有2塊主控板的交換機優(yōu)先只有1塊主控板的交換機競爭為-橋MAC地址比較,橋MAC地址小的交換機優(yōu)先競爭為主交換機。3主交換機選舉完成后,其它成員交換機向主交換機發(fā)送成員信息報文。如果成員交換機之間ID有沖突或者與主交換機的版本不一致,成員交換機將重新修改ID4主交換機收集所有成員交換機的信息并計算拓撲,然后將成員信息和拓撲信息同5主交換機根據(jù)選舉規(guī)則選舉一臺備交換機,并將備交換機信息同步至其它成員交堆疊成員加入與退出場景這種情形一般是新加入的交換機不帶電加入的情況,即新加入配置后先斷電,然后連接堆疊線纜,最后上電交換機(如果是在加入場景,為了不影響已有堆疊系統(tǒng)的運行,新加入的交換機會作為從交換機加入,堆疊成員退出與加入相反,是指成員交換機從堆疊系統(tǒng)中離堆疊合并場景堆疊系統(tǒng)合并時,兩個堆疊系統(tǒng)的主交換機會進行競爭,選在的堆疊系統(tǒng)將保持原有主、備、從角色和配置不變,業(yè)務也不一個堆疊系統(tǒng)的所有成員交換機將重新啟動,走堆疊加入的流程重新加入新堆疊系統(tǒng)。堆疊分裂場景堆疊分裂是指一個穩(wěn)定運行的堆疊系統(tǒng)分裂成了多個堆疊系新計算堆疊拓撲,將移出的成員交換機的拓撲信息刪除給其他成員交換機;而移出的成員交換機會因為丟主丟機所在堆疊系統(tǒng)會重新指定備交換機,重新計算拓撲信息并機;原備交換機所在堆疊系統(tǒng)將發(fā)生備升主,原備交換機升備交互。這樣就導致IP地址和MAC地雙主檢測DAD(Dual-ActiveDetect)就是一種檢測和生分裂,分裂成多部分的堆疊系統(tǒng)都會在檢測鏈路上互發(fā)競爭報爭報文信息與本部分競爭信息做比較。如果本部分競爭勝出,則業(yè)務報文;如果本部分競爭失敗,則關(guān)閉除保留端口外的所有業(yè)堆疊分裂故障修復后,分裂成多部分的堆疊系統(tǒng)進行堆疊合堆疊主備倒換場景參考框式交換機上主控板的主備倒換概念,堆疊主備倒換就換機角色的變換。通常主交換機故障、重啟,或者管理員執(zhí)如上圖所示,主備倒換時,備交換機會升級為主交換機交換機會重啟后走成員加入流程加入堆疊系統(tǒng)(如果如果沒有流量本地優(yōu)先轉(zhuǎn)發(fā),進入堆疊的流量會有進行轉(zhuǎn)發(fā),流量會經(jīng)過堆疊線纜。由于堆疊線纜帶寬有限,跨設備為了提高轉(zhuǎn)發(fā)效率,減少跨設備轉(zhuǎn)發(fā)流量,轉(zhuǎn)發(fā)。即從本設備進入的流量,優(yōu)先從本設備的出接口轉(zhuǎn)發(fā)堆疊構(gòu)建三層架構(gòu)數(shù)據(jù)中心網(wǎng)絡如下圖所示的三層數(shù)據(jù)中心組網(wǎng)中,核心層堆疊構(gòu)建二層架構(gòu)數(shù)據(jù)中心網(wǎng)絡如下圖所示的數(shù)據(jù)中心組網(wǎng),采用接入層+核心層的兩層務網(wǎng)段路由與公網(wǎng)路由,采用旁掛方式部署防火墻,兩臺防火墻的認識。本文所要討論的M-LAG技術(shù)是一種跨我們先簡單總結(jié)一下之前的內(nèi)容,在服務器跨核心層二層互思路一:控制平面虛擬化(堆疊/VSS/IRF&SVF/FEX/I控制平面虛擬化的思想是將核心層虛擬成一臺邏輯設備,通過鏈與每個接入層物理或邏輯節(jié)點設備均只通過一條邏輯鏈路連接控制平面虛擬化解決了二層網(wǎng)絡無環(huán)和多路徑問題,但是其技術(shù)本身也存在一些問題:思路二:數(shù)據(jù)平面虛擬化(TRILL/FP&N數(shù)據(jù)平面虛擬化即在原本的以太網(wǎng)絡上引入一套新的尋址機虛擬成了一臺框式交換機,原始報文進入這個中間系統(tǒng),不關(guān)心在其中做了什么處理,只需要知道報文會原封不動的從另外一端出來,就如同兩臺這類技術(shù)解決了網(wǎng)絡側(cè)多路徑轉(zhuǎn)發(fā)和破環(huán)問題,并且大多利用擴展性的問題,同時故障影響范圍也較小。但是其接入側(cè)的多路徑問題還是無法解決。M-LAG技術(shù)的基本思想是,讓兩臺接入交換機以同一個狀態(tài)和被接入的設聚合協(xié)商,在被接入的設備看來,就如同和一臺M-LAG技術(shù)本質(zhì)上還是控制平面虛擬化技術(shù),但是和堆疊/SVF技術(shù)不同的SVF那樣同步設備上所有的信息,只需要同步接口這樣,堆疊/SVF技術(shù)的一些缺陷在M-LAG上也會入側(cè)多路徑問題,在數(shù)據(jù)中心網(wǎng)絡中一般會配合路由或者一些大M-LAG:跨設備鏈路聚合組,是一種實現(xiàn)跨設備鏈路聚合的機制,能夠KeepaliveLink:心跳鏈路,承載心M-LAG建立過程3:配對成功后,會選舉主/備設備,根據(jù)優(yōu)先級選舉,優(yōu)先級高4:配對成功之后,設備間會發(fā)送同步報文進行信息同步,需要同步的信息包括設備名、5:設備配對成功后,會通過keepalive鏈路發(fā)送心跳。M-LAG協(xié)議報文M-LAG協(xié)議報文如圖所示,上面說過,協(xié)議報文(HELLO或者同步報文peer-link上承載的,而peer-link是一個二層鏈路,所以協(xié)議報文太報文中的,最外層的以太頭中,源MAC外層以太頭部內(nèi),封裝了一層自定義的消息頭部。自M-LAG作為一個邏輯的鏈路聚合組,雙歸設備兩端的表項需要保持一致,M-LAG兩端同步表項,否則可能導致流量異常。需要保持一致的ARP報文是因為對于原始的ARP報文,不管什么版本的設備處理模式都是M-LAG協(xié)議兼容性原理需要進行同步的這類協(xié)議來說,逐臺升級過程中,必然會出現(xiàn)兩端2:M-LAG設備在獲取到對面的版本號后,如果自身版本較高,則會兼的功能,在V1R5C10版本,兩端設備LACV2R1C00版本中,主設備會將自己的LACPSystemIDCE側(cè)單播訪問網(wǎng)絡側(cè)時,無論單歸或是雙歸均為正常轉(zhuǎn)發(fā)流程2:CE側(cè)單播互訪流程3:組播/廣播/未知單播流程這里以CE2發(fā)送廣播流量為例,廣播流如果M-LAG某成員口故障,網(wǎng)絡側(cè)流量會通過p這里還需要說明的是:如果使用框式設備組成M-LAG系統(tǒng),最好則peer-link和M-LAG成員口同時故3:設備故障場景雙主檢測,檢測肯定檢測不到,于是判定設備故障。既然設備都不了,如果我是M-LAG主設備,那我啥也不用做,再進行M-LAG協(xié)商。同理,為了給網(wǎng)絡側(cè)協(xié)議收斂機制準備,還是會有一個延時的時間,在延時時間內(nèi),依然還是但是如果故障的接口正好是Keepali如果服務器的網(wǎng)卡只能支持主備模式,通過M2:M-LAG雙歸接入隧道類協(xié)議兩臺設備會通過peer-link協(xié)商或者手工配置一個文時,封裝這個虛擬的nickname,這樣網(wǎng)絡側(cè)這樣在接入側(cè)看來,通過一個Eth-Tru是承擔了網(wǎng)關(guān)的作用。由于是兩臺設備做網(wǎng)關(guān),那么他們對在網(wǎng)絡規(guī)模較大的情況下,可以在核心層,匯聚層和接入層部就不能運行了。所以多級M-LAG互聯(lián)方式必須要SVF(SuperVirtualF盒盒SVF拓撲為堆疊(iStack可以實現(xiàn)控制平面的冗余備份,框盒SVF拓撲),2完成軟件版本的同步。葉子交換機通過獲取父交換機的軟件版本信息,判斷自身與父交換機的軟件版本是否一致。如果不一致,則葉子交換機將自動從父交換機3完成配置的下發(fā)。等葉子交換機正常啟動并注冊后,父交換機向葉子交換機下發(fā)SVF系統(tǒng)作為一個虛擬設備,是由父交換機進從父交換機還是從葉子交換機上的接口登錄,最終登錄的3.4.4SVF系統(tǒng)管理SVF成員管理的ID都是唯一的。為了與父交換機的ID區(qū)分開,葉子交換機的ID從101開始編號SVF配置管理分布式轉(zhuǎn)發(fā)在分布式轉(zhuǎn)發(fā)模式里,葉子交換機的流量進行本地查表轉(zhuǎn)發(fā),三在分布式轉(zhuǎn)發(fā)模式下,葉子交換機具有本地轉(zhuǎn)發(fā)能力,流量轉(zhuǎn)發(fā)集中式轉(zhuǎn)發(fā)集中式轉(zhuǎn)發(fā)是指葉子交換機的所有流量統(tǒng)一上送至父交換機,集中式轉(zhuǎn)發(fā)模式對葉子交換機的規(guī)格能力要求低,但是所有流混合式轉(zhuǎn)發(fā)混合式轉(zhuǎn)發(fā)是介于分布式、集中式轉(zhuǎn)發(fā)之間的一種模式。盒盒SVF構(gòu)建數(shù)據(jù)中心接入層網(wǎng)絡框盒SVF構(gòu)建數(shù)據(jù)中
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 未來十年移動支付的科技發(fā)展趨勢預測
- 標準化管理在生產(chǎn)現(xiàn)場的挑戰(zhàn)與對策
- 現(xiàn)代音樂文化的全球化傳播路徑
- 13人物描寫一組(說課稿)2023-2024學年統(tǒng)編版語文五年級下冊
- Unit 1 Playtime Lesson 3(說課稿)-2023-2024學年人教新起點版英語二年級下冊001
- 25 少年閏土 第二課時 說課稿-2024-2025學年語文六年級上冊 統(tǒng)編版
- Unit1 London is a big city(說課稿)2023-2024學年外研版(三起)四年級下冊
- 2024-2025學年高中生物 第七章 現(xiàn)代生物進化理論 第1節(jié) 現(xiàn)代生物進化理論的由來說課稿3 新人教版必修2
- Unit 2 Being a good language learner Exploring and Using 說課稿-2024-2025學年高中英語重大版(2019)必修第一冊
- 2025挖掘機勞動合同范文
- 北師大版五年級上冊四則混合運算100道及答案
- 專項債券在燃氣基礎設施建設中的融資作用
- 人教部編版道德與法治八年級下冊:6.3 《國家行政機關(guān)》說課稿1
- GE-LM2500+G4航改燃氣輪機在艦船和工業(yè)上的應用
- 2024山東能源集團中級人才庫選拔(高頻重點提升專題訓練)共500題附帶答案詳解
- 鋼鐵是怎樣煉成的讀后感作文700字
- 武漢市江夏區(qū)2022-2023學年七年級上學期期末數(shù)學試卷【帶答案】-109
- 學校物業(yè)服務合同范本專業(yè)版
- SL 288-2014 水利工程施工監(jiān)理規(guī)范
- 部編版八年級語文上冊期末考試卷
- 2024年02月中央軍委后勤保障部2024年公開招考專業(yè)技能崗位文職人員筆試參考題庫附帶答案詳解
評論
0/150
提交評論