![XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)_第1頁](http://file4.renrendoc.com/view/10438f1db776b59f5b7a034c99b16e47/10438f1db776b59f5b7a034c99b16e471.gif)
![XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)_第2頁](http://file4.renrendoc.com/view/10438f1db776b59f5b7a034c99b16e47/10438f1db776b59f5b7a034c99b16e472.gif)
![XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)_第3頁](http://file4.renrendoc.com/view/10438f1db776b59f5b7a034c99b16e47/10438f1db776b59f5b7a034c99b16e473.gif)
![XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)_第4頁](http://file4.renrendoc.com/view/10438f1db776b59f5b7a034c99b16e47/10438f1db776b59f5b7a034c99b16e474.gif)
![XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)_第5頁](http://file4.renrendoc.com/view/10438f1db776b59f5b7a034c99b16e47/10438f1db776b59f5b7a034c99b16e475.gif)
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)PAGE4目錄第1章總述 41.1XX學院數(shù)據(jù)中心網(wǎng)絡建設需求 41.1.1傳統(tǒng)架構(gòu)存在的問題 41.1.2XX學院數(shù)據(jù)中心目標架構(gòu) 51.2XX學院數(shù)據(jù)中心設計目標 61.3XX學院數(shù)據(jù)中心技術(shù)需求 71.3.1整合能力 71.3.2虛擬化能力 71.3.3自動化能力 81.3.4綠色數(shù)據(jù)中心要求 8第2章XX學院數(shù)據(jù)中心技術(shù)實現(xiàn) 92.1整合能力 92.1.1一體化交換技術(shù) 92.1.2無丟棄以太網(wǎng)技術(shù) 102.1.3性能支撐能力 112.1.4智能服務的整合能力 112.2虛擬化能力 122.2.1虛擬交換技術(shù) 122.2.2網(wǎng)絡服務虛擬化 142.2.3服務器虛擬化 142.3自動化 152.4綠色數(shù)據(jù)中心 16第3章XX學院數(shù)據(jù)中心網(wǎng)絡設計 173.1總體網(wǎng)絡結(jié)構(gòu) 173.1.1層次化結(jié)構(gòu)的優(yōu)勢 173.1.2標準的網(wǎng)絡分層結(jié)構(gòu) 173.1.3XX學院的網(wǎng)絡結(jié)構(gòu) 183.2全網(wǎng)核心層設計 193.3數(shù)據(jù)中心分布層設計 203.3.1數(shù)據(jù)中心分布層虛擬交換機 203.3.2數(shù)據(jù)中心分布層智能服務機箱 203.4數(shù)據(jù)中心接入層設計 223.5數(shù)據(jù)中心地址路由設計 253.5.1核心層 253.5.2分布匯聚層和接入層 253.5.3VLAN/VSAN和地址規(guī)劃 26第4章應用服務控制與負載均衡設計 274.1功能介紹 27XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第1頁。4.1.1基本功能 27XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第1頁。4.1.2應用特點 284.2數(shù)據(jù)中心的應用情況 324.2.1XXXX應用1 324.2.2XXXX應用n 334.3應用優(yōu)化和負載均衡需求 334.3.1XXXX應用的負載均衡要求 334.3.2開放式系統(tǒng)應用的負載均衡要求 344.4應用優(yōu)化和負載均衡設計 344.4.1智能服務機箱設計 344.4.2應用負載均衡的設計 374.4.3地址和路由 404.4.4安全功能的設計 434.4.5SSL分流設計 444.4.6擴展性設計 454.4.7高可用性設計 46第5章網(wǎng)絡安全設計 495.1網(wǎng)絡安全部署思路 495.1.1網(wǎng)絡安全整體架構(gòu) 495.1.2網(wǎng)絡平臺建設所必須考慮的安全問題 505.2網(wǎng)絡設備級安全 515.2.1防蠕蟲病毒的等Dos攻擊 515.2.2防VLAN的脆弱性配置 525.2.3防止DHCP相關(guān)攻擊 535.3網(wǎng)絡級安全 535.3.1安全域的劃分 545.3.2防火墻部署設計 545.3.3防火墻策略設計 565.3.4防火墻性能和擴展性設計 565.4網(wǎng)絡的智能主動防御 575.4.1網(wǎng)絡準入控制 585.4.2桌面安全管理 595.4.3智能的監(jiān)控、分析和威脅響應系統(tǒng) 615.4.4分布式威脅抑制系統(tǒng) 64第6章服務質(zhì)量保證設計 676.1服務質(zhì)量保證設計分類 676.2數(shù)據(jù)中心服務質(zhì)量設計 676.2.1帶寬及設備吞吐量設計 676.2.2低延遲設計 696.2.3無丟棄設計 706.3非數(shù)據(jù)中心網(wǎng)絡的服務質(zhì)量設計 716.3.1QoS實施方案 726.3.2分析業(yè)務需求 72XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第2頁。6.3.3QoS策略的制定和部署 75XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第2頁。6.3.4評測和調(diào)整 796.4QOS策略管理 806.4.1QoS自動配置 806.4.2QoS策略管理器解決方案 80第7章網(wǎng)絡管理和業(yè)務調(diào)度自動化 837.1MARS安全管理自動化 837.2VFrame業(yè)務部署自動化 83第8章兩種數(shù)據(jù)中心技術(shù)方案的綜合對比 848.1技術(shù)方案對比 848.1.1傳統(tǒng)技術(shù)領(lǐng)域?qū)Ρ?848.1.2下一代數(shù)據(jù)中心技術(shù)能力比較 858.2技術(shù)服務對比 878.3商務對比 888.4總結(jié) 88第9章數(shù)據(jù)中心網(wǎng)絡割接方案 89XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第3頁。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第3頁。總述為進一步推進XX學院信息化建設,以信息化推動XX學院業(yè)務工作的改革與發(fā)展,需要建設XX學院的新一代綠色高效能數(shù)據(jù)中心網(wǎng)絡。XX學院數(shù)據(jù)中心網(wǎng)絡建設需求傳統(tǒng)架構(gòu)存在的問題XX學院現(xiàn)有數(shù)據(jù)中心網(wǎng)絡采用傳統(tǒng)以太網(wǎng)技術(shù)構(gòu)建,隨著各類業(yè)務應用對IT需求的深入發(fā)展,業(yè)務部門對資源的需求正以幾何級數(shù)增長,傳統(tǒng)的IT基礎(chǔ)架構(gòu)方式給管理員和未來業(yè)務的擴展帶來巨大挑戰(zhàn)。具體而言存在如下問題:維護管理難:在傳統(tǒng)構(gòu)架的網(wǎng)絡中進行業(yè)務擴容、遷移或增加新的服務功能越來越困難,每一次變更都將牽涉相互關(guān)聯(lián)的、不同時期按不同初衷建設的多種物理設施,涉及多個不同領(lǐng)域、不同服務方向,工作繁瑣、維護困難,而且容易出現(xiàn)漏洞和差錯。比如數(shù)據(jù)中心新增加一個業(yè)務類型,需要調(diào)整新的應用訪問控制需求,此時管理員不僅要了解新業(yè)務的邏輯訪問策略,還要精通物理的防火墻實體的部署、連接、安裝,要考慮是增加新的防火墻端口、還是需要添置新的防火墻設備,要考慮如何以及何處接入,有沒有相應的接口,如何跳線,以及隨之而來的VLAN、路由等等,如果網(wǎng)絡中還有諸如地址轉(zhuǎn)換、7層交換等等服務與之相關(guān)聯(lián),那將是非常繁雜的任務。當這樣的IT資源需求在短期內(nèi)累積,將極易在使得系統(tǒng)維護的質(zhì)量和穩(wěn)定性下降,同時反過來減慢新業(yè)務的部署,進而阻礙公司業(yè)務的推進和發(fā)展。資源利用率低:傳統(tǒng)架構(gòu)方式對底層資源的投入與在上層業(yè)務所收到的效果很難得到同比發(fā)展,最普遍的現(xiàn)象就是忙的設備不堪重負,閑的設備資源儲備過多,二者相互之間又無法借用和共用。這是由于對底層網(wǎng)絡建設是以功能單元為中心進行建設的,并不考慮上層業(yè)務對底層資源調(diào)用的優(yōu)化,這使得對網(wǎng)絡的投入往往無法取得同樣的業(yè)務應用效果的改善,反而浪費了較多的資源和維護成本。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第4頁。服務策略不一致:傳統(tǒng)架構(gòu)最嚴重的問題是這種以孤立的設備功能為中心的設計思路無法真正從整個系統(tǒng)角度制訂統(tǒng)一的服務策略,比如安全策略、高可用性策略、業(yè)務優(yōu)化策略等等,造成跨平臺策略的不一致性,從而難以將所投入的產(chǎn)品能力形成合力為上層業(yè)務提供強大的服務支撐。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第4頁。因此,按傳統(tǒng)底層基礎(chǔ)設施所提供的服務能力已無法適應當前業(yè)務急劇擴展所需的資源要求,本次數(shù)據(jù)中心建設必須從根本上改變傳統(tǒng)思路,遵照一種嶄新的體系結(jié)構(gòu)思路來構(gòu)造新的數(shù)據(jù)中心IT基礎(chǔ)架構(gòu)。XX學院數(shù)據(jù)中心目標架構(gòu)面向服務的設計思想已經(jīng)成為Web2.0下解決來自業(yè)務變更、業(yè)務急劇發(fā)展所帶來的資源和成本壓力的最佳途徑。從業(yè)務層面上主流的IT廠商如IBM、BEA等就提出了摒棄傳統(tǒng)的“面向組件(Component)”的開發(fā)方式,而轉(zhuǎn)向“面向服務”的開發(fā)方式,即應用軟件應當看起來是由相互獨立、松耦合的服務構(gòu)成,而不是對接口要求嚴格、變更復雜、復用性差的緊耦合組件構(gòu)成,這樣可以以最小的變動、最佳的需求溝通方式來適應不斷變化的業(yè)務需求增長。鑒于此,XX學院數(shù)據(jù)中心業(yè)務應用正在朝“面向服務的架構(gòu)ServiceOrientedArchitecture(SOA)”轉(zhuǎn)型。與業(yè)務的SOA相適應,XX學院提出支撐業(yè)務運行的底層基礎(chǔ)設施也應當向“面向服務”的設計思想轉(zhuǎn)變,構(gòu)造“面向服務的數(shù)據(jù)中心”(ServiceOrientedDataCenter,SODC)。傳統(tǒng)組網(wǎng)觀念是根據(jù)功能需求的變化實現(xiàn)對應的硬件功能盒子堆砌而構(gòu)建企業(yè)網(wǎng)絡的,這非常類似于傳統(tǒng)軟件開發(fā)的組件堆砌,被已經(jīng)證明為是一種較低效率的資源調(diào)用方式,而如果能夠?qū)⒄麄€網(wǎng)絡的構(gòu)建看成是由封裝完好、相互耦合松散、但能夠被標準化和統(tǒng)一調(diào)度的“服務”組成,那么業(yè)務層面的變更、物理資源的復用都將是輕而易舉的事情。SODC就是要求當SOA架構(gòu)下業(yè)務的變更,導致軟件部分的服務模塊的組合變化時,松耦合的網(wǎng)絡服務也能根據(jù)應用的變化自動實現(xiàn)重組以適配業(yè)務變更所帶來的資源要求的變化,而盡可能少的減少復雜硬件的相關(guān)性,從運行維護、資源復用效率和策略一致性上徹底解決傳統(tǒng)設計帶來的頑疾。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第5頁。具體而言SODC應形成這樣的資源調(diào)用方式:底層資源對于上層應用就象由服務構(gòu)成的“資源池”,需要什么服務就自動的會由網(wǎng)絡調(diào)用相關(guān)物理資源來實現(xiàn),管理員和業(yè)務用戶不需要或幾乎可以看不見物理設備的相互架構(gòu)關(guān)系以及具體存在方式。SODC的框架原型應如下所示:XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第5頁。在圖中,隔在物理架構(gòu)和用戶之間的“交互服務層”實現(xiàn)了向上提供服務、向下屏蔽復雜的物理結(jié)構(gòu)的作用,使得網(wǎng)絡使用者看到的網(wǎng)絡不是由復雜的基礎(chǔ)物理功能實體構(gòu)成的,而是一個個智能服務——安全服務、移動服務、計算服務、存儲服務……等等,至于這些服務是由哪些實際存在的物理資源所提供,管理員和上層業(yè)務都無需關(guān)心,交互服務層解決了一切資源的調(diào)度和高效復用問題。SODC和SOA構(gòu)成的數(shù)據(jù)中心IT架構(gòu)必將是整個數(shù)據(jù)中心未來發(fā)展的趨勢,雖然實現(xiàn)真正理想的SODC和SOA融合的架構(gòu)將是一個長期的歷程,但在向該融合框架邁進的每一步實際上都將會形成對網(wǎng)絡靈活性、網(wǎng)絡維護、資源利用效率、投資效益等等方面的巨大改善。因此XX學院本次數(shù)據(jù)中心的網(wǎng)絡建設,要求盡可能的遵循如上所述的新一代面向服務的數(shù)據(jù)中心設計框架。XX學院數(shù)據(jù)中心設計目標在基于SODC的設計框架下,XX學院新一代數(shù)據(jù)中心應實現(xiàn)如下設計目標:簡化管理:使上層業(yè)務的變更作用于物理設施的復雜度降低,能夠最低限度的減少了物理資源的直接調(diào)度,使維護管理的難度和成本大大降低。高效復用:使得物理資源可以按需調(diào)度,物理資源得以最大限度的重用,減少建設成本,提高使用效率。即能夠?qū)崿F(xiàn)總硬件資源占用量降低了,而每個業(yè)務得到的服務反而更有充分的資源保證了。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第6頁。策略一致:降低具體設備個體的策略復雜性,最大程度的在設備層面以上建立統(tǒng)一、抽象的服務,每一個被充分抽象的服務都按找上層調(diào)用的目標進行統(tǒng)一的規(guī)范和策略化,這樣整個IT將可以達到理想的服務規(guī)則和策略的一致性。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第6頁。XX學院數(shù)據(jù)中心技術(shù)需求SODC架構(gòu)是一種資源調(diào)度的全新方式,資源被調(diào)用方式是面向服務而非象以前一樣面向復雜的物理底層設施進行設計的,而其中交互服務層是基于服務調(diào)用的關(guān)鍵環(huán)節(jié)。交互服務層的形成是由網(wǎng)絡智能化進一步發(fā)展而實現(xiàn)的,它是底層的物理網(wǎng)絡通過其內(nèi)在的智能服務功能,使得其上的業(yè)務層面看不到底層復雜的結(jié)構(gòu),不用關(guān)心資源的物理調(diào)度,從而最大化的實現(xiàn)資源的共享和復用。要形成SODC要求的交互服務層,必須對網(wǎng)絡提出以下要求:整合能力SODC要求將數(shù)據(jù)中心所需的各種資源實現(xiàn)基于網(wǎng)絡的整合,這是后續(xù)上層業(yè)務能看到底層網(wǎng)絡提供各類SODC服務的基礎(chǔ)。整合的概念不是簡單的功能增多,雖然整合化的一個體現(xiàn)是很多獨立設備的功能被以特殊硬件的方式整合到網(wǎng)絡設備中,但其真正的核心思想是將資源盡可能集中化以便于跨平臺的調(diào)用,而物理存在方式則可自由的根據(jù)需要而定。數(shù)據(jù)中心網(wǎng)絡所必須提供的資源包括:智能業(yè)務網(wǎng)絡所必須的智能功能,比如服務質(zhì)量保證、安全訪問控制、設備智能管理等等;數(shù)據(jù)中心的三大資源網(wǎng)絡:高性能計算網(wǎng)絡;存儲交換網(wǎng)絡;數(shù)據(jù)應用網(wǎng)絡。這兩類資源的整合將是檢驗新一代數(shù)據(jù)中心網(wǎng)絡SODC能力的重要標準。虛擬化能力虛擬化其實就是把已整合的資源以一種與物理位置、物理存在、物理狀態(tài)等無關(guān)的方式進行調(diào)用,是從物理資源到服務形態(tài)的質(zhì)變過程。虛擬化是實現(xiàn)物理資源復用、降低管理維護復雜度、提高設備利用率的關(guān)鍵,同時也是為未來自動實現(xiàn)資源協(xié)調(diào)和配置打下基礎(chǔ)。新一代數(shù)據(jù)中心網(wǎng)絡要求能夠提供多種方式的虛擬化能力,不僅僅是傳統(tǒng)的網(wǎng)絡虛擬化(比如VLAN、VPN等),還必須做到:XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第7頁。交換虛擬化XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第7頁。智能服務虛擬化服務器虛擬化自動化能力自動化是SODC架構(gòu)中上層自動優(yōu)化的實現(xiàn)服務調(diào)用必須條件。在高度整合化和虛擬化的基礎(chǔ)上,服務的部署完全不需要物理上的動作,資源在虛擬化平臺上可以與物理設施無關(guān)的進行分配和整合,這樣我們只需要將一定的業(yè)務策略輸入給智能網(wǎng)絡的策略服務器,一切的工作都可以按系統(tǒng)自身最優(yōu)化的方式進行計算、評估、決策和調(diào)配實現(xiàn)。這部分需要做到兩方面的自動化:網(wǎng)絡管理的自動化業(yè)務部署的自動化綠色數(shù)據(jù)中心要求當前的能源日趨緊張,能源的價格也飛揚直上;綠地(GreenField)是我們每個人都關(guān)心的議題。如何最大限度的利用能源、降低功耗,以最有效率方式實現(xiàn)高性能、高穩(wěn)定性的服務是新一代的數(shù)據(jù)中心必須考慮的問題。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第8頁。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第8頁。XX學院數(shù)據(jù)中心技術(shù)實現(xiàn)根據(jù)以上新一代數(shù)據(jù)中心網(wǎng)絡的技術(shù)要求,必須對傳統(tǒng)數(shù)據(jù)中心所使用的常規(guī)以太網(wǎng)技術(shù)進行革新,數(shù)據(jù)中心級以太網(wǎng)(DataCenterEthernet,簡稱DCE)技術(shù)由此誕生。DCE之前也被一些廠商稱為匯聚型增強以太網(wǎng)技術(shù)(ConvergedEnhancedEthernet,簡稱CEE),是兼容傳統(tǒng)以太網(wǎng)協(xié)議并按新一代數(shù)據(jù)中心的傳輸要求,對其進行全面革新的一系列標準和技術(shù)的總稱。因此,為達到XX學院的新一代數(shù)據(jù)中心的建設目標,必須摒棄傳統(tǒng)以太網(wǎng)技術(shù),而采用新一代的DCE(CEE)技術(shù)進行組網(wǎng)。具體而言,本次XX學院數(shù)據(jù)中心所采用的DCE技術(shù),可以達到以下的技術(shù)目標。整合能力一體化交換技術(shù)DCE技術(shù)的重要目標是實現(xiàn)傳統(tǒng)數(shù)據(jù)中心最大程度的資源整合,從而實現(xiàn)面向服務的數(shù)據(jù)中心SODC的最終目標。在傳統(tǒng)數(shù)據(jù)中心中存在三種網(wǎng)絡:使用光纖存儲交換機的存儲交換網(wǎng)絡(FiberChannelSAN),便于實現(xiàn)CPU、內(nèi)存資源并行化處理的高性能計算網(wǎng)絡(多采用高帶寬低延遲的InfiniBand技術(shù)),以及傳統(tǒng)的數(shù)據(jù)局域網(wǎng)。DCE技術(shù)將這三種網(wǎng)絡實現(xiàn)在統(tǒng)一的傳輸平臺上,即DCE將使用一種交換技術(shù)同時實現(xiàn)遠程存儲、遠程并行計算處理和傳統(tǒng)數(shù)據(jù)網(wǎng)絡功能。這樣才能最大化的實現(xiàn)三種資源的整合,從而便于實現(xiàn)跨平臺的資源調(diào)度和虛擬化服務,提高投資的有效性,同時還降低了管理成本。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第9頁。XX學院業(yè)務的特點不需要超級計算功能,因此本次項目要實現(xiàn)存儲網(wǎng)絡和傳統(tǒng)數(shù)據(jù)網(wǎng)絡的雙網(wǎng)合一,使用DCE技術(shù)實現(xiàn)二者的一體化交換。當前在以太網(wǎng)上融合傳統(tǒng)局域網(wǎng)和存儲網(wǎng)絡唯一成熟技術(shù)標準是FiberChannelOverEthernet技術(shù)(FCoE),它已在標準上給出了如何把存儲網(wǎng)(SAN)的數(shù)據(jù)幀封裝在以太網(wǎng)幀內(nèi)進行轉(zhuǎn)發(fā)的相關(guān)技術(shù)協(xié)議。由于該項技術(shù)的簡單性、高效率、經(jīng)濟性,目前已經(jīng)形成相對成熟的包括存儲廠商、網(wǎng)絡設備廠商、主機廠商、網(wǎng)卡廠商的生態(tài)鏈。具體的協(xié)議發(fā)布可參見FCoE的相關(guān)WebSites。(/fcoe)XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第9頁。本次數(shù)據(jù)中心建設將做好FCoE的基礎(chǔ)設施準備,并將在下一階段完成基于FCoE技術(shù)的雙網(wǎng)融合。無丟棄以太網(wǎng)技術(shù)為保證一體化交換的實現(xiàn),DCE改變了傳統(tǒng)以太網(wǎng)無連接、無保障的BestEffort傳輸行為,即保證主機在通過以太網(wǎng)進行磁盤讀寫等操作、高性能計算所要求的遠程內(nèi)存訪問、并行處理等操作,不會發(fā)生任何不可預料的傳輸失敗,達到真正的“無丟包”以太網(wǎng)目標。DCE在網(wǎng)絡中以硬件及軟件的形式實現(xiàn)了以下技術(shù):基于優(yōu)先級類別的流控(PriorityFlowControl)通過基于IEEE802.1p類別通道的PAUSE功能來提供基于數(shù)據(jù)流類別的流量控制帶寬管理IEEE802.1Qaz標準定義基于IEEE802.1p流量類別的帶寬管理以及這些流量的優(yōu)先級別定義擁塞管理IEEE802.1Qau標準定義如何管理網(wǎng)絡中的擁塞(BCN/QCN)基于優(yōu)先級類別的流控在DCE的理念中是非常重要的一環(huán),通過它和擁塞管理的相互合作,我們可以構(gòu)造出“不丟包的以太網(wǎng)”架構(gòu);這對今天的我們來說,它的誘惑無疑是不可阻擋的。不丟包的以太網(wǎng)絡提供一個安全的平臺,它讓我們把一些以前無法安心放置到數(shù)據(jù)網(wǎng)絡上的重要應用能安心的應用到這個DCE的數(shù)據(jù)平臺。帶寬管理在以太網(wǎng)絡中提供類似于類似幀中繼(FrameRelay)的帶寬控制能力,它可以確保一些重要的業(yè)務應用能獲得必須的網(wǎng)絡帶寬;同時保證網(wǎng)絡鏈路帶寬利用的最大化。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第10頁。擁塞管理可以提供在以太網(wǎng)絡中的各種擁塞發(fā)現(xiàn)和定位能力,這在非連接的網(wǎng)絡中無疑是一個巨大的挑戰(zhàn);可以說在目前的所有非連接的網(wǎng)絡中,這是一個嶄新的應用;目前的研究方向主要集中在后向擁塞管理(BCN)和量化擁塞管理(QCN)這兩個方面。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第10頁。性能支撐能力為保證實現(xiàn)一體化交換和資源整合,DCE還必須對傳統(tǒng)以太網(wǎng)的性能和可擴展性的進行革新。首先為保證三網(wǎng)合一后的帶寬資源,萬兆以太網(wǎng)技術(shù)只是DCE核心層帶寬的起點。而正在發(fā)展中的40G/100G以太網(wǎng)才是DCE技術(shù)將來的主流帶寬。因此,要保證我們今天采購的設備能有5年以上的生命周期,就必須考慮硬件的可擴展能力。這也就是說從投資保護和工程維護的角度出發(fā),我們需要一個100G平臺的硬體設備,即每個設備的槽位至少要支持100G的流量(全雙工每槽位200Gbps),只有這樣才能維持該設備5年的生命周期。同時從經(jīng)濟性的角度來考慮,如果能達到400G的平臺是最理想的。另外存儲網(wǎng)絡和高性能計算所要求的通過網(wǎng)絡實現(xiàn)的遠程磁盤讀寫、內(nèi)存同步的性能需求,DCE設備必須提供比傳統(tǒng)以太網(wǎng)設備低幾個數(shù)量級的端口間轉(zhuǎn)發(fā)延遲。DCE要求的核心層的三層轉(zhuǎn)發(fā)延遲應可達到30us以下,接入層的二層轉(zhuǎn)發(fā)延遲應可在3~4us以下。這都是傳統(tǒng)以太網(wǎng)技術(shù)無法實現(xiàn)的性能指標要求。智能服務的整合能力眾所周知,應用的復雜度是在不斷的提升,同時伴隨著網(wǎng)絡的融合,應用對網(wǎng)絡的交互…可以預見的是網(wǎng)絡的復雜度也將不斷的提升。這也印證我們的判斷:應用對網(wǎng)絡的控制將逐步增強,網(wǎng)絡同時也在為應用而優(yōu)化。因此構(gòu)建一個單業(yè)務的簡單L2轉(zhuǎn)發(fā)網(wǎng)絡并不是網(wǎng)絡設備的設計方向;全業(yè)務的設備和多業(yè)務融合的網(wǎng)絡才是我們所需要的環(huán)境。那么我們需要什么樣的全業(yè)務呢,很明顯DataCenterEthernet是一個必備的項目,同時我們至少還需要其它的基本業(yè)務屬性來保障一個多業(yè)務網(wǎng)絡的運行,如:服務質(zhì)量保證 QoS訪問列表控制 ACL虛擬交換機的實現(xiàn) VirtualSwitchXX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第12頁。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第12頁。CPU抗攻擊保護 CoPP遠程無人值守管理 CMP嵌入式事件管理 EEM當然,所有這些業(yè)務的實現(xiàn)都是在不影響轉(zhuǎn)發(fā)性能的前提條件下的。失去這個大前提,多業(yè)務的實現(xiàn)就變得毫無意義。所以設計一個好的產(chǎn)品就必須顧全多業(yè)務、融合網(wǎng)絡這個大前提。如何使這些復雜的業(yè)務處理能夠在高達100G甚至是400G的線路卡上獲得線速處理的性能是考驗一個硬件平臺的重要技術(shù)指標。最終的勝出者無疑就是能夠用最小的代價來換取最大業(yè)務實現(xiàn)和性能的設備平臺。虛擬化能力DCE對網(wǎng)絡虛擬化不僅僅是傳統(tǒng)意義上的VLAN和VPN,為實現(xiàn)SODC的交互服務層資源調(diào)度方式,DCE還能夠做到以下的虛擬化能力。虛擬交換技術(shù)虛擬交換技術(shù)可以實現(xiàn)當我們使用交換機資源時,我們可以不用關(guān)心交換服務的物理存在方式,它可能是由一臺交換機提供,也可能是兩臺交換機設備,甚至可以是一個交換機中的幾個虛擬交換機之一。思科的DCE技術(shù)就提供了將兩個物理交換機虛擬為一臺交換機的虛擬交換系統(tǒng)(VSS)技術(shù),以及將一個交換機虛擬化為多個交換機的虛擬設備(VDC)技術(shù)。(一)虛擬交換系統(tǒng)(VSS)VSS技術(shù)可將網(wǎng)絡的雙核心虛擬化為單臺設備,比如使用的Cisco6509的9插槽設備將完全被虛擬化成為單臺18槽機箱的虛擬交換機。虛擬交換機性能倍增、管理復雜度反而減半。具體有如下優(yōu)勢:單一管理界面:管理界面完全為單臺設備管理方式,管理和維護工作量減輕一半;性能翻倍:虛擬交換系統(tǒng)具備兩臺疊加的性能,與其它交換機通過跨物理機箱的雙千兆以太網(wǎng)或雙萬兆以太網(wǎng)捆綁技術(shù),遠比依靠路由或生成樹的負載均衡更均勻,帶寬和核心吞吐量均做到真正的翻倍。協(xié)議簡單:虛擬交換系統(tǒng)與其它設備間的動態(tài)路由協(xié)議完全是單臺設備與其它設備的協(xié)議關(guān)系,需維護的路由鄰居關(guān)系數(shù)以二次方根下降,在本系統(tǒng)中可達4~5倍下降,工作量和部署難度大大降低;虛擬交換系統(tǒng)同時作為單臺設備參與生成樹計算關(guān)系,生成樹計算和維護量以二次方根下降,在本系統(tǒng)中可達4~5倍下降,工作量和部署難度大大降低。冗余可靠:虛擬交換系統(tǒng)形成虛擬單機箱、物理雙引擎的跨機箱冗余引擎系統(tǒng),下連接入交換機原來需要用動態(tài)路由或生成樹實現(xiàn)冗余切換的,在VSS下全都可以用簡單的鏈路捆綁實現(xiàn)負載均衡和冗余,無論是鏈路還是引擎,冗余切換比傳統(tǒng)方式更加迅捷平滑,保持上層業(yè)務穩(wěn)定運行。以前兩個單引擎機箱的其中一臺更換引擎,一定會導致數(shù)據(jù)的丟失,而虛擬交換系統(tǒng)里任意一臺更換引擎,數(shù)據(jù)可以保證0丟失。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第13頁。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第13頁。(二)虛擬設備系統(tǒng)(VDC)VDC技術(shù)則可以實現(xiàn)將一臺交換機劃分為多個虛擬的子交換機,每個交換機擁有獨立的配置界面,獨立的生成樹、路由、SNMP、VRRP等協(xié)議進程,甚至獨立的資源分配(內(nèi)存、TCAM、轉(zhuǎn)發(fā)表等等)。它與VSS配合,將在實現(xiàn)更加靈活的、與物理設備無關(guān)的跨平臺資源分配能力,為數(shù)據(jù)中心這種底層設施資源消耗型網(wǎng)絡提供更經(jīng)濟高效的組網(wǎng)方式,也為管理和運營智能化自動化創(chuàng)造條件。物理設備虛擬成若干個邏輯上的獨立設備的圖示:網(wǎng)絡服務虛擬化在服務資源整合以及設備虛擬化的基礎(chǔ)之上,DCE要求每個虛擬化的網(wǎng)絡應用區(qū)都有自己的業(yè)務服務設施,比如自己的防火墻、IDS、負載均衡器、SSL加速、……網(wǎng)絡服務,這些如果都是物理上獨占式分配的,將是高成本、低效率且難于維護管理的。DCE網(wǎng)絡在提供這些網(wǎng)絡智能服務時都可以以虛擬化的方式實現(xiàn)各類服務的資源調(diào)用,思科的DCE網(wǎng)絡中就可以實現(xiàn)虛擬防火墻、虛擬IDS、虛擬負載均衡器、虛擬SSLVPN網(wǎng)絡……等等,從而實現(xiàn)網(wǎng)絡智能服務的虛擬化。服務器虛擬化服務器虛擬化可以使上層業(yè)務應用僅僅根據(jù)自己所需的計算資源占用要求來對CPU、內(nèi)存、I/O和應用資源等實現(xiàn)自由調(diào)度,而無須考慮該應用所在的物理關(guān)聯(lián)和位置。當前商用化最為成功的服務器虛擬化解決方案是VMWare的VMotion系列,微軟的VirtualServer和許多其它第三方廠商(如Intel、AMD等)也正在加入,使得服務器虛擬化的解決方案將越來越完善和普及。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第14頁。然而人們越來越意識到服務器虛擬化的系統(tǒng)解決方案中除了應用、主機、操作系統(tǒng)的角色外,網(wǎng)絡將是一個更為至關(guān)重要的角色。網(wǎng)絡將把各個自由聯(lián)系成為一個整體,網(wǎng)絡將是實現(xiàn)自由虛擬化的橋梁。服務器虛擬化需要DCE能夠提供以下能力:XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第14頁。資源的整合:業(yè)務應用運行所依賴的物理計算環(huán)境都需要網(wǎng)絡實現(xiàn)連接,然而在傳統(tǒng)網(wǎng)絡中,傳輸數(shù)據(jù)的數(shù)據(jù)網(wǎng)、互連CPU和內(nèi)存的計算網(wǎng)、互連存儲的存儲網(wǎng)都是孤立的,這就無法真正實現(xiàn)與物理無關(guān)的服務器資源調(diào)度,因此實現(xiàn)真正意義上徹底的服務器虛擬化,前面提到的DCE三網(wǎng)一體化交換架構(gòu)是必須的條件。網(wǎng)絡的虛擬機意識:傳統(tǒng)網(wǎng)絡是不具備虛擬機意識的,即在網(wǎng)絡上傳遞的信息是無法區(qū)別它是來自于哪個虛擬機,也無法在網(wǎng)絡上根據(jù)虛擬機來提供相應的網(wǎng)絡服務,當虛擬機遷移,也沒有相應的網(wǎng)絡跟蹤手段保證服務的全局一致性。不過這些都是DCE正在解決的問題,一些DCE的領(lǐng)導廠商,比如思科,已經(jīng)在推出的商用化DCE產(chǎn)品中提供了相應的虛擬機標識機制,并且思科已經(jīng)聯(lián)合VMware等廠商將這些協(xié)議提交IEEE實現(xiàn)標準化。虛擬機遷移的網(wǎng)絡環(huán)境:服務器虛擬化是依靠虛擬機的遷移技術(shù)實現(xiàn)與物理資源無關(guān)的資源共享和復用的。虛擬機遷移需要一個二層環(huán)境,這導致遷移范圍被局限在傳統(tǒng)的VLAN內(nèi)。我們知道Web2.0、云計算等概念都需要無處不在的數(shù)據(jù)中心,那么如何實現(xiàn)二層網(wǎng)絡的跨地域延展呢?傳統(tǒng)的L2MPLS技術(shù)太復雜,于是IEEE和IETF正在制定二層多路徑(即二層延展)的新標準,DCE的領(lǐng)導廠商思科公司也提出了一種新的協(xié)議標準CiscoOvertheTopVirtualization(OTV)來解決跨城域或廣域網(wǎng)的二層延展性問題,從而為服務器虛擬化提供可擴展的網(wǎng)絡支撐。自動化自動化是SODC架構(gòu)中上層自動優(yōu)化的實現(xiàn)服務調(diào)用必須條件。在高度整合化和虛擬化的基礎(chǔ)上,服務的部署完全不需要物理上的動作,資源在虛擬化平臺上可以與物理設施無關(guān)的進行分配和整合,這樣我們只需要將一定的業(yè)務策略輸入給智能網(wǎng)絡的策略服務器,一切的工作都可以按系統(tǒng)自身最優(yōu)化的方式進行計算、評估、決策和調(diào)配實現(xiàn)?,F(xiàn)在商用的DCE自動化解決方案包括管理自動化和業(yè)務部署自動化。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第15頁。XX學院數(shù)據(jù)中心將在后續(xù)的建設中逐步完善自動化管理和自動化業(yè)務部署,但需要在本期通過DCE技術(shù)的實施打下未來自動化部署的堅實基礎(chǔ)。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第15頁。綠色數(shù)據(jù)中心DCE技術(shù)的整合化、虛擬化和自動化本身就是在達到同樣業(yè)務能力的要求下實現(xiàn)高效率利用硬件資源、減少總硬件投入、節(jié)約維護管理成本等方面的最佳途徑,這本身也是綠色數(shù)據(jù)中心的必要條件。另外DCE產(chǎn)品必須在硬件實現(xiàn)上實現(xiàn)低功耗、高效率,包括利用最新半導體工藝 (越小納米的芯片要比大納米的芯片省電)降低邏輯電路的復雜度 (在接入層使用二層設備往往要比三層設備省電)減少通用集成電路的空轉(zhuǎn) (使用定制化的專業(yè)設計的芯片往往比通用芯片省電)等等……由此可見,對于一臺網(wǎng)絡設備,在業(yè)務能力相當?shù)那疤釛l件下,越小的功耗就代表越先進的技術(shù)。在DCE設備一般可以做到維持三層的全業(yè)務萬兆吞吐功耗小于25W、二層的萬兆吞吐功耗小于13W。綜上所述,在本次XX學院新一代數(shù)據(jù)中心網(wǎng)絡的建設中,將采用不同于傳統(tǒng)以太網(wǎng)技術(shù)的DCE以太網(wǎng)技術(shù),構(gòu)建面向服務的高效能數(shù)據(jù)中心網(wǎng)絡平臺。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第16頁。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第16頁。XX學院數(shù)據(jù)中心網(wǎng)絡設計總體網(wǎng)絡結(jié)構(gòu)本次XX學院數(shù)據(jù)中心網(wǎng)絡的建設將采用新一代的DCE技術(shù),并使用DCE技術(shù)的代表廠商Cisco公司的Nexus系列產(chǎn)品。網(wǎng)絡結(jié)構(gòu)將采用大型數(shù)據(jù)中心典型的層次化、模塊化組網(wǎng)結(jié)構(gòu)。層次化結(jié)構(gòu)的優(yōu)勢采用層次化結(jié)構(gòu)有如下好處:節(jié)約成本:園區(qū)網(wǎng)絡意味著巨大的業(yè)務投資正確設計的園區(qū)網(wǎng)絡可以提高業(yè)務效率和降低運營成本。便于擴展:一個模塊化的或者層次化的網(wǎng)絡由很多更加便于復制、改造和擴展的模塊所構(gòu)成,在添加或者移除一個模塊時,并不需要重新設計整個網(wǎng)絡。每個模塊可以在不影響其他模塊或者網(wǎng)絡核心的情況下投入使用或者停止使用。加強故障隔離能力:通過將網(wǎng)絡分為多個可管理的小型組件,企業(yè)可以大幅度簡化故障定位和排障處理時效。標準的網(wǎng)絡分層結(jié)構(gòu)層次化結(jié)構(gòu)包括三個功能部分,即接入層、分布層和核心層,各層次定位分別如下:XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第17頁。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第17頁。核心層:是企業(yè)數(shù)據(jù)交換網(wǎng)絡的骨干,本層的設計目的是實現(xiàn)快速的數(shù)據(jù)交換,并且提供高可靠性和快速的路由收斂。分布層:也稱為匯聚層。主要匯聚來自接入層的流量和執(zhí)行策略,當?shù)谌龑訁f(xié)議被用于這一層時可以獲得路由負載均衡,快速收斂和可擴展性等好處。分布層還是網(wǎng)絡智能服務的實施點,包括安全控制、應用優(yōu)化等智能功能都在此實施。接入層:負責提供服務器、用戶終端、存儲設施等等的網(wǎng)絡第一級接入功能,另外網(wǎng)絡智能服務的初始分類,比如安全標識、QoS分類將也是這一層的基本功能。XX學院的網(wǎng)絡結(jié)構(gòu)根據(jù)業(yè)界企業(yè)網(wǎng)絡最佳設計實踐參考,在邊緣節(jié)點端口較少的小型網(wǎng)絡中,可以考慮將核心層與分布層合并,小型網(wǎng)絡的網(wǎng)絡規(guī)模主要由接入層交換機決定。但對于XX學院而言,結(jié)合XX學院的業(yè)務現(xiàn)狀及發(fā)展趨勢,我們可以看到未來幾年內(nèi)業(yè)務處于一個高速成長期,必須在本期網(wǎng)絡架構(gòu)中充分考慮未來的可擴展性。所以XX學院企業(yè)內(nèi)部核心網(wǎng)絡層次結(jié)構(gòu)必須具有以上嚴格清晰的劃分,即具有清晰的核心層、會聚分布層、接入層等分層結(jié)構(gòu),才能保證網(wǎng)絡的穩(wěn)定性、健壯性和可擴展性,以適應業(yè)務的發(fā)展。XX學院的業(yè)務應用特點又決定了核心層將相對接入的網(wǎng)絡模塊較少,只有樓層匯聚接入、數(shù)據(jù)中心匯聚接入、廣域網(wǎng)接入等三塊,如果采用單獨的大容量物理核心設備將造成浪費,而如果采用低端核心設備則會對業(yè)務相對繁忙的數(shù)據(jù)中心匯聚形成瓶頸,也影響網(wǎng)絡整體的穩(wěn)定性。鑒于此,我們采用超大規(guī)模核心層設備CiscoNexus7000作為核心,但虛擬化為兩套交換機,一套用于全網(wǎng)核心,一套用于數(shù)據(jù)中心匯聚。這樣做的優(yōu)勢如下:邏輯上仍然是清晰的兩套設備,完全保持了前述網(wǎng)絡分層結(jié)構(gòu)的優(yōu)勢。在性能上實現(xiàn)了網(wǎng)絡核心和數(shù)據(jù)中心匯聚交換機資源的共享和復用,非常好的解決了核心層數(shù)據(jù)量和數(shù)據(jù)中心數(shù)據(jù)量可能存在較大差異的問題。以較低的投入升級了數(shù)據(jù)中心匯聚交換機的能力(相當于可以與核心層復用4Tbps以上的交換能力),適于下一階段要進行的數(shù)據(jù)中心雙網(wǎng)融合的資源需求。減少了設備數(shù)量,降低了設備投入成本、功耗開銷和維護管理的復雜度。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第18頁。XX學院新一代數(shù)據(jù)中心整體網(wǎng)絡結(jié)構(gòu)如下圖所示:XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第18頁。全網(wǎng)核心層設計本次我們采用能擴展到15Tbps以上的CiscoNexus7000系列大型DCE交換機,每臺Nexus7000劃分為兩個VDC(虛擬交換機),一個虛擬交換機作為XX學院全網(wǎng)核心,另一個虛擬交換機作為數(shù)據(jù)中心的分布匯聚層交換機。我們選擇的是10插槽Nexus7010,以雙機雙冗余方式部署在網(wǎng)絡核心。每臺當前支持的最大交換容量為4Tbps,最大萬兆端口容量為256個,每插槽交換能力為230Gbps(未來可擴展到500Gbps以上),可以在未來擴展40G/100G以太網(wǎng)。本次每臺N7010實配32個萬兆端口,48個千兆端口,這些端口都可在物理上劃分為屬于全網(wǎng)核心的虛擬交換機和屬于數(shù)據(jù)中心匯聚的虛擬交換機,每個虛擬交換機從軟件進程到配置界面都各自獨立,但可以共享和復用總的交換機資源。每個虛擬交換機都支持vPC技術(shù)(VirtualPort-Channel),即可以實現(xiàn)跨交換機的端口捆綁,這樣在下級交換機上連屬于不同機箱的虛擬交換機時,可以把分別連向不同機箱的萬兆鏈路用與IEEE802.3ad兼容的技術(shù)實現(xiàn)以太網(wǎng)鏈路捆綁,提高冗余能力和鏈路互連帶寬的同時,大大簡化網(wǎng)絡維護。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第19頁。核心層虛擬交換機與其它設備互連都采用路由端口和三層交換方式,因此采用vPC進行鏈路捆綁時使用三層端口鏈路捆綁技術(shù)。如圖所示:XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第19頁。數(shù)據(jù)中心分布層設計數(shù)據(jù)中心分布層虛擬交換機數(shù)據(jù)中心的分布匯聚層交換機是采用上述Nexus7010內(nèi)單獨劃分處理的虛擬交換機實現(xiàn)。虛擬交換機之間通過外部互連,并同樣采用vPC的三層端口鏈路捆綁技術(shù)。分布匯聚層虛擬交換機與下面的接入層采用二層端口的vPC跨機箱捆綁技術(shù)互連,如下圖所示。數(shù)據(jù)中心分布層智能服務機箱XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第20頁。數(shù)據(jù)中心的網(wǎng)絡智能服務由設計在分布層的智能服務機箱提供(Multi-ServicesChassis)。單獨的服務機箱可以不破壞高性能的一體化交換架構(gòu)形成的數(shù)據(jù)中心主干,有選擇的對三網(wǎng)合一的數(shù)據(jù)中心流量提供按需的網(wǎng)絡智能服務。比如本地存儲流量沒有必要在傳輸過程中經(jīng)過數(shù)據(jù)應用類防火墻的檢查(存儲網(wǎng)內(nèi)有自己的安全訪問控制機制),這樣的設計比較容易實現(xiàn)類似的FCoE流量的無干擾直達。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第20頁。智能服務機箱采用CiscoCatalyst6500交換機,配置720G引擎和18個萬兆端口,內(nèi)置防火墻模塊(FWSM)、應用控制模塊(ACE),提供應用級安全訪問控制和應用優(yōu)化、負載均衡功能。智能服務機箱采用雙機冗余結(jié)構(gòu),利用Catalyst6500的VSS虛擬交換機功能,兩個獨立的機箱完全可以看成為一個邏輯機箱,再通過共4個萬兆上連至2個N7000上的分布匯聚層虛擬交換機上。VSS技術(shù)形成了一個具有1.44Tbps能力的智能服務機箱,再通過N7000的vPC技術(shù),則形成了智能服務機箱和N7000之間全雙工高達80Gbps的互連帶寬。由于N7000和6500VSS上都預留了足夠的萬兆端口,這個捆綁帶寬值根據(jù)未來智能服務處理性能的需要還可以成倍的平滑升級。物理和邏輯的連接示意圖如下面所示。物理結(jié)構(gòu)圖邏輯結(jié)構(gòu)圖在一期實施中,智能服務機箱內(nèi)智能服務器硬件模塊的部署密度不高——每個機箱內(nèi)防火墻模塊、負載均衡模塊各一塊,這樣每個機箱內(nèi)使用引擎加速技術(shù)的防火墻模塊最大迸發(fā)吞吐量32Gbps,負載均衡模塊最大四層吞吐能力16Gbps(而且不是所有都需要負載均衡),完全滿足當前業(yè)務需求,因此可以在實施中簡化配置,改雙機箱VSS結(jié)構(gòu)為一主一備機箱方式,在以后隨業(yè)務需求上漲,業(yè)務模塊增多,再完善為雙機箱負載均衡的VSS模式。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第21頁。由于服務機箱內(nèi)的防火墻模塊和應用控制優(yōu)化模塊都支持虛擬化技術(shù),因此還可以利用智能服務虛擬化實現(xiàn)基于每個數(shù)據(jù)中心業(yè)務組的定制服務策略和功能,使每個業(yè)務應用使用所需資源時不必過度關(guān)注其物理存在方式,從而實現(xiàn)與物理無關(guān)的跨平臺智能服務調(diào)用(SODC的交互服務調(diào)用),極大的提高資源利用效率,減少了物理設施維護的復雜度。這部分將在后面智能服務的詳細設計中加以闡明。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第21頁。數(shù)據(jù)中心接入層設計使用CiscoNexus5000和2000系列DCE接入交換機,可以實現(xiàn)數(shù)據(jù)中心接入層的分級設計。本次建議XX學院使用的是具有將近1.2Tbps交換能力、初始配置有40個萬兆以太網(wǎng)端口的Nexus5020交換機,以及具備48個10/100/1000M以太網(wǎng)端口、4個萬兆上連端口的Nexus2148T。Nexus2000是5000系列的交換矩陣延展器,通過部署在柜頂(TopoftheRack,ToR)的2148T,可以將本地接入的高密度服務器上連到5020,4個上連萬兆端口可以提供48個千兆端口中至少40個端口的全線性轉(zhuǎn)發(fā)能力,通過連接多臺2148T,5020可以將1.2T的驚人交換能力延展到多個機柜,實現(xiàn)高性能、高密度、低延遲的DCE服務器群接入能力。而且作為5020的延展設備,2148T無需自身進行復雜配置,所有管理和配置都可在其上游的5020上完成,大大簡化了多機柜、高密度服務器接入設備的管理復雜度。Nexus5000和2000都是按柜頂(TopoftheRack,ToR)交換機的尺寸設計,1~2U的高度內(nèi)緊湊的集成了高密度的DCE端口,但同時提供可熱插拔的冗余風扇組和冗余電源系統(tǒng),其可靠性遠非其它傳統(tǒng)以太網(wǎng)中固定接口小交換機所可比。Nexus5000是業(yè)界第一款商用化FCoE交換機,其所有萬兆以太網(wǎng)端口都支持FCoE。同時Nexus5000支持擴展16個1~4GFiberChannel端口或8個1~8GFiberChannel端口,完全支持FiberChannelSAN交換機的完整功能特性。也即傳統(tǒng)需要以太網(wǎng)卡、FC存儲卡(HBA)、InfiniBand卡的主機,只需要一張FCoE的以太網(wǎng)卡(CNA)就可以實現(xiàn)三種網(wǎng)絡的接入,用戶在操作系統(tǒng)上也可以看見虛擬化的以太網(wǎng)卡、HBA卡和InfiniBand卡,而它們共享萬兆的高帶寬,Nexus5000還可通過FiberChannel接口連接傳統(tǒng)的SAN網(wǎng)絡,實現(xiàn)SAN/LAN的整合,通過這種整合和虛擬化實現(xiàn)資源的自由調(diào)度和最大化利用,同時成倍減少的網(wǎng)卡數(shù)節(jié)約了功耗,提高了可靠性,降低了維護成本。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第22頁。XX學院的20個主機、服務器機柜將分為兩列,每列選兩個列中柜(MiddleoftheRow),柜內(nèi)部署Nexus5020,而每列其它8個普通機柜在柜頂(ToR)放置Nexus2148T。物理部署類似下圖所示:XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第22頁。普通的機柜內(nèi)放置千兆端口服務器,每機柜可容納具有冗余網(wǎng)卡的千兆服務器高達20個。每列的兩個列中柜(MoR)內(nèi)可放置具備萬兆以太網(wǎng)卡的高性能服務器、萬兆FCoE卡的新型服務器、具備FiberChannel卡(HBA)的服務器和SAN交換機,甚至將來可以擴展具備FCoE接口的盤陣。提供兩種實際物理接線的方法:方法1:交叉冗余鏈接XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第23頁。每兩個普通機柜的設備都與另一個機柜的Nexus2148T冗余交叉上連,每個普通機柜柜頂(ToR)的Nexus2148T又通過4個萬兆交叉上連至本列的兩個列中柜(MoR)內(nèi)的Nexus5020,每列兩個列中柜(MoR)XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第23頁。方法2:以Nexus5000為單位的冗余和負載均衡XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第24頁。這種方法保證對于每個Nexus2000而言只連接一個Nexus5000,避免跨越Nexus5000的負載均衡,也即避免負載均衡時偶發(fā)的在兩個Nexus5000互連的鏈路上產(chǎn)生流量。這種方法的優(yōu)點是負載均衡效果更好,避免兩個Nexus5000之間可能產(chǎn)生的擁塞(雖然可能性比較?。?,而且網(wǎng)絡結(jié)構(gòu)簡單,易于管理。但缺點是冗余能力不如方法1,由于方法1讓每一個Nexus2000交錯連接,所以可以容忍2000、5000同時出現(xiàn)故障。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第24頁。由于2000、5000同出故障的概率極低,而方案2更容易實施,管理復雜度更小,所以一期施工推薦使用方法2。在服務器的分配應盡量遵循相互業(yè)務緊密、訪問量大或需要相互進行虛擬機遷移和調(diào)度的物理服務器應放置在同一柜列(Row)的原則,即共用一對Nexus5000。上圖每個機柜的20臺服務器可以完全實現(xiàn)雙網(wǎng)卡的LoadBalanceTeaming方式下的線性網(wǎng)絡接入,即每臺服務器2G帶寬(4G吞吐量)的網(wǎng)絡接入能力。在一期實施中,為簡化服務器端設計,可以服務器網(wǎng)卡可以先采用Active/Standby的Teaming方式。數(shù)據(jù)中心地址路由設計核心層XX學院數(shù)據(jù)中心核心層與分布匯聚層之間采用路由端口,實現(xiàn)三層交換,建議使用OSPF路由協(xié)議。分布匯聚層和接入層XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第25頁。分布匯聚層和接入層之間使用交換端口,實現(xiàn)二層交換。如前所述,當前的主流虛擬機軟件,如VMware、VirtualServer等都需要在二層交換下實現(xiàn)虛擬機遷移,因此在數(shù)據(jù)中心接入層使用二層交換將方便虛擬機的遷移和調(diào)度。當前由于Cisco獨特的VSS虛擬交換機技術(shù)和vPC跨設備端口捆綁技術(shù)的使用,可以實現(xiàn)在二層結(jié)構(gòu)下完全沒有環(huán)路,從根本上解決了生成樹算法收斂慢、不穩(wěn)定、故障多的問題,也使得在一個數(shù)據(jù)中心內(nèi)二層結(jié)構(gòu)下的可擴展性與三層結(jié)構(gòu)沒有根本的區(qū)別。如下圖所示,只要經(jīng)過適當設計,本項目接入層的二層部分將沒有環(huán)路,快速生成樹算法將只用于在誤操作等極端情況下的防范手段。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第25頁。當IEEE的改進生成樹協(xié)議或者IETF的二層路由協(xié)議技術(shù)成熟,或者直接使用思科當前就可以提供的OTV技術(shù),二層結(jié)構(gòu)還可以擴展到城域和廣域網(wǎng)中去,擴大服務器虛擬化的調(diào)度范圍,向云計算的理想邁進。分布匯聚層的智能服務機箱相關(guān)的地址和邏輯設計將在后面專項的智能服務介紹中詳細闡述。VLAN/VSAN和地址規(guī)劃接入層內(nèi)的Nexus5000和2000將可以把主機服務器和存儲設備一并接入統(tǒng)一交換,其中數(shù)據(jù)網(wǎng)絡部分實現(xiàn)傳統(tǒng)的VLAN設計,而存儲網(wǎng)絡則支持VSAN。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第26頁。在DCE的一體化交換架構(gòu)下,數(shù)據(jù)網(wǎng)絡部分的邏輯結(jié)構(gòu)設計(地址和路由)與分層設計的傳統(tǒng)網(wǎng)絡完全兼容,因此用戶現(xiàn)有的主機、服務器在割接到新數(shù)據(jù)中心時無需變更地址,實現(xiàn)平滑過度。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第26頁。應用服務控制與負載均衡設計功能介紹基本功能本項目我們在數(shù)據(jù)中心的分布匯聚層的智能服務機箱內(nèi)配置了Cisco應用控制模塊(ApplicationControlEngine,ACE),作為數(shù)據(jù)中心的重要網(wǎng)絡智能服務,該模塊可為后臺應用服務器提供高性能表現(xiàn)和最高級別的體系控制和安全保護。ACE主要針對大型企業(yè)和電信用戶的服務器集群環(huán)境,可以有效地對重要應用數(shù)據(jù)的傳送進行優(yōu)化和簡化,同時具備良好的性價比。ACE提供了如下的性能和功能:ACE提供四到七層數(shù)據(jù)包的內(nèi)容交換和負載均衡功能,為服務器機群提供虛擬地址和端口。ACE在插入Catalyst6500后,交換機上的所有端口即可成為四層交換端口。ACE與Catalyst6509數(shù)據(jù)總線和交換矩陣都有連接,最高帶寬為16Gbps,每秒連接數(shù)為345000個。ACE不僅為服務器提供負載均衡,還可為外部的防火墻、VPN集中器……等等網(wǎng)絡服務設施提供負載均衡。ACE具備資源分配和隔離功能,是服務器虛擬化的重要手段之一。在一個物理模塊中,ACE可以劃分為多個獨立的分區(qū),每一個分區(qū)都可以分配給一個應用或者一個用戶使用。另外,每一個分區(qū)都支持層次化的管理模式,提供了資源管理的靈活性和安全性。ACE支持基于角色的訪問控制(role-basedaccesscontrol),所有的用戶都被分配了相應的角色(role),每個角色在分區(qū)內(nèi)被允許執(zhí)行相關(guān)的命令集。例如系統(tǒng)管理員角色(systemadminrole)可以執(zhí)行ACE所有的命令而應用程序管理員角色(applicationadminrole)只能執(zhí)行和后臺應用及內(nèi)容交換的命令等。ACE具有強大的安全功能,可以有效地保護后臺的應用程序免受惡意攻擊。主要的技術(shù)包括:HTTP深層包檢測、雙向動態(tài)、靜態(tài)和基于策略的地址轉(zhuǎn)換(NAT/PAT),訪問控制列表、TCP包頭驗證、TCP連接狀態(tài)監(jiān)控等。ACE支持多層次的冗余性,對關(guān)鍵業(yè)務提供最高等級的可用性保護。ACE是目前業(yè)界唯一可以實現(xiàn)以下三種高可用性保護的四層交換機機箱間冗余兩臺機箱間的ACE板卡可互為冗余保護XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第27頁。板卡間冗余同一機箱內(nèi)的多個ACE板卡可互為冗余保護XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第27頁。虛擬分區(qū)前冗余–同一ACE板卡內(nèi)的不同虛擬分區(qū)之前可互為保護ACE的冗余保護對動態(tài)的連接進行保護,保證當主業(yè)務板卡故障時業(yè)務連接仍然得以保持。硬件加速方式的協(xié)議控制,對常見協(xié)議提供有效的檢查、過濾和綁定。這些協(xié)議包括HTTP,RTSP,DNS,FTP,ICMP等。硬件方式實現(xiàn)ACL和NAT功能,最多支持一百萬個NAT轉(zhuǎn)換表項。應用特點虛擬化分區(qū)虛擬分區(qū)實現(xiàn)了資源分段和隔離,使思科ACE可作為一個物理模塊中的多個獨立虛擬模塊運行。憑借這個解決方案,企業(yè)能夠利用一個思科ACE模塊,為多達250個不同的企業(yè)機構(gòu)、應用、或客戶和合作伙伴提供事先定義的服務水平。虛擬分區(qū)使應用基礎(chǔ)設施能更好地用于業(yè)務運營,同時減少設備并實現(xiàn)出色的控制。另外,每個虛擬分區(qū)還包括分級管理域,既能確保應用的性能水平,又可使ACE模塊中的可用資源得到最大限度的利用。思科ACE為分散的管理提供集中的控制,從而為每個虛擬分區(qū)提供了基于模板的或可自定義的用戶訪問權(quán)限。基于角色的訪問控制(RoleBasedAccessControl,RBAC)特性允許企業(yè)對管理角色進行定義,限定管理員對模塊或虛擬分區(qū)內(nèi)特定功能的使用權(quán)。由于一個機構(gòu)中可能有多位管理員需要以不同級別(例如,應用管理、服務器管理、網(wǎng)絡管理、安全管理等)與思科ACE模塊互動,因此,對這些管理角色進行準確定義,使每個管理員群組都能夠在不影響其他群組的情況下順利地執(zhí)行任務,無疑是一項重要工作。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第28頁。通過與CiscoCatalyst6500的虛擬路由轉(zhuǎn)發(fā)(VRF)、防火墻模塊的虛擬化相集成,可支持從路由功能、防火墻到應用控制負載均衡的端到端的智能服務虛擬化(如下圖所示)。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第28頁。性能和擴展性思科ACE提供了業(yè)界最高水平的應用供應能力。每個思科ACE模塊的吞吐率可高達16Gbps,每秒支持345,000個持續(xù)連接,可以輕松地處理大量數(shù)據(jù)文件、多媒體應用和龐大的用戶群體。ACE系列模塊配備了“隨增長而投資”的付費許可證,提供了最高16Gbps的可擴展吞吐率,客戶無需為擴充容量而全面升級系統(tǒng)。在設計上,ACE也為未來的增值服務和擴展功能預留了空間。實際上,通過在單一CiscoCatalyst6500機箱中安裝四個ACE模塊,它提供了業(yè)界最高水平的可擴展性。思科ACE還提供了多層冗余性、可用性和可擴展性,為您的關(guān)鍵業(yè)務提供最大限度的保護。它還是業(yè)內(nèi)唯一提供三種高可用性模式的產(chǎn)品:機箱間高可用性:一臺CiscoCatalyst6500中的ACE由對等CiscoCatalyst6500中的ACE保護。機箱內(nèi)高可用性:CiscoCatalyst6500中的一個ACE由同一CiscoCatalyst6500中的另一個ACE保護(CiscoCatalyst6500內(nèi)置了強大的冗余性)。分區(qū)之間高可用性:思科ACE支持在兩個模塊上配置的虛擬分區(qū)之間的高可用性,使特定分區(qū)能夠在不影響模塊中其他分區(qū)和應用的基礎(chǔ)上執(zhí)行故障切換。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第29頁。所有這些可用性模式均通過復制連接狀態(tài)和連接表,提供了快速的狀態(tài)化應用冗余性。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第29頁。安全功能思科自防御網(wǎng)絡提供了多個級別的防御功能,使客戶可以高枕無憂。思科ACE可通過以下特性,保護數(shù)據(jù)中心和關(guān)鍵應用免受惡意流量的影響:HTTP深度包檢測——HTTP報頭、URL和凈負荷雙向網(wǎng)絡地址轉(zhuǎn)換(NAT)和端口地址轉(zhuǎn)換(PAT)支持靜態(tài)、動態(tài)和基于策略的NAT/PAT訪問控制列表(ACL)可選擇地允許端口間的哪些流量通過TCP連接狀態(tài)跟蹤用于UDP的虛擬連接狀態(tài)序列號隨機生成TCP報頭驗證TCP窗口尺寸檢查在建立會話時檢查單播反向路徑轉(zhuǎn)發(fā)(URPF)集成硬件加速協(xié)議控制功能在應用供應領(lǐng)域尚屬首次面世,為許多常用數(shù)據(jù)中心協(xié)議,如HTTP、實時流協(xié)議(RTSP)、域名系統(tǒng)(DNS)、FTP和互聯(lián)網(wǎng)控制消息協(xié)議(ICMP),提供了有效的檢測、過濾和修復功能。擁有多達256,000個條目的大型可擴展ACL能夠同時支持應用希望獲得的前端可擴展性(用戶/客戶端應用數(shù)量)和后端可擴展性(服務器/服務器群數(shù)量)。此外,多達1,000,000個條目的高性能、可擴展NAT事件處理功能也支持許多大型數(shù)據(jù)中心的整合和應用更快速的面世。虛擬分區(qū)則可以使所有重疊的IP子網(wǎng)保持獨立,無需為保護數(shù)據(jù)中心而進行費用高昂的網(wǎng)絡重新設計、重新配置,或添加額外的設備。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第30頁。思科ACE也支持對于協(xié)議符合性的檢查,且可為安全分析提供事件記錄和報告。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第30頁?;A(chǔ)設施簡化第二至七層網(wǎng)絡集成——作為CiscoCatalyst6500機箱的一個模塊,思科ACE可以輕松地插入任何新型或現(xiàn)有的網(wǎng)絡,提供了一個第二至七層全面而豐富的解決方案。該解決方案支持Catalyst6500所支持的所有端口類型和數(shù)量,支持高達720Gbps的機箱吞吐率,可以輕松擴展,來滿足最大型網(wǎng)絡的要求,此外,該集成解決方案也節(jié)省了所占空間。利用路由狀態(tài)注入(RHI)和自動狀態(tài)集成,可支持應用和數(shù)據(jù)中心高可用性,而ACE虛擬分區(qū)通過開啟或關(guān)閉網(wǎng)絡中的物理接口可強制進行故障切換。功能整合通過在一臺設備上整合內(nèi)容交換、SSL加速、數(shù)據(jù)中心安全等功能,思科ACE獲得了從bps到pps的性能顯著提升,縮短了應用延遲。利用功能整合,TCP信息流只需終結(jié)一次,而無需在網(wǎng)絡上的四個或四個以上的位置進行終結(jié),既節(jié)省了時間,又減少了處理工作和內(nèi)存占用。加密和解密、負載均衡決策、安全性檢查和業(yè)務策略分配及驗證均在網(wǎng)絡中的單一地點完成,以較少的設備、簡化的網(wǎng)絡設計和更方便的管理,實現(xiàn)了更理想的應用性能。管理功能思科ANM可對多個ACE模塊上的虛擬分區(qū)和層次化管理域進行管理。這個基于服務器的管理套件能對多個ACE模塊上的大量虛擬分區(qū)進行發(fā)現(xiàn)、配置、監(jiān)控和報告,使部署完全透明化?;谀0宓呐渲煤蛯徲嬇c服務激活/中止功能相配合,可快速實施應用。通過匹配服務API,可配置任務的RBAC組,允許多位管理員群組在多個ACE模塊和虛擬分區(qū)上同時進行操作。SSL加速XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第31頁。思科ACE解決方案集成了SSL加速技術(shù),可卸載外部設備(服務器、設備等)的SSL流量加密和解密工作,允許思科ACE對加密數(shù)據(jù)進行更深入的檢查,并應用安全和內(nèi)容交換策略。這一設置不僅使思科ACE可以作出更明智的策略決策,還可確保您的應用供應平臺遵守內(nèi)部和外部法規(guī)。利用重加密功能,思科ACE解決方案在確保敏感數(shù)據(jù)端到端加密的同時,還可執(zhí)行智能策略。XX學院數(shù)據(jù)中心建設方案(高校數(shù)據(jù)中心)全文共89頁,當前為第31頁。事務處理可視性憑借每秒處理350,000個系統(tǒng)日志的業(yè)界領(lǐng)先速度,思科ACE解決方案可記錄大量連接設置和斷接,它提供了事務處理級可視性,且不會影響數(shù)據(jù)傳輸性能。開放的硬件平臺利用兩個可現(xiàn)場升級的子卡插槽,未來的需要硬件化處理的新功能都可作為子卡插入ACE模塊,思科ACE模塊能支持未來的功能和更高可擴展性。這種靈活性確保了思科ACE解決方案在今后的若干年中,都可以隨著需求的發(fā)展而擴展,無需實施全面的模塊升級,且?guī)缀趸蛲耆粫斐蓸I(yè)務中斷。數(shù)據(jù)中心的應用情況在XX學院相關(guān)部門的明確指導和大力協(xié)助下,我們在設計前期信息收集過程中,充分了解了XX學院數(shù)據(jù)中心各應用的基本情況及其對網(wǎng)絡層次的要求。目前XX學院的數(shù)據(jù)中心服務的應用系統(tǒng)中有如下核心應用:……其中需要特殊對待的主要是XXXX等幾種應用應用和開放式系統(tǒng)應用,隨著項目向前推進,應用需求也可能會略有增加或發(fā)生變化,本設計文檔也會相應地更新,確保達XX學院數(shù)據(jù)中心網(wǎng)絡良好地服務于各種業(yè)務應用系統(tǒng)。XXXX應用1目前,XX學院數(shù)據(jù)中心共部署有X套XXXX實例,每套XXXX實例負責托管共有來自不同地理位置的X名最終用戶訪問的XXX
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 物聯(lián)網(wǎng)技術(shù)在職教實訓室的應用前景
- 現(xiàn)代物流配送體系的智能化升級路徑
- 2024年學年八年級語文上冊 第一單元 愛在人間 第3課《蘆花蕩》說課稿 滬教版五四制
- 2024年四年級英語下冊 Unit 5 What will you do this weekend Lesson 25說課稿 人教精通版(三起)
- Unit 1 Greetings(說課稿)-2024-2025學年滬教版(五四制)(2024)英語一年級上冊
- 2023二年級數(shù)學下冊 7 萬以內(nèi)數(shù)的認識第2課時 1000以內(nèi)數(shù)的認識(2)說課稿 新人教版
- Unit 3 Food Let's Spell(說課稿)-2024-2025學年人教新起點版英語三年級上冊
- 2024-2025學年高一地理《宇宙中的地球》說課稿
- 2023六年級數(shù)學上冊 八 探索樂園單元概述和課時安排說課稿 冀教版
- 2024-2025學年高中歷史 專題4 雅爾塔體制下的冷戰(zhàn)與和平 3 人類對和平的追求說課稿(含解析)人民版選修3
- GA/T 1133-2014基于視頻圖像的車輛行駛速度技術(shù)鑒定
- GB∕T 41461-2022 自助銀行網(wǎng)點服務要求
- 學校委托管理協(xié)議書范本
- 重醫(yī)大《護理學導論》期末試卷(兩套)及答案
- 部編新教材人教版七年級上冊歷史重要知識點歸納
- 重點時段及節(jié)假日前安全檢查表
- 建筑樁基技術(shù)規(guī)范2018年
- 物理調(diào)查問卷
- 給排水管道工程分項、分部、單位工程劃分
- 《傻子上學》臺詞
- 高中英語新課程標準解讀 (課堂PPT)
評論
0/150
提交評論