![XXX云平臺規(guī)劃方案_2017.doc_第1頁](http://file.renrendoc.com/FileRoot1/2019-12/2/f414efc6-3ffd-4c40-a662-69d52f50df3b/f414efc6-3ffd-4c40-a662-69d52f50df3b1.gif)
![XXX云平臺規(guī)劃方案_2017.doc_第2頁](http://file.renrendoc.com/FileRoot1/2019-12/2/f414efc6-3ffd-4c40-a662-69d52f50df3b/f414efc6-3ffd-4c40-a662-69d52f50df3b2.gif)
![XXX云平臺規(guī)劃方案_2017.doc_第3頁](http://file.renrendoc.com/FileRoot1/2019-12/2/f414efc6-3ffd-4c40-a662-69d52f50df3b/f414efc6-3ffd-4c40-a662-69d52f50df3b3.gif)
![XXX云平臺規(guī)劃方案_2017.doc_第4頁](http://file.renrendoc.com/FileRoot1/2019-12/2/f414efc6-3ffd-4c40-a662-69d52f50df3b/f414efc6-3ffd-4c40-a662-69d52f50df3b4.gif)
![XXX云平臺規(guī)劃方案_2017.doc_第5頁](http://file.renrendoc.com/FileRoot1/2019-12/2/f414efc6-3ffd-4c40-a662-69d52f50df3b/f414efc6-3ffd-4c40-a662-69d52f50df3b5.gif)
已閱讀5頁,還剩29頁未讀, 繼續(xù)免費(fèi)閱讀
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
.目錄1方案整體規(guī)劃21.1整體拓?fù)?1.2設(shè)計依據(jù)21.3方案描述42網(wǎng)絡(luò)部分規(guī)劃72.1網(wǎng)絡(luò)拓?fù)?2.2設(shè)計依據(jù)72.3方案描述112.3.1物理交換網(wǎng)112.3.2云平臺虛機(jī)網(wǎng)絡(luò)113計算及存儲規(guī)劃163.1平臺拓?fù)?63.2設(shè)計依據(jù)163.3方案描述183.3.1彈性與自動化的基礎(chǔ)設(shè)施183.3.2按需服務(wù),平臺交付183.3.3敏捷的IT服務(wù)水平193.3.4簡化管理,智能統(tǒng)一運(yùn)維193.3.5硬件故障無害化,保障業(yè)務(wù)連續(xù)193.3.6計算虛擬化需求203.3.7分布式存儲213.3.8網(wǎng)絡(luò)虛擬化(SDN)224網(wǎng)絡(luò)安全規(guī)劃234.1方案目標(biāo)234.2設(shè)計依據(jù)234.3等保要求244.4方案拓?fù)?84.5功能描述285運(yùn)維管理規(guī)劃315.1設(shè)計依據(jù)315.2方案描述316附件:功能參數(shù)331 方案整體規(guī)劃1.1 整體拓?fù)浞桨竸澐譃槲鍌€功能區(qū):線路接入?yún)^(qū):包含互聯(lián)網(wǎng)線路,市局、各委辦局、采集點(diǎn)等專線接入網(wǎng)絡(luò)縱深防御區(qū):包含各種網(wǎng)絡(luò)安全、審計設(shè)備,符合等保3級規(guī)范要求核心交換區(qū):包含萬兆核心交換集群及匯聚交換設(shè)備網(wǎng)管、客服區(qū):包含網(wǎng)管平臺及客戶終端計算、存儲區(qū):包含云計算機(jī)平臺和分布式存儲系統(tǒng)。1.2 設(shè)計依據(jù)傳統(tǒng)計算中心觀念是根據(jù)功能需求的變化實(shí)現(xiàn)對應(yīng)的硬件功能盒子堆砌而構(gòu)建的,這非常類似于傳統(tǒng)軟件開發(fā)的組件堆砌,被已經(jīng)證明為是一種較低效率的資源調(diào)用方式,而如果能夠?qū)⒄麄€網(wǎng)絡(luò)的構(gòu)建看成是由封裝完好、相互耦合松散、但能夠被標(biāo)準(zhǔn)化和統(tǒng)一調(diào)度的“服務(wù)”組成,那么業(yè)務(wù)層面的變更、物理資源的復(fù)用都將是輕而易舉的事情。因此提出支撐業(yè)務(wù)運(yùn)行的底層基礎(chǔ)設(shè)施也應(yīng)當(dāng)向“面向服務(wù)”的設(shè)計思想轉(zhuǎn)變,構(gòu)造“面向服務(wù)的數(shù)據(jù)中心”(Service Oriented Data Center SODC)。具體而言SODC,應(yīng)形成這樣的資源調(diào)用方式:底層資源對于上層應(yīng)用就像由服務(wù)構(gòu)成的“資源池”,需要什么服務(wù)就自動的會由網(wǎng)絡(luò)調(diào)用相關(guān)物理資源來實(shí)現(xiàn),管理員和業(yè)務(wù)用戶不需要或幾乎可以看不見物理設(shè)備的相互架構(gòu)關(guān)系以及具體存在方式。SODC的框架原型如下所示:在圖中,隔在基礎(chǔ)架構(gòu)和用戶之間的“交互服務(wù)層”實(shí)現(xiàn)了向上提供服務(wù)、向下屏蔽復(fù)雜的物理結(jié)構(gòu)的作用,使得網(wǎng)絡(luò)使用者看到的網(wǎng)絡(luò)不是由復(fù)雜的基礎(chǔ)物理功能實(shí)體構(gòu)成的,而是一個個智能服務(wù)安全服務(wù)、移動服務(wù)、計算彈性服務(wù)、分布式存儲服務(wù)等,至于這些服務(wù)是由哪些實(shí)際存在的物理資源所提供,管理員和上層業(yè)務(wù)都無需關(guān)心,交互服務(wù)層解決了一切資源的調(diào)度和高效復(fù)用問題。SODC構(gòu)成的數(shù)據(jù)中心IT架構(gòu)必將是整個數(shù)據(jù)中心未來發(fā)展的趨勢,雖然實(shí)現(xiàn)真正理想的SODC融合的架構(gòu)將是一個長期的歷程,但在向該融合框架邁進(jìn)的每一步實(shí)際上都將會形成對網(wǎng)絡(luò)靈活性、網(wǎng)絡(luò)維護(hù)、資源利用效率、投資效益等方面的巨大改善。因此本次數(shù)據(jù)中心的建設(shè)規(guī)劃,要求盡可能的遵循如上所述的新一代面向服務(wù)的數(shù)據(jù)中心設(shè)計框架。在基于SODC的設(shè)計框架下,規(guī)劃的新一代數(shù)據(jù)中心應(yīng)實(shí)現(xiàn)如下設(shè)計原則:l 簡化管理:使上層業(yè)務(wù)的變更作用于物理設(shè)施的復(fù)雜度降低,能夠最低限度的減少了物理資源的直接調(diào)度,使維護(hù)管理的難度和成本大大降低。l 高效復(fù)用:使得物理資源可以按需調(diào)度,橫向無限擴(kuò)展,物理資源得以最大限度的重用,減少建設(shè)成本,提高使用效率。即能夠?qū)崿F(xiàn)總硬件資源占用量降低了,而每個業(yè)務(wù)得到的服務(wù)反而更有充分的資源保證了。 l 策略一致:降低具體設(shè)備個體的策略復(fù)雜性,最大程度的在設(shè)備層面以上建立統(tǒng)一、抽象的服務(wù),每一個被充分抽象的服務(wù)都按找上層調(diào)用的目標(biāo)進(jìn)行統(tǒng)一。1.3 方案描述SODC架構(gòu)是一種資源調(diào)度的全新方式,資源被調(diào)用方式是面向服務(wù)而非像以前一樣面向復(fù)雜的物理底層設(shè)施進(jìn)行設(shè)計的,而其中交互服務(wù)層是基于服務(wù)調(diào)用的關(guān)鍵環(huán)節(jié)。l 網(wǎng)絡(luò)整合SODC要求將數(shù)據(jù)中心所需的各種資源實(shí)現(xiàn)基于網(wǎng)絡(luò)的整合,這是后續(xù)上層業(yè)務(wù)能看到底層網(wǎng)絡(luò)提供各類SODC服務(wù)的基礎(chǔ)。數(shù)據(jù)中心網(wǎng)絡(luò)所必須提供的資源包括:智能業(yè)務(wù)網(wǎng)絡(luò)所必須的智能功能,比如高可靠性、多臺交換設(shè)備虛機(jī)化、安全訪問控制、設(shè)備智能管理等等;統(tǒng)一整合數(shù)據(jù)中心的三大資源網(wǎng)絡(luò):高性能計算網(wǎng)絡(luò);存儲交換網(wǎng)絡(luò);數(shù)據(jù)應(yīng)用網(wǎng)絡(luò)。這三類資源的整合將是檢驗(yàn)新一代數(shù)據(jù)中心網(wǎng)絡(luò)SODC能力的重要標(biāo)準(zhǔn)。因此本方案中的“核心交換區(qū)“是由兩臺高端核心交換設(shè)備,虛機(jī)為一臺交換設(shè)備,統(tǒng)一對外提供數(shù)據(jù)交換、存儲交換接入能力。l 計算、存儲整合SODC要求將數(shù)據(jù)中心所需的各種計算、存儲實(shí)現(xiàn)統(tǒng)一整合和交付,上層業(yè)務(wù)不需考慮底層計算資源和存儲資源的物理結(jié)構(gòu)。只需根據(jù)業(yè)務(wù)系統(tǒng)劃撥使用,底層計算和存儲動態(tài)實(shí)現(xiàn)資源按需使用,動態(tài)擴(kuò)展,數(shù)據(jù)安全等。本方案中的“計算、存儲區(qū)“是由統(tǒng)一整合計算和存儲的云平臺來實(shí)現(xiàn),云平臺由多臺高端定制化的硬件服務(wù)器配合云系統(tǒng)來實(shí)現(xiàn):l 集中管理:云平臺提供了集中管理能力,從而對計算、存儲資源的統(tǒng)一化及動態(tài)化分配和管理。l 高度可擴(kuò)展能力:提供了真正意義上的水平擴(kuò)展能力,沒有中心節(jié)點(diǎn),集群的規(guī)??梢砸詳?shù)千臺服務(wù)器為單位??梢园葱柙黾佑嬎阗Y源和存儲資源,單個云平臺可以管理到超過6萬臺虛機(jī),從而滿足各種規(guī)模中心發(fā)展的需要。l 最可靠的平臺:云平臺從底層就提供了數(shù)據(jù)的多副本,當(dāng)服務(wù)器出現(xiàn)硬件故障時,云平臺可以將該服務(wù)器上的負(fù)載自動遷移到其他可用的服務(wù)器上,保障應(yīng)用負(fù)載在硬件失敗時自動恢復(fù)。平臺內(nèi)部的物理網(wǎng)絡(luò)都是雙冗余配置,以確保物理網(wǎng)絡(luò)連接的高可用。云計算平臺還使用SDN等網(wǎng)絡(luò)虛擬化技術(shù),構(gòu)建高可用的虛擬用戶網(wǎng)絡(luò)。云平臺通過使用分布式文件系統(tǒng),構(gòu)建統(tǒng)一的存儲池,提供包括實(shí)時異地多副本和硬盤快照等功能, 保證用戶數(shù)據(jù)的安全可靠。 在應(yīng)用服務(wù)方面,云平臺提供虛擬的負(fù)載均衡器。負(fù)載均衡器把用戶請求轉(zhuǎn)發(fā)到多臺應(yīng)用服務(wù)器上, 一旦某臺應(yīng)用服務(wù)器失敗, 負(fù)載均衡器可以把失敗的應(yīng)用服務(wù)器隔離,但對用戶請求仍然可以由其他的應(yīng)用服務(wù)器提供。達(dá)到高可用性、負(fù)載平衡的運(yùn)行環(huán)境。l 動態(tài)資源調(diào)整:云平臺的計算、存儲、網(wǎng)絡(luò)等資源的物理位置及底層的基礎(chǔ)架構(gòu)對于用戶來說是透明和不相關(guān)的。 通過虛擬化技術(shù)可以實(shí)現(xiàn)硬件資源的整合池化, 云平臺所分配的計算、存儲和網(wǎng)絡(luò)資源都可以根據(jù)需要動態(tài)地調(diào)整,從而達(dá)到整個云計算平臺資源的平衡, 最合理地利用硬件計算資源, 提高IT資源的整體使用率。l 易用性:云平臺提供了一個統(tǒng)一的、易用的訪問門戶以及手機(jī)客戶端,用戶在云平臺上申請自己所需的服務(wù)(功能)與所需的硬件資源。直觀的訪問界面和操作提示減少用戶培訓(xùn)時間,減少了二次學(xué)習(xí)時間。l 安全的平臺: 云平臺從多角度提供了數(shù)據(jù)安全,不僅是私有網(wǎng)絡(luò)的二層隔離,角色授權(quán)、操作日志、訪問日志等機(jī)制全方位保護(hù)云平臺的安全性。更和業(yè)界領(lǐng)先的云安全廠商合作,整合更專業(yè)的安全組件。2 網(wǎng)絡(luò)部分規(guī)劃2.1 網(wǎng)絡(luò)拓?fù)浜诵慕粨Q集群:采用兩臺高端交換設(shè)備進(jìn)行虛機(jī)化集群,由兩臺交換機(jī)虛機(jī)為一臺高性能、高可用性、高負(fù)載能力交換機(jī)對象,提供萬兆網(wǎng)絡(luò)和存儲接入服務(wù)。匯聚交換機(jī)和云平臺節(jié)點(diǎn)服務(wù)器均使用10G光纖鏈接核心交換集群。2.2 設(shè)計依據(jù)數(shù)據(jù)中心的設(shè)計需要綜合考慮客戶需求和技術(shù)成熟度(包括網(wǎng)絡(luò)技術(shù),節(jié)能技術(shù)和行業(yè)標(biāo)準(zhǔn)等)因素。 客戶需求數(shù)據(jù)中心的客戶需求包括客戶的業(yè)務(wù)戰(zhàn)略需求,應(yīng)用部署需求,網(wǎng)絡(luò)管理需求和成本需求等多方面。l 業(yè)務(wù)戰(zhàn)略需求:包含客戶業(yè)務(wù)發(fā)展戰(zhàn)略對數(shù)據(jù)中心網(wǎng)絡(luò)的需求,如未來幾年內(nèi)隨著業(yè)務(wù)發(fā)展,對網(wǎng)絡(luò)的容量、性能及功能產(chǎn)生的新需求。l 應(yīng)用部署需求:包含應(yīng)用軟件系統(tǒng)、服務(wù)器和存儲設(shè)備對網(wǎng)絡(luò)性能和功能的需求。l 網(wǎng)絡(luò)管理需求:數(shù)據(jù)中心網(wǎng)絡(luò)除了支持自身的管理外,還是服務(wù)器、存儲盤陣和其他應(yīng)用系統(tǒng)的管理運(yùn)行平臺。各系統(tǒng)的日常管理、控制指令都需要通過網(wǎng)絡(luò)提供的管理平臺發(fā)布和執(zhí)行。l 成本需求:數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)劃應(yīng)充分考慮機(jī)房環(huán)境,投資回報和維護(hù)成本問題。在綜合布線,供電和制冷規(guī)劃時參照綠色節(jié)能的理念,降低數(shù)據(jù)中心整體能耗,提高能源效率。 技術(shù)趨勢近兩年隨著數(shù)據(jù)中心的大規(guī)模建設(shè),數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)快速發(fā)展。下圖為目前數(shù)據(jù)中心設(shè)計技術(shù)發(fā)展趨勢。數(shù)據(jù)中心網(wǎng)絡(luò)所處的整合、虛擬化和云計算三個階段相互區(qū)別,但并非簡單換代關(guān)系。 l 整合階段:本階段偏重資源整合,網(wǎng)絡(luò)性能要求低,業(yè)務(wù)分區(qū)物理獨(dú)立,業(yè)務(wù)較固定。l 虛擬化階段:該階段的網(wǎng)絡(luò)設(shè)計承前啟后,能夠提供較好的業(yè)務(wù)靈活性,使傳統(tǒng)數(shù)據(jù)中心結(jié)構(gòu)得以延續(xù)。l 云計算階段:該階段數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)計要求資源能夠靈活調(diào)度,性能高,物理和邏輯分區(qū)界限模糊化且資源靈活按需使用。數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)劃設(shè)計應(yīng)該以現(xiàn)有網(wǎng)絡(luò)架構(gòu)為基礎(chǔ)采用階段化策略,逐步建立穩(wěn)健、可持續(xù)運(yùn)行的網(wǎng)絡(luò)架構(gòu)。數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計人員還需要考慮以下幾個要素: l 數(shù)據(jù)中心機(jī)房的物理布局:包括基礎(chǔ)設(shè)施配備限制,物理空間使用,機(jī)房部署和布線空間等制約條件。 l 數(shù)據(jù)中心現(xiàn)有網(wǎng)絡(luò)的現(xiàn)狀:通?,F(xiàn)有的網(wǎng)絡(luò)是根據(jù)實(shí)際情況發(fā)展出來的,必須對網(wǎng)絡(luò)現(xiàn)狀進(jìn)行具體分析,才能設(shè)計規(guī)劃出適合的數(shù)據(jù)中心網(wǎng)絡(luò)。如某些專有系統(tǒng)對網(wǎng)絡(luò)有特殊要求,數(shù)據(jù)中心網(wǎng)絡(luò)必須滿足,有些系統(tǒng)運(yùn)行管理流程的要求,數(shù)據(jù)中心網(wǎng)絡(luò)也必須滿足。l 數(shù)據(jù)中心的行業(yè)標(biāo)準(zhǔn):設(shè)計數(shù)據(jù)中心網(wǎng)絡(luò)時必須支持相關(guān)的行業(yè)標(biāo)準(zhǔn),如TIA942布線標(biāo)準(zhǔn)、IEEE的各種接口標(biāo)準(zhǔn),網(wǎng)絡(luò)距離限制都需要盡量滿足,以適應(yīng)未來數(shù)據(jù)中心的運(yùn)行管理和業(yè)務(wù)擴(kuò)展。 設(shè)計原則數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計遵循以下設(shè)計原則:l 發(fā)展階段目前的建設(shè)階段為“云平臺”建設(shè)。l 模塊化考慮到業(yè)務(wù)的調(diào)整及發(fā)展,網(wǎng)絡(luò)結(jié)構(gòu)和系統(tǒng)結(jié)構(gòu)設(shè)計模塊化、易于擴(kuò)展。l 高可靠網(wǎng)絡(luò)設(shè)計中采用冗余網(wǎng)絡(luò)設(shè)計,實(shí)現(xiàn)關(guān)鍵設(shè)備、鏈路冗余;關(guān)鍵設(shè)備選用高可靠性產(chǎn)品,可實(shí)現(xiàn)單板、模塊熱拔插、控制模塊設(shè)計冗余、電源冗余;減少網(wǎng)絡(luò)層級,簡化網(wǎng)絡(luò)結(jié)構(gòu),從網(wǎng)絡(luò)架構(gòu)上提高可靠性。l 安全隔離數(shù)據(jù)中心網(wǎng)絡(luò)應(yīng)具備有效的安全控制。按業(yè)務(wù)、按權(quán)限進(jìn)行分區(qū)邏輯隔離,對特別重要的業(yè)務(wù)采取物理隔離。以服務(wù)器為中心的業(yè)務(wù)、IP存儲備份、管理網(wǎng)絡(luò)等多個網(wǎng)絡(luò)進(jìn)行邏輯隔離,管理網(wǎng)絡(luò)采取物理隔離。l 可管理性和可維護(hù)性網(wǎng)絡(luò)應(yīng)當(dāng)具有良好的可管理性。為了便于維護(hù),應(yīng)盡可能選取集成度高、模塊可通用的產(chǎn)品。2.3 方案描述2.3.1 物理交換網(wǎng)核心交換集群:采用兩臺高端交換設(shè)備進(jìn)行虛機(jī)化集群,由兩臺交換機(jī)虛機(jī)為一臺高性能、高可用性、高負(fù)載能力交換機(jī)對象,提供萬兆網(wǎng)絡(luò)和存儲接入服務(wù)。匯聚交換機(jī)和云平臺節(jié)點(diǎn)服務(wù)器均使用10G光纖鏈接核心交換集群。2.3.2 云平臺虛機(jī)網(wǎng)絡(luò)網(wǎng)絡(luò)虛擬化以軟件方式完整再現(xiàn)了物理網(wǎng)絡(luò)。虛擬網(wǎng)絡(luò)不僅可以提供與物理網(wǎng)絡(luò)相同的功能特性和性能保證,而且還具有虛擬化的運(yùn)維優(yōu)勢和硬件獨(dú)立性,包括快速調(diào)配、無中斷部署、自動維護(hù)等。網(wǎng)絡(luò)虛擬化將邏輯網(wǎng)絡(luò)連接設(shè)備和服務(wù)(邏輯端口、交換機(jī)、路由器、防火墻、負(fù)載平衡器和VPN等)提供給已連接的工作負(fù)載。應(yīng)用在虛擬網(wǎng)絡(luò)上的運(yùn)行與在物理網(wǎng)絡(luò)上完全相同。使用SDN技術(shù),實(shí)現(xiàn)網(wǎng)絡(luò)控制平面和轉(zhuǎn)發(fā)平面的分離,由此提供更友善、更強(qiáng)大的網(wǎng)絡(luò)配置和控制能力。云平臺通過網(wǎng)絡(luò)軟件定義(SDN)技術(shù)實(shí)現(xiàn)虛擬網(wǎng)絡(luò)的編程控制和網(wǎng)絡(luò)功能虛擬化(NFV)。云平臺提供了兩種組網(wǎng)方式:基礎(chǔ)網(wǎng)絡(luò)和私有網(wǎng)絡(luò)。前者是一個由QCMS維護(hù)的全局網(wǎng)絡(luò),后者是基于VXLAN協(xié)議由用戶自行管理和定義的網(wǎng)絡(luò)。 私有網(wǎng)絡(luò)虛擬私有網(wǎng)絡(luò)(VPC)是云平臺環(huán)境內(nèi)可以為用戶預(yù)配置出的一個專屬的大型網(wǎng)絡(luò)。在VPC網(wǎng)絡(luò)內(nèi),您可以自定義IP地址范圍、創(chuàng)建子網(wǎng),并在子網(wǎng)內(nèi)創(chuàng)建主機(jī)/數(shù)據(jù)庫/大數(shù)據(jù)等各種云資源。私有網(wǎng)絡(luò)之間是100%隔離的,以滿足對安全的100%追求。私有網(wǎng)絡(luò)類似物理世界中使用虛擬交換機(jī)(L2 Switch)將多臺服務(wù)器連接在一起,組成的局域網(wǎng)。虛擬路由器用于多個受管私有網(wǎng)絡(luò)之間互聯(lián),并提供多項(xiàng)附加功能:DHCP、端口轉(zhuǎn)發(fā)、VPN、隧道服務(wù)和訪問控制,涵蓋了常用的網(wǎng)絡(luò)配置與管理工作。當(dāng)用戶使用多臺主機(jī)工作時,通常會讓不同功能的主機(jī)分布在不同的子網(wǎng)里,例如:Web服務(wù)器和DB服務(wù)器因?yàn)樵L問要求的不同而被分配在不同的子網(wǎng)里。提供的私有網(wǎng)絡(luò)功能幫助用戶輕松完成組網(wǎng)工作,針對上述案例,只需將Web服務(wù)的主機(jī)和DB服務(wù)的主機(jī)放置在不同的私有網(wǎng)絡(luò)里即可。私有網(wǎng)絡(luò)的節(jié)點(diǎn)通訊從傳統(tǒng)樹形結(jié)構(gòu)變成網(wǎng)狀結(jié)構(gòu),所有節(jié)點(diǎn)之間進(jìn)行點(diǎn)對點(diǎn)直接通訊,提高了節(jié)點(diǎn)間通訊的性能。私有網(wǎng)絡(luò)之間的通訊不在依賴單個虛擬路由器,而是通過分布式網(wǎng)關(guān)實(shí)現(xiàn)。提高了私有網(wǎng)絡(luò)之間通訊的效率,也提高了單個路由器可以接駁的私有網(wǎng)絡(luò)數(shù)目。一個私有網(wǎng)絡(luò)可以連接254個子網(wǎng)(Vxnet),且最多可以容納60,000臺虛擬主機(jī)。通過分布式路由器和虛擬直連技術(shù),云平臺的VPC網(wǎng)絡(luò)可以在大規(guī)模部署的情況下,保障網(wǎng)絡(luò)集群的高性能和高可用。VPC網(wǎng)絡(luò)也可以實(shí)現(xiàn)和公網(wǎng)Internet的高效互通,任意一臺VPC網(wǎng)絡(luò)管理的主機(jī)都可以直接綁定EIP;同時,負(fù)載均衡器也可以直接連接VPC網(wǎng)絡(luò)內(nèi)的主機(jī)。在VPC網(wǎng)絡(luò)里,管理路由器只負(fù)責(zé)VPN/隧道/DNS/端口轉(zhuǎn)發(fā)等管理功能,以及這些管理流量的轉(zhuǎn)發(fā)和路由,不再處理子網(wǎng)之間的轉(zhuǎn)發(fā)流量。VPC網(wǎng)絡(luò)內(nèi)的主機(jī)可以綁定自己的EIP;設(shè)置專屬的防火墻,這些IP、防火墻與管理路由器之間沒有隸屬關(guān)系。 自管網(wǎng)絡(luò)如果云提供的路由器功能無法滿足您對網(wǎng)絡(luò)管理的需求,您可以創(chuàng)建自管私有網(wǎng)絡(luò),以自行配置和管理該網(wǎng)絡(luò)。一個云主機(jī)可以加入多個自管網(wǎng)絡(luò),每個自管網(wǎng)絡(luò)對應(yīng)云主機(jī)的一塊虛擬網(wǎng)卡:從操作系統(tǒng)角度可以看到系統(tǒng)有4個網(wǎng)卡,eth0對應(yīng)到受管網(wǎng)絡(luò),eth13對應(yīng)到3個自管網(wǎng)絡(luò)smn1,smn3和smn2。手工可以修改自管網(wǎng)絡(luò)的網(wǎng)絡(luò)配置。如eth1被修改為0。此時如有其它云主機(jī)也加入到smn1自管網(wǎng)絡(luò)且設(shè)置ip到同一個網(wǎng)絡(luò),則兩個云主機(jī)可以相互ping通。 網(wǎng)絡(luò)功能虛擬化通過軟件定義網(wǎng)絡(luò)實(shí)現(xiàn)了網(wǎng)絡(luò)功能虛擬化,提供了虛擬負(fù)載均衡、虛擬防火墻功能。虛擬負(fù)載均衡器可以將來自多個EIP地址的訪問流量分發(fā)到多臺主機(jī)上,并支持自動檢測并隔離不可用的主機(jī),從而提高業(yè)務(wù)的服務(wù)能力和可用性。 同時,你還可以隨時通過添加或刪減主機(jī)來調(diào)整你的服務(wù)能力,而且這些操作不會影響業(yè)務(wù)的正常訪問。 負(fù)載均衡器支持HTTP/HTTPS/TCP 三種監(jiān)聽模式,并支持透明代理,可以讓后端主機(jī)不做任何更改,直接獲取客戶端真實(shí)IP。 另外,負(fù)載均衡器還支持靈活配置多種轉(zhuǎn)發(fā)策略,實(shí)現(xiàn)高級的自定義轉(zhuǎn)發(fā)控制功能。同時,提供的虛擬防火墻來保護(hù)網(wǎng)絡(luò)的訪問。云的虛擬防火墻采用的是分布式防火墻技術(shù),就是利用每個計算節(jié)點(diǎn)物理主機(jī)的IPTABLES,把所有計算節(jié)點(diǎn)組成了一個分布式的防火墻。為每個用戶提供了一個缺省防火墻,我們也可以自建更多的防火墻。不同的云服務(wù)器可以被設(shè)置不同的防火墻策略。 物理組網(wǎng)由于不僅需要支持虛擬機(jī)之間高速的通信,還要支撐完成多份實(shí)時副本的工作,為保證整個平臺的性能,我們規(guī)劃云平臺的支撐網(wǎng)絡(luò)應(yīng)該規(guī)劃為萬兆(10Gb/s)網(wǎng)絡(luò),。在云計算管理平臺對于網(wǎng)絡(luò)設(shè)備的使用都只當(dāng)為二層(鏈路層)設(shè)備來使用,物理網(wǎng)絡(luò)設(shè)備只是解決連通性問題,無需使用任何三層(網(wǎng)絡(luò)層)的協(xié)議。這樣的好處是在確保性能最優(yōu)的前提下,無需復(fù)雜的配置,無論是工程實(shí)施,還是后期維護(hù),工作量都大大減少了;同時系統(tǒng)的構(gòu)建不用依賴任何廠家的網(wǎng)絡(luò)產(chǎn)品,再也沒有廠商鎖定的困擾。3 計算及存儲規(guī)劃3.1 平臺拓?fù)湔麄€云平臺由:控制節(jié)點(diǎn)、對象存儲網(wǎng)關(guān)節(jié)點(diǎn)、計算、分布式存儲節(jié)點(diǎn)、對象存儲節(jié)點(diǎn)構(gòu)成。3.2 設(shè)計依據(jù)從技術(shù)架構(gòu)來看,云計算出現(xiàn)之前的數(shù)據(jù)中心大多采用“豎井式”的應(yīng)用開發(fā)部署方式,無論是機(jī)房基礎(chǔ)設(shè)施,還是網(wǎng)絡(luò)資源、存儲資源、計算資源等都采用專業(yè)化維度的部署管理,對于應(yīng)用軟件投產(chǎn)、數(shù)據(jù)分布及備份采用按應(yīng)用系統(tǒng)“一事一議”的方式部署。這種各個系統(tǒng)部件、應(yīng)用緊耦合的維護(hù)、變更模式流程較為復(fù)雜。數(shù)據(jù)中心普遍通過在ServiceDesk中采用專門的變更、問題流程管理功能協(xié)調(diào)各專業(yè)部門的工作流。隨著業(yè)務(wù)的發(fā)展,數(shù)據(jù)中心在一定程度上出現(xiàn)了IT資源局部富余但整體緊張的現(xiàn)象。數(shù)據(jù)中心為了更好的管理既有業(yè)務(wù)系統(tǒng),同時提升IT系統(tǒng)的運(yùn)行效率,規(guī)劃采用云數(shù)據(jù)中心方式對業(yè)務(wù)系統(tǒng)提供統(tǒng)一的IT能力服務(wù)平臺。另一方面,考慮到數(shù)據(jù)中心未來長期的云計算平臺建設(shè)策略,建議規(guī)劃整體的云計算建設(shè)路線圖,并對當(dāng)前的基礎(chǔ)架構(gòu)云進(jìn)行詳細(xì)設(shè)計。云數(shù)據(jù)中心平臺的建設(shè),應(yīng)該考慮到的設(shè)計原則為:n 可管理性原則 系統(tǒng)架構(gòu)中應(yīng)提供集成、統(tǒng)一的軟硬件管理功能,滿足各種日常的管理需求,適應(yīng)新一代數(shù)據(jù)中心管理快捷、方便的特點(diǎn) n 開放性原則 架構(gòu)必須能夠滿足自身的穩(wěn)定性,同時具有集成的異構(gòu)兼容性,在滿足新的業(yè)務(wù)需求同時不需要對架構(gòu)進(jìn)行重新設(shè)計或?qū)ΜF(xiàn)有架構(gòu)重大修改。 n 可擴(kuò)展性原則 可擴(kuò)展性是指未來應(yīng)用系統(tǒng)的業(yè)務(wù)量增加時,資源能夠自動擴(kuò)展以適應(yīng)更多用戶、更多的業(yè)務(wù)處理及存儲能力。 n 安全性原則 系統(tǒng)架構(gòu)必須是能夠提供認(rèn)證、訪問控制能力的環(huán)境,以確保業(yè)務(wù)關(guān)鍵信息的完整性、保密性 。 n 適度性原則 結(jié)合自身需求, 資源以滿足目前要求為基準(zhǔn),并適度前瞻。 n 持續(xù)性原則 IT架構(gòu)設(shè)計應(yīng)該具有持續(xù)性,滿足目前要求并可持續(xù)擴(kuò)展,持續(xù)優(yōu)化。3.3 方案描述云計算平臺的建設(shè)是分階段、分步來實(shí)施的,并且伴隨業(yè)務(wù)訪問量和對存儲空間、存儲性能的要求,還可對本項(xiàng)目云平臺進(jìn)行水平擴(kuò)展,本項(xiàng)目規(guī)劃由:控制節(jié)點(diǎn)、對象存儲網(wǎng)關(guān)節(jié)點(diǎn)、計算分布式存儲節(jié)點(diǎn)、對象存儲節(jié)點(diǎn)構(gòu)成。本次數(shù)據(jù)中心的基礎(chǔ)架構(gòu)云的建設(shè)可達(dá)成以下預(yù)期目標(biāo):3.3.1 彈性與自動化的基礎(chǔ)設(shè)施通過建設(shè)軟件定義的數(shù)據(jù)中心,實(shí)現(xiàn)能以按需方式,通過網(wǎng)絡(luò),方便的訪問數(shù)據(jù)中心的可配置計算資源共享池(比如:網(wǎng)絡(luò),服務(wù)器,存儲,應(yīng)用程序和服務(wù)) 。同時以最少的管理開銷,完成自動化迅速配置提供或釋放資源,應(yīng)對不確定以及海量的訪問壓力時提供足夠的計算資源。3.3.2 按需服務(wù),平臺交付統(tǒng)一便捷的服務(wù)提供能力與集成能力,為資源使用者提供標(biāo)準(zhǔn)化的服務(wù)目錄與資源申請、管理平臺,使其可以方便的連接到云計算平臺,申請所需服務(wù)與資源,并便捷的進(jìn)行管理。降低對于人工配置和流程的依賴,在滿足總體管理需求的前提下提升服務(wù)水平。3.3.3 敏捷的IT服務(wù)水平 不僅滿足服務(wù)器資源池化的需求,同時對存儲、網(wǎng)絡(luò)、數(shù)據(jù)庫、緩存等關(guān)鍵組件都實(shí)現(xiàn)軟件定義和標(biāo)準(zhǔn)的服務(wù)提供能力,將物理資源轉(zhuǎn)化為邏輯資源,利用模版化、API、秒級交付、批量構(gòu)建等手段,加速IT資源的供給速度,提高服務(wù)水平。3.3.4 簡化管理,智能統(tǒng)一運(yùn)維通過云計算管理平臺,實(shí)現(xiàn)對資源的統(tǒng)一化及動態(tài)化分配和管理。將多組服務(wù)器、網(wǎng)絡(luò)和存儲通過軟件定義技術(shù), 將其作為一個超大規(guī)模的集群進(jìn)行統(tǒng)一管理,可以對其進(jìn)行資源的動態(tài)分配和調(diào)整及回收, 提高管理效率,并通過安全設(shè)置可以保證虛擬資源的安全性和獨(dú)立性。3.3.5 硬件故障無害化,保障業(yè)務(wù)連續(xù)通過其高可用設(shè)計,可以實(shí)現(xiàn)最可靠的運(yùn)算平臺。將任何一臺服務(wù)器的失敗, 云計算管理平臺都可以自動發(fā)現(xiàn), 并把失敗的服務(wù)器從可用服務(wù)器列表中剔除,從而保證任意時間用戶請求的計算資源都是建立的可用的服務(wù)器之上。同時, 將該服務(wù)器上的負(fù)載自動遷移到其他可用的服務(wù)器上,保障應(yīng)用負(fù)載在硬件失敗時自動恢復(fù)。同時方案提供各種應(yīng)用、數(shù)據(jù)的備份機(jī)制(高連續(xù)性服務(wù)),可實(shí)現(xiàn)應(yīng)用層面的多節(jié)點(diǎn)負(fù)載、快照、HA,數(shù)據(jù)節(jié)點(diǎn)的3副本的備份機(jī)制,提供多種安全保障功能,解決業(yè)務(wù)的意外中斷和數(shù)據(jù)丟失困擾。同時實(shí)現(xiàn)網(wǎng)絡(luò)的冗余配置,以確保物理網(wǎng)絡(luò)連接的高可用。使用SDN等網(wǎng)絡(luò)虛擬化技術(shù),構(gòu)建高可用的虛擬用戶網(wǎng)絡(luò)。使用分布式文件系統(tǒng),構(gòu)建統(tǒng)一的存儲池,提供包括實(shí)時異地多副本和硬盤快照等功能, 保證用戶數(shù)據(jù)的安全可靠。 在應(yīng)用服務(wù)方面, 提供虛擬的負(fù)載均衡器,把用戶請求轉(zhuǎn)發(fā)到多臺不同物理宿主的應(yīng)用服務(wù)器上, 一旦某臺應(yīng)用服務(wù)器失敗, 負(fù)載均衡器可以把失敗的應(yīng)用服務(wù)器隔離, 但對用戶來講,其請求仍然可以由其他的應(yīng)用服務(wù)器提供。達(dá)到高可用性、負(fù)載平衡的運(yùn)行環(huán)境,保障業(yè)務(wù)連續(xù)。3.3.6 計算虛擬化需求計算虛擬化是指通過虛擬化技術(shù)將一臺物理計算機(jī)虛擬為多臺邏輯計算機(jī)。在一臺物理計算機(jī)上同時運(yùn)行多個邏輯計算機(jī),每個邏輯計算機(jī)可運(yùn)行不同的操作系統(tǒng),并且應(yīng)用程序都可以在相互獨(dú)立的空間內(nèi)運(yùn)行而互不影響,從而顯著提高計算機(jī)的工作效率。虛擬化使用軟件的方法重新定義劃分IT資源,可以實(shí)現(xiàn)IT資源的動態(tài)分配、靈活調(diào)度、跨域共享,提高IT資源利用率,使IT資源能夠真正成為社會基礎(chǔ)設(shè)施,服務(wù)于各行各業(yè)中靈活多變的應(yīng)用需求。計算虛擬化的功能及技術(shù)需求如下: 采用目前主流的KVM全虛擬化技術(shù),應(yīng)支持不重啟主機(jī)動態(tài)升級KVM版本; 支持計算資源虛擬化,形成分布式計算資源池。虛擬化效率不小于99.95%; 支持計算設(shè)備“一虛多”。同一臺物理主機(jī)上同時支持多種操作系統(tǒng),或是相同操作系統(tǒng)的不同版本。分區(qū)與分區(qū)之間相互獨(dú)立,互不影響; 支持資源的動態(tài)調(diào)配與彈性可伸縮。資源池具備各級資源的按需獲取功能,提高資源消費(fèi)者的可用性、容錯與擴(kuò)展能力。資源響應(yīng)的速度應(yīng)達(dá)到秒級。 支持虛擬機(jī)的在線和離線遷移; 支持虛擬機(jī)系統(tǒng)自動批量部署,一次同時部署的規(guī)模能達(dá)到200臺虛擬機(jī)。3.3.7 分布式存儲分布式存儲系統(tǒng),是將數(shù)據(jù)分散存儲在多臺獨(dú)立的設(shè)備上。傳統(tǒng)的網(wǎng)絡(luò)存儲系統(tǒng)采用集中的存儲服務(wù)器存放所有數(shù)據(jù),存儲服務(wù)器成為系統(tǒng)性能的瓶頸,也是可靠性和安全性的焦點(diǎn),不能滿足大規(guī)模存儲應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺存儲服務(wù)器分擔(dān)存儲負(fù)荷,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴(kuò)展。分布式存儲系統(tǒng)不僅為虛擬主機(jī)提供塊存儲也為對象存儲提供存儲能力。同時分布式存儲系統(tǒng)提供數(shù)據(jù)的多(3)個實(shí)時副本,保證用戶數(shù)據(jù)的安全。分布式存儲系統(tǒng)的功能及技術(shù)需求如下:n 支持增量擴(kuò)容和自動數(shù)據(jù)平衡能力,允許用戶定制數(shù)據(jù)分布策略;n 架構(gòu)避免固定的集中控制點(diǎn),且各節(jié)點(diǎn)能自動進(jìn)行故障監(jiān)測、切換以及數(shù)據(jù)遷移;n 具備高可擴(kuò)展性,可支持上億個文件和PB以上量級的文件存儲;支持不重啟系統(tǒng),增加物理服務(wù)器后自動擴(kuò)容;n 在不依賴SAN&NAS等特殊硬件設(shè)備的條件下,提供高可用性和高可靠性;n 提供至少3份數(shù)據(jù)實(shí)時副本,且保證至少有一份跨機(jī)架的數(shù)據(jù)副本;n 服務(wù)可用性要高于99.95%;數(shù)據(jù)可靠性要高于99.99999%;n 基于SAS硬盤的虛擬存儲IO性能不小于120MB/s, 基于SSD硬盤的虛擬存儲IO性能不小于300MB/s。n 應(yīng)采用Shared-nothing架構(gòu)設(shè)計,支持1萬以上用戶并發(fā)讀寫,支持1000臺以上物理服務(wù)器集群。3.3.8 網(wǎng)絡(luò)虛擬化(SDN)網(wǎng)絡(luò)虛擬化完整再現(xiàn)了物理網(wǎng)絡(luò)。虛擬網(wǎng)絡(luò)不僅可以提供與物理網(wǎng)絡(luò)相同的功能特性和性能保證,而且還具有虛擬化的運(yùn)維優(yōu)勢和硬件獨(dú)立性,包括快速調(diào)配、 無中斷部署、自動維護(hù)等。網(wǎng)絡(luò)虛擬化將邏輯網(wǎng)絡(luò)連接設(shè)備和服務(wù)(邏輯端口、交換機(jī)、路由器、防火墻、負(fù)載平衡器和VPN等)提供給已連接的工作負(fù)載。應(yīng)用在虛擬網(wǎng)絡(luò)上的運(yùn)行與在物理網(wǎng)絡(luò)上完全相同。使用SDN技術(shù),實(shí)現(xiàn)網(wǎng)絡(luò)控制平面和轉(zhuǎn)發(fā)平面的分離,由此提供更友善、更強(qiáng)大的網(wǎng)絡(luò)配置和控制能力。網(wǎng)絡(luò)虛擬化和SDN的功能及技術(shù)需求如下:n 采用軟件+硬件方式,通過軟硬件集成實(shí)現(xiàn)SDN,靈活調(diào)度與管理虛擬網(wǎng)絡(luò),并實(shí)現(xiàn)已應(yīng)用為中心的基礎(chǔ)架構(gòu);n 通過SDN技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化,構(gòu)建網(wǎng)絡(luò)資源池;n 支持虛擬私有網(wǎng)絡(luò),私有網(wǎng)絡(luò)間要100%二層網(wǎng)絡(luò)隔離,支持不同用戶自由使用網(wǎng)絡(luò)資源;n 支持虛擬路由器,虛擬交換機(jī),虛擬防火墻,虛擬負(fù)載均衡器,可以按需配置網(wǎng)絡(luò)邏輯拓?fù)?;n 通過SDN實(shí)現(xiàn)DHCP,端口轉(zhuǎn)發(fā),隧道服務(wù),VPN接入服務(wù)和過濾控制服務(wù);n 支持通過SDN功能實(shí)現(xiàn)機(jī)房間通過網(wǎng)絡(luò)安全隧道(IP-Sec)聯(lián)通。4 網(wǎng)絡(luò)安全規(guī)劃4.1 方案目標(biāo)充分解讀網(wǎng)絡(luò)安全等級保護(hù)相關(guān)政策和標(biāo)準(zhǔn),全面提升網(wǎng)絡(luò)安全防護(hù)能力,應(yīng)對新威脅、新應(yīng)用下的安全威脅,利用云端安全服務(wù)、云防護(hù)的創(chuàng)新技術(shù)理念與技術(shù)落地,實(shí)現(xiàn)對網(wǎng)絡(luò)安全的智能統(tǒng)一管理,并達(dá)到國家網(wǎng)絡(luò)安全等級保護(hù)的相關(guān)標(biāo)準(zhǔn)與要求。4.2 設(shè)計依據(jù)l 中辦200327號文件國家信息化領(lǐng)導(dǎo)小組關(guān)于加強(qiáng)信息安全保障工作的意見l 四部委于2004年9月15日發(fā)布公通字200466號信息安全等級保護(hù)工作的實(shí)施意見l 四部委2007年06月17日發(fā)布(2007)公通字43號 信息安全等級保護(hù)管理辦法l GB/T 22239.1 信息安全技術(shù) 信息安全等級保護(hù)基本要求 第1部分:安全通用要求l GB/T 22239.2 信息安全技術(shù) 信息安全等級保護(hù)基本要求 第2部分:云計算安全擴(kuò)展要求l GB/T 31167-2014 信息安全技術(shù) 云計算服務(wù)安全指南l GB/T 31168-2014 信息安全技術(shù) 云計算服務(wù)安全能力要求4.3 等保要求l 對標(biāo)新等保的第三級安全通用要求。l “物理和環(huán)境要求”不在本方案的撰寫范疇。網(wǎng)絡(luò)和通信安全網(wǎng)絡(luò)架構(gòu)鏈路負(fù)載防火墻數(shù)據(jù)庫審計運(yùn)維審計堡壘機(jī)WEB防火墻漏洞掃描抗DDOS攻擊通信傳輸防火墻邊界防護(hù)防火墻運(yùn)維審計堡壘機(jī)訪問控制防火墻入侵防范IPS數(shù)據(jù)庫審計WEB防火墻抗DDOS攻擊惡意代碼防范防火墻防病毒網(wǎng)關(guān)安全審計防火墻數(shù)據(jù)庫審計運(yùn)維審計堡壘機(jī)日志審計WEB防火墻漏洞掃描抗DDOS攻擊集中管控防火墻漏洞掃描抗DDOS攻擊設(shè)備和計算安全身份鑒別防火墻虛擬化安全數(shù)據(jù)庫審計運(yùn)維審計堡壘機(jī)WEB防火墻抗DDOS攻擊訪問控制防火墻虛擬化安全數(shù)據(jù)庫審計運(yùn)維審計堡壘機(jī)WEB防火墻漏洞掃描虛擬化安全數(shù)據(jù)庫審計運(yùn)維審計日志審計WEB防火墻漏洞掃描抗DDOS攻擊入侵防范虛擬化安全WEB防火墻抗DDOS攻擊惡意代碼防范虛擬化安全虛擬化安全數(shù)據(jù)庫審計運(yùn)維審計堡壘機(jī)WEB防火墻抗DDOS攻擊應(yīng)用和數(shù)據(jù)安全身份鑒別數(shù)據(jù)庫審計運(yùn)維審計堡壘機(jī)數(shù)據(jù)庫審計運(yùn)維審計堡壘機(jī)WEB防火墻數(shù)據(jù)庫審計運(yùn)維審計堡壘機(jī)日志審計軟件容錯數(shù)據(jù)庫審計運(yùn)維審計堡壘機(jī)WEB防火墻資源控制數(shù)據(jù)庫審計運(yùn)維審計堡壘機(jī)數(shù)據(jù)備份恢復(fù)數(shù)據(jù)庫審計運(yùn)維審計堡壘機(jī)WEB防火墻個人信息保護(hù)數(shù)據(jù)庫審計運(yùn)維審計堡壘機(jī)安全運(yùn)維管理漏洞和風(fēng)險管理漏洞掃描4.4 方案拓?fù)?.5 功能描述產(chǎn)品名稱產(chǎn)品描述產(chǎn)品形態(tài)數(shù)量單位場景及配件選型鏈路負(fù)載集多線路智能選路和多鏈路相互備份,保障網(wǎng)絡(luò)連通硬件2網(wǎng)絡(luò)和通信安全虛擬化安全提供針對虛擬化平臺的一站式的包含防病毒、IPS、WEBSHELL、主機(jī)防火墻的防護(hù)。軟件1應(yīng)用和數(shù)據(jù)安全+設(shè)備和計算安全抗DDOS抗拒絕服務(wù)攻擊
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 人民版道德與法治九年級上冊第七課《生命之間》配套聽課評課記錄
- 湘教版七年級數(shù)學(xué)下冊第2章2.1.2冪的乘方與積的乘方(第1課時)聽評課記錄
- 人教版七年級數(shù)學(xué)上冊:1.2.1《有理數(shù)》聽評課記錄
- 冀教版數(shù)學(xué)九年級上冊《平行線分線段成比例》聽評課記錄1
- 《兩漢的科技和文化》聽課評課記錄1(新部編人教版七年級上冊歷史)
- 蘇教版四年級數(shù)學(xué)下冊期末復(fù)習(xí)口算練習(xí)題三
- 湘教版數(shù)學(xué)八年級上冊《小結(jié)練習(xí)》聽評課記錄
- 聽評課記錄數(shù)學(xué)二年級
- 小學(xué)生營養(yǎng)餐飯?zhí)霉ぷ魅藛T聘用合同范本
- 人員派遣租賃協(xié)議書范本
- (正式版)FZ∕T 80014-2024 潔凈室服裝 通 用技術(shù)規(guī)范
- 新起點(diǎn)英語二年級下冊全冊教案
- 【幼兒園戶外體育活動材料投放的現(xiàn)狀調(diào)查報告(定量論文)8700字】
- 剪映專業(yè)版:PC端短視頻制作(全彩慕課版) 課件 第3章 短視頻剪輯快速入門
- 湖南省長沙市開福區(qū)青竹湖湘一外國語學(xué)校2023-2024學(xué)年九年級下學(xué)期一模歷史試題
- 帶狀皰疹與帶狀皰疹后遺神經(jīng)痛(HZ與PHN)
- 漢密爾頓抑郁和焦慮量表
- 風(fēng)電場事故案例分析
- 前列腺癌的診斷與治療
- 人教版八年級數(shù)學(xué)初中數(shù)學(xué)《平行四邊形》單元教材教學(xué)分析
- EPC項(xiàng)目設(shè)計及施工的配合
評論
0/150
提交評論