版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
數(shù)據(jù)中心項目
aCloud企業(yè)級云技術(shù)建議書
有限公司
2020年8月18日
目錄
1.項目需求分析..............................................................2
1.1背景概述...............................................................2
1.2建設(shè)目標...............................................................3
1.3建設(shè)任務(wù)...............................................................3
1.4需求分析...............................................................4
1.4.1業(yè)務(wù)需求分析......................................................4
1.4.1.1云計算資源池需求分析.........................................4
1.4.1.2云計算管理平臺需求分析.......................................5
1.4.1.3容災備份需求分析.............................................5
1.4.1.4性能需求分析.................................................5
2.整體方案規(guī)劃..............................................................7
2.1.整體架構(gòu)設(shè)計.................................................7
2.1.1.設(shè)計原則.....................................................7
2.1.2.總體技術(shù)架構(gòu).................................................8
2.1.3.邏輯架構(gòu)設(shè)計.................................................9
2.13.1.邏輯架構(gòu)視圖..............................................9
2.1.4.平臺總體布局................................................12
2.1.5.部署架構(gòu)設(shè)計................................................14
.一期部署架構(gòu)(搭建云平臺基礎(chǔ)框架).......................14
,二期部署架構(gòu)(構(gòu)筑安全能力).............................14
.三期部署架構(gòu)(統(tǒng)一災備建設(shè)).............................15
2.1.6.核心技術(shù)說明................................................16
.服務(wù)器虛擬化技術(shù).........................................16
.存儲虛擬化技術(shù)...........................................17
.網(wǎng)絡(luò)虛擬化技術(shù)...........................................21
.云管理技術(shù)...............................................25
.1,異構(gòu)資源管理.........................................25
.2,分級分權(quán)管理.........................................27
.3.11?自月艮務(wù)和流程.......................................28
.4.自動化運維............................................32
.技術(shù)優(yōu)勢總結(jié).............................................32
3.本期方案詳細設(shè)計.........................................................33
3.1.部署架構(gòu)設(shè)計...............................................33
3.2.網(wǎng)絡(luò)系統(tǒng)削...............................................34
3.2.1.整體說明...................................................34
3.2.2.物理網(wǎng)絡(luò)部署設(shè)計...........................................35
.核心交換區(qū).............................................35
.互聯(lián)網(wǎng)接入?yún)^(qū)設(shè)計.......................................35
3.2.23.DMZ業(yè)務(wù)區(qū)設(shè)計.........................................37
3.2.2A安全分區(qū)防火墻設(shè)計(可選)................................37
,安全管理區(qū)設(shè)計.........................................38
,超融合業(yè)務(wù)區(qū)網(wǎng)絡(luò)設(shè)計...................................39
3.3.分區(qū)資源集群規(guī)劃...........................................40
3.3.1.傳統(tǒng)架構(gòu)資源池規(guī)劃設(shè)計.....................................41
3.3.2.超融合架構(gòu)資源池規(guī)劃設(shè)計...................................41
3.3.2.1.資源池規(guī)模評估原則標準..................................41
33.2.2.資源池規(guī)模設(shè)計.........................................41
3.4.云安全設(shè)計.................................................42
3.4.1.安全架構(gòu)設(shè)計...............................................42
.物理安全...............................................43
.邏輯安全...............................................43
3.4.2.應(yīng)用安全設(shè)計...............................................44
3.4.3.數(shù)據(jù)安全設(shè)計...............................................45
3.4.4.安全運維設(shè)計...............................................46
3.5.云管功能設(shè)計...............................................47
3.5.1.業(yè)務(wù)規(guī)劃設(shè)計...............................................47
.用戶角色和權(quán)限.........................................47
.虛擬數(shù)據(jù)中心(VDC)規(guī)劃................................49
3.5,1.2.1.VDC特性介紹........................................49
.2.VDC業(yè)務(wù)發(fā)放........................................51
.3VDC自運維..........................................54
.4VDC計量............................................54
虛擬私有云(VPC)規(guī)劃......................................55
.3.VPC特性介紹....................................55
3.5,1.2.4.VPC內(nèi)部網(wǎng)絡(luò)規(guī)戈IJ......................................................................56
.5.VPC外部網(wǎng)絡(luò)規(guī)戈I」....................................56
.6.VPC內(nèi)部業(yè)務(wù)虛擬機訪問外部網(wǎng)絡(luò)......................57
.7.用戶自服務(wù)流程......................................57
3.5.2.自動化運維.................................................58
3.6.數(shù)據(jù)中心備份方案設(shè)計.......................................58
3.7.新購設(shè)備配置清單...........................................61
3.8.方案價值和優(yōu)勢.............................................62
1.1.2簡單性.........................................................62
1.1.3穩(wěn)定性.........................................................62
1.1.4安全性..........................................................62
1.1.5易用性..........................................................63
SANGFOR
深信服企業(yè)云集成設(shè)計方案1項目需求分析
L項目需求分析
1.1背景概述
XXX近年在信息化建設(shè)方案取得了較大發(fā)展,多個業(yè)務(wù)系統(tǒng)已經(jīng)在現(xiàn)有基礎(chǔ)設(shè)施平穩(wěn)運行多年,
但當前信息技術(shù)的發(fā)展可謂一日千里,云計算、超融合、分布式集群等新的技術(shù)、架構(gòu)、體系都給業(yè)
務(wù)業(yè)務(wù)系統(tǒng)帶來巨大的發(fā)展空間。如何更好的把這些新技術(shù)引入各個業(yè)務(wù)系統(tǒng),是XXX云平臺建設(shè)過
程中所面臨的挑戰(zhàn)和機遇。在此過程中,我們認為XXX數(shù)據(jù)中心面臨以下挑戰(zhàn):
,數(shù)據(jù)中心基礎(chǔ)設(shè)施需要自然更替
數(shù)據(jù)中心基礎(chǔ)設(shè)施部分已經(jīng)運行了10年以上,部分設(shè)備已經(jīng)老化而進入了故障多發(fā)期,例如BOSS
平臺的部分服務(wù)器、存儲設(shè)備已經(jīng)運行8?10年。即使當前己經(jīng)穩(wěn)定運行的3-5年的設(shè)備,大多數(shù)設(shè)
備原廠商已經(jīng)對銷售3年以上的產(chǎn)品停止生產(chǎn)。因此一旦這些設(shè)備出現(xiàn)故障則面臨著無法維修或者無
法更換合適的配件,設(shè)備停用的風險較大。
,基礎(chǔ)資源需進行整合
核心應(yīng)用業(yè)務(wù)已經(jīng)在中間件、數(shù)據(jù)庫等層次進行了融合,并將部分應(yīng)用部署于小型機中。其他大
量的業(yè)務(wù)應(yīng)用系統(tǒng)運行在獨立的X86物理平臺上,沒有進行虛擬化整合,導致服務(wù)器、存儲等資源利
用不充分,存在忙閑不均的情況,并且普遍資源利用率較低。
,基礎(chǔ)資源嚴重不足
XXX希望建設(shè)統(tǒng)一的互聯(lián)網(wǎng)平臺,面向業(yè)務(wù)規(guī)劃和多變的用戶需求,業(yè)務(wù)系統(tǒng)上線要求愈發(fā)緊急
迫切,但受以前的基礎(chǔ)設(shè)施規(guī)劃約束,目前數(shù)據(jù)中心可使用設(shè)備資源不足,已使用設(shè)備利用率不高,
新的業(yè)務(wù)系統(tǒng)上線將面臨無資源使用局面,無法滿足不斷更新的業(yè)務(wù)需求。
/服務(wù)能力提升乏力
根據(jù)信息化發(fā)展的需要,數(shù)據(jù)中心的運維理念正在由面向技術(shù)的被動運維模式向面向服務(wù)的主動
運維模式轉(zhuǎn)變,力求在軟硬件資源上提供“定制服務(wù)”,保證新應(yīng)用快速上線運行和良好運行。同時
圍繞具體互聯(lián)網(wǎng)應(yīng)用,提供信息資源服務(wù)、軟件開發(fā)、信息安全服務(wù)等服務(wù)功能。很顯然,目前數(shù)據(jù)
中心架構(gòu)在環(huán)境支撐和功能設(shè)計上都嚴貢制約了數(shù)據(jù)中心服務(wù)能力的提升。近年來隨著應(yīng)用系統(tǒng)的逐
2
步深化和推廣應(yīng)用,現(xiàn)有數(shù)據(jù)中心無論是規(guī)模還是架構(gòu)很難支持現(xiàn)有業(yè)務(wù)的增長和后續(xù)新業(yè)務(wù)應(yīng)用系
統(tǒng)的部署實施。隨著設(shè)備逐步進入老舊期,數(shù)據(jù)中心相關(guān)業(yè)務(wù)的服務(wù)器、存儲、網(wǎng)絡(luò)等設(shè)備需要新舊
更替,因此新的數(shù)據(jù)中心服務(wù)模式的建設(shè)是迫在眉睫的任務(wù)。
1.2建設(shè)目標
本項目著眼XXX信息化的長遠發(fā)展,以向全公司提供靈活定制的資源服務(wù)、彈性的計算能力、完
全可信的安全保障服務(wù)為基本要求,引進成熟先進的技術(shù),調(diào)整優(yōu)化數(shù)據(jù)中心建設(shè)整體框架。力爭在
“十三五”期間逐步建立以云計算為核心的信息化整體架構(gòu),實現(xiàn)從以業(yè)務(wù)應(yīng)用為核心的被動建設(shè)方
式向以服務(wù)為核心的主動建設(shè)方式的轉(zhuǎn)型。本次項目主要在打好云計算的基礎(chǔ),故項目的建設(shè)目標為:
/基礎(chǔ)設(shè)施面向資源池化轉(zhuǎn)型
通過構(gòu)建云計算資源池、存儲資源池、網(wǎng)絡(luò)資源池、安全資源池等方式,將原有的煙囪式系統(tǒng)建
設(shè)模式打破,通過資源池統(tǒng)一對外提供資源,實現(xiàn)基礎(chǔ)設(shè)施建設(shè)的技術(shù)轉(zhuǎn)型。
/通過云計算統(tǒng)一提供計算能力
基于超融合技術(shù)實現(xiàn)以虛擬化為核心的軟件定義數(shù)據(jù)中心的技術(shù)架構(gòu),使用云計算技術(shù)對資源池
進行統(tǒng)一的調(diào)度管理,實現(xiàn)高效融合的信息化架構(gòu),對全公司業(yè)務(wù)系統(tǒng)建設(shè)提供彈性、敏捷、可靠的
云計算服務(wù)。
/構(gòu)建整體運維保障監(jiān)控能力。
實現(xiàn)對云平臺內(nèi)基礎(chǔ)設(shè)施進行監(jiān)管,改變對自有設(shè)備現(xiàn)狀不清、監(jiān)管不嚴的運維現(xiàn)狀,全面提升
在云計算環(huán)境下對大型信息化數(shù)據(jù)中心的運維保障能力。
/提供云計算環(huán)境的安全保障。
通過對選擇安全、可靠、具備核心技術(shù)自研能力的云計算平臺實現(xiàn)在云計算層的安全。通過構(gòu)建
和規(guī)劃數(shù)據(jù)中心災備模式以提供數(shù)據(jù)層的安全保障。
1.3建設(shè)任務(wù)
/構(gòu)建符合業(yè)務(wù)需求的云計算超融合資源池。
云計算超融合資源池由網(wǎng)絡(luò)、服務(wù)器等基礎(chǔ)硬件設(shè)備構(gòu)建,通過對已有設(shè)備的有效整合和新增設(shè)
備的采購,結(jié)合虛擬化技術(shù)實現(xiàn)對計算資源、網(wǎng)絡(luò)資源、存儲資源、安全資源的定義,構(gòu)建符合業(yè)務(wù)
發(fā)展需求的資源池,使?jié)M足業(yè)務(wù)發(fā)展不斷增長的基礎(chǔ)設(shè)施需求。
/搭建功能全面的云計算平臺
3
云計算平臺是項目的核心平臺,通過云計算平臺的構(gòu)建.在計算資源服務(wù)層面,實現(xiàn)資源池化能
力、虛擬資源管控能力、按需彈性計算能力、流程化業(yè)務(wù)管理能力、異構(gòu)虛擬化能力;在安全管控方
面,實現(xiàn)全面的安全保障能力、全面的運維監(jiān)控能力,在平臺性能方面,衙提供企業(yè)級高可用能力,
確保平臺的運行穩(wěn)定。
/為云計算環(huán)境提供運維保障平臺
本項目要強化相應(yīng)云計算平臺的運行維護管理體系建設(shè)。云計算平臺的各功能組件要成熟、穩(wěn)
定、產(chǎn)品化、易維護,方便運維人員進行資源管理、日常巡檢和故障檢測。實現(xiàn)對服務(wù)交付和運行悄
況進行監(jiān)管,發(fā)生故障時能夠根據(jù)云計算平臺的智能提示及時診斷并進行正確處置,保證云計算中心
軟硬件系統(tǒng)的正常運行。提供數(shù)據(jù)中心的數(shù)據(jù)備份和異地數(shù)據(jù)中心間的數(shù)據(jù)同步能力,規(guī)劃多數(shù)據(jù)中
心災備能力。
1.4需求分析
1.4.1業(yè)務(wù)需求分析
云計算資源池需求分析
由于數(shù)據(jù)中心未來主要承擔互聯(lián)網(wǎng)業(yè)務(wù),新產(chǎn)品和服務(wù)的快速投產(chǎn)對基礎(chǔ)設(shè)施的靈活響應(yīng)、快速
的部署響應(yīng)及支持能力都有新的和更高的要求,并需要降低對現(xiàn)有應(yīng)用帶來沖擊。與此同時業(yè)務(wù)快速
發(fā)展帶來的大量數(shù)據(jù)和用戶,要求具有高擴展性基礎(chǔ)設(shè)施架構(gòu)架構(gòu),靈活支持不同類型的數(shù)據(jù),同時
需要平衡功能和成本,以求能夠在成本有效的前提下,滿足突發(fā)業(yè)務(wù)的傳輸與用戶訪問的需求
云計算資源池包括計算資源池、存儲資源池、網(wǎng)絡(luò)資源池三個部分,需能夠滿足XXX集團對計算
資源、存儲資源、網(wǎng)絡(luò)資源的需求。同時,考慮到數(shù)據(jù)中心管理扁平化,未來數(shù)據(jù)中心擴容、運維的
便捷性,以及有效利用服務(wù)器資源,云計算資源池建設(shè)應(yīng)充分考慮超融合技術(shù)和高性能設(shè)備的選擇,
以及對現(xiàn)有設(shè)備進行整合。為實現(xiàn)資源的彈性伸縮和按需分配,有效降低單位資源成本,需要新購一
批高性能大容量的服務(wù)器用于超融合基礎(chǔ)架構(gòu)構(gòu)建,同時利舊一部分高性能的服務(wù)器、存儲等設(shè)備,
共同組建資源池。
云計算中心機房所需計算資源、存儲資源、網(wǎng)絡(luò)資源包括:
1、計算資源:為支撐所有具備條件的應(yīng)用系統(tǒng)的云化遷移和升級、新系統(tǒng)的建設(shè)、大數(shù)據(jù)平臺的
接入,需新增和利舊一批X86架構(gòu)服務(wù)器和其他高性能服務(wù)器,進行虛擬化,構(gòu)建計算資源池。
2、存儲資源:為支撐所有具備條件的應(yīng)用系統(tǒng)的云化遷移和升級、新系統(tǒng)的建設(shè)、虛擬機運行
所需的存儲以及廣電各類數(shù)據(jù)的存儲,需將資源池內(nèi)部署了虛擬化系統(tǒng)的X86標準服務(wù)器。在提供虛
4
擬計算資源的同時,服務(wù)器上的空閑磁盤空間被組織起來形成一個統(tǒng)一的虛擬共享存儲:虛擬存儲系
統(tǒng)。虛擬化存儲在功能上與獨立共享存儲完全一致;同時由于存儲與計算完全融合在一個硬件平臺上,
無需象以往那樣購買連接計算服務(wù)器和存儲設(shè)備的專用SAN網(wǎng)絡(luò)設(shè)備
3、網(wǎng)絡(luò)資源:為滿足計算資源池、存儲資源池及云計算中心的建設(shè)需要,需綜合考慮網(wǎng)絡(luò)資源
池的規(guī)模、性能和容量。若當前已有的網(wǎng)絡(luò)設(shè)備不能滿足云計算的需求,則需對網(wǎng)絡(luò)進行擴容。同時,
服務(wù)器虛擬化技術(shù)的出現(xiàn)使得計算服務(wù)提供不再以主機為基礎(chǔ),而是以云主機為單位來提供,同時為
了滿足同一物理服務(wù)器內(nèi)云主機之間的數(shù)據(jù)交換需求,因此需要在在虛擬機和物理網(wǎng)絡(luò)之間,提供一
整套完整的邏輯網(wǎng)絡(luò)設(shè)備、連接和服務(wù),包括分布式虛擬交換機、虛擬路由器、虛擬下一代防火墻、
虛擬應(yīng)用交付、等虛擬網(wǎng)絡(luò)、安全設(shè)備,并且需要和物理網(wǎng)絡(luò)的無縫對接,簡化網(wǎng)絡(luò)的配置管理。
云計算管理平臺需求分析
需要通過云計算實現(xiàn)對底厚物理資源(計算、存儲、網(wǎng)絡(luò))的虛擬融合、按需分配與局效管理,
支持與現(xiàn)有設(shè)備和虛擬化軟件的集成。
需要能夠?qū)T物理資源,抽象成按需提供的彈性虛擬資源池包括虛擬機、存儲、網(wǎng)絡(luò)、網(wǎng)絡(luò)安全,
以消費單元(即組織或虛擬數(shù)據(jù)中心)的形式對外提供服務(wù),IT部門能夠通過完全自動化的自助服務(wù)
訪問,為用戶提供這些消費單元以及其它包括虛擬機和操作系統(tǒng)鏡像等在內(nèi)的基礎(chǔ)架構(gòu)和應(yīng)用服務(wù)模
板。真正實現(xiàn)了業(yè)務(wù)的敏捷性和高效性,提高業(yè)務(wù)的快速創(chuàng)新能力。
需要提供簡單易用的自動化運維手段,通過管理平臺提供故障定位分析手段,能夠快速分析出問
題節(jié)點,并能夠指出具體的原因和修復的指導。通過平臺提供的一鍵健康檢測,能夠快速分析出平臺
潛在的業(yè)務(wù)風險,包括各種和資源性能或者容量風險,平臺管理管理和租戶管理員,可以根據(jù)系統(tǒng)建
議,可以選擇手動或者自動的方式,實現(xiàn)業(yè)務(wù)的故障排除和資源優(yōu)化。
1.4.13容災備份需求分析
目前廣電已經(jīng)建設(shè)了兩個機房,桐城南路機房和金寨南路機房,因此本期項目建設(shè)在規(guī)劃建設(shè)桐
城南路機房的同時,需要考慮如何基于這兩個機房統(tǒng)一規(guī)劃數(shù)據(jù)中心的災備建設(shè)。提供統(tǒng)一的災備管
理平臺,實現(xiàn)兩個機房的災備管理。
本次項目建設(shè)需要金寨南路機房提供部分存儲空間用以桐城南路機房的ERP系統(tǒng)數(shù)據(jù)備份。
性能需求分析
1、計算性能需求
本次項目重點建設(shè)桐城南路機房,對數(shù)據(jù)中心已有設(shè)備摸底調(diào)查,考慮計算虛擬化的利舊原則,
5
原則上計算資源池原則上需要提供每核2.2GHZ(物理CPU)以上的計算能力,并可支持實際使用需求
將物理CPU進行虛擬化,梳理出可以利舊的設(shè)備列表如下:
設(shè)備型號配置描述系統(tǒng)描述網(wǎng)卡及電源數(shù)量
IBMX3650M4Intel(R)Xeon(R)CPUE5-Windows6口千兆網(wǎng)卡,5
2650v2?2.60GHz8Coreserver2008R2雙冗余電源
16G8*1TBSAS盤
DELLIntel(R)Xeon(R)CPUE5-CentOS6.54口千兆網(wǎng)卡,11
PowerEdgeR7202670v2?2.50GHz2*10Core雙冗余電源
16G5*500GBSAS盤
DELLIntel(R)Xeon(R)CPUE5-.CentOS6.54口千兆網(wǎng)卡,3
PowerEdgeR7202609v3?1.90GHz2*6Core單電源
16G4*1TBSAS盤
DellIntel(R)Xeon(R)CPUE5-CentOS6.54口千兆網(wǎng)卡、23
PowerEdgeR720X2650v2?2.60GHz8Core光口,雙冗余電
D64G,2*256GSSI)盤,12*480G源
SSD盤
DellIntel(R)Xeon(R)CPUE5-CentOS6.54口千兆網(wǎng)卡、21
PowerEdgeR720X2650v2@2.60GHz8Core光口,雙冗余電
D64G源
DELLPowerEdgeIntel(R)Xeon(R)CPUE5-CentOS7.16口千兆網(wǎng)卡,3
R6302697v3@2.60GHz2*14Core雙冗余電源
128G,2*480GBSSD盤
DellPowerEdgeIntel(R)Xeon(R)CPUE5-ubuntu14.044口千兆網(wǎng)卡,1
R7202670v2@2.50GHz2*10Core雙冗余電源
16G,3*300GBSAS盤
同時,考慮互聯(lián)網(wǎng)推流、時移回看推流、時移回看編轉(zhuǎn)碼等三個系統(tǒng)要求性能、10較高、使用
專用設(shè)備,建議保留物理機部署方式,這3個業(yè)務(wù)占用設(shè)備情況如下:
業(yè)務(wù)名稱設(shè)備類型設(shè)備數(shù)量
互聯(lián)網(wǎng)推流DellPowerEdgeR720XD1
DellPowerEdgeR720XD1
時移回看推流DellPowerEdgeR720XD2
時移回看編轉(zhuǎn)碼DELLPowerEdgeR6303
根據(jù)對未來業(yè)務(wù)增長情況的預估,本次項目建設(shè)計算資源在原有設(shè)備利舊資源基礎(chǔ)上,新增計算
資源池配置性能2250GHzCPU主頻、>600G內(nèi)存。
2、存儲性能需求
目前數(shù)據(jù)中心可利舊存儲情況:
6
設(shè)備型號設(shè)備描述容量(T)數(shù)量
HPP2000離線存儲磁盤陣列除系統(tǒng)冗余后,可用剩余為60T1
HUAWEIS5600T核心存儲磁盤陣列除系統(tǒng)冗余后,可用剩余為74T1
OceanStor9000分布式文件系統(tǒng)除系統(tǒng)冗余后,可用剩余為78T1
根據(jù)對未來業(yè)務(wù)增長情況的預估,本次項目建設(shè)計算資源在原有設(shè)備利舊資源基礎(chǔ)上,新增存儲
資源可用容量300To
2.整體方案規(guī)劃
2.1.整體架構(gòu)設(shè)計
2.1.1.設(shè)計原則
根據(jù)XXX數(shù)據(jù)中心發(fā)展的現(xiàn)狀,結(jié)合成熟可落地的新興IT技術(shù),本次力生信息科技云數(shù)據(jù)中心的
總體建設(shè)原則如下:
1、穩(wěn)定性
應(yīng)采取各種必要技術(shù)措施,保證信息化云服務(wù)平臺具備有優(yōu)秀的穩(wěn)定性,在保證性能的前提下,
為主要業(yè)務(wù)提供持續(xù)的支撐服務(wù)。
2、安全性
平臺系統(tǒng)應(yīng)能充分考慮用戶數(shù)據(jù)的安全,避免用戶受到異常攻擊或敏感數(shù)據(jù)竊取。應(yīng)能主動評估
業(yè)務(wù)系統(tǒng)的安全狀況及提供彌補措施,并提供各種操作行為的可回溯能力。
3、可擴展性
平臺應(yīng)具備良好的擴展能力,滿足數(shù)據(jù)中心長期發(fā)展的要求。根據(jù)業(yè)務(wù)的發(fā)展預測,平臺系統(tǒng)定
期按照適度預留的原則進行建設(shè),能在規(guī)定時間內(nèi)快速響應(yīng)新的用戶,新的業(yè)務(wù)的新增要求。
7
4、靈活的IT基礎(chǔ)架構(gòu)
滿足資源的隨時隨地按需分配,需要建立一個靈活的硬件基礎(chǔ)架構(gòu)。硬件基礎(chǔ)架構(gòu)通常由虛擬的
服務(wù)器池、共享的存儲系統(tǒng)、網(wǎng)絡(luò)和硬件管理軟件組成。
5、自動化資源部署
云計算運行管理平臺的核心功能是自動為用戶提供服務(wù)器、存儲以及相關(guān)的系統(tǒng)軟件和應(yīng)用軟件。
用戶、管理員和其他人員能通過Web界面使用該功能。
自動化的部署流程不僅能做到“隨需應(yīng)變”,適應(yīng)用戶的需求,而且能夠帶來以下好處:引入技
術(shù)和創(chuàng)新的時間縮短,設(shè)計、采購和構(gòu)建硬件和軟件平臺的人力成本降低,以及通過提高現(xiàn)有資源的
利用率和復用率節(jié)省成本。
6、端服務(wù)請求管理
云計算運行管理平臺提供一個統(tǒng)一的管理平臺來實現(xiàn)端到端的流程管理,協(xié)調(diào)各個部門的合作,
提高管理效率。同時該管理平臺負責全部的人工交互界面,權(quán)限控制和用戶管理等功能。
7、完善的資源監(jiān)控及故障處理手段
云計算服務(wù)管理平臺提供資源和服務(wù)的各種運維能力,可以監(jiān)控資源的使用情況,對于平臺故障
提供及時地預警報警,保證云計算平臺的穩(wěn)定運行。
8、有助于建立IT管理規(guī)則
為了實現(xiàn)數(shù)據(jù)中心的規(guī)范管理,需要以云計算運行管理平臺為基礎(chǔ),有助于為數(shù)據(jù)中心制定一套
完整的管理規(guī)則。
9、開放性
要求各類系統(tǒng)設(shè)計、產(chǎn)品及網(wǎng)絡(luò)構(gòu)建都要滿足相關(guān)的國際標準和國家標準,提供標準結(jié)構(gòu)及接口。
2.12總體技術(shù)架構(gòu)
伴隨著數(shù)據(jù)與業(yè)務(wù)的集中,傳統(tǒng)數(shù)據(jù)中心的硬件架構(gòu)已經(jīng)無法滿足業(yè)務(wù)的快速上線和靈活的業(yè)務(wù)部署。
本次云數(shù)據(jù)中心建設(shè)項目推薦使用企業(yè)級云方案,即通過“云管平臺+超融合架構(gòu)”方案,基于分布式
云數(shù)據(jù)中心架構(gòu),通過軟件定義的方式實現(xiàn)全新的IT基礎(chǔ)架構(gòu),通過服務(wù)器虛擬化將所有X86的計算資源
池化、通過網(wǎng)絡(luò)虛擬化構(gòu)建出適合虛擬機遷移的大二層環(huán)境、最后通過存儲虛擬化實現(xiàn)存儲空間的融合。
基于VDC實現(xiàn)多組織/多業(yè)務(wù)共享資源,按需服務(wù),通過云管平臺實現(xiàn)多個數(shù)據(jù)中心資源的統(tǒng)一管理,同
時提供完整的安全和災備方案。
8
2.1.3.邏輯架構(gòu)設(shè)計
2.1.3.1.邏輯架構(gòu)視圖
XXX數(shù)據(jù)中心總體架構(gòu)包括基礎(chǔ)架構(gòu)層、超融合架構(gòu)層、云服務(wù)層和云管層。
XXX數(shù)據(jù)中心總體架構(gòu)
VPC
VDC
云聯(lián)層■■■■|Wtiksml
斷蜘S場可摘搦《3圖.
計算資源池
安全資源油sRoutef
G日百
aSwitch:==
CPURAMRAM
a$ECaNETaSVaSAN
網(wǎng)絡(luò)虛版化網(wǎng)絡(luò)虛擬化醫(yī)務(wù)器虛擬化存(tdtm
深信般一體機
云服務(wù)和管理運營層主要由aCMP組件提供,具體功能如下:
1、自主服務(wù)門戶
單點登錄的自服務(wù)門戶,管理員和用戶在各自的門戶視圖上完成全部操作。用戶發(fā)起資源申請,各
級管理員按照流程做出響應(yīng)。支持管理員自定義流程。
2、異構(gòu)虛擬化管理
能夠統(tǒng)一管理異構(gòu)的虛擬化資源,管理員可在統(tǒng)一的界面中操作資源申請與分配、資源監(jiān)控和運
維管理。
3、數(shù)據(jù)庫即服務(wù)
針對Oracle,SQLServer,MySQL做專門的性能優(yōu)化和可靠性優(yōu)化。用戶在云平臺上通過向?qū)ё?/p>
助申請數(shù)據(jù)庫服務(wù),實現(xiàn)數(shù)據(jù)庫的快速交付和簡化配置管理工作。
4、資源監(jiān)控
具有豐富的監(jiān)控功能,可監(jiān)控CPU、內(nèi)存、網(wǎng)絡(luò)流量、磁盤10等各項性能指標,幫助管理隨時掌
握資源使用動態(tài)。
5、多租戶管理
具有三級管理權(quán)限,每個租戶含租戶管理員和租戶的用戶,避免租戶網(wǎng)絡(luò)安全威脅,支持租戶資源
配額。
9
6、快速備份
具有豐富的自動備份策略,能夠?qū)崿F(xiàn)分鐘級的增量備份。
超融合架構(gòu)層包括的主要組件有服務(wù)器虛擬化aSV、存儲虛擬化aSAN、網(wǎng)絡(luò)虛擬化aNET、安全
虛擬化aSEC?
超融合架構(gòu)層主要組件及其功能
模塊主要功能描述
服務(wù)器虛擬化aSV?虛擬機管理
提供虛擬機的全生命周期管理,包含創(chuàng)建、刪除、更新配置、備份、掛起、重啟等,并能
全面監(jiān)控虛擬機狀態(tài),確保虛擬機正常運行。
?虛擬機HA
當主機、網(wǎng)絡(luò)、虛擬機自身等出現(xiàn)故障時,能將此虛擬機切換到其他的主機上重新啟動
運行,保障虛擬機上的業(yè)務(wù)正常使用。
?虛擬機熱遷移
支持虛擬機從一臺服務(wù)器遷移到另一臺物理服務(wù)器,業(yè)務(wù)不中斷,數(shù)據(jù)不丟失。降低宕機
帶來的風險、減少業(yè)務(wù)中斷的時間。
?動態(tài)資源調(diào)度
能夠?qū)Y源持續(xù)監(jiān)測,通過負載均衡機制,持續(xù)執(zhí)行資源動態(tài)平衡,將虛擬機遷移到有更
多可用資源的主機上,確保每個虛擬機在任何節(jié)點都能及時地調(diào)用相應(yīng)的資源,降低出現(xiàn)
資源搶占的風險。
?動態(tài)資源擴展
系統(tǒng)能夠監(jiān)控業(yè)務(wù)虛擬機資源使用率,當虛擬機業(yè)務(wù)資源使用率過高時,可以自動給虛擬
機添加CPU、內(nèi)存,以保障業(yè)務(wù)的正常運行。
存儲虛擬化aSAN?存儲多副本技術(shù)
通過對虛擬機文件在多臺物理服務(wù)器實時寫入,實現(xiàn)多副本保存,提高了存儲的高可靠
性。
?數(shù)據(jù)保障機制
在主機或者磁盤故障后,超過了設(shè)置的超時時間依然沒有人工介入處理,aSAN將會自動
進行數(shù)據(jù)重建,以保證數(shù)據(jù)副本數(shù)完備,確保數(shù)據(jù)可靠性。
?存儲自動精簡配置
通過該技術(shù)只需要提供給虛擬機實際使用的存儲空間,而不是配置的,并且未來可以隨時
10
模塊主要功能描述
擴展??梢燥@著減少已分配但是未使用的存儲空間,提高了資源利用率。
?高性能存儲
通過I/O本地化、混合磁盤模式、讀寫優(yōu)化算法、存儲分層等多項自研存儲技術(shù),為業(yè)
務(wù)提供高10、大容量的共享存儲資源。
?在線擴容
提供在線添加磁盤或主機功能,在擴容過程中業(yè)務(wù)不中斷,能夠解決業(yè)務(wù)增長帶來的資源
不足問題。
網(wǎng)絡(luò)虛擬化aNet?分布式虛擬交換機
能夠在多臺主機中邏輯上組成一個分布式交換機,實現(xiàn)虛擬機的網(wǎng)絡(luò)管理和實時化網(wǎng)絡(luò)
監(jiān)控,并能保證虛擬機在主機之間遷移時網(wǎng)絡(luò)配置的一致性。
?虛擬路由器
提供自帶HA的虛擬路由器,可解決虛擬化后不同網(wǎng)絡(luò)間路由問題,并能夠?qū)崿F(xiàn)VLAN子
網(wǎng)口、NAT規(guī)則、ACL策略、DHCP地址池、DNS代理等傳統(tǒng)路由器的功能。
?分布式虛擬防火墻
集成的分布式防火墻,能夠為每一個虛擬主機提供防火墻保護,實現(xiàn)虛擬化主機間的微隔
離,虛擬機遷移到任何的主機上,依然保留原有的防火墻策略。并且管理員通過簡單的配
置管理,即可實現(xiàn)對防火墻策略的統(tǒng)一下發(fā)。
?網(wǎng)絡(luò)探測功能
通過發(fā)送帶有標簽的icmp報文并跟蹤記錄該報文在轉(zhuǎn)發(fā)平面經(jīng)過的每一跳的信息,經(jīng)
過匯總后統(tǒng)一分析,最終得出故障點和故障原因。
?業(yè)務(wù)邏輯拓撲所畫即所得
管理員可以通過管理平面從資源池中調(diào)取相應(yīng)的資源,并通過拖拉連線等方式,描繪出不
同的拓撲架構(gòu)。后臺會自動根據(jù)業(yè)務(wù)邏輯拓撲進行底層真實的環(huán)境創(chuàng)建,從而屏蔽了底
層的復雜性。
?全網(wǎng)流量可視
通過實時記錄每一個虛擬網(wǎng)絡(luò)設(shè)備的任何端口的流量,從而在業(yè)務(wù)拓撲上形成全網(wǎng)流量
可視,幫助管理員隨時掌握網(wǎng)絡(luò)資源使用動態(tài)。
安全虛擬化aSEC?vAF
vAF是的下一代防火墻NFV功能,能夠提供L2-L7層安全可視的全面防護,通過雙向檢
測網(wǎng)絡(luò)流量,有效識別來自網(wǎng)絡(luò)層和應(yīng)用層的內(nèi)容風險。
?vAD
11
模塊主要功能描述
VAD是的應(yīng)用交付NFV功能,集服務(wù)器、鏈路、數(shù)據(jù)中心負載均衡和應(yīng)用性能優(yōu)化功
能于一體,是構(gòu)建高可靠、高效率業(yè)務(wù)架構(gòu)的絕佳選擇。
?vSSL
vSSL是可以部署在虛擬化環(huán)境的IPsec/SSL二合一VPN,具有部署簡單、維護成本
低、云端適應(yīng)能力強等特點,具備將云端業(yè)務(wù)輕松完成對外安全發(fā)布的能力,為用戶
提供在任何時候、任何場所,使用任何主流設(shè)備快速接入云端網(wǎng)絡(luò)、運行內(nèi)部應(yīng)用的
服務(wù)。
?vAC
vAC是上網(wǎng)行為管理NFV功能,以用戶識別、終端識別、應(yīng)用識別為基礎(chǔ),結(jié)合封堵、
流控、審計等管理手段,全面應(yīng)對互聯(lián)網(wǎng)給組織帶來的工作效率下降、帶寬效率下降、
泄密風險、法律風險及上網(wǎng)安全風險等挑戰(zhàn)。
?vWOC
vWOC是廣域網(wǎng)優(yōu)化NFV功能,具有協(xié)議優(yōu)化、緩存、流壓縮、流量整形、鏈路質(zhì)量
優(yōu)化等多種技術(shù),能夠幫助用戶加快關(guān)鍵應(yīng)用的響應(yīng)速度,為用戶帶來更高的投資回
報比。
2.1.4.平臺總體布局
//數(shù)據(jù)中心網(wǎng)絡(luò)分區(qū)原則:
1、安全性原則
按照安全等級開同,劃分為不同分區(qū)
例如,為互聯(lián)網(wǎng)用戶,合作伙伴服務(wù)的服務(wù)器單獨分區(qū)
信息敏感服務(wù)器單獨分區(qū)
2、高可用布局原則
業(yè)務(wù)關(guān)聯(lián)度高的服務(wù)器部署在同?個區(qū)域
業(yè)務(wù)關(guān)聯(lián)度低的服務(wù)器拆分成多個區(qū)域
可用性要求高的業(yè)務(wù)拆分成兩個對等區(qū)域。
3、容量適度原則
根據(jù)運維管理經(jīng)驗,控制單個區(qū)域內(nèi)的服務(wù)數(shù)量,例如,500臺以內(nèi)未來服務(wù)器數(shù)量增加、區(qū)域間流量增長
后可考慮進一步拆分
4、獨立運維管理原則
業(yè)務(wù)流量、安全控制、組網(wǎng)協(xié)議方面有特殊要求的服務(wù)器單獨分區(qū)。
12
互聯(lián)網(wǎng)XX專網(wǎng)XX專網(wǎng)
XXX數(shù)據(jù)中心根據(jù)功能分區(qū),劃分為xx專網(wǎng)接入?yún)^(qū)、互聯(lián)網(wǎng)接入?yún)^(qū)、第三方接入?yún)^(qū)、核心交換區(qū)、數(shù)
據(jù)庫業(yè)務(wù)區(qū)、內(nèi)部生產(chǎn)業(yè)務(wù)區(qū)、傳統(tǒng)架構(gòu)業(yè)務(wù)區(qū)、開發(fā)測試業(yè)務(wù)區(qū)。
專網(wǎng)接入?yún)^(qū),作為XX專網(wǎng)網(wǎng)訪問系統(tǒng)資源的入口,承載直接面向XX專網(wǎng)用的業(yè)務(wù)接入資源。
第三方接入?yún)^(qū),負責銀行、監(jiān)管機構(gòu)、第三方機構(gòu)與數(shù)據(jù)中心互聯(lián),例如使用專線來連接政府、銀行
等社會機構(gòu)實現(xiàn)數(shù)據(jù)互聯(lián)。
互聯(lián)網(wǎng)業(yè)務(wù)區(qū)承載租戶直接面向互聯(lián)網(wǎng)用戶的業(yè)務(wù)系統(tǒng),包括但不限門戶網(wǎng)站、網(wǎng)上服務(wù)大廳等,通
過互聯(lián)網(wǎng)接入?yún)^(qū)實現(xiàn)與互聯(lián)網(wǎng)網(wǎng)絡(luò)互通。
核心交換區(qū),用于各區(qū)域數(shù)據(jù)的交互、隔離以及負載均衡。
安全管理區(qū),用戶管理員登陸認證、紀錄操作行為,以及系統(tǒng)和應(yīng)用的狀態(tài)、日志監(jiān)控等,承擔統(tǒng)一
的安全、運營運維、災備等管理系統(tǒng)。
數(shù)據(jù)庫區(qū),為保障性能和可靠性,采用高性能集群部署,利用數(shù)據(jù)庫自身集群技術(shù)(如。racleRAC,
MSSQLAIwaysOn等),實現(xiàn)數(shù)據(jù)庫高可用性??紤]到數(shù)據(jù)庫安全性,部署數(shù)據(jù)庫審計產(chǎn)品,確保合法的數(shù)
據(jù)讀取訪問,非法的請求可以做阻斷。
內(nèi)部生產(chǎn)業(yè)務(wù)區(qū),所有的服務(wù)器均在云平臺下實現(xiàn)服務(wù)器虛擬化、網(wǎng)絡(luò)虛擬化、存儲虛擬化和整體集
群的冗余,主要承擔內(nèi)部生產(chǎn)辦公系統(tǒng),例如BOSS系統(tǒng)、ERP系統(tǒng)等。
傳統(tǒng)架構(gòu)業(yè)務(wù)區(qū),為保障性能,主要基于傳統(tǒng)服務(wù)器存儲架構(gòu)部署,主要承擔互聯(lián)網(wǎng)平臺業(yè)務(wù)中需要
采用傳統(tǒng)架構(gòu)部署的業(yè)務(wù),例如推流、轉(zhuǎn)碼業(yè)務(wù),該區(qū)域主要利舊原有服務(wù)器和存儲設(shè)備。
開發(fā)測試業(yè)務(wù)區(qū),負責前期業(yè)務(wù)系統(tǒng)的測試、開發(fā)、驗證等工作。集成虛擬防火墻功能,確保測試區(qū)
域與生產(chǎn)環(huán)境做到安全隔離,測試驗證過程中不影響到生產(chǎn)環(huán)境。
13
2.1.5.部署架構(gòu)設(shè)計
.一期部署架構(gòu)(搭建云平臺基礎(chǔ)框架)
XXX數(shù)據(jù)中心一期部署方式如下:
XXX數(shù)據(jù)中心一期部署架構(gòu)
數(shù)據(jù)中心一期規(guī)劃物理架構(gòu)
/核心企業(yè)級云數(shù)據(jù)中心基礎(chǔ)架構(gòu)搭建完成。
/將計劃內(nèi)的老舊單機服務(wù)器業(yè)務(wù)系統(tǒng)遷移至企業(yè)級云數(shù)據(jù)中心內(nèi)。
/將部分非核心業(yè)務(wù)系統(tǒng)遷移至企業(yè)級云數(shù)據(jù)中心內(nèi)。
/最大限度施放核心存儲的空間及10壓力,保證核心業(yè)務(wù)運行。
/數(shù)據(jù)中心內(nèi)多分區(qū)統(tǒng)一管理,資源間安全隔離,根據(jù)業(yè)務(wù)需求的不同,劃分不同的區(qū)域,提供
不同的資源能力。
/由于一期建設(shè),boss系統(tǒng)、erp系統(tǒng)仍部署于老機房內(nèi),因此本階段建設(shè)無需搭建傳統(tǒng)架構(gòu)的
內(nèi)部生產(chǎn)業(yè)務(wù)區(qū)。
2.1.5.2.二期部署架構(gòu)(構(gòu)筑安全能力)
考慮二期XXX數(shù)據(jù)中心整體部署方式如下:
14
數(shù)據(jù)中心二期規(guī)劃物理架構(gòu)
干,的絡(luò)
萬,網(wǎng)
--------40GE網(wǎng)絡(luò)
/構(gòu)建統(tǒng)一安全資源池,提升數(shù)據(jù)中心安全防御能力。
/資源不夠可以擴充新的X86服務(wù)器作為計算和空間節(jié)點橫向擴容。
2.1.5.3.三期部署架構(gòu)(統(tǒng)一災備建設(shè))
考慮三期XXX數(shù)據(jù)中心整體部署方式如下:
主備數(shù)據(jù)中心,在單數(shù)據(jù)中心的基礎(chǔ)上擴展同城災備數(shù)據(jù)中心。兩個數(shù)據(jù)中心之間統(tǒng)一管理,資源統(tǒng)
15
一監(jiān)控。
數(shù)據(jù)層面,兩個數(shù)據(jù)中心根據(jù)數(shù)據(jù)保護等級要求,可以選擇數(shù)據(jù)同步方式,也可以選擇異步方式進行
同步。
數(shù)據(jù)庫層面,配置數(shù)據(jù)庫集群軟件,實現(xiàn)數(shù)據(jù)庫數(shù)據(jù)同步,保證數(shù)據(jù)庫邏輯層面一致性。
網(wǎng)絡(luò)層面,兩個數(shù)據(jù)中心通過裸光纖互聯(lián),保證高速穩(wěn)定低時延的數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò),
數(shù)據(jù)中心從邏輯上分為接入側(cè)和服務(wù)側(cè),服務(wù)側(cè)內(nèi)部又根據(jù)業(yè)務(wù)單元分為WEB.APP和DB這3個區(qū)。
全局負載設(shè)備負責數(shù)據(jù)中心級的業(yè)務(wù)流量調(diào)度和切換,各區(qū)的服務(wù)器負載均衡負責本地的服務(wù)器負載,通
過應(yīng)用級的健康檢查功能實時發(fā)現(xiàn)服務(wù)器、鏈路、負載均衡器的故障,根據(jù)用戶的需求做預設(shè)的策略,實
現(xiàn)靈活的故障切換,降低業(yè)務(wù)切換風險。對于業(yè)務(wù)連續(xù)性要求高的業(yè)務(wù),當一個數(shù)據(jù)中心故障時,業(yè)務(wù)可
以快速接管并持續(xù)提供業(yè)務(wù)。
在第三階段,原有機房的ERP系統(tǒng)、BOSS系統(tǒng)需要遷移至生產(chǎn)機房,因此可以利舊原有設(shè)備搭建傳統(tǒng)
架構(gòu)的業(yè)務(wù)生產(chǎn)區(qū),支撐業(yè)務(wù)遷移。
2.1.6.核心技術(shù)說明
2.1.6.1.服務(wù)器虛擬化技術(shù)
服務(wù)器是云計算平臺的核心,其承擔著云計算平臺的“計算”功能。對于云計算平臺上的服務(wù)器,通
常都是將相同或者相似類型的服務(wù)器組合在一起,作為資源分配的母體,即所謂的服務(wù)器資源池。在這個
服務(wù)器資源池上,再通過安裝虛擬化軟件,使得其計算資源能以一種云主機的方式被不同的應(yīng)用和不同
用戶使用。
aSV虛擬化平臺作為介于硬件和操作系統(tǒng)之間的軟件層,采用裸金屬架構(gòu)的X86虛擬化技術(shù),實現(xiàn)對
服務(wù)器物理資源的抽象,將CPU、內(nèi)存、I/O等服務(wù)器物理資源轉(zhuǎn)化為一組可統(tǒng)一管理、調(diào)度和分配的邏輯
資源,并基于這些邏輯資源在單個物理服務(wù)器上構(gòu)建多個同時運行、相互隔離的虛擬機執(zhí)行環(huán)境,實現(xiàn)更
高的資源利用率,同時滿足應(yīng)用更加靈活的資源動態(tài)分配需求,譬如提供熱遷移、HA等高可用特性,實現(xiàn)
更低的運營成本、更高的靈活性和更快速的業(yè)務(wù)響應(yīng)速度,如下圖所示:
16
虛擬機熱遷移/HA/動態(tài)資源調(diào)度/動態(tài)資源擴展...
2.1.6.2.存儲虛擬化技術(shù)
在本次云數(shù)據(jù)中心建設(shè)方案中,采用分布式存儲技術(shù)構(gòu)建統(tǒng)一的存儲資源池,可以形成可橫向擴展
(Scale-out)的云計算基礎(chǔ)架構(gòu)。在業(yè)務(wù)應(yīng)用區(qū)部署aSAN存儲方案,運行在這種架構(gòu)上的云主機不僅能夠
象傳統(tǒng)層次架構(gòu)那樣支持vMotion、DRS、快照等,而且數(shù)據(jù)不再經(jīng)過一個復雜的網(wǎng)絡(luò)傳遞,性能得到顯著
提高。由于不再需要集中共享存儲設(shè)備,整個云平臺基礎(chǔ)架構(gòu)得以扁平化,大大簡化了IT運維和管理。利
用aSAN方案構(gòu)建云平臺存儲資源池,有效利用服務(wù)器資源,降低能源消耗,幫助企業(yè)實現(xiàn)IT環(huán)境的節(jié)能
減排。
aSAN方案的邏輯架構(gòu)如上圖所示。這種架構(gòu)的基本單元是部署了虛擬化系統(tǒng)的X86標準服務(wù)器。在提
供虛擬計算資源的同時,服務(wù)器上的空閑磁盤空間被組織起來形成一個統(tǒng)一的虛擬共享存儲:虛擬存儲系
統(tǒng)。虛擬化存儲在功能上與獨立共享存儲完全一致;同時由于存儲與計算完全融合在一個硬件平臺上,無
需象以往那樣購買連接計算服務(wù)器和存儲設(shè)備的專用SAN網(wǎng)絡(luò)設(shè)備(FCSAN或者iSCSISAN)。
1、橫向、縱向線性按需擴展
17
aSAN存儲虛擬化方案可以支持橫向(增加服務(wù)器數(shù)量)、縱向(增加單臺服務(wù)器的硬盤數(shù)量)等擴展
方式,擴展起來非常簡單,只需要將新的服務(wù)器加入原來的集群就可以實現(xiàn)擴展,擴展后可以實現(xiàn)容量和
性能的同步擴展,目前最大支持64臺服務(wù)器組件一個集群。
此外,添加新的服務(wù)器到集群后,不僅存儲空間得到擴展,性能也會得到同步的擴展,例如2臺服務(wù)
器擴展到4臺服務(wù)器后,不僅存儲空間得到擴展,整體性能也會擴展為原來的2
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024批次建筑材料供應(yīng)商務(wù)協(xié)議一
- 2024年人力資源部門全職勞動協(xié)議范本版
- 2024商旅包車協(xié)議標準版一
- 銷售材料合同模板
- 口腔科聘用合同模板
- 數(shù)字營銷學 14第十四章 試題及答案
- 雇傭工作合同模板
- 項目物資供貨合同模板
- 2024年施工項目合作合同書樣本
- 設(shè)備用電合同模板
- 青島版六年級上冊《比的認識》課件
- 國企施工資源配置講義
- 常見服裝英語課件
- 《無人機概述及系統(tǒng)組成》考試復習題庫(含解析)
- 江蘇省鎮(zhèn)江市各縣區(qū)鄉(xiāng)鎮(zhèn)行政村村莊村名居民村民委員會明細
- 2022年上海市松江區(qū)中考二模語文試卷及答案
- 幼兒園垃圾分類整改措施報告
- 第9課《美麗的顏色》課件(共25張PPT) 部編版語文八年級上冊
- 初中體育人教七年級體育(劉東)室內(nèi)課教學設(shè)計《體育保健按摩》
- 悟空識字1200字字卡-打印版
- 三年級上冊數(shù)學 課件- 時分的認識(共27張ppt)青島版
評論
0/150
提交評論