版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、1智慧初城縣云計(jì)算數(shù)據(jù)中心項(xiàng)目解決方案目錄 TOC o 1-5 h z HYPERLINK l bookmark0 o Current Document 第2章概述2 HYPERLINK l bookmark2 o Current Document 1.1項(xiàng)目背景2 HYPERLINK l bookmark4 o Current Document 1.2建設(shè)目標(biāo)2 HYPERLINK l bookmark14 o Current Document 1.3需求分析4 HYPERLINK l bookmark28 o Current Document 第2章資源池建設(shè)方案6 HYPERLINK l
2、 bookmark30 o Current Document 2.1總體架構(gòu)6 HYPERLINK l bookmark32 o Current Document 2.2網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)8 HYPERLINK l bookmark40 o Current Document 2.3設(shè)備選型原則10 HYPERLINK l bookmark42 o Current Document 第3章云平臺(tái)功能設(shè)計(jì)12 HYPERLINK l bookmark44 o Current Document 3.1云主機(jī)月艮務(wù)12 HYPERLINK l bookmark64 o Current Document 3.
3、2云存儲(chǔ)服務(wù)16 HYPERLINK l bookmark86 o Current Document 3.3云負(fù)載均衡服務(wù)22 HYPERLINK l bookmark88 o Current Document 3.4虛擬路由器服務(wù)23 HYPERLINK l bookmark90 o Current Document 第4章數(shù)據(jù)安全保障方案24 HYPERLINK l bookmark92 o Current Document 4.1云平臺(tái)自身對(duì)數(shù)據(jù)的保護(hù)24 HYPERLINK l bookmark94 o Current Document 4.2災(zāi)備方案25 HYPERLINK l bo
4、okmark96 o Current Document 4.3災(zāi)難等級(jí)劃分26 HYPERLINK l bookmark98 o Current Document 4.4災(zāi)難恢復(fù)27 HYPERLINK l bookmark100 o Current Document 第5章云平臺(tái)運(yùn)維體系設(shè)計(jì)28 HYPERLINK l bookmark102 o Current Document 5.1自動(dòng)監(jiān)控系統(tǒng)28 HYPERLINK l bookmark104 o Current Document 5.2自動(dòng)告警系統(tǒng)28 HYPERLINK l bookmark106 o Current Docume
5、nt 5.3資源管理系統(tǒng)29 HYPERLINK l bookmark108 o Current Document 第6章業(yè)務(wù)系統(tǒng)遷移指導(dǎo)30 HYPERLINK l bookmark110 o Current Document 6.1遷移規(guī)劃30 HYPERLINK l bookmark112 o Current Document 6.2遷移管理流程31 HYPERLINK l bookmark114 o Current Document 6.3遷移實(shí)施方法31 HYPERLINK l bookmark122 o Current Document 6.4應(yīng)用梳理32 HYPERLINK l
6、bookmark124 o Current Document 6.5遷移方式333第1章概述1.1項(xiàng)目背景根據(jù)項(xiàng)目實(shí)際情況編制。1 -2建設(shè)目標(biāo)1.2.1建立一套全新的彈性云平臺(tái)自購(gòu)服務(wù)器進(jìn)行應(yīng)用系統(tǒng)搭建的方式已經(jīng)不能滿足信息化的要求,不僅浪費(fèi)了大量 的資源而且也不能滿足向服務(wù)型部門轉(zhuǎn)變的要求。因此,本項(xiàng)目通過(guò)在*機(jī)房中放 置 足夠的計(jì)算資源,利用利用虛擬化技術(shù),能夠很好的面對(duì)未來(lái)智慧*城縣管理綜合 指揮中心服務(wù)平臺(tái)業(yè)務(wù)發(fā)展的挑戰(zhàn)。1.2.2建立一套完整的云平臺(tái)運(yùn)維體系目前政府的信息系統(tǒng)由于過(guò)度分散很難建立起一套有效的運(yùn)維管理體系,信息系統(tǒng) 存在資源使用不均衡的情況比較突出,業(yè)務(wù)系統(tǒng)運(yùn)行效率不
7、高。對(duì)目前設(shè)備運(yùn)行情況也 沒(méi)有一個(gè)完整的考量,通過(guò)在搭建云平臺(tái)的契機(jī),借助云平臺(tái)的高效的智能化運(yùn)維管理 系統(tǒng),能夠有效的提高政府的運(yùn)維管理能力。通過(guò)云平臺(tái)所建立一套運(yùn)維管理體系,能 夠很好的對(duì)未來(lái)政府的信息化發(fā)展提供一個(gè)運(yùn)維管理框架。1.2.3遷移服務(wù)云平臺(tái)建成后政府需要在一段時(shí)間內(nèi)完成現(xiàn)有的信息系統(tǒng)整體搬遷。整個(gè)搬遷的過(guò) 程包含數(shù)據(jù)完整性保護(hù)、數(shù)據(jù)遷移、業(yè)務(wù)系統(tǒng)遷移、硬件系統(tǒng)遷移。應(yīng)用系統(tǒng)可以預(yù)先 在智慧唄縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)機(jī)房中搭建的云平臺(tái)中預(yù)先部署,利用歷史 數(shù) 據(jù)既可以衡量業(yè)務(wù)系統(tǒng)部署的完整性,數(shù)據(jù)的完整性保護(hù)以及數(shù)據(jù)的遷移服務(wù)是整個(gè)信 息系統(tǒng)整體搬遷的重點(diǎn),如何能夠在一定時(shí)間內(nèi)
8、完成數(shù)據(jù)的遷移而保證數(shù)據(jù)的完整性是 整個(gè)信息系統(tǒng)搬遷的難點(diǎn)。124云數(shù)據(jù)中心保障服務(wù)云平臺(tái)建設(shè)包含有很多新的設(shè)備,隨著現(xiàn)有機(jī)房的設(shè)備及應(yīng)用的整體搬遷到云平 臺(tái),會(huì)出現(xiàn)多廠商應(yīng)用系統(tǒng)同時(shí)運(yùn)行的狀況,并且多業(yè)務(wù)應(yīng)用有著一定的復(fù)雜性,并且 業(yè)務(wù)需求要求設(shè)備運(yùn)行的連續(xù)高可用性,這樣業(yè)務(wù)中斷的時(shí)間就要求很短,所以需要云 平臺(tái)的運(yùn)維保障服務(wù),這樣可以對(duì)多應(yīng)用提供足夠的技術(shù)支持,降低業(yè)務(wù)中斷的風(fēng)險(xiǎn)。最終項(xiàng)目目標(biāo):1 組建符合實(shí)際情況的縣級(jí)監(jiān)督指揮中心、管理流程和協(xié)同工作機(jī)制。2建立無(wú)線專網(wǎng),有效利用政務(wù)網(wǎng),形成一個(gè)上連接縣城縣管理局,下接區(qū)級(jí)城縣 管理相關(guān)部門的城管大隊(duì)、中隊(duì),橫向*桿縣各業(yè)務(wù)部門的信息通道
9、和交換樞紐,實(shí)現(xiàn) 問(wèn)題的快速發(fā)現(xiàn)、快速下達(dá)、即時(shí)反饋,提高城縣管理效率。3形成城縣管理專業(yè)數(shù)據(jù)庫(kù)4借助GIS、GPS以及視頻監(jiān)控技術(shù)實(shí)現(xiàn)對(duì)城縣管理信息采集、即時(shí)定位和傳輸, 并可以對(duì)歷史軌跡進(jìn)行回放,實(shí)現(xiàn)對(duì)工作全過(guò)程的監(jiān)控;通過(guò)有效利用和建設(shè)視頻,實(shí) 現(xiàn)對(duì)重點(diǎn)區(qū)域、事發(fā)現(xiàn)場(chǎng)的掌控;通過(guò)語(yǔ)音喊話系統(tǒng),對(duì)可能引發(fā)的或正在發(fā)生的違法、 違章行為進(jìn)行警示和制止。通過(guò)淵縣數(shù)字城管視頻監(jiān)控系統(tǒng)的使用,我們可以實(shí)現(xiàn):對(duì)淵縣城縣公共設(shè)施的遠(yuǎn)程監(jiān)管;對(duì)公共場(chǎng)所、居民社區(qū)出入口附近的文明管理,防止亂倒垃圾、違章設(shè)攤等;1.3需求分析智慧郴城縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)需要建設(shè)滿足智慧糊城縣管理綜合指揮 中心 信息化發(fā)
10、展,需要建立高彈性、高可用、高可靠、開(kāi)放、共享的智慧痕城縣管理綜合 指揮中心服務(wù)平臺(tái),同時(shí)也能夠?qū)崿F(xiàn)彈性擴(kuò)展的云平臺(tái)用來(lái)支撐其業(yè)務(wù)的發(fā)展,建設(shè)內(nèi) 容包括:基礎(chǔ)環(huán)境、網(wǎng)絡(luò)資源、數(shù)據(jù)存儲(chǔ)、和安全運(yùn)維等服務(wù),具體需求如下:1. 3.1基礎(chǔ)環(huán)境需求智慧咖縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)需要大量的主機(jī)、存儲(chǔ)等硬件設(shè)備作為系 統(tǒng) 運(yùn)行環(huán)境支撐,系統(tǒng)要具有高安全性的和高穩(wěn)定性等部署要求,以云計(jì)算、虛擬化技術(shù) 和彈性管理技術(shù)為基礎(chǔ),實(shí)現(xiàn)基礎(chǔ)資源動(dòng)態(tài)申請(qǐng),保證部署在平臺(tái)上應(yīng)用系統(tǒng)可靠穩(wěn)定 運(yùn)行,以滿足智慧卿縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)的需要。1. 3. 2網(wǎng)絡(luò)資源需求智慧唄縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)面向全省提供服務(wù),設(shè)計(jì)多種
11、不同網(wǎng)絡(luò)接 入 方式,需要建立多層級(jí)網(wǎng)絡(luò)管理。對(duì)現(xiàn)有的網(wǎng)絡(luò)管理進(jìn)行提升和改造,充分利用現(xiàn)代網(wǎng) 絡(luò)技術(shù)和公共網(wǎng)絡(luò)基礎(chǔ)設(shè)施,構(gòu)建服務(wù)于智慧噸縣云計(jì)算數(shù)據(jù)中心服務(wù)的跨區(qū)域、實(shí)時(shí)的網(wǎng)絡(luò)協(xié)同環(huán)境。1. 3. 3視頻監(jiān)控需求視頻監(jiān)控子系統(tǒng)是數(shù)字化城縣管理監(jiān)督指揮中心了解全縣縣政、環(huán)衛(wèi)、交通、治安 狀況的窗口,是城管指揮系統(tǒng)不可缺少的子系統(tǒng)。XX縣數(shù)字化城管視頻源由兩方面組成,一是整合現(xiàn)有公安部門的視頻監(jiān)控系統(tǒng), 二是在部分城縣管理熱點(diǎn)增設(shè)的視頻系統(tǒng)。1. 3. 4計(jì)算存儲(chǔ)需求智慧頤縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)需要存儲(chǔ)多種數(shù)據(jù),包括從業(yè)人員管理系 統(tǒng) 等基礎(chǔ)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù),數(shù)據(jù)量大,數(shù)據(jù)來(lái)源覆蓋面廣,為保證數(shù)據(jù)
12、的安全性、完整 性,在進(jìn)行數(shù)據(jù)存儲(chǔ)系統(tǒng)建設(shè)時(shí)需滿足數(shù)據(jù)集中存儲(chǔ)、集中管理,并具有良好的擴(kuò)展性, 確保各相關(guān)單位對(duì)數(shù)據(jù)存儲(chǔ)的需要及今后數(shù)據(jù)服務(wù)的需求,實(shí)現(xiàn)數(shù)據(jù)的本地備份、異 地備份的功能。1. 3. 5安全服務(wù)需求智慧頤縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)涉及面廣,各級(jí)單位的業(yè)務(wù)網(wǎng)絡(luò)依托互聯(lián)網(wǎng) 與中心連接,需充分考慮安全問(wèn)題,能夠?yàn)橄到y(tǒng)提供安全服務(wù),包括從網(wǎng)絡(luò)接入安全、 運(yùn)用安全、數(shù)據(jù)資源保護(hù)、安全管理以及對(duì)出現(xiàn)問(wèn)題的查找、定位、分析、處理等上 滿足系統(tǒng)的安全需求。1. 3. 6運(yùn)維服務(wù)需求智慧咖縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)需要具有更完善的運(yùn)維體系來(lái)支撐信息系 統(tǒng) 的運(yùn)行,保證部署在平臺(tái)上的信息系統(tǒng)的穩(wěn)定性、安
13、全性。因此,需要有專業(yè)運(yùn)維團(tuán) 隊(duì),按照標(biāo)準(zhǔn)的運(yùn)維規(guī)范,以統(tǒng)一運(yùn)維服務(wù)平臺(tái)、統(tǒng)一運(yùn)維服務(wù)流程的思路為系統(tǒng)提 供運(yùn)維服務(wù),保證系統(tǒng)穩(wěn)定、安全、可靠運(yùn)行。第2章資源池建設(shè)方案2.1總體架構(gòu)本次私有云建設(shè)在*當(dāng)?shù)刭Y源池,根據(jù)客戶要求私有云滿足信息系統(tǒng)安全基礎(chǔ)要 求。本項(xiàng)目的托管私有云的虛擬化技術(shù)引入,不會(huì)對(duì)現(xiàn)有的網(wǎng)絡(luò)架構(gòu)做本質(zhì)上的顛覆, 原先的架構(gòu)仍然是延續(xù)的,只是在數(shù)據(jù)中心的基礎(chǔ)設(shè)施方面,大大減少了需要維護(hù)和管 理的設(shè)備,如服務(wù)器、交換機(jī)、機(jī)架、網(wǎng)線、ups、空調(diào)等等。下圖是智慧噸縣云計(jì)算數(shù)據(jù)中心私有云平臺(tái)架構(gòu)如下圖所示:血門戶云桶隹和規(guī)范體系私有云平臺(tái)整體架構(gòu)設(shè)計(jì)圖整體分為五大部分:1基礎(chǔ)設(shè)施層基
14、礎(chǔ)設(shè)施層包括運(yùn)行托管私有云所需的IDC云數(shù)據(jù)中心機(jī)房運(yùn)行環(huán)境,以及計(jì)算、 存儲(chǔ)、網(wǎng)絡(luò)、安全等設(shè)備。云中心機(jī)房的部署按照分區(qū)設(shè)計(jì),主要分為主機(jī)資源區(qū)、網(wǎng) 絡(luò)資源區(qū)、存儲(chǔ)資源區(qū)等區(qū)域。云管理層云管理層通過(guò)虛擬化技術(shù),負(fù)責(zé)對(duì)底層硬件資源進(jìn)行抽象,對(duì)底層硬件故障進(jìn)行屏 蔽,統(tǒng)一調(diào)度計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、安全資源池。其核心是虛擬化,提供主機(jī)CPU、內(nèi)存、 10的虛擬化,通過(guò)共享文件系統(tǒng)保證云主機(jī)的遷移、HA集群和動(dòng)態(tài)資源調(diào)度。同時(shí)通 過(guò)分布式交換機(jī)實(shí)現(xiàn)多租戶的虛擬化層的網(wǎng)絡(luò)隔離。在存儲(chǔ)資源池的構(gòu)建上,采用分布 式存儲(chǔ)技術(shù),實(shí)現(xiàn)對(duì)服務(wù)硬盤的虛擬化整合,并通過(guò)2副本技術(shù)保證存儲(chǔ)數(shù)據(jù)的高可靠。 云管理的主要功能模
15、塊有資源管理,計(jì)量管理,安全管理,策略管理、監(jiān)控管理等。云服務(wù)層云服務(wù)層提供IaaS PaaS和SaaS三層云服務(wù):IaaS服務(wù):包括云主機(jī)、云存儲(chǔ)(云數(shù)據(jù)盤、對(duì)象存儲(chǔ))、云數(shù)據(jù)庫(kù)服務(wù)、云防火 墻、云負(fù)載均衡和云網(wǎng)絡(luò)(租戶子網(wǎng)/IP/域名等)。IaaS層服務(wù)向PaaS層提供開(kāi)放API 接口調(diào)用。PaaS服務(wù):包括消息處理隊(duì)列、通用中間件(請(qǐng)求代理、事物處理、地理信息)、 數(shù)據(jù)交換平臺(tái)、開(kāi)發(fā)測(cè)試平臺(tái),為上層政務(wù)應(yīng)用提供標(biāo)準(zhǔn)統(tǒng)一的平臺(tái)層服務(wù),并提供API 接口和SDK開(kāi)發(fā)包,供SaaS層軟件開(kāi)發(fā)與部署調(diào)用。SaaS服務(wù):包括本期需要上線的指揮中心管理系統(tǒng)。本層服務(wù)的提供由應(yīng)用軟件開(kāi) 發(fā)商完成。上述
16、云服務(wù)通過(guò)自助服務(wù)門戶,向用戶提供自助的線上全流程自動(dòng)化交付。用戶可 以在自助服務(wù)門戶上進(jìn)行服務(wù)的申請(qǐng),完成審批后相應(yīng)的云資源將會(huì)交付給用戶遠(yuǎn)程控 制使用。安全保障體系云安全防護(hù)為基礎(chǔ)設(shè)施層、云管理層、云服務(wù)層提供全方位的安全防護(hù),包括防DDoS 攻擊、漏洞掃描、主機(jī)防御、網(wǎng)站防御、租戶隔離、認(rèn)證與審計(jì)、數(shù)據(jù)安全等模塊。滿 足國(guó)家安全等級(jí)保護(hù)3級(jí)的部署要求。運(yùn)行管理體系此模塊為云平臺(tái)運(yùn)維管理員提供設(shè)備管理、配置管理、鏡像管理、備份管理、日志 管理、監(jiān)控與報(bào)表等,滿足云平臺(tái)的日常運(yùn)營(yíng)維護(hù)需求。對(duì)云平臺(tái)提供給客戶的云服務(wù) 進(jìn)行配置與管理,包括服務(wù)目錄的發(fā)布,組織架構(gòu)的定義,用戶管理、云業(yè)務(wù)流程定制
17、 設(shè)計(jì)以及資源的配額與計(jì)費(fèi)策略定義等,此部分的功能實(shí)現(xiàn)根據(jù)客戶要求進(jìn)行定制。2.2網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)物理資源層應(yīng)包括運(yùn)行私有云所需的機(jī)房運(yùn)行環(huán)境,以及計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等設(shè)備。數(shù)據(jù)中心機(jī)房滿足GE 50174-2008電子信息系統(tǒng)機(jī)房設(shè)計(jì)規(guī)范中的A級(jí)要求,公安專網(wǎng)|堆.I核心交換機(jī)公安視頻專網(wǎng)存儲(chǔ)管理接入交換機(jī)視頻流視頻3臺(tái)超融合節(jié)點(diǎn)2臺(tái)超融合控制節(jié)點(diǎn)IP SAN備份一體機(jī)FC SAN磁盤陣列滿足國(guó)際公認(rèn)的ANSI-TIA-942-2005數(shù)據(jù)中心通信基礎(chǔ)設(shè)施標(biāo)準(zhǔn)里的Tier 3級(jí)以上 主要指標(biāo)。組網(wǎng)設(shè)計(jì)采用“核心一接入”兩層扁平化設(shè)計(jì),根據(jù)模塊化的分區(qū)的方式, 物理組網(wǎng)示意圖,如下圖所示:物理網(wǎng)絡(luò)拓
18、撲圖2.2.1系統(tǒng)組成數(shù)字城管視頻監(jiān)控子系統(tǒng)系統(tǒng)主要由中心管理平臺(tái)、現(xiàn)場(chǎng)監(jiān)控點(diǎn)、監(jiān)控指揮中心和 傳輸網(wǎng)絡(luò)四部分組成。(1)監(jiān)控系統(tǒng)中心管理平臺(tái)系統(tǒng)由數(shù)據(jù)庫(kù)、應(yīng)用服務(wù)模塊、接入服務(wù)模塊、分發(fā)服 務(wù)模塊、存儲(chǔ)服務(wù)模塊、無(wú)線視頻管理模塊、網(wǎng)管服務(wù)模塊及接口模塊等組成。數(shù)據(jù)庫(kù):用于系統(tǒng)平臺(tái)的核心運(yùn)行 數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)的讀寫與保存。由數(shù)據(jù)庫(kù)服務(wù)器和磁盤存儲(chǔ)介質(zhì)組成。應(yīng)用服務(wù)模塊:采用J2EE架構(gòu)完成設(shè)備管理、用戶管理、權(quán)限管理、業(yè)務(wù)管理、日志管理等事務(wù)性處理功能;接入服務(wù)模塊:負(fù)責(zé)響應(yīng)客戶端和設(shè)備提交的系統(tǒng)請(qǐng)求服務(wù),并進(jìn)行視頻分發(fā)和存 儲(chǔ)的調(diào)度管理;分發(fā)服務(wù)模塊:是針對(duì)熱點(diǎn)視頻訪問(wèn),可減少前端的并發(fā)訪問(wèn)量
19、,支持多級(jí)部署, 且有完善的觸發(fā)機(jī)制;存儲(chǔ)服務(wù)模塊:是系統(tǒng)的客戶圖像數(shù)據(jù)存儲(chǔ)管理中心,主要完成圖像中心存儲(chǔ)的管 理和監(jiān)測(cè)功能;無(wú)線視頻管理模塊:利用無(wú)線運(yùn)營(yíng)商的3G網(wǎng)絡(luò),支持使用移動(dòng)手機(jī)實(shí)時(shí)瀏覽各類 視頻采集點(diǎn)的視頻圖像;網(wǎng)管服務(wù)模塊:實(shí)時(shí)監(jiān)控系統(tǒng)中各個(gè)設(shè)備的運(yùn)行狀態(tài),并將顯示給網(wǎng)管人員,在系 統(tǒng)出現(xiàn)異常情況下給出相應(yīng)的告警信息,便于網(wǎng)管人員對(duì)整個(gè)系統(tǒng)的運(yùn)行進(jìn)行配置和管 理;接口模塊:用于將視頻監(jiān)控子系統(tǒng)與其他應(yīng)用系統(tǒng)的對(duì)接互聯(lián)。(2)現(xiàn)場(chǎng)監(jiān)控點(diǎn)目 前視頻監(jiān)控點(diǎn)主要是固定點(diǎn)視頻,一般是對(duì)固定場(chǎng)所的長(zhǎng)期監(jiān)管,并根據(jù)現(xiàn)場(chǎng)的網(wǎng)絡(luò) 傳輸條件選擇有線或無(wú)線傳輸。如街道、廣場(chǎng)、社區(qū)、涵洞及車站碼頭等??梢?/p>
20、將 機(jī) 動(dòng)車占道、亂貼亂畫(huà)、街頭設(shè)攤、路面塌陷、井蓋丟失、排水堵塞、樹(shù)木損毀等管理 問(wèn)題在第一時(shí)間得以了解掌握,并及時(shí)有效處理。主要設(shè)備有攝像機(jī)、防護(hù)罩、視頻編 碼器、支架立桿、防雷器等。如圖所示:(3)監(jiān)控指揮中心監(jiān)控指揮中心主要是對(duì)實(shí)時(shí)視頻的查看、控制,歷史圖像的調(diào)閱, 視頻圖像在監(jiān)控大屏幕上的投放,以及報(bào)警預(yù)案聯(lián)動(dòng)反應(yīng)等。按照多級(jí)部署,設(shè)置1 個(gè)縣級(jí)監(jiān)控中心,并根據(jù)監(jiān)控人員各自職能要求分配相應(yīng)權(quán)限等級(jí)。主要設(shè)備有:主控電腦、數(shù)字顯示終端和電視墻等。視頻監(jiān)控系統(tǒng)的監(jiān)控指揮中 心可納入到整個(gè)數(shù)字城管的指控中心。同時(shí),可與GPS/GIS系統(tǒng)整合,實(shí)現(xiàn)在GIS地 圖上顯示視頻監(jiān)控點(diǎn)的位置,并通過(guò)
21、GIS地圖上直接點(diǎn)擊調(diào)用實(shí)時(shí)/歷史視頻資源。2.2.2視頻接入XX縣“平安城縣”建設(shè)目前已經(jīng)建成大量的視頻監(jiān)控點(diǎn),該部分視頻能夠覆蓋榊 大部分區(qū)域,可以滿足部分城縣管理的需求。該部分視頻的接入,由城管局協(xié)調(diào)視頻系 統(tǒng)的接口服務(wù),由數(shù)字城管應(yīng)用軟件承建商負(fù)責(zé)完成對(duì)接,或采用平臺(tái)接入的方式,在 數(shù)字城管監(jiān)督指揮中心設(shè)置1臺(tái)專用電腦,來(lái)接入已建視頻網(wǎng)絡(luò),同時(shí)和數(shù)字城管業(yè)務(wù) 進(jìn)行對(duì)接,實(shí)現(xiàn)業(yè)務(wù)功能對(duì)接。2.2.3具體功能網(wǎng)絡(luò)化圖像傳輸在淵縣電子政務(wù)網(wǎng)內(nèi),任意一個(gè)授權(quán)用戶都可以通過(guò)瀏覽器均可以觀看來(lái)自現(xiàn)場(chǎng) 攝 像機(jī)的實(shí)時(shí)圖像。每一個(gè)授權(quán)用戶可以觀看的圖像在數(shù)量理論上沒(méi)有限制。圖像監(jiān)視 網(wǎng)絡(luò)內(nèi)部的操作員通
22、過(guò)顯示器以及模擬監(jiān)視器可以觀察所有攝像機(jī)的 圖像。(3)圖像遠(yuǎn)程傳輸XX縣電子政務(wù)網(wǎng)內(nèi)部任意授權(quán)合法用戶均可以登錄到iDVR服務(wù)器,通過(guò)服務(wù)器遠(yuǎn) 程觀看現(xiàn)場(chǎng)圖像(授權(quán)范圍內(nèi))歷史記錄圖像。(4)實(shí)時(shí)抓圖支持對(duì)視頻畫(huà)面的抓圖,并以jpg格式保存和傳輸。2.3設(shè)備選型原則根據(jù)實(shí)際業(yè)務(wù)需求和上述配置原則,物理設(shè)備選型遵循以下要求:物理服務(wù)器的 選型:常規(guī)大內(nèi)存型應(yīng)用,主要用于承載業(yè)務(wù)系統(tǒng)的云主機(jī)服務(wù),采用2路CPU服務(wù) 器,CPU核數(shù)三8核,配置E5-2650及以上的CPU;內(nèi)存2256G;高計(jì)算型應(yīng)用,主要用于數(shù)據(jù)庫(kù)服務(wù)等,采用4路CPU服務(wù)器,CPU核數(shù)28核, 配置E5-4620及以上的CPU
23、;內(nèi)存264G;數(shù)據(jù)庫(kù)區(qū)FC存儲(chǔ)選型:1)存儲(chǔ)設(shè)備支持:FC光纖通道存儲(chǔ)設(shè)備2)支持?jǐn)?shù)據(jù)分層存儲(chǔ),可以在SSD、15K、10K、7.2K硬盤之間動(dòng)態(tài)遷移數(shù)據(jù);3)單臺(tái)陣列要求配置三2個(gè)SAN存儲(chǔ)節(jié)點(diǎn)或控制器;4)實(shí)際配置前端口 24個(gè);后端口速率三6Gb SAS接口;配置10k rpm 900 SAS硬 盤,容量10TB備份IP存儲(chǔ)選型:1)配置2320T總?cè)萘浚淮鎯?chǔ)陣列支持無(wú)限個(gè)Um,每卷支持無(wú)限個(gè)快照;2)本次配置三4個(gè)控制器,所配磁盤陣列可在線擴(kuò)展至232個(gè)控制器,不會(huì)導(dǎo)致 業(yè)務(wù)中斷;3)支持跨存儲(chǔ)設(shè)備的RAID0/1/5/6/10;網(wǎng)絡(luò)設(shè)備選型:1)核心交換機(jī):交換容量17. 5Tbp
24、s,包轉(zhuǎn)發(fā)率5000Mpps;采用主控引擎、交 換引擎、接口單元硬件槽位分離的全分布式架構(gòu);支持1:N、N:l、縱向虛擬化;支持云 中心大二層互聯(lián)技術(shù)。2)服務(wù)器千兆接入交換機(jī),交換容量300Gbps,轉(zhuǎn)發(fā)性能160Mppso3)服務(wù)器萬(wàn)兆接入交換機(jī),交換容量1200Gbps,轉(zhuǎn)發(fā)性能700Mpps;支持 802. IQbg標(biāo)準(zhǔn)協(xié)議;支持全萬(wàn)兆線速轉(zhuǎn)發(fā),40GE上連。4)負(fù)載均衡,支持全面的四至七層負(fù)載均衡和鏈路負(fù)載均衡功能,支持IPv6基礎(chǔ) 特性及IPv6的負(fù)載均衡。5)防火墻,采用核心交換機(jī)相同的架構(gòu),支持N:1安全集群來(lái)統(tǒng)一配置管理;支 持虛擬防火墻功能,支持IPv6基礎(chǔ)特性。6)入侵防
25、御,通過(guò)國(guó)際權(quán)威安全組織(通用漏洞披露組織)兼容性認(rèn)證,支持深 入七層的分析檢測(cè)技術(shù),并能主動(dòng)防御。第3章云平臺(tái)功能設(shè)計(jì)3.1云主機(jī)服務(wù)彈性云主機(jī)服務(wù)允許用戶自由選擇不同標(biāo)準(zhǔn)規(guī)格云主機(jī),智慧哋縣管理綜合指 揮 中心服務(wù)平臺(tái)可根據(jù)需要選擇操作系統(tǒng)種類、VCPU數(shù)量、內(nèi)存容量、系統(tǒng)盤容量, 實(shí)現(xiàn)對(duì)云主機(jī)的靈活定制和動(dòng)態(tài)創(chuàng)建;智慧淵城縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)可以通過(guò) Web控制臺(tái)對(duì)云主機(jī)進(jìn)行創(chuàng)建、開(kāi)機(jī)、關(guān)機(jī)、重啟、續(xù)訂、退訂等操作;允許智慧* 城縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)根據(jù)需要對(duì)云主機(jī)彈性擴(kuò)展內(nèi)存和系統(tǒng)盤容量;智 慧卿 縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)可實(shí)時(shí)查看VCPU使用率、內(nèi)存使用率、磁盤讀 寫、網(wǎng)絡(luò)
26、流量等云主機(jī)重點(diǎn)性能指標(biāo)情況。3.1.1支持多種操作系統(tǒng)彈性云主機(jī)支持主流的Windows和Linux操作系統(tǒng),允許智慧淵城縣管理綜合指 揮中心服務(wù)平臺(tái)自定義個(gè)性化模板。3.1.2支持多種規(guī)格云主機(jī)規(guī)格為虛擬機(jī)的配置模板,定義了虛擬機(jī)的CPU數(shù)量(vCPUs)、內(nèi)存容量 (Memory_MB)、磁盤容量(Disk)及臨時(shí)磁盤(Ephemeral)、Swap分區(qū)等一些參數(shù)。彈性云主機(jī)允許智慧咖縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)根據(jù)不同需求選擇標(biāo)準(zhǔn)配 置或自定義配置,動(dòng)態(tài)升級(jí)vCPU和內(nèi)存配置。也允許智慧噸縣云計(jì)算數(shù)據(jù)中心 服 務(wù)平臺(tái)從兩個(gè)維度擴(kuò)展業(yè)務(wù)服務(wù)能力,一個(gè)維度是在現(xiàn)有彈性云主機(jī)上擴(kuò)展vCPU、 內(nèi)
27、存、磁盤,另一個(gè)維度是在彈性負(fù)載均衡支持下按現(xiàn)有彈性云主機(jī)規(guī)格擴(kuò)展彈性云主 機(jī)數(shù)量,快速提升業(yè)務(wù)服務(wù)能力。規(guī)格配這謹(jǐn)A小里B小型C中至A中型B中型C大垂焰BScVCPU(個(gè))11112 22444888內(nèi)存(G)0.5124248481681632圖標(biāo)準(zhǔn)云主機(jī)規(guī)格智慧堿縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)可以在web控制臺(tái)上可以通過(guò)下圖所示界 面進(jìn) 行云主機(jī)規(guī)格的選擇和定制:選擇配置微型 小型A 小型B中型A 中型B大型A 大型B超大型A 超大型B價(jià)格: 94 元CPU:1核2核4核8核12核16核內(nèi)存:0.5GB1GB2GB4GB圖4-4彈性云主機(jī)規(guī)格選擇界面3.1.3支持快照功能快照用于捕捉硬盤在某一
28、個(gè)時(shí)刻的狀態(tài),未來(lái)可以隨時(shí)恢復(fù)到這個(gè)狀態(tài)。智慧XX 城縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)可以采用快照方式備份當(dāng)前使用的彈性云主機(jī)??煺展δ茉恚旱讓釉趧?chuàng)建虛擬機(jī)時(shí),會(huì)根據(jù)其選用的鏡像,創(chuàng)建一個(gè)基礎(chǔ)緩存鏡像文件, 以便于讓所有使用同一鏡像的虛擬機(jī)不必多次全量拷貝源鏡像;之后在基礎(chǔ)緩存鏡像文件的基 礎(chǔ)上,創(chuàng)建增量鏡像文件,即虛擬機(jī)的系統(tǒng)磁盤。增量快照:通過(guò)對(duì)增量鏡像文件做快照及備份,即完成了對(duì)虛擬機(jī)的增量快照及備 份,因?yàn)樵隽跨R像文件相對(duì)源鏡像文件要小得多,所以增量快照功能完成的速度較快,但是不可獨(dú) 立恢復(fù)。増里備份4快照功能全量快照:將增量快照及備份與基礎(chǔ)緩存鏡像文件轉(zhuǎn)換合并起來(lái),就完成了對(duì)虛擬 機(jī)的全量
29、快照及備份,因?yàn)榛A(chǔ)緩存鏡像文件較大,所以全量快照功能完成的速度較慢,但是可以 獨(dú)立恢復(fù)。3.1.4支持自定義鏡像鏡像,是指云主機(jī)所使用的根分區(qū)或系統(tǒng)盤,可以快速地通過(guò)鏡像復(fù)制出一臺(tái)云主 機(jī),免除傳統(tǒng)冗長(zhǎng)的裝機(jī)過(guò)程。同時(shí)還支持制作鏡像快照,對(duì)云主機(jī)進(jìn)行備份快照,該 快照還能像普通鏡像一樣隨時(shí)創(chuàng)建新的虛機(jī)使用。云平臺(tái)智慧唄縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)自行制作標(biāo)準(zhǔn)格式的系統(tǒng)鏡像,上 傳 到云平臺(tái)后,經(jīng)過(guò)簡(jiǎn)單配置即可以展示在網(wǎng)站上供智慧咖縣云計(jì)算數(shù)據(jù)中心服 務(wù)平 臺(tái)選擇創(chuàng)建基于自定義個(gè)性化模板的彈性云主機(jī)。目前支持的鏡像格式有iso、qcow2、qcow、raw、vmdk等多種模式,常用為qcow2 格
30、式的鏡像。當(dāng)鏡像制作完成后,將上傳到鏡像庫(kù)中,由鏡像管理服務(wù)模塊來(lái)管理所有 的鏡像。3.1.5支持配置動(dòng)態(tài)伸縮智慧咖縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)云平臺(tái)支持對(duì)云主機(jī)配置的動(dòng)態(tài)伸縮,通 過(guò)修改云主機(jī)初始的規(guī)格來(lái)修改云主機(jī)的當(dāng)前配置,可以修改的主要項(xiàng)包括:內(nèi)存容量 (可增減)、cpu數(shù)量(可增減)、磁盤容量(僅增)。動(dòng)態(tài)升級(jí)時(shí)先關(guān)閉虛擬機(jī),之后在啟動(dòng)時(shí)將應(yīng)用新的規(guī)格作為配置模板。3.1.6支持在線遷移智慧咖縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)運(yùn)維管理員登陸運(yùn)維管理平臺(tái),針對(duì)智慧* 城縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)的虛擬機(jī)執(zhí)行遷移操作。遷移是在線熱遷移,遷移 中不 需要關(guān)閉智慧唄縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)云主機(jī),保證了用戶業(yè)
31、務(wù)連續(xù)不 中斷, 為智慧堿縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)的IT管理站帶來(lái)良好體驗(yàn)。在遷移過(guò)程中,目的主機(jī)會(huì)與源主機(jī)建立通信通道,用于接收源主機(jī)發(fā)送過(guò)來(lái)的數(shù) 據(jù);而虛擬機(jī)處于共享存儲(chǔ)之中,這樣就使虛擬機(jī)在遷移時(shí)不需要關(guān)閉電源而使業(yè)務(wù)不 必中斷。3.1.7支持防火墻功能云平臺(tái)基于安全組規(guī)則實(shí)現(xiàn)虛擬防火墻的功能。安全組是云主機(jī)的虛擬網(wǎng)卡上行和 下行流量的防火墻,如下圖所示,表示虛擬網(wǎng)卡的上行安全組規(guī)則。云主機(jī)的所有數(shù)據(jù) 流量都是通過(guò)虛擬網(wǎng)卡進(jìn)出的,安全組包含一組白名單安全組規(guī)則,一個(gè)安全組規(guī)則允 許某一特定數(shù)據(jù)包流入、流出虛擬網(wǎng)卡,從而實(shí)現(xiàn)了類似傳統(tǒng)防火墻的功能。而且與一 般的云平臺(tái)不同,這里的安全組作為
32、一個(gè)防火墻針對(duì)的是某一個(gè)虛擬網(wǎng)卡,而不是一個(gè) 云主機(jī),云主機(jī)如果有多個(gè)虛擬網(wǎng)卡,可以針對(duì)每個(gè)虛擬網(wǎng)卡來(lái)設(shè)置安全組,這樣可以 實(shí)現(xiàn)更加細(xì)粒度控制安全。PublicNetworkQIn stance虛擬防火墻示意圖3.2云存儲(chǔ)服務(wù)3.2.1整體存儲(chǔ)架構(gòu)系統(tǒng)概述*分布式云存儲(chǔ)是為政府/政府提供革命性符合成本效益的高性能存儲(chǔ)平臺(tái)。本系 統(tǒng)的設(shè)計(jì)原則如下:必須考慮到支持TE、PE、EE級(jí)的容量無(wú)縫擴(kuò)展;必須考慮到支持線性的擴(kuò)展;必須考慮到存儲(chǔ)的可靠性和容錯(cuò)性;必須考慮到存儲(chǔ)分層和自動(dòng)負(fù)載均衡;必須考慮到存儲(chǔ)的初建成本和擴(kuò)容成本;必須考慮到異地?cái)?shù)據(jù)容災(zāi),保證最終用戶數(shù)據(jù)的安全性;必須考慮到不被硬件廠商鎖定
33、;必須考慮到運(yùn)維人員的維護(hù)復(fù)雜度,降低運(yùn)維成本;必須考慮到同既有的應(yīng)用程序集成,降低集成復(fù)雜度;基于上述設(shè)計(jì)原則,智 慧咖縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)分布式云存儲(chǔ)系統(tǒng)采用先進(jìn)的分布式對(duì)象存儲(chǔ)設(shè)計(jì),同時(shí)整合文件存儲(chǔ)、塊存儲(chǔ)和對(duì)象存儲(chǔ)三種技術(shù),為各 種不同類型的客戶應(yīng)用提供適合其需求的存儲(chǔ)服務(wù)。系統(tǒng)整體架構(gòu)如下圖所示:分布式云存儲(chǔ)系統(tǒng)整體架構(gòu)豐富的管理分發(fā)功能支持策略管理,如分發(fā)、QoS和存儲(chǔ)分層;提供詳盡的監(jiān)控和報(bào)告;數(shù)據(jù)監(jiān)控和自動(dòng)修復(fù)功能;根據(jù)策略進(jìn)行對(duì)象分發(fā)、對(duì)象復(fù)制和對(duì)象再平衡。高可用性多層級(jí)的可用性設(shè)計(jì)。每臺(tái)節(jié)點(diǎn)均可支持RAID陣列,確保節(jié)點(diǎn)內(nèi)部數(shù)據(jù)安全和高 可用。同時(shí)分布式存儲(chǔ)集群支持實(shí)時(shí)
34、多副本功能。數(shù)據(jù)在集群中實(shí)時(shí)保存n份副本,可 確保任意(n-1)臺(tái)節(jié)點(diǎn)出現(xiàn)故障,數(shù)據(jù)依舊安全且可訪問(wèn)。多數(shù)據(jù)中心的不同云存儲(chǔ)集 群間支持?jǐn)?shù)據(jù)互備互援,確保發(fā)生人力不可控的災(zāi)難時(shí),數(shù)據(jù)依舊安全。卓越的存儲(chǔ)性價(jià)比支持?jǐn)?shù)據(jù)去重、數(shù)據(jù)壓縮和SSD加速功能??捎行Ч?jié)省存儲(chǔ)空間,提高存儲(chǔ)服務(wù)的 成本優(yōu)勢(shì),同時(shí)在可控的成本范圍內(nèi)大幅提升存儲(chǔ)性能。開(kāi)放的存儲(chǔ)硬件選擇底層采用開(kāi)發(fā)式的X86系統(tǒng)構(gòu)架,用戶可根據(jù)情況選擇適合自己的X86硬件架構(gòu)。存儲(chǔ)部署架構(gòu)如下圖所示:業(yè)務(wù)網(wǎng)絡(luò)存儲(chǔ)網(wǎng)絡(luò).對(duì)象存儲(chǔ)網(wǎng)關(guān)群集丿交換機(jī)(、塊/文件存儲(chǔ)網(wǎng)關(guān)群集存儲(chǔ)部署架構(gòu)圖存儲(chǔ)網(wǎng)絡(luò):用于OSD節(jié)點(diǎn)間的存儲(chǔ)數(shù)據(jù)的副本復(fù)制,數(shù)據(jù)修復(fù)和群集狀態(tài)監(jiān)
35、測(cè)。業(yè)務(wù)網(wǎng)絡(luò):用于智慧咖縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)對(duì)存儲(chǔ)的請(qǐng)求,如創(chuàng)建 數(shù) 據(jù),修改數(shù)據(jù)、查詢數(shù)據(jù)和刪除數(shù)據(jù)。 OSD群集:根據(jù)對(duì)業(yè)務(wù)和性能的需求不同,設(shè)計(jì)劃分為3個(gè)存儲(chǔ)池,即對(duì)象存儲(chǔ) 池、塊存儲(chǔ)池和文件存儲(chǔ)池。網(wǎng)關(guān)群集:根據(jù)服務(wù)的對(duì)象不同,設(shè)計(jì)劃分為2個(gè)存儲(chǔ)網(wǎng)關(guān)群集,即對(duì)象存儲(chǔ) 網(wǎng)關(guān)群集、塊文件存儲(chǔ)網(wǎng)關(guān)群集。系統(tǒng)組成的分布式對(duì)象存儲(chǔ)主要分為三大組件:對(duì)象存儲(chǔ)設(shè)備(OSD):可以支持PE級(jí)數(shù)據(jù)對(duì)象的池和統(tǒng)一存儲(chǔ)資源存儲(chǔ)網(wǎng)關(guān)(Gateway):為其他應(yīng)用程序或設(shè)備提供一個(gè)支持標(biāo)準(zhǔn)的文件系統(tǒng)協(xié) 議的掛接點(diǎn),以支持iSCSI、CIFS和NFS標(biāo)準(zhǔn)傳輸協(xié)議。遠(yuǎn)程復(fù)制服務(wù)器(RRS):將數(shù)據(jù)從一個(gè)群集復(fù)制
36、到另一個(gè)群集。3.2.2存儲(chǔ)適應(yīng)性智慧*城縣云計(jì)算數(shù)據(jù)中心服務(wù)云平臺(tái)存儲(chǔ)服務(wù)支持主流的開(kāi)源數(shù)據(jù)庫(kù),提供 完 整的存儲(chǔ)協(xié)議支持:提供 Amazon S3, OpenStack swift, Webdav, CIFS, NFS, iSCSI, FC等標(biāo)準(zhǔn)存儲(chǔ)協(xié)議,讓使用者現(xiàn)有應(yīng)用能完整且無(wú)接縫的遷移。智慧*城縣云計(jì)算數(shù)據(jù)中心服務(wù)云平臺(tái)可保存各種類型的數(shù)據(jù)對(duì)象,不限文件 數(shù) 目和大小,通過(guò)分布式架構(gòu)支持大規(guī)模的請(qǐng)求處理與數(shù)據(jù)傳輸,存儲(chǔ)容量無(wú)限制。通過(guò)分布式架構(gòu)支持大規(guī)模的請(qǐng)求處理與數(shù)據(jù)傳輸,確保對(duì)象存儲(chǔ)服務(wù)的高可用 性,存儲(chǔ)容量和服務(wù)規(guī)模沒(méi)有任何限制,系統(tǒng)規(guī)??梢运綌U(kuò)展。3.2.3存儲(chǔ)服務(wù)性能數(shù)據(jù)
37、安全隔離云存儲(chǔ)提供多用戶的數(shù)據(jù)隔離機(jī)制。系統(tǒng)可為每位用戶創(chuàng)建相互獨(dú)立的存儲(chǔ)池,存 儲(chǔ)于不同存儲(chǔ)池中的數(shù)據(jù)彼此不會(huì)產(chǎn)生任何交疊。同時(shí)可為用戶的存儲(chǔ)池配置專用的存 儲(chǔ)網(wǎng)關(guān),即用戶僅可以通過(guò)配置的專用網(wǎng)關(guān)才可以訪問(wèn)相應(yīng)的數(shù)據(jù)存儲(chǔ)池中的數(shù)據(jù),確 保不同用戶從數(shù)據(jù)訪問(wèn)通路以及數(shù)據(jù)底層存儲(chǔ)都完全做到數(shù)據(jù)安全隔離,實(shí)現(xiàn)針對(duì)IP 地址、用戶、用戶組等設(shè)置訪問(wèn)權(quán)限的控制。分布式存儲(chǔ)性能以下性能測(cè)測(cè)報(bào)告是4測(cè)測(cè)分布式存儲(chǔ)集群上用以下硬件測(cè)測(cè)出測(cè)的效能。SuperMicro 2U12BayCPU: Sandy B. R 6C E5-2630 2.3G 15M 7.2GT 95W x 2RAM: 16GB DDR3-
38、1600 2Rx4 ECC REG DIMM x 9HDD: Seagate 3.5 3. OTB SATA III, 7. 2K RPM x 12NIC: STD Dual-port 10G Ethernet with SFP+ W/ CDR x 2SSD: PCI-based SSD (Fusion 10) Raid6 IOPS測(cè)試性能使用8臺(tái)測(cè)機(jī),在測(cè)機(jī)測(cè)測(cè)行IOMeter做IOPS的測(cè)測(cè): Throughput測(cè)試性能ParametersResultVM1100% read 1MB sequential 10GB disk size235 MB/sVM2100% read 1MB se
39、quential 10GB disk size248 MB/sVM3100% read 1MB sequential 10GB disk size249 MB/sVM4100% read 1MB sequential 10GB disk size221 MB/sVM5100% read 1MB sequential 10GB disk size233 MB/sVM6100% read 1MB sequential 10GB disk size212 MB/sVM7100% read 1MB sequential 10GB disk size244 MB/sVM8100% read 1MB se
40、quential 10GB disk size234 MB/s平均值:234.5 MB/s表 Throughput 測(cè)試 1ParametersResultVM1100% write 1MB sequential 10GB disk size211 MB/sVM2100% write 1MB sequential 10GB disk size206 MB/sVM3100% write 1MB sequential 10GB disk size203 MB/sVM4100% write 1MB sequential 10GB disk size214 MB/sVM5100% write 1MB
41、sequential 10GB disk size200 MB/sVM6100% write 1MB sequential 10GB disk size207 MB/sVM7100% write 1MB sequential 10GB disk size219 MB/sVM8100% write 1MB sequential 10GB disk size208 MB/s平均值:208.5 MB/s表 Throughput 測(cè)試 2三種云存儲(chǔ)產(chǎn)品比較:存儲(chǔ)類型彈性塊存儲(chǔ)文件存儲(chǔ)對(duì)象存儲(chǔ)訪問(wèn)方式本地虛擬磁盤遠(yuǎn)程文件系統(tǒng)HTTP訪問(wèn),通過(guò)標(biāo)準(zhǔn)AmazonS3接口與云主機(jī)綁定綁定不綁定不綁定性能情況帶
42、寬高、延時(shí)小、I/O高帶寬高、延時(shí)較大,隨機(jī)小I/O低-易擴(kuò)充性低高高應(yīng)用場(chǎng)景局域網(wǎng)、對(duì)性能要求高,頻繁的 數(shù)據(jù)修改和讀取,如數(shù)據(jù)庫(kù)。局域網(wǎng),文件共享程度高,對(duì)性能要求不高,海量數(shù)據(jù)存儲(chǔ)。廣域網(wǎng),可隨時(shí)通過(guò)Internet直接訪問(wèn)和修改存儲(chǔ)數(shù)據(jù)。三種云存儲(chǔ)產(chǎn)品對(duì)比圖3.2.4存儲(chǔ)服務(wù)特性支持多主機(jī)訪問(wèn)文件存儲(chǔ)技術(shù)是將分布獨(dú)立的數(shù)據(jù)整合為大型集中化管理的數(shù)據(jù)中心,以面向多個(gè) 不同彈性云主機(jī)提供訪問(wèn)。文件存儲(chǔ)類似于一個(gè)專用的文件服務(wù)器,為數(shù)據(jù)存檔和備份 提供安全耐用的大規(guī)模數(shù)據(jù)存儲(chǔ)服務(wù),且可以無(wú)限擴(kuò)容。安全性文件以多副本方式存儲(chǔ),可防止文件因單點(diǎn)故障導(dǎo)致無(wú)法及時(shí)訪問(wèn)或丟失損壞,同 時(shí)也存儲(chǔ)在一個(gè)設(shè)
43、施內(nèi)的多個(gè)設(shè)備上。無(wú)限擴(kuò)展文件存儲(chǔ)提供基于分布式架構(gòu)的大規(guī)模數(shù)據(jù)存儲(chǔ)服務(wù),可進(jìn)行擴(kuò)展以滿足智慧XX 城縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)的不斷增長(zhǎng)且通常無(wú)法預(yù)測(cè)的存儲(chǔ)要求,文件存儲(chǔ)會(huì)根 據(jù)客戶的存儲(chǔ)容量自動(dòng)擴(kuò)展,文件存儲(chǔ)的容量沒(méi)有上限。掛載多個(gè)存儲(chǔ)實(shí)例彈性塊存儲(chǔ)提供了持久化的、獨(dú)立于主機(jī)生命周期的、高可用的塊存儲(chǔ)設(shè)備服務(wù), 彈性塊存儲(chǔ)可以掛載在任意一個(gè)運(yùn)行中的主機(jī)上,彈性塊存儲(chǔ)結(jié)合彈性云主機(jī)使用,使 數(shù)據(jù)更安全、更具靈活性,特別適合需要建立數(shù)據(jù)庫(kù)、文件系統(tǒng)或可訪問(wèn)原始數(shù)據(jù)塊級(jí) 存儲(chǔ)的應(yīng)用,靈活部署創(chuàng)建后即可對(duì)彈性塊存儲(chǔ)進(jìn)行掛載實(shí)現(xiàn)快速部署,每塊彈性塊存儲(chǔ)可以掛載到任意 一臺(tái)云主機(jī)上,兩者具有不同的生命周
44、期,當(dāng)云主機(jī)被刪除時(shí),彈性塊存儲(chǔ)數(shù)據(jù)仍然存 在,并可以掛載到其它的云主機(jī)上繼續(xù)使用。按需使用智慧*城縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)可申請(qǐng)多個(gè)彈性塊存儲(chǔ),每塊彈性塊存儲(chǔ)申請(qǐng)的最大空間可至2T,智慧栩城縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)可以隨著業(yè)務(wù)的增大 對(duì) 塊存儲(chǔ)彈性擴(kuò)展存儲(chǔ)空間,也可以為主機(jī)掛載更多的彈性塊存儲(chǔ),不再使用時(shí)可通過(guò)簡(jiǎn) 單的web操作進(jìn)行刪除。安全可靠7x24小時(shí)貼心服務(wù),每份彈性塊存儲(chǔ)數(shù)據(jù)在后臺(tái)都存有多分冗余并實(shí)時(shí)同步,保證安全及傳輸效率。3.3云負(fù)載均衡服務(wù)的彈性負(fù)載均衡器是在Hypervisor上以虛機(jī)的方式實(shí)現(xiàn)的負(fù)載均衡功能,支持第4 到7層的負(fù)載均衡,支持web服務(wù)、中間件、數(shù)據(jù)庫(kù)以及其
45、它互聯(lián)網(wǎng)服務(wù),可以實(shí)時(shí)測(cè) 量服務(wù)器利用率和連接負(fù)載,在此基礎(chǔ)上高效地分配統(tǒng)一應(yīng)用業(yè)務(wù)負(fù)載,提供全面的可 視性并有效地管理應(yīng)用性能、安全性和服務(wù)交付。Host負(fù)載均衡邏輯圖彈性負(fù)載均衡器將來(lái)自公網(wǎng)的訪問(wèn)流量分發(fā)到多臺(tái)主機(jī)上,并支持自動(dòng)檢測(cè)并隔離 不可用的主機(jī),從而提高業(yè)務(wù)的服務(wù)能力和可用性。同時(shí),還可以隨時(shí)通過(guò)添加或刪減 主機(jī)來(lái)調(diào)整服務(wù)能力,而且這些操作不會(huì)影響業(yè)務(wù)的正常訪問(wèn);支持豐富的負(fù)載均衡流 量分配算法,包括:輪詢、最小連接數(shù)、權(quán)重+輪詢、響應(yīng)時(shí)間等方式。所有配置下發(fā)到 負(fù)載均衡后都立即生效。3.4虛擬路由器服務(wù)智慧*城縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)提供虛擬路由器服務(wù),主要有兩個(gè)作用: 作為公網(wǎng)
46、與用戶私有網(wǎng)絡(luò)之間的通道,比如開(kāi)啟公網(wǎng)網(wǎng)關(guān)并綁定公網(wǎng)ip之后,便可 以通過(guò)VPN或端口轉(zhuǎn)發(fā)功能從外部訪問(wèn)VDC內(nèi)部網(wǎng)絡(luò)資源。作為智慧糊城縣管理綜合揮中心服務(wù)平臺(tái)多個(gè)私有網(wǎng)絡(luò)之間路由功能,比如開(kāi)啟公網(wǎng)網(wǎng)關(guān)并綁定公網(wǎng)IP 之后,路由器內(nèi)置的SNAT功能可以允許內(nèi)部共享一個(gè)互聯(lián)網(wǎng)出口。默認(rèn)的,只要子 網(wǎng)關(guān)聯(lián)在 同一個(gè)路由器上,多個(gè)子網(wǎng)之間便自動(dòng)打通了三層路由,可以彼此互通了。第4章數(shù)據(jù)安全保障方案4.1云平臺(tái)自身對(duì)數(shù)據(jù)的保護(hù)分布式存儲(chǔ)集群支持實(shí)時(shí)多副本功能。數(shù)據(jù)在集群中實(shí)時(shí)保存n份副本,可確保任 意(n-1)臺(tái)節(jié)點(diǎn)出現(xiàn)故障時(shí)數(shù)據(jù)依舊安全且可訪問(wèn),多數(shù)據(jù)中心的不同云存儲(chǔ)集群間支 持?jǐn)?shù)據(jù)互備互援,確保發(fā)
47、生人力不可控的災(zāi)難時(shí)數(shù)據(jù)依舊安全。當(dāng)數(shù)據(jù)被分布到多個(gè)存儲(chǔ)節(jié)點(diǎn)時(shí),數(shù)據(jù)的安全性及可用性會(huì)隨著節(jié)點(diǎn)的增加而降 低。因此實(shí)時(shí)數(shù)據(jù)的副本抄寫是分布式存儲(chǔ)的必要功能。本系統(tǒng)采用強(qiáng)一致性的寫入策 略,即只有當(dāng)所有的副本寫入完成,客戶端才會(huì)收到寫入成功的響應(yīng),這一策略確保寫 入數(shù)據(jù)的一致性和完整性。如圖所示:測(cè)測(cè)副本彈性管理圖智慧將城縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)云存儲(chǔ)數(shù)據(jù)會(huì)自動(dòng)生成數(shù)據(jù)副本,保障由于 意外的硬件設(shè)備故障導(dǎo)致數(shù)據(jù)丟失。如果云系統(tǒng)數(shù)據(jù)出現(xiàn)損壞,存儲(chǔ)會(huì)根據(jù)數(shù)據(jù)副本對(duì)數(shù)據(jù)自我修復(fù)。存儲(chǔ)為用戶提供快照功能,以便智慧*城縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)根據(jù)需 要,對(duì)自己的數(shù)據(jù)進(jìn)行快照,并根據(jù)需要進(jìn)行快照數(shù)據(jù)還原。云
48、存儲(chǔ)通過(guò)遠(yuǎn)程數(shù)據(jù)備份機(jī)制來(lái)實(shí)現(xiàn)靈活可靠的災(zāi)難備份和恢復(fù),保障數(shù)據(jù)安 全。4.2災(zāi)備方案災(zāi)備方案按照業(yè)務(wù)系統(tǒng)優(yōu)先級(jí)別提供日備份、周備份、月備份,備份數(shù)據(jù)應(yīng)遵 循離岸,多份,加密,易獲取及易恢復(fù)的原則。主要分為以下幾類:虛擬機(jī)備份:虛擬機(jī)備份應(yīng)在每周,確認(rèn)服務(wù)運(yùn)行正常后,制定備份計(jì)劃和類 型,并制定備份時(shí)間應(yīng)為網(wǎng)絡(luò)最空閑時(shí)。在自動(dòng)執(zhí)行計(jì)劃后,應(yīng)確認(rèn)備份時(shí)候完整, 是否有錯(cuò)誤。虛擬機(jī)備份主要方式為:1)虛擬機(jī)配置文件與磁盤文件備份2)虛擬機(jī)快照備份(應(yīng)客戶需求)3)虛擬機(jī)高可用性(包括但不限于HA與FT)操作系統(tǒng)備份:操作系統(tǒng)備份應(yīng)在每日,確認(rèn)服務(wù)運(yùn)行正常后,制定備份計(jì)劃和類型,并制定備份時(shí)間應(yīng)為虛
49、擬機(jī)最空閑時(shí)。在自動(dòng)執(zhí)行計(jì)劃后,應(yīng)確認(rèn)備份時(shí)候完整, 是否有錯(cuò)誤。操作系統(tǒng)備份主要方式為:1)操作系統(tǒng)配置備份(包括但不限于AD備份,DHCP備份,DNS備份)2)操作系統(tǒng)與業(yè)務(wù)應(yīng)用所需關(guān)鍵文件備份數(shù)據(jù)文件備份:數(shù)據(jù)文件備份應(yīng)在每日,確認(rèn)需要備份的存儲(chǔ)盤,制定每日備 份和 備份類型,并制定備份時(shí)間應(yīng)為最小數(shù)據(jù)讀寫時(shí)。在自動(dòng)執(zhí)行計(jì)劃后,應(yīng)確認(rèn) 備份時(shí)候完整,是否有錯(cuò)誤。系統(tǒng)管理人員應(yīng)對(duì)前一日的備份進(jìn)行檢查,確認(rèn)備份 是否成功、完整。系統(tǒng)管理員應(yīng)定期抽樣檢查備份的可用性。數(shù)據(jù)中心災(zāi)備:數(shù)據(jù)中心災(zāi)備,確認(rèn)需要具有多站點(diǎn)恢復(fù)能力的虛擬機(jī)及數(shù)據(jù),制定每日/月備份和備份類型,并制定備份時(shí)間應(yīng)為最小數(shù)據(jù)讀寫
50、與最小網(wǎng)絡(luò)帶寬使用時(shí)。 在自動(dòng)執(zhí)行計(jì)劃后,應(yīng)確認(rèn)備份時(shí)候完整,是否有錯(cuò)誤。系統(tǒng)管理人員應(yīng)對(duì)前一日的備 份進(jìn)行檢查,確認(rèn)備份是否成功、完整。系統(tǒng)管理員應(yīng)定期抽樣檢查備份的可用性。4.3災(zāi)難等級(jí)劃分災(zāi)難級(jí)別劃分主要包含以下幾類:A類:服務(wù)器,存儲(chǔ)與網(wǎng)絡(luò)硬件故障 發(fā)生概率:對(duì)于政企,由于設(shè)備長(zhǎng)時(shí)間運(yùn)行,升級(jí) 所造成,狀況有物理服務(wù)器無(wú)法開(kāi)機(jī),存儲(chǔ)與網(wǎng)絡(luò)設(shè)備無(wú)法運(yùn)行。對(duì)業(yè)務(wù)影響:基于云 與虛擬化技術(shù)的高可用與集群特性,物理硬件對(duì)業(yè)務(wù)影響幾乎為零。B類:人為操作故障發(fā)生概率:日常工作中業(yè)務(wù)人員對(duì)應(yīng)用更新維護(hù),以及使用過(guò)程中 的失誤(如操作不當(dāng)或誤操作造成的文件損壞或數(shù)據(jù)丟失。對(duì)業(yè)務(wù)影響:高。C類:資源不
51、足引起的計(jì)劃性停機(jī)發(fā)生概率:由于操作系統(tǒng)限制或者隨業(yè)務(wù)需求增高導(dǎo) 致的資源不足造成服務(wù)無(wú)法正常運(yùn)行,數(shù)據(jù)丟失等。常見(jiàn)狀況如:重起無(wú)效,須業(yè)務(wù)系 統(tǒng)轉(zhuǎn)移/升級(jí),升級(jí)虛擬機(jī)配置等。對(duì)業(yè)務(wù)影響:基于云與虛擬化技術(shù)的彈性計(jì)算資源分配與操作系統(tǒng)集群特性,資源 不足對(duì)業(yè)務(wù)影響為低。D類:不可抗拒自然因素導(dǎo)致的業(yè)務(wù)中斷 發(fā)生概率:由于自然因素造成服務(wù)無(wú)法正常運(yùn) 行,數(shù)據(jù)丟失等。常見(jiàn)狀況如:地震等。對(duì)業(yè)務(wù)影響:基于云與虛擬化技術(shù)的計(jì)算資源多站點(diǎn)分布,自然因素對(duì)業(yè)務(wù)影響為 低。4.4災(zāi)難恢復(fù)發(fā)生A類災(zāi)難時(shí),災(zāi)難鑒定人員確定災(zāi)難等級(jí)后,組織災(zāi)難恢復(fù)小組,確定恢復(fù)方 案,排除硬件原因,在主機(jī)正常啟動(dòng)后,檢查缺失的文
52、件或不能正常啟動(dòng)的服務(wù),上報(bào) 領(lǐng)導(dǎo)層與客戶,并準(zhǔn)備備份文件進(jìn)行恢復(fù)。發(fā)生B類災(zāi)難時(shí),災(zāi)難發(fā)現(xiàn)人員應(yīng)及時(shí)上報(bào),明確丟失的文件,確定文件丟失原因, 并對(duì)丟失原因和責(zé)任人進(jìn)行記錄。由丟失文件部門提出書(shū)面恢復(fù)文件申請(qǐng),由災(zāi)難鑒定 確定丟失文件,經(jīng)領(lǐng)導(dǎo)層批準(zhǔn)后,準(zhǔn)備備份文件恢復(fù)?;謴?fù)后,由丟失文件所在部門進(jìn) 行確認(rèn)。發(fā)生C類災(zāi)難,由災(zāi)難鑒定人員確定故障,組織災(zāi)難恢復(fù)團(tuán)隊(duì),上報(bào)管理層與客戶:如確認(rèn)為操作系統(tǒng)故障或資源不足所引起宕機(jī)時(shí),先確認(rèn)是否為應(yīng)用服務(wù)器,如有 需要,應(yīng)及時(shí)轉(zhuǎn)移服務(wù),由其他服務(wù)器代為承接業(yè)務(wù),故障服務(wù)器再進(jìn)行維修。如確認(rèn)為系統(tǒng)不能正常工作,但通過(guò)短時(shí)間維護(hù)可以恢復(fù)正常,報(bào)請(qǐng)領(lǐng)導(dǎo)層與客戶,
53、 并對(duì)原因進(jìn)行說(shuō)明,在得到批準(zhǔn)后,實(shí)施全面恢復(fù)(如恢復(fù)快照或虛擬機(jī)磁盤文件)并 斷開(kāi)網(wǎng)絡(luò),在恢復(fù)后由恢復(fù)檢查人員及業(yè)務(wù)應(yīng)用使用部門對(duì)恢復(fù)確認(rèn),再接入網(wǎng)絡(luò),恢 復(fù)后恢復(fù)人員應(yīng)在48小時(shí)內(nèi)對(duì)恢復(fù)后的主機(jī)密切關(guān)注,確認(rèn)恢復(fù)正常后,報(bào)告領(lǐng)導(dǎo)層 及客戶,并對(duì)恢復(fù)情況保留詳細(xì)記錄以備后續(xù)檢查。發(fā)生D類災(zāi)難,由災(zāi)難鑒定人員確定影響規(guī)模,組織災(zāi)難恢復(fù)團(tuán)隊(duì),上報(bào)管理層與 客戶。如確認(rèn)為數(shù)據(jù)中心不能正常工作,報(bào)請(qǐng)領(lǐng)導(dǎo)層與客戶,并對(duì)原因進(jìn)行說(shuō)明,在得 到批準(zhǔn)后,實(shí)施全面業(yè)務(wù)切換至災(zāi)備目標(biāo)數(shù)據(jù)中心并斷開(kāi)網(wǎng)絡(luò),在恢復(fù)后由恢復(fù)檢查人 員及業(yè)務(wù)應(yīng)用使用部門對(duì)恢復(fù)確認(rèn),再接入網(wǎng)絡(luò),恢復(fù)后恢復(fù)人員應(yīng)在48小時(shí)內(nèi)對(duì)恢 復(fù)后的主機(jī)
54、密切關(guān)注,確認(rèn)恢復(fù)正常后,報(bào)告領(lǐng)導(dǎo)層及客戶,并對(duì)恢復(fù)情況保留詳細(xì)記 錄以備后續(xù)檢查。第5章云平臺(tái)運(yùn)維體系設(shè)計(jì)智慧哋縣云計(jì)算數(shù)據(jù)中心服務(wù)云平臺(tái)維護(hù)通過(guò)*云公司自主研發(fā)的運(yùn)維監(jiān)控 平臺(tái)實(shí)現(xiàn)自動(dòng)監(jiān)控和發(fā)現(xiàn)平臺(tái)軟件及環(huán)境故障,通過(guò)公司自主建設(shè)的OSS系統(tǒng)對(duì)平臺(tái) 的機(jī)房環(huán)境及IT設(shè)備進(jìn)行自動(dòng)監(jiān)控。運(yùn)維監(jiān)控通知都能通過(guò)電子郵件,SMS及電話等多種方式達(dá)到維護(hù)人員,故障通知 或者割接、改造等公告也能通過(guò)相應(yīng)的方式送達(dá)云平臺(tái)相關(guān)技術(shù)人員。5.1自動(dòng)監(jiān)控系統(tǒng)自動(dòng)監(jiān)控系統(tǒng)底層通過(guò)對(duì)業(yè)界主流監(jiān)控zabbix軟件進(jìn)行二次開(kāi)發(fā),實(shí)現(xiàn)了對(duì)智慧 *城縣云計(jì)算數(shù)據(jù)中心服務(wù)平臺(tái)云平臺(tái)的任何一臺(tái)物理機(jī)以及虛機(jī)進(jìn)行CPU使用率,
55、內(nèi)存占用率、磁盤讀寫速率,虛擬網(wǎng)卡流量進(jìn)行實(shí)時(shí)監(jiān)控。實(shí)時(shí)了解虛機(jī)健康狀況,并能夠后臺(tái)執(zhí)行開(kāi)關(guān)機(jī)、重啟以及宿主機(jī)遷移操作。5.2自動(dòng)告警系統(tǒng)云平臺(tái)自動(dòng)告警系統(tǒng)使用兩個(gè)不同的視圖,分別從資源池、物理機(jī)宏觀拓?fù)浣嵌扰c 虛擬設(shè)備告警詳情列表角度展現(xiàn)實(shí)時(shí)告警并記錄歷史告警,并對(duì)重大告警喇叭播放的同 時(shí)進(jìn)行郵件與短信下發(fā)運(yùn)維值班人員。自動(dòng)告警內(nèi)容方面分為系統(tǒng)告警、與性能告警,并可以配置告警告警規(guī)則與處置規(guī) 則。系統(tǒng)告警將反饋底層異常狀態(tài),對(duì)虛機(jī)心跳中斷、虛機(jī)脫網(wǎng)等情況進(jìn)行告警,并給 出解釋說(shuō)明。性能告警實(shí)現(xiàn)了對(duì)Hypervisor物理機(jī)與虛擬機(jī)的CPU使用率,內(nèi)存占用率、磁盤 讀寫速率,虛擬網(wǎng)卡流量設(shè)置閾值告警。拓?fù)浣嵌日故静煌Y源池,物理機(jī)以及虛機(jī)宿主機(jī)告警,并用不
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 道路工程機(jī)械加盟合同
- 服裝行業(yè)合伙協(xié)議范本
- 政府專項(xiàng)貸款合同模板
- 共同經(jīng)營(yíng)電子產(chǎn)品商店協(xié)議書(shū)范本
- 賬戶監(jiān)管協(xié)議書(shū)范例
- 標(biāo)準(zhǔn)范本:2024年購(gòu)銷合同協(xié)議書(shū)
- 2024年商品買賣合同范例
- 現(xiàn)代室內(nèi)裝潢設(shè)計(jì)合同范本
- 個(gè)人住房裝修合同2024年
- 陜西省漢中市普通高中十校聯(lián)盟2024年秋季學(xué)期高一年級(jí)期中考試語(yǔ)文試題
- 如何培養(yǎng)學(xué)生良好的雙姿習(xí)慣(精)
- 計(jì)算機(jī)及外部設(shè)備裝配調(diào)試員國(guó)家職業(yè)技能標(biāo)準(zhǔn)(2019年版)
- GB18613-2012中小型異步三相電動(dòng)機(jī)能效限定值及能效等級(jí)
- 《臨床決策分析》課件.ppt
- 家風(fēng)家訓(xùn)PPT課件
- 淚道沖洗PPT學(xué)習(xí)教案
- 淺談校園影視在學(xué)校教育中的作用
- 無(wú)公害農(nóng)產(chǎn)品查詢
- 試劑、試藥、試液的管理規(guī)程
- 研究生課程應(yīng)用電化學(xué)(課堂PPT)
- 通信綜合網(wǎng)管技術(shù)規(guī)格書(shū)doc
評(píng)論
0/150
提交評(píng)論