版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、省級政務(wù)云兩地三中心災(zāi)備建設(shè)方案 目 錄 TOC o 1-3 h z u HYPERLINK l _Toc524552520 第1章 建設(shè)目標(biāo)、范圍、任務(wù) 建設(shè)目標(biāo)、范圍、任務(wù)建設(shè)目標(biāo)以國務(wù)院辦公廳關(guān)于促進電子政務(wù)協(xié)調(diào)發(fā)展的指導(dǎo)意見為指導(dǎo),統(tǒng)籌推進省電子政務(wù)基礎(chǔ)設(shè)施提升、電子政務(wù)業(yè)務(wù)系統(tǒng)協(xié)同發(fā)展、信息資源共享共用和數(shù)據(jù)開放利用;按照湘府閱201553號文件要求,以資源整合、集約建設(shè)、穩(wěn)步推進為原則,建成安全可靠、統(tǒng)一高效、國內(nèi)領(lǐng)先的云計算平臺并開展示范應(yīng)用,為全省各級部門提供彈性的云計算和云存儲能力、政務(wù)外網(wǎng)承載服務(wù)與應(yīng)用能力,基本滿足省直部門“十三五”期間非涉密業(yè)務(wù)的統(tǒng)一網(wǎng)絡(luò)、計算資源、存儲
2、資源、數(shù)據(jù)庫服務(wù)、備份服務(wù)、安全服務(wù)等需求,提升政府效能,促進政府管理創(chuàng)新,達到簡政、興業(yè)、惠民的目標(biāo)。建設(shè)范圍省級電子政務(wù)外網(wǎng)主要滿足各級政府部門社會管理、公共服務(wù)等方 面的需求,為各省直部門的非涉密電子政務(wù)業(yè)務(wù)提供承載服務(wù)。本次建設(shè)省級電子政務(wù)外網(wǎng)統(tǒng)一云平臺,總體框架為“1+2+N”, 即“1網(wǎng)、2中心、N多應(yīng)用云”,省本級政務(wù)大數(shù)據(jù)中心,初步形成“8+3+5”的基本框架。具體業(yè)務(wù)目標(biāo)主要包括: “一個網(wǎng)絡(luò)”優(yōu)化升級電子政務(wù)外網(wǎng)平臺,滿足省直部門間以及省 到市、市到縣網(wǎng)絡(luò)傳輸和承載的需求; “兩個中心”建設(shè)云計算中心、大數(shù)據(jù)中心,滿足省直部門十三五期間非涉密業(yè)務(wù)需求,為政府領(lǐng)導(dǎo)提供科學(xué)、合
3、理的決策支持。 “N 朵應(yīng)用云”建設(shè)基于云平臺的 N 個全省性應(yīng)用系統(tǒng),包括政務(wù) 服務(wù)、政務(wù)管理、政務(wù)行業(yè)、政務(wù)決策和政務(wù)辦公等領(lǐng)域。 “8大基礎(chǔ)數(shù)據(jù)庫、主題數(shù)據(jù)庫”完成人口、法人、宏觀、地理空間、政務(wù)服務(wù)信息、工商企業(yè)、信用信息、電子證照等8大基礎(chǔ)數(shù)據(jù)庫、主題數(shù)據(jù)庫的建設(shè)、遷移、備份共享; “3大平臺”完成大數(shù)據(jù)智能分析平臺、數(shù)據(jù)交換和共享平臺、數(shù)據(jù)開放平臺3大平臺; “5大示范工程”完成全省旅游大數(shù)據(jù)分析、12345服務(wù)平臺、區(qū)域經(jīng)濟臉譜大數(shù)據(jù)分析、省互聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展?fàn)顩r分析、省政府網(wǎng)站群智能監(jiān)測分析5大示范工程;建設(shè)建設(shè)統(tǒng)一的安全體系;建設(shè)統(tǒng)一運維管理機制;設(shè)計遷移策略,完成部分系統(tǒng)的遷移
4、;明確云平臺建設(shè)、管理、運營模式,節(jié)約投資,提升服務(wù)質(zhì)量。建設(shè)任務(wù)充分考慮省級電子政務(wù)外網(wǎng)統(tǒng)一云平臺計算、存儲資源需求的階段性和應(yīng)用系統(tǒng)建設(shè)的復(fù)雜性,為了保證投資的有效使用,采用分期建設(shè)的原則。(一)第一期2016年1完成省電子政務(wù)外網(wǎng)的升級改造;2建設(shè)40%的計算、存儲資源;3啟動大數(shù)據(jù)中心建設(shè);4啟動N朵云建設(shè)。(二)第二期2017年1建設(shè)60%的計算、存儲資源;2完成災(zāi)備中心建設(shè);3完成大數(shù)據(jù)中心建設(shè);4完成N朵應(yīng)用云的部分建設(shè)。(三)第三期2018年-2020年1全面完成N應(yīng)用朵云建設(shè)。其中,本期云平臺基礎(chǔ)設(shè)施部分的建設(shè)任務(wù)具體包括以下:完成省電子政務(wù)外網(wǎng)升級改造(含安全平臺);建設(shè)主
5、數(shù)據(jù)中心、同城雙活數(shù)據(jù)中心40%的計算、存儲資源,數(shù)據(jù)交換和共享平臺;建設(shè)政府協(xié)同辦公平臺、政務(wù)安全郵箱;提供省政府門戶網(wǎng)站群五年的運維服務(wù);提供統(tǒng)一的運維管理服務(wù)(五年),確保本期建設(shè)的政務(wù)外網(wǎng)、安全體系、云計算中心安全穩(wěn)定運行。省級云計算中心方案整體架構(gòu) (圖示:數(shù)據(jù)中心架構(gòu)設(shè)計)湖南政務(wù)云數(shù)據(jù)中心采用標(biāo)準(zhǔn)化、開放和高擴展的云計算架構(gòu),支撐省政府各部門的政務(wù)外網(wǎng)、互聯(lián)網(wǎng)等多種不同業(yè)務(wù)服務(wù)。(1)網(wǎng)絡(luò)資源設(shè)計:網(wǎng)絡(luò)采用扁平化二層架構(gòu),分為核心層和接入層,提高性能,減少時延;網(wǎng)絡(luò)大二層部署,保證虛擬機在資源池內(nèi)部的熱遷移能力;核心交換機旁掛負載均衡器,提供負載均衡增值服務(wù);防火墻支持虛擬防火墻
6、能力,實現(xiàn)業(yè)務(wù)系統(tǒng)之間的安全隔離。外網(wǎng)服務(wù)區(qū)與互聯(lián)網(wǎng)服務(wù)區(qū)之間網(wǎng)絡(luò)通過部署數(shù)據(jù)交換平臺實現(xiàn)不同業(yè)務(wù)域之間的安全隔離。(2)計算資源設(shè)計:采用標(biāo)準(zhǔn)化的X86物理服務(wù)器,構(gòu)建計算資源池。采用OpenStack開放架構(gòu),支持Xen、KVM等主流虛擬化平臺。X86服務(wù)器根據(jù)業(yè)務(wù)系統(tǒng)對資源的不同需求,配置不同的產(chǎn)品型號及物理配置,劃分高性能計算區(qū)、通用性能計算區(qū),分別作為虛擬化資源和物理機資源。(3)存儲資源設(shè)計:多樣化存儲部署,滿足不同業(yè)務(wù)系統(tǒng)的需求,降低存儲的投資成本。對于數(shù)據(jù)庫、VM文件系統(tǒng)采用FC SAN進行承載;對于非結(jié)構(gòu)化數(shù)據(jù)、虛擬化鏡像等數(shù)據(jù)存儲,建議采用分布式文件系統(tǒng)存儲承載,保障存儲性
7、能和擴容能力。(4)業(yè)務(wù)云化設(shè)計:根據(jù)各政府部門業(yè)務(wù)對云資源的不同需求,以及業(yè)務(wù)云化的難度,分批逐步的將現(xiàn)網(wǎng)業(yè)務(wù)系統(tǒng)遷移至云服務(wù)商政務(wù)云,實現(xiàn)更多政務(wù)業(yè)務(wù)的云化。(5)云管理平臺設(shè)計: 構(gòu)建統(tǒng)一云管理平臺,通過對政務(wù)云基礎(chǔ)資源的抽象和資源池化,提供自助式的IaaS、PaaS、SaaS服務(wù)。政府客戶可通過云管理平臺統(tǒng)一門戶自助申請云服務(wù),并進行靈活的管理。同時,云管理平臺也負責(zé)對政務(wù)云所有基礎(chǔ)資源進行統(tǒng)一的運維管理。容災(zāi)備份建設(shè)方案兩地三中心容災(zāi)技術(shù)方案演進路線基于目前的情況及省級電子政務(wù)外網(wǎng)的發(fā)展規(guī)劃,我們?yōu)槭〖夒娮诱?wù)外網(wǎng)設(shè)計一個整體的備份中心解決方案。租用電信運營商機房新建云計算中心,省政
8、府機關(guān)二院省電子政務(wù)外網(wǎng)機房改建成為同城關(guān)鍵業(yè)務(wù)雙活中心和數(shù)據(jù)備份中心,在異地(某市州)構(gòu)建一個災(zāi)備數(shù)據(jù)中心。備份中心全部建成后,在備份中心配置相應(yīng)基礎(chǔ)設(shè)施和容災(zāi)系統(tǒng),能夠防范各種硬件物理故障:構(gòu)建存儲冗余系統(tǒng)防范存儲單點故障,確保存儲故障或局部災(zāi)難時業(yè)務(wù)不停頓,數(shù)據(jù)不丟失(RPO=0,RTO=0),地區(qū)性災(zāi)難發(fā)生時,異地有冗余數(shù)據(jù)(RPO0),可用于快速恢復(fù)業(yè)務(wù);構(gòu)建高可用性的主機HA集群、虛擬化群集來防范主機單點故障和主數(shù)據(jù)中心災(zāi)難故障;構(gòu)建DNS系統(tǒng)、全局負載均衡、本地負載均衡群集來防范應(yīng)用主機的單點故障和數(shù)據(jù)中心災(zāi)難,確保應(yīng)用訪問路徑的雙活;構(gòu)建冗余的網(wǎng)絡(luò)出口鏈路;確保當(dāng)生產(chǎn)中心出現(xiàn)重
9、大或災(zāi)難故障時,系統(tǒng)自動或半自動切換到災(zāi)備中心繼續(xù)運行,保證業(yè)務(wù)系統(tǒng)的高可用性運轉(zhuǎn),實現(xiàn)整個業(yè)務(wù)系統(tǒng)的業(yè)務(wù)連續(xù)性?;谑〖夒娮诱?wù)外網(wǎng)建設(shè)的總體建設(shè)目標(biāo),結(jié)合目前的實際環(huán)境與現(xiàn)狀,我們按照”整體規(guī)劃,逐步演進,分階段實施”的建設(shè)原則,規(guī)劃以下幾個建設(shè)階段:一期工程建設(shè): 完成主數(shù)據(jù)中心和同城雙活數(shù)據(jù)中心建設(shè),實現(xiàn)同城雙活容災(zāi)備份系統(tǒng)。在主數(shù)據(jù)中心和同城雙活數(shù)據(jù)中心(省政府機關(guān)二院省電子政務(wù)外網(wǎng)機房改造)構(gòu)建雙活存儲系統(tǒng)、數(shù)據(jù)庫群集、虛擬化群集、負載均衡群集及必要的基礎(chǔ)條件,通過數(shù)據(jù)級備份(容災(zāi))系統(tǒng),將主生產(chǎn)中心(新建主生產(chǎn)中心,租用電信運營商機房)的關(guān)鍵業(yè)務(wù)數(shù)據(jù)全部實時同步到備份中心,確保主
10、生產(chǎn)中心重大故障或災(zāi)難情況下關(guān)鍵業(yè)務(wù)數(shù)據(jù)不丟失(RPO=0)。在存儲復(fù)制同步的基礎(chǔ)上,在備份中心構(gòu)建關(guān)鍵應(yīng)用(業(yè)務(wù))處理(主機)設(shè)備,在備份中心部署主生產(chǎn)中心的相同處理能力的應(yīng)用(業(yè)務(wù))系統(tǒng),在ORACLE數(shù)據(jù)庫RAC群集以及應(yīng)用負載均衡系統(tǒng)的前提下,通過應(yīng)用級備份(容災(zāi))系統(tǒng),實現(xiàn)主生產(chǎn)中心(新建主生產(chǎn)中心,租用電信運營商機房)和備份中心(省政府機關(guān)二院省電子政務(wù)外網(wǎng)機房改造)的雙活雙中心容災(zāi)架構(gòu),即兩個中心運行同一個業(yè)務(wù)系統(tǒng), 提高系統(tǒng)的負載能力, 同時當(dāng)兩個中心任意一個故障或災(zāi)難時候, 關(guān)鍵業(yè)務(wù)系統(tǒng)在應(yīng)用架構(gòu)能夠支持的前提下能夠完全不中斷無縫切換到另一個中心繼續(xù)運行(RPO=0,RTO=
11、0)。二期工程建設(shè): 建立兩地三中心容災(zāi)備份系統(tǒng);在第1階段雙活雙中心備份系統(tǒng)建設(shè)基礎(chǔ)上,建設(shè)異地備份中心,在異地備份中心構(gòu)建備份存儲系統(tǒng)及必要的基礎(chǔ)條件,通過數(shù)據(jù)級備份(容災(zāi))系統(tǒng),將雙活生產(chǎn)中心(新建云計算中心和省政府機關(guān)二院電子政務(wù)外網(wǎng)機房)的業(yè)務(wù)數(shù)據(jù)全部復(fù)制到備份中心,確保主生產(chǎn)中心重大故障或災(zāi)難情況下業(yè)務(wù)數(shù)據(jù)不丟失(RPO=0)。上述兩個不同設(shè)計階段,按照建設(shè)的先后順序,同城雙活容災(zāi)可以平滑的過渡遷移到兩地三中心階段。通過兩地三中心的建設(shè),省級電子政務(wù)外網(wǎng)數(shù)據(jù)中心的災(zāi)難恢復(fù)能力達到“信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范”國家標(biāo)準(zhǔn)GB/T 20988-2007的6級,即RTO為數(shù)分鐘,RPO為0,部分
12、關(guān)鍵業(yè)務(wù)RTO可以達到0的水平。技術(shù)架構(gòu)同城雙活技術(shù)架構(gòu)雙活數(shù)據(jù)中心解決方案是指兩個數(shù)據(jù)中心同時處于運行狀態(tài),同時承擔(dān)業(yè)務(wù),提高數(shù)據(jù)中心的整體服務(wù)能力和系統(tǒng)資源利用率。兩個數(shù)據(jù)中心的數(shù)據(jù)實時保持一致,當(dāng)單設(shè)備故障甚至一個數(shù)據(jù)中心故障時,業(yè)務(wù)自動切換,數(shù)據(jù)零丟失,業(yè)務(wù)零中斷。雙活數(shù)據(jù)中心解決方案是端到端的4層雙活方案,分別為:存儲層、數(shù)據(jù)庫層、應(yīng)用層、和網(wǎng)絡(luò)層,消除單點故障,保證業(yè)務(wù)連續(xù)性。存儲雙活:雙活中心采用冗余光纖互聯(lián),并采用DWDM進行環(huán)形保護,實現(xiàn)FC SAN的互聯(lián)。存儲虛擬化采用專用的虛擬化引擎或者主機卷管理軟件對本地核心存儲中的卷與遠端核心存儲中的卷實現(xiàn)卷級別上的RAID1,即雙活
13、分布虛擬卷,實現(xiàn)兩個數(shù)據(jù)中心不同存儲上的不同的物理卷的數(shù)據(jù)層面雙活。雙活數(shù)據(jù)中心的數(shù)據(jù)復(fù)制采用同步復(fù)制技術(shù),實現(xiàn)RPO=0、即數(shù)據(jù)零丟失。數(shù)據(jù)庫雙活:對于采用Active-Active群集部署的數(shù)據(jù)庫系統(tǒng),比如Oracle RAC,在網(wǎng)絡(luò)大二層技術(shù)和存儲數(shù)據(jù)鏡像共享技術(shù)的支持下,實現(xiàn)跨站點數(shù)據(jù)庫節(jié)點雙活和事務(wù)并行處理。對于Active-Standby群集部署的數(shù)據(jù)庫系統(tǒng),跨站點數(shù)據(jù)庫群集實現(xiàn)故障切換。應(yīng)用雙活:基于B/S三層架構(gòu)的應(yīng)用采用全局負載均衡及服務(wù)器負載均衡,并結(jié)合中間件的軟件集群技術(shù)實現(xiàn)應(yīng)用雙活及負載均衡;基于C/S架構(gòu)的應(yīng)用可采用云資源池的跨站點遷移并結(jié)合網(wǎng)絡(luò)大二層技術(shù),實現(xiàn)應(yīng)用的
14、在線冗余保護和快速切換。網(wǎng)絡(luò)雙活:主數(shù)據(jù)中心和同城雙活中心采用雙鏈路分別和電子政務(wù)網(wǎng)、互聯(lián)網(wǎng)連接,同時雙活中心采用冗余光纖互聯(lián),并采用DWDM進行環(huán)形保護,實現(xiàn)鏈路級的雙活。INTERNET及內(nèi)網(wǎng)終端接入采用全局負載均衡、鏈路負載均衡、本地服務(wù)器負載均衡,同時結(jié)合DNS域名解析技術(shù)實現(xiàn)終端接入的網(wǎng)絡(luò)雙活。雙活中心的網(wǎng)絡(luò)通過大二層局域網(wǎng)延展的方式,在數(shù)據(jù)中心間擴展局域網(wǎng)(VLAN)的連接,支持應(yīng)用集群跨地域部署和靈活遷移,支持雙活數(shù)據(jù)中心部署,提供更大范圍的資源整合和靈活調(diào)配。兩地三中心技術(shù)架構(gòu)在同城雙活的基礎(chǔ)上,另外再異地建設(shè)一個容災(zāi)備份中心,通過存儲遠程復(fù)制技術(shù)和數(shù)據(jù)備份技術(shù),實現(xiàn)雙中心業(yè)務(wù)
15、數(shù)據(jù)的異地備份,當(dāng)雙中心出現(xiàn)區(qū)域災(zāi)難,可確保業(yè)務(wù)數(shù)據(jù)不丟失。容災(zāi)設(shè)計與實施方法論從整個計算機系統(tǒng)的發(fā)展來看,災(zāi)難備份經(jīng)過了一個很長時間的發(fā)展過程,在上個世紀60年代,通常進行的都是集中式處理系統(tǒng),每個系統(tǒng)具備一些簡單的災(zāi)難恢復(fù)計劃,通?;謴?fù)時間也很長,都以周為單位計算,進行的數(shù)據(jù)備份和恢復(fù)也都處于被動式的模式。到了70年代,隨著計算機系統(tǒng)的逐漸普及,應(yīng)用逐漸有集中式系統(tǒng)轉(zhuǎn)到分散式系統(tǒng),這個時候,系統(tǒng)開始考慮一些簡單的業(yè)務(wù)恢復(fù)計劃,恢復(fù)的時間也開始以天為單位。到了90年代,網(wǎng)絡(luò)的飛速發(fā)展,系統(tǒng)有開始走向集中,這個時候,對業(yè)務(wù)的連續(xù)性要求就更高,要求恢復(fù)時間也小時為單位,系統(tǒng)需要考慮避免高可用的風(fēng)
16、險。到了今天,企業(yè)應(yīng)用系統(tǒng)進一步飛速發(fā)展,業(yè)務(wù)要求能夠達到行業(yè)級別的業(yè)務(wù)連續(xù)計劃,此時,要求實現(xiàn)業(yè)務(wù)系統(tǒng)的更高可用性,恢復(fù)時間甚至要求達到實時的水平。業(yè)務(wù)的發(fā)展使得企業(yè)對業(yè)務(wù)連續(xù)性的要求也越來越高。 在業(yè)務(wù)連續(xù)性中,以下幾個概念非常重要,它們也是衡量業(yè)務(wù)持續(xù)及災(zāi)難備份需求的指標(biāo)。恢復(fù)時間目標(biāo)(RTO)恢復(fù)時間目標(biāo)(Recovery Time Objective,簡稱RTO)是指災(zāi)難發(fā)生后,從I/T系統(tǒng)宕機導(dǎo)致業(yè)務(wù)停頓時刻開始,到IT系統(tǒng)恢復(fù)至可支持各部門運作、業(yè)務(wù)恢復(fù)運營之時,此兩點之間的時間段稱為RTO。一般而言,RTO時間越短,即意味要求在更短的時間內(nèi)恢復(fù)業(yè)務(wù)至可使用狀態(tài)。雖然從管理的角度
17、而言,RTO時間越短越好,但是,這同時也意味著更多成本的投入。對于不同行業(yè)的企業(yè)來說,其RTO目標(biāo)一般是不相同的。即使是在同一行業(yè),各企業(yè)因業(yè)務(wù)發(fā)展規(guī)模的不同,其RTO目標(biāo)也會不盡相同。RTO目標(biāo)的確定可以用下圖來說明: 如上所說,RTO目標(biāo)越短,成本投入也越大。另一方面,各企業(yè)都有其在該發(fā)展階段的單位時間贏利指數(shù),該指數(shù)是通過業(yè)務(wù)影響分析(Business Impact Analysis)咨詢服務(wù),以訪談、問答和咨詢的方式得到確定的。在確定了企業(yè)的單位時間贏利指數(shù)后,就可以計算出業(yè)務(wù)停頓隨時間而造成的損失大小。如上圖,結(jié)合這兩條曲線關(guān)系,我們將可以找到對該企業(yè)而言比較適合的RTO目標(biāo),即在該
18、目標(biāo)定義下,用于災(zāi)難備援的投入應(yīng)不大于對應(yīng)的業(yè)務(wù)損失?;謴?fù)點目標(biāo)(RPO)恢復(fù)點目標(biāo)(Recovery Point Objective,簡稱RPO)是指對系統(tǒng)和應(yīng)用數(shù)據(jù)而言,要實現(xiàn)能夠恢復(fù)至可以支持各部門業(yè)務(wù)運作,系統(tǒng)及生產(chǎn)數(shù)據(jù)應(yīng)恢復(fù)到怎樣的更新程度。這種更新程度可以是上一周的備份數(shù)據(jù),也可以是上一次交易的實時數(shù)據(jù)。與RTO目標(biāo)不同,RPO目標(biāo)的確定不是依賴于企業(yè)業(yè)務(wù)規(guī)模,而是取決于企業(yè)業(yè)務(wù)的性質(zhì)和業(yè)務(wù)操作對數(shù)據(jù)的依賴程度。因此,RPO目標(biāo)對相同行業(yè)的企業(yè)而言會有些接近,而對于不同行業(yè)的企業(yè)來說仍可能會有較大差距。RPO目標(biāo)的確立仍是以咨詢的方式,通過與各業(yè)務(wù)部門主管的交流,了解業(yè)務(wù)流程和IT
19、應(yīng)用的關(guān)系,以及通過回答問卷的方式,確定能夠支持該企業(yè)核心業(yè)務(wù)的RPO目標(biāo)。通??梢杂靡韵?到5的等級來衡量企業(yè)業(yè)務(wù)連續(xù)性的成熟度。 在長年災(zāi)難服務(wù)提供的過程中,中國電信在業(yè)務(wù)持續(xù)服務(wù)方面形成了一套完整的實施方法論,如下圖所示,它包括分析、設(shè)計、和實施三個階段的咨詢和技術(shù)服務(wù),中國電信又將該三個階段工作劃分為七個步驟,即“風(fēng)險分析”、“業(yè)務(wù)影響分析”、“可恢復(fù)性評估”、“恢復(fù)策略制定”、“災(zāi)難恢復(fù)方案設(shè)計”、“業(yè)務(wù)持續(xù)計劃設(shè)計”和“業(yè)務(wù)持續(xù)計劃演練和維護”。 中國電信采用業(yè)務(wù)持續(xù)咨詢方法論來規(guī)劃和設(shè)計出企業(yè)的業(yè)務(wù)持續(xù)計劃。該廣受驗證的實施方法論的7個步驟由三個階段串連而成: 分析階段包含“風(fēng)險
20、評估”、“業(yè)務(wù)影響分析”、及可恢復(fù)性評估。此階段提供對災(zāi)害潛在損失、各種沖擊、及現(xiàn)行恢復(fù)能力等方面的量化及質(zhì)化的分析評估,同時也根據(jù)需求來向客戶建議必需的措施及迅速的解決方案來實現(xiàn)完全的恢復(fù)能力。設(shè)計階段包含“恢復(fù)策略制定”及企業(yè)“災(zāi)難恢復(fù)整體解決方案設(shè)計”。此階段根據(jù)分析階段的結(jié)果來制定出企業(yè)的恢復(fù)策略,規(guī)劃及設(shè)計出為實現(xiàn)企業(yè)業(yè)務(wù)持續(xù)所必需的行動與解決方案,以達到企業(yè)在組織、流程及技術(shù)層面的恢復(fù)需求。實施階段包含“業(yè)務(wù)持續(xù)計劃設(shè)計”及“業(yè)務(wù)持續(xù)計劃的演練和維護”。此階段將建立業(yè)務(wù)持續(xù)計劃、實施業(yè)務(wù)持續(xù)計劃的桌面演練、執(zhí)行業(yè)務(wù)持續(xù)計劃及災(zāi)難恢復(fù)的測試、設(shè)計業(yè)務(wù)持續(xù)計劃的維護方案。其中,業(yè)務(wù)持續(xù)
21、計劃中將包括企業(yè)的“業(yè)務(wù)恢復(fù)計劃”和“技術(shù)恢復(fù)計劃”。建議,企業(yè)的業(yè)務(wù)持續(xù)計劃的設(shè)計及擬定應(yīng)該是一個持續(xù)并循環(huán)往復(fù)的過程,每一階段都能持續(xù)不斷的改進,并且在實際工作中體現(xiàn)有效性與高效性。上述業(yè)務(wù)持續(xù)計劃的分析、設(shè)計與執(zhí)行三個階段,正如上圖所繪,可根據(jù)其特性分類,分為與企業(yè)業(yè)務(wù)相關(guān)及技術(shù)相關(guān)的不同步驟,共分為以下七個步驟:風(fēng)險分析業(yè)務(wù)影響分析可恢復(fù)性評估恢復(fù)策略制定災(zāi)難恢復(fù)方案設(shè)計業(yè)務(wù)持續(xù)計劃設(shè)計業(yè)務(wù)持續(xù)計劃的演練與維護以下將分別介紹這七個步驟。風(fēng)險分析風(fēng)險分析(Risk Analysis)分析可能對企業(yè)業(yè)務(wù)系統(tǒng)和IT系統(tǒng)的安全性造成威脅的各種風(fēng)險因素并提出相應(yīng)的對策和改進方案。因此,風(fēng)險分析的
22、工作將不僅僅只是提出補救措施,還將定義出對于風(fēng)險的預(yù)防措施。 風(fēng)險分析的目標(biāo)是:對企業(yè)可能面臨的主要威脅性風(fēng)險進行質(zhì)與量化的評估;按照各風(fēng)險的嚴重性,分別定義其所處的風(fēng)險層次和級別;根據(jù)各風(fēng)險發(fā)生的可能性,分別定義其所處的風(fēng)險級別;定義風(fēng)險矩陣圖(如上圖所示),提出應(yīng)對風(fēng)險的建議(避免風(fēng)險、轉(zhuǎn)移風(fēng)險、或接受風(fēng)險)。風(fēng)險分析的進行方式為:首先通過召開啟動會議來說明風(fēng)險分析的目的、參加人員需求與職責(zé)、設(shè)計及分發(fā)調(diào)查問卷、安排訪談與現(xiàn)場巡視的進度。辨認現(xiàn)存風(fēng)險:搜集財務(wù)資料、實施人員訪談、巡視當(dāng)?shù)貭顩r、檢查物理設(shè)施、分析搜集到的數(shù)據(jù)、審核各設(shè)施和設(shè)備的操作程序(包括IT和非IT)。評估風(fēng)險沖擊:檢視
23、損失沖擊、開發(fā)評估分析細節(jié)、記錄評估結(jié)論、定義沖擊的等級和層次。確定合理的減低風(fēng)險威脅的處理方法和優(yōu)先次序。記錄風(fēng)險分析工作中的發(fā)現(xiàn)與建議。 制作書面風(fēng)險分析報告向管理階層匯報工作成果和最終交付項目。實施風(fēng)險分析給客戶帶來的效益是:降低由于不安全、不可靠與不適宜的管理所造成的威脅和風(fēng)險。風(fēng)險分析的對象通常為“基礎(chǔ)設(shè)施與技術(shù)”、“人的因素”、和“不可抗力”三個層面,同時,又分為內(nèi)部原因和外部原因,具體如下表所示:業(yè)務(wù)影響分析業(yè)務(wù)影響分析(Business Impact Analysis,簡稱BIA)收集、分析及匯總及排序當(dāng)信息系統(tǒng)一旦遭遇災(zāi)害對各項重要關(guān)鍵性業(yè)務(wù)的影響程度,并依據(jù)其優(yōu)先級提出恢復(fù)
24、策略建議。通過業(yè)務(wù)影響分析可驗證實施容災(zāi)解決方案的必要性及需求。業(yè)務(wù)影響分析的目標(biāo)是:確定企業(yè)的關(guān)鍵業(yè)務(wù)流程;定義各關(guān)鍵業(yè)務(wù)可容許中斷的最大時間長度;確認各關(guān)鍵業(yè)務(wù)數(shù)據(jù)丟失的可容許程度。業(yè)務(wù)影響分析的進行方式為:首先通過召開啟動會議來說明業(yè)務(wù)影響分析的目的、參加人員需求與職責(zé)、設(shè)計及分發(fā)調(diào)查問卷、安排后續(xù)訪談行程;執(zhí)行后續(xù)訪談,收集問卷、與參加人員共同檢查問卷內(nèi)容以確定:重要業(yè)務(wù)項目;恢復(fù)時間目標(biāo)(Recovery Time Objectives)的需求;業(yè)務(wù)中斷的影響;各部門執(zhí)行恢復(fù)所需的資源。開發(fā)初步總結(jié);舉行復(fù)審會議來驗證以下項目:驗證各業(yè)務(wù)項目恢復(fù)優(yōu)先級;驗證恢復(fù)時間目標(biāo);驗證重要數(shù)據(jù)
25、的完整。制作書面業(yè)務(wù)影響分析報告。向管理階層作總結(jié)報告。實施業(yè)務(wù)影響分析給客戶帶來的效益是:了解不同中斷時間對各業(yè)務(wù)造成的直接與間接損失及優(yōu)先級,開發(fā)恢復(fù)策略目標(biāo)??苫謴?fù)性評估可恢復(fù)性評估(Recoverability Assessment)定義現(xiàn)行各業(yè)務(wù)流程的恢復(fù)能力及現(xiàn)行技術(shù)環(huán)境的特征,它將從架構(gòu)、平臺、技術(shù)、基礎(chǔ)設(shè)施、組織結(jié)構(gòu)、恢復(fù)流程等各層面來評估企業(yè)目前的恢復(fù)能力。在可恢復(fù)性評估中將證實企業(yè)當(dāng)前的業(yè)務(wù)恢復(fù)能力,而在業(yè)務(wù)影響分析之后,可確定企業(yè)需要的恢復(fù)能力,這樣,將可發(fā)現(xiàn)當(dāng)前恢復(fù)能力與需要的恢復(fù)能力之間的差距,從而在“恢復(fù)策略制定”工作中,根據(jù)此差距可規(guī)劃出企業(yè)的恢復(fù)策略。 可恢復(fù)性
26、評估的目標(biāo)是:評估使用現(xiàn)有處理流程與程序,IT作業(yè)目前是否能夠恢復(fù)、需要多少時間恢復(fù)、以及可能的數(shù)據(jù)丟失數(shù)量。可恢復(fù)性評估的進行方式為:首先通過召開啟動會議來說明項目目的、參加人員的需求與職責(zé)、設(shè)計及分發(fā) 調(diào)查問卷、安排訪談與現(xiàn)場訪視行程。復(fù)審現(xiàn)有文件。舉行可恢復(fù)性評估研討會。記錄現(xiàn)行備份時間長度與方式。確定持續(xù)時段。定義運行重要應(yīng)用所需資源。舉行異地分儲設(shè)施的稽查。記錄可恢復(fù)性評估結(jié)果。定義適當(dāng)?shù)臉I(yè)務(wù)持續(xù)需求。制作書面可恢復(fù)性評估報告。向管理階層作總結(jié)報告。實施可恢復(fù)性評估給客戶帶來的效益是:正確地得出企業(yè)當(dāng)前的恢復(fù)能力。為恢復(fù)策略的制定提供理論依據(jù)。評估恢復(fù)所需投資。制定恢復(fù)策略恢復(fù)策略制
27、定(Recovery Strategy)依據(jù)前述各項分析和評估的結(jié)果和發(fā)現(xiàn),定義消減當(dāng)前恢復(fù)能力與恢復(fù)能力目標(biāo)之間差距的高層次計劃(High level plan)。業(yè)務(wù)影響分析(BIA)是一項深入的研究,用于確定業(yè)務(wù)之間的關(guān)鍵功能和其中的關(guān)鍵點。然后對該關(guān)鍵點及與其相關(guān)的可能發(fā)生的損失進行權(quán)衡,以決定可能的業(yè)務(wù)持續(xù)策略和所需成本。利用這一信息,管理層可以依照風(fēng)險幾率和業(yè)務(wù)需要的優(yōu)先次序,制訂出適當(dāng)?shù)臉I(yè)務(wù)持續(xù)策略??苫謴?fù)性評估與業(yè)務(wù)影響分析共同作用,對數(shù)據(jù)中心的流程和當(dāng)前的恢復(fù)能力進行分析。著重于數(shù)據(jù)中心環(huán)境的分析,其中包括硬件、軟件、網(wǎng)絡(luò)和工作流程。通過正常的數(shù)據(jù)收集、深入的采訪和數(shù)據(jù)分析,
28、可恢復(fù)性評估將幫助您了解系統(tǒng)及其與整體業(yè)務(wù)之間的關(guān)系。根據(jù)業(yè)務(wù)影響分析所確定的恢復(fù)能力目標(biāo)與可恢復(fù)性評估所確定的當(dāng)前恢復(fù)能力的差距,即可設(shè)計和制定出各業(yè)務(wù)流程的恢復(fù)策略。使業(yè)務(wù)部門所需要的恢復(fù)方案(業(yè)務(wù)影響分析)和系統(tǒng)部門所具備的恢復(fù)能力(恢復(fù)能力)同步十分重要。中國電信為用戶通過業(yè)務(wù)影響分析和可恢復(fù)性評估所進行的顧問工作,將產(chǎn)生一個全面的業(yè)務(wù)持續(xù)策略,并提出為了業(yè)務(wù)持續(xù)所需要進行的改變,以及各種相關(guān)的具體建議;配合目前最新的IT可行技術(shù),提出最適當(dāng)?shù)臑?zāi)難恢復(fù)策略。 制定恢復(fù)策略的目標(biāo)是:消減當(dāng)前恢復(fù)能力與恢復(fù)能力目標(biāo)之間差距的高層次計劃(High level plan)。解決方案的投資估算。
29、建立短期、中期、長期策略。提出對組織與運作的建議?;謴?fù)策略制定的進行方式為:依據(jù)前述各項分析,配合目前技術(shù),提出最適當(dāng)?shù)臑?zāi)難恢復(fù)短、中、長期策略。估算各種解決方案的投資成本與效益分析。召開研討會確認恢復(fù)策略。向管理階層作總結(jié)報告。實施恢復(fù)策略制定給客戶帶來的效益是:明確了恢復(fù)方案的策略計劃與所需投資。 容災(zāi)方案設(shè)計災(zāi)難恢復(fù)方案設(shè)計(Recovery Solution Design)依據(jù)恢復(fù)策略來詳細設(shè)計所選擇的最適用的容災(zāi)技術(shù)方案。中國電信建議,在設(shè)計容災(zāi)方案時,應(yīng)綜合考慮基礎(chǔ)設(shè)施、硬件平臺、軟件技術(shù)、網(wǎng)絡(luò)配置、IT組織、技術(shù)恢復(fù)流程等方面。根據(jù)1992年在美國加州阿納海姆制定的國際標(biāo)準(zhǔn)SHA
30、RE 78的定義,容災(zāi)技術(shù)方案可以根據(jù)以下主要方面所達到的程度而分為七個層次:備份/恢復(fù)的范圍;災(zāi)難恢復(fù)計劃的狀態(tài);主生產(chǎn)中心與容災(zāi)中心之間的距離;主生產(chǎn)中心與容災(zāi)中心之間是如何相互連接的;數(shù)據(jù)是怎樣在兩個中心之間傳送的;允許有多少數(shù)據(jù)被丟失;怎樣保證更新的數(shù)據(jù)在在容災(zāi)中心被更新;容災(zāi)中心可以開始進行恢復(fù)工作的能力。即從低到高的七種不同層次的容災(zāi)解決方案。如下圖所示,該七個層次的技術(shù)方案標(biāo)準(zhǔn)分別是: 很明顯,這七個層次所實現(xiàn)的恢復(fù)目標(biāo)是不同的、實施費用也不同。以上七個級別的容災(zāi)技術(shù)方案的特點和區(qū)別,可以參見如下描述:層次RTORPO容災(zāi)中心備份方式數(shù)據(jù)更新/恢復(fù)主機Tier 172hrs以上2
31、4hrs無磁帶磁帶關(guān)機Tier 224-72hrs24hrs專有的磁帶磁帶關(guān)機Tier 312-24hrs文件級專有的電子文件,定時的活動Tier 44-12hrs日志級專有的電子文件或日志,時間段活動Tier 52-4hrs交易級專有的電子數(shù)據(jù),軟件活動Tier 630-60min交易級專有的電子數(shù)據(jù),系統(tǒng)/硬件活動Tier 730-60min交易級專有的電子數(shù)據(jù),系統(tǒng)/硬件活動0層:無異地備份數(shù)據(jù) (No off-site Data)對于使用0層災(zāi)難恢復(fù)解決方案的業(yè)務(wù),可稱其為沒有災(zāi)難恢復(fù)計劃,主要表現(xiàn)為:數(shù)據(jù)僅在本地進行備份恢復(fù),沒有任何數(shù)據(jù)信息和資料被送往異地,沒有處理意外事故的計劃。
32、恢復(fù)時間:在此種情況下,恢復(fù)時間不可預(yù)測。 事實上也不可能恢復(fù)。例如,目前我們通常在機房內(nèi)所做的數(shù)據(jù)備份,備份介質(zhì)保留在機房內(nèi),用于本地的數(shù)據(jù)恢復(fù)。 當(dāng)災(zāi)難發(fā)生時,數(shù)據(jù)備份和設(shè)備有可能一同被毀,無法進行恢復(fù)。 1層:有數(shù)據(jù)備份,無備用系統(tǒng)(Data Backup with No Hot Site)使用1層災(zāi)難恢復(fù)解決方案的業(yè)務(wù),通常將需要的數(shù)據(jù)備份到磁帶上,然后將這些介質(zhì)運送到其它較為安全的地方。但在那里缺乏能恢復(fù)數(shù)據(jù)的系統(tǒng),若數(shù)據(jù)備份的頻率很高,則在恢復(fù)時丟失的數(shù)據(jù)就會少些。 此類業(yè)務(wù)應(yīng)能忍受幾天乃至幾星期的數(shù)據(jù)丟失。例如, PTAM(Pickup Truck Access Method)是
33、一種許多數(shù)據(jù)中心所采用的標(biāo)準(zhǔn)備份方式。在完成所需的數(shù)據(jù)備份后,用適當(dāng)?shù)倪\輸工具將它們送到遠離本地的地方,同時備有數(shù)據(jù)恢復(fù)的程序。 災(zāi)難發(fā)生后,一整套系統(tǒng)安裝需要在一臺未開啟的計算機上重新完成,系統(tǒng)和數(shù)據(jù)可以被恢復(fù)并重新與網(wǎng)絡(luò)相連。這種災(zāi)難恢復(fù)方案相對來說成本較低(僅僅需要運輸工具的消耗以及存儲設(shè)備的消耗)。但恢復(fù)的時間長,且數(shù)據(jù)不夠新。 2層:有數(shù)據(jù)備份,有備用系統(tǒng) (Data Backup with Hot Site)使用2層容災(zāi)解決方案的業(yè)務(wù)會定期將數(shù)據(jù)備份到磁帶上,并將其運到安全的地點。在備份中心有備用的系統(tǒng),當(dāng)災(zāi)難發(fā)生時,可以使用這些數(shù)據(jù)備份磁帶來恢復(fù)系統(tǒng)。 雖然還需要數(shù)小時或幾天的時
34、間來恢復(fù)數(shù)據(jù)以使業(yè)務(wù)可用,但不可預(yù)測的恢復(fù)時間減少了。2層相當(dāng)于在1層上增加了備份中心的災(zāi)難恢復(fù)。備份中心擁有足夠的硬件和網(wǎng)絡(luò)設(shè)備來維持關(guān)鍵應(yīng)用的安裝需求,這樣的應(yīng)用是十分的關(guān)鍵的,它必須在災(zāi)難發(fā)生的同時,在異地有正運行著的硬件提供支持。 這種災(zāi)難恢復(fù)的方式依賴于PTAM方法去將日常數(shù)據(jù)放入倉庫,當(dāng)災(zāi)難發(fā)生的時候,再將數(shù)據(jù)恢復(fù)到備份中心的系統(tǒng)上。 雖然備份中心的系統(tǒng)增加了成本,但明顯降低了災(zāi)難恢復(fù)時間,系統(tǒng)可在幾天內(nèi)得以恢復(fù)。 3層:電子鏈接(Electronic Vaulting)使用3層容災(zāi)解決方案的業(yè)務(wù),是在2層解決方案的基礎(chǔ)上,又使用了對關(guān)鍵數(shù)據(jù)的電子鏈接技術(shù)。電子鏈接將磁帶備份后更改
35、的數(shù)據(jù)進行記錄, 并傳到備用中心,使用此種方法會比使用傳統(tǒng)的磁帶備份更快地得到更新的數(shù)據(jù)。所以,當(dāng)災(zāi)難發(fā)生后,只有少量的數(shù)據(jù)需要重新恢復(fù),恢復(fù)時間會縮短。 由于備用中心要保持持續(xù)運行,與生產(chǎn)中心間的通訊線路要保證暢通,增加了運營成本。 但消除了對運輸工具的依賴,提高了災(zāi)難恢復(fù)速度。例如,某企業(yè)在每天下班后,將當(dāng)日的流水全部記錄下來,通過網(wǎng)絡(luò)傳到備份中心;備份中心在備用系統(tǒng)上,重新將所有業(yè)務(wù)重做,保證與生產(chǎn)中心的一致性。這一領(lǐng)域的產(chǎn)品可以分四層:1) 存儲設(shè)備層:IBM-ESS-PPRC、IBM SVC、IBM-DS4000-RM、EMC-SRDF、HP-EVA-StorageWorks Con
36、tinuous Access、FALCONSTOR-IPSTOR、NETAPP等。2) 操作系統(tǒng)及系統(tǒng)軟件層:IBM-GEORM、VERITAS-Storage Replicator/Volume Replicator、LEGATAL- RepliStor。3) 數(shù)據(jù)庫層:IBM-DB2-HADR、IBM-INFORMIX-HDR、ORACLE-ORACLE- DATA GUARD等。4) 應(yīng)用程序?qū)樱簯?yīng)用程序開發(fā)時考慮到數(shù)據(jù)的復(fù)制。4層:使用快照技術(shù)拷貝數(shù)據(jù) (Point-in-time Copies)使用4層災(zāi)難恢復(fù)方案的業(yè)務(wù),對數(shù)據(jù)的實時性和快速恢復(fù)性要求更高些。1-3層的方案中較常使用
37、磁帶備份和傳輸,在4層方案中開始使用基于磁盤的解決方案。此時仍然會出現(xiàn)幾個小時的數(shù)據(jù)丟失,但同基于磁帶的解決方案相比,通過加快備份頻率,使用最近時間點的快照拷貝恢復(fù)數(shù)據(jù)會更快。 系統(tǒng)可在一天內(nèi)恢復(fù)。4層災(zāi)難恢復(fù)可有兩個中心同時處于活動狀態(tài)并管理彼此的備份數(shù)據(jù),允許備份行動在任何一個方向發(fā)生。接收方硬件必須保證與另一方平臺在地理上分離,在這種情況下,工作負載可能在兩個中心之間分享,中心1成為中心2的備份,反之亦然。在兩個中心之間,彼此的在線關(guān)鍵數(shù)據(jù)的拷貝不停地相互傳送著。在災(zāi)難發(fā)生時,需要的關(guān)鍵數(shù)據(jù)通過網(wǎng)絡(luò)可迅速恢復(fù),通過網(wǎng)絡(luò)的切換,關(guān)鍵應(yīng)用的恢復(fù)也可降低到小時級。支持這種工作方式的產(chǎn)品包括IB
38、M-HAGEO、VARITAS-Global Cluster Manager。5層:交易的完整性 (Transaction Integrity)使用5層災(zāi)難恢復(fù)方案的業(yè)務(wù),要求保證生產(chǎn)中心和數(shù)據(jù)備份中心的數(shù)據(jù)的一致性。 在此層方案中只允許少量甚至是無數(shù)據(jù)丟失,但是該功能的實現(xiàn)完全依賴于所運行的應(yīng)用。5層除了使用4層的技術(shù)外,還要維護數(shù)據(jù)的狀態(tài) - 要保證在本地和遠端數(shù)據(jù)庫中都要更新數(shù)據(jù)。 只有當(dāng)兩地的數(shù)據(jù)都更新完成后,才認為此次交易成功。 生產(chǎn)中心和備用中心是由高速的寬帶連接的,關(guān)鍵數(shù)據(jù)和應(yīng)用同時運行在兩個地點。當(dāng)災(zāi)難發(fā)生時,只有正在進行的交易數(shù)據(jù)會丟失。 由于恢復(fù)數(shù)據(jù)的減少,恢復(fù)時間也大大縮
39、短。數(shù)據(jù)庫的數(shù)據(jù)復(fù)制功能一般可以工作在這樣的方式下:IBM-DB2-HADR、ORACLE-ORACLE- Replication等。6層:少量或無數(shù)據(jù)丟失 (Zero or little data loss)6層災(zāi)難恢復(fù)方案可以保證最高一級數(shù)據(jù)的實時性。 適用于那些幾乎不允許數(shù)據(jù)丟失并要求能快速將數(shù)據(jù)恢復(fù)到應(yīng)用中的業(yè)務(wù)。 此種解決方案提供數(shù)據(jù)的一致性,不依賴于應(yīng)用而是靠大量的硬件技術(shù)和操作系統(tǒng)軟件來實現(xiàn)的。這一級別的要求很高,一般需要整個系統(tǒng)應(yīng)用程序?qū)拥接布泳扇∠鄳?yīng)措施。1)應(yīng)用程序?qū)硬捎没诮灰祝═RANSACTION)的方法開發(fā)。2)數(shù)據(jù)庫可以采取數(shù)據(jù)復(fù)制。IBM-DB2-HADR、
40、IBM-INFORMIX-HDR、ORACLE-ORACLE- DATA GUARD等。3)操作系統(tǒng)使用集群軟件、站點遷移軟件、數(shù)據(jù)復(fù)制軟件:IBM-HACMP、VARITAS-Global Cluster Manager等。4)硬件層使用同步的數(shù)據(jù)復(fù)制:IBM-ESS-PPRC、IBM SVC、IBM-DS4000-RM、EMC- SRDF或使用帶有CONSISTANCY-GROUP功能的異步數(shù)據(jù)復(fù)制IBM-ESS-PPRC、IBM-DS4000-RM。7層:解決方案與具體業(yè)務(wù)相結(jié)合,實現(xiàn)自主管理 (Highly Automated , Bussiness Integrated Soluti
41、on)7層災(zāi)難恢復(fù)方案在第6層的基礎(chǔ)上,集成了自主管理的功能。在保證數(shù)據(jù)一致性的同時,又增加了應(yīng)用的自動恢復(fù)能力,使得系統(tǒng)和應(yīng)用恢復(fù)的速度更快、更可靠(按照災(zāi)難恢復(fù)流程,手工操作也可實現(xiàn)整個恢復(fù)過程)。7層可以實現(xiàn)0數(shù)據(jù)丟失率,同時保證數(shù)據(jù)立即自動地被傳輸?shù)交謴?fù)中心。7層被認為是災(zāi)難恢復(fù)的最高級別,在本地和遠程的所有數(shù)據(jù)被更新的同時,利用了雙重在線存儲和完全的網(wǎng)絡(luò)切換能力。7層是災(zāi)難恢復(fù)中最昂貴的方式,但也是速度最快的恢復(fù)方式。當(dāng)一個工作中心發(fā)生災(zāi)難時,7層能夠提供一定程度的跨站點動態(tài)負載平衡和自動系統(tǒng)故障切換功能?,F(xiàn)在已經(jīng)證明,為實現(xiàn)有效的災(zāi)難恢復(fù),無需人工介入的自動站點故障切換功能需要一個
42、應(yīng)該納入考慮范圍的重要事項。 在實際選擇災(zāi)難備份方案時,需要在方案本身、宕機時間和實施方案所需成本三者之間找到一個平衡點。三者的平衡關(guān)系業(yè)務(wù)連續(xù)性計劃設(shè)計業(yè)務(wù)持續(xù)計劃設(shè)計(Business Continuity Planning)定義、書面化與測試在災(zāi)難發(fā)生之前、之中與之后的企業(yè)營運組織架構(gòu)與任務(wù)職責(zé),以確定可被接受的業(yè)務(wù)持續(xù)運作的規(guī)范。中國電信建議,業(yè)務(wù)持續(xù)計劃將主要由“業(yè)務(wù)恢復(fù)計劃”和“技術(shù)恢復(fù)計劃”兩方面來組成。其中,業(yè)務(wù)恢復(fù)計劃為:當(dāng)災(zāi)難事件發(fā)生時,為確保企業(yè)關(guān)鍵業(yè)務(wù)功能連續(xù)運作而必須遵循的恢復(fù)程序和實施細節(jié)。技術(shù)恢復(fù)計劃為:當(dāng)災(zāi)難事件發(fā)生時,在容災(zāi)中心建立和執(zhí)行基礎(chǔ)架構(gòu)恢復(fù)所必須遵循
43、的恢復(fù)程序,包括IT系統(tǒng)和相關(guān)設(shè)施。為有效并高效的實施業(yè)務(wù)持續(xù)計劃,還必須為災(zāi)難恢復(fù)和業(yè)務(wù)持續(xù)設(shè)計相應(yīng)的組織架構(gòu)和人員職責(zé)。 業(yè)務(wù)持續(xù)計劃設(shè)計的目的是:定義、制作、建置與測試于災(zāi)害發(fā)生前、中、后的組織架構(gòu)設(shè)計與行動計劃,以確保公司各重要關(guān)鍵業(yè)務(wù)的持續(xù)運作。業(yè)務(wù)持續(xù)計劃設(shè)計的進行方式為:首先召開啟動會議來說明項目目的、參加人員需求與職責(zé)、分發(fā)業(yè)務(wù)規(guī)范工作手冊(Workbook)、確定工作手冊返回日期。收集與分析工作手冊內(nèi)容。確認下列項目的備份處理:重要應(yīng)用系統(tǒng)系統(tǒng)軟/硬件數(shù)據(jù)庫網(wǎng)絡(luò)特殊需求備份處理數(shù)據(jù)保存系統(tǒng)安全確認下列項目的持續(xù)處理系統(tǒng)持續(xù)本地用戶遠程用戶入網(wǎng)機構(gòu)服務(wù)者供貨商人員特殊需求次序/
44、優(yōu)先級開發(fā)業(yè)務(wù)持續(xù)計劃的細節(jié)。確定各項工作的負責(zé)人及其應(yīng)完成職責(zé)。開發(fā)災(zāi)難通報程序。開發(fā)業(yè)務(wù)恢復(fù)工作項目圖表及時間安排開發(fā)回切作業(yè)處理。設(shè)備修復(fù)與重購建筑物重建數(shù)據(jù)回歸業(yè)務(wù)切換完成業(yè)務(wù)持續(xù)計劃初稿。制作業(yè)務(wù)持續(xù)計劃的桌面演練計劃,演練活動包括:演練時間、演練范圍、目標(biāo)、參加人員、所需資源、假設(shè)狀況、衡量標(biāo)準(zhǔn)、過程敘述、結(jié)果討論與計劃維護。建立業(yè)務(wù)持續(xù)計劃維護的處理規(guī)范:包括正常計劃維護、根據(jù)演練結(jié)果的維護、由于各項變更而產(chǎn)生的維護、定期維護、回切作業(yè)的維護。在災(zāi)備技術(shù)系統(tǒng)建立后,實施業(yè)務(wù)持續(xù)計劃實際測試。根據(jù)桌面演練與測試,完成對業(yè)務(wù)持續(xù)計劃的完善和修訂。向管理階層作總結(jié)報告。業(yè)務(wù)持續(xù)計劃設(shè)計
45、給客戶帶來的效益是:建立緊急應(yīng)變組織與行動的指導(dǎo)文件。作為演練和測試的指導(dǎo)方針。用于企業(yè)業(yè)務(wù)持續(xù)計劃的稽核。業(yè)務(wù)連續(xù)性計劃的演練和維護業(yè)務(wù)持續(xù)計劃的演練和維護通過對業(yè)務(wù)持續(xù)計劃的桌面演練、實際測試、和維護管理,確保業(yè)務(wù)持續(xù)計劃保持最新及有效性。根據(jù)各個等級的災(zāi)難備份系統(tǒng)策略和災(zāi)難恢復(fù)等級,可以進行不同類型的演練和模擬演習(xí),但整體上講,演練和演習(xí)一般需要達到以下的目標(biāo): 通過對災(zāi)難恢復(fù)預(yù)案的桌面演練、模擬演練和實戰(zhàn)演練,以確保災(zāi)難恢復(fù)預(yù)案保持最新及有效性。根據(jù)各個等級的容災(zāi)系統(tǒng)策略和災(zāi)難恢復(fù)等級,可以進行不同類型的演練和模擬演習(xí),但整體上講,演練和演習(xí)一般需要達到以下的目標(biāo): 驗證能力災(zāi)難備份系
46、統(tǒng)和災(zāi)難恢復(fù)計劃是一個系統(tǒng)工程,包含基礎(chǔ)環(huán)境、災(zāi)難備份系統(tǒng)、相關(guān)的恢復(fù)計劃和組織協(xié)調(diào),通過演練和演習(xí),需要對相應(yīng)的內(nèi)容是否可以支撐災(zāi)難時業(yè)務(wù)恢復(fù)的需求進行檢驗?;A(chǔ)環(huán)境部分需要對災(zāi)難恢復(fù)時的場地、業(yè)務(wù)恢復(fù)環(huán)境和配套設(shè)施、災(zāi)難恢復(fù)時IT系統(tǒng)所依賴的基礎(chǔ)設(shè)施如UPS、供電、機房環(huán)境和進入控制等各個方面的能力是否可以滿足災(zāi)難恢復(fù)的需要進行檢驗。對災(zāi)難備份系統(tǒng),在發(fā)生災(zāi)難時,用于災(zāi)難恢復(fù)和業(yè)務(wù)恢復(fù)的IT支持系統(tǒng)以及相應(yīng)的配套設(shè)備的處理能力、備份網(wǎng)絡(luò)系統(tǒng)的網(wǎng)絡(luò)貸款和流量等各個方面進行檢驗和驗證。對災(zāi)難備份系統(tǒng)的運營和管理能力也是一種檢驗,通過演練,可以對災(zāi)難備份系統(tǒng)在日常運營管理情況、數(shù)據(jù)同步情況、系統(tǒng)
47、版本管理情況、容災(zāi)中心的響應(yīng)及時性和有效性進行檢驗和驗證。通過演練和演習(xí),也是對整個災(zāi)難恢復(fù)執(zhí)行過中組織協(xié)調(diào)能力的檢驗和驗證,在災(zāi)難發(fā)生時,需要面對媒體的公關(guān)、對客戶的安撫、對員工的指引和各項工作的有序開展和及時協(xié)調(diào)等多個方面的工作,對災(zāi)難恢復(fù)的組織架構(gòu)、人員操作和工作協(xié)調(diào)均有著較高的要求,通過演練也可以檢驗組織和機構(gòu)是否已經(jīng)具備了相應(yīng)的應(yīng)變能力和執(zhí)行力,確保在基礎(chǔ)環(huán)境、災(zāi)難備份IT系統(tǒng)的等硬件基礎(chǔ)上,各項相關(guān)方面已經(jīng)作好準(zhǔn)備和具備有序工作的能力。只有通過以上的各個方面的能力的綜合體現(xiàn),通過演練和演習(xí),對以上各個方面的能力的整體綜合檢驗,才可以確保災(zāi)難備份系統(tǒng)和災(zāi)難恢復(fù)計劃是一個可以信賴的系統(tǒng)
48、,可以在發(fā)生災(zāi)難事件時,相應(yīng)的組織和機構(gòu)以及所建立的災(zāi)難備份系統(tǒng)和災(zāi)難恢復(fù)計劃具備相應(yīng)的災(zāi)難恢復(fù)能力。發(fā)現(xiàn)不足建立災(zāi)難備份系統(tǒng)和災(zāi)難恢復(fù)計劃,只是建立了一個基礎(chǔ)和起點,并不是一個一勞永逸的工作完成得標(biāo)志。對于初次建立的災(zāi)難備份系統(tǒng)和災(zāi)難恢復(fù)計劃,需要通過演練和演習(xí)來發(fā)現(xiàn)不足和發(fā)現(xiàn)問題。對于已經(jīng)進入正常運營的災(zāi)難備份系統(tǒng)和災(zāi)難恢復(fù)計劃,由于業(yè)務(wù)、IT系統(tǒng)的變化和變更,以及組織架構(gòu)的變化和調(diào)整,也需要不斷的進行演練和演習(xí),以發(fā)現(xiàn)問題和不足,確保災(zāi)難備份系統(tǒng)和災(zāi)難恢復(fù)計劃的正確性、有效性和可操作性。流程改進災(zāi)難備份系統(tǒng)的有效恢復(fù),以及災(zāi)難恢復(fù)計劃中,均定義了不少的流程和過程,這些流程和工作規(guī)范在相當(dāng)
49、大的程度上保證一旦在災(zāi)難事件的危機情況下,各項工作和任務(wù)的有序執(zhí)行和有效恢復(fù)。這些流程和規(guī)范會隨著技術(shù)的發(fā)展和業(yè)務(wù)的發(fā)展不斷變化和優(yōu)化。通過演練和演習(xí),我們可以發(fā)現(xiàn)流程和規(guī)范上的不足和可以改進的方面,不斷進行改進和優(yōu)化,確保相應(yīng)的災(zāi)難恢復(fù)工作可以有效地運作。鍛煉團隊所有的工作都是由人來完成的,災(zāi)難備份系統(tǒng)的運作依靠運營團隊的運營來保證災(zāi)難備份系統(tǒng)的可用性和有效性,災(zāi)難恢復(fù)計劃的執(zhí)行依靠災(zāi)難恢復(fù)的各個恢復(fù)團隊的有效執(zhí)行來保證系統(tǒng)的恢復(fù)和業(yè)務(wù)的連續(xù)性。因此,如何保證各個團隊以及各個團隊中的相關(guān)人員對災(zāi)難恢復(fù)工作熟悉和有效執(zhí)行是災(zāi)難有效恢復(fù)的關(guān)鍵。通過演練和演習(xí),可以使災(zāi)難恢復(fù)的指揮團隊、技術(shù)恢復(fù)團
50、隊、業(yè)務(wù)恢復(fù)團隊、后勤保障團隊等各個團隊熟悉、了解相關(guān)的策略、流程和方法;并且通過演練和演習(xí),使相關(guān)團隊的相關(guān)人員能進行實際操作和完成具體的工作內(nèi)容,使相關(guān)人員掌握相關(guān)的技術(shù)和規(guī)程;通過演練和演習(xí),也是各個業(yè)務(wù)部門、后勤部門、公關(guān)控制部門了解情況和處理的方法,使整體上保證災(zāi)難恢復(fù)和業(yè)務(wù)連續(xù)性可以有效地執(zhí)行和恢復(fù)。業(yè)務(wù)持續(xù)計劃的維護包括:日常計劃維護根據(jù)演練結(jié)果的維護由于各項變更而產(chǎn)生的維護定期維護恢復(fù)計劃和回切計劃的維護同城雙活方案整體架構(gòu)在同城租用電信運營商機房作為主數(shù)據(jù)中心,利用省二院省電子政務(wù)中心機房作為省政務(wù)云項目的同城雙活數(shù)據(jù)中心,通過波分設(shè)備與省二院機房互聯(lián)組成同城雙活數(shù)據(jù)中心,同
51、時向外提供業(yè)務(wù)服務(wù),實現(xiàn)關(guān)鍵業(yè)務(wù)雙活。任意一數(shù)據(jù)中心站點故障,都不會中斷業(yè)務(wù),確保云平臺安全,實現(xiàn)業(yè)務(wù)連續(xù)性保護。雙活容災(zāi)方案設(shè)計網(wǎng)絡(luò)層雙活設(shè)計雙活整體架構(gòu)路由策略引導(dǎo)技術(shù):廣域網(wǎng)和城域網(wǎng)用戶訪問主IDC機房和省二院數(shù)據(jù)中心,可以通過調(diào)整BGP或OSPF等路由策略即可實現(xiàn)用戶到不同業(yè)務(wù)的網(wǎng)絡(luò)分流。DNS和全局負載引導(dǎo)技術(shù): DNS服務(wù)器和全局負載均衡設(shè)備實現(xiàn)互聯(lián)網(wǎng)用戶訪問外部業(yè)務(wù)時對兩個數(shù)據(jù)中心的流量智能調(diào)度,服務(wù)器負載均衡產(chǎn)品實現(xiàn)本地業(yè)務(wù)服務(wù)器的負載均衡同時,向全局負載均衡設(shè)備通報本地應(yīng)用服務(wù)器的健康狀況及應(yīng)用服務(wù)器的負載情況。 CSS +EVN+VXLAN技術(shù):從網(wǎng)絡(luò)上來看,雙活數(shù)據(jù)中心需
52、要將同一個網(wǎng)絡(luò)擴展到多個數(shù)據(jù)中心,在數(shù)據(jù)中心間需要大二層網(wǎng)絡(luò)連接并且實現(xiàn)服務(wù)器和應(yīng)用的虛擬化數(shù)據(jù)中心互聯(lián)技術(shù)。大二層的網(wǎng)絡(luò)技術(shù)有CASS、TRILL、SPB、EVN等。CSS是將多臺網(wǎng)絡(luò)設(shè)備(成員設(shè)備)虛擬化為一臺網(wǎng)絡(luò)設(shè)備(虛擬設(shè)備),并將這些設(shè)備作為單一設(shè)備管理和使用。VSS把多臺設(shè)備合并,簡化了管理提高了性能,但VSS構(gòu)建二層網(wǎng)絡(luò)時,匯聚交換機最多是可達4臺,在二層無阻塞的前提下可接入13824臺雙網(wǎng)卡的千兆服務(wù)器,如果客戶期望其服務(wù)器資源池可以有效擴充到2萬臺甚至更大,就需要其他技術(shù)提供更大的網(wǎng)絡(luò)容量;TRILL的全稱就是 Transparent Interconnection of L
53、ots of Links ,顧名思義,其本質(zhì)就是將很多條鏈路透明地組織在一起,以致于上層IP應(yīng)用感覺這只是一條鏈路似的。它本質(zhì)上是一個2.5層的技術(shù),使用最短路徑、多路徑等三層路由技術(shù)來講多條鏈路組織成為一個大二層網(wǎng)絡(luò),并支持VLAN、自配置、多播等二層功能。TRILL目前最大可以支持10核心組網(wǎng),其最大能力可以無阻塞的接入27648臺雙網(wǎng)卡千兆服務(wù)器,但TRILL技術(shù)目前在芯片實現(xiàn)上存在客觀缺陷,核心層不能支持三層終結(jié),也就是說TRILL的核心層不能做網(wǎng)關(guān)設(shè)備。必須要在核心層上再增加一層設(shè)備來做網(wǎng)關(guān),這導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)變得復(fù)雜,管理難度增加,網(wǎng)絡(luò)建設(shè)、運維成本都會增加;SPB的組網(wǎng)方案和TRIL
54、L基本相同(同樣可支持接入27648臺),其優(yōu)勢在于能夠方便的支持VLAN擴展功能,但同樣存在網(wǎng)關(guān)與SPB核心必須分離的芯片缺陷,導(dǎo)致網(wǎng)絡(luò)層次增加,管理、運維成本增加;EVN可以通過匯聚層和核心層之間的IP網(wǎng)絡(luò)實現(xiàn)二層互通,所以通過EVN擴展多個二層域的時候不需要更改布線或是設(shè)備,僅僅需要在匯聚設(shè)備上啟用EVN特性即可,這樣可以平滑的擴展二層網(wǎng)絡(luò)的規(guī)模。其技術(shù)成熟、架構(gòu)穩(wěn)定,能夠支持大規(guī)模二層網(wǎng)絡(luò)(接入規(guī)模221184),運維也簡單方便。另外,也有部分虛擬化和軟件廠商提出了軟件的L2 over L3技術(shù)解決方案。例如VXLAN、NVGRE,前者是由VMware和思科提出的標(biāo)準(zhǔn)(使用了L2oUD
55、P的封裝方式),后者是由HP和微軟提出的標(biāo)準(zhǔn)(使用了L2oGRE封裝方式),在虛擬化層的vSwitch中將二層數(shù)據(jù)封裝在UDP、GRE報文中,在物理網(wǎng)絡(luò)拓撲上構(gòu)建一層虛擬化網(wǎng)絡(luò)層,從而擺脫對網(wǎng)絡(luò)設(shè)備層的二層、三層限制。這兩種技術(shù)的主要特點是隧道的起點和終點主要在vswitch上,而不是物理交換機上。隧道的封裝在服務(wù)器內(nèi)部的vswitch就已經(jīng)打好,然后將物理網(wǎng)絡(luò)當(dāng)作大的IP背板加以穿透,大二層范圍可以跨DC。以期達到快速部署,靈活創(chuàng)建虛擬化網(wǎng)絡(luò)的目的。但這些技術(shù)由于性能、擴展性等問題,也沒有得到廣泛的使用。大二層技術(shù)選型為了滿足本次的“省級電子政務(wù)外網(wǎng)統(tǒng)一云平臺”項目業(yè)務(wù)實際需求,在業(yè)務(wù)承載的
56、基礎(chǔ)網(wǎng)絡(luò)部分也衍生出如下幾個基本的需求:1.首先需要滿足在云計算環(huán)境下能夠為政務(wù)云下的各種業(yè)務(wù)隔離;政務(wù)云是為各廳局單位共同接入的公共平臺,從安全性的角度考慮,各廳局單位之間以及單位內(nèi)各業(yè)務(wù)系統(tǒng)需要實現(xiàn)相互隔離。2.其次從省級平臺的情況看,橫向互聯(lián)的職能單位由于運營商在做IP地址規(guī)劃時的簡單處理,局委辦都是通過NAT轉(zhuǎn)換后接入到省電子政務(wù)外網(wǎng),而局域網(wǎng)的私網(wǎng)IP地址段這大多相同,如何在不改變原有各廳局委辦IP地址的情況下,實現(xiàn)平緩接入到政務(wù)云非常關(guān)鍵。3.其次在云計算環(huán)境下,最大的好處在于計算資源能夠隨需移動,計算資源通過計算虛擬化可以實現(xiàn)在單臺的物理機下虛擬化成多個虛機,為了保障業(yè)務(wù)快速部署
57、,業(yè)務(wù)的高可靠性,各虛機需要在各租戶網(wǎng)絡(luò)內(nèi)部進行遷移,或進行集群,虛機遷移,其IP地址和IP網(wǎng)關(guān)本身不會變化,同時虛機集群也需要各虛機保持在一個網(wǎng)段之內(nèi),所以從整個基礎(chǔ)網(wǎng)絡(luò)來看,需要整個數(shù)據(jù)中心需要提供一個大二層網(wǎng)絡(luò)。4.從整個“省級電子政務(wù)外網(wǎng)統(tǒng)一云平臺”的建設(shè)情況來看,其接入單位眾多,業(yè)務(wù)需求多樣;各廳局單位后續(xù)的業(yè)務(wù)規(guī)模難以準(zhǔn)確預(yù)測,需要基礎(chǔ)網(wǎng)絡(luò)具備靈活的彈性,能夠滿足在后期業(yè)務(wù)的彈性擴展,包括單一業(yè)務(wù)的規(guī)模擴展,單一用戶的規(guī)模擴展;擴展范圍甚至覆蓋到另外區(qū)域的數(shù)據(jù)中心。根據(jù)上述的幾個需求來看,“省級電子政務(wù)外網(wǎng)統(tǒng)一云平臺”的建設(shè)必須要滿足多租戶安全接入,租戶內(nèi)部網(wǎng)絡(luò)隔離,實現(xiàn)各廳局存在
58、的相同IP地址段的平滑接入,簡單的大二層,后續(xù)彈性擴展等多個需求。針對當(dāng)前常見的數(shù)據(jù)中心技術(shù)進行具體分析:VLAN+STP技術(shù)傳統(tǒng)的核心、匯聚、接入通過VLAN實現(xiàn)租戶的隔離,通過STP實現(xiàn)多路徑保護;但傳統(tǒng)二層網(wǎng)絡(luò)中部署的STP生成樹技術(shù)協(xié)議,部署和維護繁瑣,網(wǎng)絡(luò)規(guī)模不宜過大,限制了網(wǎng)絡(luò)的擴展。而后以廠家私有網(wǎng)絡(luò)虛擬化技術(shù)如vPC等網(wǎng)絡(luò)虛擬化技術(shù),雖然可以簡化部署、同時具備高可靠性,但是對于網(wǎng)絡(luò)的拓撲架構(gòu)有嚴格要求,同時各廠家不支持互通,在網(wǎng)絡(luò)的可擴展性上有所欠缺,只適合小規(guī)模網(wǎng)絡(luò)部署,一般只適合數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò);此外云業(yè)務(wù)中虛擬機的大規(guī)模部署帶來的另一個問題就是使傳統(tǒng)網(wǎng)絡(luò)設(shè)備二層地址(MA
59、C)表項的大小成了云計算環(huán)境下虛擬機規(guī)模的關(guān)鍵參數(shù),特別是對于接入設(shè)備而言,二層地址表項規(guī)格較小,這也將限制整個云計算數(shù)據(jù)中心業(yè)務(wù)規(guī)模;不建議在此次項目中采用。TRILL/SPB/FabricPath+VLAN技術(shù)隨著數(shù)據(jù)中心接入規(guī)模的要求,新出現(xiàn)了大規(guī)模二層網(wǎng)絡(luò)技術(shù)TRILL/SPB/FabricPath等,它們通過引入IS-IS等協(xié)議實現(xiàn)多個二層網(wǎng)絡(luò)的互通,能支持二層網(wǎng)絡(luò)的良好擴展,但對數(shù)據(jù)包所經(jīng)過的沿途所有網(wǎng)絡(luò)設(shè)備有特殊要求,網(wǎng)絡(luò)中的設(shè)備需要軟硬件升級才能支持此類新技術(shù),帶來部署成本的上升,同時各廠商互通成為一個難以解決的問題,由于采用傳統(tǒng)的VLAN接入,隨著政務(wù)云業(yè)務(wù)的快速發(fā)展,對于租
60、戶的數(shù)量可能在不遠的將來成為制約政務(wù)云向更多規(guī)模擴展的瓶頸,因此本次需要尋求更具彈性的網(wǎng)絡(luò)技術(shù)實現(xiàn)政務(wù)云的接入。SDN+Overlay的網(wǎng)絡(luò)虛擬化技術(shù)Overlay技術(shù)是專門針對多租戶數(shù)據(jù)中心建設(shè)而引入的技術(shù),在業(yè)界知名的互聯(lián)網(wǎng)數(shù)據(jù)中心中,以及公有云的建設(shè)中成為當(dāng)前基礎(chǔ)網(wǎng)絡(luò)的首選技術(shù),Overlay是一種網(wǎng)絡(luò)架構(gòu)上疊加的虛擬化技術(shù)模式,其大體框架是對基礎(chǔ)網(wǎng)絡(luò)不進行大規(guī)模修改的條件下,實現(xiàn)應(yīng)用在網(wǎng)絡(luò)上的承載,并能與其它網(wǎng)絡(luò)業(yè)務(wù)分離,并且以基于IP的基礎(chǔ)網(wǎng)絡(luò)技術(shù)為主。Overlay網(wǎng)絡(luò)是指建立在已有網(wǎng)絡(luò)上的虛擬網(wǎng),邏輯節(jié)點和邏輯鏈路構(gòu)成了Overlay網(wǎng)絡(luò)。具有獨立的控制和轉(zhuǎn)發(fā)平面,對于連接在Ov
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024司機聘用合同
- 挖掘機租賃市場合同樣本
- 2024年房屋經(jīng)紀服務(wù)合同
- 2024競價房屋買賣合同范本
- 江蘇省徐州市七年級上學(xué)期語文期中試卷5套【附答案】
- 2024【股權(quán)投資信托合同】股權(quán)投資合同
- 施工安全協(xié)議書案例分析
- 專業(yè)咨詢委托協(xié)議參考
- 房屋買賣合同協(xié)議書委托人2024年
- 標(biāo)準(zhǔn)的汽車租賃合同范本
- 2024-2030年中國演藝行業(yè)發(fā)展分析及發(fā)展前景與趨勢預(yù)測研究報告
- 2024年重慶市渝北區(qū)數(shù)據(jù)谷八中小升初數(shù)學(xué)試卷
- 凝中國心鑄中華魂鑄牢中華民族共同體意識-小學(xué)民族團結(jié)愛國主題班會課件
- 2024年AI大模型場景探索及產(chǎn)業(yè)應(yīng)用調(diào)研報告-前瞻
- 北師大版六年級數(shù)學(xué)上冊-第一單元《圓》復(fù)習(xí)課件
- 盛世華誕慶祝祖國成立75周年共筑中國夢同慶國慶節(jié)課件
- 2024年廣州市少年宮公開招聘工作人員歷年高頻考題難、易錯點模擬試題(共500題)附帶答案詳解
- 全過程工程咨詢管理服務(wù)方案投標(biāo)方案(技術(shù)方案)
- 景觀水處理技術(shù)介紹
- 6.2反比例函數(shù)的圖象與性質(zhì)(第一課時)教學(xué)設(shè)計2024-2025學(xué)年北師大版數(shù)學(xué)九年級上冊
- 了解紅旗渠學(xué)習(xí)紅旗渠精神
評論
0/150
提交評論