版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、中國移動 BOSS系統(tǒng)容災(zāi)備份技術(shù)規(guī)范中國移動集團(tuán)公司二零零三年四月1. 總則 錯 誤 !未定義書簽。.概述 錯誤 ! 未定義書簽。.目標(biāo)和原則 錯誤 ! 未定義書簽。.考慮的因素 錯誤 ! 未定義書簽。.適用范圍 錯誤 ! 未定義書簽。.起草單位 錯誤 ! 未定義書簽。.解釋權(quán) 錯誤 ! 未定義書簽。2. 容災(zāi)備份系統(tǒng)概述 錯 誤 !未定義書簽。.災(zāi)難的定義 錯誤 ! 未定義書簽。.容災(zāi)的定義 錯誤 ! 未定義書簽。容災(zāi)定義 錯誤!未定義書簽業(yè)務(wù)連續(xù)性定義 錯誤! 未定義書簽.系統(tǒng)建設(shè)模型 錯誤 ! 未定義書簽。.BOSS系統(tǒng) -容災(zāi)備份系統(tǒng)架構(gòu) 錯誤 !未定義書簽。3. 容災(zāi)技術(shù)模型(容災(zāi)
2、備份系統(tǒng)技術(shù)模型) 錯誤!未定義書簽。.容災(zāi)備份系統(tǒng)的技術(shù)框架 錯誤 ! 未定義書簽。.容災(zāi)備份系統(tǒng) IT 技術(shù)映射 錯誤 ! 未定義書簽。應(yīng)用層 錯誤! 未定義書簽存儲層 錯誤! 未定義書簽主機層 錯誤! 未定義書簽網(wǎng)絡(luò)層 錯誤! 未定義書簽物理層 錯誤! 未定義書簽4. 容災(zāi)備份系統(tǒng)模型的技術(shù)實現(xiàn) 錯誤!未定義書簽。.數(shù)據(jù)平臺 -業(yè)務(wù)狀態(tài)數(shù)據(jù)的保護(hù) 錯誤 !未定義書簽。業(yè)務(wù)狀態(tài)數(shù)據(jù)的定義 錯誤! 未定義書簽業(yè)務(wù)狀態(tài)數(shù)據(jù)保護(hù)機制的技術(shù)要求 錯誤! 未定義書簽技術(shù)手段分類 錯誤! 未定義書簽定點拷貝的技術(shù)實現(xiàn) 錯誤! 未定義書簽連續(xù)復(fù)制的技術(shù)實現(xiàn) 錯誤! 未定義書簽遠(yuǎn)程復(fù)制通信鏈路 錯誤! 未
3、定義書簽技術(shù)手段的組合使用 錯誤! 未定義書簽.業(yè)務(wù)平臺業(yè)務(wù)處理能力的有效冗余和故障切換恢復(fù) 錯誤 ! 未定義書簽。生產(chǎn)中心內(nèi)部的處理要素有效冗余和業(yè)務(wù)流程切換恢復(fù) 錯誤!未定義書簽雙生產(chǎn)中心環(huán)境下的有效冗余和網(wǎng)絡(luò)結(jié)構(gòu) 錯誤! 未定義書簽.接入平臺的保護(hù) -外部接口冗余設(shè)計和外部接口的切換 錯誤 ! 未定義書簽。外部接口類型分析 錯誤! 未定義書簽生產(chǎn)中心內(nèi)部的接口冗余 錯誤! 未定義書簽雙生產(chǎn)中心環(huán)境下的接口冗余 錯誤! 未定義書簽.容災(zāi)備份系統(tǒng) IT 技術(shù)實現(xiàn)映射 錯誤 ! 未定義書簽。5. 系統(tǒng)切換和回切 錯 誤 !未定義書簽。.系統(tǒng)切換 錯誤 ! 未定義書簽。切換原則 錯誤!未定義書簽
4、切換必要性確認(rèn) 錯誤! 未定義書簽切換可行性確認(rèn) 錯誤! 未定義書簽切換方式 錯誤!未定義書簽切換流程 錯誤!未定義書簽.回切 錯誤 ! 未定義書簽。回切原則 錯誤!未定義書簽回切可行性確認(rèn) 錯誤! 未定義書簽回切流程 錯誤!未定義書簽6. 容災(zāi)備份系統(tǒng)建設(shè)策略 錯 誤 !未定義書簽。.異地中心的選擇策略 錯誤 ! 未定義書簽。距離選擇策略 錯誤! 未定義書簽建設(shè)模式策略 錯誤! 未定義書簽設(shè)備部署策略 錯誤! 未定義書簽地點選擇策略 錯誤! 未定義書簽.容災(zāi)技術(shù)選擇策略 錯誤 ! 未定義書簽。容災(zāi)技術(shù)選擇的基本原則 錯誤! 未定義書簽容災(zāi)技術(shù)可行性判斷的一般方法 錯誤! 未定義書簽.容災(zāi)備份
5、系統(tǒng)不同實現(xiàn)級別的技術(shù)選擇 錯誤 !未定義書簽。平臺完整性 錯誤!未定義書簽備份和恢復(fù)完整性 錯誤! 未定義書簽信息完整性 錯誤!未定義書簽處理完整性 錯誤!未定義書簽企業(yè)完整性 錯誤!未定義書簽7. 名詞解釋 錯 誤 !未定義書簽。1. 總則1.1. 概述中國移動業(yè)務(wù)運營支撐系統(tǒng) - 容災(zāi)備份系統(tǒng)是中國移動業(yè)務(wù)運營支撐系統(tǒng), 如 BOSS、 經(jīng)營分析系統(tǒng)等的延伸。本規(guī)范作為中國移動的業(yè)務(wù)運營支撐系統(tǒng) 容災(zāi)備份系統(tǒng)建設(shè)的技術(shù)指導(dǎo)意見,初步解決中國移動目前存在的缺乏統(tǒng)一 的、系統(tǒng)化、規(guī)范化的業(yè)務(wù)運營支撐系統(tǒng) - 容災(zāi)技術(shù)解決方案的問題。本技術(shù)規(guī)范主要包含容災(zāi)備份系統(tǒng)建設(shè)中相關(guān)技術(shù)方面的指導(dǎo)性意見
6、。其 中主要涉及中國移動業(yè)務(wù)業(yè)務(wù)運營支撐系統(tǒng)的技術(shù)模型、容災(zāi)模型的技術(shù)實 現(xiàn)、容災(zāi)備份系統(tǒng)的切換 回切、容災(zāi)建設(shè)策略等方面的問題。本文檔附件包括相關(guān)名詞解釋 各省、自治區(qū)、直轄市公司在業(yè)務(wù)運營支撐系統(tǒng) -容災(zāi)備份系統(tǒng)的建設(shè)過程 中,應(yīng)以本技術(shù)規(guī)范為指導(dǎo),根據(jù)實際情況,進(jìn)行技術(shù)選擇、項目設(shè)計、系統(tǒng) 實施和系統(tǒng)維護(hù)工作。1.2. 目標(biāo)和原則中國移動業(yè)務(wù)運營支撐系統(tǒng)的容災(zāi)備份系統(tǒng)的總體建設(shè)目標(biāo)是:? 針對目前系統(tǒng)潛在的中斷風(fēng)險(災(zāi)難),提供預(yù)防機制,提高系統(tǒng)連 續(xù)運行能力? 對無法抗拒的嚴(yán)重災(zāi)難,提供系統(tǒng)恢復(fù)機制,將引發(fā)的業(yè)務(wù)損失降低 到可接受的程度具體到本期項目而言,中國移動業(yè)務(wù)運營支撐系統(tǒng) -容
7、災(zāi)備份系統(tǒng)規(guī)劃和建 設(shè)的目標(biāo)是:? 實現(xiàn)關(guān)鍵業(yè)務(wù)系統(tǒng)及其關(guān)聯(lián)系統(tǒng)的數(shù)據(jù)安全? 減少計劃停機次數(shù) / 時間,消除對核心數(shù)據(jù)的爭用? 將異地中心接管業(yè)務(wù)的時間控制在可以接受的范圍內(nèi)? 實現(xiàn)異地中心的軟硬件設(shè)備和數(shù)據(jù)的復(fù)用中國移動業(yè)務(wù)運營支撐系統(tǒng) -容災(zāi)備份系統(tǒng)規(guī)劃和建設(shè)中須遵循以下技術(shù)原 則:1. 實用性與成熟性使用業(yè)界成熟、可靠和實用的容災(zāi)技術(shù)。2. 先進(jìn)性系統(tǒng)結(jié)構(gòu)能夠滿足和適應(yīng)中國移動 IT 系統(tǒng)快速變化和發(fā)展的要求。3. 開放性與標(biāo)準(zhǔn)化采用開放的技術(shù)標(biāo)準(zhǔn)和協(xié)議支持整個系統(tǒng)的運行,兼容性和恢復(fù)性強。4. 自動化和操作的簡單化系統(tǒng)各部分有機集成,集中控制。1.3. 考慮的因素業(yè)務(wù)運營支撐系統(tǒng) -
8、容災(zāi)備份系統(tǒng)的建設(shè)應(yīng)綜合考慮中國移動在本系統(tǒng)業(yè) 務(wù)規(guī)范中制定的總體建設(shè)策略、各省的建設(shè)目標(biāo)及成本。具體因素包括:? 系統(tǒng)的可恢復(fù)程度 系統(tǒng)的可恢復(fù)程度包括:處理能力的恢復(fù)程度、數(shù)據(jù)的恢 復(fù)程度、業(yè)務(wù)功能的恢復(fù)程度? 系統(tǒng)的可容忍的中斷時間 系統(tǒng)中斷時間長短對應(yīng)的業(yè)務(wù)損失程度應(yīng)在可以接受的范 圍內(nèi)? 成本 包括系統(tǒng)建設(shè)、維護(hù)成本,以及資源復(fù)用情況。? 現(xiàn)有系統(tǒng)的保護(hù)機制包括現(xiàn)有的技術(shù)、管理和人員? 上述因素的綜合考慮。1.4. 適用范圍本規(guī)范適用于中國移動各?。ㄖ陛犑?、自治區(qū))業(yè)務(wù)運營支撐系統(tǒng) - 容災(zāi)備 份系統(tǒng)建設(shè)。1.5. 起草單位本技術(shù)規(guī)范由中國移動通信集團(tuán)公司負(fù)責(zé)起草。1.6. 解釋權(quán)本
9、規(guī)范的增補、修訂及解釋權(quán)屬中國移動通信集團(tuán)公司。如中國移動在此 之前的文件與本規(guī)范有矛盾,按此規(guī)范執(zhí)行。2. 容災(zāi)備份系統(tǒng)概述2.1. 災(zāi)難的定義災(zāi)難,對計算機應(yīng)用系統(tǒng)來說,任何導(dǎo)致業(yè)務(wù)停頓并帶來重大損失的事故或 意外都意味著災(zāi)難。如果企業(yè)的計算機應(yīng)用系統(tǒng)由于停機而中斷了不可忍受的一段時間的事故或 丟失的重要信息無法恢復(fù),從而導(dǎo)致業(yè)務(wù)停頓的自然的、人為的或技術(shù)上的故 障或問題,我們均稱之 風(fēng)險 !因此,從廣義來講,任何風(fēng)險都可能引起災(zāi)難。中國移動業(yè)務(wù)運營支撐系統(tǒng)主要面臨的風(fēng)險有:? 計劃內(nèi)1. 應(yīng)用軟件等的升級 ,2. 備份 /恢復(fù) /歸檔3. 數(shù)據(jù)中心遷移、整合4. 測試、容災(zāi)演習(xí) ? 計劃
10、外1. 系統(tǒng)處理能力下降2. 人為操作故障:錯誤刪除文件數(shù)據(jù),造成不可恢復(fù);錯 誤執(zhí)行程序或命令,造成系統(tǒng)死機 3. 系統(tǒng)軟硬件故障,主要包括電源及 UPS 故障、硬盤故 障、通訊控制器故障、系統(tǒng)總線、內(nèi)存、 CPU 故障等4. 安全體系被攻破5. 生產(chǎn)地點的災(zāi)難:水災(zāi)、火災(zāi)、地震及其他機房事故等6. 瘟疫? 其它:包括災(zāi)難的潛在影響,如水災(zāi)、地震等, 常伴隨著電 力的供應(yīng)問題。2.2. 容災(zāi)的定義2.2.1. 容災(zāi)定義容災(zāi),對于 IT 而言,就是一個提供能防止各種災(zāi)難的計算機信息系統(tǒng)。當(dāng) 政府、企業(yè)、商家的核心計算機系統(tǒng)遭受諸如火災(zāi)、水災(zāi)、地震、戰(zhàn)爭、人為 破、瘟疫等不可抗拒的災(zāi)難和意外時,
11、能夠及時恢復(fù)系統(tǒng)的正常運行。因此, 容災(zāi)的目的在于及時恢復(fù)系統(tǒng)運行而不在于數(shù)據(jù)復(fù)制。 容災(zāi)是業(yè)務(wù)連續(xù)性的實現(xiàn)方式之一。2.2.2. 業(yè)務(wù)連續(xù)性定義業(yè)務(wù)連續(xù)性 是一種預(yù)防性機制。它明確一個機構(gòu)的關(guān)鍵職能以及可能對這些 職能構(gòu)成的威脅,并據(jù)此采取相應(yīng)的技術(shù)手段,制定計劃和流程,確保這些關(guān) 鍵職能在任何環(huán)境下都能持續(xù)發(fā)揮作用;業(yè)務(wù)連續(xù)性 = 從計劃外停機中實現(xiàn)災(zāi)難恢復(fù) + 在計劃停機期間保持連續(xù)可 用 + 利用冗余資源提供增值服務(wù)2.3. 系統(tǒng)建設(shè)模型中國移動業(yè)務(wù)運營支撐系統(tǒng)容災(zāi)備份系統(tǒng)的建設(shè),必須按照需求分析、方案 設(shè)計、方案實施、測試 / 演習(xí)/ 維護(hù)的科學(xué)流程進(jìn)行。本文檔依據(jù)下面圖示的系 統(tǒng)建
12、設(shè)模型,對各省移動公司進(jìn)行 BOSS系統(tǒng)- 容災(zāi)備份系統(tǒng)建設(shè)時的各個階段 的工作,做出指導(dǎo)和規(guī)范。圖業(yè)務(wù)運營支撐系統(tǒng) - 容災(zāi)備份系統(tǒng)建設(shè)模型人員、流程和技術(shù)是保證業(yè)務(wù)運營支撐系統(tǒng) - 容災(zāi)備份系統(tǒng)成功實施、有效 運行的三個重要方面:? 人員,是技術(shù)和流程的制定者和執(zhí)行者。? 流程,是由人員制定的,人員依據(jù)容災(zāi)備份系統(tǒng)的目標(biāo)的要 求,為保障目標(biāo)的實現(xiàn)而制訂了一整套完整的流程。在某些時 候,它也是技術(shù)的補充和完善。包括恢復(fù)、測試、演習(xí)和維護(hù) 等;? 技術(shù),是手段、是載體;人員、流程和技術(shù)通過管理機制有效結(jié)合。管理機制包括計劃、映射、驅(qū) 動、調(diào)控等手段。首先,人員制訂了流程,并驅(qū)動流程的貫徹執(zhí)行,
13、維護(hù)流程的變更及督促流 程的完善。流程一旦建立,就對人員起到了調(diào)控作用,人員就要依據(jù)流程的要 求執(zhí)行相應(yīng)的工作步驟。其次,人員依據(jù)容災(zāi)備份系統(tǒng)目標(biāo)的要求,選擇適當(dāng) 的技術(shù)來支持這些目標(biāo)的實現(xiàn),這時,就需要對當(dāng)今的各種相關(guān) IT 技術(shù)進(jìn)行計 劃,采用一種或多種技術(shù)建立容災(zāi)備份系統(tǒng)的技術(shù)基礎(chǔ)。最后,流程也是技術(shù) 的映射,采用了哪種技術(shù),人們就會制訂適合這種技術(shù)的流程,而且,技術(shù)通 常會有一些缺陷,在對技術(shù)進(jìn)行充分評估后,通過制訂流程,可以對技術(shù)進(jìn)行 補充,以實現(xiàn)系統(tǒng)目標(biāo)。人員、流程和技術(shù)這三個重要的系統(tǒng)因素將貫穿整個容災(zāi)備份系統(tǒng)建設(shè)的始 終。2.4. BOSS 系統(tǒng) -容災(zāi)備份系統(tǒng)架構(gòu)中國移動 B
14、OSS容災(zāi)系統(tǒng)的體系架構(gòu)應(yīng)按照 BOSS系統(tǒng)建設(shè)的體系進(jìn)行劃 分,即集團(tuán)公司全國 BOSS容災(zāi)系統(tǒng)和省公司 BOSS容災(zāi)系統(tǒng)或區(qū)域級容災(zāi)系 統(tǒng),采用兩層的結(jié)構(gòu)體系,如下圖所示:第一級:集團(tuán)公司全國 BOSS容災(zāi)系統(tǒng),負(fù)責(zé)中國移動集團(tuán)公司的 BOSS系統(tǒng) 的容災(zāi)建設(shè);第二級:省公司 BOSS容災(zāi)系統(tǒng)或區(qū)域級的 BOSS容災(zāi)系統(tǒng),根據(jù)中國移動 BOSS容災(zāi)系統(tǒng)的規(guī)范要求,負(fù)責(zé)本省市 / 自治區(qū)的 BOSS系統(tǒng)運行狀況,或按業(yè) 務(wù)量大小、自然環(huán)境等具體情況,在鄰近的幾個省份實施區(qū)域級/BOSS容災(zāi)系統(tǒng),構(gòu)架區(qū)域級的容災(zāi)中心。省公司業(yè)務(wù)業(yè)務(wù)運營支撐系統(tǒng) -容災(zāi)備份系統(tǒng)架構(gòu)如下圖 所示:圖 省公司 BO
15、SS系統(tǒng) -容災(zāi)備份系統(tǒng)架構(gòu)3. 容災(zāi)備份系統(tǒng)技術(shù)模型3.1. 容災(zāi)備份系統(tǒng)的技術(shù)框架中國移動核心業(yè)務(wù)支撐系統(tǒng) BOSS。系統(tǒng)的容災(zāi)備份保護(hù),主要著眼于對業(yè)務(wù)處理平臺,數(shù)據(jù)平臺和接入平臺這三個重要的系統(tǒng)領(lǐng)域的保護(hù):如圖示意:圖? 業(yè)務(wù)平臺的保護(hù)業(yè)務(wù)處理能力的冗余容災(zāi)備份系統(tǒng)中,對于 BOSS 業(yè)務(wù)平臺的保護(hù),主要表現(xiàn)為對業(yè)務(wù)處理能力 的冗余和復(fù)用,其中牽涉:o 支持應(yīng)用系統(tǒng)運行的服務(wù)器和操作系統(tǒng)等系統(tǒng)軟件o 支持應(yīng)用系統(tǒng)運行的存儲器及存儲器和服務(wù)器的連接(存儲網(wǎng)絡(luò) 等)o 連接服務(wù)器的 IP 網(wǎng)絡(luò)系統(tǒng) o 支持應(yīng)用系統(tǒng)實現(xiàn)的 Application Server 、中間件或數(shù)據(jù)庫等 o 實現(xiàn)業(yè)
16、務(wù)邏輯的應(yīng)用軟件系統(tǒng)? 數(shù)據(jù)平臺的保護(hù)業(yè)務(wù)狀態(tài)數(shù)據(jù)的復(fù)制 在容災(zāi)備份系統(tǒng)中,對數(shù)據(jù)平臺的保護(hù)主要表現(xiàn)為對業(yè)務(wù)狀態(tài)數(shù)據(jù)的保護(hù)、 備份和恢復(fù)以及復(fù)制,需要保護(hù)的業(yè)務(wù)狀態(tài)數(shù)據(jù)包括:o 業(yè)務(wù)交易狀態(tài)(數(shù)據(jù)本身的數(shù)據(jù)屬性為文件、數(shù)據(jù)庫等)o 系統(tǒng)狀態(tài) - 包括應(yīng)用軟件的初始數(shù)據(jù)、參數(shù)設(shè)置、以及系統(tǒng)軟件的 配置數(shù)據(jù)、參數(shù)設(shè)置等。o 中間數(shù)據(jù)(或臨時數(shù)據(jù))? 接入平臺冗余和切換接入平臺在容災(zāi)備份系統(tǒng)里, 需要實現(xiàn)對外部接口的冗余及切換,其中牽 涉:o 應(yīng)用數(shù)據(jù)接口的切換 - 包括文件傳輸、消息機制等o 應(yīng)用連接接口的切換 - HTTP 連接、數(shù)據(jù)庫連接、遠(yuǎn)過程調(diào)用、對 象的調(diào)用等 o 網(wǎng)絡(luò)連接的冗余和切換
17、包括城域網(wǎng)網(wǎng)絡(luò)連接、撥號連接等等 3.2. 容災(zāi)備份系統(tǒng) IT 技術(shù)映射根據(jù)上節(jié)對容災(zāi)備份系統(tǒng)技術(shù)框架的描述,對于某個(或數(shù)個)需要提供容 災(zāi)保護(hù)的 BOSS 關(guān)鍵業(yè)務(wù),其容災(zāi)備份系統(tǒng)建設(shè)將分別包括對其相應(yīng)支撐系統(tǒng) 的處理平臺、數(shù)據(jù)平臺和接入平臺的保護(hù)。而構(gòu)成三個重要平臺系統(tǒng)的 IT 元素 包括:應(yīng)用軟件, 網(wǎng)絡(luò), 服務(wù)器、數(shù)據(jù)庫,存儲, 中間件等等。這些技術(shù)分 屬于應(yīng)用,主機,存儲,網(wǎng)絡(luò)和物理 5 個層次。在分別討論實現(xiàn)處理平臺的冗 余和復(fù)用、接入平臺的冗余和切換以及業(yè)務(wù)數(shù)據(jù)的有效復(fù)制的相關(guān) IT 技術(shù)時, 將按照這 5 個層次逐一羅列相關(guān)技術(shù)。邏輯關(guān)系見下表 31。表 3-1容災(zāi)備份系統(tǒng)
18、IT 技術(shù)矩陣3.2.1. 應(yīng)用層應(yīng)用層指建立在網(wǎng)絡(luò)系統(tǒng)之上的應(yīng)用服務(wù)系統(tǒng),如應(yīng)用軟件模塊、 Web 服 務(wù)、目錄服務(wù)、認(rèn)證服務(wù)等。BOSS容災(zāi)技術(shù)架構(gòu)中,業(yè)務(wù)平臺和接入平臺牽涉應(yīng)用層技術(shù)。在業(yè)務(wù)平臺中,應(yīng)用層主要涉及運行在應(yīng)用服務(wù)器上(或數(shù)據(jù)庫系統(tǒng)當(dāng) 中)的實現(xiàn)業(yè)務(wù)邏輯、形成內(nèi)部數(shù)據(jù)流的應(yīng)用軟件。接入平臺中,應(yīng)用層指各類終端系統(tǒng)上運行的表示軟件,如營業(yè)廳中運行 的基于瀏覽器界面的營業(yè)員操作終端軟件;賬務(wù)系統(tǒng)和銀行代理系統(tǒng)之間的前 端機上運行的接口軟件等。理論上,業(yè)務(wù)狀態(tài)數(shù)據(jù)是應(yīng)用層技術(shù)產(chǎn)生的,因此可以在應(yīng)用層技術(shù)中實 現(xiàn)其復(fù)制;但這樣將使容災(zāi)技術(shù)實現(xiàn)和目前已經(jīng)十分復(fù)雜的 BOSS 軟件系統(tǒng)架
19、 構(gòu)過分緊密相關(guān);將要求大量更動現(xiàn)有 BOSS 軟件。3.2.2. 存儲層BOSS技術(shù)架構(gòu)中,數(shù)據(jù)平臺涉及存儲層技術(shù)。存儲層是業(yè)務(wù)數(shù)據(jù)存儲的物 理平臺,它包括存儲系統(tǒng),存儲網(wǎng)絡(luò)和存儲軟件三類技術(shù)。而利用存儲軟件功 能實現(xiàn)關(guān)鍵業(yè)務(wù)狀態(tài)數(shù)據(jù)的復(fù)制,是容災(zāi)備份系統(tǒng)的最重要的技術(shù)組成部分之 一。由于它和 BOSS系統(tǒng)其他部分完全透明,因此是本次 BOSS 容災(zāi)備份系統(tǒng) 建設(shè)中首選的業(yè)務(wù)狀態(tài)數(shù)據(jù)復(fù)制方案。3.2.3. 主機層主機層技術(shù)系服務(wù)器(或工作站平臺)相關(guān)的技術(shù),包括系統(tǒng)軟件 -操作系統(tǒng),集群系統(tǒng);以及數(shù)據(jù)庫, Application Server、中間件系統(tǒng)等應(yīng)用軟件平臺等。主機層技術(shù)涉及 BO
20、SS 系統(tǒng)的所有部分。其中最重要的部分是:在業(yè)務(wù)處 理平臺當(dāng)中所采用的 Application Server/中間件技術(shù),以及 BOSS 各個內(nèi)部子系 統(tǒng)之間的其他接口技術(shù)如消息隊列技術(shù)、文件傳輸協(xié)議等(如果業(yè)務(wù)邏輯部 分由數(shù)據(jù)庫中的存儲過程實現(xiàn),則業(yè)務(wù)處理平臺還包括數(shù)據(jù)庫技術(shù))。在 BOSS 容災(zāi)備份系統(tǒng)構(gòu)成中,要考慮這些主機層技術(shù)對于 BOSS 內(nèi)部各個處理 子系統(tǒng)之間,在系統(tǒng)部分或全部切換過程中相應(yīng)的處理技術(shù)。主機層技術(shù)在數(shù)據(jù)平臺部分主要牽涉數(shù)據(jù)庫技術(shù),文件系統(tǒng)或網(wǎng)絡(luò)文件系 統(tǒng)服務(wù),這些技術(shù)實現(xiàn)業(yè)務(wù)狀態(tài)數(shù)據(jù)的基本邏輯組織。在 BOSS 容災(zāi)備份系統(tǒng) 構(gòu)成中,要考慮關(guān)鍵業(yè)務(wù)數(shù)據(jù)復(fù)制功能和這
21、些技術(shù)的集成能力。另外,這些技 術(shù)本身也可實現(xiàn)業(yè)務(wù)狀態(tài)數(shù)據(jù)的保護(hù)和復(fù)制功能。主機層技術(shù)在接入平臺部分牽涉和其他系統(tǒng)之間的各種軟件接口技術(shù)如消 息隊列技術(shù)、文件傳輸協(xié)議等。在 BOSS 容災(zāi)備份系統(tǒng)構(gòu)成中,要考慮這些主 機層技術(shù)在系統(tǒng)部分或全部切換過程中,外部系統(tǒng)和 BOSS 系統(tǒng)之間連接的相 應(yīng)切換的支持處理技術(shù)。3.2.4. 網(wǎng)絡(luò)層本規(guī)范中的網(wǎng)絡(luò)層包括兩個主要部分,即: 1、BOSS系統(tǒng)省中心及其災(zāi)備中心的局域網(wǎng),這些局域網(wǎng)用以聯(lián)結(jié)省中心和災(zāi) 備中心的各種服務(wù)器。 BOSS系統(tǒng)業(yè)務(wù)平臺主要涉及本部分技術(shù)。 2、省中心和災(zāi)備中心和外部系統(tǒng)連接的廣域網(wǎng)(或城域網(wǎng)),包括和營業(yè)廳的 網(wǎng)絡(luò)連接、和各
22、個代理銀行的網(wǎng)絡(luò)連接、和各類采集系統(tǒng)、 HLR 的網(wǎng)絡(luò)連接 等。 BOSS系統(tǒng)接入平臺主要涉及本部分技術(shù)。3.2.5. 物理層物理層指中國移動業(yè)務(wù)支撐系統(tǒng)為實現(xiàn)應(yīng)用所需要的場地,電源,通信線 路等基礎(chǔ)設(shè)施以及空調(diào)、防塵、消防、門禁、保安等輔助設(shè)施。顯然,它是整 個 BOSS的 IT 實現(xiàn)的基本物質(zhì)保障,將涉及整個 BOSS系統(tǒng)中的所有部分,本 規(guī)范統(tǒng)一考慮業(yè)務(wù)平臺、數(shù)據(jù)平臺、接入平臺的物理層要求。綜上所述, 五個不同技術(shù)層面對 BOSS 關(guān)鍵業(yè)務(wù)其相應(yīng)支撐系統(tǒng)的處理平臺、 數(shù)據(jù)平臺和接入平臺的映射關(guān)系如下圖黃色所示:容災(zāi)備份系統(tǒng)IT技術(shù)映射接入平臺處鋰平臺奴據(jù)平臺應(yīng)用存儲_主機網(wǎng)絡(luò)一 W物理4
23、. 容災(zāi)備份系統(tǒng)模型的技術(shù)實現(xiàn)容災(zāi)備份系統(tǒng)技術(shù)實現(xiàn)包含三個領(lǐng)域:業(yè)務(wù)狀態(tài)數(shù)據(jù)的備份和復(fù)制、業(yè)務(wù) 處理能力的冗余和切換、外部接口的冗余和切換。本章說明這三個領(lǐng)域在應(yīng)用 層、存儲層、主機層、網(wǎng)絡(luò)層以及物理層的不同技術(shù)實現(xiàn)方法和特點,以及如 何將這些技術(shù)應(yīng)用于容災(zāi)備份系統(tǒng)的不同實現(xiàn)階段中。4.1. 數(shù)據(jù)平臺 -業(yè)務(wù)狀態(tài)數(shù)據(jù)的保護(hù)對業(yè)務(wù)狀態(tài)數(shù)據(jù)即完整的業(yè)務(wù)運行狀態(tài)的記錄(以下簡稱生產(chǎn)數(shù)據(jù))進(jìn)行 保護(hù),主要目的有兩個:第一是生成定點拷貝,以防止生產(chǎn)數(shù)據(jù)發(fā)生邏輯故障 (如人為誤操作破壞、病毒破壞、應(yīng)用系統(tǒng)缺陷造成數(shù)據(jù)邏輯混亂等)或后臺 業(yè)務(wù)處理(如磁帶備份、新軟件測試、報表生成、統(tǒng)計分析等)影響業(yè)務(wù)系統(tǒng)
24、的運作,;第二是連續(xù)復(fù)制,在生產(chǎn)運行過程中,連續(xù)不斷地將生產(chǎn)數(shù)據(jù)復(fù)制 到異地,應(yīng)對生產(chǎn)中心的嚴(yán)重故障對生產(chǎn)數(shù)據(jù)的整體或局部物理性損壞。4.1.1. 業(yè)務(wù)狀態(tài)數(shù)據(jù)的定義業(yè)務(wù)狀態(tài)數(shù)據(jù)應(yīng)包括系統(tǒng)狀態(tài)和完整的交易狀態(tài)。系統(tǒng)狀態(tài)包括操作系統(tǒng)、數(shù)據(jù)庫、中間件、應(yīng)用程序等軟件的運行版本和 當(dāng)前軟件運行的配置數(shù)據(jù)等。完整的交易狀態(tài)指企業(yè)范圍內(nèi)各種交易執(zhí)行涉及到的完整一致的數(shù)據(jù)對象的集合,如用戶的服務(wù)訂購信息、帳務(wù)信息、明細(xì)賬單、交費記錄等。4.1.2. 業(yè)務(wù)狀態(tài)數(shù)據(jù)保護(hù)機制的技術(shù)要求完整性 :對維持業(yè)務(wù)正常運行的所有生產(chǎn)數(shù)據(jù)進(jìn)行保護(hù)。可以采取兩種策 略:分而治之或統(tǒng)一解決。分而治之即對生產(chǎn)數(shù)據(jù)的不同組成部分采
25、用不同的 方法,如對操作系統(tǒng)軟件和數(shù)據(jù)庫數(shù)據(jù)分別采用不同的方法;統(tǒng)一解決即用一 種方法保護(hù)所有的生產(chǎn)數(shù)據(jù)。雖然兩種方法都能實現(xiàn)完整性,但統(tǒng)一解決方法 獨立性強、易于擴(kuò)展、維護(hù),而且易于實現(xiàn)以下的一致性、管理性等指標(biāo)。一致性 :保證被保護(hù)的生產(chǎn)數(shù)據(jù)的各部分的業(yè)務(wù)邏輯上的一致??梢圆扇?事后一致性檢驗和事前同一時間點生產(chǎn)數(shù)據(jù)凍結(jié)技術(shù)。事后一致性檢驗技術(shù)主 要針對分而治之的完整性實現(xiàn)方法,在保護(hù)生成后驗證各部分?jǐn)?shù)據(jù)的邏輯一致 性;事前同一時間點生產(chǎn)數(shù)據(jù)凍結(jié)技術(shù)對生產(chǎn)數(shù)據(jù)各部分在同一時間的映像進(jìn) 行保護(hù),主要針對統(tǒng)一解決的完整性實現(xiàn)方法,從數(shù)據(jù)各部分之間時間上的同 步性實現(xiàn)業(yè)務(wù)邏輯一致性??沈炞C性 :
26、針對備份或復(fù)制的數(shù)據(jù),具有事先驗證手段??沈炞C性保證在 需要利用保護(hù)介質(zhì)恢復(fù)業(yè)務(wù)狀態(tài)時,可順利讀出生產(chǎn)數(shù)據(jù)、恢復(fù)業(yè)務(wù)狀態(tài)。時效性 :生成完整的生產(chǎn)數(shù)據(jù)的保護(hù)工作進(jìn)行頻率。頻率越高,時效性越 強,在業(yè)務(wù)終止時,不能恢復(fù)或需要人工恢復(fù)的數(shù)據(jù)就越少,業(yè)務(wù)就越易于準(zhǔn) 確的恢復(fù),業(yè)務(wù)的停頓時間和相關(guān)的損失就越少。 RPO 是衡量時效性要求的重 要指標(biāo)??蓴U(kuò)展性 :生產(chǎn)數(shù)據(jù)保護(hù)機制隨著 IT 基礎(chǔ)結(jié)構(gòu)和業(yè)務(wù)的變化而不斷擴(kuò)展、 適應(yīng)的能力即可擴(kuò)展性??蓴U(kuò)展性的優(yōu)劣將決定保護(hù)機制的可持續(xù)發(fā)展能力和 投資保護(hù)能力。可操作性 :在保證完整性、一致性、可驗證性、時效性、可擴(kuò)展性的前提 下,所選擇的技術(shù)手段的技術(shù)復(fù)雜
27、度、可實施能力以及易維護(hù)能力??芍赜眯?:所生成的生產(chǎn)數(shù)據(jù)的保護(hù)的多重利用能力。生成生產(chǎn)數(shù)據(jù)的保 護(hù)會占用 IT 的一部分資源,除利用其恢復(fù)業(yè)務(wù)狀態(tài)之外,利用其進(jìn)行其他任 務(wù),如數(shù)據(jù)歸檔、軟件測試、報表生成、統(tǒng)計分析將充分發(fā)揮這部分 IT 資源的 價值,增加投資回報??晒芾硇?:監(jiān)控業(yè)務(wù)狀態(tài)的保護(hù)機制的運行狀態(tài)、運行性能、故障處理的 能力,保證其按照設(shè)定的保護(hù)要求運行。集成性 :業(yè)務(wù)狀態(tài)的保護(hù)機制與業(yè)務(wù)的運行和恢復(fù)機制的整合能力。整合 能力高低決定保護(hù)機制是否可順利和當(dāng)前業(yè)務(wù)運行體系良好配合,以及當(dāng)業(yè)務(wù)中斷時,如何和業(yè)務(wù)處理能力恢復(fù)系統(tǒng)一起順利恢復(fù)業(yè)務(wù)的運行4.1.3. 技術(shù)手段分類從生產(chǎn)數(shù)據(jù)
28、的保護(hù)的生成的時間和目標(biāo)分,可分為以下兩類:? 定點拷貝? 連續(xù)復(fù)制. 定點拷貝定點拷貝( Point-in-time Copy )是在業(yè)務(wù)運行過程中某一時刻的生產(chǎn)數(shù)據(jù)的 保護(hù)。該保護(hù)一般在業(yè)務(wù)正常運行時生成,主要預(yù)防業(yè)務(wù)因生產(chǎn)數(shù)據(jù)的邏輯故 障而造成的停頓;當(dāng)生產(chǎn)數(shù)據(jù)因人為誤操作或病毒破壞而損壞時,可以利用該 定點拷貝將業(yè)務(wù)狀態(tài)恢復(fù)到損壞發(fā)生前的某一個時刻(即執(zhí)行定點拷貝時)的 業(yè)務(wù)正常狀態(tài)。在具體的業(yè)務(wù)恢復(fù)過程中,輔以其他手段(如手工錄入等,在 技術(shù)上做好對已明確的業(yè)務(wù)恢復(fù)流程的支撐),可補充自定點拷貝生成時刻起 至業(yè)務(wù)中斷時這一段時間業(yè)務(wù)運行產(chǎn)生的生產(chǎn)數(shù)據(jù)。從保存定點拷貝的介
29、質(zhì)分,可分為以下三類:? 磁帶或光盤備份? 磁盤快照? 磁盤備份. 連續(xù)復(fù)制連續(xù)復(fù)制是對業(yè)務(wù)狀態(tài)數(shù)據(jù)進(jìn)行持續(xù)不斷的復(fù)制。主要預(yù)防業(yè)務(wù)系統(tǒng)遭遇 嚴(yán)重故障而造成生產(chǎn)系統(tǒng)長時間無法修復(fù)時,利用該復(fù)制作為恢復(fù)生產(chǎn)的基 礎(chǔ)。當(dāng)嚴(yán)重故障發(fā)生時,連續(xù)復(fù)制過程也終止;在進(jìn)行業(yè)務(wù)恢復(fù)時利用復(fù)制結(jié) 果可以恢復(fù)系統(tǒng)中斷現(xiàn)場的生產(chǎn)數(shù)據(jù),從而恢復(fù)業(yè)務(wù)。同步按照連續(xù)復(fù)制過程中生產(chǎn)數(shù)據(jù)和復(fù)制結(jié)果之間的時間關(guān)系,可以分為 復(fù)制 和異步復(fù)制 ,以及介于這二者之間的 半同步復(fù)制按照數(shù)據(jù)復(fù)制的執(zhí)行方,可以分為如下幾種方式:? 應(yīng)用嵌入方式 采用應(yīng)用層技術(shù)實現(xiàn) 執(zhí)行方為應(yīng)用程序的內(nèi)嵌代碼,復(fù)制的粒度是應(yīng)用級交易,復(fù)制涉
30、及的范 圍為單個應(yīng)用。復(fù)制的原理是應(yīng)用程序負(fù)責(zé)將同一筆交易在本地中心(或稱生 產(chǎn)中心)和備份中心(或稱備份中心)都得到執(zhí)行。其同步方式為“兩階段提 交( two-phase commit)”方式,同一筆交易同時向兩個中心提交,獲得兩個中 心的交易完成應(yīng)答后,該交易作為一個整體完成。其異步方式為“交易日志重 放”方式,生產(chǎn)中心定期將已完成的交易所需要的輸入(或直接將輸出結(jié)果) 發(fā)往備份中心,在備份中心重新執(zhí)行(或直接記錄結(jié)果)。? 數(shù)據(jù)庫方式采用(依靠)主機層技術(shù)實現(xiàn) 執(zhí)行方為數(shù)據(jù)庫管理系統(tǒng)的輔助程序,復(fù)制的粒度是數(shù)據(jù)庫內(nèi)數(shù)據(jù)操縱動 作( Data Manipulation Operation)
31、,復(fù)制涉及的范圍為單個數(shù)據(jù)庫。數(shù)據(jù)庫管 理系統(tǒng)在執(zhí)行數(shù)據(jù)操縱動作過程中,將需要整體完成的動作集合作為交易來管 理;利 用聯(lián)機日 志( Online Logs )記 錄交易的執(zhí)行 情況 , 利用歸檔 日志 ( Archive Logs )定期將聯(lián)機日志進(jìn)行一定期限的保留。其同步方式為同時傳輸 歸檔日志和聯(lián)機日志,保持備份中心和生產(chǎn)中心的數(shù)據(jù)庫中已提交的交易的執(zhí) 行的一致性;其異步方式為只傳輸歸檔日志。? 文件系統(tǒng)方式采用主機層技術(shù) 執(zhí)行方為系統(tǒng)中特定的文件系統(tǒng)復(fù)制引擎,復(fù)制的粒度為文件系統(tǒng)中的文 件,復(fù)制涉及的范圍為單個服務(wù)器中的文件系統(tǒng)。文件是粗粒度的數(shù)據(jù)對象, 復(fù)制多發(fā)生在文件被關(guān)閉時。其復(fù)
32、制方式多為異步的數(shù)據(jù)遷移方式,復(fù)制引擎 在文件一級比較生產(chǎn)中心和備份中心的差異,定期將生產(chǎn)中心被修改過的文件 傳輸?shù)絺浞葜行摹? 服務(wù)器卷管理軟件方式采用主機層技術(shù) 執(zhí)行方為服務(wù)器中的卷管理系統(tǒng)或操作系統(tǒng)的特定復(fù)制輔助部件,復(fù)制的 粒度為卷管理系統(tǒng)接受到的來自文件系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)、服務(wù)器內(nèi)存管理 系統(tǒng)的 IO 更新操作,復(fù)制涉及的范圍為單個服務(wù)器管理的邏輯卷。一般利用服 務(wù)器的 CPU、 Memory、磁盤更新日志、以及服務(wù)器之間的 TCP/IP 網(wǎng)絡(luò)資源完 成復(fù)制。運行方式可以為同步、異步方式。? 智能存儲系統(tǒng)方式采用存儲層技術(shù)執(zhí)行方為智能存儲系統(tǒng),復(fù)制的粒度為存儲系統(tǒng)接受到來自服務(wù)器的
33、 IO 更 新操作,復(fù)制涉及的范圍為企業(yè)中存放在智能存儲系統(tǒng)中的所有信息,包括應(yīng) 用程序、數(shù)據(jù)庫、文件系統(tǒng)、數(shù)據(jù)卷等等。運行方式可以為同步、異步、半同 步方式。同步方式可分為兩種:同步拷貝和完全鏡像。異步方式下,在生產(chǎn)中 心可以按照兩種方式緩存需延時復(fù)制的數(shù)據(jù):復(fù)制隊列技術(shù)和定點拷貝復(fù)制 技術(shù)。(延遲同步和緩沖區(qū)技術(shù))4.1.4. 定點拷貝的技術(shù)實現(xiàn). 磁帶或光盤備份存儲層技術(shù)磁帶或光盤備份是基于磁帶或光盤介質(zhì)的定點拷貝。目前磁帶備份應(yīng)用較普遍,下面以磁帶備份描述備份技術(shù)。 磁帶備份包括分散式備份和集中式備份。在 分散式備份 方式下,每臺服務(wù)器自帶磁帶機,對該服務(wù)器管理的數(shù)據(jù)進(jìn)
34、行備份。這種分散型備份存在擴(kuò)展性不強、難以管理、安全性差等特點。集中式備份 的架構(gòu)是對備份采取集中式管理,要備份的生產(chǎn)數(shù)據(jù)分布在多 臺服務(wù)器中。一般存在一臺備份管理服務(wù)器( BACKUP SERVER),多個擁有 生產(chǎn)數(shù)據(jù)的備份客戶端( Backup Client),一個或多個控制磁帶庫機械臂和磁 帶驅(qū)動器的磁帶介質(zhì)服務(wù)器( Media Server),介質(zhì)服務(wù)器可以位于備份管理服 務(wù)器、特定的備份客戶端或?qū)iT的服務(wù)器中。備份管理服務(wù)器控制備份客戶端和介質(zhì)服務(wù)器,引導(dǎo)備份客戶端將數(shù)據(jù)傳 送到介質(zhì)服務(wù)器中,并通過記錄備份過程中的管理信息,對備份系統(tǒng)的設(shè)置、 監(jiān)控、恢復(fù)進(jìn)行有效的管理。為了支持各種
35、不同的備份客戶端,如不同的操作系統(tǒng)、文件系統(tǒng)、數(shù)據(jù) 庫、商用應(yīng)用軟件,各系統(tǒng)開發(fā)廠商在不同備份客戶端中安裝備份代理程序, 實現(xiàn)備份系統(tǒng)各部件之間統(tǒng)一、可擴(kuò)展的備份架構(gòu)。其中對于文件系統(tǒng)服務(wù) 器,業(yè)界包括文件系統(tǒng)服務(wù)器和備份軟件系統(tǒng)廠商開發(fā)了 NDMP 協(xié)議,可對各 廠商的文件系統(tǒng)服務(wù)器進(jìn)行統(tǒng)一的備份和恢復(fù)。根據(jù)備份客戶端和磁帶設(shè)備之間數(shù)據(jù)傳輸使用的通信資源情況,備份架構(gòu) 又可分為如下幾類:? LAN-FREE:在介質(zhì)服務(wù)器對磁帶介質(zhì)的控制以及備份管理服務(wù)器對 備份過程的控制配合下,備份客戶端可以直接由 SAN訪問磁帶設(shè) 備;? SERVER-LES:S 備份數(shù)據(jù)由數(shù)據(jù)所在的在線存儲設(shè)備直接寫入
36、磁帶 設(shè)備,這一過程不使用生產(chǎn)服務(wù)器的處理資源。根據(jù)備份客戶端備份代理程序的不同,要備份的數(shù)據(jù)可以位于不同的層 面:? 應(yīng)用程序? 數(shù)據(jù)庫? 文件系統(tǒng)? 服務(wù)器卷? 磁盤存儲設(shè)備 在不同層面?zhèn)浞莸臄?shù)據(jù),在恢復(fù)數(shù)據(jù)時也將在對應(yīng)層面進(jìn)行,在整個業(yè)務(wù) 恢復(fù)流程中也將在對應(yīng)層面和其他步驟進(jìn)行整合。根據(jù)備份進(jìn)程對要備份的數(shù)據(jù)的爭用情況,可以分為以下兩類:? 脫機備份 :在備份代理程序從備份客戶端讀取要備份的數(shù)據(jù)時,該 數(shù)據(jù)對生產(chǎn)進(jìn)程已處于脫機狀態(tài);? 聯(lián)機備份 :在備份代理程序從備份客戶端讀取要備份的數(shù)據(jù)時,該 數(shù)據(jù)對生產(chǎn)進(jìn)程仍處于聯(lián)機狀態(tài);根據(jù)對備份介質(zhì)的數(shù)量的要求,備份可分為如下兩類:? 單路備份
37、:備份時為生產(chǎn)數(shù)據(jù)形成一份磁帶拷貝;? 多路備份 :備份時為生產(chǎn)數(shù)據(jù)形成多份磁帶拷貝。 根據(jù)備份客戶端和介質(zhì)服務(wù)器之間的距離,可以分為兩類:? 本地備份 :備份客戶端和介質(zhì)服務(wù)器在同一機房內(nèi);? 遠(yuǎn)程備份 :備份客戶端和介質(zhì)服務(wù)器在不同機房內(nèi)。. 快照存儲層技術(shù)快照是將數(shù)據(jù)快速備份到在線介質(zhì)中。根據(jù)快照保存的機制,快照可以分為兩類:? 指針型快照被快照的生產(chǎn)數(shù)據(jù)在物理上由數(shù)據(jù)塊構(gòu)成,每個數(shù)據(jù)塊具有相應(yīng)的指針。 快照生成時完整拷貝生產(chǎn)數(shù)據(jù)包含的所有數(shù)據(jù)塊的指針,邏輯上獲得一個新的 生產(chǎn)數(shù)據(jù)的備份,但共享物理數(shù)據(jù)塊;使用快照時,通過指針指向的物理塊, 而獲得實際的數(shù)據(jù)。無論生產(chǎn)數(shù)據(jù)還
38、是快照被修改時,一般通過“copy on firstwrite”機制,將共享的物理塊的數(shù)據(jù)拷貝到專門的緩存區(qū)中,然后再對數(shù)據(jù)進(jìn) 行修改。指針型快照適用于修改量小、快照保留時間短,并不需要對快照數(shù)據(jù)進(jìn)行 大量讀寫操作的場合。在這種情況下,緩沖區(qū)的大小可以設(shè)計為相當(dāng)于生產(chǎn)數(shù) 據(jù)物理空間較小數(shù)量的百分比,如 5%20%。? 物理拷貝型快照(即克隆) 快照生成時完整拷貝生產(chǎn)數(shù)據(jù)包含的所有物理數(shù)據(jù)塊;隨后對快照的修改與 生產(chǎn)數(shù)據(jù)無關(guān),反之亦然。當(dāng)生產(chǎn)數(shù)據(jù)發(fā)生損壞時,利用快照可以恢復(fù)生產(chǎn)數(shù) 據(jù)。在恢復(fù)過程中,利用生產(chǎn)數(shù)據(jù)和快照之間數(shù)據(jù)塊的對應(yīng)關(guān)系,可以只恢復(fù) 被修改過的數(shù)據(jù)塊,以增量方式實現(xiàn)快速恢復(fù)。物理
39、型快照適用于修改量大、保留時間長、對生產(chǎn)數(shù)據(jù)和克隆數(shù)據(jù)需要同 時讀寫操作的場合。根據(jù)快照生成的執(zhí)行方層面,快照可分類如下:? 文件系統(tǒng)方式執(zhí)行方為操作系統(tǒng)中的文件管理系統(tǒng),快照粒度為文件的數(shù)據(jù)塊,快照范圍 可以為單個文件至整個文件系統(tǒng)。? 服務(wù)器邏輯卷 執(zhí)行方為操作系統(tǒng)中的卷管理系統(tǒng),快照粒度為卷的數(shù)據(jù)塊,快照范圍為單 個卷至所有卷。? 智能磁盤設(shè)備執(zhí)行方為智能磁盤系統(tǒng),快照粒度為磁盤的磁道或柱面??煺辗秶鸀榇疟P卷 至整個磁盤陣列;或者根據(jù)服務(wù)器文件及服務(wù)器邏輯卷與物理磁道的映射關(guān) 系,可以按文件或服務(wù)器邏輯卷執(zhí)行快照操作。由于不同廠商在不同層面上實現(xiàn)快照,必須對快照的定義、生成、監(jiān)控、 恢復(fù)
40、進(jìn)行統(tǒng)一的管理。通過統(tǒng)一的管理,可以屏蔽不同實現(xiàn)的技術(shù)差別,按照 業(yè)務(wù)要求有效利用快照。和磁帶備份相比,磁盤快照具有速度快、數(shù)據(jù)易于驗證等特點,要求高速 備份、頻繁備份和快速恢復(fù)的應(yīng)用程序傾向于使用磁盤快照。. 磁盤備份存儲層技術(shù)磁盤備份是利用磁盤代替磁帶作為備份介質(zhì),具有備份、恢復(fù)速度快,數(shù) 據(jù)易于驗證、備份管理手段成熟等優(yōu)勢,隨著磁盤性價比的不斷優(yōu)化,可優(yōu)先 考慮使用磁盤備份滿足關(guān)鍵數(shù)據(jù)的備份要求。4.1.5. 連續(xù)復(fù)制的技術(shù)實現(xiàn). 應(yīng)用嵌入方式復(fù)制應(yīng)用層技術(shù)應(yīng)用嵌入方式下的業(yè)務(wù)狀態(tài)復(fù)制嵌入到應(yīng)用代碼內(nèi),在兩個中心業(yè)務(wù)平臺邏 輯結(jié)構(gòu)完全一致的前提下,利用對兩個中
41、心相同的系統(tǒng)輸入,確保相同的系統(tǒng) 輸出,同時保持業(yè)務(wù)交易在生產(chǎn)中心和備份中心的交易完整性。在交叉耦合情況下,應(yīng)用級別的交易可以涉及到多個服務(wù)器中運行的多個 應(yīng)用模塊,更新多個數(shù)據(jù)庫;在進(jìn)行交易復(fù)制時,如果不能保證這些應(yīng)用模塊 和數(shù)據(jù)庫在備份中心的“原子級”更新(原子級更新的含義為要么全部完成要 么都不更新,不允許部分更新對業(yè)務(wù)狀態(tài)一致性的影響)。故嵌入的復(fù)制代碼 除了傳輸交易數(shù)據(jù)外,必須編寫大量的交易管理 /異常處理 /交易安全代碼保證交 易完整性和安全性。應(yīng)用模式發(fā)生改變或交易的原子操作發(fā)生變化時,兩個中心內(nèi)嵌的復(fù)制代 碼必須同步更新,從而增加同時維護(hù)多個系統(tǒng)的要求,否則會發(fā)生交易復(fù)制缺 失
42、或交易復(fù)制不完整的錯誤。由于需要重新初始化復(fù)制過程、重新測試復(fù)制機 制,將增加系統(tǒng)升級的周期,增大新業(yè)務(wù)投產(chǎn)的風(fēng)險。當(dāng)生產(chǎn)數(shù)據(jù)發(fā)生結(jié)構(gòu)性變化時,這種結(jié)構(gòu)性變化往往不能通過交易復(fù)制傳 輸?shù)絺浞葜行?;此時必須終止交易復(fù)制機制,在備份中心進(jìn)行同樣的數(shù)據(jù)結(jié)構(gòu) 改變,從而要求系統(tǒng)管理人員實際上維護(hù)兩個生產(chǎn)系統(tǒng)。從保證業(yè)務(wù)狀態(tài)數(shù)據(jù)的完整性看,該技術(shù)只能復(fù)制應(yīng)用涉及的用戶數(shù)據(jù)部 分,系統(tǒng)狀態(tài)的同步必須通過其他方式來維護(hù)。這種復(fù)制方式較適合于串行的流程,對于多個子系統(tǒng)交叉耦合的復(fù)雜業(yè)務(wù) 系統(tǒng),因業(yè)務(wù)頻繁發(fā)生變化而導(dǎo)致處理流程和數(shù)據(jù)結(jié)構(gòu)頻繁更動的情況下,需 頻繁維護(hù)復(fù)制系統(tǒng)。實現(xiàn)難度很大。. 數(shù)據(jù)
43、庫方式主機層技術(shù)數(shù)據(jù)庫方式的數(shù)據(jù)復(fù)制通過數(shù)據(jù)庫管理系統(tǒng)對數(shù)據(jù)更新操作的交易管理來 實現(xiàn),不同數(shù)據(jù)庫的數(shù)據(jù)復(fù)制機制各不相同,其共性的原理如下。數(shù)據(jù)庫的更新分為兩種更新,元數(shù)據(jù)( metadata)的改變和用戶數(shù)據(jù)的改 變。元數(shù)據(jù)的改變即數(shù)據(jù)庫結(jié)構(gòu)的改變,如數(shù)據(jù)庫的表空間的擴(kuò)展等;用戶數(shù) 據(jù)的改變?nèi)缬脩魯?shù)據(jù)庫表中記錄的增、刪、改等。應(yīng)用的某個交易可能涉及到多個數(shù)據(jù)庫表的增刪改等操作。為了實現(xiàn)應(yīng)用 交易的完整性,數(shù)據(jù)庫管理程序?qū)⒍鄠€用戶數(shù)據(jù)修改操作定義為數(shù)據(jù)庫交易, 而在交易日志中具體記錄交易的開始、子操作細(xì)節(jié)和結(jié)束 (commit) 。當(dāng)數(shù)據(jù)庫 重啟或進(jìn)行數(shù)據(jù)恢復(fù)操作時,利用日志中記錄的信息,執(zhí)行
44、前滾操作( roll forward )保證已結(jié)束的數(shù)據(jù)庫交易數(shù)據(jù)的不丟失,執(zhí)行回滾操作( roll back) 完全丟棄未完成的交易的部分更新。數(shù)據(jù)庫交易的復(fù)制機制利用日志的這種特性,在生產(chǎn)中心將日志傳輸?shù)絺?份中心;如果備份中心的數(shù)據(jù)庫結(jié)構(gòu)和生產(chǎn)中心的數(shù)據(jù)庫結(jié)構(gòu)保持一致,則備 份中心的數(shù)據(jù)庫對日志中記載的交易執(zhí)行前滾操作,即實現(xiàn)了對備份中心數(shù)據(jù) 庫數(shù)據(jù)的更新。日志分為聯(lián)機日志和歸檔日志。聯(lián)機日志在生產(chǎn)中心執(zhí)行數(shù)據(jù)庫交易時實 時生成,而歸檔日志為聯(lián)機日志寫滿關(guān)閉后的狀態(tài)。同步方式由于同時復(fù)制歸檔日志和聯(lián)機日志,而聯(lián)機日志與數(shù)據(jù)庫交易的 本地提交存在時序關(guān)系,會因為復(fù)制過程引入的處理開銷和網(wǎng)絡(luò)
45、延遲而影響本 地數(shù)據(jù)庫的性能,因而適用于近距離、低數(shù)據(jù)庫交易負(fù)載的場合。其異步方式由于只復(fù)制歸檔日志,可在長距離下避免復(fù)制聯(lián)機日志而對生 產(chǎn)數(shù)據(jù)庫產(chǎn)生的影響,但要承受不復(fù)制聯(lián)機日志而帶來的交易丟失。從數(shù)據(jù)庫復(fù)制的過程看,數(shù)據(jù)庫交易復(fù)制時要求數(shù)據(jù)庫的結(jié)構(gòu)保持穩(wěn)定; 當(dāng)數(shù)據(jù)庫結(jié)構(gòu)發(fā)生變化,如擴(kuò)展表空間時,必須重新初始化復(fù)制過程。從保證業(yè)務(wù)狀態(tài)的完整性看,該技術(shù)只能復(fù)制數(shù)據(jù)庫中的數(shù)據(jù),需要采用 其他技術(shù)復(fù)制系統(tǒng)狀態(tài)和為與數(shù)據(jù)庫之外的如位于文件系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)庫方式復(fù)制適用于單數(shù)據(jù)庫應(yīng)用,對于多數(shù)據(jù)庫、異構(gòu)數(shù)據(jù)庫等企業(yè) 級的 IT 生產(chǎn)環(huán)境,需同時妥善維護(hù)多個數(shù)據(jù)庫方式復(fù)制系統(tǒng)。.
46、 文件系統(tǒng)方式主機層技術(shù)文件系統(tǒng)級復(fù)制嵌入到操作系統(tǒng)的文件管理模塊中,不同操作系統(tǒng)采用不 同的復(fù)制機制。文件作為操作系統(tǒng)為上層提供的抽象數(shù)據(jù)服務(wù)單元,和數(shù)據(jù)庫一樣,文件 發(fā)生的變化分為結(jié)構(gòu)的變化和文件內(nèi)容的變化。文件系統(tǒng)用日志來記錄文件內(nèi) 容的變化,而文件結(jié)構(gòu)的變化(如文件系統(tǒng)分區(qū)大小的改變,文件屬性的改 變)則需要日志記錄之外的手段來實現(xiàn)。文件被復(fù)制時的狀態(tài)分為兩種:關(guān)閉和打開。針對已關(guān)閉的文件,復(fù)制過程可直接傳輸文件的內(nèi)容;傳輸文件內(nèi)容時可 采取全傳輸和增量傳輸?shù)姆绞剑徊捎萌珎鬏敺绞綍r,需考慮對網(wǎng)絡(luò)、生產(chǎn)系統(tǒng) 性能的影響;采用增量傳輸時,需使用服務(wù)器 CPU和 Memory 計算增量內(nèi)容,
47、 需考慮對服務(wù)器處理性能的影響;經(jīng)過網(wǎng)絡(luò)傳輸時,為保障文件內(nèi)容的完全, 應(yīng)采用加密傳輸方式,需考慮加密解密過程對服務(wù)器處理性能的影響??梢圆?用壓縮方式來減少網(wǎng)絡(luò)傳輸?shù)膲毫途W(wǎng)上傳輸?shù)陌踩?。針對正打開的文件,復(fù)制過程較為復(fù)雜,傳輸日志可以將在生產(chǎn)中心對文 件的修改持續(xù)不斷的在備份中心得到重現(xiàn);應(yīng)考慮該復(fù)制過程對服務(wù)器性能的 影響。從文件復(fù)制的過程看,文件內(nèi)容或日志復(fù)制時要求文件系統(tǒng)的結(jié)構(gòu)保持穩(wěn) 定;當(dāng)文件系統(tǒng)結(jié)構(gòu)發(fā)生變化,如文件系統(tǒng)空間擴(kuò)大,由于備份中心文件系統(tǒng) 的預(yù)留空間可能發(fā)生不足,必須重新檢查復(fù)制的配置狀況,重新設(shè)置復(fù)制過 程。從保證業(yè)務(wù)狀態(tài)的完整性看,該技術(shù)只能復(fù)制文件系統(tǒng)中的數(shù)據(jù),
48、需要采 用其他技術(shù)復(fù)制數(shù)據(jù)庫系統(tǒng)和裸設(shè)備中的數(shù)據(jù)。文件系統(tǒng)方式復(fù)制適用于單操作系統(tǒng)、無數(shù)據(jù)庫應(yīng)用,對于多服務(wù)器平 臺、業(yè)務(wù)流程經(jīng)常變化的企業(yè)級的 IT 生產(chǎn)系統(tǒng)的數(shù)據(jù)復(fù)制,需同時采用其他復(fù) 制方式以保持業(yè)務(wù)狀態(tài)的完整復(fù)制。. 服務(wù)器邏輯卷方式主機層技術(shù)服務(wù)器邏輯卷方式復(fù)制嵌入在操作系統(tǒng)的卷管理系統(tǒng)中,不同操作系統(tǒng)采 用不同的卷管理系統(tǒng),也有第三方的卷管理系統(tǒng)適用于多個操作系統(tǒng)平臺,但 目前沒有一個卷管理系統(tǒng)被所有操作系統(tǒng)使用。操作系統(tǒng)的卷管理系統(tǒng)位于磁 盤設(shè)備驅(qū)動程序之上,屏蔽各設(shè)備驅(qū)動程序形成的裸設(shè)備的差別,為上層實體 (如文件系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng))提供統(tǒng)一的邏輯磁盤設(shè)備。卷發(fā)
49、生的變化分為結(jié)構(gòu)的變化和卷內(nèi)容的變化。卷內(nèi)容的變化通過數(shù)據(jù)復(fù) 制過程將引起該變化的操作在備份中心重現(xiàn)獲得。復(fù)制的粒度為針對卷的基本 塊的修改、插入、刪除等操作。卷結(jié)構(gòu)的變化包括卷組中包含設(shè)備的變化、邏輯卷的大小變化等,該變化 不能通過數(shù)據(jù)復(fù)制過程獲得,需要由系統(tǒng)管理員在備份中心執(zhí)行同樣的結(jié)構(gòu)變 化操作。由于卷復(fù)制部件引入的服務(wù)器 CPU、Memory 運行開銷和 TCP/IP 網(wǎng)絡(luò)的傳 輸延遲,同步方式將對業(yè)務(wù)的正常運行產(chǎn)生性能影響。性能影響的程度和當(dāng)前 的 IT 資源配置和業(yè)務(wù)繁忙程度相關(guān)。從保持?jǐn)?shù)據(jù)復(fù)制的一致性看,某個復(fù)制進(jìn)程只能復(fù)制一臺服務(wù)器所管理的數(shù)據(jù),多臺服務(wù)器的數(shù)據(jù)復(fù)制需采用多個復(fù)
50、制進(jìn)程,其數(shù)據(jù)一致性通過數(shù)據(jù)復(fù) 制機制實現(xiàn)。從數(shù)據(jù)復(fù)制機制的可管理性看,某一復(fù)制管理程序只能管理某一類卷管理 系統(tǒng)下的復(fù)制,對于屬于不同卷管理程序的多平臺 IT 系統(tǒng),必須同時對多個復(fù) 制機制進(jìn)行管理。從卷復(fù)制的過程看,操作復(fù)制時要求卷管理系統(tǒng)的結(jié)構(gòu)保持穩(wěn)定;當(dāng)卷系 統(tǒng)結(jié)構(gòu)發(fā)生變化,如卷包含設(shè)備發(fā)生增刪,由于備份中心設(shè)備配置的不同,必 須重新檢查復(fù)制的配置狀況,重新設(shè)置復(fù)制過程。從保證業(yè)務(wù)狀態(tài)的完整性看,該技術(shù)只能特定卷管理系統(tǒng)所管理的數(shù)據(jù), 需要采用其他技術(shù)復(fù)制裸設(shè)備中(如操作系統(tǒng)啟動盤)的數(shù)據(jù)。服務(wù)器邏輯卷方式復(fù)制適用于單卷管理系統(tǒng)、無裸設(shè)備應(yīng)用,對于多平 臺、業(yè)務(wù)及卷管理結(jié)構(gòu)將發(fā)生變化的
51、企業(yè)級的 IT 生產(chǎn)系統(tǒng)的數(shù)據(jù)復(fù)制,需妥善 維護(hù)多個復(fù)制系統(tǒng),保證相互之間的數(shù)據(jù)一致性。. 智能存儲系統(tǒng)方式存儲層技術(shù)磁盤系統(tǒng)利用自身的處理能力,通過磁盤系統(tǒng)之間的通道連接復(fù)制磁盤系 統(tǒng)內(nèi)的數(shù)據(jù)更新,從而在備份中心保存生產(chǎn)數(shù)據(jù)的記錄。磁盤系統(tǒng)是信息的真正物理所在地,利用磁盤復(fù)制可以獨立于服務(wù)器、操 作系統(tǒng)、卷管理系統(tǒng)、數(shù)據(jù)庫、文件系統(tǒng)、中間件、應(yīng)用程序。磁盤系統(tǒng)數(shù)據(jù)的物理構(gòu)成單位為扇區(qū) ( Sector)、 簇(Cluster)、 磁道( Track)、柱面 (Cylinder )、卷(Volume)。一般基于卷建立磁盤復(fù)制的復(fù)制對應(yīng)關(guān)系,復(fù)制過程中的數(shù)據(jù)傳輸單位可 能為簇、磁道
52、或柱面。從生產(chǎn)中心和備份中心中心之間數(shù)據(jù)是否保持完全一致看,傳輸模式可分 為如下三種:? 同步:從服務(wù)器來看,一個完整的磁盤 IO 更新同時包含對兩個數(shù) 據(jù)中心的磁盤 IO 更新。? 異步:服務(wù)器照常執(zhí)行對生產(chǎn)中心的磁盤 IO 更新,復(fù)制程序?qū)?IO 更新異步地從生產(chǎn)中心傳輸?shù)絺浞葜行?。備份中心?IO 更新將落 后于生產(chǎn)中心。? 半同步 :備份中心的 IO 更新將落后于生產(chǎn)中心指定的數(shù)量。 當(dāng)復(fù)制過程因為網(wǎng)絡(luò)原因中斷后,恢復(fù)時是否只追補自中斷后新增的更新 來分,復(fù)制可分為兩類:? 增量復(fù)制 :只復(fù)制中斷期間新產(chǎn)生的 IO 更新。? 全復(fù)制 :全部復(fù)制生產(chǎn)卷中的所有數(shù)據(jù)。 當(dāng)進(jìn)行系統(tǒng)切換時,需
53、要進(jìn)行反向復(fù)制時,根據(jù)反向復(fù)制使用的技術(shù),可 分為三類:? 增量 :只復(fù)制切換后在新生產(chǎn)中心新產(chǎn)生的 IO 更新。? 完全 :將新生產(chǎn)中心修改過的卷完全復(fù)制到老生產(chǎn)中心。? 角色轉(zhuǎn)換 :在切換后轉(zhuǎn)換復(fù)制關(guān)系,將新生產(chǎn)中心設(shè)置為復(fù)制源( Source),將原生產(chǎn)中心設(shè)置為復(fù)制目的地( Target)。從監(jiān)控數(shù)據(jù)復(fù)制過程的方式看,分為兩類:? 命令行 :通過基本命令行監(jiān)控。? 圖形 :通過圖形化的界面監(jiān)控。從監(jiān)控程序使用的通信介質(zhì)看,分為兩類:? 帶內(nèi)監(jiān)控 :通過數(shù)據(jù)復(fù)制網(wǎng)絡(luò)(即磁盤之間的通道連接)進(jìn)行監(jiān)控? 帶外監(jiān)控 :通過和存儲設(shè)備相連接的服務(wù)器之間的 TCP/IP 網(wǎng)絡(luò)進(jìn)行監(jiān)控從監(jiān)控者所在位
54、置看,分為兩類:? 生產(chǎn)中心 :在數(shù)據(jù)復(fù)制遠(yuǎn)端監(jiān)控數(shù)據(jù)復(fù)制? 備份中心 :在數(shù)據(jù)復(fù)制目的端監(jiān)控數(shù)據(jù)復(fù)制從監(jiān)控數(shù)據(jù)復(fù)制過程的范圍看,分為三類:? 性能 :監(jiān)控數(shù)據(jù)復(fù)制過程是否達(dá)到業(yè)務(wù)的復(fù)制要求。? 流量:監(jiān)控數(shù)據(jù)復(fù)制系統(tǒng)各部件具體的 IO 流量。? 故障 :監(jiān)控數(shù)據(jù)復(fù)制系統(tǒng)各部件的完好狀態(tài)。從數(shù)據(jù)復(fù)制在備份中心被存取的方式看,分為兩類:? 只讀 :備份中心對數(shù)據(jù)復(fù)制只能進(jìn)行讀操作。? 可讀可寫 :備份中心對數(shù)據(jù)復(fù)制可進(jìn)行讀寫操作。上層數(shù)據(jù)應(yīng)用實體(如服務(wù)器卷、數(shù)據(jù)庫、文件系統(tǒng)、裸設(shè)備)與磁盤系 統(tǒng)中的物理設(shè)備存在映射關(guān)系,從磁盤數(shù)據(jù)復(fù)制保障上層數(shù)據(jù)應(yīng)用實體的一致 性的層次和范圍看,分為三類:?
55、數(shù)據(jù)庫 :將數(shù)據(jù)庫對應(yīng)的所有磁盤卷納入到可統(tǒng)一進(jìn)行復(fù)制操作的 磁盤數(shù)據(jù)設(shè)備組中。? 應(yīng)用 :將某一應(yīng)用對應(yīng)的所有磁盤設(shè)備卷納入到可統(tǒng)一進(jìn)行復(fù)制操 作的磁盤數(shù)據(jù)設(shè)備組中。? 跨應(yīng)用 :將多個應(yīng)用對應(yīng)的所有磁盤設(shè)備卷納入到可統(tǒng)一進(jìn)行復(fù)制 操作的磁盤數(shù)據(jù)設(shè)備組中。這些磁盤卷可以位于多個磁盤服務(wù)器 中。通過對多個磁盤服務(wù)器復(fù)制的集中管理實現(xiàn)跨磁盤服務(wù)器復(fù)制 的數(shù)據(jù)一致性。從數(shù)據(jù)復(fù)制過程在復(fù)制過程故障中斷情況下對數(shù)據(jù)一致性的保障看,分為 兩類:? 凍結(jié)停頓 ( freeze and stop ):一旦檢測到復(fù)制機制任一故障, 立即停止復(fù)制操作并關(guān)閉應(yīng)用。 應(yīng)用于需保證兩個數(shù)據(jù)中心數(shù)據(jù) 完全一致的環(huán)境。?
56、 凍結(jié)繼續(xù) ( freeze and go ):一旦檢測到復(fù)制機制任一故障,立 即停止復(fù)制操作,生產(chǎn)中心業(yè)務(wù)繼續(xù)。 應(yīng)用于需保證生產(chǎn)中心業(yè) 務(wù)運行的環(huán)境。從數(shù)據(jù)復(fù)制過程對兩端磁盤系統(tǒng)的硬件和軟件要求看,分為:? 硬件前后代兼容 :不同硬件版本的磁盤服務(wù)器之間可以進(jìn)行磁盤數(shù) 據(jù)復(fù)制。? 軟件前后代兼容 :不同軟件版本的磁盤服務(wù)器之間可以進(jìn)行磁盤數(shù) 據(jù)復(fù)制。在同步狀態(tài)下,從生產(chǎn)系統(tǒng)是否可聯(lián)機存取數(shù)據(jù)目的端的能力看,分為:? 數(shù)據(jù)同步拷貝 :同步拷貝只能被備份服務(wù)器使用,當(dāng)生產(chǎn)數(shù)據(jù)發(fā)生 損壞時,生產(chǎn)服務(wù)器不能在不中斷業(yè)務(wù)的前提下透明聯(lián)機訪問拷貝 中的數(shù)據(jù),而只能通過啟動備份服務(wù)器來恢復(fù)業(yè)務(wù)。? 數(shù)據(jù)同步鏡像 :除實現(xiàn)同步拷貝的功能外,生產(chǎn)服務(wù)器采用同一地 址訪問鏡像和數(shù)據(jù)源;當(dāng)生產(chǎn)數(shù)據(jù)發(fā)生損壞時,生產(chǎn)服務(wù)器可在不 中斷業(yè)務(wù)的前提下透明聯(lián)機訪問拷貝中的數(shù)據(jù)。異步方式下,可以按照兩種方式緩存需延時復(fù)制的數(shù)據(jù):復(fù)制隊列技術(shù)和 定點拷貝復(fù)制技術(shù)。復(fù)制隊列技術(shù) 將所有生產(chǎn)數(shù)據(jù)的更新直接保存到緩沖區(qū),復(fù)制進(jìn)程連續(xù)不 斷地讀取緩沖區(qū)中的數(shù)據(jù),傳輸?shù)絺浞葜行牡拇鎯?/p>
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二五版美團(tuán)外賣商家綠色包裝與環(huán)保承諾合同4篇
- 二零二五版貓咪寵物行業(yè)投資與融資協(xié)議4篇
- 2024資格考試綜合服務(wù)項目協(xié)議版B版
- 二零二四年度住宅小區(qū)地下車庫租賃協(xié)議3篇
- 二零二五年度住宅小區(qū)車位租賃及增值服務(wù)合同11篇
- 二零二五版體育設(shè)施建設(shè)項目貸款合同樣本2篇
- 二零二五年度房地產(chǎn)開發(fā)項目合作投資協(xié)議書4篇
- 二零二五版跨境電商搬運物流合同2篇
- 二零二五年度文化演藝中心工程承包協(xié)議4篇
- 二零二五版高端茶樹品種購銷合同典范3篇
- 保險反洗錢培訓(xùn)
- 普通高中生物新課程標(biāo)準(zhǔn)
- 茉莉花-附指法鋼琴譜五線譜
- 結(jié)婚函調(diào)報告表
- SYT 6968-2021 油氣輸送管道工程水平定向鉆穿越設(shè)計規(guī)范-PDF解密
- 冷庫制冷負(fù)荷計算表
- 肩袖損傷護(hù)理查房
- 設(shè)備運維管理安全規(guī)范標(biāo)準(zhǔn)
- 辦文辦會辦事實務(wù)課件
- 大學(xué)宿舍人際關(guān)系
- 2023光明小升初(語文)試卷
評論
0/150
提交評論