第8章數(shù)據(jù)高可用技術(shù)

第八章 數(shù)據(jù)高可用技術(shù)

高可用性，金融數(shù)據(jù)中心建設(shè)中最受關(guān)注的問題之一。高可用性設(shè)計是個系統(tǒng)工程，其內(nèi)容涉及構(gòu)成數(shù)據(jù)中心的四個組成要素（網(wǎng)絡(luò)、計算、存儲、機(jī)房基礎(chǔ)設(shè)施）的多方面內(nèi)容。數(shù)據(jù)中心的核心是業(yè)務(wù)數(shù)據(jù)，網(wǎng)絡(luò)作為承載層需要保證運行于其上的數(shù)據(jù)的安全性與可用性，尤其是在網(wǎng)絡(luò)節(jié)點鏈路發(fā)生故障情況下要確保業(yè)務(wù)可用與數(shù)據(jù)零丟失。第八章 數(shù)據(jù)高可用技術(shù)

高可用性的定義Availability＝MTBF/(MTBF+MTTR)×100%MTBF（MeanTimeBetweenFailure），即平均無故障時間，是描述整個系統(tǒng)可靠性（reliability）的指標(biāo)。對于一個網(wǎng)絡(luò)系統(tǒng)來說，MTBF是指整個網(wǎng)絡(luò)的各組件（鏈路、節(jié)點）不間斷無故障連續(xù)運行的平均時間。MTTR（MeanTimetoRepair），即系統(tǒng)平均恢復(fù)時間，是描述整個系統(tǒng)容錯能力（fault-tolerantcapability）的指標(biāo)。對于一個網(wǎng)絡(luò)系統(tǒng)來說，MTTR是指當(dāng)網(wǎng)絡(luò)中的組件出現(xiàn)故障時，網(wǎng)絡(luò)從故障狀態(tài)恢復(fù)到正常狀態(tài)所需的平均時間。第八章 數(shù)據(jù)高可用技術(shù)

提高M(jìn)TBF或降低MTTR都能提高網(wǎng)絡(luò)可用性。造成數(shù)據(jù)中心網(wǎng)絡(luò)不可用的因素包括：設(shè)備軟硬件故障、設(shè)備間鏈路故障、維護(hù)升級、用戶誤操作、網(wǎng)絡(luò)擁塞等事件。措施：如提高軟硬件質(zhì)量、減少鏈路故障、避免網(wǎng)絡(luò)擁塞丟包、避免用戶誤操作等，使網(wǎng)絡(luò)盡量不出故障、提高網(wǎng)絡(luò)MTBF指標(biāo)，也就提升了整網(wǎng)的可用性水平。網(wǎng)絡(luò)中的故障總是不可避免的，設(shè)計和部署從故障中快速回復(fù)的技術(shù)、縮小MTTR指標(biāo)，同樣是提升網(wǎng)絡(luò)可用性水平的手段。第八章 數(shù)據(jù)高可用技術(shù)

在網(wǎng)絡(luò)出現(xiàn)故障時，確保網(wǎng)絡(luò)能快速回復(fù)的容錯技術(shù)均可以歸入高可用技術(shù)。常用的網(wǎng)絡(luò)高可用技術(shù)可歸為以下幾類：單設(shè)備的硬件冗余：冗余電源、冗余風(fēng)扇、雙主控、板卡支持熱插拔；物理鏈路捆綁：以太網(wǎng)鏈路聚合，跨設(shè)備以太網(wǎng)鏈路聚合；數(shù)據(jù)備份；數(shù)據(jù)恢復(fù)；故障檢測：NQA、BFD、OAM、DLDP；數(shù)據(jù)容災(zāi)。第八章 數(shù)據(jù)高可用技術(shù)

第八章 數(shù)據(jù)高可用技術(shù)

第八章 數(shù)據(jù)高可用技術(shù)

8.1數(shù)據(jù)備份與恢復(fù)8.2網(wǎng)絡(luò)備份系統(tǒng)8.3數(shù)據(jù)容災(zāi)8.1數(shù)據(jù)備份與恢復(fù)8.1.1數(shù)據(jù)備份數(shù)據(jù)備份是容災(zāi)的基礎(chǔ)，是指為防止系統(tǒng)出現(xiàn)操作失誤或系統(tǒng)故障導(dǎo)致數(shù)據(jù)丟失，而將全部或部分?jǐn)?shù)據(jù)集合從應(yīng)用主機(jī)的硬盤或陣列復(fù)制到其它的存儲介質(zhì)的過程。災(zāi)難恢復(fù)技術(shù)：采用某種技術(shù)手段保存源數(shù)據(jù)的副本，當(dāng)源數(shù)據(jù)遭到破壞后，將副本恢復(fù)重新利用的技術(shù)。備份的目的：數(shù)據(jù)破壞后能恢復(fù)備份的意義：不僅在于防范意外事件的破壞，還是歷史數(shù)據(jù)保存歸檔的最佳方式。8.1數(shù)據(jù)備份與恢復(fù)造成數(shù)據(jù)危險的原因：對數(shù)據(jù)的威脅通常比較難于防范，這些威脅一旦變?yōu)楝F(xiàn)實，不僅會毀壞數(shù)據(jù)，也會毀壞訪問數(shù)據(jù)的系統(tǒng)。造成數(shù)據(jù)丟失和毀壞的原因主要如下幾個方面。1、數(shù)據(jù)處理和訪問軟件平臺故障。2、操作系統(tǒng)的設(shè)計漏洞或設(shè)計者出于不可告人的目的而人為預(yù)置的“黑洞”。3、系統(tǒng)的硬件故障。4、人為的操作失誤。5、網(wǎng)絡(luò)內(nèi)非法訪問者的惡意破壞。6、網(wǎng)絡(luò)供電系統(tǒng)故障等。8.1數(shù)據(jù)備份與恢復(fù)常見的備份方式（1）定期磁帶備份數(shù)據(jù)遠(yuǎn)程磁帶庫、光盤庫備份。即將數(shù)據(jù)傳送到遠(yuǎn)程備份中心制作完整的備份磁帶或光盤。遠(yuǎn)程關(guān)鍵數(shù)據(jù)+磁帶備份。采用磁帶備份數(shù)據(jù)，生產(chǎn)機(jī)實時向備份機(jī)發(fā)送關(guān)鍵數(shù)據(jù)。

（2）遠(yuǎn)程數(shù)據(jù)庫備份就是在與主數(shù)據(jù)庫所在生產(chǎn)機(jī)相分離的備份機(jī)上建立主數(shù)據(jù)庫的一個拷貝。

8.1數(shù)據(jù)備份與恢復(fù)8.1數(shù)據(jù)備份與恢復(fù)（3）網(wǎng)絡(luò)數(shù)據(jù)鏡像對生產(chǎn)系統(tǒng)的數(shù)據(jù)庫數(shù)據(jù)和所需跟蹤的重要目標(biāo)文件的更新進(jìn)行監(jiān)控與跟蹤

。將更新日志實時通過網(wǎng)絡(luò)傳送到備份系統(tǒng)，備份系統(tǒng)則根據(jù)日志對磁盤進(jìn)行更新。（4）遠(yuǎn)程鏡像磁盤通過高速光纖通道線路和磁盤控制技術(shù)將鏡像磁盤延伸到遠(yuǎn)離生產(chǎn)機(jī)的地方，鏡像磁盤數(shù)據(jù)與主磁盤數(shù)據(jù)完全一致，更新方式為同步或異步。數(shù)據(jù)備份必須要考慮到數(shù)據(jù)恢復(fù)的問題。包括采用雙機(jī)熱備、磁盤鏡像或容錯、備份磁帶異地存放、關(guān)鍵部件冗余等多種災(zāi)難預(yù)防措施。這些措施能夠在系統(tǒng)發(fā)生故障后進(jìn)行系統(tǒng)恢復(fù)。但是這些措施一般只能處理計算機(jī)單點故障，對區(qū)域性、毀滅性災(zāi)難則束手無策，也不具備災(zāi)難恢復(fù)能力。8.1數(shù)據(jù)備份與恢復(fù)數(shù)據(jù)備份系統(tǒng)由備份源、備份目標(biāo)、備份通路、備份引擎和備份策略組成。備份源：需要進(jìn)行備份的數(shù)據(jù)。備份目標(biāo)：用來存儲備份源副本的存儲設(shè)備。備份通路：將數(shù)據(jù)源備份到備份目標(biāo)時的通道。備份策略：備份引擎運行時依據(jù)的規(guī)則。包括：

（1）完全備份（2）增量備份（3）差分備份8.1數(shù)據(jù)備份與恢復(fù)8.1.2數(shù)據(jù)恢復(fù)數(shù)據(jù)恢復(fù)以數(shù)據(jù)備份為依據(jù)。數(shù)據(jù)恢復(fù)通過備份引擎完成?；謴?fù)方法跟備份策略相關(guān)：（1）完全備份時，備份引擎將最近一次備份還原到備份源存儲介質(zhì)。（2）增量備份時，首先恢復(fù)最近一次完全備份，然后由遠(yuǎn)及近依次恢復(fù)每次增量備份數(shù)據(jù)。（恢復(fù)順序不能混亂、不能漏掉某次備份）（3）差分備份時，先將最近一次完全備份數(shù)據(jù)恢復(fù)，然后將最近一次差分備份數(shù)據(jù)恢復(fù)。8.1數(shù)據(jù)備份與恢復(fù)8.2.1單機(jī)備份和網(wǎng)絡(luò)備份8.2網(wǎng)絡(luò)備份系統(tǒng)8.2網(wǎng)絡(luò)備份系統(tǒng)單機(jī)備份：備份源和備份在同一臺主機(jī)上，備份引擎將備份源副本保存在本機(jī)其他磁盤或復(fù)制到同一磁盤的其他分區(qū)或目錄中。單機(jī)備份配置簡單，目前流行的操作系統(tǒng)自帶的備份系統(tǒng)大多基于此種結(jié)構(gòu)。特點：結(jié)構(gòu)簡單、易于管理、應(yīng)用廣泛；只備份本地數(shù)據(jù)；備份服務(wù)器同時是應(yīng)用服務(wù)器；需要有專用的備份時間；備份服務(wù)器直聯(lián)備份設(shè)備。

8.2網(wǎng)絡(luò)備份系統(tǒng)8.2網(wǎng)絡(luò)備份系統(tǒng)網(wǎng)絡(luò)備份：在備份引擎以網(wǎng)絡(luò)為備份通道，同時結(jié)合相應(yīng)的硬件和存儲設(shè)備，將備份源復(fù)制到網(wǎng)絡(luò)中的備份目標(biāo)中去?？赏ㄟ^數(shù)據(jù)備份管理軟件，對全網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行集中管理，實現(xiàn)自動備份、文件歸檔和災(zāi)難恢復(fù)。特點：專用備份服務(wù)器減少備份工作對應(yīng)用服務(wù)器性能的影響；共享備份設(shè)備，節(jié)省資源；集中備份，易于管理；備份工作占用網(wǎng)絡(luò)帶寬，需要專用備份時間。8.2網(wǎng)絡(luò)備份系統(tǒng)網(wǎng)絡(luò)備份主要功能：（1）文件備份和恢復(fù)?？蓪崿F(xiàn)全網(wǎng)絡(luò)的文件備份。（2）數(shù)據(jù)庫備份和恢復(fù)。將所需備份數(shù)據(jù)從數(shù)據(jù)庫中提取出來進(jìn)行備份。（3）系統(tǒng)災(zāi)難恢復(fù)。（4）備份任務(wù)管理?？捎喼谱詣觽浞莘桨?，實現(xiàn)定時、自動備份。（5）集中式管理?？蓪W(wǎng)絡(luò)中的備份策略統(tǒng)一管理，并監(jiān)控所有機(jī)器的備份作業(yè)。8.2網(wǎng)絡(luò)備份系統(tǒng)8.1.2SSL的工作原理8.2網(wǎng)絡(luò)備份系統(tǒng)8.2.2網(wǎng)絡(luò)備份系統(tǒng)的組成（1）備份客戶端

備份源所處的計算機(jī)：應(yīng)用程序、數(shù)據(jù)庫或文件服務(wù)器+能將在線系統(tǒng)的存儲介質(zhì)上讀取備份源并將數(shù)據(jù)傳到備份服務(wù)器的軟件。（2）備份服務(wù)器將備份源數(shù)據(jù)復(fù)制到備份目標(biāo)上，將歷史備份信息保存在自身存儲介質(zhì)上。需要好的備份管理軟件。分為主備份服務(wù)器和介質(zhì)服務(wù)器。主備份服務(wù)器負(fù)責(zé)管理備份和恢復(fù)工作，介質(zhì)服務(wù)器負(fù)責(zé)執(zhí)行前者的指令。8.2網(wǎng)絡(luò)備份系統(tǒng)（3）備份存儲單元存儲備份數(shù)據(jù)的介質(zhì)，磁盤、磁帶或光盤。與介質(zhì)服務(wù)器直接相連，有介質(zhì)服務(wù)器控制和管理。

8.2網(wǎng)絡(luò)備份系統(tǒng)數(shù)據(jù)備份過程：（1）主備份服務(wù)器根據(jù)備份策略啟動并監(jiān)控備份工作，為每個備份任務(wù)選擇一個介質(zhì)服務(wù)器。（2）當(dāng)有數(shù)據(jù)需要備份，服務(wù)器安排客戶端啟動備份任務(wù)，將數(shù)據(jù)復(fù)制到選定的介質(zhì)服務(wù)器，并將實際備份過的文件列表傳到服務(wù)器。（3）介質(zhì)服務(wù)器根據(jù)指令，分配好存儲單元，并接受由客戶端發(fā)送過來的數(shù)據(jù)，寫入存儲單元。8.2網(wǎng)絡(luò)備份系統(tǒng)數(shù)據(jù)恢復(fù)過程：（1）客戶端向服務(wù)器發(fā)出恢復(fù)請求。（2）服務(wù)器根據(jù)客戶端請求，分析情況后確定備份數(shù)據(jù)所處的介質(zhì)服務(wù)器，向介質(zhì)服務(wù)器發(fā)出恢復(fù)指令。（3）介質(zhì)服務(wù)器根據(jù)指令，查找并準(zhǔn)備相應(yīng)數(shù)據(jù)，再將數(shù)據(jù)發(fā)送到相應(yīng)客戶端。（4）客戶端收到數(shù)據(jù)后，將數(shù)據(jù)恢復(fù)到備份源系統(tǒng)中。8.2網(wǎng)絡(luò)備份系統(tǒng)計算機(jī)系統(tǒng)災(zāi)難：一切引起系統(tǒng)重要數(shù)據(jù)丟失、重要數(shù)據(jù)毀壞或非正常宕機(jī)的事件。數(shù)據(jù)容災(zāi)：在計算機(jī)系統(tǒng)的災(zāi)難發(fā)生后，利用已備份的數(shù)據(jù)或其他手段，及時恢復(fù)原系統(tǒng)的數(shù)據(jù)，并保證數(shù)據(jù)的安全性和業(yè)務(wù)系統(tǒng)運行的連續(xù)性。數(shù)據(jù)容災(zāi)，就是指建立一個異地的數(shù)據(jù)系統(tǒng)，該系統(tǒng)是本地關(guān)鍵應(yīng)用數(shù)據(jù)的一個可用復(fù)制。在本地數(shù)據(jù)及整個應(yīng)用系統(tǒng)出現(xiàn)災(zāi)難時，系統(tǒng)至少在異地保存有一份可用的關(guān)鍵業(yè)務(wù)的數(shù)據(jù)。采用的主要技術(shù)是數(shù)據(jù)備份和數(shù)據(jù)復(fù)制技術(shù)。8.3數(shù)據(jù)容災(zāi)8.3數(shù)據(jù)容災(zāi)8.3數(shù)據(jù)容災(zāi)數(shù)據(jù)備份和數(shù)據(jù)容災(zāi)的關(guān)系數(shù)據(jù)備份是數(shù)據(jù)容災(zāi)的基礎(chǔ)。兩者的目的都是為了消除或減弱計算機(jī)系統(tǒng)的災(zāi)難帶來的影響。數(shù)據(jù)備份雖然算一種容災(zāi)方案，但容災(zāi)能力非常有限，傳統(tǒng)的備份主要是采用數(shù)據(jù)內(nèi)置或外置的磁帶機(jī)進(jìn)行冷備份，備份磁帶同時也在機(jī)房中統(tǒng)一管理，一旦整個機(jī)房出現(xiàn)了災(zāi)難，如火災(zāi)、地震等災(zāi)難時，這些備份磁帶也隨之銷毀，所存儲的磁帶備份也起不到任何容災(zāi)功能。8.3數(shù)據(jù)容災(zāi)數(shù)據(jù)備份側(cè)重于將數(shù)據(jù)從在線狀態(tài)剝離成離線狀態(tài)。數(shù)據(jù)備份在災(zāi)后能恢復(fù)系統(tǒng)數(shù)據(jù)，但不能保證系統(tǒng)的實時可用性。數(shù)據(jù)容災(zāi)則可以保證系統(tǒng)運行的連續(xù)性。數(shù)據(jù)容災(zāi)和數(shù)據(jù)備份互相不能替代，協(xié)同工作。8.3數(shù)據(jù)容災(zāi)數(shù)據(jù)容災(zāi)技術(shù)包括：災(zāi)難備份和災(zāi)難恢復(fù)。災(zāi)難備份是為了保護(hù)數(shù)據(jù)和系統(tǒng)的完整性，災(zāi)難恢復(fù)的基礎(chǔ)。災(zāi)難恢復(fù)能確保在災(zāi)難發(fā)生時恢復(fù)計算機(jī)系統(tǒng)的關(guān)鍵數(shù)據(jù)，重建業(yè)務(wù)處理系統(tǒng)，保持業(yè)務(wù)連續(xù)性。衡量指標(biāo)：恢復(fù)點指標(biāo)和恢復(fù)時間指標(biāo)。恢復(fù)點指標(biāo)：災(zāi)難發(fā)生時與最近備份之間的時間間隔。恢復(fù)時間指標(biāo)：系統(tǒng)從停機(jī)到重新恢復(fù)運行的時間。8.3數(shù)據(jù)容災(zāi)容災(zāi)系統(tǒng)考慮因素：備份/恢復(fù)數(shù)據(jù)量大小、應(yīng)用數(shù)據(jù)中心和備援?dāng)?shù)據(jù)中心之間的距離和數(shù)據(jù)傳輸方式、災(zāi)難發(fā)生時所要求的恢復(fù)速度、備援中心的管理及投入資金等。容災(zāi)備份等級：（1）本地冷備份：在本地進(jìn)行數(shù)據(jù)備份，容災(zāi)能力非常弱。實際上沒有災(zāi)難恢復(fù)能力，它只在本地進(jìn)行數(shù)據(jù)備份，并且被備份的數(shù)據(jù)只在本地保存，沒有送往異地。8.3數(shù)據(jù)容災(zāi)（2）異地冷備份：本地進(jìn)行數(shù)據(jù)備份，將數(shù)據(jù)保存在異地。災(zāi)難發(fā)生后，按預(yù)定數(shù)據(jù)恢復(fù)程序恢復(fù)系統(tǒng)和數(shù)據(jù)。這種方案成本低、易于配置。但當(dāng)數(shù)據(jù)量增大時，存在存儲介質(zhì)難管理的問題，并且當(dāng)災(zāi)難發(fā)生時存在大量數(shù)據(jù)難以及時恢復(fù)的問題。為了解決此問題，災(zāi)難發(fā)生時，先恢復(fù)關(guān)鍵數(shù)據(jù)，后恢復(fù)非關(guān)鍵數(shù)據(jù)。容災(zāi)能力較好，但恢復(fù)點指標(biāo)和恢復(fù)時間指標(biāo)都不好。8.3數(shù)據(jù)容災(zāi)（3）異地?zé)醾浞荩涸诋惖亟⑷轂?zāi)備份點，業(yè)務(wù)系統(tǒng)實時通過網(wǎng)絡(luò)以同步或異步方式，將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)備份搭配容災(zāi)備份點。災(zāi)難發(fā)生時，容災(zāi)備份點會自動接替業(yè)務(wù)系統(tǒng)的工作，保持業(yè)務(wù)連續(xù)性。備份站點一般只備份數(shù)據(jù)，不承擔(dān)業(yè)務(wù)。異地容災(zāi)系統(tǒng)有兩個數(shù)據(jù)中心（同城或非同城），非同城容災(zāi)系統(tǒng)抗災(zāi)能力強，但成本高。8.3數(shù)據(jù)容災(zāi)（4）活動互援備份：在相隔較遠(yuǎn)的地方分別建立兩個數(shù)據(jù)中心，它們都處于工作狀態(tài)，并進(jìn)行相互數(shù)據(jù)備份。

當(dāng)某個數(shù)據(jù)中心發(fā)生災(zāi)難時，另一個數(shù)據(jù)中心接替其工作任務(wù)。這種備份方式根據(jù)實際要求和投入資金的多少，又可分為兩種：①兩個數(shù)據(jù)中心之間只限于關(guān)鍵數(shù)據(jù)的相互備份；②兩個數(shù)據(jù)中心之間互為鏡像，即零數(shù)據(jù)丟失等。零數(shù)據(jù)丟失需要配置復(fù)雜的管理軟件和專用的硬件設(shè)備，需要的投資是最大的，但恢復(fù)速度也是最快的。8.3數(shù)據(jù)容災(zāi)容災(zāi)備份的關(guān)鍵技術(shù)在建立容災(zāi)備份系統(tǒng)時會涉及到多種技術(shù)，如：SAN或NAS技術(shù)、遠(yuǎn)程鏡像技術(shù)、基于IP的SAN的互連技術(shù)、快照技術(shù)等。8.3數(shù)據(jù)容災(zāi)（1）遠(yuǎn)程鏡像技術(shù)遠(yuǎn)程鏡像技術(shù)是在主數(shù)據(jù)中心和備援中心之間的數(shù)據(jù)備份時用到。鏡像是在兩個或多個磁盤或磁盤子系統(tǒng)上產(chǎn)生同一個數(shù)據(jù)的鏡像視圖的信息存儲過程，一個叫主鏡像系統(tǒng)，另一個叫從鏡像系統(tǒng)。按主從鏡像存儲系統(tǒng)所處的位置可分為本地鏡像和遠(yuǎn)程鏡像。8.3數(shù)據(jù)容災(zāi)遠(yuǎn)程鏡像又叫遠(yuǎn)程復(fù)制，是容災(zāi)備份的核心技術(shù)，同時也是保持遠(yuǎn)程數(shù)據(jù)同步和實現(xiàn)災(zāi)難恢復(fù)的基礎(chǔ)。遠(yuǎn)程鏡像按請求鏡像的主機(jī)是否需要遠(yuǎn)程鏡像站點的確認(rèn)信息，又可分為同步遠(yuǎn)程鏡像和異步遠(yuǎn)程鏡像。按主從鏡像存儲系統(tǒng)所處的位置可分為本地鏡像和遠(yuǎn)程鏡像。8.3數(shù)據(jù)容災(zāi)同步遠(yuǎn)程鏡像：指通過遠(yuǎn)程鏡像軟件，將本地數(shù)據(jù)以完全同步的方式復(fù)制到異地，每一本地的I/O事務(wù)均需等待遠(yuǎn)程復(fù)制的完成確認(rèn)信息，方予以釋放。同步鏡像使拷貝總能與本地機(jī)要求復(fù)制的內(nèi)容相匹配。當(dāng)主站點出現(xiàn)故障時，用戶的應(yīng)用程序切換到備份的替代站點后，被鏡像的遠(yuǎn)程副本可以保證業(yè)務(wù)繼續(xù)執(zhí)行而沒有數(shù)據(jù)的丟失。存在往返傳播造成延時較長的缺點，只限于在相對較近的距離上應(yīng)用。8.3數(shù)據(jù)容災(zāi)異步遠(yuǎn)程鏡像：保證在更新遠(yuǎn)程存儲視圖前完成向本地存儲系統(tǒng)的基本操作，而由本地存儲系統(tǒng)提供給請求鏡像主機(jī)的I/O操作完成確認(rèn)信息。遠(yuǎn)程的數(shù)據(jù)復(fù)制以后臺同步的方式進(jìn)行，本地系統(tǒng)性能受到的影響很小，傳輸距離長，對網(wǎng)絡(luò)帶寬要求小。許多遠(yuǎn)程的從屬存儲子系統(tǒng)