物理安全容災(zāi)數(shù)據(jù)

物理安全容災(zāi)數(shù)據(jù)課程內(nèi)容信息安全概述網(wǎng)絡(luò)安全面臨的威脅信息安全體系結(jié)構(gòu)物理安全運行安全數(shù)據(jù)安全信息內(nèi)容安全信息安全標準、法律法規(guī)物理安全——容災(zāi)容災(zāi)概述容災(zāi)標準相關(guān)關(guān)鍵技術(shù)數(shù)據(jù)容災(zāi)技術(shù)應(yīng)用容災(zāi)技術(shù)高頻數(shù)據(jù)備份需求對象需求：經(jīng)常發(fā)生變化的數(shù)據(jù)數(shù)據(jù)恢復(fù)的需求：需要恢復(fù)到具體某個時間點的狀態(tài)

Redo，Undo恢復(fù)可能引起數(shù)據(jù)丟失的原因邏輯錯誤(由誤操作,軟件更新等引起的數(shù)據(jù)污染)物理錯誤(由介質(zhì)損毀引起的數(shù)據(jù)丟失,如雪災(zāi)、地震、恐怖襲擊等引起的數(shù)據(jù)丟失)實際備份中的需求數(shù)據(jù)量太大，以至于無法在有限的時間段內(nèi)完成備份備份失敗。例如在備份時，有數(shù)據(jù)從一個未備份的目錄移動到已經(jīng)備份過的目錄備份的數(shù)據(jù)不能使用。因為備份時該文件正在進行寫操作熱備份嚴重影響應(yīng)用系統(tǒng)的性能數(shù)據(jù)的存儲技術(shù)能否是與應(yīng)用無關(guān)的高頻數(shù)據(jù)保護技術(shù)分類快照存儲技術(shù)什么是快照？是特定數(shù)據(jù)集的一個完整可用拷貝，該數(shù)據(jù)集包含源數(shù)據(jù)在拷貝點的靜態(tài)映象；快照可以是數(shù)據(jù)再現(xiàn)的一個副本或者復(fù)制。“快照”通常被定義為一組文件、目錄或卷在某個特定時間點的副本?！翱煺铡边@個名字的含義與“照片”相似，它所捕獲的是一組特定數(shù)據(jù)在某個時間點的映像。快照有三種基本形式：基于文件系統(tǒng)式的、基于卷管理器/虛擬化式的和基于系統(tǒng)式的。對應(yīng)不同類型的實現(xiàn)主體主機文件系統(tǒng)(包括服務(wù)器、臺式機、筆記本電腦)邏輯卷管理器(LVM)存儲虛擬化裝置主機虛擬化管理程序網(wǎng)絡(luò)附加存儲系統(tǒng)(NAS)磁盤陣列數(shù)據(jù)庫快照的價值快速備份/恢復(fù)快照可以迅速建立，并可用作傳統(tǒng)備份和歸檔的數(shù)據(jù)源，所以快照可以縮小或消除備份窗口；快照存儲在磁盤上，可以快速直接存取，從快照恢復(fù)比從磁帶恢復(fù)速度快得多。多個恢復(fù)點基于磁盤的快照使存儲設(shè)備有靈活和頻繁的恢復(fù)點（或稱恢復(fù)點目標：RPO），可以快速通過不同時間點的快照盡快恢復(fù)數(shù)據(jù)?？煺赵龆嗟拇鷥r是提高成本?？煺展ぷ髟矸诸惪煺杖截惪煺辗蛛x鏡像（“Splitting”amirror）差分快照寫即拷貝（CoW:CopyOnWrite)寫即重定向(RoW:RedirectOnWrite)快照復(fù)制技術(shù)分離鏡像（“Splitting”amirror），克隆快照所創(chuàng)建的是數(shù)據(jù)的完整副本差異復(fù)制保存的是數(shù)據(jù)變化的內(nèi)容Copy-on-write(COW)寫即拷貝,復(fù)制寫快照COW跟蹤數(shù)據(jù)卷的寫操作和數(shù)據(jù)塊變化。當某個數(shù)據(jù)塊發(fā)生改變時，在將舊的數(shù)據(jù)覆蓋之前，首先將該塊的舊數(shù)據(jù)復(fù)制到預(yù)留的快照卷，然后再更新數(shù)據(jù)卷。RedirectOnWrite（RoW）寫即重定向RoW跟蹤數(shù)據(jù)卷的寫操作和數(shù)據(jù)塊變化。當某個數(shù)據(jù)塊發(fā)生改變時，在數(shù)據(jù)卷上的舊數(shù)據(jù)不覆蓋，首先將該塊的新數(shù)據(jù)復(fù)制到預(yù)留的快照卷，然后再將該新數(shù)據(jù)的索引重定向到數(shù)據(jù)卷。差分快照實現(xiàn)：CoWp源盤快照前寫塊1abcdefgh01234567i8訪問陣列源卷1.寫操作（‘p’寫入塊1）p差分快照實現(xiàn)：CoWp源盤快照快照前寫塊1z快照后寫塊6apcdefgh01234567i8訪問陣列源卷快照索引和日志地址數(shù)據(jù)1.寫操作（‘p’寫入塊1）2.產(chǎn)生快照3.快照后寫入‘z’到塊6：不一次性寫入先將塊6內(nèi)容移入日志‘z’寫入源卷g66gzCoW特點源盤保持最新狀態(tài)兩次寫操作適合什么恢復(fù)？差分快照實現(xiàn)：RoWp源盤快照前寫塊1abcdefgh01234567i8訪問陣列源卷1.寫操作（‘p’寫入塊1）p差分快照實現(xiàn)：RoWp源盤快照快照前寫塊1z快照后寫塊6apcdefgh01234567i8訪問陣列源卷快照索引和日志地址數(shù)據(jù)1.寫操作（‘p’寫入塊1）2.產(chǎn)生快照3.快照后寫入‘z’到塊6：源卷塊6內(nèi)容不變‘z’寫入日志6zRoW特點源盤保持初始狀態(tài)一次寫操作適合什么恢復(fù)？虛擬磁盤快照NeoStor時間點映像快照資源區(qū)域快照拷貝業(yè)務(wù)繼續(xù)訪問可以被分配給其它應(yīng)用使用快照拷貝1234567891011121234567891011122712第一次做快照時，快照資源區(qū)無數(shù)據(jù).內(nèi)存中僅維護源卷的一個地址映射.源卷快照快照!源卷有新塊寫入時，舊塊數(shù)據(jù)首先被寫到快照資源區(qū)。新塊寫入舊塊移走快照拷貝實現(xiàn)－Copy-on-Write

2712123456789101112123456789101112拷貝過程源虛擬盤快照資源區(qū)數(shù)據(jù)拷貝時，先檢查快照資源區(qū)的塊是否包含數(shù)據(jù)，如果有數(shù)據(jù)就直接復(fù)制到拷貝卷；如果沒有數(shù)據(jù)，則直接從源卷上復(fù)制未改變過的數(shù)據(jù)；最終結(jié)果是產(chǎn)生一個源卷在快照點的數(shù)據(jù)副本?？煺湛截惥砜煺湛截悓崿F(xiàn)－Copy-on-Write每小時一次的自動快照快照資源源資源數(shù)據(jù)卷9am初始快照(無數(shù)據(jù))10am11am12pm147102581136912新數(shù)據(jù)塊寫入10:00-10:5914710258113691211:00-11:59新數(shù)據(jù)塊寫入147102581136912數(shù)據(jù)塊9:00-9:59147102581136912新數(shù)據(jù)塊寫入267910112267910112舊數(shù)據(jù)塊保存在快照資源區(qū)舊數(shù)據(jù)塊保存在快照資源區(qū)舊數(shù)據(jù)塊保存在快照資源區(qū)267267910TimeMark每小時一次的自動快照快照資源源資源數(shù)據(jù)卷9am初始快照(無數(shù)據(jù))10am11am12pm147102581136912新數(shù)據(jù)塊寫入10:00-10:5914710258113691211:00-11:59新數(shù)據(jù)塊寫入147102581136912數(shù)據(jù)塊9:00-9:59147102581136912新數(shù)據(jù)塊寫入26791011226791011212:17pm應(yīng)用報錯需要恢復(fù)應(yīng)用在

10am的狀態(tài)!!!267267910TimeMark10:00am!!!111234581269107新數(shù)據(jù)塊寫入10:00-10:5914710258113691211:00-11:59新數(shù)據(jù)塊寫入1471025811369121122679109am10am11am12pm147102581136912數(shù)據(jù)塊9:00-9:59新數(shù)據(jù)塊寫入147102581136912267910267910112267147102581136912126910127111234581269107112112910TimeMark每小時一次的自動快照快照資源源資源數(shù)據(jù)卷初始快照(無數(shù)據(jù))什么是CDP？CDP:ContinuousDataProtectionCDP數(shù)據(jù)保護技術(shù)需要實時復(fù)制所有版本的更新數(shù)據(jù)，是數(shù)據(jù)保護技術(shù)的最高級別CDP技術(shù)驅(qū)動器層次產(chǎn)生的CDP備份數(shù)據(jù)不會帶來明顯的寫操作延遲，適用于極高頻背景下的數(shù)據(jù)復(fù)制CDP備份系統(tǒng)常用的部署方式是為業(yè)務(wù)盤配置CDP數(shù)據(jù)盤。在driver層次為業(yè)務(wù)盤驅(qū)動器配置相匹配的CDP盤驅(qū)動器，當業(yè)務(wù)盤發(fā)生寫操作（W）時，在driver層次復(fù)制寫操作，并保存到CDP數(shù)據(jù)盤中。備份數(shù)據(jù)的寫入操作與業(yè)務(wù)盤中的數(shù)據(jù)更新操作幾乎是同步進行的CDP盤中的備份數(shù)據(jù)需要建立專用的數(shù)據(jù)組織結(jié)構(gòu)，以加快數(shù)據(jù)的寫入過程，并提供與之對應(yīng)的數(shù)據(jù)檢索方法。CDP盤中保存了所有版本的寫操作數(shù)據(jù)，隨著時間的延長，數(shù)據(jù)存儲量會急劇的增長。高頻數(shù)據(jù)的檢索與恢復(fù)在快照、CDP等高頻備份數(shù)據(jù)管理中面臨兩個基本問題：數(shù)據(jù)檢索效率問題數(shù)據(jù)一致性問題引入檢查點技術(shù)在結(jié)合檢查點的數(shù)據(jù)恢復(fù)過程中，通常采用前滾或后滾的檢索方式，逐漸接近目標點，實現(xiàn)面向應(yīng)用一致性的數(shù)據(jù)恢復(fù)。二維坐標表示高頻數(shù)據(jù)的時空二維屬性分布，縱坐標表示數(shù)據(jù)的空間分布特性，以Key為標示；橫坐標表示時間屬性，以Time為標示?；镜乃饕Y(jié)構(gòu)為：<key,starttime,endtime,info>。其中key表示數(shù)據(jù)項與時間無關(guān)的檢索標識符；數(shù)據(jù)的有效時間是[starttime,endtime)的閉開區(qū)間內(nèi)；info表示索引項記錄具體內(nèi)容。key1在t1時刻開始，產(chǎn)生索引項為：<key1,t1,*,info1>。其中“*”表示數(shù)據(jù)的生命周期尚未結(jié)束。在t2時刻有Key=key2的索引項產(chǎn)生，表示為：<key2,t2,*,info1>。key1在t3時刻有新版本數(shù)據(jù)產(chǎn)生，舊版本的結(jié)束時間設(shè)為t3，索引項變?yōu)椋?lt;key1,t1,t3,info1>，表示舊版本數(shù)據(jù)生命周期結(jié)束，新版本數(shù)據(jù)生命周期開始，新版本索引項為：<key1,t3,*,info2>。前向檢索：從一個可恢復(fù)狀態(tài)點開始依次根據(jù)數(shù)據(jù)的產(chǎn)生時間（starttime）進行檢索。假設(shè)t1是前向檢索的起點，則前向檢索過程為：t1版本的l1，l2，l3；t2版本的l4；t3版本的l5以及t4版本的l6。后向檢索：從當前狀態(tài)根據(jù)索引項的結(jié)束時間（endtime）依次檢索的過程。假設(shè)從當前時刻t4開始執(zhí)行狀態(tài)回滾，檢索順序為：t4版本下的l3；t3版本下的l2，t2版本下的ld，以及t1版本下的la，lb，lc。問題：比如在CAW、CDP等數(shù)據(jù)復(fù)制技術(shù)中，通常根據(jù)數(shù)據(jù)的產(chǎn)生時間依次存儲所有版本的備份數(shù)據(jù)，滿足starttime有序?？梢杂行еС諶F檢索，但是索引項的endtime之間是亂序的，在執(zhí)行RB檢索時可能需要遍歷所有版本的備份數(shù)據(jù)才能獲得一份endtime有序的索引項排列。在COW等數(shù)據(jù)復(fù)制技術(shù)中，復(fù)制被修改前的舊版本數(shù)據(jù)并按序保存。備份數(shù)據(jù)版本之間endtime有序，可以直接支持RB檢索。但是索引項之間的starttime是亂序的。因此在高頻備份數(shù)據(jù)管理中，目前的索引結(jié)構(gòu)無法同時支持兩種檢索方式。雙向檢索索引結(jié)構(gòu)設(shè)計引入雙向索引（IndexingLog）和更新表（UpdatingTable）兩種基本結(jié)構(gòu)IndexingLog索引項格式：<Key，Time，AddrOld，AddrNew>key表示與時間獨立的檢索關(guān)鍵字Time是新版本數(shù)據(jù)的開始時間，同時也是對應(yīng)舊版本數(shù)據(jù)的結(jié)束時間AddrOld：舊版本數(shù)據(jù)的存儲位置指針AddrNew：新版本數(shù)據(jù)的存儲位置指針更新表中：記錄到當前為止所有更新數(shù)據(jù)最新版本的索引結(jié)構(gòu)，基本索引項為<Key,Address>。更新表主要作用是支持舊版本數(shù)據(jù)存儲位置的快速查找當有新數(shù)據(jù)寫入時,根據(jù)key值首先在更新表中查找與key對應(yīng)的舊版本數(shù)據(jù)的存儲位置，設(shè)為AddrNew1。在DataStorage中為新數(shù)據(jù)分配存儲空間，新開辟地址為AddrNew2。產(chǎn)生一條雙向索引記錄：其AddrOld值為AddrNew1；AddrNew值為AddrNew2。索引項以按序追加方式保存在IndexingLog中。最后把AddrNew2更新到更新表中對應(yīng)的記錄。

AddressKey......AddrNewkey1......DatastorageOldDataNewData...IndexingLog<key1,starttime,AddrOld,AddrNew><key1,starttime,NewData>更新表CDPLog備份數(shù)據(jù)123IndexingLog中的前向(redo)和后向(undo)檢索

索引融合技術(shù)需求Log項太多恢復(fù)時的操作太多，效率低能否去除冗余項？索引融合技術(shù)LogChain無環(huán)、無分支有向圖描述不同備份點索引之間的依賴關(guān)系。每次差量備份，差量備份產(chǎn)生的Log索引項作為圖中的節(jié)點，索引之間的依賴關(guān)系構(gòu)成圖的邊，能夠反映備份數(shù)據(jù)完整鏡像的索引文件稱為圖的源，把這種由索引之間依賴關(guān)系構(gòu)成的圖稱為LogChain間接依賴關(guān)系管理

I1I2I3InA0直接依賴關(guān)系管理分段依賴關(guān)系管理ImI1A0Am+1I2m+1Im+2長度為m的分段1長度為m的分段2分段、分層疊加索引結(jié)構(gòu)：關(guān)鍵是疊加算法索引融合：累積相關(guān)索引數(shù)據(jù)的變化過程A0最后一個分段融合操作每當有新版本到達時直接向上層進行索引融合，一直到達根節(jié)點為止只有當融合窗口達到預(yù)定的窗口值時，才向上層融合索引疊加索引檢索分段、分層疊加索引上層索引結(jié)構(gòu)反映了下層的索引的數(shù)據(jù)累計變化，在計算某個時間點的疊加索引時，首先從上層開始，逐層向下，最后檢索一個分段內(nèi)部的LogChain分層、分段依賴關(guān)系管理算法的特點收斂的在m值不斷增大時，算法收斂于間接依賴關(guān)系管理模式；算法收斂于直接依賴關(guān)系管理模式；此外，在分段、分層疊加索引結(jié)構(gòu)，還可以進一步引入啟發(fā)式的索引保存策略，如只對當前的一個分段內(nèi)部保存底層的MappingLog，支持Undo操作，而對于早期的備份數(shù)據(jù)，有選擇的保存上層疊加索引，支持Redo操作，這樣不僅符合備份數(shù)據(jù)的恢復(fù)特征，同時可以進一步提高元數(shù)據(jù)的存儲效率。變長數(shù)據(jù)管理技術(shù)block-level快照備份基于Block的增量快照，其數(shù)據(jù)可能是不規(guī)則長度的數(shù)據(jù)塊增量備份的數(shù)據(jù)塊之間存在著更復(fù)雜的關(guān)系需要新的索引和融合方法數(shù)據(jù)塊之間的關(guān)系其中R為舊的數(shù)據(jù)、r為新的數(shù)據(jù)變長數(shù)據(jù)塊索引基本索引結(jié)構(gòu)為：<Interval,Value>LogChain其中Interval為一個連續(xù)的數(shù)據(jù)塊區(qū)間，如區(qū)間為

[a,b]，表示區(qū)間范圍為地址a—b兩個區(qū)間的相對關(guān)系需要在一維空間上進行比較，設(shè)源區(qū)間為r=[a,b],a≤b；目標區(qū)間R=[A,B]，A≤B；源區(qū)間r相對于目標區(qū)間R的相對關(guān)系可以描述。設(shè)源區(qū)間為r=[a,b],a≤b；目標區(qū)間R=[A,B]，A≤B；r與R的關(guān)系可概括為6種關(guān)系，兩種運算左獨立①,左重疊②，包含③，右重疊④，右獨立⑤，覆蓋⑥；區(qū)間關(guān)系描述區(qū)間索引關(guān)系運算邏輯（索引融合）1、在滿足Overlapping關(guān)系條件下,即r覆蓋R時,R中的點在r中都有與之對應(yīng)的部分,使用r替代R的過程稱為區(qū)間疊加,記為:r+R;2、在區(qū)間關(guān)系LeftOverlapping,Included,RightOverlapping條件下,把R進行分割,產(chǎn)生的區(qū)間子項Ra,Rb,Rc其中Ra特指r與Ra具有RightIndependent的區(qū)間關(guān)系;r與Rb具有Overlapping關(guān)系,r與Rc具有LeftIndependent的區(qū)間關(guān)系,把這一過程稱為區(qū)間分割,記為:R/r;3、在區(qū)間分割運算中,如果分割R產(chǎn)生的子區(qū)間Rb不為空,即在R中獲得與r相