物理安全容災(zāi)數(shù)據(jù)

物理安全容災(zāi)數(shù)據(jù)課程內(nèi)容信息安全概述網(wǎng)絡(luò)安全面臨的威脅信息安全體系結(jié)構(gòu)物理安全運行安全數(shù)據(jù)安全信息內(nèi)容安全信息安全標(biāo)準(zhǔn)、法律法規(guī)物理安全——容災(zāi)容災(zāi)概述容災(zāi)標(biāo)準(zhǔn)相關(guān)關(guān)鍵技術(shù)數(shù)據(jù)容災(zāi)技術(shù)應(yīng)用容災(zāi)技術(shù)高頻數(shù)據(jù)備份需求對象需求：經(jīng)常發(fā)生變化的數(shù)據(jù)數(shù)據(jù)恢復(fù)的需求：需要恢復(fù)到具體某個時間點的狀態(tài)

Redo，Undo恢復(fù)可能引起數(shù)據(jù)丟失的原因邏輯錯誤(由誤操作,軟件更新等引起的數(shù)據(jù)污染)物理錯誤(由介質(zhì)損毀引起的數(shù)據(jù)丟失,如雪災(zāi)、地震、恐怖襲擊等引起的數(shù)據(jù)丟失)實際備份中的需求數(shù)據(jù)量太大，以至于無法在有限的時間段內(nèi)完成備份備份失敗。例如在備份時，有數(shù)據(jù)從一個未備份的目錄移動到已經(jīng)備份過的目錄備份的數(shù)據(jù)不能使用。因為備份時該文件正在進(jìn)行寫操作熱備份嚴(yán)重影響應(yīng)用系統(tǒng)的性能數(shù)據(jù)的存儲技術(shù)能否是與應(yīng)用無關(guān)的高頻數(shù)據(jù)保護(hù)技術(shù)分類快照存儲技術(shù)什么是快照？是特定數(shù)據(jù)集的一個完整可用拷貝，該數(shù)據(jù)集包含源數(shù)據(jù)在拷貝點的靜態(tài)映象；快照可以是數(shù)據(jù)再現(xiàn)的一個副本或者復(fù)制?！翱煺铡蓖ǔ１欢x為一組文件、目錄或卷在某個特定時間點的副本。“快照”這個名字的含義與“照片”相似，它所捕獲的是一組特定數(shù)據(jù)在某個時間點的映像?？煺沼腥N基本形式：基于文件系統(tǒng)式的、基于卷管理器/虛擬化式的和基于系統(tǒng)式的。對應(yīng)不同類型的實現(xiàn)主體主機(jī)文件系統(tǒng)(包括服務(wù)器、臺式機(jī)、筆記本電腦)邏輯卷管理器(LVM)存儲虛擬化裝置主機(jī)虛擬化管理程序網(wǎng)絡(luò)附加存儲系統(tǒng)(NAS)磁盤陣列數(shù)據(jù)庫快照的價值快速備份/恢復(fù)快照可以迅速建立，并可用作傳統(tǒng)備份和歸檔的數(shù)據(jù)源，所以快照可以縮小或消除備份窗口；快照存儲在磁盤上，可以快速直接存取，從快照恢復(fù)比從磁帶恢復(fù)速度快得多。多個恢復(fù)點基于磁盤的快照使存儲設(shè)備有靈活和頻繁的恢復(fù)點（或稱恢復(fù)點目標(biāo)：RPO），可以快速通過不同時間點的快照盡快恢復(fù)數(shù)據(jù)?？煺赵龆嗟拇鷥r是提高成本。快照工作原理分類快照全拷貝快照分離鏡像（“Splitting”amirror）差分快照寫即拷貝（CoW:CopyOnWrite)寫即重定向(RoW:RedirectOnWrite)快照復(fù)制技術(shù)分離鏡像（“Splitting”amirror），克隆快照所創(chuàng)建的是數(shù)據(jù)的完整副本差異復(fù)制保存的是數(shù)據(jù)變化的內(nèi)容Copy-on-write(COW)寫即拷貝,復(fù)制寫快照COW跟蹤數(shù)據(jù)卷的寫操作和數(shù)據(jù)塊變化。當(dāng)某個數(shù)據(jù)塊發(fā)生改變時，在將舊的數(shù)據(jù)覆蓋之前，首先將該塊的舊數(shù)據(jù)復(fù)制到預(yù)留的快照卷，然后再更新數(shù)據(jù)卷。RedirectOnWrite（RoW）寫即重定向RoW跟蹤數(shù)據(jù)卷的寫操作和數(shù)據(jù)塊變化。當(dāng)某個數(shù)據(jù)塊發(fā)生改變時，在數(shù)據(jù)卷上的舊數(shù)據(jù)不覆蓋，首先將該塊的新數(shù)據(jù)復(fù)制到預(yù)留的快照卷，然后再將該新數(shù)據(jù)的索引重定向到數(shù)據(jù)卷。差分快照實現(xiàn)：CoWp源盤快照前寫塊1abcdefgh01234567i8訪問陣列源卷1.寫操作（‘p’寫入塊1）p差分快照實現(xiàn)：CoWp源盤快照快照前寫塊1z快照后寫塊6apcdefgh01234567i8訪問陣列源卷快照索引和日志地址數(shù)據(jù)1.寫操作（‘p’寫入塊1）2.產(chǎn)生快照3.快照后寫入‘z’到塊6：不一次性寫入先將塊6內(nèi)容移入日志‘z’寫入源卷g66gzCoW特點源盤保持最新狀態(tài)兩次寫操作適合什么恢復(fù)？差分快照實現(xiàn)：RoWp源盤快照前寫塊1abcdefgh01234567i8訪問陣列源卷1.寫操作（‘p’寫入塊1）p差分快照實現(xiàn)：RoWp源盤快照快照前寫塊1z快照后寫塊6apcdefgh01234567i8訪問陣列源卷快照索引和日志地址數(shù)據(jù)1.寫操作（‘p’寫入塊1）2.產(chǎn)生快照3.快照后寫入‘z’到塊6：源卷塊6內(nèi)容不變‘z’寫入日志6zRoW特點源盤保持初始狀態(tài)一次寫操作適合什么恢復(fù)？虛擬磁盤快照NeoStor時間點映像快照資源區(qū)域快照拷貝業(yè)務(wù)繼續(xù)訪問可以被分配給其它應(yīng)用使用快照拷貝1234567891011121234567891011122712第一次做快照時，快照資源區(qū)無數(shù)據(jù).內(nèi)存中僅維護(hù)源卷的一個地址映射.源卷快照快照!源卷有新塊寫入時，舊塊數(shù)據(jù)首先被寫到快照資源區(qū)。新塊寫入舊塊移走快照拷貝實現(xiàn)－Copy-on-Write

2712123456789101112123456789101112拷貝過程源虛擬盤快照資源區(qū)數(shù)據(jù)拷貝時，先檢查快照資源區(qū)的塊是否包含數(shù)據(jù)，如果有數(shù)據(jù)就直接復(fù)制到拷貝卷；如果沒有數(shù)據(jù)，則直接從源卷上復(fù)制未改變過的數(shù)據(jù)；最終結(jié)果是產(chǎn)生一個源卷在快照點的數(shù)據(jù)副本。快照拷貝卷快照拷貝實現(xiàn)－Copy-on-Write每小時一次的自動快照快照資源源資源數(shù)據(jù)卷9am初始快照(無數(shù)據(jù))10am11am12pm147102581136912新數(shù)據(jù)塊寫入10:00-10:5914710258113691211:00-11:59新數(shù)據(jù)塊寫入147102581136912數(shù)據(jù)塊9:00-9:59147102581136912新數(shù)據(jù)塊寫入267910112267910112舊數(shù)據(jù)塊保存在快照資源區(qū)舊數(shù)據(jù)塊保存在快照資源區(qū)舊數(shù)據(jù)塊保存在快照資源區(qū)267267910TimeMark每小時一次的自動快照快照資源源資源數(shù)據(jù)卷9am初始快照(無數(shù)據(jù))10am11am12pm147102581136912新數(shù)據(jù)塊寫入10:00-10:5914710258113691211:00-11:59新數(shù)據(jù)塊寫入147102581136912數(shù)據(jù)塊9:00-9:59147102581136912新數(shù)據(jù)塊寫入26791011226791011212:17pm應(yīng)用報錯需要恢復(fù)應(yīng)用在

10am的狀態(tài)!!!267267910TimeMark10:00am!!!111234581269107新數(shù)據(jù)塊寫入10:00-10:5914710258113691211:00-11:59新數(shù)據(jù)塊寫入1471025811369121122679109am10am11am12pm147102581136912數(shù)據(jù)塊9:00-9:59新數(shù)據(jù)塊寫入147102581136912267910267910112267147102581136912126910127111234581269107112112910TimeMark每小時一次的自動快照快照資源源資源數(shù)據(jù)卷初始快照(無數(shù)據(jù))什么是CDP？CDP:ContinuousDataProtectionCDP數(shù)據(jù)保護(hù)技術(shù)需要實時復(fù)制所有版本的更新數(shù)據(jù)，是數(shù)據(jù)保護(hù)技術(shù)的最高級別CDP技術(shù)驅(qū)動器層次產(chǎn)生的CDP備份數(shù)據(jù)不會帶來明顯的寫操作延遲，適用于極高頻背景下的數(shù)據(jù)復(fù)制CDP備份系統(tǒng)常用的部署方式是為業(yè)務(wù)盤配置CDP數(shù)據(jù)盤。在driver層次為業(yè)務(wù)盤驅(qū)動器配置相匹配的CDP盤驅(qū)動器，當(dāng)業(yè)務(wù)盤發(fā)生寫操作（W）時，在driver層次復(fù)制寫操作，并保存到CDP數(shù)據(jù)盤中。備份數(shù)據(jù)的寫入操作與業(yè)務(wù)盤中的數(shù)據(jù)更新操作幾乎是同步進(jìn)行的CDP盤中的備份數(shù)據(jù)需要建立專用的數(shù)據(jù)組織結(jié)構(gòu)，以加快數(shù)據(jù)的寫入過程，并提供與之對應(yīng)的數(shù)據(jù)檢索方法。CDP盤中保存了所有版本的寫操作數(shù)據(jù)，隨著時間的延長，數(shù)據(jù)存儲量會急劇的增長。高頻數(shù)據(jù)的檢索與恢復(fù)在快照、CDP等高頻備份數(shù)據(jù)管理中面臨兩個基本問題：數(shù)據(jù)檢索效率問題數(shù)據(jù)一致性問題引入檢查點技術(shù)在結(jié)合檢查點的數(shù)據(jù)恢復(fù)過程中，通常采用前滾或后滾的檢索方式，逐漸接近目標(biāo)點，實現(xiàn)面向應(yīng)用一致性的數(shù)據(jù)恢復(fù)。二維坐標(biāo)表示高頻數(shù)據(jù)的時空二維屬性分布，縱坐標(biāo)表示數(shù)據(jù)的空間分布特性，以Key為標(biāo)示；橫坐標(biāo)表示時間屬性，以Time為標(biāo)示?；镜乃饕Y(jié)構(gòu)為：<key,starttime,endtime,info>。其中key表示數(shù)據(jù)項與時間無關(guān)的檢索標(biāo)識符；數(shù)據(jù)的有效時間是[starttime,endtime)的閉開區(qū)間內(nèi)；info表示索引項記錄具體內(nèi)容。key1在t1時刻開始，產(chǎn)生索引項為：<key1,t1,*,info1>。其中“*”表示數(shù)據(jù)的生命周期尚未結(jié)束。在t2時刻有Key=key2的索引項產(chǎn)生，表示為：<key2,t2,*,info1>。key1在t3時刻有新版本數(shù)據(jù)產(chǎn)生，舊版本的結(jié)束時間設(shè)為t3，索引項變?yōu)椋?lt;key1,t1,t3,info1>，表示舊版本數(shù)據(jù)生命周期結(jié)束，新版本數(shù)據(jù)生命周期開始，新版本索引項為：<key1,t3,*,info2>。前向檢索：從一個可恢復(fù)狀態(tài)點開始依次根據(jù)數(shù)據(jù)的產(chǎn)生時間（starttime）進(jìn)行檢索。假設(shè)t1是前向檢索的起點，則前向檢索過程為：t1版本的l1，l2，l3；t2版本的l4；t3版本的l5以及t4版本的l6。后向檢索：從當(dāng)前狀態(tài)根據(jù)索引項的結(jié)束時間（endtime）依次檢索的過程。假設(shè)從當(dāng)前時刻t4開始執(zhí)行狀態(tài)回滾，檢索順序為：t4版本下的l3；t3版本下的l2，t2版本下的ld，以及t1版本下的la，lb，lc。問題：比如在CAW、CDP等數(shù)據(jù)復(fù)制技術(shù)中，通常根據(jù)數(shù)據(jù)的產(chǎn)生時間依次存儲所有版本的備份數(shù)據(jù)，滿足starttime有序?？梢杂行еС諶F檢索，但是索引項的endtime之間是亂序的，在執(zhí)行RB檢索時可能需要遍歷所有版本的備份數(shù)據(jù)才能獲得一份endtime有序的索引項排列。在COW等數(shù)據(jù)復(fù)制技術(shù)中，復(fù)制被修改前的舊版本數(shù)據(jù)并按序保存。備份數(shù)據(jù)版本之間endtime有序，可以直接支持RB檢索。但是索引項之間的starttime是亂序的。因此在高頻備份數(shù)據(jù)管理中，目前的索引結(jié)構(gòu)無法同時支持兩種檢索方式。雙向檢索索引結(jié)構(gòu)設(shè)計引入雙向索引（IndexingLog）和更新表（UpdatingTable）兩種基本結(jié)構(gòu)IndexingLog索引項格式：<Key，Time，AddrOld，AddrNew>key表示與時間獨立的檢索關(guān)鍵字Time是新版本數(shù)據(jù)的開始時間，同時也是對應(yīng)舊版本數(shù)據(jù)的結(jié)束時間AddrOld：舊版本數(shù)據(jù)的存儲位置指針AddrNew：新版本數(shù)據(jù)的存儲位置指針更新表中：記錄到當(dāng)前為止所有更新數(shù)據(jù)最新版本的索引結(jié)構(gòu)，基本索引項為<Key,Address>。更新表主要作用是支持舊版本數(shù)據(jù)存儲位置的快速查找當(dāng)有新數(shù)據(jù)寫入時,根據(jù)key值首先在更新表中查找與key對應(yīng)的舊版本數(shù)據(jù)的存儲位置，設(shè)為AddrNew1。在DataStorage中為新數(shù)據(jù)分配存儲空間，新開辟地址為AddrNew2。產(chǎn)生一條雙向索引記錄：其AddrOld值為AddrNew1；AddrNew值為AddrNew2。索引項以按序追加方式保存在IndexingLog中。最后把AddrNew2更新到更新表中對應(yīng)的記錄。

AddressKey......AddrNewkey1......DatastorageOldDataNewData...IndexingLog<key1,starttime,AddrOld,AddrNew><key1,starttime,NewData>更新表CDPLog備份數(shù)據(jù)123IndexingLog中的前向(redo)和后向(undo)檢索

索引融合技術(shù)需求Log項太多恢復(fù)時的操作太多，效率低能否去除冗余項？索引融合技術(shù)LogChain無環(huán)、無分支有向圖描述不同備份點索引之間的依賴關(guān)系。每次差量備份，差量備份產(chǎn)生的Log索引項作為圖中的節(jié)點，索引之間的依賴關(guān)系構(gòu)成圖的邊，能夠反映備份數(shù)據(jù)完整鏡像的索引文件稱為圖的源，把這種由索引之間依賴關(guān)系構(gòu)成的圖稱為LogChain間接依賴關(guān)系管理

I1I2I3InA0直接依賴關(guān)系管理分段依賴關(guān)系管理ImI1A0Am+1I2m+1Im+2長度為m的分段1長度為m的分段2分段、分層疊加索引結(jié)構(gòu)：關(guān)鍵是疊加算法索引融合：累積相關(guān)索引數(shù)據(jù)的變化過程A0最后一個分段融合操作每當(dāng)有新版本到達(dá)時直接向上層進(jìn)行索引融合，一直到達(dá)根節(jié)點為止只有當(dāng)融合窗口達(dá)到預(yù)定的窗口值時，才向上層融合索引疊加索引檢索分段、分層疊加索引上層索引結(jié)構(gòu)反映了下層的索引的數(shù)據(jù)累計變化，在計算某個時間點的疊加索引時，首先從上層開始，逐層向下，最后檢索一個分段內(nèi)部的LogChain分層、分段依賴關(guān)系管理算法的特點收斂的在m值不斷增大時，算法收斂于間接依賴關(guān)系管理模式；算法收斂于直接依賴關(guān)系管理模式；此外，在分段、分層疊加索引結(jié)構(gòu)，還可以進(jìn)一步引入啟發(fā)式的索引保存策略，如只對當(dāng)前的一個分段內(nèi)部保存底層的MappingLog，支持Undo操作，而對于早期的備份數(shù)據(jù)，有選擇的保存上層疊加索引，支持Redo操作，這樣不僅符合備份數(shù)據(jù)的恢復(fù)特征，同時可以進(jìn)一步提高元數(shù)據(jù)的存儲效率。變長數(shù)據(jù)管理技術(shù)block-level快照備份基于Block的增量快照，其數(shù)據(jù)可能是不規(guī)則長度的數(shù)據(jù)塊增量備份的數(shù)據(jù)塊之間存在著更復(fù)雜的關(guān)系需要新的索引和融合方法數(shù)據(jù)塊之間的關(guān)系其中R為舊的數(shù)據(jù)、r為新的數(shù)據(jù)變長數(shù)據(jù)塊索引基本索引結(jié)構(gòu)為：<Interval,Value>LogChain其中Interval為一個連續(xù)的數(shù)據(jù)塊區(qū)間，如區(qū)間為

[a,b]，表示區(qū)間范圍為地址a—b兩個區(qū)間的相對關(guān)系需要在一維空間上進(jìn)行比較，設(shè)源區(qū)間為r=[a,b],a≤b；目標(biāo)區(qū)間R=[A,B]，A≤B；源區(qū)間r相對于目標(biāo)區(qū)間R的相對關(guān)系可以描述。設(shè)源區(qū)間為r=[a,b],a≤b；目標(biāo)區(qū)間R=[A,B]，A≤B；r與R的關(guān)系可概括為6種關(guān)系，兩種運算左獨立①,左重疊②，包含③，右重疊④，右獨立⑤，覆蓋⑥；區(qū)間關(guān)系描述區(qū)間索引關(guān)系運算邏輯（索引融合）1、在滿足Overlapping關(guān)系條件下,即r覆蓋R時,R中的點在r中都有與之對應(yīng)的部分,使用r替代R的過程稱為區(qū)間疊加,記為:r+R;2、在區(qū)間關(guān)系LeftOverlapping,Included,RightOverlapping條件下,把R進(jìn)行分割,產(chǎn)生的區(qū)間子項Ra,Rb,Rc其中Ra特指r與Ra具有RightIndependent的區(qū)間關(guān)系;r與Rb具有Overlapping關(guān)系,r與Rc具有LeftIndependent的區(qū)間關(guān)系,把這一過程稱為區(qū)間分割,記為:R/r;3、在區(qū)間分割運算中,如果分割R產(chǎn)生的子區(qū)間Rb不為空,即在R中獲得與r相