15數(shù)據(jù)庫恢復技術-65ppt課件

1、數(shù)據(jù)庫恢復技術事務的基本概念 事務(Transaction)是用戶定義的一個數(shù)據(jù)庫操作序列，這些操作要么全做，要么全不做，是一個不可分割的工作單位 事務和程序是兩個概念 在關系數(shù)據(jù)庫中，一個事務可以是一條SQL語句，一組SQL語句或整個程序 一個應用程序通常包含多個事務 事務是恢復和并發(fā)控制的基本單位如何定義事務 顯式定義方式 隱式方式當用戶沒有顯式地定義事務時，DBMS按缺省規(guī)定自動劃分事務事務結(jié)束語句 COMMIT 事務正常結(jié)束 提交事務的所有操作讀+更新） 事務中所有對數(shù)據(jù)庫的更新永久生效 ROLLBACK 事務異常終止 事務運行的過程中發(fā)生了故障，不能繼續(xù)執(zhí)行 回滾事務的所有更新操作

2、事務滾回到開始時的狀態(tài)事務的特性 事務的ACID特性： 原子性Atomicity） 一致性Consistency） 隔離性Isolation） 持續(xù)性Durability ）一致性與原子性 原子性Atomicity）事務是數(shù)據(jù)庫的邏輯工作單位事務中包括的諸操作要么都做，要么都不做 一致性Consistency）事務執(zhí)行的結(jié)果必須是使數(shù)據(jù)庫從一個一致性狀態(tài)變到另一個一致性狀態(tài) 一致性狀態(tài)：數(shù)據(jù)庫中只包含成功事務提交的結(jié)果 不一致狀態(tài)：數(shù)據(jù)庫中包含失敗事務的結(jié)果一致性與原子性 銀行轉(zhuǎn)帳：從帳號A中取出一萬元，存入帳號B。 定義一個事務，該事務包括兩個操作 這兩個操作要么全做，要么全不做 全做或者全

3、不做，數(shù)據(jù)庫都處于一致性狀態(tài)。 如果只做一個操作，數(shù)據(jù)庫就處于不一致性狀態(tài)。BA B=B+1 A=A-1隔離性 隔離性 對并發(fā)執(zhí)行而言一個事務的執(zhí)行不能被其他事務干擾一個事務內(nèi)部的操作及使用的數(shù)據(jù)對其他并發(fā)事務是隔離的并發(fā)執(zhí)行的各個事務之間不能互相干擾隔離性T1的修改被T2覆蓋了！ 讀A=16 AA-3寫回A=13 讀A=16 AA-1 寫回A=15T2T1持續(xù)性 持續(xù)性也稱永久性Permanence） 一個事務一旦提交，它對數(shù)據(jù)庫中數(shù)據(jù)的改變就應該是永久性的。 接下來的其他操作或故障不應該對其執(zhí)行結(jié)果有任何影響。事務的特性 保證事務ACID特性是事務處理的任務 破壞事務ACID特性的因素 多

4、個事務并行運行時，不同事務的操作交叉執(zhí)行 事務在運行過程中被強行停止數(shù)據(jù)庫恢復 故障是不可避免的 計算機硬件故障 系統(tǒng)軟件和應用軟件的錯誤 操作員的失誤 惡意的破壞 故障的影響 運行事務非正常中斷 破壞數(shù)據(jù)庫數(shù)據(jù)庫恢復 數(shù)據(jù)庫管理系統(tǒng)對故障的對策 DBMS提供恢復子系統(tǒng) 保證故障發(fā)生后，能把數(shù)據(jù)庫中的數(shù)據(jù)從錯誤狀態(tài)恢復到某種邏輯一致的狀態(tài) 保證事務ACID 恢復技術是衡量系統(tǒng)優(yōu)劣的重要指標缺點-事務故障 事務故障某個事務在運行過程中由于種種原因未運行至正常終止點就夭折了 事務故障的常見原因 輸入數(shù)據(jù)有誤 運算溢出 違反了某些完整性限制 某些應用程序出錯 并行事務發(fā)生死鎖 。事務故障的恢復 發(fā)生

5、事務故障時，夭折的事務可能已把對數(shù)據(jù)庫的部分修改寫回磁盤 事務故障的恢復：撤消事務UNDO） 強行回滾ROLLBACK該事務 清除該事務對數(shù)據(jù)庫的所有修改，使得這個事務象根本沒有啟動過一樣缺點-系統(tǒng)故障 系統(tǒng)故障 整個系統(tǒng)的正常運行突然被破壞 所有正在運行的事務都非正常終止 內(nèi)存中數(shù)據(jù)庫緩沖區(qū)的信息全部丟失 外部存儲設備上的數(shù)據(jù)未受影響 系統(tǒng)故障的常見原因 操作系統(tǒng)或DBMS代碼錯誤 操作員操作失誤 特定類型的硬件錯誤如CPU故障） 突然停電系統(tǒng)故障的恢復 清除尚未完成的事務對數(shù)據(jù)庫的所有修改 系統(tǒng)重新啟動時，恢復程序要強行撤消UNDO所有未完成事務 將緩沖區(qū)中已完成事務提交的結(jié)果寫入數(shù)據(jù)庫

6、系統(tǒng)重新啟動時，恢復程序需要重做REDO所有已提交的事務缺點-介質(zhì)故障 介質(zhì)故障 硬件故障使存儲在外存中的數(shù)據(jù)部分丟失或全部丟失 介質(zhì)故障比前兩類故障的可能性小得多，但破壞性大得多 常見原因 硬件故障 磁盤損壞 磁頭碰撞 操作系統(tǒng)的某種潛在錯誤 瞬時強磁場干擾介質(zhì)故障的恢復恢復的實現(xiàn)技術 恢復操作的基本原理：冗余恢復操作的基本原理：冗余 利用存儲在系統(tǒng)其它地方的冗余數(shù)據(jù)來重建數(shù)利用存儲在系統(tǒng)其它地方的冗余數(shù)據(jù)來重建數(shù)據(jù)庫中已被破壞或不正確的那部分數(shù)據(jù)據(jù)庫中已被破壞或不正確的那部分數(shù)據(jù) 恢復的實現(xiàn)技術：恢復的實現(xiàn)技術：復雜，一個大型數(shù)據(jù)庫產(chǎn)品，恢復子系統(tǒng)的代復雜，一個大型數(shù)據(jù)庫產(chǎn)品，恢復子系統(tǒng)的

7、代碼要占全部代碼的碼要占全部代碼的10%以上以上恢復的實現(xiàn)技術 恢復機制涉及的關鍵問題 1. 如何建立冗余數(shù)據(jù) 數(shù)據(jù)轉(zhuǎn)儲backup） 登錄日志文件logging） 2. 如何利用這些冗余數(shù)據(jù)實施數(shù)據(jù)庫恢復恢復的實現(xiàn)技術 轉(zhuǎn)儲轉(zhuǎn)儲是指DBA將整個數(shù)據(jù)庫復制到磁帶或另一個磁盤上保存起來的過程。這些備用的數(shù)據(jù)文本稱為后備副本或后援副本。010010100000101011001110010轉(zhuǎn)儲方法-靜態(tài)轉(zhuǎn)儲 在系統(tǒng)中無運行事務時進行轉(zhuǎn)儲 轉(zhuǎn)儲開始時數(shù)據(jù)庫處于一致性狀態(tài)，轉(zhuǎn)儲期間不允許對數(shù)據(jù)庫的任何存取、修改活動 優(yōu)點：實現(xiàn)簡單 缺陷：降低了數(shù)據(jù)庫的可用性 轉(zhuǎn)儲必須等用戶事務結(jié)束 新的事務必須等轉(zhuǎn)儲

8、結(jié)束動態(tài)轉(zhuǎn)儲 轉(zhuǎn)儲操作與用戶事務并發(fā)進行 轉(zhuǎn)儲期間允許對數(shù)據(jù)庫進行存取或修改 優(yōu)點 不用等待正在運行的用戶事務結(jié)束 不會影響新事務的運行 缺陷 不能保證副本中的數(shù)據(jù)正確有效動態(tài)轉(zhuǎn)儲 利用動態(tài)轉(zhuǎn)儲得到的副本進行故障恢復 需要把動態(tài)轉(zhuǎn)儲期間各事務對數(shù)據(jù)庫的修改活動登記下來，建立日志文件 后備副本加上日志文件才能把數(shù)據(jù)庫恢復到某一時刻的正確狀態(tài)海量轉(zhuǎn)儲與增量轉(zhuǎn)儲 海量轉(zhuǎn)儲: 每次轉(zhuǎn)儲全部數(shù)據(jù)庫 增量轉(zhuǎn)儲: 只轉(zhuǎn)儲上次轉(zhuǎn)儲后更新過的數(shù)據(jù) 海量轉(zhuǎn)儲與增量轉(zhuǎn)儲比較 從恢復角度看，使用海量轉(zhuǎn)儲得到的后備副本進行恢復往往更方便 但如果數(shù)據(jù)庫很大，事務處理又十分頻繁，則增量轉(zhuǎn)儲方式更實用更有效100100011

9、011101000100100100011011101000100001000010010001101110100010000100000010000恢復的實現(xiàn)技術 建立冗余數(shù)據(jù) 數(shù)據(jù)轉(zhuǎn)儲轉(zhuǎn)儲狀態(tài)動態(tài)轉(zhuǎn)儲靜態(tài)轉(zhuǎn)儲轉(zhuǎn)儲方式海量轉(zhuǎn)儲增量轉(zhuǎn)儲轉(zhuǎn)儲策略 應定期進行數(shù)據(jù)轉(zhuǎn)儲，制作后備副本。 但轉(zhuǎn)儲又是十分耗費時間和資源的，不能頻繁進行。 DBA應該根據(jù)數(shù)據(jù)庫使用情況確定適當?shù)霓D(zhuǎn)儲周期和轉(zhuǎn)儲方法。 例： 每天晚上進行動態(tài)增量轉(zhuǎn)儲 每周進行一次動態(tài)海量轉(zhuǎn)儲 每月進行一次靜態(tài)海量轉(zhuǎn)儲日志文件 日志文件日志文件(log)是用來記錄事務對數(shù)據(jù)庫的更新操作的文件 日志文件的格式 以記錄為單位的日志文件 以數(shù)據(jù)塊為單

10、位的日志文件 日志文件內(nèi)容 各個事務的開始標記(BEGIN TRANSACTION) 各個事務的結(jié)束標記(COMMIT或ROLLBACK) 各個事務的所有更新操作 與事務有關的內(nèi)部更新操作 日志文件中的一個日志記錄 (log record)基于記錄的日志文件 每條日志記錄的內(nèi)容 事務標識 操作類型插入、刪除或修改） 操作對象記錄ID、Block NO.） 更新前數(shù)據(jù)的舊值對插入操作而言，此項為空值） 更新后數(shù)據(jù)的新值對刪除操作而言, 此項為空值）基于數(shù)據(jù)塊的日志文件 每條日志記錄的內(nèi)容 事務標識標明是哪個事務） 操作對象記錄ID、Block NO.） 更新前數(shù)據(jù)所在的整個數(shù)據(jù)塊的值對插入操作而

11、言，此項為空值） 更新后整個數(shù)據(jù)塊的值對刪除操作而言, 此項為空值）日志文件的用途 用途 進行事務故障恢復 進行系統(tǒng)故障恢復 協(xié)助后備副本進行介質(zhì)故障恢復 與靜態(tài)轉(zhuǎn)儲后備副本配合進行介質(zhì)故障恢復 靜態(tài)轉(zhuǎn)儲的數(shù)據(jù)已是一致性的數(shù)據(jù) 如果靜態(tài)轉(zhuǎn)儲完成后，仍能定期轉(zhuǎn)儲日志文件，則在出現(xiàn)介質(zhì)故障重裝數(shù)據(jù)副本后，可以利用這些日志文件副本對已完成的事務進行重做處理 這樣不必重新運行那些已完成的事務程序就可把數(shù)據(jù)庫恢復到故障前某一時刻的正確狀態(tài)日志文件的用途 介質(zhì)故障恢復：日志文件 + 動態(tài)轉(zhuǎn)儲后備副本 動態(tài)轉(zhuǎn)儲數(shù)據(jù)庫：同時轉(zhuǎn)儲同一時點的日志文件 后備副本與該日志文件結(jié)合起來才能將數(shù)據(jù)庫恢復到一致性狀態(tài)。 利

12、用這些日志文件副本進一步恢復事務，避免重新運行事務程序。登記日志文件的原則 為保證數(shù)據(jù)庫是可恢復的，登記日志文件時必須遵循兩條原則 登記的次序嚴格按并行事務執(zhí)行的時間次序 必須先寫日志文件，后寫數(shù)據(jù)庫 寫日志文件操作：把表示這個修改的日志記錄寫到日志文件 寫數(shù)據(jù)庫操作：把對數(shù)據(jù)的修改寫到數(shù)據(jù)庫中登記日志文件的原則 為什么要先寫日志文件 寫數(shù)據(jù)庫和寫日志文件是兩個不同的操作，在這兩個操作之間可能發(fā)生故障 如果先寫了數(shù)據(jù)庫修改，而在日志文件中沒有登記下這個修改，則以后就無法恢復這個修改了 如果先寫日志，但沒有修改數(shù)據(jù)庫，按日志文件恢復時只不過是多執(zhí)行一次不必要的UNDO操作，并不會影響數(shù)據(jù)庫的正確

13、性恢復策略-事務故障 事務故障：事務在運行至正常終止點前被中止 恢復方法由恢復子系統(tǒng)應利用日志文件撤消UNDO此事務已對數(shù)據(jù)庫進行的修改 事務故障的恢復由系統(tǒng)自動完成，不需要用戶干預事務故障的恢復步驟 1. 反向掃描文件日志即從最后向前掃描日志文件），查找該事務的更新操作。 2. 對該事務的更新操作執(zhí)行逆操作。即將日志記錄中“更新前的值”（Before Image, BI寫入數(shù)據(jù)庫。 插入操作， “更新前的值為空，則相當于做刪除操作 刪除操作，“更新后的值為空，則相當于做插入操作 若是修改操作，則用BI 替代 AIAfter Image） 3. 繼續(xù)反向掃描日志文件，查找該事務的其他更新操作，

14、并做同樣處理。 4. 如此處理下去，直至讀到此事務的開始標記，事務故障恢復就完成了。事務故障的恢復步驟 以Update操作為例 讀A=16 AA-1 寫回A=15T1 T1 Update A 16 15 A1516Log系統(tǒng)故障的恢復 系統(tǒng)故障造成數(shù)據(jù)庫不一致狀態(tài)的原因 一些未完成事務對數(shù)據(jù)庫的更新已寫入數(shù)據(jù)庫 一些已提交事務對數(shù)據(jù)庫的更新還留在緩沖區(qū)沒來得及寫入數(shù)據(jù)庫 恢復方法 1. Undo 故障發(fā)生時未完成的事務 2. Redo 已完成的事務 系統(tǒng)故障的恢復由系統(tǒng)在重新啟動時自動完成，不需要用戶干預系統(tǒng)故障的恢復REDO-LISTUNDO-LISTT1,T3,T6T2,T4,T5系統(tǒng)故障

15、的恢復步驟 1. 正向掃描日志文件即從頭掃描日志文件） Redo隊列: 在故障發(fā)生前已經(jīng)提交的事務T1, T3, T6. Undo隊列:故障發(fā)生時尚未完成的事務T2, T4, T5. 2. 對Undo隊列事務進行UNDO處理 反向掃描日志文件，對每個UNDO事務的更新操作執(zhí)行逆操作T2, T4, T5 3. 對Redo隊列事務進行REDO處理 正向掃描日志文件，對每個REDO事務重新執(zhí)行登記的操作T1, T3, T6.介質(zhì)故障的恢復 介質(zhì)故障的恢復需要DBA介入 DBA的工作 重裝最近轉(zhuǎn)儲的數(shù)據(jù)庫副本和有關的各日志文件副本 執(zhí)行系統(tǒng)提供的恢復命令，具體的恢復操作仍由DBMS完成 整個恢復過程由

16、兩部分組成： 1. 重裝數(shù)據(jù)庫，使數(shù)據(jù)庫恢復到一致性狀態(tài) 2. 重做已完成的事務介質(zhì)故障的恢復 恢復步驟 1. 裝入最新的后備數(shù)據(jù)庫副本，使數(shù)據(jù)庫恢復到最近一次轉(zhuǎn)儲時的一致性狀態(tài)。 對于靜態(tài)轉(zhuǎn)儲的數(shù)據(jù)庫副本，裝入后數(shù)據(jù)庫即處于一致性狀態(tài) 對于動態(tài)轉(zhuǎn)儲的數(shù)據(jù)庫副本，還須同時裝入轉(zhuǎn)儲時刻的日志文件副本，利用與恢復系統(tǒng)故障相同的方法即REDO+UNDO），才能將數(shù)據(jù)庫恢復到一致性狀態(tài)。介質(zhì)故障的恢復 2. 裝入有關的日志文件副本，重做已完成的事務。 首先掃描日志文件，找出故障發(fā)生時已提交的事務的標識，將其記入重做隊列。 然后正向掃描日志文件，對重做隊列中的所有事務進行重做處理。即將日志記錄中“更新后

17、的值寫入數(shù)據(jù)庫。具有檢查點的恢復技術 兩個問題兩個問題 搜索整個日志將耗費大量的時間搜索整個日志將耗費大量的時間 REDO處理：重新執(zhí)行，浪費了大量時間處理：重新執(zhí)行，浪費了大量時間 具有檢查點具有檢查點checkpoint的恢復技術的恢復技術 在日志文件中增加檢查點記錄在日志文件中增加檢查點記錄checkpoint） 增加重新開始文件增加重新開始文件 恢復子系統(tǒng)在登錄日志文件期間動態(tài)地維護日恢復子系統(tǒng)在登錄日志文件期間動態(tài)地維護日志志具有檢查點的恢復技術 檢查點的思想Checkpoint_1Checkpoint_1具有檢查點的恢復技術 具有檢查點的恢復技術 具有檢查點的日志文件和重新開始文件

18、T1T2T1 D1 T2 D2重新開始文件日志文件檢查點技術 檢查點記錄的內(nèi)容 1. 建立檢查點時刻所有正在執(zhí)行的事務清單 2. 這些事務最近一個日志記錄的地址 重新開始文件的內(nèi)容 記錄各個檢查點記錄在日志文件中的地址如何創(chuàng)建檢查點Restart Control如何創(chuàng)建檢查點 1. 將當前日志緩沖區(qū)中的所有日志記錄寫入磁盤的日志文件上。 2. 在日志文件中寫入一個檢查點記錄。 3. 將當前數(shù)據(jù)緩沖區(qū)的所有數(shù)據(jù)記錄寫入磁盤的數(shù)據(jù)庫中。 4. 把檢查點記錄在日志文件中的地址寫入一個重新開始文件。建立檢查點 定期 按照預定的一個時間間隔 不定期 按照某種規(guī)則，如日志文件已寫滿一半建立一個檢查點利用檢

19、查點的恢復策略 當事務T在一個檢查點之前提交，那么T對數(shù)據(jù)庫所做的修改已寫入數(shù)據(jù)庫。這樣，在進行恢復處理時，就沒有必要對事務T執(zhí)行REDO操作利用檢查點的恢復步驟 具有檢查點的恢復技術 具有檢查點的日志文件和重新開始文件T1T2T1 D1 T2 D2重新開始文件重新開始文件日志文件日志文件利用檢查點的恢復步驟利用檢查點的恢復步驟 1.從重新開始文件中找到最后一個檢查點記錄在日志文件中的地址 2.由該地址在日志文件中找到最后一個檢查點記錄 3.由該檢查點記錄得到檢查點建立時所有正在執(zhí)行的事務清單ACTIVE-LIST 建立兩個事務隊列 UNDO-LIST REDO-LIST 把ACTIVE-LIST暫時放入UNDO-LIST隊列，REDO隊列暫為空。 4.從檢查點開始正向掃描日志文件，直到日志文件結(jié)束 如有新開始的事務Ti，把Ti暫時放入UNDO-LIST隊列 如有提交的事務Tj，把Tj從UNDO-LIST隊列移到REDO-LIST隊列 5.對UNDO-LIST中的每個事務執(zhí)行UNDO操作, 對REDO-LIST中的每個事務執(zhí)行REDO操作利用檢查點的恢復技術 例：TimeTc檢測點