存儲技術之快照技術

1、學習目標 什么是快照常見快照技術H3C 快照拷貝技術123H3C TimeMark技術4H3C 快照代理技術5什么是快照？什么是快照Snapshot(/dictionary)A fully usable copy of a defined collection of data that contains an image of the data as it appeared at the point in time at which the copy was initiated. A snapshot may be either a duplicate or

2、 a replicate of the data it represents.參考譯文：快照是特定數(shù)據(jù)集的一個完整可用拷貝，該數(shù)據(jù)集包含源數(shù)據(jù)在拷貝點的靜態(tài)映象；快照可以是數(shù)據(jù)再現(xiàn)的一個副本或者復制?？煺盏膬r值 快速備份/恢復快照可迅速生成，并可用作傳統(tǒng)備份和歸檔的數(shù)據(jù)源，縮小甚至消除了數(shù)據(jù)備份窗口；快照存儲在磁盤上，可以快速直接存取，大大提高數(shù)據(jù)恢復的速度。 保存多個恢復點目標基于磁盤的快照使存儲設備有靈活和頻繁的恢復點，可以快速通過不同時間點的快照恢復數(shù)據(jù)。 重新定義數(shù)據(jù)用途快照提供一份接近實況數(shù)據(jù)的拷貝，可供測試、歸檔、查詢使用，既保護生產系統(tǒng)又賦予備份數(shù)據(jù)新的用途。常見快照技術常見快照

3、技術分類全拷貝快照全拷貝快照分離鏡像（Splitting a mirror）差分快照差分快照寫即拷貝（CoW : Copy On Write)寫即重定向(RoW : Redirect On Write)隨機寫(WA : Write Anywhere)全拷貝快照分離鏡像（Splitting a mirror）寫操作鏡像子系統(tǒng)（陣列，邏輯卷管理器，存儲網絡）源鏡像寫操作鏡像子系統(tǒng)（陣列，邏輯卷管理器，存儲網絡）鏡像關系終止源鏡像分離鏡像的生命周期寫操作源鏡像鏡像卷源鏡像原始數(shù)據(jù)寫操作分離鏡像讀和備份記錄寫操作分離鏡像寫操作1.分離鏡像2.從分離鏡像備份3.再同步鏡像再同步源鏡像全拷貝快照的特點 空

4、間占用：每一次全拷貝快照需要與源盤相同大小的數(shù)據(jù)空間 創(chuàng)建過程：每一次全拷貝快照都需要完全數(shù)據(jù)同步 讀寫操作影響 源卷的讀操作不受影響 源卷的寫操作受數(shù)據(jù)同步的影響 創(chuàng)建完成后，快照（卷）的讀寫操作保持最優(yōu)常見快照技術分類全拷貝快照全拷貝快照分離鏡像（Splitting a mirror）差分快照差分快照寫即拷貝（CoW : Copy On Write)寫即重定向(RoW : Redirect On Write)隨機寫(WA : Write Anywhere)CoW的實現(xiàn)p源盤快照前寫塊1abcdefgh01234567i8SAN訪問陣列源卷1.寫操作（p寫入塊1）pCoW的實現(xiàn)p源盤快照快照

5、前寫塊1z快照后寫塊6apcdefgh01234567i8SAN訪問陣列源卷快照索引和日志地址數(shù)據(jù)1.寫操作（p寫入塊1）2.產生快照3.快照后寫入z到塊6：不一次性寫入先將塊6內容移入日志z寫入源卷g66gzCoW的實現(xiàn)pz源盤快照快照前寫塊1快照后寫塊6gp讀塊6讀塊1apcdefzh6g01234567i8SAN訪問陣列快照索引和日志源卷地址數(shù)據(jù)1.寫操作（p寫入塊1）2.產生快照3.快照后寫入z到塊6：不一次性寫入先將塊6內容移入日志z寫入源卷4.從快照讀時組合索引/日志和源卷1.如果快照是可讀/寫，快照盤上的寫操作直接更新索引和日志CoW的特點 源卷狀態(tài)：源卷保持最新狀態(tài) 寫操作步驟

6、：當一個新的寫操作執(zhí)行時：1. 首先讀出寫操作將要覆蓋地址的當前數(shù)據(jù)2. 將讀出數(shù)據(jù)保存至專用空間并建立索引3. 新的寫操作執(zhí)行（寫入目標地址） 讀寫路徑影響 源卷的讀路徑基本無影響 源卷的寫操作受拷貝影響 對快照（卷）的讀寫路徑都有影響RoW的實現(xiàn)p源盤快照前寫塊1abcdefgh01234567i8SAN訪問陣列源卷1.寫操作（p寫入塊1）pRoW的實現(xiàn)p源盤快照快照前寫塊1z快照后寫塊6apcdefgh01234567i8SAN訪問陣列源卷快照索引和日志地址數(shù)據(jù)1.寫操作（p寫入塊1）2.產生快照3.快照后寫入z到塊6：源卷塊6內容不變z寫入日志6zRoW的實現(xiàn)pz源盤快照快照前寫塊1快

7、照后寫塊6gp讀塊6讀塊1apcdefgh6z01234567i8SAN訪問陣列快照索引和日志源卷地址數(shù)據(jù)1.寫操作（p寫入塊1）2.產生快照3.快照后寫入z到塊6：源卷塊6內容不變z寫入日志4.從快照讀時只訪問源卷檢索RoW的實現(xiàn)pz源盤快照前寫塊1快照后寫塊6快照gp讀塊6讀塊1apcdefgh6z01234567i8SAN訪問陣列快照索引和日志源卷地址數(shù)據(jù)1.寫操作（p寫入塊1）2.產生快照3.快照后寫入z到塊6：源卷塊6內容不變z寫入日志4.從快照讀時只訪問源卷1.如果快照取消，快照日志必需全部執(zhí)行，以保證源卷的狀態(tài)更新到最新z66zRoW的特點 源卷狀態(tài)：源卷狀態(tài)凍結 讀寫操作步驟：

8、1. 到源盤的新的寫操作被存入日志（并索引）：2. 讀源卷時，先檢索日志3. 讀快照時，源卷需要引用4. 當快照取消時，寫日志必須全部執(zhí)行以與源卷保證數(shù)據(jù)狀態(tài)同步更新 讀寫路徑影響 源卷的寫操作基本無影響 源卷的讀路徑潛在受影響 快照（卷）的讀寫路徑最優(yōu)化基于文件系統(tǒng)的WA實現(xiàn)舉例C快照文件：教材.pptABC文件系統(tǒng)文件：教材.ppt數(shù)據(jù)塊WA的特點 磁盤塊被虛擬化1. 源盤使用真實塊的映射重定向2. 新寫操作定向到空閑塊，而不是直接覆蓋塊3. 映射反應當前狀態(tài)和潛在維護多個“快照” 性能通常不因源盤/快照改變 性能受碎片影響虛擬磁盤快照NeoStor時間點映像快照資源區(qū)域快照拷貝業(yè)務繼續(xù)訪

9、問可以被分配給其它應用使用什么是快照拷貝1234567891011121234567891011122712第一次做快照時，快照資源區(qū)無數(shù)據(jù). 內存中僅維護源卷的一個地址映射.源卷快照快照!源卷有新塊寫入時，舊塊數(shù)據(jù)首先被寫到快照資源區(qū)。新塊寫入舊塊移走快照拷貝實現(xiàn) Copy-on-Write 快照拷貝開始源數(shù)據(jù)卷快照區(qū)拷貝卷123456789101112拷貝過程中，新數(shù)據(jù)寫入，發(fā)生改變的數(shù)據(jù)塊被保存在快照區(qū)將快照資源區(qū)里的數(shù)據(jù)和原卷中未改變的數(shù)據(jù)一起拷貝形成完整的數(shù)據(jù)卷1234567891011121314152127134568910111227123456789101112快照拷貝實現(xiàn)

10、Copy-on-Write 數(shù)據(jù)拷貝時，先檢查快照資源區(qū)的塊是否包含數(shù)據(jù)，如果有數(shù)據(jù)就直接復制到拷貝卷；如果沒有數(shù)據(jù)，則直接從源卷上復制未改變過的數(shù)據(jù)；最終結果是產生一個源卷在快照點的數(shù)據(jù)副本。H3C TimeMark技術每小時一次的自動快照快照資源源資源數(shù)據(jù)卷9am初始快照(無數(shù)據(jù))10am11am12pm147102581136912新數(shù)據(jù)塊寫入10:00-10:5914710258113691211:00-11:59新數(shù)據(jù)塊寫入147102581136912數(shù)據(jù)塊9:00-9:59147102581136912新數(shù)據(jù)塊寫入267910112267910112舊數(shù)據(jù)塊保存在快照資源區(qū)舊數(shù)據(jù)

11、塊保存在快照資源區(qū)舊數(shù)據(jù)塊保存在快照資源區(qū)267267910TimeMark每小時一次的自動快照快照資源源資源數(shù)據(jù)卷9am初始快照(無數(shù)據(jù))10am11am12pm147102581136912新數(shù)據(jù)塊寫入10:00-10:5914710258113691211:00-11:59新數(shù)據(jù)塊寫入147102581136912數(shù)據(jù)塊9:00-9:59147102581136912新數(shù)據(jù)塊寫入26791011226791011212:17pm 應用報錯需要恢復應用在 10am的狀態(tài)!267267910TimeMark10:00am!111234581269107新數(shù)據(jù)塊寫入10:00-10:59147

12、10258113691211:00-11:59新數(shù)據(jù)塊寫入1471025811369121122679109am10am11am12pm147102581136912數(shù)據(jù)塊9:00-9:59新數(shù)據(jù)塊寫入147102581136912267910267910112267147102581136912126910127111234581269107112112910TimeMark每小時一次的自動快照快照資源源資源數(shù)據(jù)卷初始快照(無數(shù)據(jù))學習目標 什么是快照常見快照技術H3C 快照拷貝技術123H3C TimeMark技術4H3C 快照代理技術5什么是快照？什么是快照Snapshot(http:/

13、/dictionary)A fully usable copy of a defined collection of data that contains an image of the data as it appeared at the point in time at which the copy was initiated. A snapshot may be either a duplicate or a replicate of the data it represents.參考譯文：快照是特定數(shù)據(jù)集的一個完整可用拷貝，該數(shù)據(jù)集包含源數(shù)據(jù)在拷貝點的靜態(tài)映象；

14、快照可以是數(shù)據(jù)再現(xiàn)的一個副本或者復制?？煺盏膬r值 快速備份/恢復快照可迅速生成，并可用作傳統(tǒng)備份和歸檔的數(shù)據(jù)源，縮小甚至消除了數(shù)據(jù)備份窗口；快照存儲在磁盤上，可以快速直接存取，大大提高數(shù)據(jù)恢復的速度。 保存多個恢復點目標基于磁盤的快照使存儲設備有靈活和頻繁的恢復點，可以快速通過不同時間點的快照恢復數(shù)據(jù)。 重新定義數(shù)據(jù)用途快照提供一份接近實況數(shù)據(jù)的拷貝，可供測試、歸檔、查詢使用，既保護生產系統(tǒng)又賦予備份數(shù)據(jù)新的用途。常見快照技術常見快照技術分類全拷貝快照全拷貝快照分離鏡像（Splitting a mirror）差分快照差分快照寫即拷貝（CoW : Copy On Write)寫即重定向(RoW

15、: Redirect On Write)隨機寫(WA : Write Anywhere)全拷貝快照分離鏡像（Splitting a mirror）寫操作鏡像子系統(tǒng)（陣列，邏輯卷管理器，存儲網絡）源鏡像寫操作鏡像子系統(tǒng)（陣列，邏輯卷管理器，存儲網絡）鏡像關系終止源鏡像分離鏡像的生命周期寫操作源鏡像鏡像卷源鏡像原始數(shù)據(jù)寫操作分離鏡像讀和備份記錄寫操作分離鏡像寫操作1.分離鏡像2.從分離鏡像備份3.再同步鏡像再同步源鏡像全拷貝快照的特點 空間占用：每一次全拷貝快照需要與源盤相同大小的數(shù)據(jù)空間 創(chuàng)建過程：每一次全拷貝快照都需要完全數(shù)據(jù)同步 讀寫操作影響 源卷的讀操作不受影響 源卷的寫操作受數(shù)據(jù)同步的影

16、響 創(chuàng)建完成后，快照（卷）的讀寫操作保持最優(yōu)常見快照技術分類全拷貝快照全拷貝快照分離鏡像（Splitting a mirror）差分快照差分快照寫即拷貝（CoW : Copy On Write)寫即重定向(RoW : Redirect On Write)隨機寫(WA : Write Anywhere)CoW的實現(xiàn)p源盤快照前寫塊1abcdefgh01234567i8SAN訪問陣列源卷1.寫操作（p寫入塊1）pCoW的實現(xiàn)p源盤快照快照前寫塊1z快照后寫塊6apcdefgh01234567i8SAN訪問陣列源卷快照索引和日志地址數(shù)據(jù)1.寫操作（p寫入塊1）2.產生快照3.快照后寫入z到塊6：不一

17、次性寫入先將塊6內容移入日志z寫入源卷g66gzCoW的實現(xiàn)pz源盤快照快照前寫塊1快照后寫塊6gp讀塊6讀塊1apcdefzh6g01234567i8SAN訪問陣列快照索引和日志源卷地址數(shù)據(jù)1.寫操作（p寫入塊1）2.產生快照3.快照后寫入z到塊6：不一次性寫入先將塊6內容移入日志z寫入源卷4.從快照讀時組合索引/日志和源卷1.如果快照是可讀/寫，快照盤上的寫操作直接更新索引和日志CoW的特點 源卷狀態(tài)：源卷保持最新狀態(tài) 寫操作步驟：當一個新的寫操作執(zhí)行時：1. 首先讀出寫操作將要覆蓋地址的當前數(shù)據(jù)2. 將讀出數(shù)據(jù)保存至專用空間并建立索引3. 新的寫操作執(zhí)行（寫入目標地址） 讀寫路徑影響 源

18、卷的讀路徑基本無影響 源卷的寫操作受拷貝影響 對快照（卷）的讀寫路徑都有影響RoW的實現(xiàn)p源盤快照前寫塊1abcdefgh01234567i8SAN訪問陣列源卷1.寫操作（p寫入塊1）pRoW的實現(xiàn)p源盤快照快照前寫塊1z快照后寫塊6apcdefgh01234567i8SAN訪問陣列源卷快照索引和日志地址數(shù)據(jù)1.寫操作（p寫入塊1）2.產生快照3.快照后寫入z到塊6：源卷塊6內容不變z寫入日志6zRoW的實現(xiàn)pz源盤快照快照前寫塊1快照后寫塊6gp讀塊6讀塊1apcdefgh6z01234567i8SAN訪問陣列快照索引和日志源卷地址數(shù)據(jù)1.寫操作（p寫入塊1）2.產生快照3.快照后寫入z到塊

19、6：源卷塊6內容不變z寫入日志4.從快照讀時只訪問源卷檢索RoW的實現(xiàn)pz源盤快照前寫塊1快照后寫塊6快照gp讀塊6讀塊1apcdefgh6z01234567i8SAN訪問陣列快照索引和日志源卷地址數(shù)據(jù)1.寫操作（p寫入塊1）2.產生快照3.快照后寫入z到塊6：源卷塊6內容不變z寫入日志4.從快照讀時只訪問源卷1.如果快照取消，快照日志必需全部執(zhí)行，以保證源卷的狀態(tài)更新到最新z66zRoW的特點 源卷狀態(tài)：源卷狀態(tài)凍結 讀寫操作步驟：1. 到源盤的新的寫操作被存入日志（并索引）：2. 讀源卷時，先檢索日志3. 讀快照時，源卷需要引用4. 當快照取消時，寫日志必須全部執(zhí)行以與源卷保證數(shù)據(jù)狀態(tài)同步

20、更新 讀寫路徑影響 源卷的寫操作基本無影響 源卷的讀路徑潛在受影響 快照（卷）的讀寫路徑最優(yōu)化基于文件系統(tǒng)的WA實現(xiàn)舉例C快照文件：教材.pptABC文件系統(tǒng)文件：教材.ppt數(shù)據(jù)塊WA的特點 磁盤塊被虛擬化1. 源盤使用真實塊的映射重定向2. 新寫操作定向到空閑塊，而不是直接覆蓋塊3. 映射反應當前狀態(tài)和潛在維護多個“快照” 性能通常不因源盤/快照改變 性能受碎片影響虛擬磁盤快照NeoStor時間點映像快照資源區(qū)域快照拷貝業(yè)務繼續(xù)訪問可以被分配給其它應用使用什么是快照拷貝1234567891011121234567891011122712第一次做快照時，快照資源區(qū)無數(shù)據(jù). 內存中僅維護源卷的

21、一個地址映射.源卷快照快照!源卷有新塊寫入時，舊塊數(shù)據(jù)首先被寫到快照資源區(qū)。新塊寫入舊塊移走快照拷貝實現(xiàn) Copy-on-Write 快照拷貝開始源數(shù)據(jù)卷快照區(qū)拷貝卷123456789101112拷貝過程中，新數(shù)據(jù)寫入，發(fā)生改變的數(shù)據(jù)塊被保存在快照區(qū)將快照資源區(qū)里的數(shù)據(jù)和原卷中未改變的數(shù)據(jù)一起拷貝形成完整的數(shù)據(jù)卷1234567891011121314152127134568910111227123456789101112快照拷貝實現(xiàn) Copy-on-Write 數(shù)據(jù)拷貝時，先檢查快照資源區(qū)的塊是否包含數(shù)據(jù)，如果有數(shù)據(jù)就直接復制到拷貝卷；如果沒有數(shù)據(jù)，則直接從源卷上復制未改變過的數(shù)據(jù)；最終結果是產生一個源卷在快照點的數(shù)據(jù)副本。每小時一次的