Commvault重復(fù)數(shù)據(jù)刪除功能介紹

1、重復(fù)數(shù)據(jù)刪除功能介紹內(nèi)存數(shù)據(jù)庫為什么使用內(nèi)存數(shù)據(jù)庫?提高重刪性能直接將重復(fù)數(shù)據(jù)刪除記錄寫入到磁盤導(dǎo)致很多性能問題.降低DDB重建時(shí)間V10中內(nèi)存中的DDB采用非日志模式,僅僅當(dāng)重刪引擎停止時(shí)才寫入磁盤.重刪引擎只有在備份和數(shù)據(jù)老化作業(yè)完成后才停止,或者DDB備份時(shí)才停止.SIDB2 進(jìn)程非正常停止會導(dǎo)致磁盤庫和DDB的狀態(tài)不一致.磁盤庫和DDB hash簽名記錄如有大的差異,會導(dǎo)致長時(shí)間的DDB重構(gòu).內(nèi)存數(shù)據(jù)庫是在不影響DDB性能的情況下避免長時(shí)間重構(gòu)的有效方法.內(nèi)存數(shù)據(jù)庫如何工作?以事務(wù)處理模式運(yùn)行DDB在內(nèi)存中創(chuàng)建3個(gè)DDB表實(shí)例MemDB 2 活動（Active） 從備份流中接受連接Me

2、mDB 1 關(guān)閉（Closed） 空閑, 不再接受連接MemDB 0 合并（In Merge） 提交完成的hash簽名到DDB DiskDB每個(gè)MemDB實(shí)例包含20秒的DDB活動查詢時(shí)使用所有的MemDB和DiskDB，但寫操作只涉及活動MemDB第四個(gè)DDB表實(shí)例存在于DDB磁盤DiskDB 從MemDB 0 （合并）接受完成的交易MemDB1MemDB0MemDB架構(gòu)- 插入MemDB2MergeMemDBIn MergeClosed - WaitingFor MergeActiveClean UpProcessDDB CallsMemDB LevelsAdd / Update Reco

3、rdsOn-Disk DB(Transaction Enabled)MemDB 架構(gòu) 查詢MemDB2MemDB1MemDB0On-Disk DB(Transaction Enabled)In MergeClosed - WaitingFor MergeActiveDDB CallsQuery RecordsMemDB LevelsMemDB架構(gòu)DiskDB InstanceMemDB InstancesActiveClosedIn MergePrimary TableSecondary Table FilesZero Reference TableUnique signature, loca

4、tion on disk, and block counterEach file contains 16 archive file references Holds signature when primary table counter reaches zeroTable StructurePrimary TableSecondary Table Files內(nèi)存數(shù)據(jù)庫附加說明V11SP2時(shí)內(nèi)存數(shù)據(jù)庫是可配置的選項(xiàng)可在DDB創(chuàng)建或封存后時(shí)啟用，因?yàn)樾碌腄DB是空的使用獨(dú)立工具將已經(jīng)存在的DDB轉(zhuǎn)換為內(nèi)存數(shù)據(jù)庫（即將實(shí)現(xiàn)）介質(zhì)服務(wù)器需要至少32GB內(nèi)存DDB必須放在固態(tài)硬盤傳統(tǒng)的DDB仍舊是默認(rèn)

5、的配置內(nèi)存數(shù)據(jù)庫個(gè)數(shù)目前不能配置（默認(rèn)3個(gè)）研發(fā)認(rèn)為3個(gè)內(nèi)存數(shù)據(jù)庫實(shí)例從性能和健壯性來講是最優(yōu)配置內(nèi)存數(shù)據(jù)庫摘要內(nèi)存數(shù)據(jù)庫是提升DDB性能的可配置選項(xiàng)除了DiskDB外,內(nèi)存數(shù)據(jù)庫允許3個(gè)DDB實(shí)例在內(nèi)存中運(yùn)行DiskDB以事務(wù)處理模式運(yùn)行，提交變化到磁盤插入操作， 20秒的活動保存在每個(gè)MemDB實(shí)例中MemDB每20秒提交到DiskDB中已經(jīng)提交的MemDB實(shí)例內(nèi)容被清除用作新的插入操作查詢操作， 所有3個(gè)MemDBs和DiskDB都會被查詢到其他的內(nèi)存數(shù)據(jù)庫優(yōu)勢包括在某些場景下可縮短DDB重構(gòu)時(shí)間增量重構(gòu)重構(gòu)類型不同場景（使用內(nèi)存數(shù)據(jù)庫)DDB不正常關(guān)閉（由于MA重啟，人工干預(yù)或進(jìn)程崩潰

6、）增量重構(gòu) 新特性DDB卷損壞或丟失傳統(tǒng)重構(gòu)DDB卷損壞或丟失， 且DDB備份不可用完全重構(gòu)增量重構(gòu)使用內(nèi)存數(shù)據(jù)庫后新的重構(gòu)模式恢復(fù)階段不需要從備份中恢復(fù)DDB 增加記錄階段跳過清除記錄階段，因?yàn)閿?shù)據(jù)老化只使用DiskDB,內(nèi)存數(shù)據(jù)庫中不存在老化記錄預(yù)計(jì)執(zhí)行時(shí)間- 2分鐘- 比傳統(tǒng)重建節(jié)約大量時(shí)間V11 重復(fù)數(shù)據(jù)刪除變化4分區(qū)DDBCLDB134Shared Disk Library Deduplication Database Partitions Signature Lookups2DDB DIPDDB DIPDDB DIP4分區(qū)DDB為什么使用4分區(qū)?性能重刪處理負(fù)載到更多的介質(zhì)服務(wù)器，

7、提高重刪處理能力容量每個(gè)DDB分區(qū)可以以最優(yōu)的速度支撐50個(gè)并發(fā)數(shù)據(jù)流4分區(qū)重刪池可支持多達(dá)200個(gè)并發(fā)數(shù)據(jù)流沒有官方的最大記錄數(shù)定義，DDB查詢和插入時(shí)間決定最大容量。彈性V10中DDB可用性選項(xiàng)會導(dǎo)致重刪池中50%的塊重定基線。4分區(qū)DDB，如果1個(gè)分區(qū)離線， 重定基線降低為25%。4分區(qū)DDB數(shù)據(jù)如何在DDB分區(qū)中分布?Mod（）函數(shù)處理每個(gè)重刪塊hash值模函數(shù)由hash值做除法后得到余數(shù)余數(shù)決定數(shù)據(jù)塊發(fā)送給哪個(gè)DDB分區(qū)相同的hash值總是發(fā)送給相同的DDB分區(qū)如果1個(gè)分區(qū)離線，備份作業(yè)在任何其他分區(qū)上都不能繼續(xù)除非“DDB可用性選項(xiàng)”被設(shè)定4分區(qū)DDB如啟用可用性選項(xiàng)允許最多3個(gè)分

8、區(qū)離線由于影響磁盤庫用法，不推薦此種配置分區(qū)中分布數(shù)據(jù)0231DDB DIPDDB DIPDDB DIPGroup Numberd0c77c4b4d9e6ceb333b527db332b6343c6ae9c39c321daf7764e65c71b2b02693f17a711c22a108b559d316f975e26260b6a8616cf905e4d9ddcd8201161e60SHA-512 HASH (Hex)Modulus Functionhash mod 4 = 0 (Divide the hash by 4, the remainder is 0.) HASH Decimal Eq

9、uivalent10934656070627700798424733116722136166901787802279803557058323294694357019902710585831691683530559954501149273815871731092084381728104818069814618545856096128 KB Blocks Client File System d0c77c4b4d9e6ceb333b527db332b6343c6ae9c39c321daf7764e65c71b2b02693f17a711c22a108b559d316f975e26260b6a861

10、6cf905e4d9ddcd8201161e6110934656070627700798424733116722136166901787802279803557058323294694357019902710585831691683530559954501149273815871731092084381728104818069814618545856097hash mod 4 = 1 (Divide the hash by 4, the remainder is 1.) 4分區(qū)DDB當(dāng)1個(gè)分區(qū)離線, 該分區(qū)的數(shù)據(jù)塊將會在其他分區(qū)上重做重刪數(shù)據(jù)塊的hash簽名會添加到主表，即使它已在離線分區(qū)的主

11、表中存在數(shù)據(jù)塊再次寫入到共享磁盤庫隨時(shí)間推移會引起磁盤空間使用量增將DDB可用性選項(xiàng)意味著是一個(gè)臨時(shí)性舉措以使得備份能夠繼續(xù)(默認(rèn)關(guān)閉)4分區(qū)DDB當(dāng)1個(gè)分區(qū)離線會怎樣?031DDB DIPDDB DIPDDB DIPGroup Number128 KB Data Blocks With Existing HashesClient File System2Partition Goes OfflineRebaselining of Group 2 Blocks Into Group 3Hash Mod 4 = 0 Hash Mod 4 = 1 Hash Mod 4 = 2 Hash Mod 4

12、= 3 25 % Disk Space Consumption Increase in Disk LibraryPartioned StoreDDB網(wǎng)絡(luò)接口分區(qū)DDB介質(zhì)服務(wù)器之間推薦使用DDB網(wǎng)絡(luò)接口DDB網(wǎng)絡(luò)接口是創(chuàng)建重刪存儲池時(shí)設(shè)置DIP的一種機(jī)制用途增加分區(qū)間hash簽名查找性能避免與進(jìn)來的備份流爭用網(wǎng)絡(luò)避免與非Simpana網(wǎng)絡(luò)流量爭用網(wǎng)絡(luò)傳統(tǒng)的DIP也推薦使用如果分區(qū)介質(zhì)服務(wù)器之間配置了輔助拷貝，則DDB網(wǎng)絡(luò)接口將不會專用DDB網(wǎng)絡(luò)接口DDB網(wǎng)絡(luò)接口允許在創(chuàng)建重刪存儲策略時(shí)配置DDB網(wǎng)絡(luò)接口重刪策略配置完后，可使用如下方法調(diào)整 DDB網(wǎng)卡DIP 配置向?qū)?CommCell控制面板)

13、介質(zhì)服務(wù)器客戶端屬性的作業(yè)配置欄變化會反映到DDB網(wǎng)絡(luò)接口界面由于新的ctree數(shù)據(jù)庫版本，V11現(xiàn)在支持DDB壓縮采用壓縮DDB的數(shù)據(jù)文件和重索引的方式收縮重刪數(shù)據(jù)庫僅僅在DDB磁盤空間已耗盡和SIDB2不活動時(shí)使用用法舉例sidb2 -compact -in-cn-i-splitsidb2 -compact -in Instance001 -cn qm11v-ma3 -i 62 split 00壓縮DDB其他 v11 重刪變化V11中封存老版本的DDB會創(chuàng)建V11的DDB每個(gè)輔助文件的存檔文件從256減少到16減少DDB大小消除V10中使用完全重建來縮減DDB的必要減少使用新的DDB壓縮特

14、性必要Mac客戶端支持客戶端DDB緩存“請勿重復(fù)數(shù)據(jù)刪除久于以下項(xiàng)的對象”設(shè)置重新可用已有的重刪儲存策略上增加分區(qū)（即將實(shí)現(xiàn)) 增量數(shù)據(jù)驗(yàn)證 增量數(shù)據(jù)驗(yàn)證驗(yàn)證重復(fù)數(shù)據(jù)刪除數(shù)據(jù)庫檢驗(yàn)從上次數(shù)據(jù)驗(yàn)證以來增加的唯一數(shù)據(jù)塊讀取數(shù)據(jù)塊做校驗(yàn)對比, 確保數(shù)據(jù)塊可讀取驗(yàn)證磁盤和重復(fù)數(shù)據(jù)刪除數(shù)據(jù)庫的現(xiàn)有作業(yè)檢驗(yàn)從上一次數(shù)據(jù)驗(yàn)證以來增加的唯一數(shù)據(jù)塊和作業(yè)讀取數(shù)據(jù)塊做校驗(yàn)對比, 確保數(shù)據(jù)塊可讀取。并且從CSDB中讀取作業(yè)所對應(yīng)的數(shù)據(jù)塊，以驗(yàn)證作業(yè)所有數(shù)據(jù)均可讀取。增量數(shù)據(jù)驗(yàn)證不支持”重復(fù)數(shù)據(jù)刪除數(shù)據(jù)庫的快速驗(yàn)證”不做數(shù)據(jù)塊可讀性驗(yàn)證，只對比DDB和磁盤元信息中的數(shù)據(jù)塊信息一致。增量數(shù)據(jù)驗(yàn)證增量驗(yàn)證在 V11 SP3中，當(dāng)創(chuàng)建重刪策略時(shí)自動設(shè)定增量數(shù)據(jù)驗(yàn)證計(jì)劃。每天檢測壞塊，防止壞塊被新的備份使用。與壞塊hash簽名相同的數(shù)據(jù)塊會在磁盤庫中重新寫入在下一次備份時(shí)重新寫入新塊新的備份作業(yè)中數(shù)據(jù)塊有效，但不會修復(fù)已經(jīng)存在壞塊的作業(yè)已驗(yàn)證過的數(shù)據(jù)塊不會再次去檢查，除非該數(shù)據(jù)塊被沒驗(yàn)證過的作業(yè)使用。為避免這種場景，需手工執(zhí)行完整數(shù)據(jù)驗(yàn)證 增量數(shù)據(jù)驗(yàn)證驗(yàn)證允許備份作業(yè)繼續(xù)執(zhí)行數(shù)據(jù)驗(yàn)證不影響備份操作日常的讀操作（恢復(fù)，輔助拷貝，合成全備份）也會檢測數(shù)據(jù)塊的有效性在v10中, 日常讀操作只標(biāo)記第一個(gè)壞塊如果后續(xù)的塊損壞，讀操作檢測不到在V11 中，