NetBackup7.5案例-小文件備份

NetBackup7.5小文件備份方案賽門鐵克公司工程背景XX公司DMS系統(tǒng)分布在PST和SST兩個(gè)站點(diǎn)每個(gè)站點(diǎn)之前采用TSM軟件+物理帶庫進(jìn)行備份，架構(gòu)如下系統(tǒng)改進(jìn)需求隨著系統(tǒng)數(shù)據(jù)的增長(zhǎng)，之前的TSM備份系統(tǒng)難以滿足需求兩個(gè)站點(diǎn)，每個(gè)站點(diǎn)2個(gè)數(shù)據(jù)組，共4個(gè)數(shù)據(jù)組需要進(jìn)行每日全備。在每個(gè)站點(diǎn)，采取在備份效勞器上掛載快照的方式進(jìn)行文件系統(tǒng)備份，使用2個(gè)LTO5磁帶機(jī)進(jìn)行備份。至2021年11月：每個(gè)數(shù)據(jù)組約800GB數(shù)據(jù)，500萬個(gè)小文件，每個(gè)站點(diǎn)需要超過14小時(shí)的備份時(shí)間窗口來完成日常備份。至2021年8月：每個(gè)數(shù)據(jù)組增長(zhǎng)至約1TB數(shù)據(jù)，備份時(shí)間超過20小時(shí)。如果日常備份失敗，那么無法在SLA要求的時(shí)間內(nèi)重新發(fā)起完成備份。日常需要人工遞送磁帶，運(yùn)維困難，同時(shí)時(shí)間難以保證。且由于缺乏自動(dòng)的catalogDB同步機(jī)制，遞送的磁帶也難于在異地恢復(fù)。此外，還存在TSMCatalogDB增長(zhǎng)過快，以及備份完后需要較長(zhǎng)時(shí)間完成索引創(chuàng)立。問題分析及解決思路影響備份系統(tǒng)性能的瓶頸TSM備份系統(tǒng)實(shí)際備份速度：約14MB/s每磁帶機(jī)備份的I/O路徑：備份效勞器通過SAN從掛載的快照文件系統(tǒng)中讀取數(shù)據(jù)，然后通過SAN寫入磁帶機(jī)磁帶機(jī)的速度：使用的LTO5帶機(jī)的理論速度約180MB/s傳輸帶寬：SAN網(wǎng)絡(luò)的傳輸能力約400MB/s文件系統(tǒng)性能：海量小文件的讀取性能是瓶頸所在解決思路提高前端數(shù)據(jù)讀出的性能多個(gè)數(shù)據(jù)流并行讀?。俊Ａ啃∥募到y(tǒng)的性能與并發(fā)度不是線性關(guān)系。No變文件系統(tǒng)備份為裸設(shè)備備份？——對(duì)文件系統(tǒng)類型有特定要求，改動(dòng)太大。No減少備份時(shí)需讀取的數(shù)據(jù)量？——Netbackup7.5的加速備份功能YES解決方案：Netbackup7.5和Netbackup一體機(jī)利用Netbackup7.5的相關(guān)功能解決問題加速備份功能：以增量備份的速度完成全備份，對(duì)平臺(tái)和文件系統(tǒng)沒有特殊要求重復(fù)數(shù)據(jù)刪除：基于普通磁盤實(shí)現(xiàn)重復(fù)數(shù)據(jù)刪除，支持前端和后端重刪，節(jié)省網(wǎng)絡(luò)帶寬和存儲(chǔ)空間，提高備份速度和可靠性自動(dòng)映像復(fù)制：在兩個(gè)站點(diǎn)間跨備份域自動(dòng)復(fù)制經(jīng)過消重的備份映像和目錄庫，無需日常人工干預(yù)，平安、簡(jiǎn)單、高效。生命周期管理：自動(dòng)完成備份-復(fù)制-下磁帶的過程并管理備份數(shù)據(jù)在不同設(shè)備上的保存和刪除，可針對(duì)備份策略和調(diào)度靈活定義。Netbackup5220備份一體機(jī)集成了備份效勞器、磁盤存儲(chǔ)、操作系統(tǒng)、Netbackup軟件及輔助軟件，并專門針對(duì)Netbackup進(jìn)行了優(yōu)化的一體化設(shè)備，安裝、配置、管理及維護(hù)簡(jiǎn)單，性能強(qiáng)大。新的備份架構(gòu)在PST和SST各部署一臺(tái)Netbackup5220一體機(jī)，結(jié)合原有磁帶庫，每天自動(dòng)按如下過程完成數(shù)據(jù)備份：數(shù)據(jù)先備份至本地NBU5220的磁盤上(保存周期1個(gè)月/6個(gè)月)備份完成后，自動(dòng)復(fù)制到異地NBU5220的磁盤上〔保存周期1個(gè)月〕根據(jù)需要自動(dòng)將數(shù)據(jù)在復(fù)制到異地磁帶庫上〔每10天一次，保存1年〕PSTNBU客戶端TS3310完整數(shù)據(jù)流LANNBU5220SSTLANNBU客戶端WAN加速/消重?cái)?shù)據(jù)流TS3310NBU5220Copy1Copy2Copy3測(cè)試及上線后效果于2021年10月在生產(chǎn)系統(tǒng)進(jìn)行了實(shí)際測(cè)試，驗(yàn)證了設(shè)計(jì)方案的正確性和性能，結(jié)果令人滿意新系統(tǒng)已于2021年8月28日上線運(yùn)行，完全到達(dá)設(shè)計(jì)目標(biāo)每個(gè)站點(diǎn)當(dāng)前約2TB數(shù)據(jù)每個(gè)站點(diǎn)的備份時(shí)間縮短至約4小時(shí)日常消重率約99%，偶爾98%——跟業(yè)務(wù)系統(tǒng)的變化相關(guān)通過1MB/s帶寬進(jìn)行復(fù)制，日常復(fù)制時(shí)間約7小時(shí)，偶爾14小時(shí)通過兩個(gè)磁帶機(jī)下磁帶，用時(shí)約5小時(shí)數(shù)據(jù)可在兩個(gè)站點(diǎn)隨時(shí)恢復(fù)恢復(fù)1TB數(shù)據(jù)用時(shí)約5小時(shí)SST站點(diǎn)的備份數(shù)據(jù)量vs.

備份時(shí)間SST站點(diǎn)的備份數(shù)據(jù)量

vs.消重后的數(shù)據(jù)量SST站點(diǎn)的復(fù)制至PST的數(shù)據(jù)量vs.復(fù)制時(shí)間SST站點(diǎn)每天備份的數(shù)據(jù)量vs.復(fù)