銀行備份架構(gòu)優(yōu)化探索與實(shí)踐

1、銀行備份架構(gòu)優(yōu)化探索與實(shí)踐數(shù)字時代，伴隨數(shù)據(jù)成為關(guān)鍵生產(chǎn)要素，數(shù)據(jù)備份的重 要性也愈發(fā)凸顯。通過提供歷史數(shù)據(jù)服務(wù)，數(shù)據(jù)備份可有效 抵御各類計劃外故障與惡意攻擊，是保障數(shù)據(jù)平安性的有效 手段。本文針對當(dāng)前銀行業(yè)數(shù)據(jù)管理面臨的技術(shù)創(chuàng)新與服務(wù) 效率等問題，提出了多介質(zhì)融合方案以優(yōu)化數(shù)據(jù)備份架構(gòu), 并總結(jié)統(tǒng)一備份管理平臺建設(shè)經(jīng)驗(yàn)，希望為銀行業(yè)數(shù)據(jù)管理 提供可行的參考。傳統(tǒng)模式下，銀行業(yè)數(shù)據(jù)備份架構(gòu)大多是基于商業(yè)數(shù)據(jù) 備份管理軟件（如NetBackup）來構(gòu)建集中式備份管理平臺， 將磁帶作為備份介質(zhì)，并采用帶庫轉(zhuǎn)存功能實(shí)現(xiàn)離線數(shù)據(jù)異 地保存。然而，隨著分布式、云計算等新技術(shù)的推廣，銀行 信息系統(tǒng)基礎(chǔ)設(shè)施

2、架構(gòu)發(fā)生了巨大變化，爆發(fā)式增長的數(shù)據(jù) 規(guī)模，異構(gòu)混合的多云多區(qū)域環(huán)境，以及云原生應(yīng)用的彈性 伸縮、隨時啟停等，均對備份和恢復(fù)效率以及系統(tǒng)擴(kuò)展性提 出了更高的要求，傳統(tǒng)備份架構(gòu)已愈發(fā)難以滿足業(yè)務(wù)開展需 求。與此同時，面對服務(wù)器、操作系統(tǒng)、數(shù)據(jù)庫等基礎(chǔ)軟硬 件設(shè)施的日益多樣化，以及新場景、新技術(shù)、新需求的持續(xù) 涌現(xiàn)，銀行數(shù)據(jù)備份架構(gòu)和備份系統(tǒng)亟待不斷優(yōu)化。圖4統(tǒng)一備份管理平臺邏輯架構(gòu)2.成效總結(jié)工商銀行在私有云中規(guī)?；茝V上述方案，并實(shí)現(xiàn)金融 生態(tài)云和分行云租戶的自主服務(wù)全覆蓋，取得了良好的實(shí)踐O在兼容多樣化軟硬件方面，該方案不僅可支持鰥鵬、海 光、Intel等異構(gòu)芯片服務(wù)器，麒麟、歐拉等操作系統(tǒng)

3、，還 支持文件系統(tǒng)、MySQL及國產(chǎn)分布式數(shù)據(jù)庫等多種形式的數(shù) 據(jù)源。在提升數(shù)據(jù)服務(wù)能力方面，通過完善數(shù)據(jù)分層設(shè)計，切 實(shí)提高了數(shù)據(jù)訪問性能，并結(jié)合數(shù)據(jù)服務(wù)流程優(yōu)化，使審計 查數(shù)、抽檢、供數(shù)等操作的執(zhí)行效率實(shí)現(xiàn)大幅提升。在提升備份管理能力方面，不僅解決了云原生應(yīng)用數(shù)據(jù)、 容器實(shí)例漂移等備份難題，還支持在復(fù)雜云環(huán)境下對備份進(jìn) 行統(tǒng)一管理，極大地簡化了運(yùn)維操作，減少備份管理人時投 入80%以上。在提升資源利用率方面，實(shí)現(xiàn)MySQL、GoldenDB. TiDB等數(shù)據(jù)庫直通式備份，支持?jǐn)?shù)據(jù)不落本地直達(dá)分布式共享存 儲，并結(jié)合數(shù)據(jù)壓縮功能，使存儲資源利用率提升近80%。在提升備份恢復(fù)效率方面，依靠分布

4、式存儲的高帶寬以 及備份系統(tǒng)的橫向擴(kuò)展和任務(wù)自動調(diào)度能力，縮短了 35%的 備份耗時，提升了 40%的恢復(fù)效率。三、未來展望數(shù)字時代，數(shù)據(jù)備份既是構(gòu)成數(shù)據(jù)中心容災(zāi)體系的關(guān)鍵 基礎(chǔ)之一，也是數(shù)據(jù)平安的最后一道防線。未來，工商銀行 將持續(xù)做好備份架構(gòu)和系統(tǒng)的優(yōu)化提升與技術(shù)迭代，以更好 地助力銀行信息系統(tǒng)架構(gòu)轉(zhuǎn)型和應(yīng)用自主創(chuàng)新：一是整合長 短周期備份流程，完善數(shù)據(jù)生命周期管理，聯(lián)動行內(nèi)運(yùn)維管 控平臺提高自動化能力；二是適配不同類型的軟硬件，提升 備份和恢復(fù)效率，不斷提高數(shù)據(jù)保護(hù)和服務(wù)能力；三是進(jìn)一 步激活溫冷數(shù)據(jù)價值，如利用備份一鍵恢復(fù)功能支持系統(tǒng)測 試和災(zāi)備演練，以及支持歷史數(shù)據(jù)直接讀取查詢實(shí)現(xiàn)業(yè)

5、務(wù)敏 捷響應(yīng)等。一、多介質(zhì)融合方案設(shè)計為應(yīng)對數(shù)字化轉(zhuǎn)型挑戰(zhàn)，工商銀行在傳統(tǒng)磁帶備份的基 礎(chǔ)上，引入分布式存儲技術(shù)，創(chuàng)新設(shè)計了多介質(zhì)融合備份方 案。具體而言，根據(jù)不同數(shù)據(jù)的備份目標(biāo)，工商銀行在細(xì)化 數(shù)據(jù)存儲需求的基礎(chǔ)上，結(jié)合不同存儲介質(zhì)的特性，形成了 一體化的數(shù)據(jù)流管理方案。同時，通過引入分布式對象存儲 作為備份數(shù)據(jù)緩存層，充分利用其高性能、高可靠、高擴(kuò)展 等特性，大幅提升了數(shù)據(jù)備份效率，減少了對業(yè)務(wù)運(yùn)行的影 響。其中，短周期數(shù)據(jù)將在分布式存儲中自動過期，長周期 數(shù)據(jù)那么會按需從分布式存儲中轉(zhuǎn)存至磁帶，并依托磁帶介質(zhì) 的穩(wěn)定性、大容量、低本錢、綠色低碳以及便于搬遷等特性， 高效滿足業(yè)務(wù)數(shù)據(jù)歸檔和

6、長久離線保存等要求。備份系統(tǒng)融 合架構(gòu)設(shè)計如圖1所示。遠(yuǎn)程調(diào)用備份客戶送 MySQLAPI備份客戶厚 /home/dir備份客戶屋 Oracle備份管理 系統(tǒng)分布式對象存儲池圖1備份系統(tǒng)融合架構(gòu)設(shè)計.技術(shù)特點(diǎn)從技術(shù)角度看，多介質(zhì)融合備份方案重點(diǎn)強(qiáng)調(diào)了開放性、 靈活性和便捷性三個方面。其中，開放性方面，分布式對象 存儲基于開放接口和多租戶特性，支持廣泛的數(shù)據(jù)源接入 （包括不同的云環(huán)境、軟硬件和業(yè)務(wù)數(shù)據(jù)），并可實(shí)現(xiàn)云租 戶數(shù)據(jù)管理自助服務(wù)，以及租戶數(shù)據(jù)隔離、加密存儲和平安 控制等功能；靈活性方面，分布式對象存儲憑借靈活部署能 力，支持在云內(nèi)和云外環(huán)境中部署，并可充分滿足不同場景 和網(wǎng)絡(luò)條件限制下的

7、使用需求，實(shí)現(xiàn)數(shù)據(jù)按需集中或分散管 理，高效支撐當(dāng)前銀行業(yè)信息系統(tǒng)多云、多區(qū)域部署架構(gòu)； 便捷性方面，分布式對象存儲通過提供近線數(shù)據(jù)快速存儲及 訪問功能，實(shí)現(xiàn)了“即連即用”模式，并大幅增強(qiáng)了對在線、 近線和離線數(shù)據(jù)的全生命周期管理能力，可更好地助推業(yè)務(wù)創(chuàng)新開展。.典型場景基于全新的數(shù)據(jù)備份架構(gòu)，工商銀行進(jìn)一步簡化異地災(zāi) 備和歷史數(shù)據(jù)服務(wù)流程，顯著提升了服務(wù)效率。例如，為滿 足信息平安技術(shù)網(wǎng)絡(luò)平安等級保護(hù)基本要求，工商銀行 綜合考慮遠(yuǎn)距離大數(shù)據(jù)量傳輸?shù)膸捪拗坪捅惧X，按照應(yīng)用 的平安保護(hù)等級要求對不同應(yīng)用進(jìn)行了區(qū)別處理：一方面， 對于跨園區(qū)高可用部署的應(yīng)用，如部署同城主從或異地災(zāi)備 主從的應(yīng)用，

8、工商銀行使用了不同園區(qū)的從實(shí)例進(jìn)行雙備， 即充分利用從實(shí)例備份對業(yè)務(wù)影響小的特點(diǎn)，通過在當(dāng)?shù)貓@ 區(qū)實(shí)現(xiàn)備份，消除了跨園區(qū)備份數(shù)據(jù)流；另一方面，對于無 跨園區(qū)高可用部署的應(yīng)用，工商銀行實(shí)現(xiàn)類比磁帶庫的異地 轉(zhuǎn)存功能，在分布式存儲層完成同城或異地間備份數(shù)據(jù)復(fù)制, 不僅對業(yè)務(wù)透明，而且遠(yuǎn)程復(fù)制的數(shù)據(jù)采用壓縮傳輸方式， 大幅節(jié)省了帶寬?？鐖@區(qū)冗余備份方案如圖2所示。圖2跨園區(qū)冗余備份方案在數(shù)據(jù)服務(wù)方面，為滿足審計查數(shù)、數(shù)據(jù)抽檢、版本測 試供數(shù)等生產(chǎn)中較為常見且繁雜的業(yè)務(wù)場景需求，傳統(tǒng)備份 模式通常需要對歷史數(shù)據(jù)執(zhí)行屢次備份恢復(fù)，環(huán)節(jié)眾多且耗 時較長。對此，工商銀行利用新架構(gòu)中的分布式存儲技術(shù), 實(shí)現(xiàn)了

9、全流程數(shù)據(jù)在線存儲和傳輸，在有效防止磁帶反復(fù)轉(zhuǎn) 存的同時，大幅提升了數(shù)據(jù)存儲和傳輸效率，縮減了整體耗 時。此外，通過引入云原生容器技術(shù)部署數(shù)據(jù)庫，工商銀行 基于容器快速啟動、高密度部署的特性，以及容器管理平臺 靈活強(qiáng)大的編排能力，進(jìn)一步提升了數(shù)據(jù)恢復(fù)和脫敏變形等 操作的處理效率和自動化水平。測試供數(shù)流程及優(yōu)化方案對 比方圖3所示。供數(shù)流程步驟比照見表1。圖3測試供數(shù)流程及優(yōu)化方案比照表1供數(shù)流程步驟比照步驟傳統(tǒng)方案優(yōu)化1搭建變形環(huán)境搭建變2測試磁帶數(shù)據(jù)恢復(fù)至驗(yàn)證環(huán)境數(shù)據(jù)從分布式存f3數(shù)據(jù)在驗(yàn)證環(huán)境磁盤進(jìn)行脫敏變形數(shù)據(jù)在驗(yàn)證壬4脫敏數(shù)據(jù)從磁盤備份至磁帶-5脫敏數(shù)據(jù)以NBU vault復(fù)制至測試帶

10、庫脫敏數(shù)據(jù)異步36測試中心將磁帶數(shù)據(jù)導(dǎo)入到測試環(huán)境-7測試中心恢復(fù)脫敏數(shù)據(jù)并使用測試中心恢復(fù)月二、統(tǒng)一備份管理平臺建設(shè)實(shí)踐為實(shí)現(xiàn)融合備份架構(gòu)及各項(xiàng)運(yùn)維管理功能，工商銀行基 于分層隔離和統(tǒng)一管理思路，自主研發(fā)建設(shè)統(tǒng)一備份管理平 臺，屏蔽了不同類型數(shù)據(jù)源及其運(yùn)行環(huán)境的差異，并整合備 份管理全流程，實(shí)現(xiàn)“數(shù)據(jù)應(yīng)備盡備、操作應(yīng)管盡管”。基于 該平臺，云租戶可實(shí)現(xiàn)個體數(shù)據(jù)的自助備份管理，行內(nèi)私有 云運(yùn)維人員那么可對多云、多區(qū)域與不同場景進(jìn)行統(tǒng)一管理。1.平臺架構(gòu)總體而言，統(tǒng)一備份管理平臺主要由接入層、核心層與 數(shù)據(jù)層三局部組成。統(tǒng)一備份管理平臺邏輯架構(gòu)如圖4所示。在接入層，為適應(yīng)多云場景下應(yīng)用的備份需求

11、，解決云 原生應(yīng)用如容器的隨時啟停、隨機(jī)漂移等業(yè)界難題，統(tǒng)一備 份管理平臺在前端提供了豐富的接口功能，并利用微服務(wù)和 云原生編排能力，實(shí)現(xiàn)了靈活快速的策略部署、修改和刪除, 以最大限度適應(yīng)計算、存儲、網(wǎng)絡(luò)的變動和應(yīng)用的全生命周 期。同時，為保持備份任務(wù)的靈活性，減少對業(yè)務(wù)的侵入, 平臺使用標(biāo)準(zhǔn)的S3接口將數(shù)據(jù)傳入分布式存儲，實(shí)現(xiàn)了免 代理部署。在核心層，平臺重點(diǎn)承載了備份策略接入、元數(shù)據(jù)管理、 備份任務(wù)調(diào)度、自動驗(yàn)證以及告警展示等功能模塊。其中， 備份策略接入模塊可同時支持批量導(dǎo)入和靈活接口的方式, 供業(yè)務(wù)實(shí)現(xiàn)自動化部署；元數(shù)據(jù)管理模塊基于多活數(shù)據(jù)庫, 負(fù)責(zé)記錄備份客戶端、備份策略、備份運(yùn)行狀

12、態(tài)以及恢復(fù)的 歷史記錄等信息；備份任務(wù)調(diào)度模塊基于QuartZ,可實(shí)現(xiàn)任 務(wù)定時觸發(fā)，并支持根據(jù)不同優(yōu)先級來保證重點(diǎn)業(yè)務(wù)備份及 時完成；自動驗(yàn)證模塊實(shí)現(xiàn)了備份數(shù)據(jù)周期性地在驗(yàn)證環(huán)境 中恢復(fù)和檢查，以保證備份數(shù)據(jù)的有效性；告警展示模塊對 接工商銀行集中監(jiān)控平臺，可實(shí)時傳送備份系統(tǒng)和存儲的異常情況，并定期將備份歷史報表發(fā)送運(yùn)維人員。在數(shù)據(jù)層，通過引入基于糾刪碼的分布式對象存儲，平 臺比使用多副本技術(shù)實(shí)現(xiàn)了兩倍以上的有效空間，并以“業(yè)務(wù) 和備份解耦以及數(shù)據(jù)流就近訪問”為原那么，建設(shè)和使用了備 份存儲資源池。同時，在權(quán)衡容量和故障影響范圍的基礎(chǔ)上, 為控制單集群的規(guī)模，平臺選擇了以集群為粒度橫向擴(kuò)展。 例如，以常規(guī)的單集群12節(jié)點(diǎn)計算，可提供近1PB的存儲