重慶銀行雙活核心建設實踐

1、 重慶銀行“雙活”核心建設實踐 同城雙活秒級切換 20182018 年 9 9 月 2323 號，凝聚著重慶銀行人心血的新一代核心業(yè)務系統(tǒng)與應用級雙活數(shù)據(jù) 中心成功上線。本次應用級雙活數(shù)據(jù)中心與新一代核心業(yè)務系統(tǒng)的順利上線，實現(xiàn)了 重慶銀行數(shù)據(jù)中心架構(gòu)與業(yè)務系統(tǒng)的整體重構(gòu)，帶來了重慶銀行業(yè)務與技術(shù)的全面轉(zhuǎn) 中，使用多層業(yè)務調(diào)度框架 （DLLBDLLB）構(gòu)架應用雙活體系， 實現(xiàn)核心系統(tǒng)雙活部署運行, 并成功實現(xiàn)秒級應用災備切換。 啟用“新核心”打造金融科技新優(yōu)勢 重慶銀行老核心系統(tǒng)于 20042004 年建設上線，對業(yè)務經(jīng)營和發(fā)展產(chǎn)生了強有力的支撐作用。 近年來，國內(nèi)外金融環(huán)境復雜多變，金融監(jiān)管

2、要求日趨嚴格，客戶需求日益多樣化, 跨界及同業(yè)競爭加劇，金融科技迅猛發(fā)展，互聯(lián)網(wǎng)金融浪潮興起，商業(yè)銀行間的競爭 已趨白熱化。老核心系統(tǒng)逐漸顯現(xiàn)出客戶支持能力不足、業(yè)務處理效率偏低、產(chǎn)品創(chuàng) 新速度較慢以及跨渠道服務能力較弱等問題，亟待更新升級以適應外部形勢變化的要 求。 正是在這樣的大背景下，20172017 年 6 6 月 2 2 日，重慶銀行啟動了新一代核心系統(tǒng)建設項目, 行領導親自掛帥管理，科技部和運營管理部雙牽頭實施，總行各業(yè)務部門、各分支機 構(gòu)積極參與配合。這是重慶銀行領導層為加大改革創(chuàng)新力度而采取的重大戰(zhàn)略決斷, 是一項涵蓋業(yè)務轉(zhuǎn)型、技術(shù)轉(zhuǎn)型和實施轉(zhuǎn)型在內(nèi)、事關重慶銀行全局的企業(yè)級系

3、統(tǒng)工 程。型，開啟了重慶銀行科技賦能業(yè)務發(fā)展的新篇章。 在新一代核心系統(tǒng)的建設部署過程 重慶銀行新一代核心系統(tǒng)涉及行內(nèi) 5050 多個渠道及業(yè)務系統(tǒng)、2020 多個管理類系統(tǒng)的配 合改造，在吸收了老核心系統(tǒng)優(yōu)點的基礎上，兼顧了監(jiān)管、市場、業(yè)務的訴求，功能 更全面、技術(shù)更先進、理念更領先、可擴展性好。重點突出了“以客戶為中心、以市 場為導向”的戰(zhàn)略理念，實現(xiàn)了更加優(yōu)質(zhì)智能的客戶服務、更加全面精準的業(yè)務數(shù)據(jù)、 更加靈活快速的產(chǎn)品創(chuàng)新、更加便捷高效的業(yè)務辦理效率和多維科學的安全保護體系。 核心業(yè)務系統(tǒng)高可用建設目標 核心業(yè)務系統(tǒng)一直是銀行 ITIT 系統(tǒng)中保障業(yè)務連續(xù)性要求的重要系統(tǒng)， 監(jiān)管提到的“

4、商 業(yè)銀行應根據(jù)自身業(yè)務的性質(zhì)、規(guī)模和復雜度制訂適當?shù)臉I(yè)務連續(xù)性規(guī)劃。以確保在 出現(xiàn)無法預見的中斷時，系統(tǒng)仍能持續(xù)運行并提供服務，并通過采取相應技術(shù)措施降 低業(yè)務中斷的可能性和影響”， 也是對核心業(yè)務系統(tǒng)的安全穩(wěn)定高可用架構(gòu)的監(jiān)管要 求。 正是基于業(yè)務連續(xù)性以及資源利用率考慮，重慶銀行在新一代核心業(yè)務系統(tǒng)建設中選 擇以“同城應用級雙活” 模式為目標。應用級雙活(ActiveActive- -ActiveActive )就是在正常情況 下，應用兩個 數(shù)據(jù)中 心都是活動在 線并提 供服務的，是 相對于 傳統(tǒng)應用主備 模式 (Active(Active- -Sta ndby Sta ndby )的一

5、種利用率、可用性更高的建設形式。 應用級雙活模式，既兩個數(shù)據(jù)中心所部署的核心業(yè)務系統(tǒng)是對等、不分主從、并同時 提供對外服務的： 在一個數(shù)據(jù)中心發(fā)生故障或災難的情況下，同城數(shù)據(jù)中心仍然可以 正常運行并對關鍵業(yè)務或全部業(yè)務實現(xiàn)接管，達到互為備份的效果。 利用，避免某個備份中心處于閑置狀態(tài)，造成資源與投資浪費。因此應用級雙活數(shù)據(jù) 中心的服務能力往往雙倍甚至數(shù)倍于主備數(shù)據(jù)中心模式。正常模式下兩個 數(shù)據(jù)中心的核心業(yè)務系統(tǒng)之間協(xié)同工作, 并行對外提供服務，實現(xiàn)了對 ITIT 資源的充分 核心系統(tǒng)的同城雙活建設部署 在核心業(yè)務系統(tǒng)“應用級雙活”部署階段，重慶銀行綜合考慮了本行數(shù)據(jù)中心機房基 礎環(huán)境、網(wǎng)絡、系

6、統(tǒng)的特點以及第一批次中 5151 套業(yè)務系統(tǒng)的相關特性，綜合新一代核 注入”基礎上，設計了獨特的 DLLBDLLB（多層業(yè)務調(diào)度）框架，并率先在國內(nèi)城商行范圍 內(nèi)使用了純 IPIP 訪問、動態(tài)分配負載方式的應用級雙活建設部署方案。 調(diào)度框架如下圖所示。 圖 DLLBDLLB 多層業(yè)務調(diào)度框架 DLLBDLLB 多層業(yè)務調(diào)度框架， 就是在同城兩個數(shù)據(jù)中心的核心網(wǎng)絡層部署專用的全局調(diào)度 負載均衡設備來專門處理跨數(shù)據(jù)中心的交易數(shù)據(jù)調(diào)度；在每個數(shù)據(jù)中心內(nèi)的各業(yè)務生 產(chǎn)區(qū)域，同樣部署了區(qū)域負載均衡設備，用于對集群應用服務的負載均衡交付服務。 全局調(diào)度負載均衡設備和區(qū)域負載均衡設備通過完善的健康檢查機制與

7、負載分配機 制協(xié)調(diào)工作：當部分應用節(jié)點發(fā)生異常時， 區(qū)域負載均衡設備能夠自動隔離故障節(jié)點, 保障區(qū)域內(nèi)業(yè)務系統(tǒng)運行的高可用性和穩(wěn)定性；全局負載均衡設備將兩個數(shù)據(jù)中心結(jié) 合為一個有機整體，實現(xiàn)雙中心同時承載業(yè)務，并作為另一個數(shù)據(jù)中心的災備支持。 通過 DLLBDLLB 多層業(yè)務調(diào)度框架，實現(xiàn)了每個服務器節(jié)點安全獨立運行，互不影響，同時 實現(xiàn)節(jié)點的熱插拔功能，方便系統(tǒng)維護調(diào)整。當某個數(shù)據(jù)中心出現(xiàn)整體故障時，只需 秒級即可由同城數(shù)據(jù)中心完成整體業(yè)務接管；這種多層業(yè)務調(diào)度框架分別從跨中心的 全局應用高可用層面和數(shù)據(jù)中心內(nèi)部的本地應用高可用層面，為新一代核心業(yè)務系統(tǒng) 的應用雙活創(chuàng)造了實施條件。心業(yè)務系統(tǒng)

8、建設目標和項目要求，最終在跨數(shù)據(jù)中心 “OSPF“OSPF 動態(tài)路由+RHI+RHI 健康路由 DLLBDLLB 多層業(yè)務 綜合來看，重慶銀行新一代核心業(yè)務系統(tǒng)的 DLLBDLLB 多層業(yè)務調(diào)度框架具有如下優(yōu)點: 同城雙數(shù)據(jù)中心采用三層網(wǎng)絡互聯(lián)，區(qū)域隔離，保障了每個數(shù)據(jù)中心及其功能區(qū)域的 隔離，具有良好的安全特性；借助于“ OSPFOSPF 動態(tài)路由+RHI+RHI 健康路由注入”技術(shù)，實現(xiàn) 配方案，能夠有效減少核心業(yè)務系統(tǒng)開發(fā)階段的相關改造工作量、 降低核心業(yè)務系統(tǒng)開發(fā)難度； 基于純 IPIP 流量分配引導方案， 相較于基于域名的流量分 配引導方式，在故障切換過程中更加迅速， 可以將應急切換

9、周期從分鐘級下降至秒級。 20182018 年 8 8 月 1717 日投產(chǎn)演練階段，重慶銀行新一代核心業(yè)務系統(tǒng)完成生產(chǎn)雙活部署。 月 1717 日至 9 9 月 12 12 日，對新一代核心雙活運行模式和應急切換方案進行了最終測試。 月 2323 日 1616 時 1616 分，新一代核心業(yè)務系統(tǒng)在雙中心同時上線，同時提供交易服務。 結(jié)語：核心同城雙活的效果 新一代核心業(yè)務系統(tǒng)上線后，通過收集負載均衡設備的運行日志進行分析發(fā)現(xiàn)，在現(xiàn) 49%45%49%45%勺核心業(yè)務交易，實現(xiàn)了核心業(yè)務應用同時提供服務的“雙活”效果, 了資源利用效率。 新一代核心業(yè)務系統(tǒng)上線投產(chǎn)后，重慶銀行在正常生產(chǎn)運行狀態(tài)下組織了模擬交易異 常的應急切換演練；當一個數(shù)據(jù)中心的核心系統(tǒng)部分交易運行緩慢時，為避免出現(xiàn)業(yè) 務中斷，保障業(yè)務持續(xù)運行，按照預案組織緊急切換，迅速將核心交易業(yè)務全部引導 至另一個數(shù)據(jù)中心。 整個過程中切換指令下發(fā)時間小于 3030 秒，渠道類業(yè)務切換時間小 于 1010 秒，柜面業(yè)務切換時間小于 1 1 分鐘