基于Power架構(gòu)的同城雙活災(zāi)備建設(shè)與演練

1、 基于Power架構(gòu)的同城雙活災(zāi)備建設(shè)與演練 【摘要】本文站在某銀行災(zāi)備項(xiàng)目負(fù)責(zé)人的視角，以農(nóng)商行業(yè)務(wù)接入平臺(tái)的災(zāi)備建設(shè)為典型案例，詳細(xì)介紹了重要系統(tǒng)災(zāi)備建設(shè)的主要過(guò)程，包括：生產(chǎn)端的待建設(shè)系統(tǒng)架構(gòu)梳理、“同城雙活”模式的災(zāi)備架構(gòu)如何設(shè)計(jì)、服務(wù)器和網(wǎng)絡(luò)設(shè)備的選擇和使用、災(zāi)備演練的組織過(guò)程等。最后，基于多年的災(zāi)備經(jīng)驗(yàn)，作者對(duì)災(zāi)備建設(shè)中的一些難點(diǎn)進(jìn)行歸納和總結(jié)。1990年，一種劃時(shí)代的商用服務(wù)器誕生了，那就是基于RISC的產(chǎn)品的RS/6000系列小型機(jī)，運(yùn)行AIX操作系統(tǒng)。中國(guó)人送給這種高性能高穩(wěn)定性的服務(wù)器一個(gè)響亮的名字小型機(jī)。作者本人第一次聽說(shuō)“小型機(jī)”這個(gè)詞是在廣州讀大學(xué)時(shí)期。當(dāng)時(shí)上“計(jì)算機(jī)

2、英語(yǔ)”時(shí)候，這門課的女老師是外語(yǔ)專業(yè)科班出身的，自稱“電腦愛好者”。她在課堂上翻譯課文的時(shí)候反復(fù)提到“威力服務(wù)器”這個(gè)詞，大家覺得這個(gè)詞很奇怪是因?yàn)楫?dāng)時(shí)有一款洗衣機(jī)的品牌是“威力”。直到后來(lái)上計(jì)算機(jī)操作系統(tǒng)課的時(shí)候，任課老師捧腹大笑說(shuō)“威力服務(wù)器”就是小型機(jī)服務(wù)器。一、建設(shè)背景作為省級(jí)農(nóng)村信用社，全省的核心業(yè)務(wù)系統(tǒng)、圖形前端、綜合前置、信貸、網(wǎng)銀、手機(jī)銀行等系統(tǒng)部署在日新中路省聯(lián)社的數(shù)據(jù)中心。但是每個(gè)州級(jí)農(nóng)商行都有一些根據(jù)本行特色業(yè)務(wù)而建設(shè)的特色系統(tǒng)。這些州級(jí)農(nóng)商行的特色系統(tǒng)（甚至某些電子渠道的重要系統(tǒng)）接入省聯(lián)社的數(shù)據(jù)中心是通過(guò)“農(nóng)商行業(yè)務(wù)接入平臺(tái)”來(lái)完成核心系統(tǒng)記賬。省聯(lián)社在開展同城災(zāi)備建

3、設(shè)的時(shí)候，不得不考慮“農(nóng)商行業(yè)務(wù)接入平臺(tái)”的同城災(zāi)備建設(shè)。根據(jù)銀保監(jiān)會(huì)印發(fā)的商業(yè)銀行業(yè)務(wù)連續(xù)性監(jiān)管指引和人民銀行發(fā)布的銀行業(yè)信息系統(tǒng)災(zāi)難恢復(fù)管理規(guī)范等文件規(guī)定，省聯(lián)社制定了業(yè)務(wù)影響分析報(bào)告，將“農(nóng)商行業(yè)務(wù)接入平臺(tái)”列為省聯(lián)社業(yè)務(wù)連續(xù)性管理的重點(diǎn)系統(tǒng)，隨后省聯(lián)社科技部門和某州級(jí)農(nóng)商行（試點(diǎn)單位）信息技術(shù)部以“數(shù)據(jù)實(shí)時(shí)復(fù)制、應(yīng)用集群雙活”為技術(shù)目標(biāo)對(duì)“農(nóng)商行業(yè)務(wù)接入平臺(tái)”在錦中路同城災(zāi)備中心開展災(zāi)備建設(shè)。二、建設(shè)前架構(gòu)農(nóng)商行業(yè)務(wù)接入平臺(tái)”在省聯(lián)社同城災(zāi)備中心無(wú)相應(yīng)災(zāi)備系統(tǒng)部署，在省聯(lián)社生產(chǎn)中心由2臺(tái)“農(nóng)商行業(yè)務(wù)接入平臺(tái)”AFA、2臺(tái)“農(nóng)商行業(yè)務(wù)接入平臺(tái)”AFE、2臺(tái)PowerHA的數(shù)據(jù)庫(kù)服務(wù)器組成

4、。硬件環(huán)境部署則遵循這樣的方式：為保證該系統(tǒng)的高可用性、消除單點(diǎn)隱患，需保證集群應(yīng)用和做PowerHA的數(shù)據(jù)庫(kù)在物理上要隔離開，不能部署在相同服務(wù)器和機(jī)柜中；另外考慮到Power小型機(jī)的邏輯分區(qū)DLPAR技術(shù)具有資源隔離和在線動(dòng)態(tài)擴(kuò)展資源的優(yōu)勢(shì)，生產(chǎn)端這些系統(tǒng)均部署為L(zhǎng)PAR。硬件配置情況如下表1所示。表1 生產(chǎn)端硬件配置表從某州級(jí)農(nóng)商行發(fā)往省聯(lián)社系統(tǒng)的實(shí)時(shí)交易流向圖如下圖1所示。交易的轉(zhuǎn)發(fā)處理流程按照?qǐng)D中的順序“123”,再由cics transaction gateway(簡(jiǎn)稱CTG)集群將交易發(fā)送給核心系統(tǒng)（使用CICS交易中間件）。圖 1從某州級(jí)農(nóng)商行發(fā)往省聯(lián)社系統(tǒng)的批量交易流向圖如下

5、圖2所示。 圖2相關(guān)網(wǎng)絡(luò)配置信息如下表2所示。表2 生產(chǎn)中心“農(nóng)商行業(yè)務(wù)接入平臺(tái)”網(wǎng)絡(luò)配置表三、同城雙活災(zāi)備建設(shè)為實(shí)現(xiàn)“數(shù)據(jù)實(shí)時(shí)復(fù)制、應(yīng)用集群雙活”的技術(shù)目標(biāo)，省聯(lián)社在錦中路災(zāi)備中心為“農(nóng)商行業(yè)務(wù)接入平臺(tái)”搭建一套數(shù)據(jù)級(jí)災(zāi)備，即冷備的災(zāi)備數(shù)據(jù)庫(kù)且所用磁盤與生產(chǎn)中心的數(shù)據(jù)庫(kù)實(shí)時(shí)同步，保證數(shù)據(jù)零丟失。同時(shí)按同等配置搭建應(yīng)用級(jí)災(zāi)備，即在災(zāi)備中心搭建2臺(tái)“農(nóng)商行業(yè)務(wù)接入平臺(tái)”AFA和2臺(tái)“農(nóng)商行業(yè)務(wù)接入平臺(tái)”AFE。投產(chǎn)后災(zāi)備中心的2臺(tái)“農(nóng)商行業(yè)務(wù)接入平臺(tái)”AFA和2臺(tái)“農(nóng)商行業(yè)務(wù)接入平臺(tái)”AFE與生產(chǎn)中心對(duì)應(yīng)的服務(wù)器一起進(jìn)行交易處理。由于平臺(tái)應(yīng)用采用的是同城雙活方案，災(zāi)備端同樣承載生產(chǎn)業(yè)務(wù)，所以其分

6、配的硬件資源應(yīng)盡量考慮與生產(chǎn)端相當(dāng)，并沿用生產(chǎn)端LPAR的部署方式。錦中路災(zāi)備中心的災(zāi)備服務(wù)器的應(yīng)用配置表入下表3所示。表3 災(zāi)備端硬件配置表改造后從某州級(jí)農(nóng)商行發(fā)往省聯(lián)社系統(tǒng)的實(shí)時(shí)交易流向圖如下圖3所示。 圖3改造后從某州級(jí)農(nóng)商行發(fā)往省聯(lián)社系統(tǒng)的批量交易流向圖如下圖4所示。圖4改造后，生產(chǎn)中心的網(wǎng)絡(luò)配置信息不變，災(zāi)備中心相關(guān)網(wǎng)絡(luò)配置信息如下表4所示。表4 災(zāi)備中心“農(nóng)商行業(yè)務(wù)接入平臺(tái)”網(wǎng)絡(luò)配置信息表此外，農(nóng)商行業(yè)務(wù)接入平臺(tái)的數(shù)據(jù)級(jí)災(zāi)備建設(shè)時(shí)，沒有采用數(shù)據(jù)庫(kù)層面來(lái)保障業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)復(fù)制，而是采用更底層的基于磁盤級(jí)的數(shù)據(jù)同步技術(shù)來(lái)實(shí)現(xiàn)。即采用SVC技術(shù)將農(nóng)商行業(yè)務(wù)接入平臺(tái)生產(chǎn)端和災(zāi)備端的Db2數(shù)

7、據(jù)庫(kù)服務(wù)器所依賴的存儲(chǔ)進(jìn)行實(shí)時(shí)同步來(lái)保障數(shù)據(jù)零丟失。四、投產(chǎn)及切換演練流程4.1 時(shí)間本次演練的計(jì)劃開始時(shí)間為2020年x月N日23:00，計(jì)劃結(jié)束時(shí)間為2020年x月N+1日01:00。4.2 參與人員省聯(lián)社參與的人員涉及：運(yùn)維部門科技人員、研發(fā)部門科技人員，以及信貸部、電子運(yùn)營(yíng)部的業(yè)務(wù)專家。某州級(jí)農(nóng)商行參與的人員有：系統(tǒng)組、電子渠道組、信貸組和部分網(wǎng)點(diǎn)業(yè)務(wù)員。4.3 涉及業(yè)務(wù)本次切換涉及到某州級(jí)農(nóng)商行56種聯(lián)機(jī)和批量業(yè)務(wù)，包括：票據(jù)業(yè)務(wù)、國(guó)際結(jié)算業(yè)務(wù)、呼叫中心業(yè)務(wù)、信貸業(yè)務(wù)、微信業(yè)務(wù)、手機(jī)銀行業(yè)務(wù)、網(wǎng)銀業(yè)務(wù)、少數(shù)民族特色扶貧業(yè)務(wù)等。4.4 投產(chǎn)及切換演練流程本次切換演練的計(jì)劃流程如附件1所

8、示，具體執(zhí)行過(guò)程如下：（1）x月N日 18:00-23:00：某州級(jí)農(nóng)商行開通相關(guān)防火墻策略：災(zāi)備中心“農(nóng)商行業(yè)務(wù)接入平臺(tái)”2臺(tái)AFA和2臺(tái)AFE的IP地址、F5虛地址、DNS服務(wù)器地址；（2）x月N日 21:00-23:00：省聯(lián)社啟動(dòng)災(zāi)備端“農(nóng)商行業(yè)務(wù)接入平臺(tái)”的AFA和AFE應(yīng)用，檢查有無(wú)報(bào)錯(cuò)信息，無(wú)問題后停止災(zāi)備中心的AFA和AFE應(yīng)用服務(wù)；（3）x月N日 23:00-23:10：某州級(jí)農(nóng)商行使用“業(yè)務(wù)集成平臺(tái)”與省聯(lián)社的“農(nóng)商行業(yè)務(wù)接入平臺(tái)”。某州級(jí)農(nóng)商行將“業(yè)務(wù)集成平臺(tái)”連接“農(nóng)商行業(yè)務(wù)接入平臺(tái)”的方式由“虛擬IP+端口”改為“域名+端口”模式，并配置業(yè)務(wù)集成平臺(tái)的DNS服務(wù)器為D

9、SN1（主）和DSN2（備）；（4）x月N日 23:10-23:20：某州級(jí)農(nóng)商行重啟業(yè)務(wù)集成平臺(tái)；（5）x月N日 23:20-23:50：業(yè)務(wù)驗(yàn)證；（6）x月N日 23:50-x月N+1日00:00：省聯(lián)社停止“農(nóng)商行業(yè)務(wù)接入平臺(tái)”生產(chǎn)端AFA和AFE，啟動(dòng)災(zāi)備端AFA和AFE應(yīng)用；（7）x月N+1日 00:00-00:30：業(yè)務(wù)驗(yàn)證；（8）x月N+1日 00:30-00:40：省聯(lián)社啟動(dòng)“農(nóng)商行業(yè)務(wù)接入平臺(tái)”生產(chǎn)端AFA和AFE集群；（9）x月N+1日 00:40-01:00：業(yè)務(wù)驗(yàn)證。4.5 法規(guī)及標(biāo)準(zhǔn)依據(jù)本次投產(chǎn)及切換等工作，所參考的法規(guī)和標(biāo)準(zhǔn)如下：（1）2008年，人民銀行銀行業(yè)信息

10、系統(tǒng)災(zāi)難恢復(fù)管理規(guī)范 ；（2）2011年，銀監(jiān)會(huì)商業(yè)銀行業(yè)務(wù)連續(xù)性監(jiān)管指引；（3）2013年，ISO標(biāo)準(zhǔn)委員會(huì)公共安全 演練指南；（4）2018年，國(guó)家標(biāo)準(zhǔn)化委員會(huì)信息安全技術(shù) 災(zāi)難恢復(fù)服務(wù)要求。五、難點(diǎn)總結(jié)農(nóng)商行業(yè)務(wù)接入平臺(tái)的災(zāi)備建設(shè)順利完成后，對(duì)整個(gè)災(zāi)備建設(shè)的過(guò)程進(jìn)行回顧和總結(jié)，主要有以下幾個(gè)方面的難點(diǎn)：5.1 硬件選型農(nóng)商行業(yè)務(wù)接入平臺(tái)的硬件基礎(chǔ)平臺(tái)的選型是第一個(gè)難點(diǎn)。銀監(jiān)會(huì)在商業(yè)銀行業(yè)務(wù)連續(xù)性監(jiān)管指引（銀監(jiān)發(fā)2011【104】號(hào)文）中明確要求商業(yè)銀行為保障重要業(yè)務(wù)的業(yè)務(wù)連續(xù)性而開展業(yè)務(wù)連續(xù)性管理，同時(shí)在做業(yè)務(wù)連續(xù)性建設(shè)或?yàn)?zāi)備建設(shè)的時(shí)候要兼顧業(yè)務(wù)連續(xù)性管理成本與效益。農(nóng)商行業(yè)務(wù)接入平臺(tái)的

11、定位是農(nóng)商行信息系統(tǒng)接入省聯(lián)社的一座橋梁，它的穩(wěn)定性和健壯性關(guān)系著省聯(lián)社對(duì)農(nóng)商行的服務(wù)質(zhì)量，雖然沒有核心系統(tǒng)重要，但也非一般系統(tǒng)能比。相比于X86架構(gòu)的硬件解決方案，浪潮K1 Power小型機(jī)有著安全性、穩(wěn)定性以及性能等優(yōu)勢(shì)，這也契合了企業(yè)對(duì)于關(guān)鍵業(yè)務(wù)系統(tǒng)的服務(wù)質(zhì)量需求。鑒于此，我們慎重地選擇了穩(wěn)定可靠的浪潮K1 Power小型機(jī)服務(wù)器作為應(yīng)用系統(tǒng)和數(shù)據(jù)庫(kù)的硬件基礎(chǔ)環(huán)境，而沒有采用x86架構(gòu)的服務(wù)器。5.2 溝通協(xié)調(diào)第二個(gè)難點(diǎn)，也是各家銀行在開始災(zāi)備建設(shè)時(shí)所共同面對(duì)的大量的溝通協(xié)調(diào)問題。比如災(zāi)備切換演練的人員有哪些？省聯(lián)社需要參與的部門有運(yùn)維部門、研發(fā)部門，這還遠(yuǎn)遠(yuǎn)不夠。省聯(lián)社業(yè)務(wù)主管部門有哪

12、些需要參與？也就是農(nóng)商行業(yè)務(wù)接入平臺(tái)承接的交易涉及哪些業(yè)務(wù)？怎么開展業(yè)務(wù)驗(yàn)證？具體驗(yàn)證的交易有哪些？什么時(shí)候能做哪些業(yè)務(wù)的驗(yàn)證？有哪些分行哪些支行需要參與業(yè)務(wù)驗(yàn)證？每家支行需要派多少柜員和客戶經(jīng)理參與？這些統(tǒng)統(tǒng)都要考慮在內(nèi)。參與的人多了，后勤保障怎么安排？當(dāng)這些問題由業(yè)務(wù)人員或行政人員提出來(lái)，擺在一個(gè)災(zāi)備項(xiàng)目牽頭人（科技人員）的面前的時(shí)候，你需要花費(fèi)很多的精力和時(shí)間去了解和學(xué)習(xí)，才能進(jìn)行有效的溝通協(xié)調(diào)，去避免可能發(fā)生的風(fēng)險(xiǎn)。5.3 技術(shù)驗(yàn)證按照國(guó)際標(biāo)準(zhǔn)ISO 22398-2013公共安全演練指南中規(guī)定，為了控制演練中可能發(fā)生的風(fēng)險(xiǎn)，在進(jìn)行大規(guī)模演練前需要先開展技術(shù)驗(yàn)證，通過(guò)一次次小的切換技術(shù)驗(yàn)

13、證來(lái)迭代風(fēng)險(xiǎn)，發(fā)現(xiàn)問題并解決問題，最后再開展一次大型的災(zāi)備切換演練。但是在實(shí)際執(zhí)行中，最危險(xiǎn)的其實(shí)就是那些所謂的“一次次小型的”災(zāi)備切換技術(shù)驗(yàn)證。在大型災(zāi)備演練中，很多大領(lǐng)導(dǎo)也會(huì)蒞臨指導(dǎo)，人力物力都很充足，各個(gè)條線的專家都會(huì)提前到場(chǎng)進(jìn)行保障。但是在幾個(gè)月前的“一次次小型的”的切換技術(shù)驗(yàn)證中，往往只是幾個(gè)技術(shù)人員晚上加個(gè)班去做，準(zhǔn)備時(shí)間不可能像大型演練一樣充足，很多細(xì)節(jié)如果考慮不到會(huì)引發(fā)大事故。尤其是對(duì)數(shù)據(jù)庫(kù)切換相關(guān)的一些災(zāi)備技術(shù)驗(yàn)證，在開始前一定要注意備份，技術(shù)驗(yàn)證要盡量利用停業(yè)務(wù)窗口，提前本單位領(lǐng)導(dǎo)乃至監(jiān)管部門進(jìn)行報(bào)備，并提前通知外聯(lián)單位（如銀聯(lián)、農(nóng)信銀、外匯管理局、票交所等）。5.4 同城

14、雙活在國(guó)家標(biāo)準(zhǔn)信息安全技術(shù) 信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范（GB/T 209882007）里對(duì)災(zāi)備等級(jí)進(jìn)行了劃分，最高為第6等級(jí)，銀保監(jiān)審計(jì)的時(shí)候事實(shí)上以第5等級(jí)（含以上）為不扣分的要求標(biāo)準(zhǔn)。我們所說(shuō)的“同城雙活”，也就是說(shuō)在災(zāi)備中心的應(yīng)用系統(tǒng)和生產(chǎn)中心一樣進(jìn)行業(yè)務(wù)處理，是第6等級(jí)（最高等級(jí)）的所要求的標(biāo)準(zhǔn)。而第5等級(jí)要求災(zāi)備中心的應(yīng)用系統(tǒng)至少處于“就緒狀態(tài)”。交易在生產(chǎn)中心和災(zāi)備中心進(jìn)行分發(fā)的時(shí)候，常用的手段就是“DNS + F5虛地址”。即該應(yīng)用系統(tǒng)暴露給外部系統(tǒng)的地址不是IP，而是一個(gè)DNS域名。此域名后跟生產(chǎn)中心應(yīng)用集群的F5虛地址和災(zāi)備中心應(yīng)用集群的F5虛地址。外部系統(tǒng)將交易分發(fā)給該系統(tǒng)時(shí)，D

15、NS可以按一定策略和比例將域名解析成生產(chǎn)中心應(yīng)用集群或?yàn)?zāi)備中心應(yīng)用集群F5的虛地址給交易發(fā)送方。這樣既實(shí)現(xiàn)了系統(tǒng)的同城雙中心集群雙活，又可以控制交易在雙中心集群之間的分發(fā)比例。六、建設(shè)成效“農(nóng)商行業(yè)務(wù)接入平臺(tái)”同城雙活建設(shè)取得的成效主要表現(xiàn)在以下幾個(gè)方面：（1）滿足業(yè)務(wù)連續(xù)性監(jiān)管要求：近年來(lái)，監(jiān)管機(jī)構(gòu)針對(duì)業(yè)務(wù)連續(xù)性進(jìn)行的監(jiān)管越來(lái)越嚴(yán)格、越來(lái)越細(xì)致。自銀保監(jiān)發(fā)布關(guān)于開展中小銀行機(jī)構(gòu)業(yè)務(wù)連續(xù)性相關(guān)風(fēng)險(xiǎn)整治工作的通知以來(lái)，業(yè)務(wù)連續(xù)性監(jiān)管的機(jī)構(gòu)范圍，從大型銀行也擴(kuò)展至全國(guó)數(shù)千家中小銀行。建設(shè)了信息系統(tǒng)災(zāi)備，提高了自身業(yè)務(wù)連續(xù)性管理能力，對(duì)商業(yè)銀行的業(yè)務(wù)連續(xù)性管理第一責(zé)任人（行長(zhǎng)）來(lái)說(shuō)，是最現(xiàn)實(shí)的成效。

16、（2）提高災(zāi)備中心資源利用率：“農(nóng)商行業(yè)務(wù)接入平臺(tái)”的災(zāi)備模式是同城雙活，即災(zāi)備端與生產(chǎn)中心同時(shí)進(jìn)行業(yè)務(wù)處理。相對(duì)于僅在災(zāi)備切換后才處理交易的“冷備”模式，同城雙活模式提高了災(zāi)備中心的服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)設(shè)備及機(jī)房環(huán)境的有效利用率，還能在業(yè)務(wù)高峰期間緩解生產(chǎn)中心系統(tǒng)處理的壓力。（3）支撐了關(guān)鍵業(yè)務(wù)系統(tǒng)的穩(wěn)定運(yùn)行：能支撐“農(nóng)商行業(yè)務(wù)接入平臺(tái)”的穩(wěn)定運(yùn)行，也是本項(xiàng)目的重要目標(biāo)之一。Power小型機(jī)的邏輯分區(qū)技術(shù)是通過(guò)固件層實(shí)現(xiàn)物理設(shè)備的虛擬化，并將服務(wù)器資源劃分成不同的邏輯分區(qū)來(lái)承載應(yīng)用。由于邏輯分區(qū)之間接近物理隔離，大大提高了安全性和可靠性；另外，邏輯分區(qū)還可以動(dòng)態(tài)調(diào)整分區(qū)資源，也符合了關(guān)鍵業(yè)務(wù)的連續(xù)性要求。在本項(xiàng)目中，無(wú)論是生產(chǎn)端還