保險(xiǎn)行業(yè)災(zāi)備自動(dòng)化切換建設(shè)方案設(shè)計(jì)及難點(diǎn)解讀

保險(xiǎn)行業(yè)災(zāi)備自動(dòng)化切換建設(shè)方案設(shè)計(jì)及難點(diǎn)解讀

自動(dòng)化切換方案的難點(diǎn)，首先在于系統(tǒng)本身及強(qiáng)關(guān)聯(lián)系統(tǒng)（CMDB）需要盡量在第三方部署，以避免災(zāi)難發(fā)生時(shí)系統(tǒng)本身的失效。其次，災(zāi)備切換各種腳本及服務(wù)需要建立開發(fā)及維護(hù)標(biāo)準(zhǔn)，避免由于腳本或者配置變化，真正切換時(shí)出現(xiàn)問題導(dǎo)致切換失敗。需要定期檢視這些腳本和工具，最好的辦法是加大切換演練的頻率，在演練中發(fā)現(xiàn)問題，解決問題。最后，切換本身的日志記錄、展示及切換進(jìn)展跟蹤非常關(guān)鍵，在切換異常需要回退時(shí)，需要有辦法能快速回切。twt社區(qū)為了能更好的解決保險(xiǎn)行業(yè)同行在災(zāi)備自動(dòng)化切換方案及遇到的難點(diǎn)問題，特意邀請(qǐng)同行以及同創(chuàng)永益專家進(jìn)行在線交流互動(dòng)，以下是本次交流活動(dòng)的精華內(nèi)容匯編，對(duì)保險(xiǎn)乃至金融行業(yè)用戶用參考價(jià)值。1、數(shù)據(jù)災(zāi)備中心同步方式應(yīng)該如何選擇？在數(shù)據(jù)庫進(jìn)行自動(dòng)切換時(shí)如何防止腦裂問題？【問題描述】在異地或者同城的數(shù)據(jù)災(zāi)備中心建設(shè)中，數(shù)據(jù)同步是個(gè)必須解決的問題，選擇何種數(shù)據(jù)同步方式最穩(wěn)妥安全？目前比較常用的是存儲(chǔ)復(fù)制技術(shù)和數(shù)據(jù)庫自帶或者第三方的邏輯復(fù)制方式，不知是否還有其他方式，且哪類技術(shù)更成熟，遇到的問題更少？此外，在進(jìn)行自動(dòng)數(shù)據(jù)庫切換的時(shí)候如何防止腦裂問題，對(duì)于災(zāi)難的自動(dòng)判斷依據(jù)是什么？@李周華

同創(chuàng)永益災(zāi)備咨詢服務(wù)部總監(jiān)：數(shù)據(jù)復(fù)制方式按照不同技術(shù)實(shí)現(xiàn)層次來說，可分為：1，存儲(chǔ)層，如EMC

SRDF、IBM

PPRC、HDS

Truecopy等2，SAN管理層，IBM

SVC、EMC

Vplex以及Netapp都有產(chǎn)品可歸于此類3，操作系統(tǒng)卷管理，如doubletake、Softek

TDMF、Veritas

VR等，國(guó)內(nèi)部分CDP產(chǎn)品及VMWare

vSphere

Replication等也可歸為此類4，數(shù)據(jù)庫，如Oracle

ADG、DB2

HADR、OGG、Shareplex、DSG等以上都是傳統(tǒng)災(zāi)備主流成熟技術(shù)與產(chǎn)品。也有用戶考慮到業(yè)務(wù)系統(tǒng)高度標(biāo)準(zhǔn)化且對(duì)實(shí)時(shí)性或系統(tǒng)延時(shí)不敏感，將數(shù)據(jù)復(fù)制直接在應(yīng)用系統(tǒng)上加以實(shí)現(xiàn)。目前客戶使用云環(huán)境部署業(yè)務(wù)應(yīng)用的也越來越多，各云廠商針對(duì)自身存儲(chǔ)及數(shù)據(jù)庫服務(wù)也推出了不同的數(shù)據(jù)復(fù)制工具和服務(wù)。如何選擇最穩(wěn)妥安全的技術(shù)，需要從災(zāi)備建設(shè)的需求和系統(tǒng)現(xiàn)狀出發(fā)，進(jìn)行企業(yè)關(guān)鍵數(shù)據(jù)、RTO、RPO的分析來考慮。過去災(zāi)備建設(shè)多采用存儲(chǔ)復(fù)制方式，因其對(duì)應(yīng)用系統(tǒng)透明、技術(shù)成熟度高；但由于目前客戶系統(tǒng)越來越多部署在云的環(huán)境，且更多客戶有雙活需求，因此存儲(chǔ)復(fù)制的技術(shù)受到了一定限制。數(shù)據(jù)庫本身腦裂問題，與災(zāi)備系統(tǒng)腦裂產(chǎn)生原因類似，都是由于生產(chǎn)與災(zāi)備中心網(wǎng)絡(luò)中斷無法通信，導(dǎo)致雙中心均自立為王。需要加入仲裁節(jié)點(diǎn)進(jìn)行裁判判斷。災(zāi)備切換的技術(shù)手段可以自動(dòng)化，但因?qū)I(yè)務(wù)影響較大，建議決策還需人工進(jìn)行。目前推薦采用在雙中心一體化運(yùn)維模式下，進(jìn)行運(yùn)維智能化改造，為人工判斷決策提供最快最準(zhǔn)確的信息決策輔助。@cpc1989某保險(xiǎn)公司

存儲(chǔ)工程師：災(zāi)備方案的選擇這個(gè)問題，我的看法是不應(yīng)該直接來對(duì)比技術(shù)方案，第一層看業(yè)務(wù)連續(xù)性需求，設(shè)計(jì)哪些業(yè)務(wù)應(yīng)用系統(tǒng)，RTO、RPO的要求；第二層，在一個(gè)整體方案需求的前提下，再來看業(yè)務(wù)系統(tǒng)關(guān)聯(lián)的應(yīng)用和數(shù)據(jù)庫，設(shè)計(jì)相應(yīng)的災(zāi)備建設(shè)方案，第二層的RTORPO要求會(huì)比第一層要求更高；然后才是第三層，也就是在基礎(chǔ)架構(gòu)組件的災(zāi)備方案選擇，比如網(wǎng)絡(luò)大二層打通，存儲(chǔ)雙活或者復(fù)制技術(shù)，這一層是純技術(shù)層方案，并不直接實(shí)現(xiàn)災(zāi)備方案，是配合第二層來實(shí)現(xiàn)的，RTO、RPO要求更高

。整體方案拆解下來之后，就能真正明確各個(gè)技術(shù)方案雖然有交叉的點(diǎn)，但是各有側(cè)重。比如基于數(shù)據(jù)庫的數(shù)據(jù)同步方案是一個(gè)第二層的方案，要優(yōu)于第三層的存儲(chǔ)層數(shù)據(jù)同步方案，邏輯更完整，但是存儲(chǔ)同步或復(fù)制可以解決存儲(chǔ)自身的RTORPO需求，能配合實(shí)現(xiàn)應(yīng)用和數(shù)據(jù)庫的災(zāi)備方案。@zhangjunxi570xjtu系統(tǒng)分析師：存儲(chǔ)復(fù)制技術(shù)不用擔(dān)心腦裂。存儲(chǔ)雙活需要部署仲裁，在兩中心通信中斷時(shí)決策?？梢躁P(guān)注關(guān)注一些存儲(chǔ)廠商廠商為了防止仲裁不可用不可用或者由于網(wǎng)絡(luò)原因仲裁不可達(dá)，增加了多仲裁等方案。通常情況一個(gè)仲裁在第三站點(diǎn)，一個(gè)仲裁在主中心。腦裂發(fā)生時(shí)保生產(chǎn)更重要。@leodong

系統(tǒng)工程師：存儲(chǔ)復(fù)制技術(shù)應(yīng)用時(shí)間比較長(zhǎng)，相對(duì)比較穩(wěn)定；數(shù)據(jù)庫自帶的邏輯復(fù)制只能同步數(shù)據(jù)庫變化的部分，如果有一些配置數(shù)據(jù)文件需要同步，就需要投產(chǎn)變更的時(shí)候同步實(shí)施；第三方數(shù)據(jù)復(fù)制一般針對(duì)表級(jí)別的，對(duì)于函數(shù)，存儲(chǔ)過程，sequence等實(shí)時(shí)同步支持的不是很好。只有同城雙活才存在腦裂的情況，需要規(guī)劃好仲裁方式。@bbaimm88

銀行系統(tǒng)架構(gòu)師：數(shù)據(jù)中心級(jí)別的同步是個(gè)很龐大工程，涉及業(yè)務(wù)系統(tǒng)多。個(gè)人認(rèn)為應(yīng)該先解決災(zāi)備建設(shè)技術(shù)棧的體系規(guī)劃。數(shù)據(jù)同步不是人家說好就跟，第三方的，存儲(chǔ)級(jí)別，數(shù)據(jù)庫原生級(jí)。

可能新公司如互金類能完全一統(tǒng)成一種技術(shù)，沒有歷史欠賬包袱o(￣︶￣)o。

傳統(tǒng)行業(yè)技術(shù)轉(zhuǎn)型都有劇痛啊。閣下說數(shù)據(jù)庫切換時(shí)如何防止腦裂？有點(diǎn)不解，是ExtendRAC嘛，這個(gè)玩意是比較復(fù)雜。常規(guī)主從復(fù)制，發(fā)生腦裂不影響切換，

切換就是拋棄主，啟用備。

若果是存儲(chǔ)，你們應(yīng)該建設(shè)第三站點(diǎn)。災(zāi)備切換判斷應(yīng)該是業(yè)務(wù)使用視角來判斷，一定不是技術(shù)來定?？梢詤⒖紭I(yè)務(wù)連續(xù)性相關(guān)資料。@guwenkuan

金融行業(yè)系統(tǒng)架構(gòu)師：之前同創(chuàng)永益的災(zāi)備咨詢總監(jiān)回答的已經(jīng)比較全面，從技術(shù)層面上，主流的技術(shù)實(shí)現(xiàn)方式都很成熟了，主要還是從災(zāi)備建設(shè)的需求和業(yè)務(wù)系統(tǒng)現(xiàn)狀出發(fā)，包括資金投入等，選擇適合企業(yè)自身的災(zāi)備體系。2、災(zāi)備演練結(jié)束后回切前需要完成的工作有哪些？【問題描述】災(zāi)備演練完成后需要回切，如何保證各系統(tǒng)的一致性？除了數(shù)據(jù)要同步，有哪些問題需要注意？請(qǐng)專家指導(dǎo)一下。@zhangyongjunCMBC工程師：?jiǎn)蝹€(gè)系統(tǒng)一致性，可以通過數(shù)據(jù)復(fù)制、數(shù)據(jù)庫同步等技術(shù)來保證，只要保證災(zāi)備端的數(shù)據(jù)能正常寫回主生產(chǎn)環(huán)境，或者如果全部是測(cè)試數(shù)據(jù)，可以直接將災(zāi)備環(huán)境數(shù)據(jù)拋棄。系統(tǒng)間最好不要存在一致性問題，否則不好處理?；厍星耙獙?duì)切換到災(zāi)備機(jī)房的應(yīng)用系統(tǒng)進(jìn)行業(yè)務(wù)驗(yàn)證，根據(jù)提前確定的方案和策略，安排各分支機(jī)構(gòu)或者用戶對(duì)演練的場(chǎng)景進(jìn)行業(yè)務(wù)驗(yàn)證或者真實(shí)操作。業(yè)務(wù)驗(yàn)證之后，確保生產(chǎn)端設(shè)備做好準(zhǔn)備，待災(zāi)備環(huán)境停止和數(shù)據(jù)回寫完成之后，啟動(dòng)生產(chǎn)環(huán)境。只有一點(diǎn)需要特別關(guān)注：盡量不要在災(zāi)備演練的過程中進(jìn)行主機(jī)房設(shè)備重啟、維修等運(yùn)維操作，很可能會(huì)導(dǎo)致災(zāi)備驗(yàn)證完成之后，主環(huán)境設(shè)備還沒有準(zhǔn)備好，造成報(bào)備的時(shí)間內(nèi)無法恢復(fù)主生產(chǎn)，影響正常營(yíng)業(yè)。@leodong

系統(tǒng)工程師：對(duì)于回切，只要是真實(shí)演練回切與切換需要完成的工作應(yīng)該是一樣的。1、檢查數(shù)據(jù)同步情況，保證數(shù)據(jù)一致。2、檢查容災(zāi)與生產(chǎn)環(huán)境，保證都處于正確的狀態(tài)。避免存在不應(yīng)該不應(yīng)該掛載的文件系統(tǒng)出現(xiàn)掛的問題。3、然后就正?；厍?，一般和切換的步驟差不多，只是操作的對(duì)象不一樣。針對(duì)是測(cè)試演練的，核對(duì)數(shù)據(jù)同步方向，生產(chǎn)數(shù)據(jù)覆蓋掉測(cè)試數(shù)據(jù)。同時(shí)切換業(yè)務(wù)驗(yàn)證終端的配置到生產(chǎn)環(huán)境。@dataprotect某保險(xiǎn)公司

系統(tǒng)運(yùn)維：針對(duì)真實(shí)環(huán)境的切換演練，一致性主要體現(xiàn)在數(shù)據(jù)層面，大部分應(yīng)用本身可以是無狀態(tài)的。數(shù)據(jù)主要包括數(shù)據(jù)庫的數(shù)據(jù)以及nas類的數(shù)據(jù)。數(shù)據(jù)庫數(shù)據(jù)的一致性通過主備同步及日志，對(duì)于關(guān)系型數(shù)據(jù)庫保持強(qiáng)一致性。nas的數(shù)據(jù)可以通過類似snapmirror這種日常的鏡像來同步數(shù)據(jù)，切換前把主卷寫授權(quán)禁用，保證數(shù)據(jù)強(qiáng)一致。@bbaimm88銀行

系統(tǒng)架構(gòu)師：演練按常理說，原環(huán)境應(yīng)該沒有變化，回切應(yīng)該首要檢查環(huán)境（軟、硬）正?？捎茫浯未_認(rèn)回切環(huán)境的依賴關(guān)系順序，回切失敗是否存在此類隱患，該類要堅(jiān)決排除。@guwenkuan

金融行業(yè)系統(tǒng)架構(gòu)師：災(zāi)備回切時(shí)保證數(shù)據(jù)一致性，絕大程度取決于災(zāi)備體系的的技術(shù)整體架構(gòu)，與數(shù)據(jù)的災(zāi)備實(shí)現(xiàn)方式有很大關(guān)系。一類通過存儲(chǔ)層實(shí)現(xiàn)災(zāi)備保護(hù)，通過存儲(chǔ)層面實(shí)現(xiàn)的數(shù)據(jù)保護(hù)的體系，各業(yè)務(wù)系統(tǒng)一致性實(shí)現(xiàn)起來比較容易，存儲(chǔ)廠家對(duì)數(shù)據(jù)一致性絕大多數(shù)通過LUN數(shù)據(jù)一致性組來實(shí)現(xiàn)，這種實(shí)現(xiàn)方式比較可靠。通過存儲(chǔ)實(shí)現(xiàn)的災(zāi)備分為存儲(chǔ)雙活、存儲(chǔ)同步復(fù)制、存儲(chǔ)異步復(fù)制。存儲(chǔ)雙活架構(gòu)，優(yōu)勢(shì)比較明顯，不存在數(shù)據(jù)一致性問題，兩個(gè)同城數(shù)據(jù)中心的兩套存儲(chǔ)對(duì)等，兩套存儲(chǔ)實(shí)時(shí)對(duì)外服務(wù)，數(shù)據(jù)實(shí)時(shí)雙寫到兩個(gè)存儲(chǔ)，存儲(chǔ)層無需任何操作，只需要進(jìn)行上層數(shù)據(jù)庫、應(yīng)用的切換即可。存儲(chǔ)同步和異步架構(gòu)，切換時(shí)需要將上層業(yè)務(wù)關(guān)閉，存儲(chǔ)層角色提升，系統(tǒng)一致性組斷開才能保證數(shù)據(jù)一致性。一類通過數(shù)據(jù)庫層面、主機(jī)層面技術(shù)、第三方軟件等實(shí)現(xiàn)災(zāi)備架構(gòu)，這種情況實(shí)現(xiàn)數(shù)據(jù)一致性是對(duì)單個(gè)庫級(jí)別實(shí)現(xiàn)，無法保證多個(gè)系統(tǒng)數(shù)據(jù)一致性?；厍衅陂g，數(shù)據(jù)庫方面，一定要正常關(guān)閉數(shù)據(jù)庫、正常關(guān)閉應(yīng)用等技術(shù)操作，防止存儲(chǔ)層切回后數(shù)據(jù)庫數(shù)據(jù)不一致，數(shù)據(jù)庫無法打開的情況。3、目前保險(xiǎn)行業(yè)的業(yè)務(wù)連續(xù)性管理現(xiàn)狀如何？@馮軍

同創(chuàng)永益高級(jí)咨詢顧問：目前保險(xiǎn)行業(yè)的業(yè)務(wù)連續(xù)性管理成熟度較低，無體系化管理。重點(diǎn)大部分在災(zāi)備建設(shè)階段，保障信息系統(tǒng)的穩(wěn)定運(yùn)行；對(duì)于業(yè)務(wù)方面（非IT）的連續(xù)性有待加強(qiáng)。類似于10年前的銀行業(yè)，無監(jiān)管明確要求，未引入成熟的業(yè)務(wù)連續(xù)性管理方法論。但考慮到銀監(jiān)會(huì)與保監(jiān)會(huì)的合并，保險(xiǎn)行業(yè)的監(jiān)管要求會(huì)逐步向銀行業(yè)靠攏，也因新冠疫情的重大業(yè)務(wù)影響，急需引入一套成熟的管理體系來維持企業(yè)的業(yè)務(wù)連續(xù)性，部分頭部企業(yè)已著手搭建業(yè)務(wù)連續(xù)性管理體系，強(qiáng)化自身業(yè)務(wù)連續(xù)性管理能力，增強(qiáng)企業(yè)競(jìng)爭(zhēng)力。@lsx大唐控股

信息技術(shù)經(jīng)理：保險(xiǎn)行業(yè)內(nèi)保險(xiǎn)公司可分為原保險(xiǎn)、再保險(xiǎn)，中介分為專業(yè)代理、兼業(yè)代理、經(jīng)紀(jì)，還有公估……這么多業(yè)態(tài)，不能一概而論。即便是業(yè)務(wù)連續(xù)性做的比較好的原保險(xiǎn)公司，在RTO/RPO的指標(biāo)上也有差距。但是從大的趨勢(shì)來說，隨著業(yè)務(wù)的內(nèi)在需求推動(dòng)和監(jiān)管的外在因素拉動(dòng)，業(yè)務(wù)連續(xù)性要求必然是逐漸提高的。4、災(zāi)備系統(tǒng)自動(dòng)化演練需要生產(chǎn)中心配置變更規(guī)范化，配置變更需要更新同步至災(zāi)備中心，如何進(jìn)行同步狀態(tài)驗(yàn)證？【問題描述】1、生產(chǎn)中心包含應(yīng)用配置、數(shù)據(jù)庫配置、網(wǎng)絡(luò)配置、全局DNS配置，生產(chǎn)環(huán)境一但變更如何保證所有的配置變更均已同步至災(zāi)備中心？2、中小型金融機(jī)構(gòu)若要實(shí)現(xiàn)災(zāi)備中心自動(dòng)化演練如何進(jìn)行投入產(chǎn)出比計(jì)算？@zhangyongjunCMBC工程師：兩地三中心配置同步是一個(gè)建設(shè)難點(diǎn)，最主要的是災(zāi)備端經(jīng)常處于standby或者停止?fàn)顟B(tài)，難以驗(yàn)證當(dāng)前的配置是否完全一致。我們依據(jù)災(zāi)備管理系統(tǒng)、應(yīng)用、數(shù)據(jù)庫、中間件、OS的配置和CMDB，嘗試建設(shè)了一個(gè)兩地三中心一致性比對(duì)工具，確定關(guān)鍵配置，逐個(gè)建立檢查和比對(duì)機(jī)制，隨時(shí)進(jìn)行比對(duì)并生成報(bào)表，尤其是生產(chǎn)環(huán)境變更之后和災(zāi)備演練前，及時(shí)進(jìn)行檢查。目前已經(jīng)建立近百個(gè)比對(duì)項(xiàng)。另外，應(yīng)用發(fā)布和基礎(chǔ)軟硬件變更工單中依據(jù)CMDB自動(dòng)關(guān)聯(lián)災(zāi)備環(huán)境，確保災(zāi)備端完成變更，不至于遺漏。最重要的多演練，把碰到的問題積累起來，經(jīng)過解決之后再進(jìn)行推廣，一般的災(zāi)備演練系統(tǒng)經(jīng)過每套系統(tǒng)五六次的演練之后，一致性的問題基本上能解決七七八八。@zhangjunxi570xjtu系統(tǒng)分析師：CMDB對(duì)數(shù)據(jù)中心內(nèi)各環(huán)節(jié)的配置項(xiàng)進(jìn)行全生命周期的管理。有CMDB至少可以保證有一份最新最準(zhǔn)確的配置信息。有一些不涉及不涉及應(yīng)用的例如操作系統(tǒng)參數(shù)的修改是可以在災(zāi)備環(huán)境同步操作的。但是真實(shí)情況很多配置修改不能在災(zāi)備中心實(shí)施，比如應(yīng)用的發(fā)版如果災(zāi)備是備用的環(huán)境通常不能在生產(chǎn)發(fā)版的同時(shí)在災(zāi)備的環(huán)境里同步作修改；再比如網(wǎng)絡(luò)的一些變更涉及復(fù)雜的路由路由和防火墻策略也不一定能讓災(zāi)備和生產(chǎn)同時(shí)變更。這樣啟用災(zāi)備時(shí)災(zāi)備的災(zāi)備的環(huán)境和生產(chǎn)會(huì)存在一些差異。因此災(zāi)備切換平臺(tái)應(yīng)具備這樣的能力或者考慮到這些工作：即從CMDB甚至是手工維護(hù)的信息里去比對(duì)災(zāi)備沒有添加上的配置，在切換前消除差異。這項(xiàng)工作比調(diào)度切換更繁瑣也是真正見識(shí)災(zāi)切平臺(tái)交付能力的地方。@leodong

系統(tǒng)工程師：如果配置了完成CMDB,并且實(shí)際中已經(jīng)很好的應(yīng)用了，可以依靠CMDB管理容災(zāi)環(huán)境的配置，前期不具備，首先對(duì)于管理上，對(duì)于有容災(zāi)的業(yè)務(wù)系統(tǒng)，投產(chǎn)變更就必須是同步投產(chǎn)的，為了避免有遺漏，可以設(shè)計(jì)檢查點(diǎn)，監(jiān)控配置檢查項(xiàng)。比如生產(chǎn)環(huán)境配置文件與容災(zāi)環(huán)境配置文件時(shí)間相差較大等。通過監(jiān)控對(duì)比生產(chǎn)與容災(zāi)環(huán)境的配置，但是這些監(jiān)控只能根據(jù)投產(chǎn)經(jīng)驗(yàn)逐漸完善。5、災(zāi)備自動(dòng)化切換過程涉及較多專業(yè)軟硬件產(chǎn)品（網(wǎng)絡(luò)、安全、負(fù)載、各類數(shù)據(jù)庫等），一般哪些不建議做自動(dòng)化切換？@zhangjunxi570

xjtu

系統(tǒng)分析師：1.部分網(wǎng)絡(luò)環(huán)境。城商行在建設(shè)同城災(zāi)備時(shí)一個(gè)主流的方案是大二層網(wǎng)絡(luò)，拉通的二層一般將網(wǎng)關(guān)布在生產(chǎn)站點(diǎn)，自動(dòng)切換要將二層的網(wǎng)關(guān)在同城站點(diǎn)啟用涉及復(fù)雜路由及安全策略的配置，除非提前經(jīng)過演練驗(yàn)證并將日常的維護(hù)做好記錄梳理。如果兩個(gè)站點(diǎn)是三層對(duì)接復(fù)雜度會(huì)降低。2.數(shù)據(jù)庫的切換。目前OracleDb2都有數(shù)據(jù)庫容災(zāi)方案，啟用備庫可以設(shè)置成自動(dòng)化的。但是出于數(shù)據(jù)一致性的考慮，一般啟用備庫人工干預(yù)的。3.存儲(chǔ)。存儲(chǔ)情況比較復(fù)雜。如果搭建了同城雙活的存儲(chǔ)，配合仲裁，存儲(chǔ)在兩端可以自行管理。基于復(fù)制的存儲(chǔ)容災(zāi)拉起備用存儲(chǔ)可以配制成編排好的切換操作，通常不會(huì)自動(dòng)切換。@zhangyongjunCMBC工程師：個(gè)人覺得這個(gè)問題要考慮對(duì)這些操作的把控程度，基本上沒有操作不能自動(dòng)化實(shí)現(xiàn)。我們采用的是同城網(wǎng)絡(luò)大二層打通，存儲(chǔ)復(fù)制技術(shù)（SWAP和STAR模式）實(shí)現(xiàn)的大同城小異地的災(zāi)備方案，要進(jìn)行網(wǎng)絡(luò)設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫、中間件、監(jiān)控、應(yīng)用、存儲(chǔ)等操作。無論是主備機(jī)房同一個(gè)服務(wù)IP的方式（要增刪服務(wù)IP和重新apply集群），還是DNS方案（流程中需要更改DNS服務(wù)器中的指向），以及外聯(lián)只允許一個(gè)IP通過防火墻的特殊情況等等，都實(shí)現(xiàn)了自動(dòng)化操作。建設(shè)初期，我們就實(shí)現(xiàn)了除同城演練存儲(chǔ)SWAP回寫步驟之外的所有自動(dòng)化，只是擔(dān)心存儲(chǔ)回寫步驟出現(xiàn)問題導(dǎo)致在同城災(zāi)備端通過各種渠道寫入的真實(shí)業(yè)務(wù)數(shù)據(jù)被抹掉而采用了人工操作，經(jīng)過數(shù)次演練驗(yàn)證之后，現(xiàn)在也實(shí)現(xiàn)了全自動(dòng)化操作。目前，整個(gè)災(zāi)備演練流程，只有切換流程第一步“確定能否演練切換”和中間的“業(yè)務(wù)驗(yàn)證”，是人工操作，其他全部自動(dòng)化操作。@leodong

系統(tǒng)工程師：無論是任何一種產(chǎn)品都可以配置成自動(dòng)切換，主要是根據(jù)風(fēng)險(xiǎn)程度去決定是否進(jìn)行自動(dòng)化配置。但是可以逐漸去實(shí)現(xiàn)自動(dòng)切換，而且不是開始就是自動(dòng)化切換，對(duì)于應(yīng)用、中間件、數(shù)據(jù)庫等啟動(dòng)都可以自動(dòng)化，但是涉及存儲(chǔ)的雖然有可以自動(dòng)化，為了安全可以前期先手工切換。制定了完備檢查方案后，再納入到自動(dòng)切換中。6、緊耦合系統(tǒng)的災(zāi)備自動(dòng)化切換如何演練？【問題描述】緊耦合系統(tǒng)的災(zāi)備自動(dòng)化切換如何演練？測(cè)試環(huán)境如何準(zhǔn)備，畢竟搭建一套生產(chǎn)災(zāi)備環(huán)境就很耗資源。@zhangyongjunCMBC工程師：同城演練時(shí)，對(duì)于緊耦合的系統(tǒng)，如果同城網(wǎng)絡(luò)大二層打通狀態(tài)，可以分別切換，無需考慮耦合；如果主備機(jī)房網(wǎng)絡(luò)隔離，則必須將緊耦合的系統(tǒng)放在一起進(jìn)行切換演練，邏輯上作為一個(gè)系統(tǒng)。我們沒有對(duì)每一套系統(tǒng)分別建設(shè)災(zāi)備演練的測(cè)試環(huán)境，過于浪費(fèi)！只是針對(duì)災(zāi)備系統(tǒng)使用的技術(shù)搭建了AIX集群、HP集群、Linux集群、分別使用SWAP、STAR存儲(chǔ)技術(shù)以及Oracle、DB2、MySQL等數(shù)據(jù)庫，F(xiàn)5應(yīng)用集群、使用DNS的服務(wù)IP，大約不超過20臺(tái)物理機(jī)+虛擬機(jī)完全能覆蓋所有災(zāi)備技術(shù)。這些IT組件的自動(dòng)化腳本是通用和參數(shù)化的，由參數(shù)驅(qū)動(dòng)，參數(shù)的來源是災(zāi)備平臺(tái)。災(zāi)備流程將每套系統(tǒng)每個(gè)IT組件和應(yīng)用的參數(shù)從災(zāi)備平臺(tái)中取出來，傳遞給自動(dòng)化腳本，下發(fā)到目標(biāo)主機(jī)去執(zhí)行。無論多少套災(zāi)備系統(tǒng)，腳本都是同一套，所以無需搭建每一套災(zāi)備系統(tǒng)的測(cè)試環(huán)境。至于說一起切換時(shí)的啟停順序和依賴問題，我在另一個(gè)問題中剛剛做了答復(fù)，轉(zhuǎn)帖過來：業(yè)務(wù)的依賴性，不建議在災(zāi)備流程中實(shí)現(xiàn)，建議在應(yīng)用設(shè)計(jì)中考慮，最好不要深度耦合，盡量采用重試機(jī)制來進(jìn)行探測(cè)和重連。舉個(gè)簡(jiǎn)單例子吧，安保系統(tǒng)，對(duì)銀行其他系統(tǒng)來說非常重要，大多需要依賴，尤其是渠道類如柜面、手機(jī)銀行、網(wǎng)銀等系統(tǒng)。如果同時(shí)進(jìn)行切換，可能渠道類系統(tǒng)先進(jìn)入到應(yīng)用啟動(dòng)的步驟，這時(shí)就需要應(yīng)用端進(jìn)行探測(cè)和等待，直到安保系統(tǒng)完成啟動(dòng)之后，渠道類探測(cè)到操作完成，連接到可用的安保平臺(tái)。在災(zāi)備自動(dòng)化流程中實(shí)現(xiàn)前置和關(guān)聯(lián)檢查會(huì)造成流程復(fù)雜度大大增加，不利于今后的變更和災(zāi)備演練。災(zāi)備自動(dòng)化最多依據(jù)安保提供的連通性判斷腳本或者RESTful接口進(jìn)行判斷，一待完成判斷后，立即繼續(xù)執(zhí)行渠道類系統(tǒng)的后續(xù)操作。與之相類似，更簡(jiǎn)單的一種場(chǎng)景就是NFS，當(dāng)server如果來自另一個(gè)系統(tǒng)，尚未完成啟動(dòng)，則nfsclient會(huì)處于重試狀態(tài)，NFSservernotresponding,stilltrying，會(huì)一直重試，直到server和NFS文件系統(tǒng)準(zhǔn)備好，之后client端完成NFS掛載，繼續(xù)執(zhí)行后續(xù)步驟。這應(yīng)該就是各強(qiáng)關(guān)聯(lián)和強(qiáng)依賴業(yè)務(wù)系統(tǒng)必須改造，改造后要達(dá)到的效果。@leodong

系統(tǒng)工程師：對(duì)于緊耦合的業(yè)務(wù)系統(tǒng)一般切換的時(shí)候都是按照一個(gè)整體一起切換的，尤其是有大量業(yè)務(wù)數(shù)據(jù)交互、延遲敏感的業(yè)務(wù)系統(tǒng)，即使是二層通延時(shí)也會(huì)成倍增加。不可能針對(duì)每一個(gè)業(yè)務(wù)系統(tǒng)都搭建一個(gè)測(cè)試環(huán)境。為了測(cè)試容災(zāi)切換平臺(tái)，可以建立一個(gè)標(biāo)準(zhǔn)的測(cè)試環(huán)境，一般就是啟動(dòng)、停止、檢查等標(biāo)準(zhǔn)的任務(wù)或命令，可以完成一些基本的測(cè)試。7、災(zāi)備自動(dòng)化切換具備的條件有哪些？應(yīng)該如何規(guī)劃？【問題描述】保險(xiǎn)企業(yè)如何實(shí)現(xiàn)業(yè)務(wù)由生產(chǎn)中心自動(dòng)切換到災(zāi)備系統(tǒng)？自動(dòng)化切換的條件有哪些？如何規(guī)劃？@潘延晟

系統(tǒng)工程師：本身災(zāi)備的架構(gòu)就是比較復(fù)雜的一套架構(gòu)。在規(guī)劃災(zāi)備時(shí)首先要考慮的就是所有的業(yè)務(wù)，包括業(yè)務(wù)類型，業(yè)務(wù)特點(diǎn)，數(shù)據(jù)量，重要程度等等，根據(jù)實(shí)際的情況制定出生產(chǎn)中心的系統(tǒng)架構(gòu)，主備數(shù)據(jù)中心之間的距離。數(shù)據(jù)通信方式及帶寬，首先要先保證主備數(shù)據(jù)中心的業(yè)務(wù)，數(shù)據(jù)能夠準(zhǔn)確的同步運(yùn)行，通過仲裁判斷滿足某些條件，比如主數(shù)據(jù)中心管網(wǎng)絡(luò)故障，設(shè)備宕機(jī)等情況后決定切換到災(zāi)備系統(tǒng)，但每個(gè)公司的實(shí)際情況都不同。所以切換條件也要根據(jù)實(shí)際運(yùn)行中逐漸摸索改進(jìn)。另外最主要的是要定期進(jìn)行切換演練。@leodong

系統(tǒng)工程師：第一個(gè)問題討論過，起碼要有以下工具才可以實(shí)現(xiàn)1、監(jiān)控平臺(tái)：監(jiān)控工具需要能夠準(zhǔn)確發(fā)現(xiàn)、定位故障，并且能夠推送到容災(zāi)管理平臺(tái)。2、容災(zāi)管理平臺(tái)：容災(zāi)管理平臺(tái)需要準(zhǔn)確的展示業(yè)務(wù)系統(tǒng)在生產(chǎn)與容災(zāi)數(shù)據(jù)中心的整體架構(gòu)，并且清楚內(nèi)部與外部的訪問關(guān)系以及依賴關(guān)系。才能準(zhǔn)確的下發(fā)自動(dòng)切換任務(wù)。3、自動(dòng)化任務(wù)平臺(tái)：能夠準(zhǔn)確定義切換流程，并且反饋切換過程中的詳細(xì)信息，能將切換狀態(tài)反饋給容災(zāi)管理平臺(tái)，完成切換任務(wù)工作。針對(duì)于如何規(guī)劃：越是雙活越是容易自動(dòng)切換，同時(shí)對(duì)于技術(shù)的要求也越高，現(xiàn)在一般都可以做到應(yīng)用雙活，數(shù)據(jù)庫雙活需要根據(jù)本身的技術(shù)能力以及業(yè)務(wù)系統(tǒng)特點(diǎn)決定。8、在雙活數(shù)據(jù)中心架構(gòu)下，自動(dòng)化切換的工具平臺(tái)有哪些選擇？自動(dòng)化切換的前提條件大致有哪些?@cpc1989某保險(xiǎn)公司

存儲(chǔ)工程師：個(gè)人理解是，自動(dòng)化切換的工具平臺(tái)需要與數(shù)據(jù)中心災(zāi)備管理工作深度集成，并不是簡(jiǎn)單使用一套工具就能實(shí)現(xiàn)的。災(zāi)備自動(dòng)化切換的工具平臺(tái)大致需要滿足三大的功能點(diǎn)：1.自動(dòng)化能力，包括集成現(xiàn)有類似Ansible這種的自動(dòng)化工具，在不同運(yùn)行環(huán)境執(zhí)行切換命令和腳本

2.流程編排能力，災(zāi)備切換演練流程能按需編排，需要設(shè)立一些檢查確認(rèn)點(diǎn)，子流程之間流程關(guān)聯(lián)等

3.與CMDB的集成，切換腳本的配置維護(hù)，切換前后的配置比對(duì)和檢查，展示切換過程中的業(yè)務(wù)數(shù)據(jù)流的變化等等@zhangyongjunCMBC工程師：雙活數(shù)據(jù)中心的運(yùn)行方式，通常有兩種，網(wǎng)絡(luò)大二層打通的方式和隔離的方式。網(wǎng)絡(luò)大二層打通的方式，可以采用負(fù)載均衡的方式，通過軟件或者F5實(shí)現(xiàn)隨機(jī)派發(fā)，寫入同一套雙活數(shù)據(jù)庫中（如DB2PureScale或者OracleCRS等）。如果是網(wǎng)絡(luò)隔離的方式，主機(jī)房和災(zāi)備機(jī)房實(shí)際上是分開的，數(shù)據(jù)庫是兩套，應(yīng)用也不是負(fù)載均衡的方式，在應(yīng)用端必須實(shí)現(xiàn)雙寫。在切換時(shí)，網(wǎng)絡(luò)大二層打通的方式按照流程定義的步驟直接停止再啟動(dòng)災(zāi)備端應(yīng)用和數(shù)據(jù)庫以及生產(chǎn)端應(yīng)用和數(shù)據(jù)庫，來驗(yàn)證單獨(dú)生產(chǎn)端、單獨(dú)災(zāi)備端能否承載業(yè)務(wù)；網(wǎng)絡(luò)隔離方式災(zāi)備驗(yàn)證第一步要控制雙寫的應(yīng)用的流量，進(jìn)行流量切換，只寫一端，即實(shí)現(xiàn)了災(zāi)備切換，之后再對(duì)應(yīng)用和數(shù)據(jù)庫進(jìn)行啟停操作，最后進(jìn)行流量恢復(fù)。更重要的是設(shè)計(jì)方案，自動(dòng)化平臺(tái)可以采用任意的平臺(tái)，如商用BMC、MicroFocus、開源ansible等都可以作為自動(dòng)化引擎，但是需要自行設(shè)計(jì)流程，如cpc1989所討論。@zhangjunxi570

xjtu

系統(tǒng)分析師：雙活數(shù)據(jù)中心背景下，業(yè)務(wù)都改造成在兩個(gè)數(shù)據(jù)中心同時(shí)對(duì)外服務(wù)，需要在兩個(gè)在兩個(gè)數(shù)據(jù)中心之間合理分擔(dān)調(diào)度請(qǐng)求端（各種渠道）來的業(yè)務(wù)請(qǐng)求，因此通常會(huì)部署GTM全局負(fù)載均衡設(shè)備負(fù)載流量，同時(shí)一個(gè)數(shù)據(jù)中心不能對(duì)外服務(wù)后調(diào)度調(diào)度原來分發(fā)到該數(shù)據(jù)中心的請(qǐng)求切換到存活的站點(diǎn)。因此雙活站點(diǎn)自動(dòng)化切換首先要能夠很好的對(duì)接GTM。要明確一個(gè)數(shù)據(jù)中心故障檢測(cè)的的標(biāo)志，一定要準(zhǔn)確并且配置一定超時(shí)時(shí)間。第三，通常不可能將不可能將所有業(yè)務(wù)改造成雙活模式，雙活站點(diǎn)也有主備之分，切換要不要自動(dòng)化是值得商榷的，需要公司各級(jí)領(lǐng)導(dǎo)商討出一個(gè)共同認(rèn)可的做法的做法。通常切災(zāi)備不是自動(dòng)的不是自動(dòng)的。@潘延晟

系統(tǒng)工程師：現(xiàn)在信息化的架構(gòu)越來越復(fù)雜。雖說是雙活。但是落實(shí)到每一個(gè)實(shí)際的環(huán)境中都不一樣。從服務(wù)器硬件，存儲(chǔ)和網(wǎng)絡(luò)到上層虛擬化和實(shí)際應(yīng)用都不一樣。一般來說很難有那種自動(dòng)化平臺(tái)可以實(shí)現(xiàn)廣泛應(yīng)用。所以基本都涉及到針對(duì)實(shí)際業(yè)務(wù)的二次開發(fā)，另外，不同的公司環(huán)境也不同，信息化的投入。數(shù)據(jù)中心之間的線路，業(yè)務(wù)的實(shí)際情況，技術(shù)人員儲(chǔ)備這些都決定雙活切換是否成功。基于以上的原則我覺得雙活數(shù)據(jù)中心更應(yīng)該注重的是一整套體系流程。而不能只關(guān)注雙活數(shù)據(jù)中心架構(gòu)的技術(shù)，因?yàn)樾畔⒒軜?gòu)的問題可能是千差萬別，自動(dòng)化切換只能是一個(gè)美好的目標(biāo)，實(shí)際環(huán)境中可能會(huì)因?yàn)楦鞣N各樣的遺漏導(dǎo)致自動(dòng)化切換失敗，所以從整體的架構(gòu)設(shè)計(jì)業(yè)務(wù)流程，故障流程，切換條件以及定期的應(yīng)急演練。缺一不可。沒有最好的自動(dòng)化切換平臺(tái)。只有最適合的。@leodong

系統(tǒng)工程師：容災(zāi)的自動(dòng)化切換是需要各種工具相互配合才能實(shí)現(xiàn)的。1、監(jiān)控平臺(tái)：監(jiān)控工具需要能夠準(zhǔn)確

發(fā)現(xiàn)、定位故障，并且能夠推送到容災(zāi)管理平臺(tái)。2、容災(zāi)管理平臺(tái)：容災(zāi)管理平臺(tái)需要準(zhǔn)確的展示業(yè)務(wù)系統(tǒng)在生產(chǎn)與容災(zāi)數(shù)據(jù)中心的整體架構(gòu)，并且清楚內(nèi)部與外部的訪問關(guān)系以及依賴關(guān)系。才能準(zhǔn)確的下發(fā)自動(dòng)切換任務(wù)。3、自動(dòng)化任務(wù)平臺(tái)：能夠準(zhǔn)確定義切換流程，并且反饋切換過程中的詳細(xì)信息，能將切換狀態(tài)反饋給容災(zāi)管理平臺(tái)，完成切換任務(wù)工作。@趙海

技術(shù)經(jīng)理：在雙活數(shù)據(jù)中心架構(gòu)下，自動(dòng)化切換的工具平臺(tái)有哪些選擇？這個(gè)問題首先得確定那一層的自動(dòng)化切換工具平臺(tái)？網(wǎng)絡(luò)、應(yīng)用、數(shù)據(jù)庫、存儲(chǔ)，每一層都有每一層的不同架構(gòu)，不同的架構(gòu)又決定了不同的自動(dòng)化切換方法。例如數(shù)據(jù)庫層，如果是RAC模式，那么靠RAC自身的浮動(dòng)IP切換機(jī)制實(shí)現(xiàn)，如果是ADG,理論上可以靠ADG的自動(dòng)化切換機(jī)制實(shí)現(xiàn)；例如存儲(chǔ)層，如果是虛擬化網(wǎng)關(guān)的架構(gòu)，那么可以靠虛擬化網(wǎng)關(guān)自身的切換機(jī)制實(shí)現(xiàn)...自動(dòng)化切換的前提條件大致有哪些?自動(dòng)化切換的前提條件包括三個(gè)主要方面：首先，對(duì)故障場(chǎng)景的探測(cè)機(jī)制，例如網(wǎng)絡(luò)心跳、磁盤心跳之類的探測(cè)機(jī)制，主要用來判斷點(diǎn)的健康存活狀況；其次，需要有第三方的參照機(jī)制，也就是通常所說的仲裁物，例如數(shù)據(jù)庫的仲裁盤、存儲(chǔ)的仲裁服務(wù)器等等。再有，數(shù)據(jù)上的同步情況以及應(yīng)用會(huì)話的同步情況，必須保障切換之后應(yīng)用會(huì)話及數(shù)據(jù)的延續(xù)性。9、災(zāi)備切換自動(dòng)化編排過程中，如何去設(shè)計(jì)關(guān)聯(lián)業(yè)務(wù)層的前置性或關(guān)聯(lián)性的檢查？【問題描述】考慮到有些應(yīng)用的深度耦合，會(huì)產(chǎn)生前后串聯(lián)管理，對(duì)業(yè)務(wù)的啟停有嚴(yán)格前置條件。災(zāi)備切換自動(dòng)化編排過程中，如何去設(shè)計(jì)關(guān)聯(lián)業(yè)務(wù)層的前置性或關(guān)聯(lián)性的檢查。@zhangjunxi570

xjtu

系統(tǒng)分析師：關(guān)聯(lián)系統(tǒng)啟動(dòng)時(shí)有先后順序，切換工具依據(jù)前置任務(wù)的返回結(jié)果，即檢查前一個(gè)業(yè)務(wù)啟動(dòng)后進(jìn)程端口的狀態(tài)，或者或者向前一個(gè)系統(tǒng)發(fā)探測(cè)包系統(tǒng)發(fā)探測(cè)包收到期望的結(jié)果后，確認(rèn)前一個(gè)系統(tǒng)完全啟動(dòng)，再執(zhí)行下一個(gè)任務(wù)。也可以和監(jiān)控系統(tǒng)配合，每一項(xiàng)任務(wù)執(zhí)行完成后主動(dòng)去監(jiān)控系統(tǒng)采集當(dāng)前任務(wù)狀態(tài)。@zhangyongjunCMBC工程師：業(yè)務(wù)的依賴性，不建議在災(zāi)備流程中實(shí)現(xiàn)，建議在應(yīng)用設(shè)計(jì)中考慮，最好不要深度耦合，盡量采用重試機(jī)制來進(jìn)行探測(cè)和重連。舉個(gè)簡(jiǎn)單例子吧，安保系統(tǒng)，對(duì)銀行其他系統(tǒng)來說非常重要，大多需要依賴，尤其是渠道類如柜面、手機(jī)銀行、網(wǎng)銀等系統(tǒng)。如果同時(shí)進(jìn)行切換，可能渠道類系統(tǒng)先進(jìn)入到應(yīng)用啟動(dòng)的步驟，這時(shí)就需要應(yīng)用端進(jìn)行探測(cè)和等待，直到安保系統(tǒng)完成啟動(dòng)之后，渠道類探測(cè)到操作完成，連接到可用的安保平臺(tái)。在災(zāi)備自動(dòng)化流程中實(shí)現(xiàn)前置和關(guān)聯(lián)檢查會(huì)造成流程復(fù)雜度大大增加，不利于今后的變更和災(zāi)備演練。災(zāi)備自動(dòng)化最多依據(jù)安保提供的連通性判斷腳本或者RESTful接口進(jìn)行判斷，一待完成判斷后，立即繼續(xù)執(zhí)行渠道類系統(tǒng)的后續(xù)操作。與之相類似，更簡(jiǎn)單的一種場(chǎng)景就是NFS，當(dāng)server如果來自另一個(gè)系統(tǒng)，尚未完成啟動(dòng)，則nfsclient會(huì)處于重試狀態(tài)，NFSservernotresponding,stilltrying，會(huì)一直重試，直到server和NFS文件系統(tǒng)準(zhǔn)備好，之后client端完成NFS掛載，繼續(xù)執(zhí)行后續(xù)步驟。這應(yīng)該就是各強(qiáng)關(guān)聯(lián)和強(qiáng)依賴業(yè)務(wù)系統(tǒng)必須改造，改造后要達(dá)到的效果。@leodong

系統(tǒng)工程師：對(duì)于容災(zāi)切換管理平臺(tái)一定是在設(shè)計(jì)階段制定好關(guān)聯(lián)關(guān)系的，在切換的過程并行的任務(wù)可以同時(shí)執(zhí)行，對(duì)于串行的任務(wù)一定是串行并且提供檢查方式的，一般任務(wù)分為執(zhí)行任務(wù)+檢查任務(wù)。對(duì)于強(qiáng)關(guān)聯(lián)深度耦合的系統(tǒng)容災(zāi)切換的時(shí)候建議是最為一個(gè)整體去切換的。而且在設(shè)計(jì)階段盡量設(shè)計(jì)為各個(gè)業(yè)務(wù)系統(tǒng)之間是松耦合的，避免一個(gè)業(yè)務(wù)系統(tǒng)與多個(gè)業(yè)務(wù)系統(tǒng)之間都相互關(guān)聯(lián)。10、相比于手工切換來說，災(zāi)備自動(dòng)化切換更需要關(guān)注哪些災(zāi)備管理方面？【問題描述】相比于手工切換來說，災(zāi)備自動(dòng)化切換更加便捷，但必然需要增加更多的日常管理工作，主要體現(xiàn)在哪些方面？@leodong

系統(tǒng)工程師：容災(zāi)自動(dòng)切換平臺(tái)的管理：1、監(jiān)控的管理：對(duì)于生產(chǎn)環(huán)境與災(zāi)備環(huán)境要配置準(zhǔn)確、詳細(xì)的監(jiān)控策略，控制切換觸發(fā)條件。2、容災(zāi)管理平臺(tái)：容災(zāi)管理平臺(tái)的管理，容災(zāi)管理平臺(tái)要能準(zhǔn)確體現(xiàn)業(yè)務(wù)系統(tǒng)物理以及邏輯架構(gòu)、業(yè)務(wù)數(shù)據(jù)流、系統(tǒng)關(guān)聯(lián)關(guān)系。3、自動(dòng)任務(wù)工具：自動(dòng)任務(wù)工具能準(zhǔn)確的配置切換流程，同時(shí)對(duì)于切換流程有嚴(yán)格的控制，執(zhí)行任務(wù)+檢查任務(wù)都可以準(zhǔn)備執(zhí)行以及反饋。4、變更管理：針對(duì)于投產(chǎn)變更，如果有相關(guān)變更，要同步變更監(jiān)控策略、容災(zāi)管理平臺(tái)的架構(gòu)以及業(yè)務(wù)切換流程以及相關(guān)的任務(wù)命令等。保證容災(zāi)自動(dòng)切換平臺(tái)始終與生產(chǎn)環(huán)境一致是重中之重。@zhangyongjunCMBC工程師：注意自動(dòng)化帶來的風(fēng)險(xiǎn)泛濫，一定要實(shí)現(xiàn)腳本的冪等性，可以多次執(zhí)行。最重要的是一定要保證變更的同步。千萬不要把災(zāi)備切換平臺(tái)作為一個(gè)獨(dú)立的平臺(tái)，要和CMDB、變更操作緊耦合，任何基礎(chǔ)軟硬件、應(yīng)用的重要變更和版本升級(jí)、擴(kuò)縮容操作一定要派發(fā)任務(wù)單，保證災(zāi)備平臺(tái)的同步。除被動(dòng)響應(yīng)之外，還要有主動(dòng)性的檢查機(jī)制。兩地三中心一致性比對(duì)工具的建設(shè)對(duì)保證災(zāi)備切換的成功率很重要。桌面演練功能，會(huì)生成具體的操作步驟、執(zhí)行順序、調(diào)用的腳本、執(zhí)行的參數(shù)，這么說吧，除了腳本沒有真正去執(zhí)行，其他與真實(shí)切換完全一樣，因?yàn)槊總€(gè)腳本都實(shí)現(xiàn)了是否桌面演練還是真實(shí)切換換的分支。桌面演練的報(bào)告發(fā)送應(yīng)用負(fù)責(zé)人和基礎(chǔ)硬軟件、網(wǎng)絡(luò)、存儲(chǔ)等相關(guān)技術(shù)模塊支持人員進(jìn)行切換前的人工復(fù)核。——要發(fā)揮主觀能動(dòng)性要靠賞，而事急宜罰，確定流程中每個(gè)步驟的負(fù)責(zé)人，寫入災(zāi)備流程中，并自動(dòng)生成在報(bào)告上，演練后進(jìn)行總結(jié)，確定自動(dòng)化步驟失敗的責(zé)任人，只需要每個(gè)步驟罰款就行了，連續(xù)幾次之后，自動(dòng)化的成功率絕對(duì)能達(dá)到99.9%以上?。?）《智囊》有個(gè)故事可以參考

：魯人燒積澤，天北風(fēng)，火南倚，恐燒國(guó)。哀公自將眾趨救火者，左右無人，盡逐獸，而火不救。乃召問仲尼，仲尼曰：“夫逐獸樂而無罰，救火者苦而無賞，此火之所以不救也。”哀公曰：“善。”仲尼曰：“事急，不及以賞救火者；盡賞之，則國(guó)不足以賞于人。請(qǐng)徒行罰。”乃下令曰：“不救火者，比降北之罪；逐獸者，比入禁之罪。”令下未遍，而火已救矣。賈似道為相，臨安失火，賈時(shí)方在葛嶺，相距二十里，報(bào)者絡(luò)繹，賈殊不顧，曰：“至太廟則報(bào)?！倍矶鴪?bào)者曰：“火且至太廟?！辟Z從小肩輿，四力士以椎劍護(hù)，里許即易人，倏忽即至，下令肅然，不過曰：“焚太廟者斬殿帥?！庇谑菐浡视率恳粫r(shí)救熄。賈雖權(quán)奸，而威令必行，其才亦自有快人處。@dataprotect某保險(xiǎn)公司

系統(tǒng)運(yùn)維：除切換操作外，還需要維護(hù)容災(zāi)通訊錄以及自動(dòng)呼叫信息，以實(shí)現(xiàn)災(zāi)難自動(dòng)呼叫通知。這塊可以和公司的ad以及ps系統(tǒng)等對(duì)接，容災(zāi)管理員主要關(guān)注容災(zāi)角色與人員的關(guān)聯(lián)，容災(zāi)話術(shù)的維護(hù)等。當(dāng)然，隨著即時(shí)通訊產(chǎn)品的發(fā)展及功能的完善，直接拉一個(gè)大群統(tǒng)一播報(bào)可能更加直接、高效。11、災(zāi)備自動(dòng)化切換的流程應(yīng)該如何制定和維護(hù)？如何體現(xiàn)工具在其中的作用？@zhangyongjunCMBC工程師：流程一定要通用，盡量實(shí)現(xiàn)場(chǎng)景驅(qū)動(dòng)，一定不要一套系統(tǒng)一個(gè)場(chǎng)景對(duì)應(yīng)一個(gè)流程，否則難以維護(hù)，無法應(yīng)對(duì)千變?nèi)f化的場(chǎng)景，無法應(yīng)對(duì)日漸增加的災(zāi)備系統(tǒng)梳理，更無法應(yīng)對(duì)災(zāi)備系統(tǒng)的變更。比如，典型非雙活災(zāi)備方案中最簡(jiǎn)單的流程可以定義為六步：1.

停止主生產(chǎn)2.

啟動(dòng)災(zāi)備3.

業(yè)務(wù)驗(yàn)證4.

停止災(zāi)備5.

啟動(dòng)主生產(chǎn)6.

業(yè)務(wù)驗(yàn)證每一個(gè)大的步驟再按需要進(jìn)行細(xì)分，進(jìn)一步實(shí)現(xiàn)標(biāo)準(zhǔn)化、通用化、自動(dòng)化、參數(shù)化。工具實(shí)現(xiàn)數(shù)據(jù)維護(hù)、操作界面、流程監(jiān)控、大屏展示、多部門溝通、演練報(bào)告和報(bào)表等災(zāi)備演練相關(guān)功能，以及自動(dòng)化引擎等功能。工具實(shí)現(xiàn)了場(chǎng)景驅(qū)動(dòng)，將每套系統(tǒng)的配置數(shù)據(jù)與流程步驟數(shù)據(jù)分開，實(shí)現(xiàn)參數(shù)化驅(qū)動(dòng)，進(jìn)一步將流程步驟與腳本分開，實(shí)現(xiàn)自動(dòng)化驅(qū)動(dòng)。

@leodong

系統(tǒng)工程師：災(zāi)備自動(dòng)化切換流程主要根據(jù)業(yè)務(wù)的系統(tǒng)的架構(gòu)來制定：主備中心、雙活中心、與其他業(yè)務(wù)系統(tǒng)關(guān)聯(lián)性、是否有專線外聯(lián)等。切換的流程每個(gè)執(zhí)行單元或者任務(wù)需