信用卡系統(tǒng)應(yīng)急預(yù)案

1、貸記卡系統(tǒng)應(yīng)急預(yù)案2010年10月目錄1總則41.1編制目的41.2適用范圍41.3工作原則42組織指揮體系及職責(zé)分工52.1應(yīng)急組織機(jī)構(gòu)52.2應(yīng)急機(jī)構(gòu)職責(zé)53預(yù)防和預(yù)警機(jī)制63.1預(yù)防預(yù)警制度63.2預(yù)防預(yù)警行動(dòng)及支持系統(tǒng)64應(yīng)急響應(yīng)64.1信息報(bào)送和處理64.2通訊74.3應(yīng)急處置74.4應(yīng)急結(jié)束85應(yīng)急保障86后期處置86.1善后處置86.2處置評(píng)價(jià)及內(nèi)審87核心路由器故障87.1端口和板卡故障87.2路由器背板或電源故障98核心交換機(jī)故障98.1端口和板卡故障98.2交換機(jī)背板或電源故障109防火墻故障109.1端口、主板和電源故障109.2配置更改故障1010發(fā)卡系統(tǒng)雙機(jī)熱備切換1

2、110.1雙機(jī)熱切換觸發(fā)方式1210.2雙機(jī)熱切換前準(zhǔn)備工作1210.3雙機(jī)熱切換的監(jiān)控檢查1310.4雙機(jī)熱切換實(shí)施步驟表1311其他故障1512附則1512.1預(yù)案管理與更新1512.2責(zé)任與獎(jiǎng)懲1512.3解釋部門(mén)及聯(lián)系人1512.4預(yù)案實(shí)施1613附件1713.1總體應(yīng)急預(yù)案突發(fā)事件應(yīng)急處置流程圖171 總則1.1 編制目的適應(yīng)XXXX銀行（以下簡(jiǎn)稱“XXXX銀行”）特點(diǎn)和未來(lái)發(fā)展需要，提高應(yīng)對(duì)突發(fā)事件的能力，保證XXXX銀行能夠在發(fā)生突發(fā)事件的情況下，仍然可以系統(tǒng)、協(xié)調(diào)、高效地開(kāi)展工作，并將突發(fā)事件可能造成的損失控制在最低程度內(nèi)。1.2 適用范圍（1） 由XXXX銀行發(fā)卡系統(tǒng)和各類外

3、圍系統(tǒng)（如：風(fēng)控系統(tǒng)、短信系統(tǒng)、反洗錢(qián)系統(tǒng)、文件傳輸服務(wù)器等）、網(wǎng)絡(luò)通信、機(jī)器設(shè)備、機(jī)房設(shè)施等發(fā)生故障而引起的交易中斷的突發(fā)事件；（2） 因發(fā)卡系統(tǒng)、外圍系統(tǒng)賬戶信息泄露引發(fā)的突發(fā)事件；（3） 因自然災(zāi)害、事故災(zāi)難、公共衛(wèi)生事件、社會(huì)安全事件以及能源供應(yīng)、物資供應(yīng)、通訊等公共服務(wù)的中斷而造成XXXX銀行無(wú)法正常運(yùn)營(yíng)的事件；（4） 危害XXXX銀行公共關(guān)系和形象，造成不良社會(huì)影響的各類突發(fā)事件；（5） 由上級(jí)單位、理事長(zhǎng)辦公會(huì)或理事長(zhǎng)認(rèn)定的其他事件。本預(yù)案指導(dǎo)XXXX銀行突發(fā)事件應(yīng)對(duì)工作。1.3 工作原則統(tǒng)一指揮，快速反應(yīng)。根據(jù)本預(yù)案或分預(yù)案規(guī)定成立相應(yīng)的突發(fā)事件處置領(lǐng)導(dǎo)小組，由該領(lǐng)導(dǎo)小組統(tǒng)一指

4、揮、組織各項(xiàng)應(yīng)對(duì)工作。XXXX銀行各部門(mén)應(yīng)緊密配合服從領(lǐng)導(dǎo)小組指揮。以人為本，減少損失。應(yīng)對(duì)突發(fā)事件的各項(xiàng)措施均應(yīng)以人為本，最大程度地減少突發(fā)事件造成的危害和損失。居安思危，預(yù)防為主。高度重視突發(fā)事件預(yù)防工作，常抓不懈，防患于未然。增強(qiáng)憂患意識(shí)，堅(jiān)持預(yù)防與應(yīng)急相結(jié)合，做好應(yīng)對(duì)突發(fā)事件的各項(xiàng)準(zhǔn)備工作。根據(jù)行業(yè)內(nèi)或自身已發(fā)生的事件進(jìn)行學(xué)習(xí)和總結(jié)，提高應(yīng)急預(yù)案有效性與應(yīng)急能力。保密原則：參與突發(fā)事件處置工作的人員應(yīng)嚴(yán)守XXXX銀行保密規(guī)定，未經(jīng)授權(quán)不得向外界提供與處置有關(guān)的工作信息，不得利用工作中獲得的信息牟取私利。2 組織指揮體系及職責(zé)分工2.1 應(yīng)急組織機(jī)構(gòu)（1） 應(yīng)急組織機(jī)構(gòu)依各相關(guān)分預(yù)案規(guī)定

5、設(shè)立和運(yùn)作。沒(méi)有對(duì)應(yīng)分預(yù)案的，應(yīng)急組織機(jī)構(gòu)依總體預(yù)案相關(guān)規(guī)定設(shè)立和運(yùn)作。（2） 突發(fā)事件處置領(lǐng)導(dǎo)小組：由XXXX銀行分管領(lǐng)導(dǎo)擔(dān)任組長(zhǎng)，或者由理事長(zhǎng)指定一位XXXX銀行領(lǐng)導(dǎo)擔(dān)任組長(zhǎng)，主辦部門(mén)主要負(fù)責(zé)人為副組長(zhǎng)，協(xié)辦部門(mén)負(fù)責(zé)人參加。分管領(lǐng)導(dǎo)指分管工作與突發(fā)事件涉及事項(xiàng)最為相關(guān)的XXXX銀行領(lǐng)導(dǎo)。協(xié)辦部門(mén)為處置突發(fā)事件涉及的所有部門(mén)。突發(fā)事件涉及面較復(fù)雜，難以確定主辦部門(mén)的，由辦公室或理事長(zhǎng)指定的部門(mén)作為主辦部門(mén)。突發(fā)事件處置領(lǐng)導(dǎo)小組可以根據(jù)突發(fā)事件性質(zhì)成立若干處置工作小組，也可以指定相關(guān)部門(mén)或單位承擔(dān)處置工作小組職責(zé)。（3） 設(shè)立XXXX銀行突發(fā)事件應(yīng)急管理辦公室（辦公室、質(zhì)量保障部），作為應(yīng)急管

6、理的日常協(xié)調(diào)機(jī)構(gòu)。2.2 應(yīng)急機(jī)構(gòu)職責(zé)（1） 突發(fā)事件處置領(lǐng)導(dǎo)小組的職責(zé)包括：研究擬定突發(fā)事件處置對(duì)策；組織指揮突發(fā)事件處置工作；協(xié)調(diào)、管理突發(fā)事件中的新聞信息工作；向理事長(zhǎng)辦公會(huì)提交突發(fā)事件處置工作報(bào)告，報(bào)告內(nèi)容應(yīng)包括但不限于：突發(fā)事件的描述及分析，各項(xiàng)對(duì)策制定的原因及實(shí)施結(jié)果，突發(fā)事件及處置工作對(duì)未來(lái)的影響評(píng)估，實(shí)施結(jié)果后期跟蹤及處置工作的經(jīng)驗(yàn)教訓(xùn)等。（2） 突發(fā)事件處置工作小組的職責(zé)包括：實(shí)施與職責(zé)相關(guān)的各項(xiàng)處置措施；收集、反饋突發(fā)事件處置的相關(guān)信息以支持領(lǐng)導(dǎo)小組決策；如對(duì)客戶造成影響，應(yīng)通知相關(guān)客戶，并協(xié)助客戶處理相關(guān)問(wèn)題；領(lǐng)導(dǎo)小組指定的其他職責(zé)。（3） 突發(fā)事件應(yīng)急管理辦公室的職責(zé)包

7、括：組織處置工作的辦公、文件運(yùn)轉(zhuǎn)及檔案管理；為處置工作提供聯(lián)絡(luò)、通訊、后勤等服務(wù)；協(xié)助領(lǐng)導(dǎo)小組組織、協(xié)調(diào)各項(xiàng)處置工作的實(shí)施，維持處置工作正常開(kāi)展；組織實(shí)施突發(fā)事件相關(guān)的新聞信息工作；突發(fā)事件處置工作的善后、總結(jié)工作；領(lǐng)導(dǎo)指定的其他工作。3 預(yù)防和預(yù)警機(jī)制3.1 預(yù)防預(yù)警制度各部門(mén)要根據(jù)自身職責(zé)和業(yè)務(wù)特點(diǎn)，針對(duì)各種可能發(fā)生的突發(fā)事件，建立并完善預(yù)防預(yù)警機(jī)制，開(kāi)展風(fēng)險(xiǎn)分析，做到早發(fā)現(xiàn)、早報(bào)告、早處置。各部門(mén)要針對(duì)關(guān)鍵業(yè)務(wù)、敏感業(yè)務(wù)建立相應(yīng)的預(yù)防、預(yù)警標(biāo)準(zhǔn)，加強(qiáng)對(duì)異常情況的跟蹤、監(jiān)控和報(bào)告。各部門(mén)制定的應(yīng)急預(yù)案和工作安全制度要注意預(yù)防預(yù)警，明確預(yù)防、預(yù)警標(biāo)準(zhǔn)，要明確對(duì)應(yīng)急預(yù)案、工作安全制度進(jìn)行演練、

8、檢查、評(píng)估和完善的頻度及標(biāo)準(zhǔn)。各部門(mén)要確保隨時(shí)與各協(xié)作單位保持暢通聯(lián)系。3.2 預(yù)防預(yù)警行動(dòng)及支持系統(tǒng)各部門(mén)要定期或不定期對(duì)本部門(mén)的應(yīng)急預(yù)案、工作安全制度進(jìn)行演練、檢查、評(píng)估和完善。特別要對(duì)XXXX銀行發(fā)卡系統(tǒng)安全狀況進(jìn)行實(shí)時(shí)監(jiān)測(cè)，采取各種安全防護(hù)、預(yù)警、備份和災(zāi)難恢復(fù)重建措施，并以有效、適當(dāng)?shù)念l度進(jìn)行應(yīng)急演練和安全檢查。預(yù)防、預(yù)警行動(dòng)由本部門(mén)主要負(fù)責(zé)人負(fù)責(zé)，對(duì)預(yù)防、預(yù)警行動(dòng)的失誤追究其領(lǐng)導(dǎo)責(zé)任。4 應(yīng)急響應(yīng)4.1 信息報(bào)送和處理（1） 各分預(yù)案將突發(fā)事件依據(jù)其性質(zhì)、危害程度及范圍等劃分若干級(jí)別，實(shí)施分級(jí)響應(yīng)策略，以提高處置效率，加強(qiáng)預(yù)防預(yù)警。（2） 分預(yù)案應(yīng)明確相關(guān)突發(fā)事件信息報(bào)送的方式、程

9、序及要求。（3） 突發(fā)事件相關(guān)信息，應(yīng)在規(guī)定時(shí)間內(nèi)報(bào)送XXXX銀行應(yīng)急管理辦公室和分預(yù)案確定的相關(guān)部門(mén)。對(duì)于未制定分預(yù)案應(yīng)對(duì)的突發(fā)事件，則應(yīng)及時(shí)報(bào)告XXXX銀行分管領(lǐng)導(dǎo)，并告知應(yīng)急管理辦公室。 各部門(mén)發(fā)生輕微或一般的突發(fā)事件后，原則上應(yīng)在下一工作日向XXXX銀行報(bào)送應(yīng)急信息。若遇到較大或重大的突發(fā)事件后，原則上應(yīng)在4小時(shí)內(nèi)向XXXX銀行報(bào)送應(yīng)急信息。如果情況特別緊急或重大，應(yīng)當(dāng)在準(zhǔn)備書(shū)面（電子）材料的同時(shí)，第一時(shí)間內(nèi)以電話方式向XXXX銀行報(bào)告。（4） 信息報(bào)送應(yīng)及時(shí)、準(zhǔn)確、完整、規(guī)范。 報(bào)送內(nèi)容包括：突發(fā)事件發(fā)生的時(shí)間、地點(diǎn)、信息來(lái)源、事件性質(zhì)、影響范圍及程度、事件的發(fā)展趨勢(shì)和已經(jīng)采取的措施

10、等。在應(yīng)急處置過(guò)程中，要及時(shí)續(xù)報(bào)有關(guān)情況。（5） 突發(fā)事件處置領(lǐng)導(dǎo)小組決定信息的通報(bào)范圍及形式。信息通報(bào)應(yīng)充分考慮次生、衍生、耦合災(zāi)害事件，及時(shí)做好預(yù)警、應(yīng)對(duì)工作。4.2 通訊應(yīng)急管理辦公室在日常工作中應(yīng)保持與XXXX銀行各部門(mén)助總以上人員（含助總）的通訊暢通，及時(shí)更新電話、手機(jī)、傳真號(hào)碼。應(yīng)急管理辦公室應(yīng)于第一時(shí)間與參加應(yīng)急處置的各部門(mén)與協(xié)作單位建立通訊聯(lián)系，并確保至少一種通訊方式的穩(wěn)定暢通。通訊應(yīng)滿足保密需要。4.3 應(yīng)急處置各部門(mén)依據(jù)應(yīng)急預(yù)案、工作制度確定的分級(jí)響應(yīng)權(quán)限，應(yīng)及時(shí)預(yù)防、預(yù)警、控制、處置本部門(mén)職責(zé)內(nèi)的突發(fā)事件。同時(shí)，各部門(mén)還應(yīng)對(duì)管轄內(nèi)發(fā)生突發(fā)事件及可能次生、衍生、耦合災(zāi)害事件

11、作出評(píng)估，采取措施。突發(fā)事件處置領(lǐng)導(dǎo)小組根據(jù)授權(quán)及需要，可運(yùn)用XXXX銀行全部資源，申請(qǐng)或協(xié)商其他外部支援和幫助。處置工作應(yīng)注意收集、保全與突發(fā)事件相關(guān)的資料及證據(jù)。涉及刑事犯罪的應(yīng)及時(shí)報(bào)告，并將相關(guān)材料移交司法機(jī)關(guān)，根據(jù)計(jì)算機(jī)安全、金融管理的相關(guān)法律來(lái)進(jìn)行追溯。4.4 應(yīng)急結(jié)束突發(fā)事件處置領(lǐng)導(dǎo)小組經(jīng)過(guò)評(píng)估，可向理事長(zhǎng)、理事長(zhǎng)辦公會(huì)議申請(qǐng)應(yīng)急結(jié)束，經(jīng)批準(zhǔn)后解散相關(guān)應(yīng)急機(jī)構(gòu)并宣布結(jié)束。5 應(yīng)急保障應(yīng)急處置中的通訊、文件運(yùn)轉(zhuǎn)、信息及新聞工作等由辦公室、質(zhì)量保障部負(fù)責(zé)。技術(shù)管理部負(fù)責(zé)向客戶機(jī)構(gòu)通報(bào)與其相關(guān)的應(yīng)急信息。應(yīng)急處置中的物資、后勤由辦公室、財(cái)務(wù)部負(fù)責(zé)保障、管理或協(xié)調(diào)。應(yīng)急處置中有關(guān)法律事務(wù)由

12、辦公室負(fù)責(zé)，包括但不限于：事前法律風(fēng)險(xiǎn)提示，事前、事中作出相關(guān)法律建議，事后參與和配合相關(guān)的應(yīng)訴。應(yīng)急處置中的各業(yè)務(wù)處理系統(tǒng)由責(zé)任部門(mén)會(huì)同相關(guān)部門(mén)落實(shí)保障。6 后期處置6.1 善后處置應(yīng)急結(jié)束后，根據(jù)需要可保留部分應(yīng)急機(jī)構(gòu)負(fù)責(zé)善后工作。6.2 處置評(píng)價(jià)及內(nèi)審處置工作全部結(jié)束后，應(yīng)急管理辦公室應(yīng)將相關(guān)文件、資料及檔案進(jìn)行歸檔管理。歸檔以外的資料由責(zé)任部門(mén)留存、處理。突發(fā)事件應(yīng)急管理辦公室負(fù)責(zé)事后內(nèi)審調(diào)查，并應(yīng)就突發(fā)事件及處置工作出具內(nèi)審報(bào)告。報(bào)告內(nèi)容應(yīng)包括但不限于：對(duì)突發(fā)事件原因及責(zé)任的認(rèn)定，對(duì)處置工作作出描述及評(píng)價(jià)，總結(jié)處置工作的經(jīng)驗(yàn)與教訓(xùn)，提出內(nèi)審處理建議。7 核心路由器故障7.1 端口和板

13、卡故障當(dāng)核心路由器端口或板卡出現(xiàn)故障，導(dǎo)致該端口或板卡所連接線路發(fā)生中斷時(shí)，正常情況下，動(dòng)態(tài)路由協(xié)議會(huì)使中斷線路的SDH/ISDN/PSTN備份線路自動(dòng)啟動(dòng)，保證網(wǎng)絡(luò)連接的暢通。當(dāng)線路自動(dòng)切換失敗時(shí)：（1）XXXX銀行將進(jìn)入備份路由器配置狀態(tài)，PING命令手工撥號(hào)建立連接；（2）修改路由表，使應(yīng)用系統(tǒng)重新建立連接；（3）交易恢復(fù)；（4）切斷核心路由器電源，緊急更換故障端口或板卡；（5）進(jìn)入備份路由器配置狀態(tài)，恢復(fù)主干線路連接；（6）故障出現(xiàn)到交易恢復(fù)可在10分鐘之內(nèi)解決，到主干線路恢復(fù)全程故障解決可在30分鐘之內(nèi)。7.2 路由器背板或電源故障當(dāng)核心路由器背板（包括CUP、內(nèi)存等）或電源模塊出現(xiàn)

14、故障，導(dǎo)致核心路由器癱瘓時(shí)，正常情況下，EIGRP動(dòng)態(tài)路由協(xié)議會(huì)使所有中斷線路的備份線路自動(dòng)啟動(dòng)，保證網(wǎng)絡(luò)連接的暢通。當(dāng)線路自動(dòng)切換失敗時(shí)：（1）XXXX銀行進(jìn)入備份路由器配置狀態(tài)，PING命令手工撥號(hào)與所有對(duì)端建立連接；（2）應(yīng)用系統(tǒng)重新建立連接；（3）交易恢復(fù)；（4）緊急更換冷備核心路由器，并保證軟、硬件配置相同；（5）進(jìn)入備份路由器配置狀態(tài)，恢復(fù)主干線路連接；（6）故障出現(xiàn)到交易恢復(fù)可在10分鐘之內(nèi)解決，到主干線路恢復(fù)全程故障解決可在30分鐘之內(nèi)。8 核心交換機(jī)故障8.1 端口和板卡故障當(dāng)核心交換機(jī)端口或板卡出現(xiàn)故障，導(dǎo)致該端口或板卡所連接主機(jī)設(shè)備通訊發(fā)生中斷時(shí)，正常情況下，主機(jī)設(shè)備另外

15、一塊網(wǎng)卡將自動(dòng)通過(guò)熱備核心交換機(jī)HSRP協(xié)議與浮動(dòng)地址進(jìn)行數(shù)據(jù)通訊，交易不會(huì)受到任何影響，當(dāng)主機(jī)無(wú)法通過(guò)熱備核心交換機(jī)與浮動(dòng)地址通訊時(shí)：（1）進(jìn)入核心交換機(jī)配置狀態(tài)，shutdown故障端口或板卡，或直接將故障端口網(wǎng)線拔下；（2）當(dāng)主機(jī)和核心交換機(jī)連接徹底中斷后，主機(jī)另一塊網(wǎng)卡將自動(dòng)通過(guò)熱備核心交換機(jī)；（3）交易恢復(fù)；（4）切斷核心交換機(jī)電源，緊急更換故障端口或板卡；（5）故障出現(xiàn)到交易恢復(fù)可在10分鐘之內(nèi)解決，到主干線路恢復(fù)全程故障解決可在30分鐘之內(nèi)。8.2 交換機(jī)背板或電源故障當(dāng)核心交換機(jī)背板（包括CPU、內(nèi)存等）或電源模塊出現(xiàn)故障，導(dǎo)致核心交換機(jī)癱瘓時(shí)，正常情況下，HSRP協(xié)議會(huì)將浮動(dòng)

16、地址自動(dòng)重新綁定到熱備交換機(jī)，主機(jī)設(shè)備將通過(guò)另一塊網(wǎng)卡通過(guò)熱備交換機(jī)進(jìn)行數(shù)據(jù)通訊。當(dāng)HSRP協(xié)議自動(dòng)切換失敗時(shí)：（1）進(jìn)入核心交換機(jī)配置狀態(tài)，shutdown連接主機(jī)設(shè)備端口，或直接將連接主機(jī)端口網(wǎng)線拔下；（2）切斷核心交換機(jī)電源，使備份交換機(jī)激活standby地址；（3）交易恢復(fù)；（4）緊急更換冷備核心交換機(jī)，并保證軟、硬件配置相同；（5）故障出現(xiàn)到交易恢復(fù)可在10分鐘之內(nèi)解決，到主干線路恢復(fù)全程故障解決可在30分鐘之內(nèi)。9 防火墻故障9.1 端口、主板和電源故障當(dāng)防火墻發(fā)生端口、主板或電源系統(tǒng)故障時(shí)，導(dǎo)致防火墻直接癱瘓無(wú)法工作，正常情況下備份防火墻將通過(guò)failover機(jī)制自動(dòng)接管浮動(dòng)fa

17、ilover地址，保證網(wǎng)絡(luò)不會(huì)中斷。當(dāng)failover接管失敗時(shí)：（1）切斷兩臺(tái)防火墻電源，緊急更換配置相同的冷備防火墻；（2）交易恢復(fù)；（3）故障出現(xiàn)到全程解決可在30分鐘之內(nèi)。9.2 配置更改故障當(dāng)防火墻因?yàn)榕渲酶腻e(cuò)誤發(fā)生故障，導(dǎo)致網(wǎng)絡(luò)連接中斷時(shí)：（1）進(jìn)入防火墻配置狀態(tài)，上傳更改前備份配置文件到防火墻；（2）重新引導(dǎo)防火墻；（3）交易恢復(fù)，保存配置到failover防火墻；（4）故障出現(xiàn)到交易恢復(fù)可在30分鐘之內(nèi)解決。10 發(fā)卡系統(tǒng)雙機(jī)熱備切換雙機(jī)熱備的目的是在進(jìn)行系統(tǒng)維護(hù)或出現(xiàn)系統(tǒng)故障時(shí)將應(yīng)用切換到備機(jī)上運(yùn)行，減少應(yīng)用系統(tǒng)的停機(jī)時(shí)間。進(jìn)行Cluster切換有以下幾種情況:（1）正常切

18、換此時(shí)系統(tǒng)工作正常，進(jìn)行手動(dòng)切換是為了在主節(jié)點(diǎn)上進(jìn)行硬件擴(kuò)充、補(bǔ)丁升級(jí)等系統(tǒng)維護(hù)工作，或進(jìn)行Cluster切換定期演練工作。（2）系統(tǒng)硬件故障切換CPU/MEMORY如果出現(xiàn)內(nèi)核使用的CPU/MEMORY故障，造成操作系統(tǒng)panic，將引發(fā)Cluster切換。I/O如果多個(gè)IO設(shè)備同時(shí)發(fā)生故障，造成IO通道完全中斷，必然造成應(yīng)用異常中斷，但不會(huì)引發(fā)Cluster切換，必須手動(dòng)控制，將故障主機(jī)重新啟動(dòng)才可以實(shí)現(xiàn)Cluster切換。當(dāng)然，如果IO設(shè)備故障如果造成操作系統(tǒng)panic，將引發(fā)Cluster切換。電源、風(fēng)扇等附件如果多個(gè)電源故障，可能造成SF25K異常斷電，引發(fā)Cluster切換；如果多

19、個(gè)風(fēng)扇故障，由于溫度過(guò)高，會(huì)造成主機(jī)panic，并引發(fā)Cluster切換。（3）網(wǎng)絡(luò)故障切換網(wǎng)絡(luò)包括Cluster內(nèi)部通訊的私網(wǎng)和對(duì)外服務(wù)的公網(wǎng)兩部分。當(dāng)公網(wǎng)完全中斷，Cluster的內(nèi)部機(jī)制可以發(fā)現(xiàn)問(wèn)題并引發(fā)Cluster切換；當(dāng)私網(wǎng)完全中斷，按Cluster的機(jī)制，將隨機(jī)選擇Cluster中兩臺(tái)主機(jī)中的一臺(tái)panic，并引發(fā)Cluster切換。（4）操作系統(tǒng)故障切換如果發(fā)生任何可能造成系統(tǒng)危險(xiǎn)的故障，操作系統(tǒng)會(huì)自動(dòng)panic，而Cluster可以實(shí)現(xiàn)在一臺(tái)主機(jī)panic后重啟的情況下，將應(yīng)用程序切換到另外一臺(tái)主機(jī)上。（5）Cluster軟件故障切換目前使用的Cluster 3.2本身就是和

20、操作系統(tǒng)捆綁在一起的，也就是說(shuō)Cluster軟件的故障也會(huì)導(dǎo)致操作系統(tǒng)故障并panic，進(jìn)而引發(fā)Cluster切換。（6）應(yīng)用故障切換在應(yīng)用程序?qū)哟?，Cluster提供了接口進(jìn)行監(jiān)控和切換機(jī)制的自定義。由于應(yīng)用系統(tǒng)故障情況比較復(fù)雜，故發(fā)卡系統(tǒng)目前沒(méi)有對(duì)應(yīng)用系統(tǒng)進(jìn)行監(jiān)控，應(yīng)用系統(tǒng)的故障不能被Cluster發(fā)現(xiàn)并自動(dòng)切換，只能由手動(dòng)干預(yù)操作。10.1雙機(jī)熱切換觸發(fā)方式如上所述，當(dāng)Cluster檢測(cè)到系統(tǒng)硬件故障、網(wǎng)絡(luò)故障、操作系統(tǒng)故障或Cluster軟件本身故障等嚴(yán)重故障時(shí)，會(huì)自動(dòng)觸發(fā)切換。而一些系統(tǒng)、網(wǎng)絡(luò)或應(yīng)用方面的局部故障需要人工檢測(cè)和判斷，根據(jù)實(shí)際情況采用人工切換的方式。正常切換也需要采用人

21、工方式。人工切換即手動(dòng)運(yùn)行Cluster命令進(jìn)行切換。發(fā)卡系統(tǒng)中切換命令如下所示:將XXXX銀行貸記卡系統(tǒng)從Domain A切換到Domain B的命令為:# scswitch -z -g jxnxdbiprg, jxnxdbapprg, jxnxdbgrg -h cupd25k-b運(yùn)行切換命令后，Cluster將有關(guān)資源從主節(jié)點(diǎn)切換到備用節(jié)點(diǎn)。10.2雙機(jī)熱切換前準(zhǔn)備工作切換前準(zhǔn)備工作只針對(duì)手工切換的情況，其目的是為了保證切換的成功，對(duì)主節(jié)點(diǎn)和備用節(jié)點(diǎn)進(jìn)行檢查。（1）主節(jié)點(diǎn)檢查使用scstat命令檢查主節(jié)點(diǎn)上各Cluster資源組狀態(tài)處于ONLINE狀態(tài)。檢查數(shù)據(jù)庫(kù)v$locked_obje

22、ct視圖，確定無(wú)死鎖存在。（2）備用節(jié)點(diǎn)檢查由于換版時(shí)需要將備用節(jié)點(diǎn)和主節(jié)點(diǎn)進(jìn)行同步，且平時(shí)可能會(huì)在備用節(jié)點(diǎn)進(jìn)行一些維護(hù)工作，故需對(duì)備用節(jié)點(diǎn)進(jìn)行檢查，確保應(yīng)用運(yùn)行環(huán)境與主節(jié)點(diǎn)保持一致。使用scstat命令檢查備用節(jié)點(diǎn)上各Cluster資源組處于OFFLINE狀態(tài)。檢查備用節(jié)點(diǎn)上有關(guān)DB2數(shù)據(jù)庫(kù)實(shí)例和listener已啟動(dòng)并運(yùn)行正常。檢查備用節(jié)點(diǎn)文件系統(tǒng)有足夠可用空間，確認(rèn)操作系統(tǒng)日志中無(wú)異常報(bào)錯(cuò)信息。檢查備用節(jié)點(diǎn)上無(wú)EAE系統(tǒng)的NOF、WDP、ALINTER、ONLINERPT進(jìn)程和server進(jìn)程。10.3雙機(jī)熱切換的監(jiān)控檢查（1）網(wǎng)絡(luò)切換監(jiān)控檢查使用ping命令監(jiān)控網(wǎng)絡(luò)切換在一臺(tái)Windo

23、ws監(jiān)控機(jī)上，使用如下命令：ping -t 172.16.17.31命令，不斷地對(duì)浮動(dòng)IP執(zhí)行ping操作。當(dāng)切換開(kāi)始，會(huì)有一段時(shí)間無(wú)法ping通，記錄這段時(shí)間即可得到網(wǎng)絡(luò)切換所需的時(shí)間。切換完成后，使用ifconfig -a命令檢查浮動(dòng)IP是否切換到備用節(jié)點(diǎn)上。（2）應(yīng)用切換監(jiān)控監(jiān)控切換日志，記錄主節(jié)點(diǎn)應(yīng)用停止腳本開(kāi)始運(yùn)行的時(shí)間和備用節(jié)點(diǎn)應(yīng)用啟動(dòng)腳本運(yùn)行結(jié)束的時(shí)間。運(yùn)行scstat命令監(jiān)控主節(jié)點(diǎn)和備用節(jié)點(diǎn)上Cluster資源狀態(tài)。（3）應(yīng)用切換檢查檢查原主節(jié)點(diǎn)，確認(rèn)所有應(yīng)用系統(tǒng)已停止，直至olcp進(jìn)程退出。分別檢查當(dāng)前運(yùn)行節(jié)點(diǎn)應(yīng)用庫(kù)是否啟動(dòng)成功。如發(fā)現(xiàn)啟動(dòng)不成功，需立即停止并重新啟動(dòng)。運(yùn)行runsys檢查應(yīng)用系統(tǒng)是否啟動(dòng)；運(yùn)行nofruok檢查NOF進(jìn)程是否啟動(dòng)并正常工作；運(yùn)行ps -ef|grep ctp檢查CTP通訊進(jìn)程是否啟動(dòng)；檢查XXXX銀行的alincsrv進(jìn)程，測(cè)試ISPEC畫(huà)面登錄是否正常；重新啟動(dòng)后臺(tái)管理，全面