運行監(jiān)管系統(tǒng)接口應(yīng)用投產(chǎn)應(yīng)急預案

1、中國農(nóng)業(yè)銀行 住建部運行監(jiān)管系統(tǒng)接口應(yīng)用投產(chǎn)應(yīng)急預案2011年3月目 錄一、總體規(guī)定3（一）應(yīng)急方案的適用范圍和基本要求3（二）應(yīng)急工作的組織領(lǐng)導3（三）應(yīng)急事件和應(yīng)急措施4二、應(yīng)急工作準備4三、應(yīng)急工作流程4（一）應(yīng)急事件的過濾與認定4（二）應(yīng)急事件處置5（三）應(yīng)急狀態(tài)解除5四、各類應(yīng)急事件及其應(yīng)對措施5（一）一類應(yīng)急事件5（二）二類應(yīng)急事件6（三）三類應(yīng)急事件6（四）其他主要依賴技術(shù)手段解決的應(yīng)急事件6一、總體規(guī)定（一）應(yīng)急方案的適用范圍和基本要求1、為了保證中國農(nóng)業(yè)銀行住建部運行監(jiān)管系統(tǒng)接口應(yīng)用切換上線工作順利進行，在出現(xiàn)系統(tǒng)功能故障、網(wǎng)絡(luò)通訊中斷等問題時，切換上線分行全轄信貸公積金委托

2、貸款業(yè)務(wù)能夠不中斷連續(xù)開展，防范操作風險信貸風險，特制定本應(yīng)急方案。2、本方案的適用范圍為系統(tǒng)切換接口上線工作期間，自開始投產(chǎn)數(shù)據(jù)移植開始，至特護期結(jié)束，參與與切換上線工作相關(guān)的所有機構(gòu)和人員。3、本方案從技術(shù)和業(yè)務(wù)兩方面，為應(yīng)對系統(tǒng)接口切換上線期間可能出現(xiàn)的由于接口系統(tǒng)功能、網(wǎng)絡(luò)通信、關(guān)聯(lián)系統(tǒng)接口、應(yīng)用能力等各類原因造成的移植切換部分或全部失敗、相關(guān)業(yè)務(wù)無法受理等風險（以下簡稱應(yīng)急事件），提供應(yīng)急指導方案。4、本方案以“連續(xù)處理業(yè)務(wù)，有效控制風險”為原則。應(yīng)急工作要做到統(tǒng)一領(lǐng)導、分級管理、嚴格權(quán)限、加強監(jiān)督。（二）應(yīng)急工作的組織領(lǐng)導系統(tǒng)切換上線期間的應(yīng)急工作，由軟件開發(fā)中心總監(jiān)室和應(yīng)用開發(fā)二

3、部組建領(lǐng)導小組統(tǒng)一領(lǐng)導，工作小組具體組織實施。1、領(lǐng)導小組的應(yīng)急工作職責：（1）審定住建部運行監(jiān)管系統(tǒng)接口應(yīng)用切換上線工作應(yīng)急方案。（2）組織對重大問題和突發(fā)事件進行分析，決定是否啟動應(yīng)急方案。（3）組織對應(yīng)急方案實施效果的評估，決定是否關(guān)閉重大應(yīng)急事件。2、工作小組的應(yīng)急工作職責：（1）制定應(yīng)急方案。（2）對收到的應(yīng)急事件報告進行分類過濾，初步認定應(yīng)急事件類型，擬定可采取的應(yīng)急措施。（3）對一般應(yīng)急事件，決定是否啟動應(yīng)急方案，并直接組織實施，及時向總監(jiān)室匯報。（4）對重大應(yīng)急事件或突發(fā)事件，報告領(lǐng)導小組決策，并根據(jù)領(lǐng)導小組決定組織應(yīng)急方案的具體實施。（5）對應(yīng)急方案實施效果進行評估，決定關(guān)閉

4、一般應(yīng)急事件，向領(lǐng)導小組建議關(guān)閉重大應(yīng)急事件。（三）應(yīng)急事件和應(yīng)急措施1、應(yīng)急事件應(yīng)急事件，是指由于數(shù)據(jù)移植或系統(tǒng)切換不成功、系統(tǒng)功能缺失或缺陷、與關(guān)聯(lián)系統(tǒng)連接不成功、網(wǎng)絡(luò)通訊中斷、主機等硬件設(shè)備故障造成的信貸業(yè)務(wù)大面積、大范圍暫停，需要采取緊急應(yīng)對措施的各類情況。系統(tǒng)切換上線期間的應(yīng)急事件分為以下類型：一類應(yīng)急事件：系統(tǒng)切換接口投產(chǎn)失敗或整體運行故障，需要退回；二類應(yīng)急事件：系統(tǒng)切換接口投產(chǎn)成功，但部分數(shù)據(jù)移植交易失?。蝗悜?yīng)急事件：系統(tǒng)移植切換接口投產(chǎn)成功，在運行期間由于系統(tǒng)功能問題或網(wǎng)絡(luò)通信故障，導致切換上線部分或全部業(yè)務(wù)流程無法辦理。2、應(yīng)急措施應(yīng)急措施，是指為應(yīng)對具體應(yīng)急事件所采取的

5、處置方法或手段。對不同類型的應(yīng)急事件，應(yīng)分析具體原因，采取不同應(yīng)急措施，包括以技術(shù)手段為主的技術(shù)應(yīng)急措施和以業(yè)務(wù)手段為主的業(yè)務(wù)應(yīng)急措施，以及綜合各種手段的綜合應(yīng)急措施。各類應(yīng)急措施必須經(jīng)領(lǐng)導小組或工作小組批準后方能實施。二、應(yīng)急工作準備1、系統(tǒng)切換前原TULIP平臺項目必須進行備份，隨時準備系統(tǒng)切換的需要。2、切換前，檢查網(wǎng)絡(luò)的聯(lián)通性。3、根據(jù)業(yè)務(wù)部門提出的應(yīng)急方案需求，在現(xiàn)有系統(tǒng)聯(lián)機查詢功能不能滿足的條件下，提供提取各類統(tǒng)計數(shù)據(jù)的替代方法（如后臺腳本、文件傳遞等）。4、技術(shù)人員隨時待命，等待解決問題。三、應(yīng)急工作流程（一）應(yīng)急事件的過濾與認定1、在系統(tǒng)切換上線期間出現(xiàn)的各類問題，應(yīng)第一時間向

6、工作小組的報告。2、工作小組的接到問題報告，應(yīng)快速判斷問題性質(zhì)，對屬于單點、偶發(fā)的事件，按照常規(guī)問題解決；對于大面積、普遍性問題，及時向領(lǐng)導小組報告。3、工作小組接到問題報告后，應(yīng)快速判斷問題性質(zhì)。（1）對屬于業(yè)務(wù)處理方法或系統(tǒng)操作方法問題，交項目組業(yè)務(wù)需求人員處理。（2）對屬于單點、偶發(fā)的技術(shù)故障，交項目組技術(shù)人員處理。（3）對屬于應(yīng)急事件范圍內(nèi)問題，進行風險評估，提出應(yīng)急措施建議。（二）應(yīng)急事件處置經(jīng)工作小組評估，對不同情況的應(yīng)急事件按如下要求處置：1、對24小時內(nèi)能夠查明原因并解決的應(yīng)急事件，由工作小組查明原因并組織解決，采取必要的技術(shù)應(yīng)急措施，并及時向領(lǐng)導小組匯報；2、對24小時內(nèi)無法

7、查明原因或預計無法查明原因，或24小時內(nèi)無法解決或預計無法解決的應(yīng)急事件，工作小組應(yīng)采取臨時應(yīng)急措施，并立即報領(lǐng)導小組協(xié)調(diào)解決。3、對預計48小時內(nèi)無法解決的，由領(lǐng)導小組決定啟動相關(guān)應(yīng)急方案。（三）應(yīng)急狀態(tài)解除在造成應(yīng)急事件的原因消除后，應(yīng)按以下流程及時解除應(yīng)急狀態(tài)，恢復正常運行狀態(tài)。1、對工作小組決定實施的應(yīng)急措施，由工作小組評估繼續(xù)實施應(yīng)急措施的必要性，決定是否解除應(yīng)急狀態(tài)，并向領(lǐng)導小組報告。2、對領(lǐng)導小組決定啟動的應(yīng)急方案，由工作小組評估繼續(xù)實施應(yīng)急措施的必要性，并向領(lǐng)導小組提出建議，由領(lǐng)導小組決定是否解除應(yīng)急狀態(tài)。3、應(yīng)急狀態(tài)解除后，工作小組組織系統(tǒng)正常運行狀態(tài)恢復工作，通知有關(guān)單位恢

8、復使用系統(tǒng)進行正常業(yè)務(wù)處理。四、各類應(yīng)急事件及其應(yīng)對措施（一）一類應(yīng)急事件系統(tǒng)切換接口投產(chǎn)失敗或整體運行故障，將備份項目數(shù)據(jù)進行恢復。1、切換不成功，回退到投產(chǎn)前狀態(tài)應(yīng)對措施： （1）系統(tǒng)由平臺中卸載，恢復備份數(shù)據(jù)；（2）其他關(guān)聯(lián)系統(tǒng)也退回到原來系統(tǒng)，對數(shù)據(jù)進行處理；（3）將實施情況上報領(lǐng)導小組。2、特護期內(nèi)，出現(xiàn)重大系統(tǒng)故障，需要回退至投產(chǎn)前狀態(tài)應(yīng)急措施： （1）備份系統(tǒng)已發(fā)生數(shù)據(jù)以及關(guān)聯(lián)系統(tǒng)數(shù)據(jù)。（2）系統(tǒng)回退至投產(chǎn)前狀態(tài)。（3）由技術(shù)支持組和業(yè)務(wù)支持組對整個系統(tǒng)進行內(nèi)部檢查、確認。（4）相關(guān)業(yè)務(wù)受理改用手工處理方式（5）其他關(guān)聯(lián)系統(tǒng)也退回到原來系統(tǒng)。（6）上述過程完成后，將實施情況上報領(lǐng)

9、導小組。（二）二類應(yīng)急事件問題現(xiàn)象：系統(tǒng)切換接口投產(chǎn)成功，但部分數(shù)據(jù)移植失敗。應(yīng)對措施：（1）對移植失敗數(shù)據(jù)，查明原因，重新移植；或者（2）確實不能通過系統(tǒng)移植的數(shù)據(jù)，手工在系統(tǒng)中補錄授權(quán)賬戶信息以及放款（支付）備案、留痕數(shù)據(jù)。（三）三類應(yīng)急事件接口投產(chǎn)系統(tǒng)切換成功，在運行期間由于系統(tǒng)功能問題或網(wǎng)絡(luò)通信故障，導致切換業(yè)務(wù)無法辦理。問題1、由于授權(quán)控制錯誤導致的審批中的授權(quán)控制無法正常通過。應(yīng)對措施：（1）檢查授權(quán)表中數(shù)據(jù)是否完整；（2）如果是程序錯誤的修正授權(quán)模塊程序錯誤。（3）通過參數(shù)調(diào)整，放開審批中的授權(quán)控制，或暫時取消授權(quán)控制。問題2、網(wǎng)絡(luò)通訊中斷，專線無法使用。應(yīng)對措施：因目前只有一根

10、專線，沒有備用線，所以，如果出現(xiàn)此類問題，可考慮采取撥號或者郵件傳送數(shù)據(jù)方式。（四）其他主要依賴技術(shù)手段解決的應(yīng)急事件問題3、部分交易運行慢、阻塞，導致整個系統(tǒng)運行效率低。應(yīng)對措施：（1）首先殺掉阻塞進程，如還不能解決問題系統(tǒng)重啟數(shù)據(jù)庫和CICS，保證系統(tǒng)能用；（2）技術(shù)人員檢查程序，修改并測試完成后部署。問題4、數(shù)據(jù)庫死鎖導致系統(tǒng)不能用。應(yīng)對措施：（1）首先殺掉死鎖進程，如數(shù)據(jù)庫還不能使用，重啟數(shù)據(jù)庫；（2）技術(shù)人員檢查程序，修改并測試完成后部署。問題5、硬件、網(wǎng)絡(luò)和系統(tǒng)軟件故障。應(yīng)對措施：開放平臺支持部等環(huán)境保障部門進行應(yīng)急處理，進行硬件更換、切換備用網(wǎng)絡(luò)或更新系統(tǒng)軟件版本，如還無法解決提交相關(guān)廠商進行處理。問題6、特護期間部分業(yè)務(wù)出