容災(zāi)HLR2倒換演練方案

中興HLR倒換演練方案一、演練目的根據(jù)工程計(jì)劃，江蘇已新建一臺(tái)容災(zāi)備份中興HLR用于覆蓋江蘇地區(qū)中興HLR用戶。該套HLR目前調(diào)測(cè)完畢，系統(tǒng)已經(jīng)具備割接入網(wǎng)的條件。為保證系統(tǒng)的安全性，在中興HLR2進(jìn)行倒換測(cè)試。二、演練規(guī)范當(dāng)容災(zāi)系統(tǒng)中的主用HLR（或稱主用HLR）出現(xiàn)嚴(yán)重故障，并且無(wú)法在短時(shí)間內(nèi)恢復(fù)時(shí)，業(yè)務(wù)需要切換到備用HLR（或稱容災(zāi)HLR）,保證用戶業(yè)務(wù)不受影響，切換過程采用手工切換，通過人機(jī)命令完成切換操作。三、演練場(chǎng)景當(dāng)主用HLR發(fā)生重大故障，按故障處理流程逐級(jí)立即上報(bào)，經(jīng)決策需要發(fā)起容災(zāi)切換時(shí)，發(fā)起切換操作：所有切換過程采用手工切換，通過人機(jī)命令完成切換操作?？梢酝ㄟ^OMC“專業(yè)維護(hù)”->“監(jiān)控中心容災(zāi)”界面進(jìn)行容災(zāi)HLR的手工切換操作，包括主用HLR托管和備用HLR接管以及托管回收和接管回切。HLR托管：主用HLR主動(dòng)發(fā)起的切換動(dòng)作，將業(yè)務(wù)訪問從主用HLR切換到容災(zāi)HLRHLR托管回收：主用HLR主動(dòng)發(fā)起的切換動(dòng)作，將業(yè)務(wù)訪問從容災(zāi)HLR切換到主用HLRHLR接管：容災(zāi)HLR主動(dòng)發(fā)起的切換動(dòng)作，將業(yè)務(wù)訪問從主用HLR切換到容災(zāi)HLRHLR接管回切：容災(zāi)HLR主動(dòng)發(fā)起的切換動(dòng)作，將業(yè)務(wù)訪問從容災(zāi)HLR切換到主用HLR在容災(zāi)HLR上執(zhí)行手工接管時(shí)容災(zāi)HLR自動(dòng)修改運(yùn)行狀態(tài)，（如果切換前與各局向的鏈路為閉塞狀態(tài)，需要先手工激活所有信令鏈路），允許業(yè)務(wù)運(yùn)行，同時(shí)界面可以根據(jù)需要指定是否允許BOSS受理。在主用HLR上執(zhí)行手工托管時(shí)主用HLR將自動(dòng)閉塞所有信令鏈路（與容災(zāi)HLR的直連鏈路除外），以促使對(duì)端網(wǎng)元將業(yè)務(wù)切換到容災(zāi)HLR，同時(shí)可以根據(jù)需要在界面指定是否禁止BOSS受理、是否允許容災(zāi)數(shù)據(jù)同步。當(dāng)主用HLR故障恢復(fù)時(shí)進(jìn)行HLR托管回收，并通知相關(guān)領(lǐng)導(dǎo)故障恢復(fù)，進(jìn)行業(yè)務(wù)測(cè)試和觀察。四、演練實(shí)施方案1．演練準(zhǔn)備網(wǎng)管中心核查的本地交換機(jī)（端局/IGW）的備份信令路由，確保備份路由指向HSTP；核查HSTP至各主用HLR的備份信令路由，確保指向新建中興容災(zāi)HLR。廠家進(jìn)行容災(zāi)HLR接管準(zhǔn)備A、 檢查容災(zāi)HLR的運(yùn)行狀態(tài)檢查容災(zāi)HLR的告警及通知消息，確認(rèn)容災(zāi)HLR運(yùn)行狀態(tài)正常。需要特別注意有無(wú)信令局向不可達(dá)或鏈路異常告警，如果有請(qǐng)確認(rèn)是否為手工閉塞的鏈路或局向，在容災(zāi)接管后是否需要解閉塞。B、 檢查容災(zāi)HLR的容災(zāi)狀態(tài)在容災(zāi)HLR的網(wǎng)管客戶端依次打開“視圖”->“專業(yè)維護(hù)”->“監(jiān)控容災(zāi)”，點(diǎn)擊“狀態(tài)查詢”。檢查容災(zāi)HLR信息中，需要接管的主用HLR所對(duì)應(yīng)的HLRNUM1狀態(tài)是否正常，為備用狀態(tài)，RunMode為“未接管”狀態(tài)C、 靜態(tài)緩存庫(kù)數(shù)據(jù)檢查連接Drsync庫(kù)（比如：用戶為drsOOl，密碼為drsOOl，實(shí)例為hlr）a） 使用sqlplusdrs001/drs001@hlrb） 查詢等待同步的數(shù)據(jù)用SQL語(yǔ)句Selectcount（*）fromr_hdrsyncssuwherestateO=O;如果出現(xiàn)等待的數(shù)據(jù)同步，需要檢查如下數(shù)據(jù)：1） 檢查系統(tǒng)的同步速度是否小于積壓的速度；2） 檢查主用Drsync和備用Drsync，備用Drsync和備用DBIO之間的鏈路是否正常連接；c） 查詢失敗同步的數(shù)據(jù)用SQL語(yǔ)句selectcount（*）fromr_hdrsyncssuwherestateO=2;如果步驟（c）的值不為0,則進(jìn)行2的操作；如果該值為0,則忽略2如果存在有失敗記錄，使用DrManager工具查詢失敗結(jié)果；失敗記錄可能的結(jié)果：1） 主用HLR和備用HLR環(huán)境配置數(shù)據(jù)不一致導(dǎo)致同步失敗，修改配置數(shù)據(jù)，使主用HLR和備用HLR數(shù)據(jù)一致，再進(jìn)行重同步操作2） 同步過程中系統(tǒng)忙導(dǎo)致同步失敗，可以通過工具進(jìn)行重同步進(jìn)行再次操作。靜態(tài)同步的失敗記錄通過DrManager工具進(jìn)行查詢的D、 動(dòng)態(tài)失步表記錄檢查動(dòng)態(tài)數(shù)據(jù)同步失敗記錄新版本都保存到PDSA節(jié)點(diǎn)上的U_WSyncFail表，老版本都保存在HSDB模塊上的R_HFAILSYN表中。該表標(biāo)記失步的用戶，動(dòng)態(tài)同步正常時(shí)，失步表中該記錄為0;如果主用側(cè)有積壓，則必須等全部同步完成后，才進(jìn)行容災(zāi)切換，否則可能會(huì)導(dǎo)致用戶動(dòng)態(tài)信息錯(cuò)序覆蓋。演練時(shí)間2011年10月27日晚23:00~10月28日03:00容災(zāi)切換與回切演練步驟3.1容災(zāi)切換3?1?1省份通知省份營(yíng)帳停止BOSS受理，停止向HLR發(fā)送BOSS指令為了避免主用HLR故障期間，故障HLR和容災(zāi)HLR之間用戶數(shù)據(jù)不一致，需要停止BOSS對(duì)故障HLR用戶數(shù)據(jù)的受理操作；容災(zāi)演練切換時(shí)，可能有少量工單受理導(dǎo)致主用HLR和容災(zāi)HLR執(zhí)行狀態(tài)不一致，也需要停止BOSS對(duì)主用HLR的受理操作。3.1.2廠家進(jìn)行容災(zāi)HLR手工接管在容災(zāi)HLR的網(wǎng)管客戶端依次打開“視圖”->“專業(yè)維護(hù)”->“監(jiān)控容災(zāi)”，點(diǎn)擊“狀態(tài)查詢”，在“容災(zāi)HLR信息”中選擇需要接管的HLRNumber（即待接管主用HLR的HLRNUM1）,點(diǎn)擊右鍵，選擇“接管”：此時(shí)將會(huì)彈出一個(gè)容災(zāi)接管選擇項(xiàng)供選擇，通常情況下需要選擇“發(fā)生容災(zāi)接管后，允許BOSS受理”和“發(fā)生容災(zāi)接管后，允許補(bǔ)充業(yè)務(wù)登記”不能選擇“通知容災(zāi)HLR協(xié)作接管”。也可以全都不選，但需要在接管完成后再修改“是否允許BOSS受理”為允許，否則后續(xù)BOSS側(cè)發(fā)起倒換，將業(yè)務(wù)受理指向容災(zāi)HLR時(shí)，業(yè)務(wù)受理將會(huì)失敗。注意：需要注意不能選擇第一項(xiàng)，第一項(xiàng)要求主用HLR配置為自動(dòng)托管時(shí)才起作用，目前主用HLR均配置為手工托管方式，因此此時(shí)如果選中該選項(xiàng)，接管操作將會(huì)失敗，因此不能選擇；點(diǎn)擊確定之后，再次點(diǎn)擊狀態(tài)查詢，其中需要接管的主用HLR所對(duì)應(yīng)的HLRNUM1運(yùn)行模式為“接管”狀態(tài)，是否允許BOSS受理為“Y”：其中所有接管的主用HLR對(duì)應(yīng)的HLRNUM1運(yùn)行模式顯示接管，則表示已接管成功。同時(shí)需要檢查是否允許BOSS受理為“Y”，如果為“N”，可以選中該主用HLR對(duì)應(yīng)的HLRNUM1，選擇打開BOSS受理。再次點(diǎn)狀態(tài)查詢，檢查是否允許BOSS受理為“Y”。3?1?3BOSS受理手工切換到容災(zāi)HLR在容災(zāi)HLR發(fā)起手工接管成功后，通知BOSS系統(tǒng)也同步修改，將業(yè)務(wù)受理消息發(fā)送到容災(zāi)HLR。3?1?4主用HLR手工托管在主用HLR的網(wǎng)管客戶端上依次打開“視圖”->“專業(yè)維護(hù)”->“監(jiān)控中心容災(zāi)”，點(diǎn)擊“狀態(tài)查詢”。在“主用HLR信息”中選擇一個(gè)HLRNumber點(diǎn)擊右鍵，選擇“托管”此時(shí)將會(huì)彈出一個(gè)容災(zāi)托管選擇項(xiàng)供選擇，只選擇“發(fā)生容災(zāi)托管后，允許其它HLR向本HLR進(jìn)行容災(zāi)數(shù)據(jù)同步”，注意不能選擇“通知容災(zāi)HLR協(xié)作托管”。注意：需要注意，不能選擇第二項(xiàng)，第二項(xiàng)“通知容災(zāi)HLR協(xié)作托管”要求容災(zāi)HLR配置為自動(dòng)接管時(shí)才起作用，目前容災(zāi)HLR為手工接管方式，因此如果選中，托管操作將會(huì)失敗，因此不能選擇。點(diǎn)擊確定之后，再次點(diǎn)擊狀態(tài)查詢，其中主用HLR所對(duì)應(yīng)的HLRNUM1運(yùn)行模式為“托管”狀態(tài)，主用HLR的HLRNUM1顯示為托管狀態(tài)，表示已托管成功。3.1.5切換后的系統(tǒng)運(yùn)行檢查3?1?5?1主用HLR系統(tǒng)運(yùn)行檢査在主用HLR上按照大號(hào)段，如：左匹配86和460,進(jìn)行全信令跟蹤檢查切換后的信令消息，應(yīng)當(dāng)只有容災(zāi)心跳消息及動(dòng)態(tài)同步消息，無(wú)業(yè)務(wù)請(qǐng)求消息。如果有業(yè)務(wù)請(qǐng)求消息，需要檢查是哪個(gè)局向的信令消息，并通過動(dòng)態(tài)管理功能將該局向的信令鏈路進(jìn)行手工閉塞。3?1?5?2容災(zāi)HLR系統(tǒng)運(yùn)行檢査檢查容災(zāi)HLR上的通知/告警消息，除容災(zāi)手工接管告警外，應(yīng)無(wú)其它異常告警；打開失敗觀察，檢查有無(wú)異常呼損；打開信令跟蹤，檢查容災(zāi)心跳及容災(zāi)動(dòng)態(tài)同步消息是否正常；查看接口機(jī)日志，檢查工單消息是否已發(fā)到容災(zāi)HLR，且無(wú)異常錯(cuò)誤碼(例如“系統(tǒng)錯(cuò)誤”、大量的ISDN不存在等錯(cuò)誤)容災(zāi)HLR受理臺(tái)修改測(cè)試用戶，檢查是否同步到原主用HLR；動(dòng)態(tài)同步積壓檢查，通過探針查詢U_WSyncFail是否有積壓記錄；檢查容災(zāi)HLR性能統(tǒng)計(jì)，與原主用HLR同時(shí)段性能是否一致；連接Drsync庫(kù)(比如：用戶為drs001，密碼為drs001，實(shí)例為hlr)使用sqlplusdrs001/drs001@hlr查詢等待同步的數(shù)據(jù)用SQL語(yǔ)句Selectcount(*)fromr_hdrsyncssuwherestate0=0;如果出現(xiàn)等待的數(shù)據(jù)同步，需要檢查如下數(shù)據(jù)：檢查系統(tǒng)的同步速度是否小于積壓的速度；檢查主用Drsync和備用Drsync，備用Drsync和備用DBIO之間的鏈

路是否正常連接查詢失敗同步的數(shù)據(jù)用SQL語(yǔ)句selectcount(*)fromr_hdrsyncssuwherestate0=2;（9） 如果有失敗緩存記錄，使用DrManager工具查詢失敗結(jié)果3.1.6業(yè)務(wù)測(cè)試（1）基本業(yè)務(wù)測(cè)試，由機(jī)房完成。序號(hào)測(cè)試條目備注1本地呼叫2外地呼叫3漫游呼叫4短消息收發(fā)5前轉(zhuǎn)呼叫2）動(dòng)態(tài)數(shù)據(jù)同步測(cè)試，由機(jī)房完成。序號(hào)測(cè)試條目備注1手機(jī)開關(guān)機(jī)，進(jìn)行位置更新，檢杳位置更新信息同步2GPRS位置更新，檢杳GPRS位置信息同步3短消息狀態(tài)信息同步4補(bǔ)充業(yè)務(wù)登記信息同步（3）動(dòng)態(tài)數(shù)據(jù)緩存，由廠家完成。閉塞容災(zāi)同步鏈路，進(jìn)行動(dòng)態(tài)數(shù)據(jù)更改，動(dòng)態(tài)數(shù)據(jù)緩存在容災(zāi)HLR，再解閉塞同步鏈路，檢查動(dòng)態(tài)數(shù)據(jù)同步是否正常。序號(hào)測(cè)試條目備注1手機(jī)開關(guān)機(jī)，進(jìn)行位置更新，檢杳位置更新信息同步2GPRS位置更新，檢杳GPRS位置信息同步3短消息狀態(tài)信息同步4補(bǔ)充業(yè)務(wù)登記信息同步（5）靜態(tài)數(shù)據(jù)同步測(cè)試，由省計(jì)費(fèi)BOSS指令測(cè)試。序號(hào)測(cè)試條目備注1用戶銷號(hào)2增加鑒權(quán)3用戶放號(hào)4修改手機(jī)狀態(tài)信息5修改補(bǔ)充業(yè)務(wù)登記信息（5）靜態(tài)數(shù)據(jù)同步緩存，由廠家完成。停止主用HLR的DRSYNC模塊，在容災(zāi)HLR上進(jìn)行業(yè)務(wù)受理操作，再啟動(dòng)主用HLR的DRSYNC模塊，通過Drmanager工具，完成緩存的失敗數(shù)據(jù)靜態(tài)數(shù)據(jù)同步。序號(hào)測(cè)試條目備注1用戶銷號(hào)2增加鑒權(quán)3用戶放號(hào)4修改手機(jī)狀態(tài)信息5修改補(bǔ)充業(yè)務(wù)登記信息6）用戶數(shù)據(jù)下插測(cè)試業(yè)務(wù)受理信息同VLR的數(shù)據(jù)同步序號(hào)測(cè)試條目備注1對(duì)已開機(jī)用戶修改手機(jī)狀態(tài)，進(jìn)行停復(fù)機(jī)操作2對(duì)已開機(jī)用戶修改補(bǔ)充業(yè)務(wù)登記信息3.2容災(zāi)回切3.2.1主用HLR回收準(zhǔn)備3?2?1?1檢査主用HLR的運(yùn)行狀態(tài)檢查主用HLR的告警及通知消息，確認(rèn)容災(zāi)HLR運(yùn)行狀態(tài)正常。除局向不可達(dá)告警及容災(zāi)切換告警外，應(yīng)無(wú)其它異常告警。主用HLR與容災(zāi)HLR的局向可達(dá)，有動(dòng)態(tài)數(shù)據(jù)同步消息3.2.1.2檢査主用HLR的容災(zāi)狀態(tài)在主用HLR的網(wǎng)管客戶端依次打開“視圖”->“專業(yè)維護(hù)”->“監(jiān)控中心容災(zāi)”，點(diǎn)擊“狀態(tài)查詢”，檢查主用HLR信息中，主用HLR所對(duì)應(yīng)的HLRNUM1狀態(tài)是否正常，為主用狀態(tài)，RunMode為“托管”狀態(tài)3?2?2停止BOSS受理，省份通知省計(jì)費(fèi)先停止向容災(zāi)HLR發(fā)送BOSS指令為了回切操作時(shí)，可能有少量工單受理導(dǎo)致主用HLR和容災(zāi)HLR執(zhí)行狀態(tài)不一致，也需要停止BOSS對(duì)容災(zāi)HLR的受理操作。3?2?3容災(zāi)HLR手工回切在容災(zāi)HLR的網(wǎng)管客戶端依次打開“視圖”->“專業(yè)維護(hù)”->“監(jiān)控容災(zāi)”，點(diǎn)擊“狀態(tài)查詢”，在“容災(zāi)HLR信息”中選擇需要回切的HLRNumber,選擇“回切”點(diǎn)擊回切后，此時(shí)將會(huì)彈出一個(gè)容災(zāi)回切選擇項(xiàng)供選擇，只選擇“發(fā)生容災(zāi)回切后，自動(dòng)通知BOSS切換”，選項(xiàng)“通知主用HLR協(xié)作回收”，該選項(xiàng)在自動(dòng)回收中有效。點(diǎn)擊確定之后，再通過點(diǎn)擊狀態(tài)查詢，其中需要回收的主用HLR所對(duì)應(yīng)的HLRNUM1運(yùn)行模式為“未接管”狀態(tài)顯示需要回切的容災(zāi)HLR為未接管狀態(tài)（其他容災(zāi)HLR如已接管，將仍為接管狀態(tài)，不受此次回切影響），回切成功。3.2.4主用HLR手工回收在主用HLR的網(wǎng)管客戶端依次打開“視圖”->“專業(yè)維護(hù)”->“監(jiān)控中心容災(zāi)”，點(diǎn)擊“狀態(tài)查詢”，在“主用HLR信息”中選擇主用HLR的HLRNumber（即主用HLR的HLRNUM1）,點(diǎn)擊右鍵，選擇“回收”。此時(shí)將會(huì)彈出一個(gè)容災(zāi)回收選擇項(xiàng)供選擇，可以選擇回收后是否允許其他HLR向本HLR進(jìn)行容災(zāi)數(shù)據(jù)同步（指DRSync向本HLR進(jìn)行靜態(tài)數(shù)據(jù)同步）。注意：需要選擇“發(fā)生容災(zāi)托管后，允許其他HLR向本HLR進(jìn)行容災(zāi)數(shù)據(jù)同步；點(diǎn)擊確定之后，狀態(tài)查詢結(jié)果如下，其中主用HLR所對(duì)應(yīng)的HLRNUM1運(yùn)行模式為“未托管”狀態(tài)，是否允許BOSS受理為“Y”：主用HLR點(diǎn)擊狀態(tài)查詢，生產(chǎn)HLR信息中顯示“未托管”，且“是否允許BOSS受理”為“Y”則表示回收成功；如果回收后，狀態(tài)“是否允許BOSS受理”為“N”，按以下步驟處理：1） 在容災(zāi)HLR上檢查生產(chǎn)HLR信息中所對(duì)應(yīng)的HLRNUM狀態(tài)是否為“未接管”狀態(tài)，如果不是，則再次進(jìn)行容災(zāi)HLR回切和主用HLR回收；2） 重復(fù)步驟1）直到容災(zāi)HLR中生產(chǎn)HLR信息對(duì)應(yīng)的HLRNUM狀態(tài)為“未接管”；再通過主用HLR上選中該主用HLR對(duì)應(yīng)的HLRNUM，點(diǎn)擊右鍵，選擇打開BOSS受理。3.2.5BOSS受理手工回切主用HLR在主用HLR發(fā)起手工回收成功后，通知BOSS系統(tǒng)也同步修改，將業(yè)務(wù)受理消息發(fā)送回主用HLR。3.2.6切換后的系統(tǒng)運(yùn)行檢查3.2.6?1主用HLR系統(tǒng)運(yùn)行檢査（1）檢查容災(zāi)HLR上的通知告警消息，除容災(zāi)手工托管告警外,應(yīng)無(wú)其它異常告警；（2）打開失敗觀察，檢查有無(wú)異常呼損；（3） 打開信令跟蹤，檢查容災(zāi)心跳及容災(zāi)動(dòng)態(tài)同步消息是否正常；（4） 查看接口機(jī)日志，檢查工單消息是否已發(fā)到容災(zāi)HLR，且無(wú)異常錯(cuò)誤碼（例如“系統(tǒng)錯(cuò)誤”、大量的ISDN不存在等錯(cuò)誤）；3?2?6?2容災(zāi)HLR系統(tǒng)運(yùn)行檢査在容災(zāi)HLR上通過全信令跟蹤檢查切換后的信令消息，應(yīng)當(dāng)只有