貝爾BSC設(shè)備重大操作后的監(jiān)控和預(yù)防措施

1、貝爾BSC設(shè)備重大操作后的監(jiān)控和預(yù)防措施中國聯(lián)通貴州省分公司 王宇摘要：從貴陽MX9主備單板倒換后無線接通率指標(biāo)異常切入，結(jié)合貝爾BSC設(shè)備硬件結(jié)構(gòu)、性能報告、TCH分配流程，深入分析無線接通率指標(biāo)異常的原因，并總結(jié)本次故障處理的經(jīng)驗，建立一套預(yù)防措施，提高快速定位解決問題的能力，盡可能減少貝爾BSC重大操作后網(wǎng)絡(luò)質(zhì)量出現(xiàn)異常的持續(xù)時間。關(guān)鍵詞：貝爾BSC 重大操作 監(jiān)控 預(yù)防一、 概述前期，貴州聯(lián)通貝爾區(qū)域各地市陸續(xù)進(jìn)行BSC設(shè)備的升級、倒換等重大操作，由于貝爾GSM設(shè)備存在一定的隱患，操作后部分BSC的無線接通率、問題小區(qū)比例等指標(biāo)出現(xiàn)大幅波動，如貴陽MX9、銅仁MX1，造成相應(yīng)區(qū)域的網(wǎng)絡(luò)

2、質(zhì)量和用戶接入感知下降。針對此問題，在深入掌握貝爾BSC設(shè)備和性能統(tǒng)計知識基礎(chǔ)上，結(jié)合TCH分配流程，以貴陽MX9無線接通率嚴(yán)重異常的故障為案例，分析問題產(chǎn)生原因，總結(jié)經(jīng)驗教訓(xùn)，制定預(yù)防措施，盡可能規(guī)避BSC設(shè)備重大操作后帶來的風(fēng)險，減少對網(wǎng)絡(luò)的影響。二、 貝爾BSC設(shè)備為了更好地預(yù)防和處理BSC側(cè)故障，需要對貝爾BSC的硬件結(jié)構(gòu)和單板功能有清晰的認(rèn)識。目前，貴州聯(lián)通公司有5個地市使用貝爾GSM設(shè)備，BSC采用A9130硬件設(shè)備，主要是由BSC、TC、MFS等三部分構(gòu)成。具體結(jié)構(gòu)介紹如下：BSC內(nèi)部結(jié)構(gòu)A9130 BSC主要有OMCP（操作維護(hù)控制處理板）、CCP（控制處理板）、TP（傳輸處理

3、板）、LIT接口板（傳輸接口單元）。OMCP單板相當(dāng)于一臺服務(wù)器，提供了系統(tǒng)管理的平臺，實現(xiàn)系統(tǒng)管理及操作維護(hù)的功能，使用1+1冗余備份。CCP單板實現(xiàn)呼叫控制功能，使用N+1冗余備份，每塊處理200個載頻。TP單板提供傳輸功能，使用1+1冗余備份。LIU接口板提供與ABIS , ATER MUX的傳輸接口，使用1+1冗余備份，通過CS-ATER接口與TC框相連，PS-ATER接口與MFS相連。MFS內(nèi)部結(jié)構(gòu)MFS主要有OMCP（操作維護(hù)控制處理板）、GPU、LIU、MUX等單板。GPU單板提供GPRS業(yè)務(wù)功能。LIU單板提供ATER MUX的傳輸接口。MUX單板實現(xiàn)E1和IP的轉(zhuǎn)換，使用1+

4、1冗余備份。TC框只有一種MT120單板，實現(xiàn)語音的編碼、解碼功能，并提供與MSC的傳輸接口。三、 貝爾性能報告 日常優(yōu)化人員根據(jù)性能報告了解網(wǎng)絡(luò)運(yùn)行情況，及時發(fā)現(xiàn)網(wǎng)絡(luò)存在的問題，并進(jìn)行維護(hù)和優(yōu)化。貝爾系統(tǒng)中性能報告的類型有很多，如TYPE1、TYPE9、TYPE18、TYPE110等等。每種類型的性能報告都是一些計數(shù)器的集合。常用的性能報告類型下：110報告：統(tǒng)計單位為單個TRX、單個CELL或者單個N7，體現(xiàn)TCH、SDCCH、N7等性能情況。180報告：統(tǒng)計單位為一條單向切換關(guān)系，體現(xiàn)話務(wù)流性能情況。31報告：統(tǒng)計單位為單個CELL或單個TRX，體現(xiàn)無線鏈路性能情況如上下行電平、質(zhì)量的統(tǒng)

5、計信息。GPRS報告：統(tǒng)計單位為單個CELL或PVC等，體現(xiàn)服務(wù)質(zhì)量、資源可用性和負(fù)荷等等信息。018報告：統(tǒng)計單位為單個BSC，通過對A口的TCH分配失敗及SD和TCH掉話進(jìn)行原因歸類，可以快速地對問題進(jìn)行判斷，主要問題歸類為BSC側(cè)和無線測。018報告的counter主要說明如下：SD和TCH掉話：根據(jù)下表中counter的統(tǒng)計值，就可以知道某BSC的掉話原因。若一個BSC內(nèi)的SD和TCH掉話較多，則可以結(jié)合上述各原因值進(jìn)行問題判斷，其中無線側(cè)原因為主要的原因值。CounterCounter說明掉話原因值C180aNB_N7_CLEAR_REQ_RadioIntMessFail無線接口信令

6、丟失C180bNB_N7_CLEAR_REQ_O&MintervO&M原因C180cNB_N7_CLEAR_REQ_EquipFail設(shè)備故障C180dNB_N7_CLEAR_REQ_RadioIntFail無線側(cè)原因C180eNB_N7_CLEAR_REQ_NoRadioResAvail無線側(cè)沒有可用資源C182NB_N7_CLEAR_REQ_EST_PHAS在占用TCH信道后或者小區(qū)間切換失敗和BSC切換失敗發(fā)生的掉話均被記為C182TCH分配失敗：根據(jù)下表中counter的統(tǒng)計值，就可以知道某BSC的TCH分配失敗主要原因，其中C181g為主要的原因值，其次為C181d。

7、若在原因值中出現(xiàn)其他類型分配失敗，如C181E、C181f、C181K等，則問題可能需要定位至BSC側(cè)。CounterCounter說明TCH分配失敗原因值C181aNB_N7_ASS_FAIL_RadioIntMessFail無線接口信令丟失C181bNB_N7_ASS_FAIL_O&MintervO&M原因C181cNB_N7_ASS_FAIL_EquipFail設(shè)備故障C181dNB_N7_ASS_FAIL_NoRadioResAvail無線側(cè)沒有可用資源C181eNB_N7_ASS_FAIL_ReqTerResUnav/Alloc被分配的資源不可用或者已被占用C181f

8、NB_N7_ASS_FAIL_ReqTrans/RateUnav被分配的資源編碼方式及速率不匹配C181gNB_N7_ASS_FAIL_RadioIntFailRevOldChan因無線原因返回原信道C181hNB_N7_ASS_FAIL_RadioIntFail無線側(cè)原因C181iNB_N7_ASS_FAIL_CipherAlgoNotSupp加密方式不被支持C181jNB_N7_ASS_FAIL_BSSnotEquipCIC資源未配置C181kNB_N7_ASS_FAIL_ProtocolErrorBSC和MSC間協(xié)議錯誤C181lNB_N7_ASS_FAIL_ReqSpeechVersU

9、nav手機(jī)不支持信道編碼方式四、 TCH分配信令流程根據(jù)以往的經(jīng)驗，貝爾BSC升級、倒換等重大操作后，最容易出現(xiàn)的問題是在TCH分配階段出現(xiàn)異常，導(dǎo)致接入失敗，引起B(yǎng)SC內(nèi)小區(qū)的無線接通率指標(biāo)惡化。通過常規(guī)優(yōu)化手段不能定位問題原因時，就需要使用掛信令儀或維護(hù)操作臺跟蹤信令，根據(jù)assginment failure消息攜帶的原因值，進(jìn)一步定位，因此網(wǎng)絡(luò)優(yōu)化人員需要熟悉正常及不正常時的TCH分配流程。正常的TCH分配流程異常的TCH分配流程-擁塞BSC收到分配請求時，無空閑的TCH信道可用，并且隊列功能未開啟或已滿，BSC發(fā)送帶“No Radio Resourece Available”原因的As

10、signment Failure消息，中止呼叫，C181d計數(shù)增加一次。異常的TCH分配流程-CIC不可用異常的TCH分配流程-CIC已分配BSC收到MSC發(fā)出的Assignment Request后，若發(fā)現(xiàn)如下情況：指定的CIC為0；由于操作維護(hù)的原因?qū)е轮付ǖ腃IC不可用，BSC會發(fā)送帶“Requested terrestrial resource unavailable”原因的Assignment Failure消息，中止呼叫，C181e計數(shù)增加一次。BSC收到MSC發(fā)出的Assignment Request后，若發(fā)現(xiàn)指定的CIC已被其他連接使用，會發(fā)送帶“Terrestrial Res

11、ource Already Allocated”原因的Assignment Failure消息，中止呼叫，C181e計數(shù)增加一次。BSC收到MSC發(fā)出的Assignment Request后，若發(fā)現(xiàn)以下情況：指定的CIC不存在指定的CIC沒有裝備或配置指定的CIC是No.7的信令信道BSC會發(fā)送帶“BSS not Equipped”原因的Assignment Failure消息，中止呼叫，C181j計數(shù)增加。BSC收到MSC發(fā)出的Assignment Request后，若發(fā)現(xiàn)以下情況：缺少信道類型碼，或指定的信道類型不是話音、數(shù)據(jù)或信令指定的信道類型為信令，但指定的信道速率不等于“SDCCH”

12、或“SDCCH or TCH”期望的CIC不存在或存在不期望的CIC指定的信道類型和速率組合不支持指定的數(shù)據(jù)速率不存在BSC會發(fā)送帶“Protocol Error between BSC and MSC”原因的Assignment Failure消息，中止呼叫，C181k計數(shù)增加一次。五、 典型案例1、 故障現(xiàn)象9月27日凌晨，貴陽分公司對現(xiàn)網(wǎng)5套MXBSC的所有業(yè)務(wù)板件進(jìn)行主備倒換，包括BSC的TP、OMCP、CCP，TC的MT120和MFS的GP等核心板件，倒換后，貴陽地區(qū)的無線接通率大幅下降，問題小區(qū)比例高達(dá)9.74%。2、 故障原因分析貴陽5套MXBSC的所有業(yè)務(wù)板件進(jìn)行主備倒換后，貴

13、陽MX9的無線接通率大幅下滑，尤其是話務(wù)忙時下滑非常明顯，按照以下步驟進(jìn)行分析排障處理：1、檢查問題BSC所有小區(qū)，發(fā)現(xiàn)絕大部分小區(qū)的無線接通率均呈不同幅度下滑，說明問題不是集中在某個別或者少數(shù)小區(qū)，排除個例，說明問題很可能與BSC的核心板件或者A口有關(guān)，同時也排除了CCP的問題，因為如果是某塊CCP問題，則問題小區(qū)應(yīng)集中映射到某塊CCP上，查看BSC告警信息，并無新增告警。2、查看GSM話務(wù)Type 110報告，發(fā)現(xiàn)無線接通率下滑是TCH分配成功率大幅下滑，TCH占用成功率保持平穩(wěn)，MC703和MC14b大幅下滑，而MC140a和MC812則基本保持平穩(wěn)，結(jié)合語音呼叫流程，說明TCH分配失敗

14、惡化并非擁塞引起，可以排除無線側(cè)問題，BSC收到assignment request以后，應(yīng)開始進(jìn)行channel activation流程，但尚未開始就被異常結(jié)束，出現(xiàn)這種問題可能是BSC無法占用MSC在assignment request消息里分配的A口CIC，所以呼叫流程直接被終止，還有一種可能是無線資源管理模塊異常，即BSC的無線資源管理模塊監(jiān)控到TCH信道狀態(tài)異常，直接結(jié)束呼叫流程，而不會進(jìn)行信道激活流程，進(jìn)一步查看GSM話務(wù)Type 018報告，發(fā)現(xiàn)問題BSC的C181E均大幅增長，基本上確定問題出在A口CIC異常，查看A口占用平均時長，并沒有某條A口CIC占用時間特別短的問題，占

15、用平均時長呈均勻分布狀態(tài)。3、經(jīng)過第一，二兩步的分析，已經(jīng)大致確定問題出現(xiàn)在了A口CIC，但實際上問題出現(xiàn)之前并未進(jìn)行過任何A口的操作，即A口CIC狀態(tài)異常僅僅是現(xiàn)象，并非是根本原因，考慮到問題出現(xiàn)前，進(jìn)行了TP，OMCP，CCP，TC的MT120和MFS的GP等板件的倒換，故在29日凌晨對問題BSC的TP，OMCP，MT120（未進(jìn)行CCP倒換，因為從前面第一步分析已經(jīng)排除CCP故障的可能）再次進(jìn)行了主備倒換，于29日晚忙時觀察指標(biāo)，未有改善，問題依舊。4、協(xié)調(diào)核心網(wǎng)導(dǎo)出A口CIC表和BSC側(cè)進(jìn)行一一核對，除了少數(shù)TS16和TS31在核心網(wǎng)側(cè)與無線側(cè)的定義不一致外，其余都是一致，解決狀態(tài)不一

16、致的CIC的問題后，指標(biāo)依然沒有明顯改善。5、通過掛表抓取N7信令，根據(jù)信令跟蹤文件過濾出所有的assginment failure消息，并查找消息里攜帶的cause value為requested terrestrial resource unavailable或者terrestrial resource already allocated的指配失?。?18報告中counter181E反映的就是此類問題），找到此類assginment failure消息后，再倒推找到該次呼叫對應(yīng)的assignment request消息，查找消息里MSC分配的CIC電路編號，說明該CIC就是狀態(tài)存在異常無法

17、占用，記錄下所有類似CIC的電路編號，經(jīng)過大量的分析，發(fā)現(xiàn)并非集中在某條CIC，而是分布散亂無規(guī)律，說明大部分CIC都有問題，而且CIC并不是完全持續(xù)不可用，而僅僅是偶發(fā)不可用（這與第二步分析提到的A口時隙平均占用時間呈均勻分布是吻合的），本來在BSC板件倒換前就已經(jīng)存在，只不過執(zhí)行板件倒換后，問題顯著惡化，CIC不可用的概率大幅增加。6、協(xié)調(diào)MSC工程師，進(jìn)行指定CIC撥打測試，對每條CIC進(jìn)行逐一撥測，但很難遇到TCH分配失敗原因是A口引起的，這與第五步分析的結(jié)論是相吻合的。7、綜合以上分析，可以看出，無線接通率下滑的原因是A口狀態(tài)不一致引起，且問題并非集中在某少數(shù)CIC，而是呈廣泛分布，

18、但A口CIC的不可用狀態(tài)是偶發(fā)的，不是持續(xù)的，所以在BSC上也看不到任何相關(guān)告警，屬于隱形故障。8、結(jié)合以往處理A口短時隙，傳輸?shù)粼挄r都是重啟MT120板的經(jīng)驗，我們在OMCR上通過對BSC的每條CIC進(jìn)行l(wèi)ock/unlock操作后，無線接通率恢復(fù)正常，至此問題得到解決。3、 解決措施在BSC的OMCR上，對每條CIC進(jìn)行l(wèi)ock再進(jìn)行unlock操作。六、 預(yù)防措施通過本次故障，發(fā)現(xiàn)BSC重大操作后的指標(biāo)監(jiān)控和問題處理上存在一定的問題。9月27日凌晨貴陽進(jìn)行BSC單板主備倒換，9月30日下午網(wǎng)絡(luò)優(yōu)化人員才發(fā)現(xiàn)無線接通率異常，指標(biāo)監(jiān)控嚴(yán)重滯后，需要加強(qiáng)BSC和網(wǎng)絡(luò)優(yōu)化人員之間的溝通力度，BS

19、C人員進(jìn)行重大操作前必須知會網(wǎng)絡(luò)優(yōu)化人員，網(wǎng)絡(luò)優(yōu)化做好指標(biāo)監(jiān)控和相關(guān)保障工作。10月1日16:00發(fā)現(xiàn)A口電路問題，10月2日凌晨處理完畢后貴陽MX9 的無線接通率才徹底恢復(fù)正常，問題定位和處理時間較長，對網(wǎng)絡(luò)質(zhì)量影響很大。為了防止這種故障的再次發(fā)生，非常迫切地需要建立一套預(yù)防措施，提高發(fā)現(xiàn)和處理問題的效率，優(yōu)化建議如下：1、 網(wǎng)絡(luò)優(yōu)化人員需要將018話務(wù)報告納入日常監(jiān)控范圍，及時發(fā)現(xiàn)指標(biāo)異常的共性問題并進(jìn)行處理，消除網(wǎng)絡(luò)潛在的隱患。2、 BSC人員在進(jìn)行重大操作前，必須通知網(wǎng)絡(luò)優(yōu)化人員在此期間監(jiān)控指標(biāo)。3、 網(wǎng)絡(luò)優(yōu)化人員發(fā)現(xiàn)指標(biāo)異常，必須立即通知BSC人員及其他相關(guān)人員。根據(jù)以往的經(jīng)驗，若出