互聯(lián)網(wǎng)業(yè)務質(zhì)量指標計劃體系及其檢驗測試評估系統(tǒng)

1、-!互聯(lián)網(wǎng)業(yè)務質(zhì)量指標體系及測試評估系統(tǒng)、項目背景互聯(lián)網(wǎng)作為全業(yè)務發(fā)展的重要基礎，業(yè)務質(zhì)量直接影響3G、WLAN和有線寬帶業(yè)務的發(fā)展。然而當前網(wǎng)絡指標無法反映業(yè)務質(zhì)量、用戶業(yè)務感知無法量化評估、優(yōu)化工作只能圍繞網(wǎng)絡指標分段分層開展的問題，凸顯出互聯(lián)網(wǎng)業(yè)務質(zhì)量指標不完善、監(jiān)控手段的匱乏。知。網(wǎng)絡性能指標實際業(yè)務質(zhì)量網(wǎng)絡指標與用戶感知不對應：盡管網(wǎng)內(nèi)時延、抖動等各項指標優(yōu)秀， 但是用戶實際上網(wǎng)感知網(wǎng)速慢的問題突出;業(yè)務感知無法定量評估：用戶業(yè)務質(zhì)量感知、和競爭對手的業(yè)務質(zhì)量對比、化手段對業(yè)務質(zhì)量的提升效果無法定量評估;業(yè)務質(zhì)量劣化無法預警： 日常維護優(yōu)化工作主要圍繞網(wǎng)絡指標分段分層開展,通過數(shù)據(jù)統(tǒng)

2、計分析對業(yè)務質(zhì)量劣化進行預警。各種優(yōu)無法各種問題說明互聯(lián)網(wǎng)業(yè)務質(zhì)量指標體系不完善，不能反映真實的業(yè)務質(zhì)量狀態(tài)和用戶感指標體系不夠全面：現(xiàn)有監(jiān)控指標體系側重于網(wǎng)絡性能指標監(jiān)控,無法反映現(xiàn)網(wǎng)業(yè)務的真實情況，單靠網(wǎng)絡性能指標無法準確反應用戶的真實感知。故障發(fā)現(xiàn)速度慢：現(xiàn)有指標監(jiān)控體系不完善， 不能快速發(fā)現(xiàn)業(yè)務質(zhì)量故障和性能劣化情況，不能根據(jù)指標波動對業(yè)務質(zhì)量進行預警。本課題從互聯(lián)網(wǎng)業(yè)務感知角度出發(fā),對主流互聯(lián)網(wǎng)業(yè)務流程深入分析提煉，建立了互聯(lián)網(wǎng)業(yè)務質(zhì)量指標體系，對主要業(yè)務指標、采集方法、評估標準進行了規(guī)范。 同時為使指標落地，自主開發(fā)了互聯(lián)網(wǎng)業(yè)務質(zhì)量測試評估系統(tǒng)，通過軟探針采集數(shù)據(jù)，在服務端呈現(xiàn)報表

3、,構建了完整的互聯(lián)網(wǎng)業(yè)務質(zhì)量監(jiān)控系統(tǒng)，通過全網(wǎng)各種業(yè)務質(zhì)量數(shù)據(jù)自動采集和監(jiān)控，實現(xiàn)分業(yè)務、分地區(qū)、分時段業(yè)務質(zhì)量評估，解決了監(jiān)控手段不足的問題。二、技術方案（一）概述本項目研究的目標在于量化互聯(lián)網(wǎng)用戶體驗感知，形成可采集、可監(jiān)控、可提升的業(yè) 務質(zhì)量指標體系，并通過開發(fā)業(yè)務質(zhì)量測試評估系統(tǒng)，達到持續(xù)監(jiān)控優(yōu)化互聯(lián)網(wǎng)業(yè)務質(zhì)量、 提高用戶感知的目的。網(wǎng)絡性能抬標用戶業(yè)務感知項目從網(wǎng)絡、業(yè)務、用戶感知等層面現(xiàn)狀分析，梳理出影響用戶業(yè)務感知各項主要因素，并且在對各項目主要業(yè)務應用協(xié)議流程深入分析的基礎上,總結對用戶感知關聯(lián)密切的項目，整理制訂了互聯(lián)網(wǎng)業(yè)務質(zhì)量指標集。為了實現(xiàn)指標的落地， 本課題開發(fā)了業(yè)務質(zhì)

4、量監(jiān)控系統(tǒng)，通過業(yè)務測試探針和集中管理系統(tǒng)，實現(xiàn)對業(yè)務質(zhì)量指標的采集和監(jiān)控。后續(xù)圍繞業(yè)務質(zhì)量監(jiān)控系統(tǒng)， 以質(zhì)量指標的提升為目標， 將逐步優(yōu)化互聯(lián)網(wǎng)運維管理流程,建立業(yè)務質(zhì)量預警機制，實現(xiàn)由被動維護向主動維護的轉(zhuǎn)變。（二）方案介紹本項目的總體研究思路和步驟為:第一步，用戶感知分析 ：從投訴分析、用戶回訪等渠道，分析用戶對網(wǎng)絡的感知以及影響用戶業(yè)務感知的各種因素。第二步，建立指標體系：全面分析互聯(lián)網(wǎng)業(yè)務類型，總結主要業(yè)務，從應用協(xié)議流程分析入手，總結對用戶感知關聯(lián)密切的項目。第三步，開發(fā)應用系統(tǒng)：開發(fā)互聯(lián)網(wǎng)業(yè)務質(zhì)量采集與測試評估系統(tǒng)，實現(xiàn)業(yè)務質(zhì)量指標自動采集，以自主開發(fā)軟件方式為主，在全網(wǎng)分級、分

5、層部署軟探針，實現(xiàn)覆蓋范圍廣、成本低的業(yè)務質(zhì)量監(jiān)控體系。第四步，形成一體化運維體系：將監(jiān)控系統(tǒng)融合到已有網(wǎng)絡優(yōu)化運維流程中，形成質(zhì)量監(jiān)控、質(zhì)量優(yōu)化、質(zhì)量評估與提升的互聯(lián)網(wǎng)業(yè)務質(zhì)量運維管理體系。用戶嗣分析 L' 錢直指標體系-匸三lJ) Il幵蹟監(jiān)控系統(tǒng)I 連.r r . * P P 業(yè)務I KPIs兩絡KPIsr業(yè)務VJKPIs 1網(wǎng)絡1 網(wǎng)絡KPIsKPIs環(huán)戟能巧水平1*運氫提m的用尸A彌ttt標 fHTTP . MQ5. R.FHtor MDT. J業(yè)努 MH5Z 指標 I DWS.DH CriC MRUDR TCRRT FL J端靈M增tb標ftPK內(nèi)幕 霜他時ii, at也宰

6、“以下重點介紹兩部分內(nèi)容:$ 互聯(lián)網(wǎng)業(yè)務質(zhì)量指標體系;金互聯(lián)網(wǎng)業(yè)務質(zhì)量測試評估系統(tǒng)的研究情況。1、建立標準：互聯(lián)網(wǎng)業(yè)務質(zhì)量指標體系為了衡量用戶感知，量化互聯(lián)網(wǎng)業(yè)務質(zhì)量，我們對互聯(lián)網(wǎng)業(yè)務類型進行了深入分析,從信令協(xié)議過程入手， 制訂了完整的互聯(lián)網(wǎng)業(yè)務質(zhì)量指標體系；另一方面為了將互聯(lián)網(wǎng)業(yè)務質(zhì)量指標落地，與現(xiàn)實網(wǎng)絡維護工作相結合，從網(wǎng)絡的實際拓撲和維護分工，互聯(lián)網(wǎng)質(zhì)量指標體系從管理上同樣采取分層結構。(1)、業(yè)務質(zhì)量指標體系通過對當前互聯(lián)網(wǎng)主要業(yè)務的梳理，對各項主要業(yè)務協(xié)議流程、網(wǎng)絡層次建立了評估模型，并且按照不同的業(yè)務類型， 分別定義了各環(huán)節(jié)的指標及指標分層組合關系,隨后通過現(xiàn)網(wǎng)模擬，確定了各項指

7、標的測試獲取方法；最后為了使評估結果更加直觀，通過各項KPI指標的加權組合，為各項業(yè)務制訂了綜合評分的規(guī)則，并且對測試結果對應的業(yè)務質(zhì)量等級確定了取值范圍。SAP AService LinkServiceLayered NetworksISAP Z通過模型描述評估對象SAP_Z （網(wǎng)絡/業(yè)務）；!明確評估范圍；!約定網(wǎng)絡及業(yè)務存量對 象命名規(guī)則及權重設置7' 規(guī)則等訂匕才円廬色/指標層次Vr也關系定義/歹=1 測量方法、* 定義良好中等I"定義指標及層次關系；定義指標計算規(guī)則；建模 /,_ f評價標準'/定義/4 /乞=三= ! SLA符合度'.SLA良好控制

8、線J SLA中控制線<=.2 <=、'=100，即沒有 <= SLA符合度 / SLA符合度<'? < SLA中控制線/一項Critical、/? < 100，即沒有SLA良好控制線，-，即有CriticalMajor不符合條代Critical條款突£ ，即沒有Critical ： 條款突破（ SM / ,款（或只有破，有少量 條款突破，有；或者度為0）；*tMinor條款不滿'Major條款突破VMajor條款突破 或者有Major'足）;小、款突破1 、 '：. 定義一致的評價標準（SLA/SLO/指標閾

9、值/指標權重）規(guī)范測量方法及 參數(shù)，以及測量 結果處理規(guī)則；規(guī)范測量設備或 軟件部署方案薩!1=結合目前業(yè)務開展情況和中長期的業(yè)務規(guī)劃,業(yè)務質(zhì)量指標體系現(xiàn)階段重點考慮了WEB瀏覽、文件下載、在線游戲、自有業(yè)務、IPTV內(nèi)容:折請點擊下方文件查看中國移動CMNET網(wǎng)絡及業(yè)務指標體系技術規(guī)范（建議稿）中國移動CMNE網(wǎng)絡及業(yè)（2）、CMNE分層指標體系為了將互聯(lián)網(wǎng)業(yè)務質(zhì)量指標落地，集團公司、省公司、地市公司有明確的運維范圍與職責的劃分，在 CMNE網(wǎng)絡及業(yè)務指標體系時，需要與目前的運維體系相一致。I - IHH- -H MVia J丄sti/nHctJMLravitrwu*. IHIEi-fvCr

10、*iET.flBS4i(tS- IIIIItlII=-jf jf 和血 I 市晝©WWETSttFRlbt* 采 ICMNET質(zhì)量指標體系宏觀分級結構分級指標體系的實施建議按照“整體規(guī)劃，分步實施，逐級銜接關聯(lián)，持續(xù)優(yōu)化的過程實施。整體規(guī)劃整體規(guī)劃可以保證指標體系的一致性，保證同級運維實體間指標的可對技術規(guī)范的定義的主導權與解釋比性。制訂統(tǒng)一的技術規(guī)范是整體規(guī)劃得以落實的關鍵,權歸屬于集團公司，技術規(guī)范定義后，各級省、地市分公司需要對技術規(guī)范進行理解,出意見與建議，以保證技術規(guī)范的有效性。分步實施 在統(tǒng)一的技術規(guī)范指導約束下，集團、省、地市可分別獨立實施，條件成熟的省公司、地市公司可

11、以先行。同一公司在實施過程中，可以分業(yè)務逐步實施，比如先實施IP網(wǎng)絡及HSI業(yè)務，再逐步補充其他業(yè)務如VoIP業(yè)務或IPTV業(yè)務。逐級銜接關聯(lián)地市公司指標體系可以向上與省級指標體系銜接，省級公司指標體系可以向上與集團公司指標體系銜接。銜接的過程可以是逐步進行的。持續(xù)優(yōu)化 整個指標體系（包括技術規(guī)范與運行系統(tǒng)）應被視為一種寶貴的“智力資產(chǎn)”，提升運營能力的核心競爭力，需要持續(xù)經(jīng)營，持續(xù)優(yōu)化。技術規(guī)范需要長期維護,并及時修訂，以滿足網(wǎng)絡及業(yè)務質(zhì)量提升的要求，新的網(wǎng)絡技術、新業(yè)務要求指標體系及時跟進。2、指標落地：互聯(lián)網(wǎng)業(yè)務質(zhì)量測試評估系統(tǒng)為實現(xiàn)互聯(lián)網(wǎng)業(yè)務質(zhì)量指標體系的落地，項目組開發(fā)了 “互聯(lián)網(wǎng)業(yè)

12、務質(zhì)量采集與測IP網(wǎng)絡網(wǎng)格化，從用戶側、試評估系統(tǒng)”，以自主開發(fā)軟探針方式為主，在全網(wǎng)部署，將城域網(wǎng)、省網(wǎng)、骨干網(wǎng)各層各級，采集網(wǎng)絡質(zhì)量、業(yè)務質(zhì)量，從而實現(xiàn)“點-線-面”結合,既能查看整體業(yè)務質(zhì)量，同時也能按時間、按地區(qū)進行統(tǒng)計和分析。互聯(lián)網(wǎng)業(yè)務質(zhì)量測試評估系統(tǒng)架構包括三個部分:服務端：運行在服務器上，實現(xiàn)集中控制功能，探針管理、任務配置、指標采 集與分析、告警監(jiān)控等功能。探針/客戶端（Probe）：自主開發(fā)軟件，安裝在PC終端上，接收服務端指令,進行質(zhì)量測試（網(wǎng)絡質(zhì)量、業(yè)務質(zhì)量），上傳至服務端。網(wǎng)管系統(tǒng)：即IP綜合網(wǎng)管，從服務端獲取告警和報表數(shù)據(jù)，實現(xiàn)業(yè)務質(zhì)量告警、 報表的集中輸出和呈現(xiàn)。互

13、聯(lián)網(wǎng)業(yè)務質(zhì)量測試評估系統(tǒng)包括質(zhì)量指標體系設置、業(yè)務路徑與網(wǎng)絡鏈路自動關聯(lián)、探針關聯(lián)關系及故障定位、業(yè)務質(zhì)量告警、業(yè)務質(zhì)量評估等五個主要的功能模塊。質(zhì)量指標體系設置指標體系主要完成各種典型業(yè)務與KPI指標的定義、各指標的權重等，并且根據(jù)接入方式、用戶體驗，定義指標評價范圍：優(yōu)、良、中、差。業(yè)務路徑與網(wǎng)絡路徑自動關聯(lián)系統(tǒng)在進行業(yè)務測試時，自動跟蹤業(yè)務路徑，與網(wǎng)絡設備和鏈路進行關聯(lián)，完整記錄業(yè)務運行情況，可協(xié)助維護人員快速進行故障定位和處理。HutirtMz2OlO-O5-«2 23:43:231口Mla14rot* 址jUJU-lId#2LI.L43.Z34.J01JCO sii.i3_

14、33.iar2JLB1lZ42.1«1J3X-176.lO.fl32L4ZL-13<&-I»2LS.£Ot>.Z».242卻 0 旦216.239.-a.XJ5.JX,106中 ina 毎 4 vHirts 申昭1萍utM帶中BrT丑眷VHI帀Rtl并 V用布中 *IWtJP»Jb#rts中劇 bffnHEVUB童中甲中中申呻中中中9BU&1F科 ES科niqicMiirnsss 幵拝 責反ME鼻OOKVlm-ntdid 口Vg6MGfliKEternetS/O/fl圖：業(yè)務路

15、徑與設備關聯(lián)關系探針關聯(lián)關系設置及故障定位探針關聯(lián)是為了進行故障定位使用，在實際網(wǎng)絡中，探針與探針、探針與業(yè)務目標之間存在關聯(lián)和歸屬關系，明確探針關系，可以進行更精確的網(wǎng)絡質(zhì)量評估和故障定位。歸屬地的關聯(lián)：如省、市、縣、小區(qū)等;運營商、網(wǎng)絡層次的關聯(lián);探針之間的歸屬關聯(lián)： 在接入網(wǎng)絡層次中， 探針有屬于它的上級和下級，這樣可以更加精確地進行故障定位。 探針關聯(lián)設置詳細功能參加以下文檔。探針關聯(lián)設置及故障定位.doc業(yè)務質(zhì)量告警業(yè)務質(zhì)量告警主要報告告警條件設置和告警類別兩部分功能。告警條件主要包括單項KPI指標告警、指定用例告警、專項任務告警三種類型；告警類別主要包括基線告警、門限告警、可用性告

16、警、系統(tǒng)狀態(tài)告警等四種：? 基線告警：當前指標與前一段（7天）周期同時段（小時）指標值進行比較超過一 定的百分比，優(yōu)先級（嚴重 50、一般20、次要10）實現(xiàn)：配置頁面，配置內(nèi)容為：告警時間段（默認7天）、告警等級閥值：（嚴重50% 一般20%次要10%）。查詢緯度：時間段、告警等級、下降比率? 門限告警：按照用例類型、源 -目（歸屬運營商、地理區(qū)域歸屬省是否一致）指 標、進行設置。（一般告警）實現(xiàn)：門限配置頁面，按照用例類型進行配置，每個用例按照，探針與目的地址的 運營商和地理區(qū)域是否一致和指標進行設置。? 可用性告警：用例執(zhí)行情況、對失敗原因的區(qū)分告警（一般告警）實現(xiàn)：根據(jù)客戶端實際情況輸

17、出告警原因，進行告警。? 系統(tǒng)狀態(tài)告警：探針掉線，系統(tǒng)關鍵進程（嚴重告警） 業(yè)務質(zhì)量評估根據(jù)指標體系定義，可以根據(jù)自定義條件，實現(xiàn)特定區(qū)域、時間、業(yè)務類型、目標網(wǎng)站所屬區(qū)域（如運營商、地理區(qū)域等）的質(zhì)量評估，從而實現(xiàn)業(yè)務質(zhì)量變化的預警。 業(yè)務質(zhì)量評估指標定義方向詳見以下文檔。質(zhì)量評 計算方法.doc三、主要創(chuàng)新點本項目主要創(chuàng)新點體現(xiàn)在三個方面：制訂了互聯(lián)網(wǎng)業(yè)務質(zhì)量指標規(guī)范、自主開發(fā)了業(yè)務 質(zhì)量測試探針和監(jiān)控系統(tǒng)產(chǎn)品、創(chuàng)新性解決了業(yè)務質(zhì)量和網(wǎng)絡質(zhì)量的自動關聯(lián)問題。1、制訂了互聯(lián)網(wǎng)業(yè)務質(zhì)量指標規(guī)范：量化用戶互聯(lián)網(wǎng)業(yè)務體驗指標，將互聯(lián)網(wǎng)業(yè)務質(zhì)量評估和測試、監(jiān)控工作規(guī)范化、標準化、自動化，全面解決了目

18、前用戶感知評估和監(jiān)控的問題。目前該規(guī)范已經(jīng)通過集團公司在5個省份的試點驗證，正在申請中國移動企業(yè)標準。2、自主開發(fā)了業(yè)務質(zhì)量測試探針和監(jiān)控系統(tǒng)：自主開發(fā)軟探針和管理系統(tǒng)，軟探針基于通用PC平臺，不依賴于廠家硬件設備，不僅提高了測試工作效率，徹底排除了由于人為因素干擾測試結果準確性的問題，同時實現(xiàn)了自主知識產(chǎn)權。3、創(chuàng)新性地提出了業(yè)務質(zhì)量監(jiān)控與網(wǎng)絡質(zhì)量自動關聯(lián)的方法：實現(xiàn)了業(yè)務故障快速定 位功能，領先于業(yè)務同行業(yè)水平。四、效果分析1、互聯(lián)網(wǎng)業(yè)務質(zhì)量測試評估系統(tǒng)主要應用場景互聯(lián)網(wǎng)業(yè)務質(zhì)量測試評估系統(tǒng)主要解決目前業(yè)務質(zhì)量分析手段不足的問題，主要用在統(tǒng)計產(chǎn)生互聯(lián)網(wǎng)業(yè)務質(zhì)量報表，實現(xiàn)業(yè)務質(zhì)量的監(jiān)控，并且

19、能夠?qū)崿F(xiàn)互聯(lián)網(wǎng)業(yè)務質(zhì)量的評估和測試。典型的業(yè)務質(zhì)量監(jiān)控告警輸出示例如下:MH . *aiZ«flWWW辺 JI qCiJN2£iL*Q»in JiJ&II25Lfr4»-ai 科衛(wèi)“4ILTfi UKE出加 JJ KAL«ftHfirt鶴科HUdrirmb吧巨ACZVC KI電flps B&r* r 1*廠-1*4 r A AHtt眄 *步AAR程® mHI JI46.MUUNHSdLWII«jIWfcVAG3S業(yè)務質(zhì)量評估和報表主要包括業(yè)務質(zhì)量指標變化趨勢、競爭對手質(zhì)量評估對比、網(wǎng)內(nèi)不同區(qū)域業(yè)務質(zhì)量橫向?qū)Ρ?/p>

20、，典型示例如下:例1:江蘇移動中國移動的HTTP業(yè)務質(zhì)量評估應Pt* 召手 1 I b-M'rft WE人2*H謁"話二wtJKsaai = I0* KF'tith y_zri lOPRCM¥比.心 2 *utSA. nrTP±P-urriWX爭十 丁和!、fyia- I i 二旺 9«-D? q. fe / -n I 趕 亞*. I Z-a 3 4-09-00 0 <i-=i>w «>* i<i 些越書 g a頁o>叩序5* »亦*【she押-hi tvTTTTTEI.M EL站任Lie

21、*LEa; ELSr-> g -T 4 業(yè)黑bJMzrfh平他H7D3-QD S ?*_!；?r A 4呂:.75 5力. m l hlJfetV”R itL ; bBih-K .7例2 :江蘇移動中國電信的HTTP業(yè)務質(zhì)量評估Slt.Sf!： -* 林！輕SI 7IE 0 pa爲證 10-申哄抵 V j!(ixffiai l nrrpi»Mi4 “耐 aktt.W:»1Q4)M33 3Q10-W-14»掛：hiiS札 1'* st： ilS#. * iK： iIaH. y* MMH逼矗：ittJ -叭 祐十分5 2i * tj ' S9&#

22、165; HLMHUSBM 仃d3±九科£91(-0 11HTTRft 鑽Lt7i.S嗣mioMlTTltaKtl7S-S»托如9MTTPl購夢Ha科耶NrTP*«lt*-JifiT.mHrrPlt心iOlMWUHTTRa*!眥Qi-SJJiSIQlMfrOlurr叫s(機£財?&SI例3:常州各區(qū)域探針的質(zhì)量比較tP44t痢蟲小崖t曲運t石：方式 毗* 2* 刪英擁冊創(chuàng)審妬二 L岌 V 右九lift 7 ft5 :屮JiS *flgsi:自酬u段* :#f試對間a； « * BT M*券至2i VutxHHaasejoiKw

23、ia禺劇試101013阿 M1010X9 13剛擱 Iflt1010 <13RHifHiX2£10-013 1 2&0-<S-L5ft咅g V卅I V?4W斥卄J«»匹M耐liJiJS逵辛J#Jfii '5/M 7J.H».112、互聯(lián)網(wǎng)業(yè)務質(zhì)量測試評估系統(tǒng)試點應用情況在互聯(lián)網(wǎng)業(yè)務質(zhì)量測試評估系統(tǒng)開發(fā)測試階段,對系統(tǒng)功能逐步驗證的同時,進行與競爭對手質(zhì)量專項對比評估,并且對產(chǎn)生質(zhì)量差異的原因進行了初步分析;此外，針對內(nèi)容引獲取了大量測入、緩存加速、第三方出口三種典型的優(yōu)化加速手段的實際效果進行了評估,試數(shù)據(jù)。按照質(zhì)量評估辦法，對網(wǎng)站進行業(yè)務質(zhì)量評分，按優(yōu)、良、中、差分級，對業(yè)務體驗差網(wǎng)站進行分析。 請點擊下方文件查看四份分析報告。網(wǎng)絡競爭性評估根因分析.doc內(nèi)容引入完整性評估分析.doc緩存加速效果評估分析.doc第三方出口效果評估分析.doc五、應用推廣情況本項目中制定了互聯(lián)網(wǎng)網(wǎng)絡與業(yè)務質(zhì)量指標集和互聯(lián)網(wǎng)業(yè)務質(zhì)量指標體系， 已經(jīng)由集團公司組織在天津、黑龍江、上海、江蘇、福建等5個省公司進行了試點驗證。目前在申請中國移動企業(yè)標準，并在2010年中國移動網(wǎng)絡