基于客戶感知的網(wǎng)絡(luò)質(zhì)量評估系統(tǒng)

中國移動集團重點 /聯(lián)合研發(fā)項目結(jié)題匯報報告 2010年 12月 14日 項目名稱： 基于客戶感知的網(wǎng)絡(luò)質(zhì)量評估系統(tǒng) 項目編號： 2010_ 2頁 一 . 開題計劃完成情況 目 錄 二、主要研究成果 三、研究成果應(yīng)用 第 3頁 究背景及目標(biāo) 傳統(tǒng)的網(wǎng)絡(luò)評估體系，主要分為網(wǎng)管指標(biāo)、現(xiàn)場測試和客戶調(diào)查三大類。 現(xiàn)場測試 網(wǎng)管指標(biāo) 客戶調(diào)查 優(yōu)點 缺點 采集便利，分析手段成熟，指標(biāo)內(nèi)容豐富。 真實模擬客戶行為、貼近客戶感知。 直接反映各類客戶感知，反映客戶對網(wǎng)絡(luò)的需求。 現(xiàn)行考核體系組成 不同廠家設(shè)備存在差異，指標(biāo)變化與參數(shù)設(shè)置關(guān)系較大，無法完全客觀反映客戶感知，不能按照客戶品牌、終端品牌分類統(tǒng)計。 采集樣本少、模擬客戶行為場景少、僅限于專用終端測試，不能反映在網(wǎng)終端客戶的真實感知。 樣本少、主觀性強，調(diào)查問卷存在導(dǎo)向性，回答問題因人而異，地域文化或其他主觀因素對結(jié)果影響明顯。 第 4頁 究背景及目標(biāo) 各類移動增值業(yè)務(wù)快速發(fā)展、客戶需求凸顯多樣性，網(wǎng)絡(luò)質(zhì)量同質(zhì)化趨勢明顯，市場競爭決定了移動網(wǎng)絡(luò)運營成功的關(guān)鍵是用戶感知的好壞，運營商必須主動監(jiān)測和管理用戶在使用業(yè)務(wù)時的感知，能夠客觀、準(zhǔn)確、及時、全面的評估網(wǎng)絡(luò)質(zhì)量。 安徽公司提出建立基于客戶感知的移動全業(yè)務(wù)網(wǎng)絡(luò)質(zhì)量評估系統(tǒng)的研究課題。在充分整合現(xiàn)有網(wǎng)絡(luò)質(zhì)量評估體系的基礎(chǔ)上，通過對各類網(wǎng)元接口信令的深度挖掘，全面分析用戶行為、研究以客戶群分類的質(zhì)量評估方法，建立提升客戶感知的優(yōu)化手段，為后續(xù)工程規(guī)劃建設(shè)提供依據(jù)，為自主網(wǎng)絡(luò)優(yōu)化提供指導(dǎo)，為市場營銷提供決策依據(jù)。 第 5頁 究背景及目標(biāo) 建設(shè)基于客戶感知的全面評估系統(tǒng) 研究以客戶群分類的質(zhì)量評估方法 建立提升客戶感知的優(yōu)化手段 基于多接口信令采集和分析，對 類增值業(yè)務(wù)等，實現(xiàn)移動全業(yè)務(wù)的性能統(tǒng)計和流程跟蹤；以全量信息的采集統(tǒng)計實現(xiàn)全面客觀的評估； 實現(xiàn)對全網(wǎng)用戶的全程監(jiān)控，并各客戶品牌、終端品牌分類的網(wǎng)絡(luò)質(zhì)量性能統(tǒng)計，為精確營銷提供支撐，提高網(wǎng)絡(luò)優(yōu)化的針對性； 跟蹤定位各類影響客戶感知的問題，提供客戶疑難投訴問題快速回追分析手段、專題優(yōu)化和深度優(yōu)化的技術(shù)手段，高效便捷的提高客戶感知。 第 6頁 要研究內(nèi)容及分工 制定不同場景下各種業(yè)務(wù)端到端評估規(guī)范 研究不同業(yè)務(wù)對網(wǎng)絡(luò)服務(wù)的差異化需求，制定端到端的質(zhì)量評估規(guī)范，作為與客戶感知相關(guān)的評價依據(jù)。 2010年，結(jié)合集團“增值業(yè)務(wù)大會戰(zhàn)”工作，安徽公司已制定各場景下業(yè)務(wù)測試辦法及相關(guān)指標(biāo)規(guī)范。為在全業(yè)務(wù)運營環(huán)境下服務(wù)提高客戶感知提供支撐。 第 7頁 要研究內(nèi)容及分工 用戶行為分析模型的建立 基于信令信息的詳細記錄與回溯。分析影響客戶感知的異常行為信令流程，建立用戶行為模型，分析其行為特征。 實現(xiàn)按用戶品牌、區(qū)域、特定行為特征的分類，按用戶分類，細化各類基礎(chǔ)指標(biāo)，對于異常的指標(biāo)，能夠深入分析，助力提升特征用戶服務(wù)質(zhì)量。 第 8頁 要研究內(nèi)容及分工 通過信令監(jiān)測多維指標(biāo)、設(shè)備性能指標(biāo)、結(jié)合部分網(wǎng)管化的現(xiàn)場測試指標(biāo)、構(gòu)建網(wǎng)絡(luò)質(zhì)量多維度評估分析方法。 通過增加網(wǎng)絡(luò)質(zhì)量分析維度，設(shè)計評估方法，彌補性能指標(biāo)和現(xiàn)場測試中的不足，全面衡量網(wǎng)絡(luò)質(zhì)量。 網(wǎng)絡(luò)質(zhì)量 多維度評估分析方法的固化 第 9頁 要研究內(nèi)容及分工 實現(xiàn)上述 目標(biāo) 的手段及支撐系統(tǒng)的建設(shè) 根據(jù)需求重點研究建設(shè)信令監(jiān)測分析系統(tǒng)，實現(xiàn)可定制的分析功能，支持條件化的信令智能提取、自動分析與預(yù)警，實現(xiàn)自動派單功能。 為服務(wù)市場部門，本系統(tǒng)將實現(xiàn)與經(jīng)分系統(tǒng)的信息共享與交互，為市場提供更為精確的用戶行為信息、感知信息，同時獲得用戶品牌等相關(guān)業(yè)務(wù)反饋信息。 第 10頁 題計劃完成情況總結(jié) 工作完成時間段： 2010年 3月 2010年 10月 任務(wù)一：需求建模 任務(wù)二：設(shè)計優(yōu)化方案 任務(wù)三：性能評估 任務(wù)四：成果固化 梳理端到端業(yè)務(wù)質(zhì)量規(guī)范、完善基于客戶感知的日常質(zhì)量評估體系、明確信令監(jiān)測及分析平臺的功能需求。 完成用戶行為與質(zhì)量評估的映射關(guān)系，建立面向網(wǎng)絡(luò)質(zhì)量評估的用戶行為分析模型；完成低層信令采集的設(shè)計、完成軟件的功能設(shè)計開發(fā)。 通過客戶反饋，分析檢驗并修正質(zhì)量評估體系，建立可靠的網(wǎng)絡(luò)質(zhì)量評估體系。 完善客戶感知分析模型，建立網(wǎng)絡(luò)質(zhì)量評估系統(tǒng)，并實現(xiàn)固化。 任務(wù)一：需求建模 任務(wù)二：結(jié)合全業(yè)務(wù)特點，完成行為分析模型，設(shè)計優(yōu)化方案 任務(wù)三：通過客戶反饋，分析檢驗并修正質(zhì)量評估體系，實現(xiàn)客戶感知與系統(tǒng)分析的完全匹配 任務(wù)四：標(biāo)準(zhǔn)化固化工作，將本項目產(chǎn)生的業(yè)務(wù)模型，優(yōu)化方案等成果輸出企業(yè)端到端業(yè)務(wù)流程優(yōu)化工作中 務(wù)一：需求建模 任務(wù)二：結(jié)合全業(yè)務(wù)特點，完成模型建設(shè)，設(shè)計系統(tǒng)優(yōu)化方案 任務(wù)三：建立并修正質(zhì)量評估體系，建立可靠的網(wǎng)絡(luò)質(zhì)量評估體系。 任務(wù)四：成果固化工作，實現(xiàn)質(zhì)量評估和端到端業(yè)務(wù)流程優(yōu)化的固化與應(yīng)用 第 11頁 題計劃完成情況總結(jié) 開題計劃完成情況 目前，已經(jīng)按照前期開題計劃完成各項任務(wù)，達到了既定目標(biāo)。各研究內(nèi)容實現(xiàn)情況如下： 不同場景下端到端的全業(yè)務(wù)網(wǎng)絡(luò)質(zhì)量評估規(guī)范 網(wǎng)絡(luò)質(zhì)量多維度評估分析方法固化 研究用戶群體、區(qū)域、時域等外部因素影響，著重體現(xiàn)端到端的各種因素對感知指數(shù)的影響，實現(xiàn)客戶感知評估的量化。 通過多角度、跨平臺、分布式的系統(tǒng)架構(gòu)來實現(xiàn)多維度數(shù)據(jù)源的收集，對海量數(shù)據(jù)來源統(tǒng)一采集入庫、呈現(xiàn)，實現(xiàn)影響網(wǎng)絡(luò)質(zhì)量的各指標(biāo)多維度呈現(xiàn)，建立逐級下鉆分析的方法。 第 12頁 題計劃完成情況總結(jié) 用戶行為分析模型的建立 基于信令監(jiān)測和研究內(nèi)容的支撐系統(tǒng)的建設(shè) 基于信令信息的詳細記錄與回溯。分析影響客戶感知的異常行為信令流程，建立用戶行為模型，分析其行為特征。目前已實現(xiàn)按用戶分類，細化各類基礎(chǔ)指標(biāo)，對于異常的指標(biāo)，能夠深入分析。 通過上述關(guān)鍵技術(shù)的研究，并建設(shè)了信令分析應(yīng)用系統(tǒng)。實現(xiàn)了可定制的分析功能，支持條件化的信令智能提取、自動分析與預(yù)警，實現(xiàn)自動派單功能。 第 13頁 題計劃完成情況總結(jié) 本課題研究的不足 通過本課題的研究，實現(xiàn)對單用戶行為的精細分析，構(gòu)建了網(wǎng)絡(luò)用戶行為、網(wǎng)絡(luò)運行情況、端到端信令關(guān)聯(lián)情況的數(shù)據(jù)庫 ,為評估網(wǎng)絡(luò)質(zhì)量提供了更豐富的維度；并在此基礎(chǔ)上建立了基于 但由于時間較為倉促，本課題對現(xiàn)有資源未充分使用，例如對通過客戶感知的模型中權(quán)重優(yōu)化，使網(wǎng)絡(luò)質(zhì)量評估方法更貼近客戶感知；建立小區(qū)級用戶數(shù)據(jù)關(guān)聯(lián)，為小區(qū)精確營銷提供支撐數(shù)據(jù)等，可以作為下一階段研究內(nèi)容。 第 14頁 一 . 開題計劃完成情況 目 錄 二、主要研究成果 三、研究成果應(yīng)用 第 15頁 到端業(yè)務(wù)網(wǎng)絡(luò)質(zhì)量評估方法 通過對 對影響用戶感知的端到端業(yè)務(wù)進行分析，分析主被叫建立時各個階段的時延分布情況，分階段的評估網(wǎng)絡(luò)用戶端到端的感知情況。 評估分析方法見附件： 第 16頁 定不同場景下各種業(yè)務(wù)端到端評估規(guī)范 根據(jù)對個接口信令采集分析，并關(guān)聯(lián)基礎(chǔ)數(shù)據(jù)，制定不同場景下的端到端評估重要指標(biāo)體系： 農(nóng)村小區(qū)保證：掉話率、擁塞率 縣城小區(qū)保證：掉話率、擁塞率、尋呼成功率、 城區(qū)小區(qū)保證：掉話率、擁塞率、尋呼成功率、主被叫建立時延、愛爾蘭切換 話率，感知掉話率、擁塞率、尋呼成功率、主被叫建立時延、短信發(fā)送時延、愛爾蘭切換、掛機成功率、尋呼時延分析 第 17頁 定不同場景下各種業(yè)務(wù)端到端評估規(guī)范 通過關(guān)聯(lián)基礎(chǔ)數(shù)據(jù)找出網(wǎng)絡(luò)中的 些小區(qū)組成 再關(guān)聯(lián)分析經(jīng)分?jǐn)?shù)據(jù)，找出網(wǎng)絡(luò)重點用戶，這些用戶組成 結(jié)合網(wǎng)絡(luò)中六忙時。定義 這樣就建立針對不同用戶，不用區(qū)域、不同時段分別進行統(tǒng)計分析。 D B C A 接入性 保持性 完整性 接入性 保持性 接入性 保持性 完整性 接入性 保持性 完整性 第 18頁 絡(luò)質(zhì)量評估因子需求 通過對網(wǎng)絡(luò) 立對網(wǎng)絡(luò)質(zhì)量評估因子如下： 接入性（單用戶）：感知擁塞率、主被叫建立時延 、尋呼成功率。 保持性（單用戶） ：掉話率、信令掉話次數(shù)、感知掉話次數(shù) 、愛爾蘭切換、 2/3 用戶感知其他指標(biāo)（單用戶）：短信發(fā)送時延 、掛機成功率 第 19頁 維度基于客戶感知的網(wǎng)絡(luò)質(zhì)量評估體系 根據(jù)對網(wǎng)絡(luò)給接口采集數(shù)據(jù)的關(guān)聯(lián)分析，建立基于客戶感知的網(wǎng)絡(luò)質(zhì)量評估體系。課題實現(xiàn)了對重點用戶用戶感知的考核體系和對網(wǎng)絡(luò)質(zhì)量網(wǎng)絡(luò) 體評估體系見附件： 第 20頁 向網(wǎng)絡(luò)質(zhì)量評估的用戶行為分析方法 通過對用戶行為的分析，篩選出沿道路移動的用戶特征，根據(jù)設(shè)定覆蓋道路的小區(qū)集合，實現(xiàn)了可以隨時對設(shè)定的道路進行模擬測試，彌補了現(xiàn)場測試采樣有限，終端類型受限的弊端，提升道路沿線網(wǎng)絡(luò)質(zhì)量。 第 21頁 向網(wǎng)絡(luò)質(zhì)量評估的用戶行為分析方法 種依據(jù)用戶行為的網(wǎng)絡(luò)質(zhì)量分析方法 基于信令信息的詳細記錄與回溯，分析用戶感知的網(wǎng)絡(luò)事件，建立用戶行為的分析模型： 用戶短信發(fā)送數(shù)量統(tǒng)計 通過對網(wǎng)絡(luò)中每個用戶短信的統(tǒng)計，找出網(wǎng)絡(luò)中短信發(fā)送異常的用戶，并能夠找出網(wǎng)絡(luò)非法短信來源，凈化網(wǎng)絡(luò)提升用戶感知 。 用戶品牌分布情況 通過對網(wǎng)絡(luò)中異常用戶手機品牌的統(tǒng)計，找出各個品牌的網(wǎng)絡(luò)性能情況，為用戶感知提升提供新思路，協(xié)助處理網(wǎng)絡(luò)投訴問題。 重點用戶移動性分析模型 通過對網(wǎng)絡(luò)重點用戶的持續(xù)追蹤，找出重點用戶移動規(guī)律，為保障重點用戶的網(wǎng)絡(luò)質(zhì)量提供方法。 重點用戶社會性分析模型 通過對網(wǎng)絡(luò)重點用戶信令關(guān)聯(lián)分析，找出重點用戶的主叫電話分布、被叫電話分布、網(wǎng)絡(luò)業(yè)務(wù)分布情況，為制定市場營銷策略以及保障重點用戶的滿意度提供數(shù)據(jù)支撐。 第 22頁 接口全量 用戶 信令采集 的實現(xiàn) 及 海量信息分析方法 根據(jù)集團即將建設(shè)的網(wǎng)絡(luò)各接口采集、共享、分析的三層監(jiān)測系統(tǒng)。實現(xiàn)了對海量數(shù)據(jù)分析： 通過對個接口實時關(guān)聯(lián)，記錄用戶全業(yè)務(wù)的 通過對用戶信令過程的挖掘分析，從用戶感知出發(fā)，建議一套區(qū)別于信令掉話的感知掉話判斷方法。兩種掉話全面體現(xiàn)了用戶的網(wǎng)絡(luò)保持性。 對信令數(shù)據(jù)進行關(guān)聯(lián)分析，找出網(wǎng)絡(luò)中重點用戶的網(wǎng)絡(luò)指標(biāo)。通過對重點用戶的保障，提升用戶感知。 第 23頁 絡(luò)質(zhì)量 多維度評估分析方法的固化 通過該項目的研究與現(xiàn)場工程驗證，實現(xiàn)相關(guān)研究的支撐系統(tǒng)建設(shè)： 在時間上：實現(xiàn) 5分鐘、 15分鐘、 30分鐘等維度的網(wǎng)絡(luò)指標(biāo)統(tǒng)計。 在對象上：不僅可以對網(wǎng)元進行統(tǒng)計，還可以按照小區(qū)集合、用戶集合、終端集合進行網(wǎng)絡(luò)指標(biāo)的統(tǒng)計。 該系統(tǒng)能夠?qū)崿F(xiàn)以上功能。 第 24頁 維度評估分析方法的固化 基于對個接口信令的全程解析、分場景端到端評估規(guī)范、用戶行為分析模型建立、網(wǎng)絡(luò)質(zhì)量多維度評估方法固化等內(nèi)容研究，建立了一套基于客戶感知的網(wǎng)絡(luò)質(zhì)量評估系統(tǒng)。具體界面如下： 標(biāo)題欄 功能欄 導(dǎo)航窗口 數(shù)據(jù)呈現(xiàn)窗口 第 25頁 于客戶感知的網(wǎng)絡(luò)質(zhì)量評估系統(tǒng)建設(shè)情況 用戶感知的全面評估 用戶感知的接入性、保持性、完整性指標(biāo)體系，深入挖掘用戶感知的問題 豐富的用戶感知指標(biāo)維度 時間維度：目前系統(tǒng)支持十五分鐘、半小時、小時、日、周、月選擇數(shù)據(jù)。 網(wǎng)元維度：按照 區(qū)、小區(qū)集合進行選擇。 用戶維度：按照客戶群進行選擇。（ 話號碼） 豐富靈活、實用的監(jiān)控功能 設(shè)置指標(biāo)：操作人員可以將性能評估指標(biāo)加載成監(jiān)控指標(biāo)，可以自定義監(jiān)控不同的網(wǎng)元和用戶組。 設(shè)置掃描周期：系統(tǒng)可根據(jù)操作人員設(shè)定，最小支持十五分鐘的監(jiān)控力度。 監(jiān)控功能的作用：通過監(jiān)控重點用戶組或者重要區(qū)域，提前了解網(wǎng)絡(luò)問題，快速做出響應(yīng)。 趨勢圖和環(huán)比：系統(tǒng)還可以對監(jiān)控指標(biāo)進行趨勢分析和與上一天同時段情況進行環(huán)比，方便用戶問題判斷。 第 26頁 于客戶感知的網(wǎng)絡(luò)質(zhì)量評估系統(tǒng)建設(shè)情況 客戶感知與網(wǎng)絡(luò)質(zhì)量映射關(guān)系 基于客戶感知的網(wǎng)絡(luò)質(zhì)量評估系統(tǒng)實現(xiàn)了客戶感知與網(wǎng)絡(luò)質(zhì)量的映射，具體實現(xiàn)方式： 系統(tǒng)可以呈現(xiàn)各網(wǎng)元的網(wǎng)絡(luò)質(zhì)量指標(biāo)，分析出網(wǎng)絡(luò)指標(biāo)的好壞，并且可以直接下鉆至用戶級別，找出該網(wǎng)絡(luò)指標(biāo)的異常事件主要分布在哪些用戶上，是集中分布在個別用戶上還是均勻分布在每個用戶上。這樣實現(xiàn)了網(wǎng)絡(luò)指標(biāo)和用戶感知的對應(yīng)。 系統(tǒng)實現(xiàn)了網(wǎng)元和用戶集合的維度的提取，選擇網(wǎng)元和相同事件可以提取網(wǎng)元指標(biāo)和該網(wǎng)元下重點用戶的指標(biāo)情況，這樣把網(wǎng)元指標(biāo)和重點用戶的感知情況對應(yīng)在一起。 系統(tǒng)通過對信令的深層挖掘，針對用戶感知建立一整套指標(biāo)體系：包括：感知掉話、感知擁塞、感知話務(wù)量、用戶主被叫接入時延、感尋呼成功率、愛爾蘭切換、掛機成功率、短信發(fā)送時延等。這些指標(biāo)從影響用戶感知的接入性、保持性等方面評估用戶感知。將用戶感知和網(wǎng)絡(luò)指標(biāo)聯(lián)系在一起！ 第 27頁 信令查詢和回溯功能 通過對信令采集解析、關(guān)聯(lián)分析，可以及時的查詢到用詳細通話過程以及通話信令流程圖。為處理投訴和分析異常用戶提供幫助。 第 28頁 于客戶感知的網(wǎng)絡(luò)質(zhì)量評估系統(tǒng)功能介紹 通過對信令采集解析、關(guān)聯(lián)分析，根據(jù)特定的條件過濾出道路用戶，可以隨時根據(jù)設(shè)定的道路，對道路實行模擬測試，代替日常 第 29頁 于客戶感知的網(wǎng)絡(luò)質(zhì)量評估系統(tǒng)功能介紹 網(wǎng)絡(luò)優(yōu)化深度分析模塊相關(guān)介紹 通過對信令的采集解析，深層次對信令進行關(guān)聯(lián)處理，使其能夠為網(wǎng)絡(luò)問題的深度分析提供支撐。 實現(xiàn)了單通分析、乒乓切換分析、尋呼黑洞分析、位置區(qū)更新分析等網(wǎng)絡(luò)難點問題，直接定位分析。 實現(xiàn)了針對不同覆蓋區(qū)域各網(wǎng)絡(luò)指標(biāo)的匯總分析，并能夠通過圖例直觀呈現(xiàn)。 第 30頁 一 . 開題計劃完成情況 目 錄 二、主要研究成果 三、研究成果應(yīng)用 第 31頁 于客戶感知的網(wǎng)絡(luò)質(zhì)量評估系統(tǒng)的應(yīng)用 農(nóng)村弱覆蓋問題的輔助分析 將各農(nóng)村主要用戶分別定義客戶群，通過對這些客戶群的感知性能評估衡量農(nóng)村網(wǎng)絡(luò)覆蓋情況 比傳統(tǒng)的話務(wù)統(tǒng)計和 樣更全面、衡量更客觀、效率更高，主動性更強 結(jié)合話務(wù)統(tǒng)計智能分析、 戶群移動規(guī)律分析，對定位農(nóng)村弱覆蓋區(qū)域具有很好的應(yīng)用 先于客戶發(fā)現(xiàn)網(wǎng)絡(luò)問題，主動定位問題區(qū)域，加快問題發(fā)現(xiàn)和解決速度，避免用戶投訴或轉(zhuǎn)網(wǎng) 第 32頁 于客戶感知的網(wǎng)絡(luò)質(zhì)量評估系統(tǒng)的應(yīng)用 位置區(qū)更新不合理問題的輔助分析 通過位置去更新的排查，可以找出網(wǎng)絡(luò)中位置去更新不合理的網(wǎng)元，還可以找出網(wǎng)絡(luò)中位置區(qū)更新較差的用戶，實現(xiàn)端到端的優(yōu)化處理。 為該地市邊界小區(qū) 自動位置區(qū)劃分的評估，可以極大地 改善接通率和用戶感知！ 該小區(qū)的 位置區(qū)歸屬需優(yōu)化 第 33頁 于客戶感知的網(wǎng)絡(luò)質(zhì)量評估系統(tǒng)的應(yīng)用 高端用戶群的社會性分析 通過對全網(wǎng)用戶信令的關(guān)聯(lián)分析統(tǒng)計高端用戶群相關(guān)網(wǎng)絡(luò)習(xí)慣的，找出高端用戶群體相關(guān)規(guī)律，為市場營銷和用戶保障提供支撐。 第 34頁 統(tǒng)的經(jīng)濟效益分析 網(wǎng)絡(luò)優(yōu)化人力成本 傳統(tǒng)的優(yōu)化分析數(shù)據(jù)主要來源于性能統(tǒng)計和路測數(shù)據(jù)。針對疑難問題的分析，需要事后