2015年移動互聯(lián)網(wǎng)業(yè)務(wù)感知質(zhì)量評價細則試行稿(V2.0)

1、中國電信2015 年移動互聯(lián)網(wǎng)業(yè)務(wù)感知質(zhì)量評價細則（試行稿）1 綜述隨著 4G 移動互聯(lián)網(wǎng)絡(luò)的快速發(fā)展，移動互聯(lián)網(wǎng)絡(luò)的業(yè)務(wù)指標評價體系也將成為網(wǎng)絡(luò)運營的重要環(huán)節(jié)。集團公司根據(jù)對移動互聯(lián)網(wǎng)絡(luò)主要業(yè)務(wù)的特點，建立了移動互聯(lián)網(wǎng)業(yè)務(wù)感知的評價體系，通過移動互聯(lián)網(wǎng)業(yè)務(wù)感知測試APP（以下簡稱測試APP）從用戶終端側(cè)采集業(yè)務(wù)感知相關(guān)信息，統(tǒng)一上傳到集團服務(wù)器，由集團公司做統(tǒng)一的分析和評價。2 集團和省公司分工集團主要負責根據(jù)測試APP 采集到的數(shù)據(jù)進行分析和評估，包括：1）負責評價工作的整體組織和實施工作；2） 完成評價實施細則的制定；3） 按照評價細則對各省市的移動互聯(lián)網(wǎng)業(yè)務(wù)感知質(zhì)量進行評價；4） 按照

2、評價細則，每月篩選出各省市的質(zhì)差區(qū)域，并將質(zhì)差區(qū)域列表下發(fā)各省市；省公司主要負責的內(nèi)容包括：1）負責測試APP 的部署和推廣安裝工作，提升測試APP到達率；2） 針對集團提供的省內(nèi)質(zhì)差區(qū)域列表，進行詳細分析、排查和優(yōu)化，減少質(zhì)差區(qū)域數(shù)量，提升業(yè)務(wù)感知質(zhì)量。3 移動互聯(lián)網(wǎng)業(yè)務(wù)感知評價指標2015 年集團公司將對在3/4G 網(wǎng)絡(luò)下使用的網(wǎng)頁瀏覽類業(yè)務(wù)、視頻業(yè)務(wù)兩類業(yè)務(wù)三個KQI 指標進行評價。三個KQI 指標分別為網(wǎng)頁首包時延、頁面打開時延和視頻下載速率，各KQI 指標詳細定義如下：3.1 網(wǎng)頁瀏覽類業(yè)務(wù)KQI 指標3.1.1 網(wǎng)頁首包時延指標定義用戶發(fā)起瀏覽請求到收到目標服務(wù)器響應(yīng)第一個http

3、 200 ok 報文之間所經(jīng)歷的時長，單位為ms。計算公式網(wǎng)頁首包時延=終端收到目標服務(wù)器響應(yīng)的第一個http 200 ok 時間點 -終端向網(wǎng)頁發(fā)起連接請求的時間點。3.1.2 頁面打開時延指標定義用戶發(fā)起瀏覽請求到終端向服務(wù)器端發(fā)送FIN.ACk 消息之間所經(jīng)歷的時長，單位為ms。頁面打開時延反映了用戶從訪問開始到首頁下載完成需要的時間。補充說明：該指標的結(jié)束時間點并不是所有網(wǎng)元資源下載及瀏覽器加載并渲染完成的時間點。計算公式頁面打開時延=終端向服務(wù)器端發(fā)送FIN.ACk 消息的時間點-終端向網(wǎng)頁發(fā)起連接請求的時間點。3.2 視頻類業(yè)務(wù)KQI 指標：視頻下載速率指標定義用戶發(fā)起視頻播放請求

4、后的10s內(nèi)， 每 500ms記錄一次該階段的下載速率，并統(tǒng)計出整個階段的視頻下載的平均速率作為視頻下載速率指標，單位為kbps。計算公式視頻下載速率=發(fā)起視頻播放請求后的10s內(nèi)的下載流量/10s。請求的視頻文件大小大約在10M 左右。對于網(wǎng)絡(luò)狀況較好的情況下，如果不到10s就已經(jīng)下載完成，應(yīng)只統(tǒng)計下載期間的速率。4 指標獲取方式通過安裝在用戶移動終端上的測試APP對移動互聯(lián)網(wǎng)網(wǎng)頁瀏覽類業(yè)務(wù)和視頻類業(yè)務(wù)的感知數(shù)據(jù)進行采集，集采的結(jié)果直接上傳到集團集中的服務(wù)器，由集團統(tǒng)計分析系統(tǒng)進行統(tǒng)一的分析和展示。1）測試APP 工作模式：（ 1） 業(yè)務(wù)測試模式：由用戶在終端上手動發(fā)起測試，測試結(jié)果上傳集團

5、服務(wù)器。（ 2） 業(yè)務(wù)監(jiān)測模式：用戶無需單獨發(fā)起測試，由測試APP 對用戶終端訪問網(wǎng)頁瀏覽和視頻業(yè)務(wù)質(zhì)量進行自動監(jiān)測，并將監(jiān)測結(jié)果上傳集團服務(wù)器。2）測試APP 的版本：（ 1）公眾版：測試結(jié)果按照集團格式要求統(tǒng)一上傳到集團的業(yè)務(wù)感知分析系統(tǒng)。2） 專業(yè)版：對公眾版測試APP 輸入授權(quán)碼升級為專業(yè)版，具備業(yè)務(wù)感知KQI 指標測試及診斷測試能力。（ 3）插件版：將監(jiān)測功能內(nèi)置到其他測試APP（例如歡go、流量800、省公司自有APP 等）中，具備業(yè)務(wù)感知KQI指標采集能力。3）測試終端部署范圍：應(yīng)涵蓋省內(nèi)所有地市5 業(yè)務(wù)評價方式5.1 移動互聯(lián)網(wǎng)業(yè)務(wù)感知質(zhì)量優(yōu)良率指標定義移動互聯(lián)網(wǎng)業(yè)務(wù)感知質(zhì)量優(yōu)

6、良率（以下簡稱優(yōu)良率）用于衡量被評價區(qū)域內(nèi)用戶使用網(wǎng)頁瀏覽和視頻業(yè)務(wù)時業(yè)務(wù)感知質(zhì)量達到優(yōu)秀和良好的整體比例。計算方法以月為統(tǒng)計時間周期，以載扇為顆粒額度，先計算出每個載扇網(wǎng)頁瀏覽業(yè)務(wù)、視頻業(yè)務(wù)的優(yōu)良率，加權(quán)計算出該載扇的優(yōu)良率，最后再將所有載扇的優(yōu)良率做算術(shù)平均得到總的優(yōu)良率。設(shè)：各省總的優(yōu)良率為K，首包時延優(yōu)良率為K1 ，網(wǎng)頁打開時延優(yōu)良率K2，視頻下載速率優(yōu)良率為K3，網(wǎng)頁瀏覽業(yè)務(wù)優(yōu)良率為Kw， 視頻業(yè)務(wù)優(yōu)良率為Kv， 測試優(yōu)良次數(shù)為M， 發(fā)起測試總次數(shù)為N 。 （ M1 和 N1 表示首包時延優(yōu)良次數(shù)和首包時延總測試次數(shù)，同理M2、M3、N2 和N3）載扇i（i=1 、2、s）用c_i

7、表示，作為指標的下標使用，如：N1c_i 表示載扇c_i 發(fā)起網(wǎng)頁測試的次數(shù)，M1 c_i表示載扇 c_i 網(wǎng)頁首包時延優(yōu)良的次數(shù)，K1 c_i 表示載扇c_i 下的網(wǎng)頁首包時延優(yōu)良率，N2c_i、 M2c_i、 K2c_i、 N3c_i、 M3c_i、 K3c_i 表示的意思以此類推。省內(nèi)采集到發(fā)起測試的載扇數(shù)目設(shè)為s，網(wǎng)頁首包時延采集到載扇總數(shù)為s1，網(wǎng)頁打開時延采集到載扇總數(shù)為s2（由于網(wǎng)頁首包時延和網(wǎng)優(yōu)打開時延是在同一次測試中采集的，所以s1=s2） ， 視頻下載速率采集到載扇總數(shù)為s3。 （為排除偶然因素的影響，統(tǒng)計周期內(nèi)，測試樣本數(shù)小于等于2 次時的載扇不參與對應(yīng)KQI 指標優(yōu)良率

8、的計算 ）1）計算本月各載扇內(nèi)三個KQI 指標的優(yōu)良率計算公式為K1c i M1c_i*100% c_iN1c iK2ccM 2cN2c*100%M 3c iK3c i c_i *100% c_iN3c i2） 計算本月各載扇內(nèi)網(wǎng)頁瀏覽業(yè)務(wù)質(zhì)量優(yōu)良率Kw 及視頻業(yè)務(wù)的質(zhì)量優(yōu)良率Kv：Kwc_i=0.6*K1 c_i+0.4*K2c_iKvc_i=K3c_i3） 分別對網(wǎng)頁瀏覽業(yè)務(wù)和視頻業(yè)務(wù)統(tǒng)計本月本省內(nèi)所有扇區(qū)優(yōu)s1s3Kwc iKvc icc良率的平均值，公式為：Kw i 1， Kv i 1s1s34） 按照一定的權(quán)重對兩類業(yè)務(wù)的優(yōu)良率進行加權(quán)，計算本月省內(nèi)總的質(zhì)量優(yōu)良率，公式為：K 0.7

9、* Kw 0.3* Kv其中網(wǎng)頁瀏覽及視頻業(yè)務(wù)對應(yīng)權(quán)重暫定按照70%和 30%來統(tǒng)計計算。通過以上四步，可以計算出各省/區(qū) /市移動互聯(lián)網(wǎng)業(yè)務(wù)感知質(zhì)量優(yōu)良率。計分方法該指標達到基準值(80%)時得20 分， 每低于基準值1 個百分點扣1 分，最多扣10分 ;每高于基準值(80%)1 個百分點加0.5分，最多加5 分。5.2 測試 APP 到達率指標定義以季度為參考時間單位，計算本季度內(nèi)使用測試APP 的用戶數(shù)量占到所有含有數(shù)據(jù)套餐的出賬用戶的比例。計算方法設(shè)：測試APP 數(shù)量到達率為L，本季度內(nèi)使用測試APP 的用戶數(shù)為X，本季度內(nèi)含有數(shù)據(jù)套餐的出賬用戶數(shù)為Y，則計算公式為：XL *100%Y

10、數(shù)據(jù)源說明：1)使用測試APP 的用戶數(shù)：從集團公司移動互聯(lián)網(wǎng)業(yè)務(wù)感知測試 APP 統(tǒng)計分析系統(tǒng)中以測試APP 所采集的終端IMEI值為單位，統(tǒng)計出使用測試APP 的用戶數(shù)；2) 含有數(shù)據(jù)套餐的出賬用戶：每季度從集團市場部提取。計分方法測試 APP 數(shù)量到達率，基準門限為3，基準分為1 分；低于3時，每低于基準限萬分之一則在基準分的基礎(chǔ)上減0.04分，最低得 0 分；達到6時得1.1 分；達到9時，得1.2分；達到12時，得 1.3 分。5.3 質(zhì)差區(qū)域解決率業(yè)務(wù)感知指標評價的目的是為了發(fā)現(xiàn)質(zhì)差，指導各省持續(xù)開展優(yōu)化網(wǎng)絡(luò)，提升體用體驗。故定義質(zhì)差解決率指標，作為各省公司網(wǎng)絡(luò)優(yōu)化質(zhì)差解決的評價指

11、標。指標定義質(zhì)差解決率為當前月解決上月質(zhì)差區(qū)域的數(shù)量與上月質(zhì)差區(qū)域總數(shù)量的比例。質(zhì)差區(qū)域以載扇為單位進行統(tǒng)計，一個載扇算作一個區(qū)域。按照如下過程計算質(zhì)差解決率。1）篩選出質(zhì)差區(qū)域設(shè)：首包時延質(zhì)差率為Q1，頁面打開時延質(zhì)差率為Q2，視頻下載速率質(zhì)差率為Q3，網(wǎng)頁瀏覽業(yè)務(wù)質(zhì)差率Qw，視頻業(yè)務(wù)質(zhì)差率為Qv，測試為質(zhì)差次數(shù)為P，發(fā)起測試總次數(shù)為N。 （ P1 和 N1 表示首包時延質(zhì)差次數(shù)和首包時延總測試次數(shù)，同理P2、 P3、 N2 和 N3） 。載扇 i（ i=1、 2、 ）用 c_i 表示，作為指標的下標使用，如：Q1c_i表示載扇c_i 下的首包時延質(zhì)差率，同理對P1c_i和N1c_i， s_

12、i 表示載扇 c_i 為質(zhì)差區(qū)域，S表示質(zhì)差區(qū)域的集合即S=s_i,s_j,s_k, （為排除偶然因素的影響，統(tǒng)計周期內(nèi)，測試樣本數(shù)小于等于2 次時的載扇不參與對應(yīng)KQI 指標優(yōu)良率的計算)則三個 KQI 指標質(zhì)差率計算公式為：P1c_iP2c_iP2c_ iQ1c_i_ * 100% ， Q2c_i_ *100% 和 Q2c_i _ * 100%；N1c_iN1c_iN1c_i針對網(wǎng)頁瀏覽業(yè)務(wù)和視頻業(yè)務(wù)分別計算該載扇對應(yīng)的質(zhì)差率：Qwc_i=0.6*Q1 c_i+0.4*Q2c_iQvc_i=Q3c_i針對網(wǎng)頁瀏覽業(yè)務(wù)和視頻下載業(yè)務(wù)分別篩選質(zhì)差區(qū)域：當 Qwc_i>20%時，則 c_i

13、 載扇對應(yīng)的區(qū)域即為網(wǎng)頁瀏覽業(yè)務(wù)質(zhì)差區(qū)域；同理，當Qvc_i>20%時，則c_i 載扇對應(yīng)的區(qū)域即為視頻業(yè)務(wù)質(zhì)差區(qū)域。2)計算出質(zhì)差區(qū)域解決率令 St 表示本月質(zhì)差區(qū)域的集合，|St|為本月質(zhì)差區(qū)域的個數(shù)，St+1表示下月質(zhì)差區(qū)域的集合，則St St+1 表示本月和下月都是質(zhì)差區(qū)域的集合，那么質(zhì)差解決率Q 為：Q (|St | |St St 1 |) *100%| St |該公式表示，質(zhì)差解決率等于本月質(zhì)差區(qū)域在下月得到解決的個數(shù)比上本月質(zhì)差區(qū)域的個數(shù)的比例。計分方法質(zhì)差區(qū)域解決率，基本門限為85%， 基準得分為1 分； 低于 85%時，每降低一個百分點，降低0.03 分，最低得0 分；

14、達到90%時，得 1.1 分；達到95%時，得1.2分。6 評價時段選取6.1 質(zhì)量優(yōu)良率評價時段2015 年移動互聯(lián)網(wǎng)業(yè)務(wù)感知質(zhì)量優(yōu)良率評價時段為2015 年 11月及 12 月，按月評價，共評價兩次。6.2 測試 APP 到達率評價時段2015 年移動互聯(lián)網(wǎng)業(yè)務(wù)感知測試APP 到達率評價時段為2015年第 4 季度，以2015 年 12 月底的數(shù)據(jù)作為評價依據(jù)。6.3 質(zhì)差區(qū)域解決率評價時段2015 年移動互聯(lián)網(wǎng)業(yè)務(wù)感知質(zhì)差區(qū)域解決率評價時段為2015年12月。集團公司會在2015年 11 月底或者12 初向各省下發(fā)11 月份質(zhì)差區(qū)域列表信息，各省公司在12 月份以此列表為基礎(chǔ)開展優(yōu)化整治

15、，集團公司在12 月底會再次篩選出12 月份的質(zhì)差列表，根據(jù)5.3章節(jié)的計算步驟計算出12 月份的質(zhì)差區(qū)域解決率。3 月 21 日修訂優(yōu)良率統(tǒng)計算法（下述公式中如果某業(yè)務(wù)項沒有值則按照0 計算，3G、 4G瀏覽首包時延的劣質(zhì)門限分別定為900ms和 500ms,其他門限保持不變）1. 以小區(qū)為單位，區(qū)分3G小區(qū)和 4G小區(qū)，根據(jù)劣質(zhì)門限分別統(tǒng)計小區(qū)的首包時延優(yōu)良率、頁面打開時延優(yōu)良率、視頻下載速率優(yōu)良率，計算公式為單小區(qū)首包時延優(yōu)良率=首包時延優(yōu)良樣本數(shù)/ 首包時延總樣本數(shù)單小區(qū)頁面打開時延優(yōu)良率=頁面打開時延優(yōu)良樣本數(shù)/ 頁面打開時延總樣本數(shù)單小區(qū)視頻下載速率優(yōu)良率=視頻下載速率優(yōu)良樣本數(shù)/

16、 視頻下載速率總樣本數(shù)2. 有效小區(qū)定義：瀏覽業(yè)務(wù)：測試樣本大于等于16視頻業(yè)務(wù)：測試樣本大于等于63. 根據(jù)上述3 個指標優(yōu)良率率分別計算單小區(qū)的3G或者4G業(yè)務(wù)優(yōu)良率：3G單小區(qū)瀏覽類業(yè)務(wù)優(yōu)良率=0.3 *3G 首包時延優(yōu)良率+0.7 *3G 頁面打開時延優(yōu)良率、3G單小區(qū)視頻業(yè)務(wù)優(yōu)良率=3G視頻下載速率優(yōu)良率4G單小區(qū)瀏覽類業(yè)務(wù)優(yōu)良率=0.3 *4G 首包時延優(yōu)良率+0.7 *4G 頁面打開時延優(yōu)良率、4G單小區(qū)視頻業(yè)務(wù)優(yōu)良率=4G視頻下載速率優(yōu)良率3G視頻業(yè)務(wù)優(yōu)良率、4G瀏覽4. 根據(jù)業(yè)務(wù)優(yōu)良率計算全省業(yè)務(wù)優(yōu)良率（3G瀏覽業(yè)務(wù)優(yōu)良率、業(yè)務(wù)優(yōu)良率、4G 視頻業(yè)務(wù)優(yōu)良率），計算公式為：全省

17、 3G瀏覽業(yè)務(wù)優(yōu)良率數(shù)之和全省 3G視頻業(yè)務(wù)優(yōu)良率數(shù)之和全省 4G瀏覽業(yè)務(wù)優(yōu)良率數(shù)之和全省 4G視頻業(yè)務(wù)優(yōu)良率=各 3G有效小區(qū)瀏覽業(yè)務(wù)優(yōu)良率之和=各 3G有效小區(qū)視頻業(yè)務(wù)優(yōu)良率之和=各 4G有效小區(qū)瀏覽業(yè)務(wù)優(yōu)良率之和=各 4G有效小區(qū)視頻業(yè)務(wù)優(yōu)良率之和/ 發(fā)生瀏覽業(yè)務(wù)的/ 發(fā)生視頻業(yè)務(wù)的/ 發(fā)生瀏覽業(yè)務(wù)的/ 發(fā)生視頻業(yè)務(wù)的3G有效小區(qū)3G有效小區(qū)4G有效小區(qū)4G有效小區(qū)數(shù)之和5. 計算本月本省3G綜合優(yōu)良率和4G綜合優(yōu)良率，計算公式為：3G綜合優(yōu)良率=0.6 *全省3G瀏覽業(yè)務(wù)優(yōu)良率+0.4 *全省3G視頻業(yè)務(wù)優(yōu)良率4G綜合優(yōu)良率=0.6 *全省 4G瀏覽業(yè)務(wù)優(yōu)良率+0.4 *全省 4G視頻

18、業(yè)務(wù)優(yōu)良率6. 計算本月本省總的優(yōu)良率，計算公式為：省總優(yōu)良率=0.7*4G綜合優(yōu)良率+0.3*3G綜合優(yōu)良率7. 輸出統(tǒng)計報表，報表字段為：省、總優(yōu)良率、3G綜合優(yōu)良率、4G綜合優(yōu)良率、3G瀏覽業(yè)務(wù)優(yōu)良率、3G視頻業(yè)務(wù)優(yōu)良率、4G瀏覽業(yè)務(wù)優(yōu)良率、4G視頻業(yè)務(wù)優(yōu)良率樣本數(shù)據(jù)剔除規(guī)則：（下述公式中如果某項沒有值則按照0 計算）1. 沒有小區(qū)信息的測試樣本，包括瀏覽業(yè)務(wù)和視頻業(yè)務(wù)，剔除不參與計算2. 測試狀態(tài)為失敗的瀏覽業(yè)務(wù)測試樣本剔除，不參與計算；首包或者頁面打開時延為空的，不刪除，由于無法判斷，直接判斷為優(yōu)良點；3. 峰值速率為0 或平均速率為0的視頻業(yè)務(wù)測試樣本剔除，不參與計算3.1 X 和

19、電信WALN的數(shù)據(jù)剔除，不參與計算5. 如果一條數(shù)據(jù)存在重復（重復指的是同一個IMEI 號，同一時間，指標相同的數(shù)據(jù)）， 數(shù)據(jù)剔除重復的數(shù)據(jù)，保留一條，不參與計算6. 小 區(qū) 參 數(shù) 不 全 的 剔 除 （ 僅 針 對 小 區(qū) 參 數(shù) ， 其 他 參 數(shù) 不 關(guān) 注 ） ， 不 參 與 統(tǒng) 計 ， TAC-ENBID-CI/SID-NID-BID ， 參與計算的小區(qū)信息只需要滿足這三個數(shù)參數(shù)的值都為大于等于 0 的時候計為有效小區(qū)1. 4G 樣本中TAC大于65535 的測試樣本剔除，不參與計算8. 視頻業(yè)務(wù)中總流量3G低于0.3MB， 4G低于 1.5MB的樣本不參與計算9. 視頻類的騰訊視

20、頻的所有樣本不參與計算；A： 兩類業(yè)務(wù)三個KQI 指標在 3/4G 網(wǎng)絡(luò)下優(yōu)劣門限表業(yè)務(wù)主要評價指標優(yōu)秀門限劣質(zhì)門限目標網(wǎng)站及應(yīng) 用新聞 /門 戶等 網(wǎng)頁 瀏覽首包時延(3G)<=300ms>800ms主 流 Top10(具體域名詳見附錄C)首包時延(4G)<=200ms>500ms頁面打開時延 (3G)<=800ms>3000ms頁面打開時延 (4G)<=400ms>1500ms視頻業(yè)務(wù)視頻下載速率 (3G)>=1500kbps<400kbps主流Top 5(具體域名詳見附錄 C)視頻下載速率 (4G)>=5000kbps&l

21、t;2500kbps備注：1、 、 優(yōu)于優(yōu)秀門限判定為優(yōu)秀，優(yōu)秀比率僅作參考，不作為評價用。2、 優(yōu)于劣質(zhì)門限判定為優(yōu)良，優(yōu)良比率用于評價質(zhì)量優(yōu)良率。3、 差于劣質(zhì)門限判定為質(zhì)差，質(zhì)差比率用于質(zhì)差區(qū)域的篩選。附錄B：質(zhì)差區(qū)域劣質(zhì)比例判定門限以載扇為單位，按照網(wǎng)頁瀏覽及視頻業(yè)務(wù)分別篩選質(zhì)差區(qū)域，當質(zhì)差比率大于20%時，該載扇所在區(qū)域判定為質(zhì)差區(qū)域。附錄C： 業(yè)務(wù)感知質(zhì)量測評目標網(wǎng)站網(wǎng)頁瀏覽類業(yè)務(wù)評價目標網(wǎng)站暫定如下：（集團公司會根據(jù)業(yè)務(wù)發(fā)展情況對目標網(wǎng)站做更新）網(wǎng)站URL蘋果微博騰訊新浪網(wǎng)易163搜狐人民網(wǎng)百度淘寶鳳凰網(wǎng)視頻類業(yè)務(wù)評標目標網(wǎng)站暫定如下：（集團公司會根據(jù)業(yè)務(wù)發(fā)展情況對目標網(wǎng)站做更新）網(wǎng)站URL搜狐視頻優(yōu)酷視頻騰訊視頻愛奇藝土豆附錄 D：頁面打開時延計算圖示終端