應(yīng)用性能管理系統(tǒng)項目立項書160401

1、x應(yīng)用性能管理（APM系統(tǒng)）項目立項書2016年4月目 錄一、 應(yīng)用性能管理系統(tǒng)項目概述11.1 項目背景11.2 建設(shè)目標(biāo)11.2.1 遠期目標(biāo)11.2.2 本期目標(biāo)2二、 應(yīng)用性能管理APM系統(tǒng)的服務(wù)22.1 APM系統(tǒng)實現(xiàn)22.2 APM系統(tǒng)服務(wù)32.2.1 主動頁面性能監(jiān)控32.2.2 Web頁面及H5頁面監(jiān)控32.2.3 移動端APPs性能監(jiān)控42.2.4 應(yīng)用服務(wù)器端性能監(jiān)控5三、 應(yīng)用性能管理APM系統(tǒng)的價值63.1 APM對運維部門的價值73.2 APM對研發(fā)部門的價值7一、 應(yīng)用性能管理系統(tǒng)項目概述1.1 項目背景隨著云計算和移動互聯(lián)網(wǎng)的發(fā)展，支持隨時隨地進行業(yè)務(wù)交易的便利也

2、進一步推動著企業(yè)和政府部門開發(fā)互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)業(yè)務(wù)。各類APP和網(wǎng)站數(shù)量急劇增長，同類業(yè)務(wù)競爭進入白熱化階段，而國家提出的“互聯(lián)網(wǎng)+”戰(zhàn)略，也表明基于互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)業(yè)務(wù)是國家未來發(fā)展的驅(qū)動力。經(jīng)過近10年的發(fā)展，互聯(lián)網(wǎng)業(yè)務(wù)所必需具備的一些屬性也逐步明確，用戶體驗是其中重要的一個因素。用戶體驗是否良好成為業(yè)務(wù)成功與否的關(guān)鍵。影響應(yīng)用體驗的環(huán)節(jié)是貫穿從終端到服務(wù)端的，初步分析需要考慮的因素如下： 終端：終端性能，接入方式，OS版本； APP應(yīng)用：布局渲染，進程調(diào)用，代碼效率，閃退，崩潰； 瀏覽器端：客戶端時間，DNS，TCP連接，頁面渲染，JS錯誤，Ajax請求； 網(wǎng)絡(luò)傳輸：異常路由，延遲，

3、抖動，CDN節(jié)點設(shè)計和選擇； 云端即服務(wù)器端：硬件性能，設(shè)備延遲，并發(fā)壓力，應(yīng)用架構(gòu)，代碼效率，外部接口調(diào)用，數(shù)據(jù)庫調(diào)用；以上的任何一個環(huán)節(jié)出現(xiàn)問題都會影響用戶體驗，更何況中國的網(wǎng)絡(luò)環(huán)境南北互通復(fù)雜，網(wǎng)絡(luò)運營商眾多，OS次生系統(tǒng)和智能終端數(shù)量眾多，機房設(shè)備品牌眾多等因素的影響，用戶體驗的優(yōu)化更加難以把握?；跇I(yè)務(wù)層面的用戶體驗管理體系的建設(shè)可以讓業(yè)務(wù)系統(tǒng)的用戶體驗透明化，可有效的保障線上業(yè)務(wù)開展。隨著XX電子政務(wù)平臺整體信息化建設(shè)的加快，業(yè)務(wù)規(guī)模的不斷發(fā)展，為了能夠給用戶提供高效、可靠、穩(wěn)定的業(yè)務(wù)服務(wù)，提升OA、門戶、信息系統(tǒng)等業(yè)務(wù)的整體業(yè)務(wù)性能，建立一整套體系的涵蓋瀏覽器，網(wǎng)絡(luò)，應(yīng)用服務(wù)器端

4、的端到端應(yīng)用性能管理平臺顯得尤為重要。1.2 建設(shè)目標(biāo)1.2.1 遠期目標(biāo)建設(shè)XX信息系統(tǒng)從瀏覽器，APP，網(wǎng)絡(luò)到應(yīng)用服務(wù)器的全過程端到端應(yīng)用性能管理平臺，從用戶體驗角度全面掌控管理信息系統(tǒng)的服務(wù)狀態(tài)及業(yè)務(wù)支撐能力，夯實IT運維管理工作，并奠定業(yè)務(wù)和系統(tǒng)性能分析數(shù)據(jù)基礎(chǔ)，并與XX電子政務(wù)平臺云監(jiān)管服務(wù)模塊對接關(guān)聯(lián)，從而為XX管理決策提供數(shù)據(jù)支持。1.2.2 本期目標(biāo)為XX管理信息系統(tǒng)提供端到端應(yīng)用性能監(jiān)控和管理能力，對訪問過程中出現(xiàn)的異常第一時間做到“知其然”，更要“知其所以然”；擴大監(jiān)測范圍，對現(xiàn)有的所有業(yè)務(wù)系統(tǒng)實現(xiàn)APP，瀏覽器，網(wǎng)絡(luò)和應(yīng)用的數(shù)字化，切片化應(yīng)用性能指標(biāo)收集，對于訪問慢的問題

5、可精確到代碼級的定位能力。對現(xiàn)有監(jiān)控系統(tǒng)形成有效補充，基于業(yè)務(wù)全過程管理，實現(xiàn)代碼級性能和用戶體驗的監(jiān)控、預(yù)警、分析和定位，滿足業(yè)務(wù)系統(tǒng)在運行和維護階段的性能管理需求，實現(xiàn)性能剖析，幫助提前發(fā)現(xiàn)性能瓶頸，實現(xiàn)持續(xù)性優(yōu)化；幫助快速定位和解決問題，提升系統(tǒng)的穩(wěn)定性和高可用性，以滿足各層級人員的使用需求。本期應(yīng)用性能管理系統(tǒng)建設(shè)項目建設(shè)內(nèi)容如下： Web頁面及APP文件下載主動撥測監(jiān)控； Web/wap頁面被動監(jiān)控； APPs的前端性能監(jiān)控； 后端應(yīng)用系統(tǒng)性能監(jiān)控；二、 應(yīng)用性能管理APM系統(tǒng)的服務(wù)2.1 APM系統(tǒng)實現(xiàn)APM服務(wù)在性能監(jiān)測領(lǐng)域是一種成熟的服務(wù)模式，此業(yè)務(wù)的特點是部署比較簡單。且采取

6、的都是業(yè)界成熟的監(jiān)控手段。具體而言： 主動頁面性能監(jiān)控：采取業(yè)界通用的主動撥測的方案，對業(yè)務(wù)系統(tǒng)無需做任何更改； web頁面及H5頁面監(jiān)控：通過頁面注入JS代碼的方式進行監(jiān)控，被動式采集真實用戶訪問的性能數(shù)據(jù)，從而分析H5應(yīng)用分析的性能問題； 移動端APPs性能監(jiān)控：采用業(yè)界成熟的SDK方案，無需修改APPs的業(yè)務(wù)代碼，被動式采集用戶訪問APPs的性能數(shù)據(jù)； 應(yīng)用服務(wù)器端性能監(jiān)控：采取業(yè)界成熟的探針部署方案，無需修改服務(wù)端的業(yè)務(wù)代碼。 被動式采集真實用戶請求服務(wù)端的真實性能數(shù)據(jù)；通過采用以上監(jiān)控手段，即可對包括XX在內(nèi)的電子渠道業(yè)務(wù)實現(xiàn)全場景，端到端的性能監(jiān)控。2.2 APM系統(tǒng)服務(wù)按照移動互

7、聯(lián)網(wǎng)性能問題影響因素，APM系統(tǒng)建設(shè)后可為我部帶來如下方面的性能數(shù)據(jù)分析和服務(wù)內(nèi)容：2.2.1 主動頁面性能監(jiān)控1) 主動的全頁面性能監(jiān)測：通過主動撥測的方式對目標(biāo)頁面發(fā)起訪問，并實現(xiàn)瀏覽器性能，網(wǎng)絡(luò)性能的采集，包括首屏?xí)r間，總下載時間，DNS，TCP連接，首包時間等2) 全頁面訪問性能分析：通過報表展示可視化了解網(wǎng)站運行情況，以用戶視角了解網(wǎng)站運營表現(xiàn)。支持單頁面監(jiān)測、PING監(jiān)測、事務(wù)處理監(jiān)測等3) 業(yè)務(wù)交易流程監(jiān)測：完整模擬用戶的Web事務(wù)流程，對一個完整的事務(wù)流程進行監(jiān)測，從而定位整個事務(wù)流程中具體的性能瓶頸所在。比如：轉(zhuǎn)賬流程。從用戶登錄，到轉(zhuǎn)賬信息填寫，直至最后的付款，整個完整的事

8、務(wù)流程。在此過程中，可以了解到哪個步驟是整個流程的薄弱環(huán)節(jié)，如何去優(yōu)化流程，提高用戶的體驗4) CDN監(jiān)測：主動的CDN性能監(jiān)測；5) 端到端跨應(yīng)用追蹤：從主動撥測端跨應(yīng)用追蹤到Server端具體代碼；6) 真實用戶壓力測試：可提供至少5000并發(fā)以上真實的用戶訪問壓力，并結(jié)合后端應(yīng)用性能監(jiān)控系統(tǒng)，可真實評估在高并發(fā)壓力下定位系統(tǒng)的瓶頸或者不可用的性能臨界點，在重大活動開展或新功能上線前發(fā)現(xiàn)全訪問鏈路上的系統(tǒng)瓶頸并針對系統(tǒng)優(yōu)化，給予業(yè)務(wù)系統(tǒng)最大的保障。2.2.2 Web頁面及H5頁面監(jiān)控1) 頁面性能指標(biāo)監(jiān)控：支持受訪頁面列表排序，提供當(dāng)前應(yīng)用系統(tǒng)頁面加載耗時最長的頁面列表，點擊后可進入該頁面

9、分析頁，支持的指標(biāo)包括DNS解析，TCP建連，阻塞耗時，應(yīng)用耗時，首包時間，網(wǎng)絡(luò)耗時，DOM處理，頁面渲染，總響應(yīng)時間（從開始瀏覽計時），首次渲染時間（從開始瀏覽計時）。2) 自定義加載時間：自定義監(jiān)控頁面中某個Ajax請求的加載時間3) AJAX分析：支持AJAX頁面吞吐量數(shù)據(jù)采集及支持Ajax調(diào)用頁面統(tǒng)計，從請求量占比、平均響應(yīng)時間、調(diào)用次數(shù)、平均傳輸字節(jié)數(shù)（KB）、錯誤率。4) JS錯誤分析：提供瀏覽器JS錯誤分析，根據(jù)錯誤類型、瀏覽器UA數(shù)據(jù)、請求頁面和JS文件等相關(guān)指標(biāo)，幫助對瀏覽器頁面打開錯誤進行分析，并可提供詳細的錯誤堆棧信息。5) 用戶訪問慢頁面追蹤：針對單個用戶慢可展示當(dāng)次頁

10、面加載性能分解包括服務(wù)端響應(yīng)時間，DOM處理時間，頁面加載時間，Ajax請求時間，首屏?xí)r間。且可提供詳細的加載時序縮略圖展示資源加載、Ajax請求、用戶交互和其他四大類事件發(fā)生的時序，以及JS腳本錯誤發(fā)生的位置以及相關(guān)的腳本錯誤日志信息。6) 多維度組合分析：分運營商、地域、接入方式對頁面進行隨意組合分析，迅速確定和診斷區(qū)域性網(wǎng)絡(luò)錯誤及故障，地域維度可以細化到地市級別。需提供的分析指標(biāo)包括平均頁面加載時間，平均吞吐率，平均加載網(wǎng)絡(luò)延時，Apdex不滿意比率。7) 頁面聚合分析：支持根據(jù)預(yù)設(shè)的規(guī)則對REST等格式的頁面URL進行合并統(tǒng)計，即能對頁面和AJAX請求的URL鏈接地址不區(qū)分路徑和文件名

11、進行合并處理，進行性能數(shù)據(jù)統(tǒng)計和分析。8) 端到端跨應(yīng)用追蹤：支持從前端慢的元素跨應(yīng)用追蹤到后端Server具體代碼2.2.3 移動端APPs性能監(jiān)控1) 原生Native APP監(jiān)控 崩潰分析：能夠抓取的用戶崩潰軌跡、崩潰堆棧、上下文信息； 網(wǎng)絡(luò)分析：能夠?qū)?yīng)用層http進行分析，并能夠分析到DNS、TCP、SSL、網(wǎng)絡(luò)延時、首包時間； SOCKET分析：通過DNS耗時和TCP耗時對SOCKET連接的URL進行分析； 劫持分析：能夠?qū)τ蛎俪趾虳NS劫持進行地域，運營商和訪問量多維度分析與定位； 慢交互分析：能夠分析主線程、異步線程、設(shè)備使用情況，對線程的執(zhí)行邏輯，線程使用情況進行具體分析；

12、 組合分析：能提供用戶訪問地域，運營商，接入方式的組合性能分析； ANR分析：提供安卓系統(tǒng)發(fā)生ANR時刻的線程和日志信息、硬件環(huán)境、用戶自定義附加信息（電話號碼、賬號、商品ID、用戶ID）等，便于在用戶投訴之前發(fā)現(xiàn)問題并解決。 動作分析：提供手機發(fā)生頁面卡頓（加載超過4s（可自定義）耗時的動作）分析，給出具體的頁面，動作名稱，控件等詳細信息，定位最慢的方法并提供優(yōu)化的依據(jù) 跨應(yīng)用追蹤支持：支持從APP發(fā)現(xiàn)的慢交互中定位由于服務(wù)器響應(yīng)慢導(dǎo)致的問題，并能自動生成跨應(yīng)用追蹤鏈接分析Server端具體的慢代碼/數(shù)據(jù)庫/API端口。2) Webview監(jiān)控 Http分析：能夠分析域名的DNS時間、TCP

13、、SSL、網(wǎng)絡(luò)延時、首包時間； IP分析：能夠分析域名具體對應(yīng)的IP主機，并能夠分析主機IP的DNS時間、TCP、SSL、網(wǎng)絡(luò)延時、首包時間； 頁面分析：能夠分析頁面加載時間及頁面js錯誤； JS分析：能夠統(tǒng)計JS異常記錄；3) 報表展示 APP健康評分：能參考崩潰率、http響應(yīng)時間、網(wǎng)絡(luò)錯誤、http錯誤多個指標(biāo)對app性能進行直觀的評分； 儀表盤：能提供儀表盤添加所有指標(biāo)監(jiān)控； 組合分析：提供運營商、地域、接入方式多個指標(biāo)組合分析2.2.4 應(yīng)用服務(wù)器端性能監(jiān)控1) 應(yīng)用邏輯拓?fù)渥詣影l(fā)現(xiàn)和可視化：支持應(yīng)用組件和外部接口的自動發(fā)現(xiàn)和關(guān)聯(lián)，展示每個應(yīng)用組件的調(diào)用和被調(diào)用關(guān)系，以及吞吐率、響應(yīng)

14、時間、Apdex和錯誤率等指標(biāo)；支持增加，刪除操作；支持不同語言應(yīng)用的拓?fù)浒l(fā)現(xiàn)和關(guān)聯(lián)，包括Java，PHP，.NET，Node. JS，Python等2) 代碼分析：支持用戶設(shè)定關(guān)鍵應(yīng)用過程慢追蹤閥值來進行關(guān)鍵應(yīng)用過程的詳細追蹤3) 關(guān)系型數(shù)據(jù)庫性能監(jiān)控：支持MySQL, Oracle等數(shù)據(jù)庫實施監(jiān)控，定位性能最差的表名及其操作，定位調(diào)用者耗時，可以深入追蹤慢SQL，將對其進行詳細追蹤，提供包括完整SQL語句，SQL執(zhí)行堆棧Trace等信息4) 非關(guān)系型數(shù)據(jù)性能監(jiān)控：支持非關(guān)系型數(shù)據(jù)庫Memcache、Redis、MongoDB進行性能監(jiān)測分析，提供操作耗時，吞吐率，調(diào)用者耗時指標(biāo)，并可深入追

15、蹤跳轉(zhuǎn)到具體調(diào)用者的性能數(shù)據(jù)5) 應(yīng)用外部服務(wù)性能監(jiān)控：可區(qū)分自身調(diào)用和第三方調(diào)用的性能，支持多種協(xié)議的外部端口監(jiān)測，包含但不限于HTTP、Thrift、Dubbo，通過響應(yīng)時間占比、平均響應(yīng)時間、響應(yīng)總時間、吞吐率四個指標(biāo)對包括Web Service, REST等服務(wù)的調(diào)用的監(jiān)測分析。每一個調(diào)用url可以監(jiān)控到調(diào)用者的耗時、吞吐率等性能參數(shù)6) 不同版本的性能環(huán)比：支持用戶可對監(jiān)控平臺所監(jiān)控的應(yīng)用系統(tǒng)進行版本維護，用以記錄每次版本的迭代時間，從而根據(jù)維護的版本時間進行每個版本的性能比較。比較的對像包括應(yīng)用整體以及關(guān)鍵的應(yīng)用過程，可供選擇比較的參數(shù)包括Apdex指標(biāo)，應(yīng)用服務(wù)器響應(yīng)時間，錯誤率

16、，吞吐率，CPU和物理內(nèi)存消耗等7) 基于業(yè)務(wù)邏輯的多應(yīng)用服務(wù)器之間的性能關(guān)聯(lián)分析：不同語言環(huán)境的應(yīng)用服務(wù)器之間性能問題可關(guān)聯(lián)分析。系統(tǒng)后端的應(yīng)用服務(wù)器存在多個應(yīng)用節(jié)點的互相訪問，若用戶訪問是在多個節(jié)點之間完成處理，則后端的應(yīng)用性能監(jiān)控體系可明確的提供用戶訪問的業(yè)務(wù)邏輯拓?fù)?，并告知本次訪問的業(yè)務(wù)邏輯中那個應(yīng)用服務(wù)器節(jié)點影響了用戶體驗。并且提供詳細的追蹤入口，能從最開始響應(yīng)用戶請求的節(jié)點開始，一直追蹤到最后一個節(jié)點的響應(yīng)代碼級或慢SQL級別定位8) 客戶瀏覽器到應(yīng)用服務(wù)器端到端性能分析：前端頁面的性能監(jiān)控要能與后端應(yīng)用服務(wù)器的性能監(jiān)控實現(xiàn)關(guān)聯(lián)分析，即當(dāng)發(fā)現(xiàn)前端訪問性能慢，在前端的監(jiān)控系統(tǒng)可明確顯

17、示是本地渲染，DOM處理的問題，網(wǎng)絡(luò)層加載問題還是與后端應(yīng)用服務(wù)器問題。若是后端服務(wù)端問題則在前端監(jiān)控系統(tǒng)提供端到端追蹤入口，直接一鍵追蹤到具體后端應(yīng)用服務(wù)器的相對應(yīng)的主機和應(yīng)用過程，通過對應(yīng)用過程的追蹤，最終實現(xiàn)代碼級定位9) 自定義關(guān)鍵應(yīng)用過程：支持根據(jù)用戶的需求自定義關(guān)鍵的Web應(yīng)用過程并進行性能分解和剖析，支持用戶設(shè)定閥值來進行關(guān)鍵應(yīng)用過程的詳細追蹤?？梢愿鶕?jù)Apdex，應(yīng)用響應(yīng)時間和錯誤率為關(guān)鍵應(yīng)用過程設(shè)置報警10) 報表自動輸出，支持按定期內(nèi)的性能數(shù)據(jù)，在界面中提供Web事務(wù)及SQL語句的報表導(dǎo)出。支持導(dǎo)出當(dāng)天、前一天、7日內(nèi)、7日前的應(yīng)用過程、關(guān)鍵應(yīng)用過程、數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫

18、的報表三、 應(yīng)用性能管理APM系統(tǒng)的價值通過“應(yīng)用性能管理系統(tǒng)”的建設(shè)，將實現(xiàn)對XX現(xiàn)有業(yè)務(wù)系統(tǒng)平臺的性能數(shù)據(jù)的可視化監(jiān)測，從業(yè)務(wù)系統(tǒng)中擷取、處理、整合運營中關(guān)注的性能數(shù)據(jù)，輸出可評測的XX系統(tǒng)業(yè)務(wù)日常運維水平的有價值數(shù)據(jù)。并通過系統(tǒng)平臺數(shù)據(jù)運算，自動化的、系統(tǒng)化的、直觀化的、可視化的XX業(yè)務(wù)各維度運營健康情況，并通過參考第三方公司提供的行業(yè)數(shù)據(jù)，橫向比較業(yè)務(wù)系統(tǒng)的健康度，全面提升我們部門的業(yè)務(wù)品質(zhì)，提高業(yè)務(wù)系統(tǒng)能力的領(lǐng)先性。3.1 APM對運維部門的價值 建立業(yè)務(wù)系統(tǒng)全過程代碼級統(tǒng)一監(jiān)控平臺 針對復(fù)雜的應(yīng)用系統(tǒng)和應(yīng)用環(huán)境，建立主動式業(yè)務(wù)級運維體系，感知和預(yù)警用戶體驗，在客戶投訴前快速定位和協(xié)助解決性能問題 針對復(fù)雜的應(yīng)用系統(tǒng)和應(yīng)用環(huán)境，實現(xiàn)應(yīng)用調(diào)用邏輯拓?fù)浒l(fā)現(xiàn)和可視化，問題定位至代碼級 實現(xiàn)真實用戶體驗管理，提升運維部門價值，提高部門品牌形象。 建立持續(xù)性的業(yè)務(wù)系統(tǒng)性能優(yōu)化體系，幫助提升我司業(yè)務(wù)系統(tǒng)的整體性能水平。 建立性能數(shù)據(jù)庫和用戶體驗數(shù)據(jù)庫，定期提供報表，為IT決策提供決策依據(jù)。 實現(xiàn)對運維部門的價值主要依托部分指標(biāo)數(shù)據(jù)羅列如下（詳細描述參見2.