移動性能監(jiān)控系統(tǒng)架構(gòu)設(shè)計

1、會計學(xué)1移動性能監(jiān)控系統(tǒng)架構(gòu)設(shè)計移動性能監(jiān)控系統(tǒng)架構(gòu)設(shè)計Front-endBack-endFront-end 架構(gòu)架構(gòu)Performance CollectorWrite to QueueData QueueAsync, Read from QueueAgentCompressor + SenderBack-endJs LibraryUse LocalStorageUse HTTP GET1*1 GIFSee NextBack-end 架構(gòu)架構(gòu)Front-endNginxStormQueueDashboardPush ServiceHive / HBaseBack-endFront-endRe

2、al-time Report ServiceApplicationsReal-time App, 2s Near Real-time App 10sScene #2, #5AlertingReal-time App, 2sScene #1, #2, #3按地址位置、設(shè)備、瀏覽器、運營商等信息做實時數(shù)據(jù)匯總，并計算用戶訪問流Dashboard按分鐘、小時、天、周等預(yù)先預(yù)聚合數(shù)據(jù)提供快速圖表查詢Alerting對實時數(shù)據(jù)和同期做對比，當(dāng)發(fā)生明顯差異的時候發(fā)生報警HBase和Hive中保存明細(xì)數(shù)據(jù)，可幫助快速排障Storm 拓?fù)渫負(fù)銵og SpoutTimedSpoutEventSpoutTimed

3、BoltEsperBoltNotificationBoltAlertingTopologyUBTTopology解數(shù)據(jù)包，過濾異常值等ETL處理ETL BoltDelivery AnalysisBolt Bolt按分鐘統(tǒng)計匯總數(shù)據(jù)Hadoop 存儲存儲WriterHadoopWriterWriterWriterRaw DataRCFilePerformanceDetailHBaseHDFSHiveMRDashboardMetricsScene #1 實時性能看板及預(yù)警實時性能看板及預(yù)警性能實時趨勢圖綜合反映當(dāng)前的性能概況，若與歷史同期比發(fā)生異常則最優(yōu)先檢查最近發(fā)布以及服務(wù)器狀況運營商網(wǎng)絡(luò)性能反

4、映不同網(wǎng)絡(luò)下的性能，若某一特定網(wǎng)絡(luò)出現(xiàn)異常則需要檢查CDN線路以及公司對于相關(guān)網(wǎng)絡(luò)的出口帶寬地理位置性能若少數(shù)城市出現(xiàn)異常則需要檢查網(wǎng)絡(luò)線路Scene #1 實時性能看板及預(yù)警實時性能看板及預(yù)警用戶設(shè)備性能若部分設(shè)備出現(xiàn)異常則需要檢查代碼兼容性或者關(guān)注相關(guān)系統(tǒng)的升級補丁Scene #2 故障排查故障排查頁面請求當(dāng)發(fā)現(xiàn)某個頁面慢的時候查看每一個Ajax / Jsonp調(diào)用的性能概況耗時分布對于性能不穩(wěn)定Restful Service，查看耗時分布，找到異常點性能詳情Scene #2 故障排查故障排查根據(jù)用戶的訪問流上下文環(huán)境分析用戶當(dāng)時的環(huán)境，找到具體慢在哪里查看某一分鐘的性能詳情，找到訪問慢的

5、請求訪問流Scene #3 增量更新推送增量更新推送 推送增量更新必然會占用一部分的帶寬資源 性能數(shù)據(jù)能實時反映用戶當(dāng)前的真實使用狀況 選擇網(wǎng)絡(luò)性能良好的時機能選擇網(wǎng)絡(luò)性能良好的時機能讓用戶感覺到更新更加平穩(wěn)，甚至察覺不到 灰度推送灰度推送更新，保持核心網(wǎng)絡(luò)通暢Scene #4 數(shù)據(jù)大小監(jiān)控數(shù)據(jù)大小監(jiān)控 在收集性能數(shù)據(jù)的同時，可以獲取頁面請求的Restful Service返回到客戶端的Response Size 通過分析和監(jiān)控 Response Size的變化，預(yù)知對用戶產(chǎn)生的影響，避免不必要的風(fēng)險避免不必要的風(fēng)險 同時對于有固定類型返回值的接口，若Response Size分布異常，可以幫

6、助快速定位問題快速定位問題Architecture Value 實時實時性能監(jiān)測 每個真實真實用戶的使用體驗 應(yīng)付復(fù)雜多樣的移動網(wǎng)絡(luò)移動網(wǎng)絡(luò) 構(gòu)建用戶訪問流，快速快速定位問題，重現(xiàn)用戶訪問環(huán)境THANK YOUBack-end 架構(gòu)架構(gòu)Front-endNginxStormQueueDashboardPush ServiceHive / HBaseBack-endFront-endReal-time Report ServiceApplicationsReal-time App, 2s Near Real-time App 10sScene #2, #5AlertingReal-time App, 2sScene #1, #2, #3按地址位置、設(shè)備、瀏覽器、運營商等信息做實時數(shù)據(jù)匯總，并計算用戶訪問流Dashboard按分鐘、小時、天、周等預(yù)先預(yù)聚合數(shù)據(jù)提供快速圖表查詢Alerting對實時數(shù)據(jù)和同期做對比，當(dāng)發(fā)生明顯差異的時候發(fā)生報警HBase和Hive中保存明細(xì)數(shù)據(jù)，可幫助快速排障地理位置性能若少數(shù)城市出現(xiàn)異常則需要檢查網(wǎng)絡(luò)線路Scene #1 實時性能看板及預(yù)警實時性能看板及預(yù)警用戶設(shè)備性能若部分設(shè)備出現(xiàn)異常