APM應(yīng)用性能監(jiān)控的應(yīng)用

1、APM應(yīng)用性能監(jiān)控的應(yīng)用技術(shù)創(chuàng)新，變革未來大綱如何應(yīng)對(duì)性能問題tutorabc對(duì)APM的一些實(shí)踐TGOP私有云平臺(tái)關(guān)注性能, 從現(xiàn)在開始!一個(gè)真實(shí)的調(diào)優(yōu)案例線上某API服務(wù)高峰時(shí)段CPU用量超過95%. 期間API響應(yīng)變慢.重啟服務(wù)后, 問題依舊存在.之前通過添加新服務(wù)器緩解問題.考慮到近期業(yè)務(wù)量有大幅增長, 同時(shí)為節(jié) 約計(jì)算資源, 需要對(duì)服務(wù)進(jìn)行優(yōu)化.PS: 本地環(huán)境可以重現(xiàn)該問題.如何優(yōu)化?選擇工具Windows平臺(tái)下對(duì)應(yīng)的工具程序日志程序日志JProfiler(Java), top, netstat等VS Profiler, Perfmon, Sysinternals Suite等gdb

2、, Perf PMU, TracePointWinDbg, Perfview ETW問題分析: 本地測試得到的性能參數(shù)問題分析: PerfView采集ETW數(shù)據(jù)問題分析: XPerf查看CPU時(shí)間分布如果是Perf/brendangregg/FlameGraph問題分析: 定位問題代碼解決方案驗(yàn)證方案性能調(diào)優(yōu)的挑戰(zhàn)與應(yīng)對(duì)重現(xiàn)驗(yàn)證挑戰(zhàn)重現(xiàn)概率低, 依賴環(huán)境.日志分析, 耗時(shí)耗力.問題復(fù)雜, 牽涉知識(shí)點(diǎn)眾多.解決方案需要進(jìn)行驗(yàn)證.應(yīng)對(duì)監(jiān)控覆蓋足夠的廣度和深度.日志具備多個(gè)維度的關(guān)聯(lián)性.合適的工具, 如Perf, Perfview等.人的經(jīng)驗(yàn)與技術(shù)積累.找出重現(xiàn)步驟, 對(duì)比測試, 有針對(duì)性 的進(jìn)行監(jiān)

3、控.新的問題應(yīng)用程序開發(fā)框架 & 運(yùn)行時(shí) 操作系統(tǒng)網(wǎng)絡(luò) 硬件用戶我們需要掌控全局用戶/業(yè)務(wù)微服務(wù)/系統(tǒng)應(yīng)用程序?qū)嵗A(chǔ)設(shè)施/網(wǎng)絡(luò)/硬件宏觀微觀追 蹤監(jiān) 控日 志在tutorabc, 我們在實(shí)踐自己的APM業(yè)務(wù)挑戰(zhàn)遍及全球135個(gè)國家和地區(qū)的客戶 群.遍布全球80多個(gè)國家, 100多座城 市的超過15,000名外籍顧問.每年提供超過1000萬堂在線課程.為高質(zhì)量客戶群體提供高質(zhì)量服務(wù).技術(shù)挑戰(zhàn)技術(shù)轉(zhuǎn)型, 業(yè)務(wù)解耦.多語言開發(fā), 多平臺(tái)部署.遺留系統(tǒng)眾多, 依賴關(guān)系復(fù)雜.目標(biāo): 全系統(tǒng)APM驅(qū)動(dòng)APM系統(tǒng)構(gòu)成反饋機(jī)制Event Engine業(yè)務(wù)系統(tǒng)報(bào)警運(yùn)維 人員通知Reactor配置管理 & 自動(dòng)

4、化運(yùn)維 & 虛擬化 & 資源池監(jiān)控/日志/追蹤KafkaReactor監(jiān)控墻streaming請(qǐng)求追蹤數(shù)據(jù)整合展示與追蹤 鏈關(guān)聯(lián)的日志, 監(jiān) 控和報(bào)警數(shù)據(jù), 以 便于問題排查.系統(tǒng)全景實(shí)時(shí)展示各 個(gè)服務(wù)節(jié)點(diǎn)的狀 態(tài), 以及相互依賴 關(guān)系.動(dòng)態(tài)采樣根據(jù)宿主機(jī)(以及調(diào)用鏈上游 服務(wù)器)的負(fù)載調(diào) 整采樣率.監(jiān)控墻ChatOps一些建議監(jiān)控, 日志和追蹤數(shù)據(jù)要具備關(guān)聯(lián)性, 便于后續(xù)分析.盡早建立CMDB, 方便對(duì)被監(jiān)控的服務(wù)器和服務(wù)做分類, 打標(biāo)簽.重SDK, 去中心化.InfluxDB適合存儲(chǔ)以數(shù)字為主的記錄, 文本較多的記錄存入ES.InfluxDB需要設(shè)置Series上限, 防止服務(wù)器內(nèi)存耗盡.

5、一些建議(續(xù))Grafana報(bào)警功能使用單獨(dú)的實(shí)例來運(yùn)行.Grafana數(shù)據(jù)庫Annotation表需要定期清理, 當(dāng)數(shù)據(jù)量累積到30萬以上時(shí), 會(huì)嚴(yán)重影響頁面性能.追蹤系統(tǒng)無法跨越消息隊(duì)列, 可以在發(fā)送消息前將TraceID/SpanID信息植入 消息內(nèi).追蹤系統(tǒng)SDK一般支持跨線程追蹤, 但是對(duì)Timer線程需要清除追蹤上下文.追蹤系統(tǒng)基于采樣率模式, 所以無法指定追蹤特定事件(比如登陸失敗), 需 要調(diào)研基于事件的追蹤模式.關(guān)于APM系統(tǒng)的一些數(shù)字?jǐn)?shù)據(jù)中心3服務(wù)實(shí)例1000+每秒查詢50+每秒寫入(單節(jié)點(diǎn))10,000+監(jiān)控指標(biāo)100+日志500+GB/天服務(wù)器600+iTutorGroup Open Platform租戶管理路由管理資源管理服務(wù)注冊服務(wù)發(fā)現(xiàn)健康檢查狀態(tài)同步文件存儲(chǔ)緩存系統(tǒng)消息隊(duì)列任務(wù)調(diào)度監(jiān)控日志追蹤開發(fā)框架VipCoderServiceNodeSDK(Java, .NET)Portal平臺(tái)管理服務(wù)治理中間件配置管理消息服務(wù)發(fā)布系統(tǒng)其他核心系統(tǒng)APM平臺(tái)運(yùn)維平臺(tái)入口TGOP Portal展望改進(jìn)追蹤系統(tǒng)UI, 增強(qiáng)與日志和監(jiān)控(報(bào)警)系統(tǒng)的集成體驗(yàn).基于追蹤系統(tǒng), 實(shí)現(xiàn)分業(yè)務(wù)場景監(jiān)控.基于大數(shù)據(jù)進(jìn)行未來24小時(shí)流