高鵬-智能運(yùn)維可觀測平臺建設(shè)

智能運(yùn)維可觀測平臺建設(shè)演講人：微博高鵬1.基礎(chǔ)設(shè)施研發(fā)2.監(jiān)控產(chǎn)品演進(jìn)4.數(shù)據(jù)科學(xué)應(yīng)用5.未來展望1.基礎(chǔ)設(shè)施研發(fā)2.監(jiān)控產(chǎn)品演進(jìn)3.AlOps應(yīng)用4.數(shù)據(jù)科學(xué)應(yīng)用5.未來展望1.基礎(chǔ)設(shè)施研發(fā)—簡介可觀測平臺點(diǎn)查根因運(yùn)維基礎(chǔ)設(shè)施運(yùn)維基礎(chǔ)設(shè)施1.基礎(chǔ)設(shè)施研發(fā)—技術(shù)選型數(shù)據(jù)分析鏈路監(jiān)控大數(shù)據(jù)引擎大數(shù)據(jù)引擎1.基礎(chǔ)設(shè)施研發(fā)—WhyClickHouse技術(shù)棧復(fù)雜，“航母拉面包”即席查詢幾乎不可能資源占用高查詢不友好繁瑣不具備數(shù)據(jù)分析能力DAWS中國數(shù)據(jù)智能管理峰會1.基礎(chǔ)設(shè)施研發(fā)—Why.nQm,vaa高性能低成本SQL語法社區(qū)活躍30臺服務(wù)器，每秒寫入量500w1.基礎(chǔ)設(shè)施研發(fā)—基礎(chǔ)架構(gòu)山數(shù)據(jù)打撈系統(tǒng)WebServer基礎(chǔ)設(shè)施架構(gòu)消費(fèi)管理系統(tǒng)：消費(fèi)管理系統(tǒng)：數(shù)據(jù)查詢系統(tǒng)1.基礎(chǔ)設(shè)施研發(fā)2.監(jiān)控產(chǎn)品演進(jìn)3.AlOps應(yīng)用4.數(shù)據(jù)科學(xué)應(yīng)用5.未來展望u2.監(jiān)控產(chǎn)品演進(jìn)—從產(chǎn)品側(cè)監(jiān)控到全路徑1.解析1.解析DNS3.建立TCP連接客戶端APM監(jiān)控4.用戶上傳數(shù)據(jù)(計算可得)產(chǎn)品可用性的最后一公里產(chǎn)品可用性的最后一公里5.服務(wù)器端處理(計算可得)6.用戶下載數(shù)據(jù)7.頁面渲染、加載(無法捕獲)2.監(jiān)控產(chǎn)品演進(jìn)—從產(chǎn)品側(cè)監(jiān)控到全路徑,7,7DAMSDAMS客戶端APM監(jiān)客戶端APM監(jiān)控用戶側(cè)異?；?fù)婆c分析表：用戶達(dá)同詳情(備字級約可過。篩選)來mAAA202-00ngL61.135.179286118702211983880ssue51403筑20通16791341263996058096北京124原通f192.16001hpdsb的1871882800s055158110791634125209255004北度124印通f192.187920463278703256025427maf680=1,192.168中國數(shù)據(jù)智能管理峰會2.監(jiān)控產(chǎn)品演進(jìn)—后端調(diào)用鏈路①2023-03-0811:27:05-2023-03-0811:57:05響應(yīng)時間超時設(shè)定：300ms響應(yīng)時間分位數(shù)設(shè)定：90%查詢被調(diào)用方：)平均響應(yīng)時間(ms)(同比差值)響應(yīng)時間分位數(shù)(ms)(同比差值=)))QQaQQ0查看詳情趨勢圖2.監(jiān)控產(chǎn)品演進(jìn)—后端調(diào)用鏈路Snew-vip-weibo-cnMemcachednew-vip-weibo-cnFudssskin-wip-welbo-comMeskin-vip-weibo-comPDO->mDADAS1.基礎(chǔ)設(shè)施研發(fā)2.監(jiān)控產(chǎn)品演進(jìn)4.數(shù)據(jù)科學(xué)應(yīng)用5.未來展望3.AlOps應(yīng)用一智能報警傳統(tǒng)監(jiān)控的困境：1.業(yè)務(wù)多樣性：同一場景，不同業(yè)務(wù)，差異巨大，導(dǎo)致添加報警繁瑣無比2.周期差異性：不同時間范圍，波動巨大，導(dǎo)致無法固定閾值“一刀切”3.數(shù)據(jù)多維度：維度眾多，出了問題不知道是什么導(dǎo)致的，導(dǎo)致報警只能是“吹哨”3.AlOps應(yīng)用一智能報警，異常檢測基礎(chǔ)監(jiān)控系統(tǒng)BIP[嚴(yán)重]-財經(jīng)money業(yè)務(wù)【全鏈路】【響應(yīng)時間】<pid-被調(diào)域名=300-s332>84倍報警時間：2023-03-1310:15:00.已持續(xù)觸發(fā)<2>分鐘請求次數(shù)：201877,響應(yīng)時間P99:4004無閾值報警同一資源，不同鏈路，各自訓(xùn)練模型報警特征信息：[pid=300]占比100.0%[rs_type=1]占比100.0%]占比100.[code=0]占比56.24%基礎(chǔ)監(jiān)控系統(tǒng)BIP[嚴(yán)重]-財經(jīng)money業(yè)務(wù)【全鏈路】【響應(yīng)時間】<pid-被調(diào)域名=302-s33當(dāng)前值是基準(zhǔn)值的84.59倍報警時間：2023-03-1310:16:00.已持續(xù)觸發(fā)<42>分鐘報警ID:1144[pid=302]占比100.0%[rs_type=1]占比100.0%[被調(diào)域名=s33.cn]占比100.0%[被調(diào)接口=mysql//s3329i.329/fcdb]占比100.0%[調(diào)用域名=ine.]占比77.78%[code=0]占比75.7%[調(diào)用接口=http://Lmpenapiphp/lnvestConsultService.getRZRQStock]占比47.39%[調(diào)用機(jī)房=永豐]占比40.29%中國數(shù)據(jù)智能管理峰會3.AlOps應(yīng)用一智能報警，根因分析基礎(chǔ)監(jiān)控系統(tǒng)BIP:[嚴(yán)重]-新聞客戶端5XX錯誤監(jiān)控(差分)當(dāng)前值：1493.0次(1min內(nèi))基準(zhǔn)值：19.34次(1min內(nèi))當(dāng)前值是基準(zhǔn)值的77.2倍報警根因分析根據(jù)“關(guān)聯(lián)規(guī)則”,給出占比最高的組合報警時間：2023-03-1310:07:00.已持續(xù)觸發(fā)<3>分鐘報警定制信息：請求次數(shù)：1494報警ID:227Lhttp_code=502]占比98.86%Lpingip=:.98]占比98.39%[ISP=移動]占比97.86%Los=android]占比89.89%Ldnsaddress=s]占比81.53%Lappver=7.99.0]占比66.27%[api=http://cn/sdk/api/match/realtime]占比55.22%中國數(shù)據(jù)智能管理峰會中國數(shù)據(jù)智能管理峰會commentjnfasi多級服務(wù)日志關(guān)聯(lián)定位問題產(chǎn)生位置coredata-fenfre-tsnle/services.TaljService/Gc6./reatureFoautepureatATAANAEENMIT1.基礎(chǔ)設(shè)施研發(fā)2.監(jiān)控產(chǎn)品演進(jìn)3.AlOps應(yīng)用4.數(shù)據(jù)科學(xué)應(yīng)用5.未來展望4.數(shù)據(jù)科學(xué)應(yīng)用—SRE運(yùn)維數(shù)據(jù)化，增效壓測Log分析運(yùn)維生命周期運(yùn)維生命周期故障排查閉環(huán)故障排查閉環(huán)上線上線4.數(shù)據(jù)科學(xué)應(yīng)用—K8s資源智能分配，降本靜態(tài)資源分配，造成資源浪費(fèi)4.數(shù)據(jù)科學(xué)應(yīng)用—K8s資源智能分配，降本動態(tài)資源分配，減少低峰期浪費(fèi)中國數(shù)據(jù)智能管理峰會微博4.數(shù)據(jù)科學(xué)應(yīng)用一多維度數(shù)據(jù)可視化分析微博數(shù)據(jù)會撒謊點(diǎn)估計vs區(qū)間估計中國數(shù)據(jù)智能管理峰會4.數(shù)據(jù)科學(xué)應(yīng)用一多維度數(shù)據(jù)可視化分析面積圖、小提琴圖反應(yīng)數(shù)據(jù)真實分布情況平臺產(chǎn)品線機(jī)器總數(shù)平臺cpu_usage.A指標(biāo)利用率直方圖(昨日)。s208/0108/1607/7007/1707/2407/31一物理機(jī)75.712408/1408/21多維度動態(tài)數(shù)據(jù)展示：4.數(shù)據(jù)科學(xué)應(yīng)用—交互式BI分析工具微博快速構(gòu)建前端工具客戶端APM數(shù)據(jù)回?fù)聘?.2aAa 二DAWSDAWS中國數(shù)據(jù)智能管理峰會ATAMANe7s/T4.數(shù)據(jù)科學(xué)應(yīng)用—交互式BI分析工具數(shù)據(jù)概況總字段數(shù)：120用戶查詢工具數(shù)據(jù)字典03-0403-0703字段名https:/newsapi.sina.出Qo群4.數(shù)據(jù)科學(xué)應(yīng)用—交互式BI分析工具1SELECTtopate(ta)AStoDate_ta,c3wLEta>T2021-63-1622152:31'andts2021-03-1622157:31'anddatestopatec2021-03-1622:52:31)andatetoatec20214GROUPBYt最近5分鐘今天的昨天前天最近3天最近7天用戶查詢工具開始時間：2021-03-1622:5結(jié)束時間：2021-03-1622:57:31聚合方式：按天服合結(jié)束時間：2021-03-1622:57:31□requestheader原始時間dns_etime(dns戳ssLotime(sstLotime)□ssLstime(ssLstime)□tep_otime(tcp_etime)ATAANAEMENtsM4.數(shù)據(jù)科學(xué)應(yīng)用—交互式BI分析工具F的分鐘級aps,toStartOfMinute(datetime)ASminutGROUPBYdate,miDAMSDAMSATAMANe7