全面可觀測性時代如何用好運維大數(shù)據(jù)

Shanghai全面可觀測性時代如何用好運維大數(shù)據(jù)Shanghai12可觀測性什么是可觀測性?源自控制理論的概念復(fù)雜系統(tǒng)可以從外部輸出推斷及衡量其內(nèi)部狀態(tài)的程度GOPS全球運維大會2022·上海站什么是可觀測性?可觀測性≠指標(biāo)+日志+調(diào)用鏈可觀測性和監(jiān)控的關(guān)系數(shù)據(jù)采集指標(biāo)+日志+調(diào)用鏈面臨的挑戰(zhàn) 數(shù)據(jù)采集ApacheFlinkClickHousepython時序文本elastic結(jié)構(gòu)化中頻中頻我們還需要解決哪些問題數(shù)據(jù)處理數(shù)據(jù)管理數(shù)據(jù)采集時序文本中頻我們還需要解決哪些問題數(shù)據(jù)處理數(shù)據(jù)管理數(shù)據(jù)采集 數(shù)據(jù)深度關(guān)聯(lián)典型方案：統(tǒng)一標(biāo)簽典型方案：統(tǒng)一標(biāo)簽將node、pod、服務(wù)、應(yīng)用等信息做為標(biāo)簽添加到每條日志/指標(biāo)/調(diào)用鏈數(shù)據(jù)中問題二問題二淺層融合 方案1:多個獨立的存儲引擎方案2:統(tǒng)一存儲到數(shù)倉簡單查詢+算法融合查詢和算法的數(shù)據(jù)探索能力Shanghai日志串聯(lián)應(yīng)用場景GOPS全球運維大會2022·上海站團(tuán)隊工作 性能時序數(shù)據(jù)性能時序數(shù)據(jù)理日志、告警、工單文本數(shù)據(jù)CMDB圖數(shù)據(jù)步驟1:實體提取Shanghai識庫中的實體步驟2:實體圖和時序元數(shù)據(jù)融合GOPS全球運維大會2022·上海站AC步驟3:文本特征和時序特征的融合●基于弱標(biāo)簽分類算法，學(xué)習(xí)故障描述文本對應(yīng)的時序模式●添加相應(yīng)的時間序列模式●基于時間序列近似匹配算法，在歷史數(shù)據(jù)中找更多實例模型優(yōu)化嵌入層蒸餾蒸餾預(yù)測層蒸餾模型訓(xùn)練實體嵌入BERT預(yù)訓(xùn)練BERT微調(diào)預(yù)處理實體泛化日志預(yù)處理模板創(chuàng)建模板匹配CHEMBL102034CHEMBL102036CHEMBL102037CHEMBL102038CHEMBL102040異構(gòu)數(shù)據(jù)處理平臺●異構(gòu)數(shù)據(jù)處理平臺●時間序列、文本、圖、鍵值●統(tǒng)一建模擎據(jù)管擎鍵值前端界面應(yīng)用層前端界面異構(gòu)數(shù)據(jù)系統(tǒng)系統(tǒng)解析器和優(yōu)化器Web系統(tǒng)解析器和優(yōu)化器Web調(diào)用接口配置文件查詢計劃分解模塊MySQL適配器MongoDB適配器框架層查詢結(jié)果查詢計劃重構(gòu)模塊圖查詢重寫模塊查詢計劃生成模塊外部執(zhí)行器系統(tǒng)內(nèi)部執(zhí)行器緩存優(yōu)化模塊數(shù)據(jù)源適配器數(shù)據(jù)源適配器數(shù)據(jù)源適配器數(shù)據(jù)源層圖數(shù)據(jù)庫內(nèi)存關(guān)系表數(shù)據(jù)源層圖數(shù)據(jù)庫日志調(diào)用鏈指標(biāo)事件序列 日志調(diào)用鏈指標(biāo)事件序列2019/8/615:2019/8/615:E?E2019/8/615:2019/8/615:E?E2019/8/615:2019/8/615:2019/8/615:05BLOCK*registerDatanode:fromDatanodeRegistration(31:50010)關(guān)聯(lián)查詢 屬性關(guān)聯(lián)查詢語句tBM1=1110tBM2=1001tBM3=011tBMtBMChk3={0}3基于自然語言的數(shù)據(jù)探索數(shù)據(jù)庫樣本解析及查詢重組SQLs達(dá)最匹配的自然語言描述表達(dá)及對應(yīng)的SQL查詢語句自然語言描述3學(xué)習(xí)排序算法查詢問句②自然語言前端UI移流(爆爾)“最近1天內(nèi)存異常程度超過80%的異常分布”'memory'/屬性值/所屬屬性義/歧義列表['metric','metricdata','outlier'],2異常度SELECT'outlier.'id','outlier'.timetag','outlier'.val,outlier'.'outlierdegree','outlier'.'type`,'outlier'.'metricname`,outlier'.'servername','outlier'.appname`FROM'outlierWHEREtimetag>=DATESUB(CURDATE(),INTERVAL1DAY)AND'outlier`outlierdegree`>80{object=outlier.allattribute},{condition=[timetagDAY),outlier'.metricname'='memory','outlier.outlierdegree`>80]},GOPS全球運維大會2022·上海站 基于自然語言的數(shù)據(jù)探索點擊確定異常.異常度異常outlier異常.主機名異常.應(yīng)用名2020-03-13.00:53:482020-03-1105:48:37突增2020-03-2810:48:452020-03-0120:38:59請選擇√1.找發(fā)生告警次數(shù)最多的主機名為Server1的告警2.發(fā)生毛刺異常次數(shù)最多的應(yīng)用。3.CPU占用率最高的應(yīng)用。4.近15分鐘全部交易指標(biāo)異常。5.每天的交易失敗次數(shù)6.過去7天同一時刻應(yīng)用名為app1