智能運(yùn)維的性和易用性探索

智能運(yùn)維的實(shí)用性和易用性探索智能運(yùn)維中的數(shù)據(jù)管理和平臺(tái)應(yīng)用目錄CONTENTS背景數(shù)據(jù)語(yǔ)義融合4 總結(jié)3 數(shù)據(jù)管理查詢背景01數(shù)據(jù)類型日益豐富時(shí)間序列（性能指標(biāo)）離散事件序列（日志/告警）圖數(shù)據(jù)（CMDB、調(diào)用鏈）算法效果不斷提升單源數(shù)據(jù)算法多源數(shù)據(jù)算法研究現(xiàn)狀性能指標(biāo)日志/告警CMDB/調(diào)用鏈單指標(biāo)異常檢測(cè)多指標(biāo)異常檢測(cè)容量預(yù)測(cè)日志聚類告警壓縮場(chǎng)景挖掘根因定位圖異常檢測(cè)算法研究階段算法發(fā)現(xiàn)告警A和B經(jīng)常一起出現(xiàn)，需要回答“這是偶然現(xiàn)象嗎”Common

Sense,

例外，有價(jià)值？算法應(yīng)用階段算法發(fā)現(xiàn)告警C是根因，需要回答“這個(gè)故障之前出現(xiàn)過(guò)嗎”數(shù)據(jù)庫(kù)告警模板發(fā)生時(shí)，希望查看對(duì)應(yīng)時(shí)間段的CPU和內(nèi)存波動(dòng)情況歷史、多源數(shù)據(jù)的參考極為重要僅有算法是不夠的性能指標(biāo)日志/告警CMDB/調(diào)用鏈單指標(biāo)異常檢測(cè)日志聚類根因定位多指標(biāo)異常檢測(cè) 告警壓縮圖異常檢測(cè)容量預(yù)測(cè) 場(chǎng)景挖掘驗(yàn)證式的不斷交互運(yùn)維是一個(gè)的過(guò)程異構(gòu)數(shù)據(jù)管理能力大規(guī)模時(shí)間序列數(shù)據(jù)、日志/告警文本數(shù)據(jù)、圖數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一管理算法能力異常檢測(cè)算法日志聚類算法根因定位算法數(shù)據(jù)探索能力異構(gòu)數(shù)據(jù)的統(tǒng)一查詢語(yǔ)義查詢數(shù)據(jù)語(yǔ)義融合能力多源數(shù)據(jù)中的實(shí)體匹配實(shí)體關(guān)聯(lián)多源數(shù)據(jù)的特征關(guān)聯(lián)智能運(yùn)維能力針對(duì)時(shí)序數(shù)據(jù)、文本數(shù)據(jù)、圖數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)管理在語(yǔ)義層面進(jìn)行融合實(shí)現(xiàn)跨數(shù)據(jù)源的查詢運(yùn)維數(shù)據(jù)的充分利用為運(yùn)維人員排障提供便利數(shù)據(jù)語(yǔ)義融合02動(dòng)機(jī)從語(yǔ)義層面將數(shù)據(jù)進(jìn)行有效融合運(yùn)維數(shù)據(jù)都是對(duì)IT系統(tǒng)的某個(gè)對(duì)象的描述支持告警/日志和性能指標(biāo)的關(guān)聯(lián)支持基于自然語(yǔ)言的查詢引擎服務(wù)器host01：total

cpu

is

now95.10%,

高于閾值(90%)性能指標(biāo)告警運(yùn)維數(shù)據(jù)關(guān)聯(lián)和知識(shí)圖譜1.2.3.步驟一：實(shí)體提取種子詞庫(kù)來(lái)源于CMDB1從自然語(yǔ)言中提取實(shí)體1.短句切割長(zhǎng)句 2.匹配/添加非正式詞2提取、關(guān)聯(lián)告警中的非正式描述實(shí)體3.添加維基百科等知識(shí)庫(kù)中的實(shí)體3從更大范圍提取實(shí)體運(yùn)維數(shù)據(jù)都是對(duì)IT系統(tǒng)的某個(gè)對(duì)象的描述步驟二：實(shí)體圖和時(shí)序元數(shù)據(jù)融合擴(kuò)充后的實(shí)體圖時(shí)序元數(shù)據(jù)基于時(shí)序結(jié)構(gòu)化元數(shù)據(jù)進(jìn)行匹配最終結(jié)果將監(jiān)測(cè)時(shí)序數(shù)據(jù)id添加到實(shí)體圖實(shí)現(xiàn)CMDB數(shù)據(jù)和時(shí)序數(shù)據(jù)的融合基于弱標(biāo)簽分類算法，學(xué)習(xí)故障描述文本對(duì)應(yīng)的時(shí)序模式在圖譜中添加相應(yīng)的時(shí)間序列模式基于時(shí)間序列近似匹配算法，在歷史數(shù)據(jù)中找出更多實(shí)例步驟三：文本特征和時(shí)序特征的融合Jiaye

Wu,

Peng

Wang,

Ningting

Pan,

Chen

Wang,

Wei

Wang,

Jianmin

Wang,

KV-match:

A

Subsequence

Matching

ApproachSupportingNormalizationandTimeWarping,ICDE

2019Zicheng

Fang，Peng

Wang，Wei

Wang，Efficient

Learning

Interpretable

Shapelets

for

Accurate

Time

Series

Classification.

ICDE2018Hanbo

Zhang,

Yawen

Wang,

Peng

Wang,

Wei

Wang,

Burst-based

Event

Classification

on

Weakly

LabeledTime

Series

Data

ofSensors,IEEE6thInternationalCongressonBigData,

2017用途基于自然語(yǔ)言的時(shí)間序列查詢性能指標(biāo)數(shù)據(jù)覆蓋面更廣，告警/日志數(shù)據(jù)易用性更好告警數(shù)據(jù)的合理性驗(yàn)證融合告警數(shù)據(jù)、CMDB、性能指標(biāo)數(shù)據(jù)的根因定位數(shù)據(jù)管理和查詢03

面向自然語(yǔ)言的運(yùn)維數(shù)據(jù)查詢

拖拽式數(shù)據(jù)處理引擎

面向時(shí)間關(guān)聯(lián)的數(shù)據(jù)查詢

面向異常檢測(cè)的數(shù)據(jù)查詢和可視化

異構(gòu)數(shù)據(jù)查詢引擎查詢工具集提升查詢的易用性提升運(yùn)維數(shù)據(jù)的查詢表達(dá)能力提升異構(gòu)數(shù)據(jù)查詢能力提升運(yùn)維過(guò)程中運(yùn)維人員的數(shù)據(jù)探索能力核心功能運(yùn)維數(shù)據(jù)的統(tǒng)一管理自然語(yǔ)言到SQL的轉(zhuǎn)化引擎

基于自然語(yǔ)言的運(yùn)維數(shù)據(jù)查詢找發(fā)生告警次數(shù)最多的主機(jī)名為Server1的告警類型。發(fā)生毛刺異常次數(shù)最多的應(yīng)用。CPU占用率最高的應(yīng)用。近15分鐘全部交易指標(biāo)異常。每天的交易失敗次數(shù)。過(guò)去7天同一時(shí)刻應(yīng)用名為app1交易量情況。最近10分鐘內(nèi)應(yīng)用名為app1的交易異常分布。最近8小時(shí)內(nèi)每分鐘的平均響應(yīng)時(shí)間。最近9分鐘突增或突降的指標(biāo)有哪些？基于自然語(yǔ)言的運(yùn)維數(shù)據(jù)查詢系統(tǒng)架構(gòu)核心模塊運(yùn)維知識(shí)圖譜通用知識(shí)庫(kù)1. 詞法解析分詞數(shù)據(jù)庫(kù)語(yǔ)義標(biāo)注語(yǔ)義消歧2.語(yǔ)法解析語(yǔ)義依存樹(shù)句法分析3.SQL生成查詢處理引擎“最近1天內(nèi)存異常程度超過(guò)80%的異常分布”123{object=outlier.allattribute

},{condition=[timetag>=DATE_SUB(CURDATE(),INTERVAL1DAY),`outlier`.`metric_name`='memory',`outlier`.`outlier_degree`>80

]},{table=outlier}系統(tǒng)界面查詢示例找發(fā)生告警次數(shù)最多的主機(jī)名為Server1的告警類型。發(fā)生毛刺異常次數(shù)最多的應(yīng)用。CPU占用率最高的應(yīng)用。近15分鐘全部交易指標(biāo)異常。每天的交易失敗次數(shù)。過(guò)去7天同一時(shí)刻應(yīng)用名為app1交易量情況。最近10分鐘內(nèi)應(yīng)用名為app1的交易異常分布。最近8小時(shí)內(nèi)每分鐘的平均響應(yīng)時(shí)間。最近9分鐘突增或突降的指標(biāo)有哪些？便于領(lǐng)域?qū)＜医Y(jié)合不同分析算法搭建分析流程融合了異常檢測(cè)、聚類、場(chǎng)景挖掘等多種算法支持不同語(yǔ)言開(kāi)發(fā)的算法支持輸入數(shù)據(jù)格式的智能學(xué)習(xí)

拖拽式運(yùn)維數(shù)據(jù)分析引擎主要算法時(shí)間序列數(shù)據(jù)挖掘時(shí)間序列分類，sax-vsm，fast-shapelet時(shí)間序列弱分類：matrix-profile

based聚類：k-shape狀態(tài)切分：Autoplait，pHMM，mp-basedsupervised頻繁子序列挖掘：motif異常檢測(cè)：STL，ripple，SOM相關(guān)性分析：tslrm，Jocor序列匹配：DSTree子序列匹配：,

ucr-ed/dtw，kv-match，onex日志/告警分析模板提?。篋rain、Spell場(chǎng)景挖掘：Fp-growth、community-based根因定位：mutual

information正則表達(dá)式處理變量提取

面向時(shí)間關(guān)聯(lián)的數(shù)據(jù)查詢SQL查詢PLQ查詢?cè)诟婢蛄兄?，告警間通常具有關(guān)聯(lián)關(guān)系，這些告警均由同一系統(tǒng)行為引發(fā)這些告警的集合稱為場(chǎng)景shared

memory

realm

does

not

existORACLEnot

availablecouldnotobtainauthorized

session鏈路異常射頻業(yè)務(wù)異常小區(qū)不可用異常場(chǎng)景1場(chǎng)景2行為信息告警出現(xiàn)規(guī)律中蘊(yùn)含的行為信息語(yǔ)義信息告警文本中蘊(yùn)含的語(yǔ)義信息FP-GrowthAprioriSWIFT,

…Bagof

Words,Jaccard,WordEmbedding,

…在告警序列中，告警間通常具有關(guān)聯(lián)關(guān)系，這些告警均由同一系統(tǒng)行為引發(fā)這些告警的集合稱為場(chǎng)景目標(biāo)：融合行為信息和語(yǔ)義信息，基于深度學(xué)習(xí)模型進(jìn)行場(chǎng)景挖掘利用行為信息行為序列：告警在過(guò)去24小時(shí)每一分鐘發(fā)生的次數(shù)利用深度學(xué)習(xí)模型(Continuous

Bag

OfWords)，學(xué)習(xí)關(guān)聯(lián)告警間相同的行為特征類CBOW模型告警類型1告警類型2告警類型n目標(biāo)事件SUM輸入層隱藏層輸出層…利用語(yǔ)義信息告警內(nèi)容包含多個(gè)單詞，每個(gè)單詞對(duì)關(guān)鍵語(yǔ)義的貢獻(xiàn)程度不同The

TIME_WAIT

tcp

connection

number

is

3018

is

great

than

threshold

value

3000

please

pay

attention..分詞WordEmbedding?

=?$,?&,…,?(主題模型????$

,

????&

,

…

,

????(/?$

+/?&+

?

+ /

?(?$ ?& ?(?=?$,?&,…,

?(將單詞在告警所屬主題內(nèi)出現(xiàn)的概率作為對(duì)事件語(yǔ)義的貢獻(xiàn)程度示例告警場(chǎng)景挖掘整合告警的行為信息和語(yǔ)義信息，結(jié)合深度學(xué)習(xí)模型在線地對(duì)告警進(jìn)行聚類行為模型語(yǔ)義模型…新產(chǎn)生的告警告警聚類形成場(chǎng)景行為特征語(yǔ)義特征結(jié)果示例TimestampTypeContent2020/10/23

1:21T5checkpass;user

unknown2020/10/23

1:21T6authenticationfailure;logname=XXXuid=0euid=0tty=XXXruser=XXXrhost=

XXX告警TimestampTypeContent2021/5/2

14:18T1Memoryutilization(90.3%)exceedsconfiguredthreshold

(90.00%)2021/5/2

14:19T2instanceXXXdatabaseXXDBtablespaceXXTableutilization75exceedthreshold

70.002021/5/2

14:19T3Memoryutilreachedthreshold

99%2021/5/2

14:20T4CPUUtilreach90.2%,exceedsthreshold

90.00%日志典型應(yīng)用告警數(shù)據(jù)中的場(chǎng)景分析KPI數(shù)據(jù)和日志/告警數(shù)據(jù)的關(guān)聯(lián)分析面向時(shí)間關(guān)聯(lián)的數(shù)據(jù)查詢時(shí)間關(guān)聯(lián)是運(yùn)維分析的核心目標(biāo)，也是關(guān)聯(lián)多源數(shù)據(jù)的重要手段面向時(shí)間關(guān)聯(lián)的數(shù)據(jù)查詢面向時(shí)間關(guān)聯(lián)的數(shù)據(jù)查詢基于bitmap的數(shù)據(jù)分塊基于bitmap的查詢處理12AND、OR