基于NLP的日志異常檢測方案

1、基于NLP的日志異常檢測方案影響用戶體驗造成經(jīng)濟損失服務異常2010年5600美元/分鐘2019年9000美元/分鐘數(shù)據(jù)中心設備宕 機平均時間成本服務/設備異常2日志描述了KPI曲線無法體現(xiàn)的一些事件流量圖CPU利用率傳統(tǒng)的異常檢測做法：監(jiān)控KPI曲線信息量較少3異常分析ID消息時間戳消息類型詳細消息設備1Jun 12 19:03:032014SIFInterface te-1/1/59, changed state to down服務3Jul 15 11:05:072015OSPFNeighbour(rid:3, addr:1) on vlan23,

2、 changed state from Exchange to Loading設備5Jan 12 21:03:012016%SLOTSFP te-1/1/33 is plugged in, vendor: BROCADE, serial number: AAA210383148232服務/設備日志消息無結(jié)構(gòu)文本4日志消息包含豐富的信息包含與服務/設備狀態(tài)有關(guān)事件鄰居節(jié)點異常端口狀態(tài)改變板卡的插拔DDoS攻擊提取事件對異常進行檢測5基于日志的異常檢測與預測支持增量式學習快速模板匹配準確提取事件日志解析基于部分異常標記學習各種設備/服務通用準確提取異常日志特征基于單條日志異常檢測保留模板語義自動處

3、理新模板兼顧序列和數(shù)量特征基于日志序列異常檢測日志異常檢測6基于日志的異常檢測與預測支持增量式學習快速模板匹配準確提取事件日志解析基于部分異常標記學習各種設備/服務通用準確提取異常日志特征基于單條日志異常檢測保留模板語義自動處理新模板兼顧序列和數(shù)量特征基于日志序列異常檢測日志異常檢測7Interface ae3, changed state to downVlan-interface vlan22, changed state to downInterface ae3, changed state to upVlan-interface vlan22, changed state to upI

4、nterface ae1, changed state to downVlan-interface vlan20, changed state to downInterface ae1, changed state to upVlan-interface vlan20, changed state to up8屬于“SIF”消息類型的日志消息Interface *, changed state to downVlan-interface *, changed state to downInterface *, changed state to upVlan-interface *, chang

5、ed state to up9屬于“SIF”消息類型的日志消息日志處理普遍做法從日志消息中提取模板將日志消息匹配到模板準確提取日志事件影響后續(xù)異常檢 測準確性支持增量式學習每天產(chǎn)生數(shù)千萬 條日志歷史日志周期長模板匹配效率高日志數(shù)量巨大10日志處理11方法準確性增量式學習模板匹配效率特征樹方法 (IMC 10)高不支持高STE (INFOCOM 14)低不支持低LogSimilarity (CNSM 15)低支持低普遍做法從日志消息中提取模板將日志消息匹配到模板日志處理方法發(fā)表出處優(yōu)點缺點特征樹方法IMC 10準確性高不支持增量式學習，計算開銷大準確的，支持增量式學習的，高效的學習消準息確模性低

6、板，機不制支STEINFOCOM 14無持增量式學習LogSimilarityCNSM 15支持增量式學習準確性低12普遍做法從日志消息中提取模板將日志消息匹配到模板支持度：如果一個單詞W在某個日志消息中出現(xiàn)，則W的支持度+1 掃描所有消息，對單詞以支持度降序排列，存儲進映射MM13構(gòu)建FT-tree單詞支持度“changed”, “state”, “to”8“Interface”, “Vlan-interface”, “up”, “down”4“vlan20”, “vlan22”, “ae1”, “ae3”2構(gòu)建FT-tree14對每一個消息中的單詞以支持度降序排列Interface ae3

7、, changed state to downV1 = “changed”, “state”, “to”, “Interface”, “down”, “ae3” Vlan-interface vlan22, changed state to downV2 = “changed”, “state”, “to”, “Vlan-interface”, “down”, “vlan22” Interface ae3, changed state to upV3 = “changed”, “state”, “to”, “Interface”, “up”, “ae3” Vlan-interface vlan

8、22, changed state to upV4 = “changed”, “state”, “to”, “Vlan-interface”, “up”, “vlan22”M構(gòu)建FT-tree15V1 = “changed”, “state”,“to”, “Interface”, “down”, “ae3”16構(gòu)建FT-treeV1 = “changed”, “state”,“to”, “Interface”, “down”, “ae3”V2 = “changed”, “state”, “to”, “Vlan- interface”, “down”, “vlan22”17構(gòu)建FT-treeV3

9、 = “changed”, “state”, “to”,“Interface”, “up”, “ae3” 18構(gòu)建FT-tree19構(gòu)建FT-treeV3 = “changed”, “state”, “to”,“Interface”, “up”, “ae3” 點為消息類型FT-tree定義20nFT-tree的根節(jié)點為消息類型根節(jié)點只有一個域，即所表示的單詞FT-tree定義21nFT-tree的根節(jié)點為消息類型n非根節(jié)點只有一個域，即所表示的單詞n構(gòu)建完FT-tree之后需要剪枝包含有超過閾值P的子節(jié)點FT-tree定義22nFT-tree的根節(jié)點為消息類型n非根節(jié)點只有一個域，即所表示的單

10、詞n構(gòu)建完FT-tree之后需要剪枝包含有超過閾值P的子節(jié)點ree之后需要剪枝包含有超過閾值P的子節(jié)點n葉子結(jié)點到根節(jié)點的單詞組成模板FT-tree定義25nFT-tree的根節(jié)點為消息類型n非根節(jié)點只有一個域，即所表示的單詞n構(gòu)建完FT-tree之后需要剪枝包含有超過閾值P的子節(jié)點n葉子結(jié)點到根節(jié)點的單詞組成模板準確支持增量式學習 計算開銷低26FT-tree定義nFT-tree的根節(jié)點為消息類型n非根節(jié)點只有一個域，即所表示的單詞n構(gòu)建完FT-tree之后需要剪枝包含有超過閾值P的子節(jié)點n葉子結(jié)點到根節(jié)點的單詞組成模板驗證與評價準確性接近100%27n對比準確性以人工標記數(shù)據(jù)為依據(jù)四種日志

11、消息類型方法FT-tree特征樹方法STELogSimilarity模板訓練時間51分鐘628小時100小時80分鐘計算效率提高了117倍到730倍28驗證與評價n對比計算效率每天產(chǎn)生1千萬日志是否需要重新訓練以匹配新類型的消息29基于日志的異常檢測與預測支持增量式學習快速模板匹配準確提取事件日志解析基于部分異常標記學習各種設備/服務通用準確提取異常日志特征基于單條日志異常檢測保留模板語義自動處理新模板兼顧序列和數(shù)量特征基于日志序列異常檢測日志異常檢測匹配日志類 型 1配置異常日志對應 的正則表達式異常正常忽略類 型 n28在實際應用中，大多數(shù)公司使用正則表達式來對日志做分類運維工程師當前的日

12、志異常檢測與分類順序不對使用正則表達式的例子:正則表達式*GigabitEthernet *(d+)/0/(d+).* protocol down.大小能匹配的日志Interface TenGigabitEthernet 1/0/13 is protocol down.無法匹配的日志Interface TenGigabitEthernet 1/0/13 is PROTOCOL DOWN無法匹配的日志Interface TenGigabitEthernet 1/0/13 protocol is down.寫不一樣正則表達式的缺點手動編輯，工作量大算法效率低不通用希望能夠自動檢測 異常日志并對異常

13、 日志做分類當前的日志異常檢測與分類29日志異常檢測異常日志指示異常的日志健康日志與異常無關(guān)的日志異常日志分類表明異常的原因e.g., 丟包、重 啟30日志異常檢測與分類問題定義異常日志檢測31異常日志分類日志異常檢測與分類問題定義不同服務/設備通用的模型不同服務/設備的日志具有不同的格式不完整的標注只有部分異常的日志具有標注無法訓練傳統(tǒng)的分類模型32面臨挑戰(zhàn)歷史日志實時日志過濾參數(shù)PU二分類 分類器詞匯表TF-ILF向量多分類分 類器異常標注過濾參數(shù)TF-ILF向量異常日志檢 測異常日志分 類告警離線學習部分Top-nKeywords33在線分類部分日志預處理特征向量異常日志檢測異常日志分類

14、LogClass系統(tǒng)框架構(gòu)造文本特征向量的通用方法是詞袋模型(bag-of-words)L1Interfacete- 1/1/59changedstatetodownL2VlanInterfacevlan22changedstatetoupL3Neighbourvlan23changedstatefromExchangetoLoading文本特征向量日志單詞：InterfacechangedstatetodownVlanInterfaceNeighbourfromExchangeLoadingupL111111000000L201110100001L301110011110詞袋模型34通常，每

15、個文本特征向量都被分配一個權(quán)重，TF-IDF是最流行的加權(quán)方法詞頻(term frequency, TF)： 某一個給定的單詞在該日志消息中出現(xiàn)的次數(shù)逆向文件頻率 (inverse document frequency, IDF)：與包含某單詞的日志消息的數(shù)目成反比IDF越大，說明該單詞具有越大的類別區(qū)分能力VlanInterfaceNeighbourfromExchangeLoadingupL1 L2 L3文本特征向量:單詞： Interfacechangedstatetodownchanged35statetodownVlanInterfaceNeighbourfrom1111100000

16、00111010000101110011110ExchangeLoadinguplog(3)log(1)log(1)log(1)log(3)0000000log(1)log(1)log(1)0log(3)0000log(3)L1 L2L3 0log(1)log(1)log(1)00log(3)log(3)log(3)log(3)0TF-IDF向量:單詞： InterfaceTF-IDF在多條日志消息中出現(xiàn)的單詞并不一定是不重要的單詞例如，表明端口開/關(guān)的日志經(jīng)常出現(xiàn)，所以該類日志中的”Interface”也經(jīng)常出現(xiàn)。在多個文本出現(xiàn)的單詞并 不一定是不重要的單詞 (與IDF的思想矛盾)在不同日志

17、中的不同位置出現(xiàn)過 的單詞，通常是不重要的單詞36對日志的觀察TF(Term Frequency)某一個給定的 單詞在該文件 中出現(xiàn)的次數(shù)一般在計算TF 時需要歸一化ILF (Inverse Location Frequency)某個單詞出現(xiàn) 過的位置越少， 說明它越獨特對日志分類越 重要結(jié)合TF-ILF考慮頻次考慮位置37TF-ILF40特征向量標注傳統(tǒng)分類算法分類模型PN learning(i.e., 監(jiān)督學習)PNU learning(i.e., 半監(jiān)督學習)PU learningP & N 數(shù)據(jù)是用來訓練的數(shù)據(jù):positive dataP , N & U數(shù)據(jù)是用來訓練的數(shù)據(jù)P & U

18、數(shù)據(jù)是用來訓練的數(shù)據(jù): negative data: unlabeled data (Gang Niu et al. NIPS16)但是，只有部分異常日志具有標注只有部分異常日志被標記運維人員并未標記所有的異常日志為什么要使用PU Learning1 ?PU Learning的輸入Positive集合 P (異常日志)Unlabeled集合U (無標注日志)Positive集合P (異常日志)Negative集合N(健康日志)39PU Learning 的輸 出1 Elkan C, Noto K. Learning classifiers from only positive and unla

19、beled dataC/Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2008: 213-220.PU learning異常日志檢測(二分類)： PULearning+隨機森林標記的positive數(shù)據(jù) 非常少隨機森林更適合處理樣 本不平衡的情況異常日志分類(多分類)： SVMSVM準確率高40通過模型參數(shù)來得到不 同類別對應的關(guān)鍵詞分類器的選擇異常日志檢測的實驗結(jié)果41LogClass檢測到異常日志的case評估異常日志檢測運維工

20、程師的人工 確認有效使用了150條實際 應用的正則表達式42LogClass、L- LDA與Regular Expression的對比INTERFACE_DOWN類別中最重要的5個詞評估異常日志分類支持增量式學習快速模板匹配準確提取事件日志解析基于部分異常標記學習各種設備/服務通用準確提取異常日志特征基于單條日志異常檢測保留模板語義自動處理新模板兼顧序列和數(shù)量特征基于日志序列異常檢測日志異常檢測基于日志的異常檢測與預測43文本日志序列的特點日志模板是可以代表一類日志同一模板下的只有變量單詞不一樣有些日志存在某種數(shù)量性關(guān)系例如down/up日志的數(shù)量應該是相等的同一事件/會話產(chǎn)生的日志存在序列性

21、關(guān)系例如OSPF啟動需要經(jīng)歷“Down Attempt Init Two-way Exstart Exchange Loading Full”8個過 程日 志 模 板 ： T1. Interface *, changed state to down T2. Vlan-interface *, changed state to downT3. Vlan-interface *, changed state to up T4. Interface *, changed state to up日志 - 模板編號:L1-T1,L2-T2,L3-T4 L4-T1,L5-T3,L6-T4日志模板編號序列:

22、T1, T2, T4, T1, T3, T4日 志 : L1. Interface ae3, changed state to down L2. Vlan-interface vlan22, changed state to downL3. Interface ae3, changed state to up. L4. Interface ae1, changed state to downL5. Vlan-interface vlan22, changed state to upL6. Interface ae1, changed state to up44現(xiàn)有日志序列異常檢測T1. Int

23、erface *, changed state to down2T . Vlan-interface *, changed state to downT3. Interface *, changed state to upT4. Vlan-interface *, changed state to up日志 - 模板編號:L1-T1,L2-T2,L3-T3 L4-T1,L5-T4,L6-T3日志模板編號序列:T1, T2, T3, T1, T4, T3日志:1L . Interface ae3, changed state to downL2. Vlan-interface vlan22, c

24、hanged state to down L3. Interface ae3, changed state to up.L4. Interface ae1, changed state to downL5. Vlan-interface vlan22, changed state to up L6. Interface ae1, changed state to upLogCluster (ICSE16)IM(ATC10)T , T , T , T , T12314滑動/會話窗口t t t t tT1, T2, T3, T1, T4t t t t tt t t t tT1, T2, T3, T

25、1, T4DeepLog (CCS17)111計數(shù)矩陣v1 v2 v3111110101v4 Cj 0Cj+1 0Cj+2 1Cj+3 11 2 3v2 v3 v1v3 v1 v4v v v v1 v4v3sequencenextt t t t tT , T , T , T , T12314t t t t tT1, T2, T3, T1, T4t t t t tT1, T2, T3, T1, T4現(xiàn)有多條日志異常檢測方案滑動/會話窗口45提取日志模板日志模板異常檢測日志模板：PreFix(SIGMETRIS1P8)CA(SOSP09)數(shù)量關(guān)系順序關(guān)系現(xiàn)有日志序列異常檢測日志模板：T1, T2,

26、 T3, T1, T4, T3T , T , T , T , T12314滑動/會話窗口t t t t tT1, T2, T3, T1, T4t t t t tDeepLog (CCS17)計數(shù)矩陣v1 v2 v3v4Cj1110Cj+11111 2 3v2 v3 v1v3 v1 v4v3sequencenextv v v v1 v4T , T , T , T , T12314t t t t tT1, T2, T3, T1, T4t t t t tT1, T2, T3, T1, T4現(xiàn)有多條日志異常檢測方案志:T1. Interface *, changed state to downt t

27、t t t0Cj+2101Interface ae3, changed state to downT2. Vlan-interface *, changed state to downT1, T2, T3, T1, T41LogCluster (ICSE16)IM(ATC10)Vlan-interface vlan22, changed state to down T3. Interface *, changed state to upCj+3101Interface ae3, changed state to up.T4. Vlan-interface *, changed state to

28、 up1Interface ae1, changed state to down日志 - 模板編號:Vlan-interface vlan22, changed state to upL1-T1,L2-T2,L3-T3Interface ae1, changed state to upL4-T1,L5-T4,L6-T3滑動/會話窗口日志模板編號序列:t t t t t提取日志模板日志模板異常檢測日L2.模板編號對比過于苛刻,沒有考慮模板語L3.L4.L6.義46PreFix(SIGMETRIS1P8)CA(SOSP09)數(shù)量關(guān)系順序關(guān)系當前方法存在的問題僅使用日志模板編號會丟失有價值的信息有些

29、日志模板相似但是模板編號不一致無法解決新的日志模板設備會在運行中產(chǎn)生新類型日志不能同時檢測日志序列性和數(shù)量性異常47日志序列異常檢測目標保留模板語義信息設計新型模板表示方法自動處理新出現(xiàn)的模板實現(xiàn)模板有效融合兼顧日志序列性和數(shù)量性異常設計統(tǒng)一日志序列異常檢測機制48LogAnomaly系統(tǒng)框架歷史日志模板序列模板實時日志模板序列模板向量已存在的 向量向量序列向量序列Model相似度對比輸出離線學習在線檢測臨時模板提取template2Vec更新匹配匹配分類近義詞 反義詞template2Vec詞向量模板向量 template2Vec模板向量 序列計數(shù)向量LSTMLSTMAttentionCjv

30、(sj) v(sj+l) v(sj+w一l)v(sj+w)Cj+1 Cj+w-149模板向量表示方法對日志的觀察一些日志存在相似的語法包含反義詞的日志語義相反解決方案（template2Vec）結(jié)合領域知識考慮近義詞反義詞將日志模板表示成向量T1Interface*changedstatetodow nTn+1Vlan-interface*changedstatetodow n領域知識模板詞向量Interfac ex,x,xc模ha板ng向ed量x,x,xV1x,x,xVn+1x,x,x近義詞反義詞InterfaceVlan- interfacedownup(1)(2)(3)(3)匹配現(xiàn)有 向

31、量Logs:Tem1.Interface ae3, changed state to down1.In 2.Vlan-interface vlan22, changed state to down2.Vl 3.Interface ae3, changed state to updow 4.Vlan-interface vlan22, changed state to up 3.In 5.Interface ae1, changed state to down4.Vl 6.Vlan-interface vlan20, changed state to downnew 7.Interface ae

32、1, changed state to updow 8.Vlan-interface vlan20, changed state to up Lognew: 9.Port 80 , changed state to down L1-L5-newplates：terface *, changed state to down wnan-interface *, changed state tonterface *, changed state to upan-interface *, changed state to up wn: 5.Port * , changed state wonsTemplates:T1 L2-T2 L3-T3 L4-T4T1 L6-T2 L7-T3 L8-T4: L9-T5日志:1.Interface ae3, changed state t