大模型在日志運(yùn)維場(chǎng)景的應(yīng)用實(shí)踐-2023 饒琛琳正式版

分享主題大模型在日志運(yùn)維場(chǎng)景的應(yīng)用實(shí)踐饒

琛

琳

日

志

易

產(chǎn)

品

副

總

裁目錄Contents01.

02.

03.大模型在日志場(chǎng)景的應(yīng)用方向?qū)嵺`運(yùn)用大模型的路徑大模型在金融企業(yè)應(yīng)用案例更快捷的分析海量日志更智能的解讀和預(yù)測(cè)故障理想vs現(xiàn)實(shí)：估算資源構(gòu)建高質(zhì)量的訓(xùn)練數(shù)據(jù)模型的評(píng)估和迭代優(yōu)化產(chǎn)品設(shè)計(jì)“揚(yáng)長(zhǎng)避短”背景：某金融企業(yè)大量業(yè)務(wù)日志難點(diǎn)：關(guān)鍵字復(fù)雜多變方案：實(shí)現(xiàn)知識(shí)庫增強(qiáng)的自然語言查詢效果：故障排查時(shí)間縮短40%01大模型在日志場(chǎng)景的應(yīng)用方向?

更快捷的分析海量日志?

更智能的解讀和預(yù)測(cè)故障?

理想vs現(xiàn)實(shí)：估算資源谷歌Sec-PaLM的日志概要效果日志問答方案(1)：超大窗口問題1：窗口不會(huì)無限大，日志卻無限多。問題2：對(duì)于長(zhǎng)文本中部的內(nèi)容，LLM不太敏感。日志問答方案(2)：AgentChain問題1：運(yùn)維知識(shí)理解的要求較高問題2：agent/functioncall能力要求較高日志問答方案(3)：模式提問+分段選擇資源消耗估算場(chǎng)景看起來很美好，但實(shí)際部署時(shí)存在一定成本壓力。我們進(jìn)行了一些簡(jiǎn)單的資源估算:?

1000條SSH日志大概包含5-6萬個(gè)tokens。對(duì)于這個(gè)長(zhǎng)度，LLM推理速度較慢，需要10多秒。?

使用最新的Yi-6b-200k模型測(cè)試，24GB顯存僅能處理約3ktokens，相當(dāng)于50行日志。?

按ChatGLM規(guī)模預(yù)估,80G顯存的單卡最多只能處理200行SSH日志。?

并行計(jì)算時(shí)，8塊80G卡也只能同時(shí)處理約1600行。結(jié)論:?

直接進(jìn)行日志問答，在理論上可行，但算力需求巨大。?

該方案實(shí)際成本過高，目前的硬件條件難以支撐實(shí)際應(yīng)用。?

生成和調(diào)用現(xiàn)有分析工具相對(duì)更現(xiàn)實(shí)。02實(shí)踐運(yùn)用大模型的路徑?

構(gòu)建高質(zhì)量的訓(xùn)練數(shù)據(jù)?

模型的評(píng)估和迭代優(yōu)化?

產(chǎn)品設(shè)計(jì)“揚(yáng)長(zhǎng)避短”Text2SPL場(chǎng)景介紹/背景?TexttoSQL任務(wù)是NLP領(lǐng)域的經(jīng)典課題之一。常見的數(shù)據(jù)集有：??SPL對(duì)比SQL的差異：沒有預(yù)知的tableschema。要自行判斷

prompt里哪些名詞疑似字段名。無法直接套用ChatGPT，SPL目前只是概念通用，語法層無標(biāo)準(zhǔn)：?

WikiSQL，維基百科數(shù)據(jù)集主要是單表查詢，語句比較簡(jiǎn)單。?

Spider，數(shù)據(jù)集包含join等多表和嵌套，語句比較復(fù)雜。在seq2seq之前，模板技術(shù)一般評(píng)分20+；bert/T5之前，一般評(píng)分60+；ChatGPT將評(píng)分提升到

85+。?日志易

SPL語法和splunk/kusto/esql/ppl/humio有差別。?日志易內(nèi)置字段也和CIM/ECS有差別。?

CoSQL，在Spider的基礎(chǔ)上添加了模糊語義多輪對(duì)話。目前評(píng)分在50+。?

BIRD：新一代數(shù)據(jù)集，不光考慮表結(jié)構(gòu)，還要考慮臟數(shù)據(jù)、執(zhí)行效率。目前ChatGPT評(píng)分為

40。通用大模型的表現(xiàn)(1)：GPT對(duì)比T5的飛躍自然語言提問splunk-google-t5ChatGPTsearchforthetermserror,failfailure,failed,orsevereintheeventsthatalsomentionbuttercupgamesindex=_internalfail*not[searchindex=_internalerror,fail*errorsearch(errorORfailORfailureORfailedORsevere)ANDbuttercupgamessearchthesourcetypefieldforanyvaluesthatbeginwithaccess_,status200,andaction"purchase".usethechartcommandtocountthenumberofpurchases.thesearchspecifiesthepurchasesmadeforeachproductbyusingcategoryId.Thedifferenceisthatthecountofpurchasesisnowanargumentofthesparkline()function.index=access_*status=200action=purchase|chartcount(price)就這一條是可以直接運(yùn)行的，還和期望輸出有差距searchsourcetype="access_*"status=200action="purchase"|chartcount(action)bycategoryId|evalpurchases=sparkline(count)就這一條是不能直接用的。兩次追加提示后改對(duì)：searchsourcetype="access_*"status=200action="purchase"|chartsparkline(count(action))bycategoryIdsearchthesourcetypefieldforanyvaluesthatbeginwithaccess_,geteventswithstatus200,andaction"purchase".thencomputethemostcommoncategoryIdvalues.sourcetype=access_*status=200actionpurchase|topcategoryIdsearchsourcetype="access_*"status=200action="purchase"|topcategoryIdsearchthesourcetypefieldforanyvaluesthatbeginwithaccess_,geteventswithstatus200,andaction"purchase".thencomputetheonemostcommonclientip.sourcetype=access_*status=200actionpurchase|topclientipsearchsourcetype="access_*"status=200action="purchase"|top1clientipsearchthesourcetypefieldforanyvaluesthatbeginwithaccess_,thegetpriceas"Price"byproductName,thenrenameproductNamecolumnas"ProductName"sourcetype=access_.|statsvalues(price)aspricebyproductName|searchsourcetype="access_*"|evalPrice=price|statsvalues(Price)byproductName|renameproductNameas"ProductName"兩次追加提示后改的更高效，并且能記?。簊earchsourcetype="access_*"|statsvalues(price)asPricebyproductName|renameproductNameas"ProductName"通用大模型的表現(xiàn)(2)：提示工程不是萬能的問題

1：基礎(chǔ)模型較差時(shí)，復(fù)雜邏輯完全無法處理問題

2：模型的預(yù)訓(xùn)練知識(shí)在細(xì)節(jié)處有嚴(yán)重干擾訓(xùn)練數(shù)據(jù)籌備(1)：內(nèi)外網(wǎng)數(shù)據(jù)搜集原始數(shù)據(jù)來源n

指令說明文檔n

手動(dòng)編寫，含多輪對(duì)話n

內(nèi)部應(yīng)用配置：圖表標(biāo)題及SPL語句n

github上公開的常用日志關(guān)鍵字n

github上公開的es/splunk/kusto安全分析規(guī)則訓(xùn)練數(shù)據(jù)籌備(2)：?jiǎn)柎痤悢?shù)據(jù)增強(qiáng)ChatGPT??成n

alpaca式的

self_instruct方案：通過

GPT-3.5接口，自動(dòng)生成部分微調(diào)數(shù)據(jù)。n

添加

prompt聲明圈定問答范圍：ActasaSplunkExperttowriteSPL。n

然后人工復(fù)核，調(diào)整數(shù)據(jù)。訓(xùn)練數(shù)據(jù)籌備(3)：豐富提問方式StarChat??扮演n

starcoder是開源

LLM中編碼能力最強(qiáng)的。實(shí)驗(yàn)發(fā)現(xiàn)他甚至能給出具體的

splunk文檔

url。n

通過

A/B角色扮演，讓

starcoder說出對(duì)應(yīng)

SPL語句的提問。n

效果一般，清洗后去掉了三分之二的數(shù)據(jù)。訓(xùn)練數(shù)據(jù)籌備(4)：加入其他產(chǎn)品知識(shí)?檔?問答n

利用

pandoc工具將

word文檔轉(zhuǎn)為

markdown純文本。n

來自北交大

transGPT交通大模型的LLMforDialogDataGenerate方法，基于文本生成問答。模型的評(píng)估與迭代?

嘗試不同基礎(chǔ)模型的效果：?

baichuan2的loss長(zhǎng)期不收斂?

嘗試不同數(shù)據(jù)配比的效果：?

1:2>1:5>1:1?

嘗試構(gòu)建除文本匹配以外的驗(yàn)證方案：?

引入SPLparserAPI語法校驗(yàn)?

對(duì)比索引實(shí)際響應(yīng)內(nèi)容?

有趣的是：和Splunk得到了相似的結(jié)論。揚(yáng)長(zhǎng)避短的產(chǎn)品設(shè)計(jì)??瀏覽器插件形式：兼容全部主產(chǎn)品版本、獨(dú)立迭代錨定搜索頁：獲取數(shù)據(jù)集、字段列表等即時(shí)知識(shí)敏感數(shù)據(jù)攔截：注重?cái)?shù)據(jù)安全，避免個(gè)人隱私外發(fā)?03大模型在金融企業(yè)應(yīng)用案例?

背景：金融企業(yè)大量業(yè)務(wù)日志?

難點(diǎn)：關(guān)鍵字復(fù)雜多變?

方案：實(shí)現(xiàn)知識(shí)庫增強(qiáng)的自然語言查詢?

效果：故障排查時(shí)間縮短40%案例背景③.

找到返回碼了，②.

業(yè)務(wù)系統(tǒng)上千個(gè)返回碼，人只記得住最常見的10來個(gè)。其他的中文含義對(duì)應(yīng)啥返回碼？不過你問的是什么錯(cuò)誤提示呢？①.

金融企業(yè)通常有200-600個(gè)業(yè)務(wù)系統(tǒng)，口頭叫法大同小異，但開發(fā)商輸出到日志里，實(shí)際用的是什么標(biāo)識(shí)符？ChatSPL效果ChatSPL客戶收益?

在“爭(zhēng)分