IT運(yùn)維分析與海量日志搜索方案

1、IT運(yùn)維分析與海量日志搜索方案技術(shù)創(chuàng)新，變革未來提綱IT 運(yùn)維分析（IT Operation Analytics）日志的應(yīng)用場景 過去及現(xiàn)在的做法 日志搜索引擎日志易產(chǎn)品介紹 從 IT Operation Management (ITOM) 到 IT Operation Analytics (ITOA)大數(shù)據(jù)技術(shù)應(yīng)用于IT運(yùn)維，通過數(shù)據(jù)分析提升IT運(yùn)維效率可用性監(jiān)控應(yīng)用性能監(jiān)控故障根源分析安全審計(jì)Gartner估計(jì)，到2017年15%的大企業(yè)會積極使用ITOA；而在2014年這一數(shù)字 只有5% IT 運(yùn)維分析機(jī)器數(shù)據(jù)（Machine Data）日志通信數(shù)據(jù)（Wire Data）網(wǎng)絡(luò)抓包，流量分

2、析代理數(shù)據(jù)（Agent Data）在 .NET/Java 字節(jié)碼里插入代碼，統(tǒng)計(jì)函數(shù)調(diào)用、堆棧使用探針數(shù)據(jù)（Probe Data）在各地模擬ICMP ping、HTTP GET請求，對系統(tǒng)進(jìn)行檢測 ITOA的四種數(shù)據(jù)來源86% 93%47%72%100%90%80%70%60%50%40%30%20%10%0%machine data（日志）wire data（網(wǎng)絡(luò)抓包）agent data（插入代碼）probe data（模擬檢測）ITOA四種數(shù)據(jù)來源使用占比機(jī)器數(shù)據(jù)（日志）日志無所不在但不同應(yīng)用輸出的日志內(nèi)容的完整性、可用性不同通信數(shù)據(jù)（網(wǎng)絡(luò)抓包）網(wǎng)絡(luò)流量信息全面但一些事件未必觸發(fā)網(wǎng)絡(luò)流量

3、代理數(shù)據(jù)（嵌入代碼）代碼級精細(xì)監(jiān)控但侵入性，會帶來安全、穩(wěn)定、性能問題探針數(shù)據(jù)（模擬用戶請求）端到端監(jiān)控但不是真實(shí)用戶度量（Real User Measurement） ITOA四種數(shù)據(jù)來源的比較帶時(shí)間戳的機(jī)器數(shù)據(jù)IT 系統(tǒng)信息服務(wù)器網(wǎng)絡(luò)設(shè)備操作系統(tǒng)應(yīng)用軟件用戶信息用戶行為業(yè)務(wù)信息日志反映的是事實(shí)數(shù)據(jù)“The Log: What every software engineer should know about real-time datas unifying abstraction”, Jay Kreps, LinkedIn engineer深度解析LinkedIn大數(shù)據(jù)平臺（/articl

4、e/2014-07-23/2820811/1） 日志：時(shí)間序列機(jī)器數(shù)據(jù)43 - - 15/Apr/2015:00:27:19 +0800 “POST /report HTTP/1.1” 200 21 “https:/search/” “Mozilla/5.0 (Windows NT 6.1; WOW64; rv:37.0) Gecko/20100101 Firefox/37.0” “74” 0.005 0.001字段：- Client IP: 43- Timestamp: 15/Apr/2015:00:27:19 +0800Method: POSTURI: /reportVersion: HT

5、TP/1.1Status: 200Bytes: 21Referrer: /search/User Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:37.0) Gecko/20100101 Firefox/37.0- X-Forward: 74Request_time: 0.005Upstream_request_time:0.001 一條ApacheAccess日志運(yùn)維監(jiān)控可用性監(jiān)控應(yīng)用性能監(jiān)控 (APM)安全審計(jì)安全信息事件管理 (SIEM)合規(guī)審計(jì)發(fā)現(xiàn)高級持續(xù)威脅 (APT)用戶及業(yè)務(wù)統(tǒng)計(jì)分析 日志的應(yīng)用場景日志沒有集中處理登陸每一臺服務(wù)器，使用

6、腳本命令或程序查看日志被刪除磁盤滿了刪日志黑客刪除日志，抹除入侵痕跡日志只做事后追查沒有實(shí)時(shí)監(jiān)控、分析使用數(shù)據(jù)庫存儲日志無法適應(yīng)TB級海量日志數(shù)據(jù)庫的schema無法適應(yīng)千變?nèi)f化的日志格式無法提供全文檢索 過去Hadoop批處理，不夠及時(shí)查詢慢數(shù)據(jù)離線挖掘，無法做 OLAP (On Line Analytic Processing)Storm/SparkHadoop/Storm/Spark都只是一個(gè)開發(fā)框架，不是拿來即用的產(chǎn)品NoSQL不支持全文檢索 近年對日志實(shí)時(shí)搜索、分析日志實(shí)時(shí)搜索分析引擎快日志從產(chǎn)生到搜索分析出結(jié)果只有幾秒的延時(shí)大每天處理 TB 級的日志量靈活Google for IT

7、， 可搜索、分析任何日志Fast Big Data 現(xiàn)在日志3.0：實(shí)時(shí)搜索引擎 需要開發(fā)成本批處理，實(shí)時(shí)性差不支持全文檢索固定的schema無法適應(yīng) 任意日志格式無法處理大數(shù)據(jù)量日志2.0：Hadoop 或 NoSQL日志1.0： 數(shù)據(jù)庫實(shí)時(shí)靈活全文檢索日志管理系統(tǒng)的進(jìn)化可編程的日志實(shí)時(shí)搜索分析平臺搜索處理語言 （Search Processing Language, SPL）SPL命令用管道符（“|”）串接成腳本程序在搜索框里寫 SPL 腳本，完成復(fù)雜的查詢、分析可接入各種來源的數(shù)據(jù)日志文件數(shù)據(jù)庫恒生電子交易系統(tǒng)二進(jìn)制日志企業(yè)部署版SaaS 版每天500MB日志處理免費(fèi) 日志易亮點(diǎn)搜索告警

8、統(tǒng)計(jì)事務(wù)關(guān)聯(lián)配置解析規(guī)則，識別任何日志把日志從非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)安全攻擊自動(dòng)識別開放API，對接第三方系統(tǒng)高性能、可擴(kuò)展分布式架構(gòu)樂視：100萬 EPS (Event Per Second)，20TB/天 日志易功能使用日志易之前逐臺登陸服務(wù)器，無法集中查看日志，無法對海量數(shù)據(jù)進(jìn)行挖掘、用戶行為分析日志查詢方式比較原始，只能 less、grep 和 awk 等常見的 Linux 指令，無法多維度查詢（時(shí)間段、關(guān) 鍵字、字段值）無法進(jìn)行日志的業(yè)務(wù)邏輯分析和告警使用日志易之后，接入100多個(gè)應(yīng)用的日志，8TB/天省去登陸服務(wù)器的操作，快速，降低人為登陸服務(wù)器誤操作引發(fā)生產(chǎn)故障查詢條件多維

9、度，提升定位異常原因的效率可以對日志數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘、用戶行為分析并產(chǎn)生相應(yīng)的報(bào)表，同時(shí)還可以針對應(yīng)用系統(tǒng)健康指數(shù)提 前告警，而不是事后補(bǔ)漏 客戶案例：某大型綜合金融機(jī)構(gòu)使用場景和解決的問題分析營業(yè)廳業(yè)務(wù)辦理Web請求日志聚合出每個(gè)營業(yè)員每項(xiàng)業(yè)務(wù)的詳細(xì)操作步驟，對每個(gè)步驟操作時(shí)長進(jìn)行告警、統(tǒng)計(jì)分析Search Processing Language 范例json.url:“/charge/business.ac8on?BMEBusiness=charge.charge&_cntRecTimeFlag=true” | transac8on apache.dimensions.cookie_CURRENT_MENUID startswith=eval(json.ac8on:“ 查 詢 ”& 8mestamp30m) endswith=json.ac8on:提交1.先通過url過濾 出所有繳費(fèi)業(yè)務(wù) 日志2.通過menuid進(jìn)行分 組聚合3.將“查詢”動(dòng)作作為 步驟起點(diǎn)4.默認(rèn)30分鐘內(nèi)營業(yè)員處理完一筆完整業(yè)務(wù)5.將“提交”動(dòng)作作為 步驟結(jié)束客戶案例：中移動(dòng)某省分公司 一筆繳費(fèi)業(yè) 務(wù)營業(yè)員所 有操作步驟 一目了然每個(gè)步驟所 需要的執(zhí)行 時(shí)間按步驟 順序排列網(wǎng)絡(luò)處理時(shí)間，服務(wù)器處理時(shí)間按步驟順序排列 客戶案例：中移動(dòng)某