面向連接的智能運(yùn)維體系：阿里大數(shù)據(jù)運(yùn)維實(shí)踐

1、面向連接的智能運(yùn)維體系面向連接的智能運(yùn)維體系 阿里大數(shù)據(jù)運(yùn)維實(shí)踐大綱大綱Big dataops產(chǎn)品運(yùn)維歷程產(chǎn)品運(yùn)維歷程智能運(yùn)維理念智能運(yùn)維理念Tesla產(chǎn)品體系產(chǎn)品體系運(yùn)維價(jià)值重塑運(yùn)維價(jià)值重塑01.02.03.04.OTSHadoop0204產(chǎn)品運(yùn)維歷程產(chǎn)品運(yùn)維歷程01 Before 2012人工人工&腳本腳本工具整合，業(yè)務(wù)增長工具整合，業(yè)務(wù)增長2016智能運(yùn)維體系建設(shè)智能運(yùn)維體系建設(shè)HbaseGalaxyTTHistore MaxComputeAnalyticDBJstormSLS 032014自動(dòng)化平臺(tái)自動(dòng)化平臺(tái)2013501/51:1產(chǎn)品運(yùn)維歷程產(chǎn)品運(yùn)維歷程困境 求變 新生201

2、4產(chǎn)品運(yùn)維歷程產(chǎn)品運(yùn)維歷程智能運(yùn)維理念智能運(yùn)維理念 是否有可以借鑒？ 何種智能理念？ 產(chǎn)品發(fā)展方向和終態(tài)？智能運(yùn)維理念智能運(yùn)維理念末端末端連接連接分析分析展現(xiàn)展現(xiàn)1.末端：直接操作 系統(tǒng)，應(yīng)用程序，硬件，網(wǎng)絡(luò) 的產(chǎn)品。2.分析：實(shí)現(xiàn)運(yùn)維人員思考問題，分析需求，排查故障的產(chǎn)品，3.連接：實(shí)現(xiàn)分析與末端產(chǎn)品驅(qū)動(dòng)與反饋的連系產(chǎn)品。4.展現(xiàn)：將智能平臺(tái)的狀態(tài) 以多種可視化的方式表達(dá)出來。AECT-FlowIDPSTDSChangeLineT-cloneStarAgentCMDBICSchangefreeAlimonitorACL智能運(yùn)維理念智能運(yùn)維理念T-Flow 工作流工作流 Simple Flow

3、 Multi FlowTesla產(chǎn)品體系產(chǎn)品體系 T-Flow關(guān)鍵末端產(chǎn)品關(guān)鍵末端產(chǎn)品-系統(tǒng)層指令序列調(diào)度的服務(wù)系統(tǒng)層指令序列調(diào)度的服務(wù)Simple FlowTesla產(chǎn)品體系產(chǎn)品體系 T-FlowABCparam1Tesla產(chǎn)品體系產(chǎn)品體系 T-FlowSimple Flow Template/home/admin/update -t _%_param2param3自動(dòng)忽略自動(dòng)重試異常報(bào)警自動(dòng)忽略超時(shí)時(shí)間/home/admin/update -t _%_自動(dòng)重試異常報(bào)警cluster011.1.1.4$cluster011.1.1.5$cluster011.1.1.2$cluster011.

4、1.1.3$cluster011.1.1.4$cluster011.1.1.5$cluster011.1.1.3$ clustre011.1.1.7$/home/admin/tools(-p t 3)-data) module1 yum xxx module1) /home/admin/tools(-precheckyum xxx module1)yum xxx module1)yum xxx/home/admin/tools(-postcheck)-restart)/home/admin/tools(-p 1 t 4) Failed/home/admin/tools(-p 1 t 6)/ho

5、me/admin/tools(-p 1 t 6)Tesla產(chǎn)品體系產(chǎn)品體系 T-FlowSimple Flow Instance1234Simple FlowInstanceTesla產(chǎn)品介紹產(chǎn)品介紹 T-FlowMulti Flow Instance=Tesla產(chǎn)品體系產(chǎn)品體系 T-Flow案例1. GalaxyUpgradePool2. UpgradeRegionServer3. FlightingUpdatesimple flowsimple flowmulti flowTesla產(chǎn)品體系產(chǎn)品體系 T-FlowTesla產(chǎn)品體系產(chǎn)品體系 T-FlowTesla產(chǎn)品體系產(chǎn)品體系 T-Flo

6、wTesla產(chǎn)品體系產(chǎn)品體系 T-Flow30000+實(shí)例運(yùn)行實(shí)例運(yùn)行Tesla產(chǎn)品體系產(chǎn)品體系 T-FlowTesla產(chǎn)品體系產(chǎn)品體系 ICSintelligent Connection ServiceICS關(guān)鍵連接服務(wù)層關(guān)鍵連接服務(wù)層-解決事件與末端產(chǎn)品的連接解決事件與末端產(chǎn)品的連接監(jiān)控事件監(jiān)控事件日志分析日志分析流程事件流程事件AECT-flowNocTesla產(chǎn)品體系產(chǎn)品體系 ICS外部系統(tǒng)外部系統(tǒng)監(jiān)控系統(tǒng)1監(jiān)控系統(tǒng)2日志分析1其他第三方觸發(fā)器觸發(fā)器監(jiān)控系統(tǒng)1配置，數(shù)據(jù)監(jiān)控系統(tǒng)2配置，數(shù)據(jù)日志分析1配置，數(shù)據(jù)其他第三方配置，數(shù)據(jù)事件處理事件處理插件注冊(cè)插件注冊(cè)抑制通知抑制通知事件調(diào)度事

7、件調(diào)度沖突檢查沖突檢查K-V 依賴依賴執(zhí)行器執(zhí)行器T-flow 執(zhí)行器接口AEC執(zhí)行器接口SSH執(zhí)行器接口消息訂閱服務(wù)末端系統(tǒng)末端系統(tǒng)T-flowAECPSSHTclone其他末端服務(wù)intelligent Connection Service系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)Tesla產(chǎn)品體系產(chǎn)品體系 ICSintelligent Connection Service案例盤古分布式文件系統(tǒng)一副本高危事件Tesla產(chǎn)品體系產(chǎn)品體系 ICSintelligent Connection ServiceTesla產(chǎn)品體系產(chǎn)品體系 ICSintelligent Connection ServiceTesla產(chǎn)品體系產(chǎn)品

8、體系 ICSintelligent Connection ServiceTesla產(chǎn)品體系產(chǎn)品體系 ICSintelligent Connection ServiceTesla產(chǎn)品體系產(chǎn)品體系 ICSintelligent Connection Service容量檢查，調(diào)參/縮擴(kuò)容硬件異常 ,維修下線分布式文件系統(tǒng)副本高危加速修補(bǔ)核心應(yīng)用服務(wù)Hang 緊急輪換Tesla產(chǎn)品體系產(chǎn)品體系 TDS Troubleshoot Decision Service關(guān)鍵末端分析型產(chǎn)品關(guān)鍵末端分析型產(chǎn)品-提供通用線上故障智能分析及處理方案提供通用線上故障智能分析及處理方案Checkpoint配置配置執(zhí)行類型：

9、Check API，Check Script分析結(jié)果：example： A，B，C邊條件配置邊條件配置上游節(jié)點(diǎn)：Checkpoint下游節(jié)點(diǎn)：Checkpoint / ICS上游結(jié)果表達(dá)式：case=A，case=C ，case=A&B排查點(diǎn)排查點(diǎn)1排查點(diǎn)排查點(diǎn)2排查點(diǎn)排查點(diǎn)3排查點(diǎn)排查點(diǎn)4排查點(diǎn)排查點(diǎn)5日志分析日志分析監(jiān)控報(bào)警監(jiān)控報(bào)警故障工單故障工單ICSTesla產(chǎn)品體系產(chǎn)品體系 TDS Troubleshoot Decision ServiceTDS排查點(diǎn)排查點(diǎn)6排查點(diǎn)排查點(diǎn)7排查點(diǎn)排查點(diǎn)8Tesla產(chǎn)品體系產(chǎn)品體系 AEC & Crond關(guān)鍵末端產(chǎn)品關(guān)鍵末端產(chǎn)品-應(yīng)用環(huán)境實(shí)時(shí)維護(hù)應(yīng)用環(huán)境實(shí)時(shí)維護(hù) rpm，文件，目錄，文件，目錄低部署成本，簡(jiǎn)單通用灰度發(fā)布，低消高效規(guī)則多樣,文件模板多級(jí)綁定,靈活組合Tesla產(chǎn)品體系產(chǎn)品體系 AEC & Crond關(guān)鍵末端產(chǎn)品關(guān)鍵末端產(chǎn)品-集中管理線上服務(wù)器定時(shí)調(diào)度任務(wù)集中管理線上服務(wù)器定時(shí)調(diào)度任務(wù)Crond管理散