服務(wù)器下的基礎(chǔ)運(yùn)維智能化實(shí)踐課件

阿里巴巴海量服務(wù)器下的基礎(chǔ)運(yùn)維和智能化實(shí)踐GOPS

全球運(yùn)維大會2019·上海站目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS

全球運(yùn)維大會2019·上海站我們是誰GOPS

全球運(yùn)維大會2019·上海站\$$?????:一套自動(dòng)化數(shù)據(jù)中心管理系統(tǒng)，管理數(shù)據(jù)中心中的軟硬件生命周期，各類靜態(tài)資源編排，基礎(chǔ)軟件的版本和發(fā)布解決什么問題GOPS

全球運(yùn)維大會2019·上海站設(shè)計(jì)理念設(shè)計(jì)理念終態(tài)系統(tǒng)：當(dāng)前態(tài)向終態(tài)逼近，假設(shè)失敗會在任何地?發(fā)??吞吐和?可靠：熱備，快速服務(wù)切換能力穩(wěn)定性和魯棒性：即使天基系統(tǒng)癱瘓也不能影響管理的服務(wù)?版本維護(hù)，天基運(yùn)維天基：??部署??，從?到有部署天基的能?飛天智能運(yùn)維平臺系統(tǒng)最核心的設(shè)計(jì)，業(yè)務(wù)聯(lián)動(dòng)的監(jiān)管控一體化安全運(yùn)維以及恢復(fù)機(jī)制和變更機(jī)制的統(tǒng)一聲明式（Declarative）變更。無論是配置變更，還是軟件升級、硬件變更，都是通過一個(gè)格式化的說明文件來提交。這個(gè)對于避免人工失誤是非常有效的。變更、恢復(fù)和修復(fù)機(jī)制的統(tǒng)一：面向終態(tài)的設(shè)計(jì)使得這三類操作采用同樣的機(jī)制。集成的監(jiān)控機(jī)制：自動(dòng)發(fā)現(xiàn)故障運(yùn)維系統(tǒng)要解決的問題：能夠最大化的無人干預(yù)，信息化->自動(dòng)化->智能化穩(wěn)定安全，能夠盡量避免人工失誤，并且在失誤或故障發(fā)生的情況下，能快速進(jìn)行恢復(fù)GOPS

全球運(yùn)維大會2019·上海站目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS

全球運(yùn)維大會2019·上海站Region化GOPS

全球運(yùn)維大會2019·上海站不做100%可用的假設(shè)，不能因?yàn)橹行姆?wù)不可用，而影響別的服務(wù)版本兼容和自管理相鄰三個(gè)版本之間必須保證向下兼容版本和升級自維護(hù)，自己運(yùn)維自己減少單點(diǎn)故障master存狀態(tài)，其他模塊無狀態(tài)，可重入每個(gè)模塊功能設(shè)計(jì)盡量簡單確定信號觸發(fā)確定行為輕量快速的服務(wù)狀態(tài)檢查Monitor狀態(tài)機(jī)反饋，監(jiān)管空一體化自包含：Package

Model，減少對環(huán)境的依賴，易于清理分布式設(shè)計(jì)+HDOLQJ6HUYLFH'HSOR\6HUYLFH'HYLFH0DQDJHU3RUWDO&$3,6HUYHUWMSUR[\6HUYLFH0DQDJHU&RQ?J0DQDJHU6\V(QY0DQDJHU'RZQORDGHU$YDLODELOLW\6HUYLFH6LPSOH'HFLGHU6HUYHU6HUYLFH'HFLGHU0RQLWRU$SS1$SS26HUYHU5ROH7LDQML&OXVWHU8VHU

&OXVWHU6HUYHU5ROH:

7LDQML.7LDQML&OLHQW'HOLYHU\TianjiAdaptorTjMasterOn

PaxosGOPS

全球運(yùn)維大會2019·上海站變更天基品用戶提交發(fā)布GOPS

全球運(yùn)維大會2019·上海站變更定義：通過平臺進(jìn)行的軟件部署、版本升級、配置變更、擴(kuò)容、縮容等操普通模式：所有的機(jī)器同等對待，審批之后開始升級。金絲雀模式：先選兩臺機(jī)器，試著升級，成功了再升級剩下的。grayunit模式：灰度升級，用戶可以自定義灰度策略?；瑒?dòng)窗口模式：自定義機(jī)器升級并發(fā)數(shù)，保證任意一個(gè)時(shí)刻，升級機(jī)器不超過并發(fā)數(shù)非安全模式：不考慮服務(wù)可用性，所有的機(jī)器直接升級Adaptor業(yè)務(wù)灰度模式：查詢批次返回機(jī)器灰度模式普通

金絲雀

grayunit

滑動(dòng)窗口

Adaptor業(yè)務(wù)灰度GOPS

全球運(yùn)維大會2019·上海站灰度模式普通

金絲雀

grayunit

滑動(dòng)窗口

Adaptor業(yè)務(wù)灰度GOPS

全球運(yùn)維大會2019·上海站灰度模式普通

金絲雀

grayunit

滑動(dòng)窗口

Adaptor業(yè)務(wù)灰度GOPS

全球運(yùn)維大會2019·上海站灰度模式普通

金絲雀

grayunit

滑動(dòng)窗口

Adaptor業(yè)務(wù)灰度GOPS

全球運(yùn)維大會2019·上海站灰度模式普通

金絲雀

grayunit

滑動(dòng)窗口

Adaptor業(yè)務(wù)灰度GOPS

全球運(yùn)維大會2019·上海站自愈系統(tǒng)應(yīng)用系統(tǒng)機(jī)器整機(jī)替換離線修復(fù)故障注入在線修復(fù)機(jī)器機(jī)器系統(tǒng)機(jī)器HealingServiceRepairServiceReplaceServiceChaosManagerGOPS

全球運(yùn)維大會2019·上海站自愈領(lǐng)域自愈范圍負(fù)責(zé)服務(wù)自愈實(shí)現(xiàn)方式發(fā)現(xiàn)問題決策修復(fù)動(dòng)作MonitorState基礎(chǔ)硬件monitor應(yīng)用上報(bào)1.2.3.4.按照規(guī)則觸發(fā)修復(fù)actionquotamanageractionmanageraction

translatorServiceDecider1.2.3.對action進(jìn)行審批simpledecidercustom

decider1.2.3.GOPS

全球運(yùn)維大會2019·上海站x_laborxx_laborxxx_laborLabor目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS

全球運(yùn)維大會2019·上海站Infrastructureas

CodeGOPS

全球運(yùn)維大會2019·上海站通過配置文件定義一切一切變更都是基于code

review的configuration

change通過服務(wù)模版方式管理版本和配置服務(wù)在不同集群之間版本配置盡量保持一致終態(tài)不管當(dāng)前狀態(tài)，向終態(tài)前進(jìn)安全運(yùn)維三駕馬車：Monitor

+

狀態(tài)機(jī)

+

Decider踐行devops角色實(shí)例

Monitor產(chǎn)品根據(jù)自身CheckHealth結(jié)果匯報(bào)的信息角色實(shí)例

KeyMonitor用于處理check_health_app本身異常，無法匯報(bào)信息的情況機(jī)器

Monitor對服務(wù)器進(jìn)行監(jiān)控產(chǎn)生的監(jiān)控信息GOPS

全球運(yùn)維大會2019·上海站Monitor狀態(tài)機(jī)GOPS

全球運(yùn)維大會2019·上海站Simple

Decider應(yīng)用通過定義百分比的方式實(shí)現(xiàn)Decider邏輯，天基根據(jù)百分比自動(dòng)審批Custom

Decider應(yīng)用自己實(shí)現(xiàn)邏輯，通過天基API與天基交互Adaptor

Decider應(yīng)用按要求提供openApi，天基負(fù)責(zé)調(diào)用GOPS

全球運(yùn)維大會2019·上海站Decider目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS

全球運(yùn)維大會2019·上海站?$??fl@? ?? §??––>

AIOps所有操作線上化規(guī)范，效率，數(shù)據(jù)積累過程結(jié)果數(shù)字化透明，可衡量，智能化的基礎(chǔ)分析決策智能化準(zhǔn)確，高效，全局優(yōu)化\$$??fl???fi??$?自動(dòng)化數(shù)字化智能化GOPS

全球運(yùn)維大會2019·上海站DC–Brain:\$$??fl$????@??GOPS

全球運(yùn)維大會2019·上海站fi ?$?flfl‰集群和服務(wù)器智能化運(yùn)維大規(guī)模計(jì)算系統(tǒng)供應(yīng)鏈智能化數(shù)據(jù)中心智能化運(yùn)維供應(yīng)鏈智能化整體方案：針對供應(yīng)鏈特點(diǎn)，打造需求、運(yùn)營、分析、決策智能化方案實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)、基于算法的需求預(yù)測、庫存優(yōu)化、TCO分析和優(yōu)化自動(dòng)閉環(huán)環(huán)境：打通自動(dòng)化工具和系統(tǒng)平臺與智能化算法的閉環(huán)系統(tǒng)為未來進(jìn)行先進(jìn)AI算法和系統(tǒng)探索、部署奠定基礎(chǔ)針對數(shù)據(jù)中心電熱性能進(jìn)行優(yōu)化包括：冷量預(yù)測控制、Power預(yù)測控制、IDC電熱感知、PUE優(yōu)化等對現(xiàn)場運(yùn)維進(jìn)行智能化改造包括：多媒體信息處理巡檢、安防視頻識別、工單智能派發(fā)等集群智能化方案：提升集群和服務(wù)器的穩(wěn)定性和可靠性包括：服務(wù)器和部件故障預(yù)測，跨域關(guān)聯(lián)，根因分析，規(guī)則生成提升集群資源利用率和流轉(zhuǎn)率包括：集群資源異常檢測，關(guān)聯(lián)分析智能決策GOPS

全球運(yùn)維大會2019·上海站集群資源智能探查集群利用率異常檢測低水位和閑置智能判斷和預(yù)警服務(wù)器&部件故障預(yù)測智能管理&修復(fù)集群自動(dòng)管控故障智能化在線修復(fù)決策集群和服務(wù)器智能化布局硬盤故障預(yù)測內(nèi)存／宕機(jī)故障預(yù)測根因分析????a?$?????實(shí)現(xiàn)從專家規(guī)則->智能分析的演進(jìn)實(shí)現(xiàn)問題和故障的處理方式，從被動(dòng)響應(yīng)->主動(dòng)發(fā)現(xiàn)->提前預(yù)測GOPS

全球運(yùn)維大會2019·上海站集群資源智能探查集群