服務(wù)器下的基礎(chǔ)運(yùn)維智能化實(shí)踐課件

阿里巴巴海量服務(wù)器下的基礎(chǔ)運(yùn)維和智能化實(shí)踐GOPS

全球運(yùn)維大會2019·上海站阿里巴巴海量服務(wù)器下的基礎(chǔ)運(yùn)維和智能化實(shí)踐GOPS全球運(yùn)1目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS

全球運(yùn)維大會2019·上海站目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS全球2我們是誰GOPS

全球運(yùn)維大會2019·上海站\$$?????:一套自動化數(shù)據(jù)中心管理系統(tǒng)，管理數(shù)據(jù)中心中的軟硬件生命周期，各類靜態(tài)資源編排，基礎(chǔ)軟件的版本和發(fā)布我們是誰GOPS全球運(yùn)維大會2019·上海站\$$????3解決什么問題GOPS

全球運(yùn)維大會2019·上海站解決什么問題GOPS全球運(yùn)維大會2019·上海站4設(shè)計(jì)理念設(shè)計(jì)理念終態(tài)系統(tǒng)：當(dāng)前態(tài)向終態(tài)逼近，假設(shè)失敗會在任何地?發(fā)??吞吐和?可靠：熱備，快速服務(wù)切換能力穩(wěn)定性和魯棒性：即使天基系統(tǒng)癱瘓也不能影響管理的服務(wù)?版本維護(hù)，天基運(yùn)維天基：??部署??，從?到有部署天基的能?飛天智能運(yùn)維平臺系統(tǒng)最核心的設(shè)計(jì)，業(yè)務(wù)聯(lián)動的監(jiān)管控一體化安全運(yùn)維以及恢復(fù)機(jī)制和變更機(jī)制的統(tǒng)一聲明式（Declarative）變更。無論是配置變更，還是軟件升級、硬件變更，都是通過一個格式化的說明文件來提交。這個對于避免人工失誤是非常有效的。變更、恢復(fù)和修復(fù)機(jī)制的統(tǒng)一：面向終態(tài)的設(shè)計(jì)使得這三類操作采用同樣的機(jī)制。集成的監(jiān)控機(jī)制：自動發(fā)現(xiàn)故障運(yùn)維系統(tǒng)要解決的問題：能夠最大化的無人干預(yù)，信息化->自動化->智能化穩(wěn)定安全，能夠盡量避免人工失誤，并且在失誤或故障發(fā)生的情況下，能快速進(jìn)行恢復(fù)GOPS

全球運(yùn)維大會2019·上海站設(shè)計(jì)理念設(shè)計(jì)理念飛天智能運(yùn)維平臺系統(tǒng)最核心的設(shè)計(jì)，業(yè)務(wù)聯(lián)動的5目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS

全球運(yùn)維大會2019·上海站目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS全球6Region化GOPS

全球運(yùn)維大會2019·上海站Region化GOPS全球運(yùn)維大會2019·上海站7不做100%可用的假設(shè)，不能因?yàn)橹行姆?wù)不可用，而影響別的服務(wù)版本兼容和自管理相鄰三個版本之間必須保證向下兼容版本和升級自維護(hù)，自己運(yùn)維自己減少單點(diǎn)故障master存狀態(tài)，其他模塊無狀態(tài)，可重入每個模塊功能設(shè)計(jì)盡量簡單確定信號觸發(fā)確定行為輕量快速的服務(wù)狀態(tài)檢查Monitor狀態(tài)機(jī)反饋，監(jiān)管空一體化自包含：Package

Model，減少對環(huán)境的依賴，易于清理分布式設(shè)計(jì)+HDOLQJ6HUYLFH'HSOR\6HUYLFH'HYLFH0DQDJHU3RUWDO&$3,6HUYHUWMSUR[\6HUYLFH0DQDJHU&RQ?J0DQDJHU6\V(QY0DQDJHU'RZQORDGHU$YDLODELOLW\6HUYLFH6LPSOH'HFLGHU6HUYHU6HUYLFH'HFLGHU0RQLWRU$SS1$SS26HUYHU5ROH7LDQML&OXVWHU8VHU

&OXVWHU6HUYHU5ROH:

7LDQML.7LDQML&OLHQW'HOLYHU\TianjiAdaptorTjMasterOn

PaxosGOPS

全球運(yùn)維大會2019·上海站不做100%可用的假設(shè)，不能因?yàn)橹行姆?wù)不可用，而影響別的8變更天基品用戶提交發(fā)布GOPS

全球運(yùn)維大會2019·上海站變更定義：通過平臺進(jìn)行的軟件部署、版本升級、配置變更、擴(kuò)容、縮容等操普通模式：所有的機(jī)器同等對待，審批之后開始升級。金絲雀模式：先選兩臺機(jī)器，試著升級，成功了再升級剩下的。grayunit模式：灰度升級，用戶可以自定義灰度策略?；瑒哟翱谀Ｊ剑鹤远x機(jī)器升級并發(fā)數(shù)，保證任意一個時刻，升級機(jī)器不超過并發(fā)數(shù)非安全模式：不考慮服務(wù)可用性，所有的機(jī)器直接升級Adaptor業(yè)務(wù)灰度模式：查詢批次返回機(jī)器變更天基品用戶提交發(fā)布GOPS全球運(yùn)維大會2019·上海9灰度模式普通

金絲雀

grayunit

滑動窗口

Adaptor業(yè)務(wù)灰度GOPS

全球運(yùn)維大會2019·上海站灰度模式普通金絲雀grayunit滑動窗口Adapt10灰度模式普通

金絲雀

grayunit

滑動窗口

Adaptor業(yè)務(wù)灰度GOPS

全球運(yùn)維大會2019·上海站灰度模式普通金絲雀grayunit滑動窗口Adapt11灰度模式普通

金絲雀

grayunit

滑動窗口

Adaptor業(yè)務(wù)灰度GOPS

全球運(yùn)維大會2019·上海站灰度模式普通金絲雀grayunit滑動窗口Adapt12灰度模式普通

金絲雀

grayunit

滑動窗口

Adaptor業(yè)務(wù)灰度GOPS

全球運(yùn)維大會2019·上海站灰度模式普通金絲雀grayunit滑動窗口Adapt13灰度模式普通

金絲雀

grayunit

滑動窗口

Adaptor業(yè)務(wù)灰度GOPS

全球運(yùn)維大會2019·上海站灰度模式普通金絲雀grayunit滑動窗口Adapt14自愈系統(tǒng)應(yīng)用系統(tǒng)機(jī)器整機(jī)替換離線修復(fù)故障注入在線修復(fù)機(jī)器機(jī)器系統(tǒng)機(jī)器HealingServiceRepairServiceReplaceServiceChaosManagerGOPS

全球運(yùn)維大會2019·上海站自愈領(lǐng)域自愈范圍負(fù)責(zé)服務(wù)自愈系統(tǒng)應(yīng)用系統(tǒng)機(jī)器整機(jī)替換離線修復(fù)故障注入在線修復(fù)機(jī)器機(jī)器15自愈實(shí)現(xiàn)方式發(fā)現(xiàn)問題決策修復(fù)動作MonitorState基礎(chǔ)硬件monitor應(yīng)用上報(bào)1.2.3.4.按照規(guī)則觸發(fā)修復(fù)actionquotamanageractionmanageraction

translatorServiceDecider1.2.3.對action進(jìn)行審批simpledecidercustom

decider1.2.3.GOPS

全球運(yùn)維大會2019·上海站x_laborxx_laborxxx_laborLabor自愈實(shí)現(xiàn)方式發(fā)現(xiàn)問題決策修復(fù)動作MonitorState基礎(chǔ)16目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS

全球運(yùn)維大會2019·上海站目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS全球17Infrastructureas

CodeGOPS

全球運(yùn)維大會2019·上海站通過配置文件定義一切一切變更都是基于code

review的configuration

change通過服務(wù)模版方式管理版本和配置服務(wù)在不同集群之間版本配置盡量保持一致終態(tài)不管當(dāng)前狀態(tài)，向終態(tài)前進(jìn)安全運(yùn)維三駕馬車：Monitor

+

狀態(tài)機(jī)

+

Decider踐行devopsInfrastructureasCodeGOPS全球運(yùn)18角色實(shí)例

Monitor產(chǎn)品根據(jù)自身CheckHealth結(jié)果匯報(bào)的信息角色實(shí)例

KeyMonitor用于處理check_health_app本身異常，無法匯報(bào)信息的情況機(jī)器

Monitor對服務(wù)器進(jìn)行監(jiān)控產(chǎn)生的監(jiān)控信息GOPS

全球運(yùn)維大會2019·上海站Monitor角色實(shí)例MonitorGOPS全球運(yùn)維大會2019·上海19狀態(tài)機(jī)GOPS

全球運(yùn)維大會2019·上海站狀態(tài)機(jī)GOPS全球運(yùn)維大會2019·上海站20Simple

Decider應(yīng)用通過定義百分比的方式實(shí)現(xiàn)Decider邏輯，天基根據(jù)百分比自動審批Custom

Decider應(yīng)用自己實(shí)現(xiàn)邏輯，通過天基API與天基交互Adaptor

Decider應(yīng)用按要求提供openApi，天基負(fù)責(zé)調(diào)用GOPS

全球運(yùn)維大會2019·上海站DeciderSimpleDeciderGOPS全球運(yùn)維大會2019·21目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS

全球運(yùn)維大會2019·上海站目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS全球22?$??fl@? ?? §??––>

AIOps所有操作線上化規(guī)范，效率，數(shù)據(jù)積累過程結(jié)果數(shù)字化透明，可衡量，智能化的基礎(chǔ)分析決策智能化準(zhǔn)確，高效，全局優(yōu)化\$$??fl???fi??$?自動化數(shù)字化智能化GOPS

全球運(yùn)維大會2019·上海站?$??fl@? ?? §??––>AIOps所有操作線23DC–Brain:\$$??fl$????@??GOPS

全球運(yùn)維大會2019·上海站DC–Brain:\$$??fl$????@??GOPS全24fi ?$?flfl‰集群和服務(wù)器智能化運(yùn)維大規(guī)模計(jì)算系統(tǒng)供應(yīng)鏈智能化數(shù)據(jù)中心智能化運(yùn)維供應(yīng)鏈智能化整體方案：針對供應(yīng)鏈特點(diǎn)，打造需求、運(yùn)營、分析、決策智能化方案實(shí)現(xiàn)數(shù)據(jù)驅(qū)動、基于算法的需求預(yù)測、庫存優(yōu)化、TCO分析和優(yōu)化自動閉環(huán)環(huán)境：打通自動化工具和系統(tǒng)平臺與智能化算法的閉環(huán)系統(tǒng)為未來進(jìn)行先進(jìn)AI算法和系統(tǒng)探索、部署奠定基礎(chǔ)針對數(shù)據(jù)中心電熱性能進(jìn)行優(yōu)化包括：冷量預(yù)測控制、Power預(yù)測控制、IDC電熱感知、PUE優(yōu)化等對現(xiàn)場運(yùn)維進(jìn)行智能化改造包括：多媒體信息處理巡檢、安防視頻識別、工單智能派發(fā)等集群智能化方案：提升集群和服務(wù)器的穩(wěn)定性和可靠性包括：服務(wù)器和部件故障預(yù)測，跨域關(guān)聯(lián)，根因分析，規(guī)則生成提升集群資源利用率和流轉(zhuǎn)率包括：集群資源異常檢測，關(guān)聯(lián)分析智能決策GOPS

全球運(yùn)維大會2019·上海站fi ?$?flfl‰集群和服務(wù)器智能化運(yùn)維大規(guī)模計(jì)算系統(tǒng)供25集群資源智能探查集群利用率異常檢測低水位和閑置智能判斷和預(yù)警服務(wù)器&部件故障預(yù)測智能管理&修復(fù)集群自動管控故障智能化在線修復(fù)決策集群和服務(wù)器智能化布局硬盤故障預(yù)測內(nèi)存／宕機(jī)故障預(yù)測根因分析????a?$?????實(shí)現(xiàn)從專家規(guī)則->智能分析的演進(jìn)實(shí)現(xiàn)問題和故障的處理方式，從被動響應(yīng)->主動發(fā)現(xiàn)->提前預(yù)測GOPS

全球運(yùn)維大會2019·上海站集群資源智能探查集群利用率異常檢測服務(wù)器&部件故障預(yù)測智26集群資源智能探查集群利用率異常檢測低水位和閑置智能判斷和預(yù)警服務(wù)器&部件故障預(yù)測智能管理&修復(fù)集群自動管控故障智能化在線修復(fù)決策集群和服務(wù)器智能化布局硬盤故障預(yù)測內(nèi)存／宕機(jī)故障預(yù)測根因分析????a?$?????實(shí)現(xiàn)從專家規(guī)則->智能分析的演進(jìn)實(shí)現(xiàn)問題和故障的處理方式，從被動響應(yīng)->主動發(fā)現(xiàn)->提前預(yù)測GOPS

全球運(yùn)維大會2019·上海站集群資源智能探查集群利用率異常檢測服務(wù)器&部件故障預(yù)測智27阿里巴巴海量服務(wù)器下的基礎(chǔ)運(yùn)維和智能化實(shí)踐GOPS

全球運(yùn)維大會2019·上海站阿里巴巴海量服務(wù)器下的基礎(chǔ)運(yùn)維和智能化實(shí)踐GOPS全球運(yùn)28目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS

全球運(yùn)維大會2019·上海站目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS全球29我們是誰GOPS

全球運(yùn)維大會2019·上海站\$$?????:一套自動化數(shù)據(jù)中心管理系統(tǒng)，管理數(shù)據(jù)中心中的軟硬件生命周期，各類靜態(tài)資源編排，基礎(chǔ)軟件的版本和發(fā)布我們是誰GOPS全球運(yùn)維大會2019·上海站\$$????30解決什么問題GOPS

全球運(yùn)維大會2019·上海站解決什么問題GOPS全球運(yùn)維大會2019·上海站31設(shè)計(jì)理念設(shè)計(jì)理念終態(tài)系統(tǒng)：當(dāng)前態(tài)向終態(tài)逼近，假設(shè)失敗會在任何地?發(fā)??吞吐和?可靠：熱備，快速服務(wù)切換能力穩(wěn)定性和魯棒性：即使天基系統(tǒng)癱瘓也不能影響管理的服務(wù)?版本維護(hù)，天基運(yùn)維天基：??部署??，從?到有部署天基的能?飛天智能運(yùn)維平臺系統(tǒng)最核心的設(shè)計(jì)，業(yè)務(wù)聯(lián)動的監(jiān)管控一體化安全運(yùn)維以及恢復(fù)機(jī)制和變更機(jī)制的統(tǒng)一聲明式（Declarative）變更。無論是配置變更，還是軟件升級、硬件變更，都是通過一個格式化的說明文件來提交。這個對于避免人工失誤是非常有效的。變更、恢復(fù)和修復(fù)機(jī)制的統(tǒng)一：面向終態(tài)的設(shè)計(jì)使得這三類操作采用同樣的機(jī)制。集成的監(jiān)控機(jī)制：自動發(fā)現(xiàn)故障運(yùn)維系統(tǒng)要解決的問題：能夠最大化的無人干預(yù)，信息化->自動化->智能化穩(wěn)定安全，能夠盡量避免人工失誤，并且在失誤或故障發(fā)生的情況下，能快速進(jìn)行恢復(fù)GOPS

全球運(yùn)維大會2019·上海站設(shè)計(jì)理念設(shè)計(jì)理念飛天智能運(yùn)維平臺系統(tǒng)最核心的設(shè)計(jì)，業(yè)務(wù)聯(lián)動的32目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS

全球運(yùn)維大會2019·上海站目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS全球33Region化GOPS

全球運(yùn)維大會2019·上海站Region化GOPS全球運(yùn)維大會2019·上海站34不做100%可用的假設(shè)，不能因?yàn)橹行姆?wù)不可用，而影響別的服務(wù)版本兼容和自管理相鄰三個版本之間必須保證向下兼容版本和升級自維護(hù)，自己運(yùn)維自己減少單點(diǎn)故障master存狀態(tài)，其他模塊無狀態(tài)，可重入每個模塊功能設(shè)計(jì)盡量簡單確定信號觸發(fā)確定行為輕量快速的服務(wù)狀態(tài)檢查Monitor狀態(tài)機(jī)反饋，監(jiān)管空一體化自包含：Package

Model，減少對環(huán)境的依賴，易于清理分布式設(shè)計(jì)+HDOLQJ6HUYLFH'HSOR\6HUYLFH'HYLFH0DQDJHU3RUWDO&$3,6HUYHUWMSUR[\6HUYLFH0DQDJHU&RQ?J0DQDJHU6\V(QY0DQDJHU'RZQORDGHU$YDLODELOLW\6HUYLFH6LPSOH'HFLGHU6HUYHU6HUYLFH'HFLGHU0RQLWRU$SS1$SS26HUYHU5ROH7LDQML&OXVWHU8VHU

&OXVWHU6HUYHU5ROH:

7LDQML.7LDQML&OLHQW'HOLYHU\TianjiAdaptorTjMasterOn

PaxosGOPS

全球運(yùn)維大會2019·上海站不做100%可用的假設(shè)，不能因?yàn)橹行姆?wù)不可用，而影響別的35變更天基品用戶提交發(fā)布GOPS

全球運(yùn)維大會2019·上海站變更定義：通過平臺進(jìn)行的軟件部署、版本升級、配置變更、擴(kuò)容、縮容等操普通模式：所有的機(jī)器同等對待，審批之后開始升級。金絲雀模式：先選兩臺機(jī)器，試著升級，成功了再升級剩下的。grayunit模式：灰度升級，用戶可以自定義灰度策略?；瑒哟翱谀Ｊ剑鹤远x機(jī)器升級并發(fā)數(shù)，保證任意一個時刻，升級機(jī)器不超過并發(fā)數(shù)非安全模式：不考慮服務(wù)可用性，所有的機(jī)器直接升級Adaptor業(yè)務(wù)灰度模式：查詢批次返回機(jī)器變更天基品用戶提交發(fā)布GOPS全球運(yùn)維大會2019·上海36灰度模式普通

金絲雀

grayunit

滑動窗口

Adaptor業(yè)務(wù)灰度GOPS

全球運(yùn)維大會2019·上海站灰度模式普通金絲雀grayunit滑動窗口Adapt37灰度模式普通

金絲雀

grayunit

滑動窗口

Adaptor業(yè)務(wù)灰度GOPS

全球運(yùn)維大會2019·上海站灰度模式普通金絲雀grayunit滑動窗口Adapt38灰度模式普通

金絲雀

grayunit

滑動窗口

Adaptor業(yè)務(wù)灰度GOPS

全球運(yùn)維大會2019·上海站灰度模式普通金絲雀grayunit滑動窗口Adapt39灰度模式普通

金絲雀

grayunit

滑動窗口

Adaptor業(yè)務(wù)灰度GOPS

全球運(yùn)維大會2019·上海站灰度模式普通金絲雀grayunit滑動窗口Adapt40灰度模式普通

金絲雀

grayunit

滑動窗口

Adaptor業(yè)務(wù)灰度GOPS

全球運(yùn)維大會2019·上海站灰度模式普通金絲雀grayunit滑動窗口Adapt41自愈系統(tǒng)應(yīng)用系統(tǒng)機(jī)器整機(jī)替換離線修復(fù)故障注入在線修復(fù)機(jī)器機(jī)器系統(tǒng)機(jī)器HealingServiceRepairServiceReplaceServiceChaosManagerGOPS

全球運(yùn)維大會2019·上海站自愈領(lǐng)域自愈范圍負(fù)責(zé)服務(wù)自愈系統(tǒng)應(yīng)用系統(tǒng)機(jī)器整機(jī)替換離線修復(fù)故障注入在線修復(fù)機(jī)器機(jī)器42自愈實(shí)現(xiàn)方式發(fā)現(xiàn)問題決策修復(fù)動作MonitorState基礎(chǔ)硬件monitor應(yīng)用上報(bào)1.2.3.4.按照規(guī)則觸發(fā)修復(fù)actionquotamanageractionmanageraction

translatorServiceDecider1.2.3.對action進(jìn)行審批simpledecidercustom

decider1.2.3.GOPS

全球運(yùn)維大會2019·上海站x_laborxx_laborxxx_laborLabor自愈實(shí)現(xiàn)方式發(fā)現(xiàn)問題決策修復(fù)動作MonitorState基礎(chǔ)43目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS

全球運(yùn)維大會2019·上海站目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS全球44Infrastructureas

CodeGOPS

全球運(yùn)維大會2019·上海站通過配置文件定義一切一切變更都是基于code

review的configuration

change通過服務(wù)模版方式管理版本和配置服務(wù)在不同集群之間版本配置盡量保持一致終態(tài)不管當(dāng)前狀態(tài)，向終態(tài)前進(jìn)安全運(yùn)維三駕馬車：Monitor

+

狀態(tài)機(jī)

+

Decider踐行devopsInfrastructureasCodeGOPS全球運(yùn)45角色實(shí)例

Monitor產(chǎn)品根據(jù)自身CheckHealth結(jié)果匯報(bào)的信息角色實(shí)例

KeyMonitor用于處理check_health_app本身異常，無法匯報(bào)信息的情況機(jī)器

Monitor對服務(wù)器進(jìn)行監(jiān)控產(chǎn)生的監(jiān)控信息GOPS

全球運(yùn)維大會2019·上海站Monitor角色實(shí)例MonitorGOPS全球運(yùn)維大會2019·上海46狀態(tài)機(jī)GOPS

全球運(yùn)維大會2019·上海站狀態(tài)機(jī)GOPS全球運(yùn)維大會2019·上海站47Simple

Decider應(yīng)用通過定義百分比的方式實(shí)現(xiàn)Decider邏輯，天基根據(jù)百分比自動審批Custom

Decider應(yīng)用自己實(shí)現(xiàn)邏輯，通過天基API與天基交互Adaptor

Decider應(yīng)用按要求提供openApi，天基負(fù)責(zé)調(diào)用GOPS

全球運(yùn)維大會2019·上海站DeciderSimpleDeciderGOPS全球運(yùn)維大會2019·48目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS

全球運(yùn)維大會2019·上海站目錄業(yè)務(wù)介紹1整體架構(gòu)2安全運(yùn)維3智能化之路4GOPS全球49?$??fl@? ?? §??––>

AIOps所有操作線上化規(guī)范，效率，數(shù)據(jù)積累過程結(jié)果數(shù)字化透明，可衡量，智能化的基礎(chǔ)分析決策智能化準(zhǔn)確，高效，全局優(yōu)化\$$??fl???fi??$?自動化數(shù)字化智能化GOPS

全球運(yùn)維大會2019·上海站?$??fl@? ?? §??––>AIOps所有操作線50DC–Brain:\$$??fl$????@??