騰訊DevOps自動化運維平臺織云

騰訊DevOps自動化運維平臺織云企業(yè)規(guī)模成本行業(yè)趨勢運維使命10w機器100人30億/年人與程序云計算devops解放雙手拯救世界為什么要自動化為什么要DevOpsDevOps是一種文化DevOps是合伙人制DevOps依托于系統(tǒng)實現(xiàn)DevOps

iseverywhere流程導向規(guī)范服務(wù)于開發(fā)對內(nèi)價值實現(xiàn)技術(shù)導向敏捷與開發(fā)合作對外價值實現(xiàn)DevOps使運維和開發(fā)共同以實現(xiàn)業(yè)務(wù)價值為目的，打破傳統(tǒng)流程與角色分工，協(xié)作實現(xiàn)對用戶價值最大化的輸出。ITILDevOps織云平臺簡介傳承：運維經(jīng)驗平臺標準：通用流程和工具集協(xié)作：開發(fā)、測試、運維共同參與掌控：一致性，變更體檢靈活：擴展性強，用戶參與成本：實體機+虛擬化智能：數(shù)據(jù)決策傳承標準協(xié)作掌控靈活成本智能運維規(guī)范資源配置標準流程生產(chǎn)環(huán)境標準化CMDB流程系統(tǒng)織云織云運營現(xiàn)狀2億50個12740個161679個1511次9132次800個織云架構(gòu)實踐織云門戶流程系統(tǒng)命令通道生產(chǎn)環(huán)境一致性監(jiān)控CMDB權(quán)限系統(tǒng)文件中心包系統(tǒng)測試工具設(shè)備調(diào)度路由系統(tǒng)變更通知中心決策系統(tǒng)包配置腳本工具庫標準化實踐CMDB設(shè)計流程系統(tǒng)決策系統(tǒng)測試灰度實戰(zhàn)分享模塊權(quán)限一致性標準化與自動化標準化自動化分層標準化對象網(wǎng)絡(luò)資源層設(shè)備資源層系統(tǒng)資源層接入層業(yè)務(wù)層邏輯層數(shù)據(jù)層機型命名運營狀態(tài)重要級別監(jiān)控Buff池機房機柜網(wǎng)段規(guī)劃容災(zāi)波分監(jiān)控……OS/內(nèi)核初始化用戶/密碼管理基礎(chǔ)agent組件選型監(jiān)控容量包管理配置管理測試工具架構(gòu)分布容災(zāi)監(jiān)控可運維規(guī)范事件管理監(jiān)控標準化可運維規(guī)范軟件標準化硬件/網(wǎng)絡(luò)標準化統(tǒng)一基礎(chǔ)網(wǎng)絡(luò)統(tǒng)一域名解析統(tǒng)一機房標準統(tǒng)一內(nèi)核/OS統(tǒng)一機型標準狀態(tài)流轉(zhuǎn)機制集群化管理主備責任人標準包管理進程端口管理標準化架構(gòu)層統(tǒng)一服務(wù)響應(yīng)級別標準組件服務(wù)標準配置文件管理標準log級別標準初始化設(shè)置單服務(wù)集群管理無腳本發(fā)布無單點服務(wù)新架構(gòu)評估變更周知灰度原則平臺服務(wù)SET化名字服務(wù)覆蓋度自動化測試模塊間調(diào)用組件監(jiān)控容量監(jiān)控基礎(chǔ)監(jiān)控質(zhì)量運營統(tǒng)計可用性統(tǒng)計事件單管理故障定級標準值班經(jīng)理制度大范圍事件管理運營商故障升級流程重大事故處理流程CMDB：標準化的落地網(wǎng)絡(luò)資源層設(shè)備資源層系統(tǒng)資源層接入層業(yè)務(wù)層邏輯層數(shù)據(jù)層業(yè)務(wù)運維組件運維系統(tǒng)運維網(wǎng)絡(luò)運維硬件OS/內(nèi)核應(yīng)用/程序組件/配置外部接口系統(tǒng)初始化業(yè)務(wù)模塊信息包系統(tǒng)配置發(fā)布中心文件源權(quán)限中心名字服務(wù)CMDB業(yè)務(wù)視圖架構(gòu)/分布業(yè)務(wù)指標容災(zāi)調(diào)度訪問關(guān)系工具執(zhí)行流程系統(tǒng)灰度系統(tǒng)角色分層對象系統(tǒng)存儲統(tǒng)一管理節(jié)點模塊資產(chǎn)配置硬件配置軟件配置運營配置分布信息資源配置權(quán)限配置流程配置測試用例變更記錄應(yīng)用基礎(chǔ)多角色協(xié)作平臺模塊部署依賴資源運維/開發(fā)維護開發(fā)/測試維護流程配置數(shù)據(jù)類型工具配置流程步驟rabbitMQ織云APIworkerworkerworkermonitormysqllog工具庫流程系統(tǒng)架構(gòu)一鍵擴容案例申請設(shè)備獲取資源發(fā)布部署業(yè)務(wù)測試發(fā)布自檢灰度上線自動執(zhí)行流程1.獲取參數(shù)列表2.屏蔽負載事件通知3.查詢設(shè)備調(diào)度接口4.根據(jù)模塊ID查域名5.獲取資源配置6.申請權(quán)限接口7.獲取設(shè)備IP地址8.屏蔽告警9.安裝程序包10.同步文件11.獲取CC參數(shù)12.發(fā)配置13.執(zhí)行腳本14.主調(diào)擴容15.啟動軟件包16.進程端口掃描17.上報變更日志18.查詢授權(quán)結(jié)果19.自動化測試20.VIP添加RS21.L5被調(diào)擴容22.告警屏蔽解除23.開啟負載事件通知一鍵擴容數(shù)據(jù)對比觸發(fā)流程自動修正動態(tài)拓撲一致性上報現(xiàn)網(wǎng)數(shù)據(jù)配置數(shù)據(jù)UserApplicationKernelSystemCallUniqAgentinotifysososo動態(tài)拓撲秒級監(jiān)控自動修復一致性掌控事件策略執(zhí)行流程決策系統(tǒng)決策API容量系統(tǒng)需求突發(fā)高負載預(yù)測高負載低負載>30天策略樹流程系統(tǒng)白名單通知中心請求調(diào)平?jīng)Q策樹（高負載）平均負載設(shè)備總數(shù)高負載設(shè)備數(shù)最高負載高負載閥值路由一致上線時間決策樹（低負載）平均負載設(shè)備總數(shù)持續(xù)天數(shù)路由一致最低負載workerworkerworkerrabbitMQL5cmlbtgw調(diào)度策略調(diào)度決策通知中心容量監(jiān)控資源初始化擴容演習無人守值自動部署測試與灰度申請設(shè)備獲取資源發(fā)布部署業(yè)務(wù)測試發(fā)布自檢灰度上線自動擴容流程與運營中設(shè)備的一致性對比進程端口自檢質(zhì)量部ATTQTA協(xié)議級自動化測試連通性的工具測試負載均衡組件灰度系統(tǒng)成功率上報權(quán)重調(diào)節(jié)擴容設(shè)備10%10%成功率判斷策略大于平均成功率-5