唯品會(huì)運(yùn)維架構(gòu)和流程改造之路ppt課件

1、唯品會(huì)運(yùn)維架構(gòu)和流程改造之路自我引見(jiàn)黎毅敏十多年一線(xiàn)運(yùn)維閱歷長(zhǎng)期關(guān)注高可用性、高可靠性、可擴(kuò)展性架構(gòu)和方案2021年4月參與唯品會(huì)，擔(dān)任網(wǎng)站系統(tǒng)運(yùn)維微博：Yimin_Li分享主題根底架構(gòu)優(yōu)化案例運(yùn)維流程優(yōu)化案例運(yùn)維自動(dòng)化現(xiàn)狀關(guān)于DEV和OPS圖片系統(tǒng)優(yōu)化案例大數(shù)據(jù)對(duì)運(yùn)維的協(xié)助根底架構(gòu)優(yōu)化案例背景公司業(yè)務(wù)開(kāi)展快技術(shù)團(tuán)隊(duì)年輕網(wǎng)絡(luò)根底架構(gòu)薄弱優(yōu)化前面臨的挑戰(zhàn)交換機(jī)之間的流量經(jīng)常跑滿(mǎn)無(wú)法接入更多的效力器和機(jī)柜內(nèi)網(wǎng)經(jīng)常丟包交換機(jī)之間網(wǎng)線(xiàn)經(jīng)常降速運(yùn)維人員經(jīng)常踩坑非常多的單點(diǎn)缺點(diǎn)點(diǎn)對(duì)流量要求高的新業(yè)務(wù)無(wú)法上線(xiàn)原有IDC網(wǎng)絡(luò)架構(gòu)缺陷千兆骨干無(wú)冗余無(wú)擴(kuò)展性?xún)?nèi)外網(wǎng)構(gòu)造，兩套網(wǎng)絡(luò)，本錢(qián)高對(duì)運(yùn)維不友好平安性差效力器1

2、0.100.10.*10.100.11.*重新設(shè)計(jì)3個(gè)月2位網(wǎng)絡(luò)工程師新的IDC網(wǎng)絡(luò)構(gòu)造特點(diǎn)高性能10G骨干，中心交換機(jī)Tb級(jí)轉(zhuǎn)發(fā)才干)冗余性可擴(kuò)展性無(wú)生成樹(shù)模塊化合理收斂比內(nèi)外網(wǎng)交融，運(yùn)維友好平安性加強(qiáng)效力器10.100.*.*Bonding遷移工程全部4個(gè)數(shù)據(jù)中心大數(shù)據(jù)平臺(tái)數(shù)據(jù)中心遷移繼續(xù)半年人力投入宏大新架構(gòu)效果消除了網(wǎng)絡(luò)單點(diǎn)缺點(diǎn)點(diǎn)運(yùn)用性能提高效力器帶寬及可靠性提高可快速擴(kuò)展網(wǎng)絡(luò)整體容量提高10倍+好的架構(gòu)還可以防止運(yùn)維流程優(yōu)化案例流程優(yōu)化基于ITIL監(jiān)控中心擔(dān)任體系化變卦管理事件管理問(wèn)題管理目的是團(tuán)隊(duì)像而不是變卦管理減少變卦對(duì)消費(fèi)系統(tǒng)的影響減少缺點(diǎn)定位和發(fā)現(xiàn)的時(shí)間有助于跨團(tuán)隊(duì)和大團(tuán)隊(duì)的

3、溝通確保對(duì)消費(fèi)環(huán)境的變卦都經(jīng)過(guò)審查和審批防止過(guò)度審批蝴蝶效應(yīng)變卦流程變卦系統(tǒng)事件管理監(jiān)控中心擔(dān)任多個(gè)監(jiān)控系統(tǒng)Zabbix，Telescope一致告警平臺(tái)規(guī)范化缺點(diǎn)處置流程會(huì)議問(wèn)題管理監(jiān)控中心驅(qū)動(dòng)艱苦缺點(diǎn)反復(fù)發(fā)生的缺點(diǎn)定位緣由處理方案運(yùn)維自動(dòng)化現(xiàn)狀運(yùn)維自動(dòng)化進(jìn)展情況還處于初級(jí)階段效力器安裝Cobbler配置管理采用Puppet框架在QA、大數(shù)據(jù)、DBA、挪動(dòng)運(yùn)維團(tuán)隊(duì)曾經(jīng)用Puppet實(shí)現(xiàn)效力器快速部署和系統(tǒng)配置規(guī)范化對(duì)還沒(méi)有接入配置管理系統(tǒng)的效力器從流程上要求把配置和運(yùn)維操作進(jìn)展了規(guī)范化和規(guī)范化關(guān)于DEV和OPS很多人以為開(kāi)發(fā)和運(yùn)維的關(guān)系但我們以為所以對(duì)外相互補(bǔ)位對(duì)內(nèi)各自發(fā)揚(yáng)所長(zhǎng)運(yùn)維提需求，開(kāi)發(fā)

4、設(shè)計(jì)和實(shí)現(xiàn))圖片系統(tǒng)優(yōu)化案例圖片系統(tǒng)優(yōu)化前情況1億+圖片不包含挪動(dòng)圖片35T存儲(chǔ)空間3份拷貝優(yōu)化前頂峰時(shí)間平均呼應(yīng)時(shí)間幾十秒優(yōu)化前架構(gòu) LVS - NginxCache-MooseFSCDN廠(chǎng)商無(wú)法完全預(yù)熱挪動(dòng)終端的一切URL圖片系統(tǒng)優(yōu)化手段LVS-Haproxy- NginxCache-MooseFSHaproxy URI 哈希負(fù)載平衡MFS master server擴(kuò)內(nèi)存MFS chunk server 擴(kuò)容并采用全裸盤(pán)雙重預(yù)熱機(jī)制試水Flashcache優(yōu)化后降到幾十ms到幾百ms之間圖片系統(tǒng)改造方向?qū)ο蟠鎯?chǔ)SWIFT或自行開(kāi)發(fā)？大數(shù)據(jù)對(duì)運(yùn)維的協(xié)助日志平臺(tái) Telescope/Logv

5、iew詳細(xì)架構(gòu)參見(jiàn)Qcon上海2021 姚仁捷-唯品會(huì)日志平臺(tái)建立監(jiān)控中心和運(yùn)維最依賴(lài)的監(jiān)控工具之一各個(gè)系統(tǒng)的4XX,5XX及訪(fǎng)問(wèn)量，平均呼應(yīng)時(shí)間迅速發(fā)現(xiàn)消費(fèi)系統(tǒng)的隱蔽問(wèn)題變卦和代碼發(fā)布后的校驗(yàn)手段之一基于呼應(yīng)時(shí)間的優(yōu)化優(yōu)化前后呼應(yīng)時(shí)間改動(dòng)情況呼應(yīng)時(shí)間和系統(tǒng)容量親密相關(guān)大促前的優(yōu)化方向大促期間的監(jiān)控手段大數(shù)據(jù)對(duì)運(yùn)維的一些其他協(xié)助CDN效力質(zhì)量監(jiān)控挪動(dòng)圖片各分辨率訪(fǎng)問(wèn)比例統(tǒng)計(jì)預(yù)熱大數(shù)據(jù)對(duì)運(yùn)維的一些其他協(xié)助CDN效力質(zhì)量監(jiān)控挪動(dòng)圖片各分辨率訪(fǎng)問(wèn)比例統(tǒng)計(jì)預(yù)熱總結(jié)設(shè)計(jì)良好的根底架構(gòu)可以有效提高網(wǎng)站容量、可靠性和可維護(hù)性程度運(yùn)維流程可以有效提高網(wǎng)站可用性和提供團(tuán)隊(duì)效率運(yùn)維和開(kāi)發(fā)是互補(bǔ)、相互扶持的關(guān)系圖片系統(tǒng)的優(yōu)化閱歷大數(shù)據(jù)對(duì)提高運(yùn)維程度有很大協(xié)助招聘中。高級(jí)/資深根底運(yùn)維工程師高級(jí)/資深運(yùn)用運(yùn)維工程師高級(jí)/資深