企業(yè)DevOps基礎(chǔ)架構(gòu)演進(jìn)方案

企業(yè)DevOps基礎(chǔ)架構(gòu)演進(jìn)方案企業(yè)DevOps基礎(chǔ)架構(gòu)演進(jìn)方案1業(yè)務(wù)和技術(shù)架構(gòu)背景簡(jiǎn)介2016挑戰(zhàn)和2017基礎(chǔ)架構(gòu)升級(jí)之路（從0到1）DevOps深度思考2018和未來(lái)升級(jí)展望（從1到n）業(yè)務(wù)和技術(shù)架構(gòu)背景簡(jiǎn)介2業(yè)務(wù)和技術(shù)架構(gòu)背景110年發(fā)展歷程，互聯(lián)網(wǎng)消費(fèi)金融行業(yè)領(lǐng)導(dǎo)者，紐交所上市公司PPDF，總部位于上海張江千萬(wàn)級(jí)用戶量，億級(jí)網(wǎng)站流量，上百個(gè)微服務(wù)，幾百人研發(fā)團(tuán)隊(duì)架構(gòu)始于經(jīng)典.Net+SqlServer單體應(yīng)用，近年的架構(gòu)變遷圍繞解耦拆分和服務(wù)化效能和系統(tǒng)穩(wěn)定性.Net轉(zhuǎn)Java

+

SqlServer轉(zhuǎn)MySql業(yè)務(wù)和技術(shù)架構(gòu)背景110年發(fā)展歷程，互聯(lián)網(wǎng)消費(fèi)金融行業(yè)領(lǐng)導(dǎo)者3業(yè)務(wù)和技術(shù)架構(gòu)背景2業(yè)務(wù)和技術(shù)架構(gòu)背景242016困局和挑戰(zhàn)Toobusyto

improve業(yè)務(wù)壓得喘不過(guò)氣系統(tǒng)耦合歷史負(fù)擔(dān)重老系統(tǒng)還得升級(jí)(換輪子)系統(tǒng)不穩(wěn)定工程師人才缺乏，安全攻擊，機(jī)房容量不足…2016困局和挑戰(zhàn)Toobusytoimprove業(yè)務(wù)52017基礎(chǔ)架構(gòu)優(yōu)先級(jí)

~

高速換輪打造輕量級(jí)微服務(wù)基礎(chǔ)架構(gòu)支持業(yè)務(wù)持續(xù)迭代和創(chuàng)新支持業(yè)務(wù)解耦拆分提升系統(tǒng)穩(wěn)定性DevOps？如何實(shí)踐？2017基礎(chǔ)架構(gòu)優(yōu)先級(jí)~高速換輪打造輕量級(jí)微服務(wù)基礎(chǔ)架構(gòu)6監(jiān)控不足造成的坑分布式微服務(wù)依賴關(guān)系錯(cuò)綜復(fù)雜，如何理解？線上發(fā)布了服務(wù)，怎么知道它一切正常大量報(bào)錯(cuò)，需要花很久才能定位一次將測(cè)試配置配到生產(chǎn)，通宵排查應(yīng)用程序有性能瓶頸，怎么知道？很多問(wèn)題最終都說(shuō)可能是網(wǎng)絡(luò)問(wèn)題…

…任何可能出問(wèn)題的地方都需要監(jiān)控監(jiān)控不足造成的坑分布式微服務(wù)依賴關(guān)系錯(cuò)綜復(fù)雜，如何理解？7DevOps實(shí)踐

~

要改進(jìn)必先測(cè)量DevOps實(shí)踐~要改進(jìn)必先測(cè)量8DevOps實(shí)踐

~

開(kāi)發(fā)自助監(jiān)控DevOps實(shí)踐~開(kāi)發(fā)自助監(jiān)控9微服務(wù)實(shí)踐

~

分布式調(diào)用鏈監(jiān)控微服務(wù)實(shí)踐~分布式調(diào)用鏈監(jiān)控10升級(jí)之路

~

調(diào)用鏈監(jiān)控選型升級(jí)之路~調(diào)用鏈監(jiān)控選型11CAT報(bào)錯(cuò)大盤CAT報(bào)錯(cuò)大盤12LogViewLogView13Transaction報(bào)表Transaction報(bào)表14Heartbeat報(bào)表Heartbeat報(bào)表15升級(jí)之路

~

四層監(jiān)控體系升級(jí)之路~四層監(jiān)控體系16微服務(wù)實(shí)踐

~

異步消息Looselycoupledserviceorientedarchitecturewithbounded

context分布式引入最終一致性問(wèn)題，消息中間件是微服務(wù)基礎(chǔ)架構(gòu)的核心基于推模式消息1.0的挑戰(zhàn)慢消費(fèi)者造成消息堵塞、消費(fèi)延遲甚至丟消息微服務(wù)實(shí)踐~異步消息Looselycoupledse17升級(jí)之路

~

拉模式消息系統(tǒng)2.0pull升級(jí)之路~拉模式消息系統(tǒng)2.0pull18MySQL表結(jié)構(gòu)MySQL表結(jié)構(gòu)19數(shù)據(jù)模型數(shù)據(jù)模型20微服務(wù)實(shí)踐

~

網(wǎng)關(guān)+熔斷限流反向路由限流熔斷安全防爬日志監(jiān)控微服務(wù)網(wǎng)關(guān)熔斷限流微服務(wù)實(shí)踐~網(wǎng)關(guān)+熔斷限流反向路由微服務(wù)網(wǎng)關(guān)21升級(jí)之路

~

Netflix

Zuul網(wǎng)關(guān)升級(jí)之路~NetflixZuul網(wǎng)關(guān)22升級(jí)之路

~

Netflix

Hystrix斷路器升級(jí)之路~NetflixHystrix斷路器23微服務(wù)和DevOps實(shí)踐

~

配置中心挑戰(zhàn)主要采用本地靜態(tài)配置配置散亂格式不標(biāo)準(zhǔn)易引發(fā)生產(chǎn)事故配置修改麻煩周期長(zhǎng)配置中心場(chǎng)景應(yīng)用配置DB連接字符串，線程池大小，請(qǐng)求超時(shí)，服務(wù)地址，黑白名單，限流閥值功能開(kāi)關(guān)藍(lán)綠/金絲雀發(fā)布，業(yè)務(wù)開(kāi)關(guān)，降級(jí)熔斷微服務(wù)和DevOps實(shí)踐~配置中心挑戰(zhàn)配置中心場(chǎng)景DB連24升級(jí)之路

~

Apollo配置中心升級(jí)之路~Apollo配置中心252017成果

~

輕量級(jí)基礎(chǔ)架構(gòu)體系2017成果~輕量級(jí)基礎(chǔ)架構(gòu)體系262017優(yōu)先級(jí)初步達(dá)成業(yè)務(wù)創(chuàng)新項(xiàng)目按期完成核心中臺(tái)服務(wù)完成解耦拆分總體系統(tǒng)穩(wěn)定性大幅提升DevOps實(shí)踐和微服務(wù)架構(gòu)初步落地2017優(yōu)先級(jí)初步達(dá)成業(yè)務(wù)創(chuàng)新項(xiàng)目按期完成27可以喘口氣了？可以喘口氣了？28從1到n

~

近期思考和2018未來(lái)升級(jí)展望從1到n~近期思考和2018未來(lái)升級(jí)展望292017新的挑戰(zhàn)團(tuán)隊(duì)眾多分散溝通成本高煙囪式重復(fù)系統(tǒng)建設(shè)和維護(hù)帶來(lái)的重復(fù)投資系統(tǒng)間集成和協(xié)作成本高不利于業(yè)務(wù)沉淀，規(guī)?；统掷m(xù)發(fā)展總體研發(fā)效能和一線DevOps組織差距很大2017新的挑戰(zhàn)團(tuán)隊(duì)眾多分散溝通成本高30DevOps深度思考1通向DevOps的三條道路DevOps深度思考131DevOps深度思考2從傳統(tǒng)職能項(xiàng)目型到跨職能產(chǎn)品平臺(tái)型組織轉(zhuǎn)型DevOps深度思考232DevOps的深度思考3中臺(tái)化戰(zhàn)略DevOps的深度思考3中臺(tái)化戰(zhàn)略33DevOps和微服務(wù)架構(gòu)體系未來(lái)規(guī)劃DevOps和微服務(wù)架構(gòu)體系未來(lái)規(guī)劃34Take

AwayDevOps和微服務(wù)是企業(yè)技術(shù)升級(jí)改造最佳實(shí)踐明確階段性痛點(diǎn)和優(yōu)先級(jí)，分階段驅(qū)動(dòng)DevOps和微服務(wù)落地利用成熟開(kāi)源技術(shù)產(chǎn)品驅(qū)動(dòng)企業(yè)DevOps和微服務(wù)架構(gòu)落地轉(zhuǎn)型是一條捷徑DevOps和微服務(wù)本質(zhì)上是一種組織架構(gòu)的重組Re-org，有賴于扎實(shí)的技術(shù)中臺(tái)和人才密度，最終目標(biāo)都是賦能業(yè)務(wù)持續(xù)創(chuàng)新TakeAwayDevOps和微服務(wù)是企業(yè)技術(shù)升級(jí)改造最佳35企業(yè)DevOps基礎(chǔ)架構(gòu)演進(jìn)方案企業(yè)DevOps基礎(chǔ)架構(gòu)演進(jìn)方案36業(yè)務(wù)和技術(shù)架構(gòu)背景簡(jiǎn)介2016挑戰(zhàn)和2017基礎(chǔ)架構(gòu)升級(jí)之路（從0到1）DevOps深度思考2018和未來(lái)升級(jí)展望（從1到n）業(yè)務(wù)和技術(shù)架構(gòu)背景簡(jiǎn)介37業(yè)務(wù)和技術(shù)架構(gòu)背景110年發(fā)展歷程，互聯(lián)網(wǎng)消費(fèi)金融行業(yè)領(lǐng)導(dǎo)者，紐交所上市公司PPDF，總部位于上海張江千萬(wàn)級(jí)用戶量，億級(jí)網(wǎng)站流量，上百個(gè)微服務(wù)，幾百人研發(fā)團(tuán)隊(duì)架構(gòu)始于經(jīng)典.Net+SqlServer單體應(yīng)用，近年的架構(gòu)變遷圍繞解耦拆分和服務(wù)化效能和系統(tǒng)穩(wěn)定性.Net轉(zhuǎn)Java

+

SqlServer轉(zhuǎn)MySql業(yè)務(wù)和技術(shù)架構(gòu)背景110年發(fā)展歷程，互聯(lián)網(wǎng)消費(fèi)金融行業(yè)領(lǐng)導(dǎo)者38業(yè)務(wù)和技術(shù)架構(gòu)背景2業(yè)務(wù)和技術(shù)架構(gòu)背景2392016困局和挑戰(zhàn)Toobusyto

improve業(yè)務(wù)壓得喘不過(guò)氣系統(tǒng)耦合歷史負(fù)擔(dān)重老系統(tǒng)還得升級(jí)(換輪子)系統(tǒng)不穩(wěn)定工程師人才缺乏，安全攻擊，機(jī)房容量不足…2016困局和挑戰(zhàn)Toobusytoimprove業(yè)務(wù)402017基礎(chǔ)架構(gòu)優(yōu)先級(jí)

~

高速換輪打造輕量級(jí)微服務(wù)基礎(chǔ)架構(gòu)支持業(yè)務(wù)持續(xù)迭代和創(chuàng)新支持業(yè)務(wù)解耦拆分提升系統(tǒng)穩(wěn)定性DevOps？如何實(shí)踐？2017基礎(chǔ)架構(gòu)優(yōu)先級(jí)~高速換輪打造輕量級(jí)微服務(wù)基礎(chǔ)架構(gòu)41監(jiān)控不足造成的坑分布式微服務(wù)依賴關(guān)系錯(cuò)綜復(fù)雜，如何理解？線上發(fā)布了服務(wù)，怎么知道它一切正常大量報(bào)錯(cuò)，需要花很久才能定位一次將測(cè)試配置配到生產(chǎn)，通宵排查應(yīng)用程序有性能瓶頸，怎么知道？很多問(wèn)題最終都說(shuō)可能是網(wǎng)絡(luò)問(wèn)題…

…任何可能出問(wèn)題的地方都需要監(jiān)控監(jiān)控不足造成的坑分布式微服務(wù)依賴關(guān)系錯(cuò)綜復(fù)雜，如何理解？42DevOps實(shí)踐

~

要改進(jìn)必先測(cè)量DevOps實(shí)踐~要改進(jìn)必先測(cè)量43DevOps實(shí)踐

~

開(kāi)發(fā)自助監(jiān)控DevOps實(shí)踐~開(kāi)發(fā)自助監(jiān)控44微服務(wù)實(shí)踐

~

分布式調(diào)用鏈監(jiān)控微服務(wù)實(shí)踐~分布式調(diào)用鏈監(jiān)控45升級(jí)之路

~

調(diào)用鏈監(jiān)控選型升級(jí)之路~調(diào)用鏈監(jiān)控選型46CAT報(bào)錯(cuò)大盤CAT報(bào)錯(cuò)大盤47LogViewLogView48Transaction報(bào)表Transaction報(bào)表49Heartbeat報(bào)表Heartbeat報(bào)表50升級(jí)之路

~

四層監(jiān)控體系升級(jí)之路~四層監(jiān)控體系51微服務(wù)實(shí)踐

~

異步消息Looselycoupledserviceorientedarchitecturewithbounded

context分布式引入最終一致性問(wèn)題，消息中間件是微服務(wù)基礎(chǔ)架構(gòu)的核心基于推模式消息1.0的挑戰(zhàn)慢消費(fèi)者造成消息堵塞、消費(fèi)延遲甚至丟消息微服務(wù)實(shí)踐~異步消息Looselycoupledse52升級(jí)之路

~

拉模式消息系統(tǒng)2.0pull升級(jí)之路~拉模式消息系統(tǒng)2.0pull53MySQL表結(jié)構(gòu)MySQL表結(jié)構(gòu)54數(shù)據(jù)模型數(shù)據(jù)模型55微服務(wù)實(shí)踐

~

網(wǎng)關(guān)+熔斷限流反向路由限流熔斷安全防爬日志監(jiān)控微服務(wù)網(wǎng)關(guān)熔斷限流微服務(wù)實(shí)踐~網(wǎng)關(guān)+熔斷限流反向路由微服務(wù)網(wǎng)關(guān)56升級(jí)之路

~

Netflix

Zuul網(wǎng)關(guān)升級(jí)之路~NetflixZuul網(wǎng)關(guān)57升級(jí)之路

~

Netflix

Hystrix斷路器升級(jí)之路~NetflixHystrix斷路器58微服務(wù)和DevOps實(shí)踐

~

配置中心挑戰(zhàn)主要采用本地靜態(tài)配置配置散亂格式不標(biāo)準(zhǔn)易引發(fā)生產(chǎn)事故配置修改麻煩周期長(zhǎng)配置中心場(chǎng)景應(yīng)用配置DB連接字符串，線程池大小，請(qǐng)求超時(shí)，服務(wù)地址，黑白名單，限流閥值功能開(kāi)關(guān)藍(lán)綠/金絲雀發(fā)布，業(yè)務(wù)開(kāi)關(guān)，降級(jí)熔斷微服務(wù)和DevOps實(shí)踐~配置中心挑戰(zhàn)配置中心場(chǎng)景DB連59升級(jí)之路

~

Apollo配置中心升級(jí)之路~Apollo配置中心602017成果

~

輕量級(jí)基礎(chǔ)架構(gòu)體系2017成果~輕量級(jí)基礎(chǔ)架構(gòu)體系612017優(yōu)先級(jí)初步達(dá)成業(yè)務(wù)創(chuàng)新項(xiàng)目按期完成核心中臺(tái)服務(wù)完成解耦拆分總體系統(tǒng)穩(wěn)定性大幅提升DevOps實(shí)踐和微服務(wù)架構(gòu)初步落地2017優(yōu)先級(jí)初步達(dá)成業(yè)務(wù)創(chuàng)新項(xiàng)目按期完成62可以喘口氣了？可以喘口氣了？63從1到n

~

近期思考和2018未來(lái)升級(jí)展望從1到n~近期思考和2018未來(lái)升級(jí)展望642017新的挑戰(zhàn)團(tuán)隊(duì)眾多分散溝通成本高煙囪式重復(fù)系統(tǒng)建設(shè)和維護(hù)帶來(lái)的重復(fù)投資系統(tǒng)間集成和協(xié)作成本高不利于業(yè)務(wù)沉淀，規(guī)?；统掷m(xù)發(fā)展總體研發(fā)效能和一線DevOps組織差距很大2017新的挑戰(zhàn)團(tuán)隊(duì)眾多分散溝通成本高65DevOps深度思考1通向DevOps的三條道路DevOps深度思考166DevOps深度思考2從傳統(tǒng)職能項(xiàng)目型到跨職能產(chǎn)品平臺(tái)型組織轉(zhuǎn)型DevOps深度思考267DevOps的深度思考3中臺(tái)化戰(zhàn)略DevOps的深度思考3中臺(tái)化戰(zhàn)略68DevOp