分布式技術(shù)架構(gòu)介紹

1、分布式技術(shù)架構(gòu)介紹網(wǎng)站架構(gòu)的演變分布式服務(wù)框架分布式數(shù)據(jù)訪問(wèn)層云計(jì)算服務(wù)大數(shù)據(jù)改變傳統(tǒng)IT架構(gòu)的束縛網(wǎng)站架構(gòu)的演變一. 從一臺(tái)單機(jī)的交易網(wǎng)站開(kāi)始應(yīng)用程序、數(shù)據(jù)庫(kù)、文件等都放在一臺(tái)服務(wù)器上應(yīng)用程序數(shù)據(jù)庫(kù)文件應(yīng)用服務(wù)器二. 應(yīng)用與數(shù)據(jù)分離單機(jī)負(fù)載告警，將應(yīng)用程序和數(shù)據(jù)分離應(yīng)用系統(tǒng)一臺(tái)服務(wù)器，數(shù)據(jù)庫(kù)和文件各一臺(tái)服務(wù)器訂單應(yīng)用服務(wù)器用戶商品商品表數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)服務(wù)器用戶表訂單表應(yīng)用服務(wù)器數(shù)據(jù)庫(kù)服務(wù)器三. 應(yīng)用服務(wù)器集群化單節(jié)點(diǎn)的應(yīng)用服務(wù)器負(fù)載告警使用應(yīng)用服務(wù)器集群，提高網(wǎng)站的并發(fā)處理能力訂單應(yīng)用服務(wù)器用戶商品商品表數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)服務(wù)器用戶表訂單表應(yīng)用服務(wù)器數(shù)據(jù)庫(kù)服務(wù)器負(fù)載均衡器訂單應(yīng)用服務(wù)器用戶商品負(fù)載均

2、衡器應(yīng)用服務(wù)器四. 加入緩存 提高性能二八定律：80%的業(yè)務(wù)集中訪問(wèn)20%的數(shù)據(jù)把熱點(diǎn)業(yè)務(wù)數(shù)據(jù)緩存在內(nèi)存中，提高訪問(wèn)速度，改善DB寫(xiě)入性能訂單應(yīng)用服務(wù)器用戶商品商品表數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)服務(wù)器用戶表訂單表負(fù)載均衡器訂單應(yīng)用服務(wù)器用戶商品分布式緩存集群應(yīng)用服務(wù)器數(shù)據(jù)庫(kù)服務(wù)器負(fù)載均衡器應(yīng)用服務(wù)器緩存總結(jié)：企業(yè)級(jí)系統(tǒng)架構(gòu)特點(diǎn)經(jīng)歷了應(yīng)用和數(shù)據(jù)拆分和集群、緩存等階段千級(jí)強(qiáng)并發(fā)，萬(wàn)級(jí)弱并發(fā)（在線用戶），十萬(wàn)級(jí)用戶大型企業(yè)ERP、供應(yīng)鏈、大型企業(yè)HR、辦公OA、核心業(yè)務(wù)系統(tǒng)需要保證數(shù)據(jù)的一致性、實(shí)時(shí)性、事務(wù)性業(yè)務(wù)邏輯劃分的較清晰，結(jié)構(gòu)化數(shù)據(jù)應(yīng)用程序和數(shù)據(jù)數(shù)據(jù)庫(kù)一臺(tái)服務(wù)器階段應(yīng)用程序集群階段數(shù)據(jù)庫(kù)應(yīng)用應(yīng)用負(fù)載均衡拆分

3、階段緩存階段數(shù)據(jù)庫(kù)應(yīng)用應(yīng)用負(fù)載均衡緩存反向代理1234數(shù)據(jù)庫(kù)應(yīng)用應(yīng)用負(fù)載均衡數(shù)據(jù)庫(kù)問(wèn)題中央集中式部署架構(gòu)，小型機(jī)和FC共享存儲(chǔ)場(chǎng)景較多，水平擴(kuò)展有瓶頸（應(yīng)用和數(shù)據(jù)的擴(kuò)展能力都很差）有熱備和故障恢復(fù)機(jī)制，但數(shù)據(jù)集中存儲(chǔ)，安全風(fēng)險(xiǎn)高大量的事務(wù)、鎖檢測(cè)導(dǎo)致數(shù)據(jù)庫(kù)訪問(wèn)瓶頸基礎(chǔ)設(shè)施率用低，成本高追求單節(jié)點(diǎn)的穩(wěn)定性應(yīng)用服務(wù)器集群數(shù)據(jù)庫(kù)服務(wù)器集群五. 數(shù)據(jù)庫(kù)讀寫(xiě)分離寫(xiě)庫(kù)：需要寫(xiě)入數(shù)據(jù)庫(kù)的事務(wù)操作讀庫(kù)：緩存訪問(wèn)不命中、緩存過(guò)期、需要讀取數(shù)據(jù)庫(kù)的事務(wù)操作訂單應(yīng)用服務(wù)器用戶商品商品表數(shù)據(jù)庫(kù)從庫(kù)（讀）用戶表訂單表應(yīng)用服務(wù)器從數(shù)據(jù)庫(kù)服務(wù)器負(fù)載均衡器訂單應(yīng)用服務(wù)器用戶商品負(fù)載均衡器主數(shù)據(jù)庫(kù)服務(wù)器分布式緩存集群商品表數(shù)據(jù)

4、庫(kù)主庫(kù)（寫(xiě)）用戶表訂單表分布式緩存集群主從庫(kù)數(shù)據(jù)同步數(shù)據(jù)復(fù)制六. 使用CDN和反向代理網(wǎng)絡(luò)提供商機(jī)房： 就是離用戶最近的機(jī)房，用戶寬帶上網(wǎng)的接入機(jī)房；CDN：在離客戶最近的機(jī)房中緩存業(yè)務(wù)數(shù)據(jù)，客戶第一跳就能訪問(wèn)到數(shù)據(jù)；反向代理：用戶請(qǐng)求到網(wǎng)站系統(tǒng)所在的IDC后，首先訪問(wèn)反向代理里面的緩存的數(shù)據(jù)；應(yīng)用服務(wù)器主數(shù)據(jù)庫(kù)服務(wù)器負(fù)載均衡器從數(shù)據(jù)庫(kù)服務(wù)器分布式緩存集群CDN集群反向代理服務(wù)器集群網(wǎng)絡(luò)提供商IDC機(jī)房網(wǎng)站系統(tǒng)IDC機(jī)房CDN和反向代理基本原理還是緩存！互聯(lián)網(wǎng)撥號(hào)接入服務(wù)器七. 分布式的數(shù)據(jù)庫(kù)讀寫(xiě)分離分庫(kù)分表水平分割，將相同的業(yè)務(wù)不同的數(shù)據(jù)放到不同的數(shù)據(jù)庫(kù)中垂直分割，將不同的業(yè)務(wù)數(shù)據(jù)放到不同的

5、數(shù)據(jù)庫(kù)中訂單應(yīng)用服務(wù)器用戶商品負(fù)載均衡器訂單應(yīng)用服務(wù)器用戶商品用戶庫(kù)（主）分布式緩存集群商品庫(kù)（主）用戶庫(kù)（從）交易庫(kù)（從）商品庫(kù)（從）交易庫(kù)（主）數(shù)據(jù)復(fù)制數(shù)據(jù)復(fù)制數(shù)據(jù)復(fù)制數(shù)據(jù)訪問(wèn)層分布式數(shù)據(jù)訪問(wèn)層訂單用戶商品負(fù)載均衡器訂單用戶商品用戶庫(kù)（主）分布式緩存集群商品庫(kù)（主）用戶庫(kù)（從）交易庫(kù)（從）商品庫(kù)（從）交易庫(kù)（主）訂單服務(wù)商品查詢服務(wù)登錄服務(wù)服務(wù)層應(yīng)用層應(yīng)用服務(wù)器應(yīng)用服務(wù)器新增服務(wù)分主庫(kù)/從庫(kù)分庫(kù)/分表訪問(wèn)路由策略自動(dòng)擴(kuò)容，增加數(shù)據(jù)節(jié)點(diǎn)（數(shù)據(jù)庫(kù)或者文件服務(wù)器）管理數(shù)據(jù)訪問(wèn)連接數(shù)據(jù)復(fù)制數(shù)據(jù)復(fù)制數(shù)據(jù)復(fù)制通過(guò)集群提供一個(gè)高存儲(chǔ)容量、高并發(fā)訪問(wèn)、數(shù)據(jù)冗余容災(zāi)支持的數(shù)據(jù)庫(kù)系統(tǒng)。八. 使用NoSQL和搜

6、索引擎大型網(wǎng)站站內(nèi)搜索提高站內(nèi)搜索場(chǎng)景下讀的性能，提供更好的查詢效率CDN集群反向代理服務(wù)器集群網(wǎng)絡(luò)提供商IDC機(jī)房網(wǎng)站系統(tǒng)IDC機(jī)房訂單應(yīng)用服務(wù)器用戶商品商品表數(shù)據(jù)庫(kù)主分布式數(shù)據(jù)庫(kù)（寫(xiě)）用戶表訂單表負(fù)載均衡器訂單應(yīng)用服務(wù)器用戶商品商品表數(shù)據(jù)庫(kù)從分布式數(shù)據(jù)庫(kù)（讀）用戶表訂單表分布式緩存集群搜索集群數(shù)據(jù)復(fù)制九. 業(yè)務(wù)應(yīng)用拆分讀寫(xiě)分離、分布式存儲(chǔ)、數(shù)據(jù)的垂直和水平拆分（分庫(kù)分表）都是拆分?jǐn)?shù)據(jù)，解決數(shù)據(jù)方面的問(wèn)題，應(yīng)用如何拆分？隨著業(yè)務(wù)發(fā)展，應(yīng)用的功能越來(lái)越多，也越來(lái)越大，我們需要考慮不讓?xiě)?yīng)用持續(xù)變大；應(yīng)用拆分，把一個(gè)應(yīng)用拆到多個(gè)應(yīng)用中，分而治之；訂單應(yīng)用服務(wù)器用戶商品負(fù)載均衡器訂單應(yīng)用服務(wù)器用戶商

7、品負(fù)載均衡器訂單應(yīng)用服務(wù)器用戶應(yīng)用服務(wù)器商品應(yīng)用服務(wù)器應(yīng)用拆分前應(yīng)用拆分后十. 服務(wù)化的架構(gòu)各應(yīng)用中存在重復(fù)的業(yè)務(wù)功能和代碼甚至在一個(gè)應(yīng)用中也會(huì)存在冗余的代碼邏輯應(yīng)用系統(tǒng)很臃腫，維護(hù)和版本升級(jí)開(kāi)銷都很大，穩(wěn)定性不夠理想網(wǎng)站初期或者規(guī)模較小，整體上容易把控服務(wù)1應(yīng)用A應(yīng)用B應(yīng)用C應(yīng)用D數(shù)據(jù)庫(kù)緩存系統(tǒng)搜索引擎應(yīng)用A應(yīng)用B應(yīng)用C應(yīng)用D數(shù)據(jù)庫(kù)應(yīng)用拆分應(yīng)用E應(yīng)用F服務(wù)2服務(wù)3服務(wù)4分布式文件系統(tǒng)搜索引擎緩存系統(tǒng)增加服務(wù)層，把冗余的代碼和可以復(fù)用的業(yè)務(wù)應(yīng)用進(jìn)行拆分提取，封裝成服務(wù)應(yīng)用層可以更專注在與前端用戶如何交互，業(yè)務(wù)處理放在服務(wù)層來(lái)進(jìn)行系統(tǒng)架構(gòu)更加清晰，代碼質(zhì)量提高，利于升級(jí)和維護(hù)，穩(wěn)定性高服務(wù)層利用

8、分布式系統(tǒng)的架構(gòu)實(shí)現(xiàn)HA的功能適用大型網(wǎng)站系統(tǒng)的場(chǎng)景中服務(wù)化的架構(gòu)應(yīng)用G服務(wù)框架服務(wù)調(diào)用者和提供者直接建立連接，引入服務(wù)注冊(cè)中心，用于保存服務(wù)列表；服務(wù)列表保存在應(yīng)用的本地，新的服務(wù)上線后，在服務(wù)注冊(cè)中心進(jìn)行注冊(cè)，然后更新應(yīng)用本地存放的服務(wù)列表；應(yīng)用與服務(wù)實(shí)現(xiàn)負(fù)載均衡，通過(guò)隨機(jī)、輪詢、權(quán)重等策略；服務(wù)1應(yīng)用A應(yīng)用B應(yīng)用C應(yīng)用D應(yīng)用E應(yīng)用F服務(wù)2服務(wù)3服務(wù)4應(yīng)用G分布式服務(wù)框架服務(wù)框架應(yīng)用1（服務(wù)調(diào)用者）服務(wù)框架服務(wù)框架服務(wù)框架服務(wù)注冊(cè)查找中心服務(wù)框架服務(wù)框架應(yīng)用2（服務(wù)調(diào)用者）新應(yīng)用（服務(wù)調(diào)用者）服務(wù)1（服務(wù)提供者）服務(wù)2（服務(wù)提供者）服務(wù)3（服務(wù)提供者）服務(wù)5注冊(cè)訂閱推送服務(wù)列表調(diào)用調(diào)用調(diào)用

9、消息中間件既然應(yīng)用拆分了，形成了服務(wù)層，應(yīng)用由緊耦合變?yōu)樗神詈?，那么?yīng)用之間、服務(wù)之間、應(yīng)用與服務(wù)之間如何通訊？應(yīng)用解耦異步通訊、操作的異步有些場(chǎng)景中，利用消息系統(tǒng)確保分布式數(shù)據(jù)庫(kù)的弱事務(wù)性服務(wù)1應(yīng)用A應(yīng)用B服務(wù)2消息中間件MQ應(yīng)用C服務(wù)3主庫(kù)從庫(kù)服務(wù)注冊(cè)查找中心11223344十. 分布式服務(wù)化各個(gè)應(yīng)用系統(tǒng)中有相同的業(yè)務(wù)功能，提取出來(lái)這部分冗余的功能在服務(wù)中心以服務(wù)的方式供大家一起使用。讓?xiě)?yīng)用層更加專注的去解決與瀏覽器交互的工作，而不必過(guò)多的關(guān)注業(yè)務(wù)邏輯的事情。業(yè)務(wù)數(shù)據(jù)的操作由服務(wù)層封裝。業(yè)務(wù)功能之間訪問(wèn)不僅是單機(jī)內(nèi)部訪問(wèn)，還有遠(yuǎn)程服務(wù)調(diào)用。把數(shù)據(jù)交互的工作封裝成 數(shù)據(jù)訪問(wèn)層，服務(wù)層不直接與

10、數(shù)據(jù)庫(kù)交互，由數(shù)據(jù)訪問(wèn)層來(lái)提供數(shù)據(jù)的訪問(wèn)策略。幫助服務(wù)層完成數(shù)據(jù)的拆分以及整個(gè)數(shù)據(jù)的管理、擴(kuò)容、遷移等工作。商品系統(tǒng)應(yīng)用層注冊(cè)權(quán)限管理商品服務(wù)層用戶中心分布式數(shù)據(jù)庫(kù)訪問(wèn)數(shù)據(jù)訪問(wèn)層緩存搜索數(shù)據(jù)庫(kù)分布式緩存集群搜索集群交易訂單查詢系統(tǒng)交易中心數(shù)據(jù)持久層分布式文件系統(tǒng)高可用的大型網(wǎng)站分布式架構(gòu)網(wǎng)站的演進(jìn)過(guò)程中經(jīng)歷了應(yīng)用拆分、服務(wù)拆分、數(shù)據(jù)拆分和應(yīng)用解耦，需要中間件產(chǎn)品來(lái)解決相應(yīng)的問(wèn)題；服務(wù)框架是幫助應(yīng)用進(jìn)行拆分、完成服務(wù)化。通過(guò)服務(wù)框架解決集群間的通信問(wèn)題；數(shù)據(jù)訪問(wèn)層幫助數(shù)據(jù)完成拆分，并對(duì)數(shù)據(jù)進(jìn)行管理、擴(kuò)容、遷移等工作。通過(guò)訪問(wèn)層讓?xiě)?yīng)用可以路由到已被分庫(kù)分表的數(shù)據(jù)庫(kù)主從節(jié)點(diǎn)上；消息中間件完成應(yīng)用解耦

11、，提供分布式環(huán)境下的異步通訊；數(shù)據(jù)復(fù)制/遷移幫助業(yè)務(wù)需求完成數(shù)據(jù)的分布；大型網(wǎng)站架構(gòu)技術(shù)的核心價(jià)值：能夠靈活應(yīng)對(duì)業(yè)務(wù)快速變化的需求安全防護(hù)/反向代理Web應(yīng)用數(shù)據(jù)訪問(wèn)層Web應(yīng)用服務(wù)服務(wù)主庫(kù)分庫(kù)1分庫(kù)2從庫(kù)分庫(kù)3分庫(kù)4分布式文件系統(tǒng)分布式緩存搜索消息中間件數(shù)據(jù)復(fù)制/遷移分布式服務(wù)框架負(fù)載均衡LBS自動(dòng)化運(yùn)行維護(hù)大數(shù)據(jù)平臺(tái)軟負(fù)載中心頁(yè)面緩存NoSQL持久化配置管理總結(jié)：互聯(lián)網(wǎng)分布式系統(tǒng)架構(gòu)特點(diǎn)分布式部署架構(gòu)、數(shù)據(jù)與應(yīng)用的拆分、架構(gòu)層次化、半結(jié)構(gòu)化大數(shù)據(jù)十萬(wàn)級(jí)強(qiáng)并發(fā)，百萬(wàn)級(jí)弱并發(fā)（在線用戶），千萬(wàn)級(jí)用戶C2C、B2C電子商務(wù)（淘寶、京東、1號(hào)店）應(yīng)用可實(shí)時(shí)水平擴(kuò)展、數(shù)據(jù)可實(shí)時(shí)水平擴(kuò)展 （全部不停機(jī)

12、）海量非事務(wù)性訪問(wèn) + 一定規(guī)模事務(wù)性訪問(wèn)，數(shù)據(jù)部分要求一致性（價(jià)格、信息同步的一致性等）、事務(wù)緩存機(jī)制核心價(jià)值：能夠靈活應(yīng)對(duì)網(wǎng)站業(yè)務(wù)的變化需求業(yè)務(wù)庫(kù)1（主）緩存、分布式數(shù)據(jù)庫(kù)、搜索集群階段應(yīng)用應(yīng)用負(fù)載均衡緩存反向代理6CDN業(yè)務(wù)庫(kù)2（主）業(yè)務(wù)庫(kù)3（主）業(yè)務(wù)庫(kù)1（從）業(yè)務(wù)庫(kù)2（從）業(yè)務(wù)庫(kù)3（從）搜索業(yè)務(wù)1應(yīng)用服務(wù)器業(yè)務(wù)2業(yè)務(wù)3負(fù)載均衡器負(fù)載均衡器應(yīng)用服務(wù)器應(yīng)用服務(wù)器業(yè)務(wù)1應(yīng)用服務(wù)器業(yè)務(wù)2業(yè)務(wù)3業(yè)務(wù)1應(yīng)用服務(wù)器業(yè)務(wù)2業(yè)務(wù)3業(yè)務(wù)1業(yè)務(wù)2業(yè)務(wù)3業(yè)務(wù)應(yīng)用拆分階段7應(yīng)用服務(wù)器應(yīng)用層服務(wù)層分布式數(shù)據(jù)庫(kù)訪問(wèn)緩存訪問(wèn)搜索訪問(wèn)分布式緩存集群搜索集群分布式數(shù)據(jù)庫(kù)業(yè)務(wù)應(yīng)用1業(yè)務(wù)服務(wù)1業(yè)務(wù)應(yīng)用2業(yè)務(wù)應(yīng)用3業(yè)務(wù)應(yīng)用4業(yè)

13、務(wù)服務(wù)2業(yè)務(wù)服務(wù)3業(yè)務(wù)服務(wù)4數(shù)據(jù)訪問(wèn)層分布式服務(wù)化8應(yīng)用數(shù)據(jù)訪問(wèn)層/持久化配置服務(wù)主庫(kù)主庫(kù)分庫(kù)從庫(kù)從庫(kù)分庫(kù)分布式文件系統(tǒng)分布式緩存搜索消息中間件數(shù)據(jù)復(fù)制/遷移分布式服務(wù)框架負(fù)載均衡LBS自動(dòng)化運(yùn)行維護(hù)應(yīng)用/頁(yè)面緩存服務(wù)/HA高可用的大型網(wǎng)站分布式架構(gòu)9拆分大數(shù)據(jù)平臺(tái)安全防護(hù)/反向代理互聯(lián)網(wǎng)分布式系統(tǒng)產(chǎn)品系列分布式數(shù)據(jù)庫(kù)：取代傳統(tǒng)企業(yè)級(jí)架構(gòu)中商業(yè)數(shù)據(jù)庫(kù)產(chǎn)品（Oracle、DB2），替換掉小型服務(wù)器和FC光線存儲(chǔ)和FC網(wǎng)絡(luò)交換設(shè)備，通過(guò)分布式的水平擴(kuò)展能力，提高數(shù)據(jù)的IO訪問(wèn)性能和安全性。實(shí)現(xiàn)數(shù)據(jù)的管理、拆分、路由、擴(kuò)容、遷移等工作。分布式緩存產(chǎn)品：通過(guò)CDN、反向代理和分布式緩存集群等產(chǎn)品，提高業(yè)務(wù)數(shù)據(jù)的讀取能力，對(duì)于寫(xiě)數(shù)據(jù)可實(shí)現(xiàn)弱事物一致性。IAAS基礎(chǔ)設(shè)施云服務(wù)平臺(tái)：提高硬件基礎(chǔ)設(shè)施的利用率，通過(guò)資源池虛擬化的服務(wù)，系統(tǒng)基礎(chǔ)設(shè)施的規(guī)?？砂葱枭炜s。分布式服務(wù)體系框架、消息：幫助應(yīng)用拆分解耦，形成業(yè)務(wù)服務(wù)，應(yīng)用和服務(wù)集群之間利用消息實(shí)現(xiàn)異步通訊。利用服務(wù)框架實(shí)現(xiàn)應(yīng)用層和服務(wù)層的HA高可用性，實(shí)現(xiàn)應(yīng)用和服務(wù)動(dòng)態(tài)水平擴(kuò)展。大數(shù)據(jù)平臺(tái)：利用大數(shù)