高并發(fā)平臺架構(gòu)規(guī)劃方案

編號∶______版本∶______高并發(fā)臺架構(gòu)規(guī)劃案起草人：

田朝山起草時2013年01月08日審核人：審核時修改情況記錄：序號

修改模塊名稱

修改內(nèi)容

修改人

修改人名稱123第1頁20頁

1

概述1.1簡述本文檔針對目的特點(diǎn)，根據(jù)項(xiàng)目各個階段的發(fā)展情況，在系統(tǒng)不調(diào)整或微調(diào)整的情況下逐步提升整體吞吐量以適應(yīng)項(xiàng)目的快速發(fā)展中包括各個階段項(xiàng)目架構(gòu)部署規(guī)劃。1.2設(shè)計(jì)標(biāo)A.快速的響能力在各種情況下能夠快速響應(yīng)用戶請求具備可靠地容災(zāi)能力部分系統(tǒng)問題不影響整體系統(tǒng)的正常運(yùn)行。將停止服務(wù)時間降低到最低甚至是不間斷服務(wù)。B.可伸縮性系統(tǒng)體隨著訪問的增加，系統(tǒng)具備良好的伸縮能力。其中包括硬件與軟件兩部分：1)硬件：Web服務(wù)器集群，緩存服務(wù)器集群，文件服務(wù)器集群，數(shù)據(jù)庫服務(wù)器等集群個群集之間負(fù)載均衡何一個集群由于資源不足出現(xiàn)瓶頸的時候，只要根據(jù)需要添加一個服務(wù)器節(jié)點(diǎn)，做簡單的配置就能到達(dá)擴(kuò)展的目的。2)軟件個軟件應(yīng)用系統(tǒng)縱向分割照模塊劃分各個模塊即相互獨(dú)立，又可以無縫結(jié)合如果需要擴(kuò)展一個模塊只要做獨(dú)立開發(fā)無需該原有系統(tǒng)的代碼，只要做簡單的配置就能結(jié)合在已經(jīng)，并對該模塊管理。C.安全可靠系統(tǒng)為保證網(wǎng)站的正常運(yùn)行戶數(shù)據(jù)的高度安全考慮了多種安全策網(wǎng)絡(luò)安全、系統(tǒng)安全、各子系統(tǒng)安全、子系統(tǒng)模塊安全、回話期間安全等系統(tǒng)具有7×24小時的運(yùn)行能力并且具有系統(tǒng)災(zāi)難的快速恢復(fù)能力及數(shù)據(jù)安全的保證。D.易管理的系架構(gòu)整個系統(tǒng)、服務(wù)的狀態(tài)處于一個實(shí)時的監(jiān)控之下。其中包括：配置管理、故第2頁20頁

障性能檢測、代碼發(fā)布等：1)配置管理：可以通過統(tǒng)一的管理系統(tǒng)，對整個運(yùn)行環(huán)境進(jìn)行界面配置管理。同類集群可以批量操作。2)性能監(jiān)測通過統(tǒng)一的監(jiān)控系統(tǒng)對不同類型的服務(wù)器或集群分別監(jiān)測根據(jù)監(jiān)測報表實(shí)時決策優(yōu)化方案。3)代碼發(fā)布:如果擴(kuò)展模塊開發(fā)完，只要通過發(fā)布系統(tǒng)發(fā)布到指定的服務(wù)器，或某一類服務(wù)器。1.3設(shè)計(jì)則1)高可用性：將停止服務(wù)時間降低到最低甚至是不間斷服務(wù)；2)可擴(kuò)展性：隨著訪問的增加，系統(tǒng)具備良好的伸縮能力；3)可視性：系統(tǒng)、服務(wù)的狀態(tài)處于一個實(shí)時的監(jiān)控之下；4)高性能高可靠性：經(jīng)過優(yōu)化的體系結(jié)構(gòu)及合理的備份策略；5)安全性：結(jié)構(gòu)上的安全及主機(jī)的安全策略；6)易維護(hù)性：通過簡單的操作就能維護(hù)龐大的集群系統(tǒng)7)低成本：前期盡量在有限的硬件資源下，利用軟件提高性能。1.4讀者象該文檔的主要讀者對象：項(xiàng)目經(jīng)理、架構(gòu)師、服務(wù)器維護(hù)人員等。第3頁20頁

2

項(xiàng)目分項(xiàng)目特點(diǎn)如下：1)高并發(fā)，初期雖然比較低，但隨著快速發(fā)展pv增長很快；2)數(shù)據(jù)實(shí)時性要求高；3)數(shù)據(jù)正確性要求高；4)大多數(shù)頁面屬于動態(tài)頁面；5)網(wǎng)站需要大量商品圖片展示；6)用戶通過搜索引擎、廣告、類目導(dǎo)航尋找商品；7)網(wǎng)站讀多寫少，比例超過8)賣家相關(guān)數(shù)據(jù)量比較大，比方商品數(shù)、評價數(shù)。第4頁20頁

3

架構(gòu)遵規(guī)則1)能分拆的獨(dú)立應(yīng)用，盡量分割開來；2)獨(dú)立應(yīng)用有程序與數(shù)據(jù)庫組成；3)程序有靜態(tài)文件或動態(tài)文件組成；4)數(shù)據(jù)庫有主數(shù)據(jù)庫〔專門用于寫〕與從數(shù)據(jù)庫〔專門用于讀〕組成，其中主數(shù)據(jù)庫中的數(shù)據(jù)會實(shí)時同步到從數(shù)據(jù)庫；5)頻繁調(diào)用的動態(tài)數(shù)據(jù)能加入緩存；6)數(shù)據(jù)庫大到影響檢索效率是，必須橫向分割。:用戶表已經(jīng)相當(dāng)大，ID能整除的放在，ID能整除3放在，ID整除的放在userinfo4，ID能整除5的放在userinfo5，把一張大表分成4張小表。7)數(shù)據(jù)庫、文件、緩存等服務(wù)器能負(fù)載均衡；8)要求不及時，能批處理的盡量獨(dú)立批量處理。第5頁20頁

4

系統(tǒng)架項(xiàng)目初期由于壓力較小應(yīng)用服務(wù)數(shù)據(jù)庫備份分別部署在獨(dú)立的服務(wù)器上甚至都部署在同一臺服務(wù)器上但整個系統(tǒng)前期的開發(fā)需要按照以下負(fù)載方式考慮設(shè)計(jì)分布式部署方便隨著項(xiàng)目負(fù)荷增大評估出負(fù)荷點(diǎn)能很容易在不改變程序的基礎(chǔ)上，添加硬件設(shè)備就能緩解整體負(fù)荷。由于前期節(jié)點(diǎn)比較少服務(wù)器性能檢測系統(tǒng)碼分發(fā)系統(tǒng)”等暫時不考慮，具體開發(fā)時間根據(jù)項(xiàng)目發(fā)展情況而定。4.1子系結(jié)構(gòu)會員管理廣告理后臺

結(jié)算理...總站

資訊理西安分站上海分站

會員心商鋪心核心用...前臺

北京分站...深圳分站

評論理注其中前臺的每個分站旗下的App與西安分站相同這里進(jìn)用西安分站做個舉例說明。第6頁20頁

4.2App用系統(tǒng)包含web頁面的各應(yīng)用，頁面類型分為：靜態(tài)頁面，動態(tài)頁面。靜態(tài)頁面對I/O要求比較高；動態(tài)頁面對內(nèi)存CPU等要求比較高。因此靜態(tài)頁面與動態(tài)頁面分開部署在具有針對性的服務(wù)器上以提高性能。Web服務(wù)器分：靜態(tài)服務(wù)器，動態(tài)服務(wù)器。其中當(dāng)客戶訪問靜態(tài)頁面的時候僅訪問靜態(tài)web服務(wù)器靜態(tài)Web服務(wù)器根據(jù)需要從文件服務(wù)器上提取所必須的css，js，圖片等文件；而當(dāng)用戶訪問動態(tài)頁面時，動態(tài)Web服務(wù)器根據(jù)需要先去緩存服務(wù)器上檢查是否有需要的數(shù)據(jù)如果有則直接從緩存服務(wù)器中取否則從數(shù)據(jù)庫中取相應(yīng)的數(shù)據(jù)同時添加到緩存服務(wù)器〔不是所有的數(shù)據(jù)都加到緩存服務(wù)器中，主要加那些不頻繁變化的數(shù)據(jù)根據(jù)需要從文件服務(wù)器上提取所必須的css，js，圖片等文件。如圖所示。公網(wǎng)Web服寫入主庫制復(fù)讀出W服務(wù)器

Web服

從庫更新讀取（圖片，下載等）

圖2-1-1App應(yīng)用系統(tǒng)〔分兩部分：動態(tài)，靜態(tài)〕靜態(tài)網(wǎng)頁的網(wǎng)址形式通常是以htm、.html、.xml等為后綴的。同時在靜態(tài)頁面上也可以出現(xiàn)各種動態(tài)的效果，如.GIF格式的動畫、FLASH、滾動第7頁20頁

字母等，這些“動態(tài)效果”只是視覺上的。靜態(tài)頁面的優(yōu)點(diǎn)：1)完全脫離了數(shù)據(jù)庫訪問的壓力直接訪問速度快用戶體驗(yàn)良好而且不容易屏蔽；2)內(nèi)容非常穩(wěn)定容易被搜索引擎收錄并且容易獲得較好排名搜索引擎也會經(jīng)常光臨網(wǎng)站；3)提高網(wǎng)站安全性，防止不良代碼注入；4)對服務(wù)器要求不高。因此對于不頻繁變化的內(nèi)容盡量靜態(tài)化時針對靜態(tài)頁面定制相應(yīng)的服務(wù)器，這樣不但能提高網(wǎng)站的訪問速度，同時能節(jié)省服務(wù)器資源。動態(tài)網(wǎng)頁的網(wǎng)址形式通常是.jsp、.aspx、.ascx等為后后綴的。動態(tài)頁面主要用于人機(jī)交互〔如：論壇，評論等實(shí)時效率比較高動態(tài)頁面不但服務(wù)器要求比較高同時需要頻繁與數(shù)據(jù)庫交互給數(shù)據(jù)庫服務(wù)器帶來很大的壓力。因此只有網(wǎng)站中頻繁變化的部分，以及管理系統(tǒng)需要做成動態(tài)頁面隨著訪問量的不斷增加即使靜態(tài)頁面與動態(tài)頁面分開分別部署在不同的服務(wù)器上，也難于承受那么大的流量。如果一臺服務(wù)器難于負(fù)荷靜態(tài)服務(wù)的時候根據(jù)需要添加多臺服務(wù)器一起承載靜態(tài)服務(wù)負(fù)荷了讓多臺服務(wù)器更好的協(xié)同工作著集群負(fù)荷的增加，可以根據(jù)需要添加服務(wù)器以到達(dá)分擔(dān)負(fù)荷的作用利用網(wǎng)絡(luò)負(fù)載平衡器把這些服務(wù)器群集起來態(tài)服務(wù)業(yè)可以按照這樣的均衡方式到達(dá)提高性能與擴(kuò)展的效果。如圖2-1-2所示。第8頁20頁

動態(tài)Web務(wù)器集群負(fù)載均動態(tài)eb務(wù)器1態(tài)eb2動W服務(wù)器LAN太網(wǎng)...動態(tài)Web務(wù)器4態(tài)eb務(wù)5

數(shù)據(jù)庫服務(wù)器公網(wǎng)

緩存服務(wù)器客戶端其中Windows2003

靜態(tài)Web務(wù)器集群負(fù)載均靜態(tài)eb務(wù)器1態(tài)eb2靜W服務(wù)器文件服務(wù)器LAN太網(wǎng)...靜態(tài)Web務(wù)器4態(tài)eb務(wù)5圖2-1-2App應(yīng)用系統(tǒng)負(fù)載均衡網(wǎng)絡(luò)負(fù)載均衡原理：是按照通訊量來分配的。可以配置成各個主機(jī)均分也可以給好點(diǎn)的機(jī)器多分點(diǎn)負(fù)荷量給差點(diǎn)的機(jī)器分少點(diǎn)負(fù)荷量〔負(fù)荷量：各主機(jī)處理的通信量/總的通訊量〕。也可以指定各個主機(jī)的優(yōu)先級，按照優(yōu)先級確定那個主機(jī)處理接收到的通訊。而整個群集對外表現(xiàn)為一個IP，一個域名只要綁定到該IP上，則通過該域名的請求都會分發(fā)到群集中的各個服務(wù)器上一起工作。當(dāng)網(wǎng)站規(guī)模越來越大的情況下即使用群集能解決性能問題但所有的服務(wù)都部署在一個群集中一個群集就有成百上千個站點(diǎn)很難管理因此在網(wǎng)站到一定規(guī)模的時候就需要按照網(wǎng)站模塊應(yīng)用的不同進(jìn)行縱向分割然后根據(jù)各個應(yīng)用的訪問量實(shí)際情況作負(fù)載均衡以提升整體的性能靜態(tài)服務(wù)動態(tài)服務(wù)都可以按照這樣的方式部署其中動態(tài)服務(wù)縱向分割不僅方便了站點(diǎn)管理更深遠(yuǎn)的意義在于為數(shù)據(jù)庫負(fù)載提供了方便此動態(tài)服務(wù)器更應(yīng)該盡量按照應(yīng)用的不同縱向分割。如圖2-1-3所示。第9頁20頁

W1服務(wù)4W1W4

W2以太W5W2LAN以太W5

Web服務(wù)W3...文件服務(wù)器Web服務(wù)1W3...緩存服務(wù)器Web2W1

W2以太

W3...W4

W5

動Web服務(wù)

數(shù)據(jù)庫服務(wù)器…

圖2-1-3App應(yīng)用負(fù)載均衡〔動態(tài)應(yīng)用縱向分割〕4.3數(shù)據(jù)系統(tǒng)大型網(wǎng)站的性能瓶頸主要來自于動態(tài)服務(wù)而影響動態(tài)服務(wù)性能關(guān)鍵在于數(shù)據(jù)庫能否及時響應(yīng)各個動態(tài)應(yīng)用規(guī)模越大響應(yīng)的數(shù)據(jù)庫就越臃腫響應(yīng)的速度就越慢所以動態(tài)服務(wù)部分響應(yīng)的數(shù)據(jù)庫的縱向分割不但便于管理還能提升數(shù)據(jù)庫的性能，能到達(dá)數(shù)據(jù)庫負(fù)載均衡的效果。由于部分?jǐn)?shù)據(jù)庫在沒有借助第三方軟件或硬件情況下，自身不能負(fù)載均衡。就當(dāng)前形勢還沒必要用到第三方負(fù)載均衡工具的情況下，采用如下方案1)讀寫別離。由于讀多寫少，大部分時間消耗在查詢上，因此讓主庫專門用于寫從庫專門用于〔讀庫可以有很多個減輕單個讀庫的負(fù)擔(dān)同時同步寫庫與讀庫的數(shù)據(jù)；如圖所示。第10頁20頁

公網(wǎng)

Web寫入主庫制復(fù)讀出W服

Web

從庫更新讀?。▓D片下載等）圖2-2-1數(shù)據(jù)庫主從別離

2)縱向分割就是不同的應(yīng)用可以分到不同的DB中不同的實(shí)例中這種發(fā)放不但效率高，實(shí)施也很方便。如圖所示。公網(wǎng)客戶端緩存服務(wù)器Web服務(wù)器數(shù)據(jù)務(wù)器采分割]Web用1DB1Web用2

文件服務(wù)器DB2...WebNDBN第11頁20頁

圖2-2-2數(shù)據(jù)庫分布式部署3)橫向分割就是，某些應(yīng)用不能分割，比方用戶注冊，但是用戶表會非常大，可以把大表分成小表，可以采用表分區(qū)，數(shù)據(jù)存儲在不同文件上，然后再部署到獨(dú)立物理服務(wù)器增加吞吐以改善讀寫性能分區(qū)的另外一個優(yōu)勢可以增加數(shù)據(jù)查詢速度。4)根據(jù)需要可以綜合使用以上三種方法，可以實(shí)現(xiàn)無限極的擴(kuò)展。如圖2-2-3所示。讀寫分離

縱向分離Web應(yīng)用1

主庫[寫庫]

從庫[讀庫]橫向分割

Web應(yīng)用2

分區(qū)1

分區(qū)1

分區(qū)N

讀寫分離+向分割

分區(qū)1[主庫]

Web用分區(qū)2[主庫]

+橫向分分區(qū)N[主庫]

圖2-2-3數(shù)據(jù)庫負(fù)載均衡〔綜合用法〕如果某個應(yīng)用的訪問量通過上面的方式綜合使用都無法負(fù)載時候再采用第三方的負(fù)載均衡。4.4緩存統(tǒng)大型網(wǎng)站的吞吐率越大其是動態(tài)服務(wù)部分?jǐn)?shù)據(jù)庫的壓力也越來越大。第12頁20頁

如果數(shù)據(jù)庫壓力過大，嚴(yán)重影響網(wǎng)站的整體性能。使用緩存能有效應(yīng)對大負(fù)載，減少數(shù)據(jù)庫的壓力，并顯著提高多層應(yīng)用程序的性能。采用業(yè)內(nèi)主流的。Memcached是開源的分布式cache系統(tǒng)。Memcached的緩存是一種分布式的以讓不同主機(jī)上的多個用戶同時訪問，因此解決了共享內(nèi)存只能單機(jī)應(yīng)用的局限不會出現(xiàn)使用數(shù)據(jù)庫做類似事情的時候，磁盤開銷和阻塞的發(fā)生。主要應(yīng)用App應(yīng)用系統(tǒng)與數(shù)據(jù)庫系統(tǒng)之間據(jù)網(wǎng)站各個應(yīng)用的實(shí)際情況配置多臺緩存服務(wù)器。如圖2-3-2所示。Web應(yīng)用1緩存器集群Memcache1Memcache2LAN以太網(wǎng)

Memcache3Web服務(wù)公網(wǎng)

...Memcache4Memcache5客戶Web用2緩存器集群Memcache1Memcache2LAN以太網(wǎng)

Memcache3...文件務(wù)器（圖，Js，Css等）

數(shù)據(jù)服務(wù)

Memcache4Memcache5…

根據(jù)Web用的實(shí)際況安排相應(yīng)緩存服務(wù)器集圖2-3-1Memcache緩存部署圖4.5文件儲系統(tǒng)有些內(nèi)容，既沒必要存放在數(shù)據(jù)庫里，也不適合存放在緩存中，如圖片，下載文件，js，css數(shù)據(jù)。當(dāng)有海量內(nèi)容存放在文件系統(tǒng)中時，為了保證高并發(fā)請求下文件系統(tǒng)能夠及時的相應(yīng)請求，通過以下方式來提高文件系統(tǒng)的整體性能：1)按照文件類型的不同分別部署在不同的服務(wù)器甚至服務(wù)器集群上如圖片文件可以不是在圖片服務(wù)器上單臺圖片服務(wù)器承受不了當(dāng)前的負(fù)荷的時候以更具時間情況添加多臺圖片服務(wù)器通過群集起來協(xié)同工作。第13頁20頁

2)當(dāng)多臺服務(wù)器通過負(fù)載平衡都難于承受某類文件負(fù)荷的時候以按照該類文件所屬的應(yīng)用縱向分。如“用”的圖片文件單獨(dú)部署在單臺服務(wù)器上，甚至是多臺服務(wù)器集群上。3)為了將來易于擴(kuò)展、移植，綜合使用以上兩種方法。先把各種文件按照App應(yīng)用劃分，再把文件按照類型劃分。即使所有的文件部署到一臺機(jī)器上只要各個應(yīng)用中的各種類型的文件通過獨(dú)立的域名調(diào)用當(dāng)以后某種App應(yīng)用的的負(fù)荷很大時某種應(yīng)用中的某種類型文件負(fù)荷很大時也可以輕松移植到新添加的服務(wù)器上只需要把相應(yīng)域名解析到相應(yīng)的服務(wù)器上即可。如圖2-4-1所示。公網(wǎng)客戶端緩存服務(wù)器12針對W模塊提文圖片服務(wù)器

圖片服務(wù)器

圖片服務(wù)器

圖片服務(wù)器

LAN以太網(wǎng)以網(wǎng)...圖片服務(wù)器圖片服務(wù)器

...

數(shù)據(jù)庫服務(wù)器12針對W模塊提下下載服務(wù)器

下載服務(wù)器

下載服務(wù)器

下載服務(wù)器

LAN以太網(wǎng)以網(wǎng)...

...下載服務(wù)器

下載服務(wù)器其他件務(wù)集…圖2-4-1文件分布式不是4.6服務(wù)性能監(jiān)系統(tǒng)在網(wǎng)站規(guī)模不大，服務(wù)器只有假設(shè)干臺的情況下，運(yùn)維人員可以逐臺服務(wù)器通過Windows任務(wù)管理器查看服務(wù)器資源使用情況，而這樣只能看到CPU、內(nèi)存第14頁20頁

以及硬盤等的使用情況，其他的〔如IIS的吞吐率，當(dāng)前的請求數(shù)等〕都難于獲取，只能等錯誤發(fā)生了才能知道采取排查，是運(yùn)維人員很被動。但隨著網(wǎng)站規(guī)模的不斷擴(kuò)大，整個網(wǎng)站所基于的服務(wù)器集群也在不斷擴(kuò)大。當(dāng)服務(wù)器擴(kuò)展到成百上千臺的時候手工去逐臺采集已經(jīng)很不現(xiàn)實(shí)因此必須通過專門的系統(tǒng)針對性的自動對各個服務(wù)器的信息采集制成報表供運(yùn)維實(shí)時掌握各個服務(wù)的現(xiàn)狀。監(jiān)控系統(tǒng)的部署如圖2-6-1示。境監(jiān)Web，務(wù)源否展

Web服器數(shù)據(jù)服務(wù)管理

監(jiān)控務(wù)器監(jiān)控戶端文件務(wù)器圖2-6-1服務(wù)器性能監(jiān)控系統(tǒng)4.7服務(wù)管理系同“服務(wù)器性能監(jiān)控系統(tǒng)”類似。在網(wǎng)站規(guī)模不大，服務(wù)器只有假設(shè)干臺的情況下，運(yùn)維人員可以逐臺服務(wù)器手工配置，而且很難防止手誤。但隨著網(wǎng)站訪問流量的不斷增加網(wǎng)絡(luò)服務(wù)都是以負(fù)載均衡集群的方式對外提供服務(wù)隨之集群規(guī)模的擴(kuò)大原來基于單機(jī)的服務(wù)器管理模式已經(jīng)不能夠滿足需求，新的需求必須能夠集中式的、分組的、批量的、自動化的對服務(wù)器進(jìn)行管理，能夠批量化的執(zhí)行計(jì)劃任務(wù)。分布式服務(wù)器管理系統(tǒng)的部署如圖2-7-1所示。第15頁20頁

境任清

Web服器數(shù)據(jù)服務(wù)管理

管理務(wù)器管理戶端文件務(wù)器4.8代碼發(fā)系統(tǒng)隨著網(wǎng)站訪問流量的不斷增加網(wǎng)絡(luò)服務(wù)都是以負(fù)載均衡集群的方式對外提供服務(wù)之集群規(guī)模的擴(kuò)大滿足集群環(huán)境下程序代碼的批量分發(fā)和更新，我們還需要一個程序代碼發(fā)布系統(tǒng)，其中文件同步現(xiàn)在用Filesync也可以用Rsync。代碼發(fā)布系統(tǒng)