大型電商網(wǎng)站服務(wù)器架構(gòu)完全部署方案

1、任何大型站點都經(jīng)歷了用戶的積累和增長，從一臺服務(wù)器到多臺服務(wù)器，無法在框架中支撐站點的現(xiàn)有數(shù)據(jù)、用戶、頁面請求等。 大型網(wǎng)站(如淘寶、京東等)的系統(tǒng)架構(gòu)自開始設(shè)計以來并不具有完全的高性能、高可用性、安全等特性，隨著用戶數(shù)量的增加，業(yè)務(wù)功能的擴展逐漸完善。 在這個過程中，開發(fā)模式、技術(shù)框架、設(shè)計思想也發(fā)生了很大的變化，技術(shù)人員也從幾個人發(fā)展成了部門和生產(chǎn)線。 成熟的系統(tǒng)架構(gòu)隨著業(yè)務(wù)的擴大而完成，而不是一次完成的不同業(yè)務(wù)特征的系統(tǒng)，有各自的一面。 例如，淘寶，大量檢索商品信息，訂單，支付，例如，騰訊，需要解決數(shù)億用戶的實時消息傳遞，百度需要處理大量的檢索請求，他們有各自的業(yè)務(wù)特性，系統(tǒng)結(jié)構(gòu)也不同。

2、 盡管如此，我們可以從這些不同的網(wǎng)站背景中找到其中共享的技術(shù)，這些技術(shù)和手段可以在大規(guī)模網(wǎng)站系統(tǒng)的框架中廣泛執(zhí)行，其次通過介紹大規(guī)模網(wǎng)站系統(tǒng)的發(fā)展過程來認識這些技術(shù)和手段。另一方面，第一個網(wǎng)站的結(jié)構(gòu)是第一個結(jié)構(gòu)，應(yīng)用程序、數(shù)據(jù)庫和文件都位于一臺服務(wù)器上。 圖：二、應(yīng)用程序、數(shù)據(jù)、文件的分離隨著業(yè)務(wù)的擴大，1臺服務(wù)器不能滿足性能需求，因此將應(yīng)用程序、數(shù)據(jù)庫、文件分別配置在獨立的服務(wù)器上，根據(jù)服務(wù)器的用途而不同三、使用緩存在改善網(wǎng)站性能的同時，用軟件優(yōu)化性能。 在大部分網(wǎng)站系統(tǒng)中，利用緩存技術(shù)來改進系統(tǒng)性能，利用緩存主要是由于熱點數(shù)據(jù)的存在，大部分網(wǎng)站訪問遵循28原則(即80%的訪問請求，最終是2

3、0%的數(shù)據(jù))，因此是熱點實現(xiàn)高速緩存的常用方法是本地高速緩存和分布式高速緩存。 當然還有CDN、反向代理等，這一點以后再談。 如其名稱所示，本地緩存是數(shù)據(jù)在應(yīng)用服務(wù)器的本地緩存，在存儲器中也可以存在文件，OSCache是一般的本地緩存組件。 本地緩存的特征是快速的，但是由于本地空間有限，緩存的數(shù)據(jù)量也有限。 分布式緩存的特征在于，由于可以緩存大量的數(shù)據(jù)，并且擴展非常容易并且在門戶類的網(wǎng)站上頻繁地使用，因此，本地緩存的速度不是邏輯的，而被頻繁地使用的分布式緩存是機械和修改的。四、使用集群改善應(yīng)用服務(wù)器性能的應(yīng)用服務(wù)器作為站點的入口負擔(dān)大量的請求，我們通常在應(yīng)用服務(wù)器的集群分擔(dān)請求數(shù)。 在應(yīng)用服務(wù)

4、器前部署負載平衡服務(wù)器以調(diào)度用戶請求，并根據(jù)分發(fā)策略將請求分發(fā)到多個應(yīng)用服務(wù)器節(jié)點。常用的負載均衡技術(shù)硬件為F5，價格高，軟件為LVS、Nginx、HAProxy。 LVS是四層負載均衡，根據(jù)目標地址和端口選擇內(nèi)部服務(wù)器，Nginx支持七層負載均衡和HAProxy支持四層、七層負載均衡，可以根據(jù)消息內(nèi)容選擇內(nèi)部服務(wù)器，所以LVS的分發(fā)路徑是Nginx和HAProxy Nginx和HAProxy具有更高的配置性，可以用于運動隔離(根據(jù)請求消息的特征，選擇靜態(tài)資源服務(wù)器還是應(yīng)用服務(wù)器)。五、數(shù)據(jù)庫的讀寫分離和庫的分類表隨著用戶數(shù)量的增加，數(shù)據(jù)庫成為最大的瓶頸，改善數(shù)據(jù)庫性能的常用手段是讀寫分離和分

5、類表，如讀寫分離的名稱所示，把數(shù)據(jù)庫分成讀取器和庫庫表分為水平分割和垂直分割，水平切換分割數(shù)據(jù)庫的特大表。 例如，用戶表。 垂直分割可以通過業(yè)務(wù)來切換，并且例如關(guān)于用戶業(yè)務(wù)、商品業(yè)務(wù)的表被設(shè)置在不同的數(shù)據(jù)庫中。六、使用CDN和反向代理來提高網(wǎng)站性能，如果我們的服務(wù)器配置在成都的機械室，對四川用戶來說訪問快，對北京用戶來說訪問慢的是四川和北京分別屬于電信和連通不同的發(fā)達地區(qū)因為北京的用戶接入需要通過因特網(wǎng)路由器通過較長的路徑來接入成都的服務(wù)器，返回路徑也相同，因此數(shù)據(jù)傳輸時間相對長。 在這種情況下，頻繁地使用CDN解決該CDN，CDN將數(shù)據(jù)的內(nèi)容緩存在運營商的機械室中，并且當用戶訪問時從最近的運

6、營商獲取數(shù)據(jù)，這大大減少了網(wǎng)絡(luò)訪問路徑。 比較專業(yè)的CDN運營商有藍汛、網(wǎng)絡(luò)住宿。反向代理設(shè)置在網(wǎng)站的機械室中，并且當用戶的請求到達時訪問反向代理服務(wù)器，反向代理服務(wù)器向用戶返回緩存的數(shù)據(jù)，并且在沒有緩存的數(shù)據(jù)的情況下訪問應(yīng)用服務(wù)器反向代理有Squid、Nginx。七、使用分布式文件系統(tǒng)的用戶日益增加，業(yè)務(wù)量越來越大，發(fā)生的文件越來越多，單個文件服務(wù)器無法滿足需求。 需要分布式文件系統(tǒng)的支持。 典型的分布式文件系統(tǒng)有NFS。八、使用NoSql和搜索引擎搜索大量數(shù)據(jù)時，使用NoSql數(shù)據(jù)庫和搜索引擎可以獲得更好的性能。 并不是所有的數(shù)據(jù)都在關(guān)系型數(shù)據(jù)里。 常用的NOSQL有mongodb和redis，搜索引擎有l(wèi)ucene。九、隨著應(yīng)用服務(wù)器業(yè)務(wù)分割的擴大，應(yīng)用程序變得非常龐大。 那時，我們有必要分割應(yīng)用的業(yè)務(wù)。 例如百度分為新聞、網(wǎng)頁、圖像等業(yè)務(wù)。 各業(yè)務(wù)應(yīng)用軟件負責(zé)相對獨立的業(yè)務(wù)運營。 業(yè)務(wù)間是通過消息通信和共享數(shù)據(jù)庫來實現(xiàn)的.十、在建立分布式服務(wù)時，我們發(fā)現(xiàn)各業(yè)務(wù)應(yīng)用程序被用于基本業(yè)務(wù)服務(wù)，例如用戶服務(wù)、訂單服務(wù)、支付服務(wù)、安全服務(wù)。 這些服務(wù)是支持各業(yè)務(wù)應(yīng)用的基本