技術(shù)報(bào)告大型網(wǎng)站應(yīng)用架構(gòu)對(duì)比

1、計(jì)劃類別 項(xiàng)目編號(hào) 項(xiàng)目技術(shù)報(bào)告課題名稱 項(xiàng)目主持人 承擔(dān)單位 題目：大型網(wǎng)站應(yīng)用架構(gòu)對(duì)比研究隨著使用互聯(lián)網(wǎng)的人越來(lái)越多，網(wǎng)站本身業(yè)務(wù)的擴(kuò)展和用戶的增多，網(wǎng)站面臨著高并發(fā)訪問、大數(shù)據(jù)的壓力，這時(shí)需要對(duì)網(wǎng)站進(jìn)行優(yōu)化和改進(jìn)。并發(fā)訪問量和數(shù)據(jù)量的瓶頸也成為評(píng)價(jià)一個(gè)大型網(wǎng)站性能的標(biāo)準(zhǔn)。然而怎樣改進(jìn)和優(yōu)化網(wǎng)站成為一個(gè)問題。本文通過研究現(xiàn)今具有代表性的大型網(wǎng)站應(yīng)用架構(gòu)，得出大型網(wǎng)站的通用優(yōu)化方案，以及一套可供參考的大型網(wǎng)站基本架構(gòu)，為網(wǎng)站設(shè)計(jì)者提供大型網(wǎng)站優(yōu)化通用方案、網(wǎng)站改進(jìn)思路和改進(jìn)方法。關(guān)鍵詞：網(wǎng)站架構(gòu)；網(wǎng)站優(yōu)化；緩存；大數(shù)據(jù)；搜索Abstract：With more and more people

2、 using the Internet，the business expansion of websites and the user increase of websites，websites are facing great pressure of high concurrent access and big data，so it is necessary to optimize and improve websites.The bottleneck of concurrent access and data volume is also a standard to evaluate th

3、e performance of a large website.However，how to improve and optimize the website has become a problem.By studying the typical application architecture of large websites，the paper proposes the general optimization scheme of large websites and the basic framework of large-scale websites for reference，

4、providing website designers with general solutions，improvement ideas and improvement methods to large websites.Keywords：website architecture；website optimization；cache；big data；search1 引言（Introduction）大型網(wǎng)站分為三大類：電商網(wǎng)站、視頻網(wǎng)站和大數(shù)據(jù)搜索網(wǎng)站，通過這三類網(wǎng)站來(lái)研究大型網(wǎng)站應(yīng)用架構(gòu)。其中最能代表這三類網(wǎng)站的大型網(wǎng)站是：淘寶、京東、優(yōu)酷和百度。淘寶和京東是經(jīng)歷過雙十一考驗(yàn)的，其性能是毋庸

5、置疑的；優(yōu)酷是中國(guó)最大的視頻網(wǎng)站之一，日均播放量上億，可見其網(wǎng)站性能很穩(wěn)定；百度網(wǎng)站是全球最大的中文搜索引擎、最大的中文網(wǎng)站，存儲(chǔ)了萬(wàn)億級(jí)的網(wǎng)頁(yè)數(shù)量，其對(duì)大數(shù)據(jù)的處理是值得學(xué)習(xí)的。這些網(wǎng)站都是研究大型網(wǎng)站的最佳對(duì)象。通過對(duì)上述網(wǎng)站進(jìn)行對(duì)比研究得出大型網(wǎng)站典型優(yōu)化方案，以及一套可供參考的大型網(wǎng)站基本架構(gòu)，為網(wǎng)站設(shè)計(jì)者提供網(wǎng)站改進(jìn)思路和改進(jìn)方法，以及網(wǎng)站優(yōu)化方案。2 網(wǎng)站基本架構(gòu)（Basic architecture of website）大型網(wǎng)站架構(gòu)分為網(wǎng)站前端、應(yīng)用端和數(shù)據(jù)庫(kù)端。每一個(gè)部分都有自己的使命，它們協(xié)同合作形成一個(gè)完整的網(wǎng)站1，2。大型網(wǎng)站的基本架構(gòu)如圖1所示。下面從分別從網(wǎng)站前端、

6、應(yīng)用服務(wù)器和數(shù)據(jù)庫(kù)三個(gè)方面描述改進(jìn)方法。3 網(wǎng)站前端（Front end）網(wǎng)站前端的作用是加快用戶訪問速度，過濾惡意請(qǐng)求，實(shí)現(xiàn)負(fù)載均衡。3.1 CDN服務(wù)器CDN是通過在網(wǎng)絡(luò)各處放置節(jié)點(diǎn)服務(wù)器所構(gòu)成的在現(xiàn)有的互聯(lián)網(wǎng)基礎(chǔ)之上的一層智能虛擬網(wǎng)絡(luò)，能夠?qū)崟r(shí)地根據(jù)網(wǎng)絡(luò)流量和各節(jié)點(diǎn)的連接、負(fù)載狀況，以及到用戶的距離和響應(yīng)時(shí)間等綜合信息將用戶的請(qǐng)求重新導(dǎo)向離用戶最近的服務(wù)節(jié)點(diǎn)上，能夠加快響應(yīng)效率，解決網(wǎng)絡(luò)擁堵問題。優(yōu)酷網(wǎng)站建立了比較完善的CDN，可以保證分布在全國(guó)各地的用戶能訪問到離自己最近的服務(wù)器，并把服務(wù)狀況最好的視頻服務(wù)器地址反饋給用戶，讓用戶可以以最快的速度獲取到視頻資源，這也是優(yōu)酷網(wǎng)站比其他視頻

7、網(wǎng)站更流暢的原因。淘寶網(wǎng)站也在全國(guó)各地建立了數(shù)百個(gè)CDN節(jié)點(diǎn)。當(dāng)用戶發(fā)起請(qǐng)求時(shí)，瀏覽器訪問DNS服務(wù)器進(jìn)行DNS域名解析。然后根據(jù)用戶的IP將訪問分配到不同的入口。如果客戶的IP屬于電信運(yùn)營(yíng)商，那么就會(huì)被分配到同樣是電信的CDN節(jié)點(diǎn)，保證用戶訪問的CDN節(jié)點(diǎn)是離用戶最近的。一些前段框架能夠?yàn)镃DN提供便利，例如Angular JS技術(shù)3。3.2 反向代理服務(wù)器通過反向代理服務(wù)器處理HTTP請(qǐng)求，在用戶和Web服務(wù)器之間建立一個(gè)屏障，可有效地防止網(wǎng)絡(luò)攻擊，同時(shí)還可以實(shí)現(xiàn)負(fù)載均衡和緩存功能。現(xiàn)在功能比較完善的反向代理服務(wù)器有Squid和Nginx4，5。不過Squid不支持多核，但是磁盤緩存容量比

8、較大，支持外部文件讀取、熱加載和熱啟動(dòng)，性能中等；而Nginx支持多核、集群，但不支持外部文件讀取，性能較強(qiáng)。反向代理網(wǎng)站架構(gòu)圖如圖2所示。3.3 負(fù)載均衡調(diào)度服務(wù)器部署負(fù)載均衡調(diào)度服務(wù)器，專門負(fù)責(zé)負(fù)載均衡，可以將請(qǐng)求分發(fā)到應(yīng)用服務(wù)器集群下的任何一個(gè)服務(wù)器上。隨著訪問人數(shù)的增加，增加服務(wù)器就可以，突破了負(fù)載壓力瓶頸6?，F(xiàn)在比較常用的技術(shù)是LVS（Linux Virtual Server，Linux虛擬服務(wù)器），LVS技術(shù)是為了解決負(fù)載均衡而存在的一種技術(shù)，它主要的功能是在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上建立一個(gè)虛擬的服務(wù)器集群系統(tǒng)，用廉價(jià)、有效、透明的方法去擴(kuò)展網(wǎng)絡(luò)設(shè)備和服務(wù)器的帶寬，增加網(wǎng)站吞吐量，增強(qiáng)對(duì)網(wǎng)

9、絡(luò)數(shù)據(jù)的處理能力，提高網(wǎng)絡(luò)的靈活性和可用性。淘寶網(wǎng)站的負(fù)載均衡系統(tǒng)采用的是LVS技術(shù)。只是這種負(fù)載均衡系統(tǒng)的構(gòu)建是在Linux操作系統(tǒng)上，其他操作系統(tǒng)不行，并且需要重新編譯Linux操作系統(tǒng)內(nèi)核，對(duì)系統(tǒng)內(nèi)核的了解要求很高。LVS集群采用IP負(fù)載均衡技術(shù)和基于內(nèi)容請(qǐng)求分發(fā)技術(shù)，調(diào)度器具有很好的吞吐率，將請(qǐng)求均衡地轉(zhuǎn)移到不同的服務(wù)器上執(zhí)行，并且調(diào)度器能自動(dòng)屏蔽掉服務(wù)器的故障，從而將一組服務(wù)器構(gòu)成一個(gè)高性能的、高可用的虛擬服務(wù)器。endprint4 應(yīng)用端（Application end）應(yīng)用端進(jìn)行業(yè)務(wù)處理，業(yè)務(wù)與業(yè)務(wù)之間需要通過消息隊(duì)列實(shí)現(xiàn)數(shù)據(jù)同步，而對(duì)于一些熱點(diǎn)數(shù)據(jù)和常用到的數(shù)據(jù)，需要緩存到分布

10、式緩存服務(wù)器上。4.1 應(yīng)用服務(wù)器Web應(yīng)用程序駐留在應(yīng)用服務(wù)器（Application Server）上，所以應(yīng)用服務(wù)端需要做好業(yè)務(wù)的拆分，減少業(yè)務(wù)間的聯(lián)系，做到高內(nèi)聚低耦合，即當(dāng)某個(gè)業(yè)務(wù)無(wú)法正常使用時(shí)，不影響其他業(yè)務(wù)的使用。在應(yīng)用服務(wù)器上還應(yīng)該做好本地緩存，對(duì)于熱門或常用的數(shù)據(jù)做好本地緩存。Session在Web應(yīng)用中占有很重要的位置。它的主要功能是用來(lái)保存用戶的狀態(tài)信息。Session在集群中存在共享的問題。現(xiàn)在解決Session共享問題有三種方法。第一種方法是通過負(fù)載均衡設(shè)備實(shí)現(xiàn)會(huì)話保持，第二種方法是采用Session復(fù)制，第三種方法則是采用集中式緩存。第二種方式嚴(yán)重影響到了集群環(huán)境的

11、可伸縮性，不利于集群的橫向擴(kuò)展，即使是采取兩兩復(fù)制的方式也會(huì)造成集群內(nèi)部網(wǎng)絡(luò)負(fù)載嚴(yán)重，還容易造成網(wǎng)絡(luò)垃圾。大型網(wǎng)站的業(yè)務(wù)拆分是很細(xì)的，也意味著應(yīng)用服務(wù)器會(huì)很多，而所有的應(yīng)用都會(huì)連接數(shù)據(jù)庫(kù)，這會(huì)導(dǎo)致數(shù)據(jù)庫(kù)連接資源不足，從而拒絕服務(wù)，所以應(yīng)該把它們一些共用的業(yè)務(wù)提取出來(lái)，獨(dú)立部署，由這些可復(fù)用的業(yè)務(wù)連接數(shù)據(jù)庫(kù)，提供共用業(yè)務(wù)服務(wù)。而應(yīng)用系統(tǒng)只需管理用戶界面，通過分布式服務(wù)調(diào)用共用業(yè)務(wù)服務(wù)完成具體業(yè)務(wù)操作。4.2 消息隊(duì)列服務(wù)器對(duì)于Web網(wǎng)站，高并發(fā)訪問是個(gè)大問題，異步能很好地解決這個(gè)問題。而異步的核心就是消息隊(duì)列。當(dāng)用戶請(qǐng)求的數(shù)據(jù)發(fā)送到消息隊(duì)列后就可以立即返回，不需要等待寫入數(shù)據(jù)庫(kù)完成，這時(shí)進(jìn)程從消

12、息隊(duì)列中獲取數(shù)據(jù)，再將數(shù)據(jù)異步寫入數(shù)據(jù)庫(kù)，并且消息隊(duì)列服務(wù)器處理速度遠(yuǎn)快于服務(wù)器。Notify是淘寶根據(jù)自身業(yè)務(wù)需要量身定制的一款消息中間件，是支撐“雙十一”最核心的系統(tǒng)之一。消息系統(tǒng)的核心作用是：解耦、異步和并行。4.3 分布式緩存服務(wù)器網(wǎng)站的訪問特點(diǎn)也符合二八定律，即80%的業(yè)務(wù)訪問在20%的數(shù)據(jù)上。緩存服務(wù)器是專門用來(lái)緩存這20%的數(shù)據(jù)。一般的本地緩存受限于應(yīng)用服務(wù)器內(nèi)存的大小，而專門的緩存服務(wù)器則不受限制，可以將大量的熱點(diǎn)數(shù)據(jù)或者常用到的數(shù)據(jù)緩存在緩存服務(wù)器上，使用分布式進(jìn)行部署，從而緩解數(shù)據(jù)庫(kù)服務(wù)器的壓力。Memcached是一個(gè)高性能的分布式內(nèi)存對(duì)象緩存系統(tǒng)，它可以有效減輕動(dòng)態(tài)We

13、b應(yīng)用數(shù)據(jù)庫(kù)的壓力。它在內(nèi)存中緩存對(duì)象和數(shù)據(jù)，當(dāng)請(qǐng)求這些數(shù)據(jù)時(shí)，直接返回，有效地減少了讀取數(shù)據(jù)庫(kù)的次數(shù)，從而提高動(dòng)態(tài)數(shù)據(jù)庫(kù)驅(qū)動(dòng)網(wǎng)站的速度。它的客戶端可以用任何語(yǔ)言來(lái)編寫，并且通過Memcached協(xié)議與守護(hù)進(jìn)程通信。淘寶的TAIR就是基于Memcached開發(fā)的key/value數(shù)據(jù)庫(kù)。5 數(shù)據(jù)庫(kù)端（Database end）數(shù)據(jù)庫(kù)端主要是完成數(shù)據(jù)和文件的存儲(chǔ)和提取。大型網(wǎng)站的數(shù)據(jù)和文件數(shù)量是巨大的。存儲(chǔ)需要分布式存儲(chǔ)，提取需要搜索引擎協(xié)助完成。5.1 分布式文件服務(wù)器分布式文件服務(wù)器主要是用來(lái)存儲(chǔ)圖片、視頻一類的文件。分布式文件系統(tǒng)（Distributed File System）是指文件系

14、統(tǒng)管理的物理存儲(chǔ)資源并不是完全直接連接在本地節(jié)點(diǎn)上，而是利用網(wǎng)絡(luò)和節(jié)點(diǎn)相連接。分布式文件系統(tǒng)支持多臺(tái)主機(jī)通過網(wǎng)絡(luò)同時(shí)訪問共享文件和存儲(chǔ)目錄，實(shí)現(xiàn)了多臺(tái)計(jì)算機(jī)上的多個(gè)用戶能夠共享文件和存儲(chǔ)資源。在分布式文件系統(tǒng)環(huán)境下，客戶端節(jié)點(diǎn)并不直接訪問底層的塊存儲(chǔ)介質(zhì)，而是使用網(wǎng)絡(luò)協(xié)議進(jìn)行文件操作交互。因此，分布式文件系統(tǒng)是對(duì)存儲(chǔ)數(shù)據(jù)的共享，而不是對(duì)存儲(chǔ)物理資源的共享。一個(gè)搜索引擎對(duì)于訪問熱點(diǎn)的處理也極其重要。一般的網(wǎng)站對(duì)于訪問熱點(diǎn)傳統(tǒng)的解決方案是緩存，包括文件塊緩存、數(shù)據(jù)記錄緩存、查詢結(jié)果緩存；而百度使用分布式文件系統(tǒng)將請(qǐng)求天然地打散到數(shù)千個(gè)節(jié)點(diǎn)上，實(shí)現(xiàn)了快速分裂和遷移，緩解了高并發(fā)訪問熱點(diǎn)對(duì)數(shù)據(jù)庫(kù)服務(wù)器

15、的沖擊，使網(wǎng)站在高并發(fā)訪問熱點(diǎn)時(shí)能夠保證用戶的體驗(yàn)。5.2 分布式數(shù)據(jù)庫(kù)服務(wù)器大型網(wǎng)站的數(shù)據(jù)是海量的，一個(gè)數(shù)據(jù)庫(kù)服務(wù)器不可能存儲(chǔ)所有的數(shù)據(jù)，所以需要分布式部署數(shù)據(jù)庫(kù)服務(wù)器。分布式部署需要對(duì)數(shù)據(jù)庫(kù)進(jìn)行合理的拆分。優(yōu)酷網(wǎng)站在數(shù)據(jù)庫(kù)方面做了很多的優(yōu)化，包括MySQL主從復(fù)制、分區(qū)和分片，將用戶按id以哈希算法進(jìn)行分組，并且把該用戶或者該組用戶的數(shù)據(jù)存儲(chǔ)到一個(gè)Sharding中。這樣當(dāng)用戶數(shù)量增加時(shí)，只需要增加一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器就可以。使用MySQL做數(shù)據(jù)庫(kù)，它有主從復(fù)制功能，所以還可以分為主數(shù)據(jù)庫(kù)服務(wù)器和從數(shù)據(jù)庫(kù)服務(wù)器。主數(shù)據(jù)庫(kù)服務(wù)器負(fù)責(zé)數(shù)據(jù)的寫，而從數(shù)據(jù)庫(kù)服務(wù)器負(fù)責(zé)數(shù)據(jù)的讀。其實(shí)主從復(fù)制原理簡(jiǎn)單地說(shuō)

16、就是主數(shù)據(jù)庫(kù)將操作行為寫在日志文件里，從數(shù)據(jù)庫(kù)通過日志文件和主數(shù)據(jù)庫(kù)保持一致。這樣做的目的就是實(shí)現(xiàn)讀寫分離，緩解數(shù)據(jù)庫(kù)服務(wù)器的壓力。當(dāng)數(shù)據(jù)的存儲(chǔ)和檢索越來(lái)越復(fù)雜時(shí)，使用NoSQL和搜索引擎也是大型網(wǎng)站解決大數(shù)據(jù)的方案。百度網(wǎng)站開發(fā)了自己的分布式數(shù)據(jù)庫(kù)系統(tǒng)Tera。Tera是一個(gè)高性能、可伸縮的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)，被設(shè)計(jì)用來(lái)管理搜索引擎萬(wàn)億量級(jí)的超鏈與網(wǎng)頁(yè)信息。數(shù)據(jù)需要實(shí)時(shí)的分析和高效的訪問，所以百度使用三維數(shù)據(jù)模型組織數(shù)據(jù)（包括行鍵、列名和時(shí)間戳全局排序）；并且百度網(wǎng)站還使用了多級(jí)緩存系統(tǒng)，將現(xiàn)代服務(wù)器硬件內(nèi)存大、SSD盤和萬(wàn)兆網(wǎng)卡的性能優(yōu)勢(shì)充分利用，實(shí)現(xiàn)了數(shù)據(jù)庫(kù)的高吞吐數(shù)據(jù)量和數(shù)據(jù)庫(kù)的水平擴(kuò)

17、展。5.3 搜索引擎服務(wù)器搜索引擎的作用是在數(shù)據(jù)庫(kù)查詢數(shù)據(jù)時(shí)提供一種有效的查詢機(jī)制，確保數(shù)據(jù)能準(zhǔn)確地查找。電商網(wǎng)站的搜索的特點(diǎn)：召回率要求高，電商數(shù)據(jù)結(jié)構(gòu)化，信息更新時(shí)效性高，用戶個(gè)性化需求高。京東網(wǎng)站的搜索服務(wù)有三大系統(tǒng)：爬蟲系統(tǒng)、離線信息處理系統(tǒng)、索引系統(tǒng)。商品搜索引擎的核心是建立商品索引，而建立索引需要詳細(xì)的商品信息數(shù)據(jù)。京東利用大數(shù)據(jù)平臺(tái)的數(shù)據(jù)庫(kù)抽取接口和中間件系統(tǒng)，實(shí)現(xiàn)了站內(nèi)商品爬蟲系統(tǒng)，用來(lái)抽取數(shù)據(jù)庫(kù)中的商品信息和及時(shí)發(fā)現(xiàn)變化的商品信息。然后利用離線信息處理系統(tǒng)來(lái)建立商品搜索引擎的待索引數(shù)據(jù)，包括全量待索引數(shù)據(jù)和增量待索引數(shù)據(jù)。索引系統(tǒng)的主要功能是把以商品為維度進(jìn)行存儲(chǔ)的待索引數(shù)據(jù)

18、，轉(zhuǎn)換為以關(guān)鍵字為維度進(jìn)行存儲(chǔ)的數(shù)據(jù)，用于搜索引擎上層服務(wù)的調(diào)用。對(duì)于一些比較熱門如“衣服”“褲子”之類的查詢?cè)~，其查詢結(jié)果會(huì)比較多，原始的查詢結(jié)果就有幾千萬(wàn)個(gè)之多，如果對(duì)這些結(jié)果進(jìn)行一一地處理，那么性能會(huì)變得非常差。這時(shí)，需要從用戶的角度進(jìn)行分析，一個(gè)查詢只有排在最前面的結(jié)果對(duì)用戶來(lái)說(shuō)才是有意義的。通過分析用戶翻頁(yè)的次數(shù)等數(shù)據(jù)，可以得到截?cái)啾Ａ魌op N的結(jié)果。endprint百度搜索引擎由四部分組成：蜘蛛系統(tǒng)、監(jiān)控系統(tǒng)、索引數(shù)據(jù)庫(kù)和檢索系統(tǒng)。百度網(wǎng)站對(duì)搜索請(qǐng)求的處理過程如下：系統(tǒng)在得到搜索關(guān)鍵字后，使用蜘蛛自動(dòng)搜索超鏈接庫(kù)，根據(jù)鏈接從網(wǎng)頁(yè)庫(kù)中得到相應(yīng)的網(wǎng)頁(yè)，在通過PageRank（一種根據(jù)網(wǎng)頁(yè)之間相互的超鏈接計(jì)算的技術(shù)）得到網(wǎng)頁(yè)排名，然后通過正排計(jì)算（將網(wǎng)頁(yè)分成一個(gè)個(gè)的關(guān)鍵詞）得出正排庫(kù)，再通過倒排計(jì)算（用網(wǎng)頁(yè)中的關(guān)鍵詞來(lái)給網(wǎng)頁(yè)建立另外一個(gè)索引庫(kù)）得出倒排索引，這時(shí)候檢索系統(tǒng)將結(jié)果反饋給用戶。百度搜索流程圖如圖3所示。6 結(jié)論