大型網(wǎng)站架構(gòu)演變和知識(shí)體系

1、大型網(wǎng)站架構(gòu)演變和知識(shí)體系之前也有一些介紹大型網(wǎng)站架構(gòu)演變的文章，例如LiveJournal的、ebay的,都是非常值得參考的，不過(guò)感覺(jué)他們講的更多的是每次演變的結(jié)果，而沒(méi)有很 詳細(xì)的講為什么需要做這樣的演變，再加上近來(lái)感覺(jué)有不少同學(xué)都很難明白為 什么一個(gè)網(wǎng)站需要那么復(fù)雜的技術(shù)，于是有了寫(xiě)這篇文章的想法，在這篇文章 中將闡述一個(gè)普通的網(wǎng)站發(fā)展成大型網(wǎng)站過(guò)程中的一種較為典型的架構(gòu)演變 歷程和所需掌握的知識(shí)體系，希望能給想從事互聯(lián)網(wǎng)行業(yè)的同學(xué)一點(diǎn)初步的概 念，：，文中的不對(duì)之處也請(qǐng)各位多給點(diǎn)建議，讓本文真正起到拋磚引玉的效 果。架構(gòu)演變第一步：物理分離webserver和數(shù)據(jù)庫(kù)最開(kāi)始，因?yàn)槟承┫敕?/p>

2、，于是在互聯(lián)網(wǎng)上搭建了一個(gè)網(wǎng)站，這個(gè)時(shí)候甚至有可 能主機(jī)都是租借的，但因?yàn)檫@篇文章我們只關(guān)注架構(gòu)的演變歷程，因此就假設(shè) 這個(gè)時(shí)候已經(jīng)是托管了一臺(tái)主機(jī)，并且有一定的帶寬了，這個(gè)時(shí)候因?yàn)榫W(wǎng)站具 備了一定的特色，吸引了部分人訪問(wèn)，逐漸你發(fā)現(xiàn)系統(tǒng)的壓力越來(lái)越高，響應(yīng) 速度越來(lái)越慢，而這個(gè)時(shí)候比較明顯的是數(shù)據(jù)庫(kù)和應(yīng)用互相影響，應(yīng)用出問(wèn)題 了，數(shù)據(jù)庫(kù)也很容易出現(xiàn)問(wèn)題，而數(shù)據(jù)庫(kù)出問(wèn)題的時(shí)候，應(yīng)用也容易出問(wèn)題， 于是進(jìn)入了第一步演變階段：將應(yīng)用和數(shù)據(jù)庫(kù)從物理上分離，變成了兩臺(tái)機(jī)器， 這個(gè)時(shí)候技術(shù)上沒(méi)有什么新的要求，但你發(fā)現(xiàn)確實(shí)起到效果了，系統(tǒng)又恢復(fù)到 以前的響應(yīng)速度了，并且支撐住了更高的流量，并且不會(huì)因?yàn)閿?shù)據(jù)

3、庫(kù)和應(yīng)用形 成互相的影響?？纯催@一步完成后系統(tǒng)的圖示：這一步涉及到了這些知識(shí)體系：這一步架構(gòu)演變對(duì)技術(shù)上的知識(shí)體系基本沒(méi)有要求。架構(gòu)演變第二步：增加頁(yè)面緩存好景不長(zhǎng)，隨著訪問(wèn)的人越來(lái)越多，你發(fā)現(xiàn)響應(yīng)速度又開(kāi)始變慢了，查找原因， 發(fā)現(xiàn)是訪問(wèn)數(shù)據(jù)庫(kù)的操作太多，導(dǎo)致數(shù)據(jù)連接競(jìng)爭(zhēng)激烈，所以響應(yīng)變慢，但數(shù) 據(jù)庫(kù)連接又不能開(kāi)太多，否則數(shù)據(jù)庫(kù)機(jī)器壓力會(huì)很高，因此考慮采用緩存機(jī)制 來(lái)減少數(shù)據(jù)庫(kù)連接資源的競(jìng)爭(zhēng)和對(duì)數(shù)據(jù)庫(kù)讀的壓力，這個(gè)時(shí)候首先也許會(huì)選擇 采用squid 等類似的機(jī)制來(lái)將系統(tǒng)中相對(duì)靜態(tài)的頁(yè)面 例如一兩天才會(huì)有更新 的頁(yè)面）進(jìn)行緩存 當(dāng)然，也可以采用將頁(yè)面靜態(tài)化的方案），這樣程序上可以不做修改，就能夠

4、 很好的減少對(duì)webserver的壓力以及減少數(shù)據(jù)庫(kù)連接資源 的競(jìng)爭(zhēng)，0K于是開(kāi)始采用squid來(lái)做相對(duì)靜態(tài)的頁(yè)面的緩存?？纯催@一步完成后系統(tǒng)的圖示：這一步涉及到了這些知識(shí)體系：前端頁(yè)面緩存技術(shù)，例如squid，如想用好的話還得深入掌握下 squid的實(shí)現(xiàn) 方式以及緩存的失效算法等。架構(gòu)演變第三步：增加頁(yè)面片段緩存增加了 squid做緩存后，整體系統(tǒng)的速度確實(shí)是提升了，webserver的壓力也開(kāi)始下降了，但隨著訪問(wèn)量的增加，發(fā)現(xiàn)系統(tǒng)又開(kāi)始變的有些慢了，在嘗到了 squid之類的動(dòng)態(tài)緩存帶來(lái)的好處后，開(kāi)始想能不能讓現(xiàn)在那些動(dòng)態(tài)頁(yè)面里 相對(duì)靜態(tài)的部分也緩存起來(lái)呢，因此考慮采用類似ESI之類的頁(yè)面

5、片段緩存策略，0K于是開(kāi)始采用ESI來(lái)做動(dòng)態(tài)頁(yè)面中相對(duì)靜態(tài)的片段部分的緩存。這一步涉及到了這些知識(shí)體系：頁(yè)面片段緩存技術(shù)，例如 ESI等，想用好的話同樣需要掌握 ESI的實(shí)現(xiàn)方式等;架構(gòu)演變第四步：數(shù)據(jù)緩存在采用ESI之類的技術(shù)再次提高了系統(tǒng)的緩存效果后，系統(tǒng)的壓力確實(shí)進(jìn)一步 降低了，但同樣，隨著訪問(wèn)量的增加，系統(tǒng)還是開(kāi)始變慢，經(jīng)過(guò)查找，可能會(huì) 發(fā)現(xiàn)系 統(tǒng)中存在一些重復(fù)獲取數(shù)據(jù)信息的地方，像獲取用戶信息等，這個(gè)時(shí) 候開(kāi)始考慮是不是可以將這些數(shù)據(jù)信息也緩存起來(lái)呢，于是將這些數(shù)據(jù)緩存到 本地內(nèi)存，改變完畢后，完全符合預(yù)期，系統(tǒng)的響應(yīng)速度又恢復(fù)了，數(shù)據(jù)庫(kù)的 壓力也再度降低了不少。這一步涉及到了這些知

6、識(shí)體系：緩存技術(shù)，包括像 Map數(shù)據(jù)結(jié)構(gòu)、緩存算法、所選用的框架本身的實(shí)現(xiàn)機(jī)制等。架構(gòu)演變第五步：增加webserver好景不長(zhǎng)，發(fā)現(xiàn)隨著系統(tǒng)訪問(wèn)量的再度增加，webserver機(jī)器的壓力在高峰期會(huì)上升到比較高，這個(gè)時(shí)候開(kāi)始考慮增加一臺(tái)webserver，這也是為了同時(shí)解決可用性的問(wèn)題，避免單臺(tái)的 webserver down機(jī)的話就沒(méi)法使用了，在做了這 些考慮后，決定增加一臺(tái) webserver，增加一臺(tái)webserver時(shí)，會(huì)碰到一些問(wèn) 題，典型的有：1如何讓訪問(wèn)分配到這兩臺(tái)機(jī)器上，這個(gè)時(shí)候通常會(huì)考慮的方 案是Apache自帶的負(fù)載均衡方案，或LVS這類的軟件負(fù)載均衡方案；2、如何 保持狀

7、態(tài)信息的同步，例如用戶 session等，這個(gè)時(shí)候會(huì)考慮的方案有寫(xiě)入數(shù) 據(jù)庫(kù)、寫(xiě)入存儲(chǔ)、cookie或同步session信息等機(jī)制等；3、如何保持?jǐn)?shù)據(jù)緩 存信息的同步，例如之前緩存的用戶數(shù)據(jù)等，這個(gè)時(shí)候通常會(huì)考慮的機(jī)制有緩 存同步或分布式緩存；4、如何讓上傳文件這些類似的功能繼續(xù)正常，這個(gè)時(shí)候 通常會(huì)考慮的機(jī)制是使用共享文件系統(tǒng)或存儲(chǔ)等；在解決了這些問(wèn)題后，終于 是把webserver增加為了兩臺(tái)，系統(tǒng)終于是又恢復(fù)到了以往的速度?？纯催@一步完成后系統(tǒng)的圖示：前端頁(yè)面緩存負(fù)載均衡技術(shù) 包括但不限于硬件負(fù)載均衡、軟件負(fù)載均衡、負(fù)載算法、linux轉(zhuǎn)發(fā)協(xié)議、所選用的技術(shù)的實(shí)現(xiàn)細(xì)節(jié)等）、主備技術(shù)包括但

8、不限于ARP欺騙、linux heart-beat 等）、狀態(tài)信息或緩存同步技術(shù) 包括但不限于Cookie技術(shù) UDP協(xié)議、狀態(tài)信息廣播、所選用的緩存同步技術(shù)的實(shí)現(xiàn)細(xì)節(jié)等）、共享文件 技術(shù) 包括但不限于NFS等）、存儲(chǔ)技術(shù) 包括但不限于存儲(chǔ)設(shè)備等）。架構(gòu)演變第六步：分庫(kù)享受了一段時(shí)間的系統(tǒng)訪問(wèn)量高速增長(zhǎng)的幸福后，發(fā)現(xiàn)系統(tǒng)又開(kāi)始變慢了，這 次又是什么狀況呢，經(jīng)過(guò)查找，發(fā)現(xiàn)數(shù)據(jù)庫(kù)寫(xiě)入、更新的這些操作的部分?jǐn)?shù)據(jù) 庫(kù)連接的資源競(jìng)爭(zhēng)非常激烈，導(dǎo)致了系統(tǒng)變慢，這下怎么辦呢，此時(shí)可選的方 案有數(shù)據(jù)庫(kù)集群和分庫(kù)策略，集群方面像有些數(shù)據(jù)庫(kù)支持的并不是很好，因此 分庫(kù)會(huì)成為比較普遍的策略，分庫(kù)也就意味著要對(duì)原有程

9、序進(jìn)行修改，一通修 改實(shí)現(xiàn)分庫(kù)后，不錯(cuò)，目標(biāo)達(dá)到了，系統(tǒng)恢復(fù)甚至速度比以前還快了。看看這一步完成后系統(tǒng)的圖示：這一步涉及到了這些知識(shí)體系: 這一步更多的是需要從業(yè)務(wù)上做合理的劃分，以實(shí)現(xiàn)分庫(kù)，具體技術(shù)細(xì)節(jié)上沒(méi) 有其他的要求； 但同時(shí)隨著數(shù)據(jù)量的增大和分庫(kù)的進(jìn)行，在數(shù)據(jù)庫(kù)的設(shè)計(jì)、調(diào)優(yōu)以及維護(hù)上需 要做的更好，因此對(duì)這些方面的技術(shù)還是提出了很高的要求的。架構(gòu)演變第七步：分表、DAL和分布式緩存隨著系統(tǒng)的不斷運(yùn)行，數(shù)據(jù) 量開(kāi)始大幅度增長(zhǎng)，這個(gè)時(shí)候發(fā)現(xiàn)分庫(kù)后查詢?nèi)匀粫?huì)有些慢，于是按照分庫(kù)的 思想開(kāi)始做分表的工作，當(dāng)然，這不可避免的會(huì)需要對(duì)程序進(jìn)行一些修改，也 許在這個(gè)時(shí)候就會(huì)發(fā)現(xiàn)應(yīng)用自己要關(guān)心分庫(kù)分表

10、的規(guī)則等，還是有些復(fù)雜的， 于是萌生能否增加一個(gè)通用的框架來(lái)實(shí)現(xiàn)分庫(kù)分表的數(shù)據(jù)訪問(wèn)，這個(gè)在ebay的架構(gòu)中對(duì)應(yīng)的就是 DAL這個(gè)演變的過(guò)程相對(duì)而言需要花費(fèi)較長(zhǎng)的時(shí)間，當(dāng)然， 也有可能這個(gè)通用的框架會(huì)等到分表做完后才開(kāi)始做，同時(shí)，在這個(gè)階段可能 會(huì)發(fā)現(xiàn)之前的緩存同步方案出現(xiàn)問(wèn)題，因?yàn)閿?shù)據(jù)量太大，導(dǎo)致現(xiàn)在不太可能將 緩存存在本地，然后同步的方式，需要采用分布式緩存方案了，于是，又是一 通考察和折磨，終于是將大量的數(shù)據(jù)緩存轉(zhuǎn)移到分布式緩存上了?？纯催@一步完成后系統(tǒng)的圖示：前端頁(yè)面緩存Webserver頁(yè)面片段緩存數(shù)據(jù)緩存分布式緩存DALDatabase這一步涉及到了這些知識(shí)體系:分表更多的同樣是業(yè)務(wù)

11、上的劃分，技術(shù)上涉及到的會(huì)有動(dòng)態(tài)hash算法、con siste nt hash算法等；DAL涉及到比較多的復(fù)雜技術(shù)，例如數(shù)據(jù)庫(kù)連接的管理 < 超時(shí)、異常）、數(shù)據(jù)庫(kù) 操作的控制 <超時(shí)、異常）、分庫(kù)分表規(guī)則的封裝等；架構(gòu)演變第八步：增加更多的 webserver在做完分庫(kù)分表這些工作后，數(shù)據(jù)庫(kù)上的壓力已經(jīng)降到比較低了，又開(kāi)始過(guò)著 每天看著訪問(wèn)量暴增的幸福生活了，突然有一天，發(fā)現(xiàn)系統(tǒng)的訪問(wèn)又開(kāi)始有變 慢的趨勢(shì)了，這個(gè)時(shí)候首先查看數(shù)據(jù)庫(kù)，壓力一切正常，之后查看webserver發(fā)現(xiàn)apache阻塞了很多的請(qǐng)求，而應(yīng)用服務(wù)器對(duì)每個(gè)請(qǐng)求也是比較快的，看 來(lái) 是請(qǐng)求數(shù)太高導(dǎo)致需要排隊(duì)等待，響

12、應(yīng)速度變慢，這還好辦，一般來(lái)說(shuō)， 這個(gè)時(shí)候也會(huì)有些錢(qián)了，于是添加一些webserver服務(wù)器，在這個(gè)添加 webserver服務(wù)器的過(guò)程，有可能會(huì)出現(xiàn)幾種挑戰(zhàn)：1、Apache的軟負(fù)載或 LVS軟負(fù)載等無(wú)法承擔(dān)巨大的 web訪問(wèn)量 < 請(qǐng)求連接數(shù)、網(wǎng)絡(luò)流量等）的調(diào)度了， 這個(gè)時(shí)候如果經(jīng)費(fèi)允許的話，會(huì)采取的方案是購(gòu)買(mǎi)硬件負(fù)載，例如F5、Netsclar、Athelon之類的，如經(jīng)費(fèi)不允許的話，會(huì)采取的方案是將應(yīng)用從邏 輯上做一定的分類，然后分散到不同的軟負(fù)載集群中；2、原有的一些狀態(tài)信息同步、文件共享等方案可能會(huì)出現(xiàn)瓶頸，需要進(jìn)行改進(jìn)，也許這個(gè)時(shí)候會(huì)根據(jù) 情況編寫(xiě)符合網(wǎng)站業(yè)務(wù)需求的分布式文

13、件系統(tǒng)等；在做完這些工作后，開(kāi)始進(jìn) 入一個(gè)看似完美的無(wú)限伸縮的時(shí)代，當(dāng)網(wǎng)站流量增加時(shí)，應(yīng)對(duì)的解決方案就是 不斷的添加 webserver?？纯催@一步完成后系統(tǒng)的圖示:前端頁(yè)面緩存這一步涉及到了這些知識(shí)體系: 到了這一步，隨著機(jī)器數(shù)的不斷增長(zhǎng)、數(shù)據(jù)量的不斷增長(zhǎng)和對(duì)系統(tǒng)可用性的要 求越來(lái)越高，這個(gè)時(shí)候要求對(duì)所采用的技術(shù)都要有更為深入的理解，并需要根 據(jù)網(wǎng)站的需求來(lái)做更加定制性質(zhì)的產(chǎn)品。架構(gòu)演變第九步：數(shù)據(jù)讀寫(xiě)分離和廉價(jià)存儲(chǔ)方案突然有一天，發(fā)現(xiàn)這個(gè)完美的時(shí)代也要結(jié)束了，數(shù)據(jù)庫(kù)的噩夢(mèng)又一次出現(xiàn)在眼 前了，因?yàn)樘砑拥膚ebserver太多了，導(dǎo)致數(shù)據(jù)庫(kù)連接的資源還是不夠用，而 這個(gè)時(shí)候又已經(jīng)分庫(kù)分表了，

14、開(kāi)始分析數(shù)據(jù)庫(kù)的壓力狀況，可能會(huì)發(fā)現(xiàn)數(shù)據(jù)庫(kù) 的讀寫(xiě)比很高，這個(gè)時(shí)候通常會(huì)想到數(shù)據(jù)讀寫(xiě)分離的方案，當(dāng)然，這個(gè)方案要 實(shí)現(xiàn)并不 容易，另外，可能會(huì)發(fā)現(xiàn)一些數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)上有些浪費(fèi)，或者 說(shuō)過(guò)于占用數(shù)據(jù)庫(kù)資源，因此在這個(gè)階段可能會(huì)形成的架構(gòu)演變是實(shí)現(xiàn)數(shù)據(jù)讀 寫(xiě)分離，同時(shí)編寫(xiě)一些更為廉價(jià)的存儲(chǔ)方案，例如BigTable這種?？纯催@一步完成后系統(tǒng)的圖示：詢端頁(yè)面緩存這一步涉及到了這些知識(shí)體系：數(shù)據(jù)讀寫(xiě)分離要求對(duì)數(shù)據(jù)庫(kù)的復(fù)制、standby等策略有深入的掌握和理解，同 時(shí)會(huì)要求具備自行實(shí)現(xiàn)的技術(shù)；廉價(jià)存儲(chǔ)方案要求對(duì)OS的文件存儲(chǔ)有深入的掌握和理解，同時(shí)要求對(duì)采用的語(yǔ) 言在文件這塊的實(shí)現(xiàn)有深入的掌握。架構(gòu)

15、演變第十步：進(jìn)入大型分布式應(yīng)用時(shí)代和廉價(jià)服務(wù)器群夢(mèng)想時(shí)經(jīng)過(guò)上面這個(gè)漫長(zhǎng)而痛苦的過(guò)程，終于是再度迎來(lái)了完美的時(shí)代，不斷的增加 webserver就可以支撐越來(lái)越高的訪問(wèn)量了，對(duì)于大型網(wǎng)站而言，人氣的重要 毋庸置疑，隨著人氣的越來(lái)越高，各種各樣的功能需求也開(kāi)始爆發(fā)性的增長(zhǎng)， 這個(gè)時(shí)候突然發(fā)現(xiàn)，原來(lái)部署在 webserver上的那個(gè)web應(yīng)用已經(jīng)非常龐 大 了，當(dāng)多個(gè)團(tuán)隊(duì)都開(kāi)始對(duì)其進(jìn)行改動(dòng)時(shí)，可真是相當(dāng)?shù)牟环奖悖瑥?fù)用性也 相當(dāng)糟糕，基本是每個(gè)團(tuán)隊(duì)都做了或多或少重復(fù)的事情，而且部署和維護(hù)也是 相當(dāng)?shù)穆闊?，因?yàn)辇嫶蟮膽?yīng)用包在N臺(tái)機(jī)器上復(fù)制、啟動(dòng)都需要耗費(fèi)不少的時(shí)間，出問(wèn)題的時(shí)候也不是很好查，另外一個(gè)更糟

16、糕的狀況是很有可能會(huì)出現(xiàn) 某個(gè)應(yīng)用上的bug就導(dǎo) 致了全站都不可用，還有其他的像調(diào)優(yōu)不好操作 因?yàn)?機(jī)器上部署的應(yīng)用什么都要做，根本就無(wú)法進(jìn)行針對(duì)性的調(diào)優(yōu)）等因素，根據(jù) 這樣的分析，開(kāi)始痛下決心，將系統(tǒng)根據(jù)職責(zé)進(jìn)行拆分，于是一個(gè)大型的分布式應(yīng)用就誕生了，通常，這個(gè)步驟需要耗費(fèi)相當(dāng)長(zhǎng)的時(shí)間，因?yàn)闀?huì)碰到很多 的挑戰(zhàn)：1拆成分布式后需要提供一個(gè)高性能、穩(wěn)定的通信框架，并且需要支 持多種不同的通信和遠(yuǎn)程調(diào)用方式；2、將一個(gè)龐大的應(yīng)用拆分需要耗費(fèi)很長(zhǎng)的 時(shí)間，需要進(jìn)行業(yè)務(wù)的整理和系統(tǒng)依賴關(guān)系的控制等；3、如何運(yùn)維 依賴管理、運(yùn)行狀況管理、錯(cuò)誤追蹤、調(diào)優(yōu)、監(jiān)控和報(bào)警等）好這個(gè)龐大的分布式應(yīng)用。經(jīng)過(guò)這一步，

17、差不多系統(tǒng)的架構(gòu)進(jìn)入相對(duì)穩(wěn)定的階段，同時(shí)也能開(kāi)始采用大量 的廉價(jià)機(jī)器來(lái)支撐著巨大的訪問(wèn)量和數(shù)據(jù)量，結(jié)合這套架構(gòu)以及這么多次演變 過(guò)程吸取的經(jīng)驗(yàn)來(lái)采用其他各種各樣的方法來(lái)支撐著越來(lái)越高的訪問(wèn)量。看看這一步完成后系統(tǒng)的圖示：這一步涉及到了這些知識(shí)體系：這一步涉及的知識(shí)體系非常的多，要求對(duì)通信、遠(yuǎn)程調(diào)用、消息機(jī)制等有深入 的理解和掌握，要求的都是從理論、硬件級(jí)、操作系統(tǒng)級(jí)以及所采用的語(yǔ)言的 實(shí)現(xiàn)都有清楚的理解。運(yùn)維這塊涉及的知識(shí)體系也非常的多，多數(shù)情況下需要掌握分布式并行計(jì)算、 報(bào)表、監(jiān)控技術(shù)以及規(guī)則策略等等。說(shuō)起來(lái)確實(shí)不怎么費(fèi)力，整個(gè)網(wǎng)站架構(gòu)的經(jīng)典演變過(guò)程都和上面比較的類似， 當(dāng)然，每步采取的方案，演變的步驟有可能有不同，另外，因?yàn)榫W(wǎng)站的業(yè)務(wù)不 同，會(huì)有不同的專業(yè)技術(shù)的需求，這篇 blog更多的是從架構(gòu)的角度來(lái)講解演變 的過(guò)程，當(dāng)然，其中還有很多的技術(shù)也未在此提及，像數(shù)據(jù)庫(kù)集群、數(shù)據(jù)挖掘、 搜索等，但在真實(shí)的演變過(guò)程中還會(huì)借助像提升硬件配置、網(wǎng)絡(luò)環(huán)境、改造操 作系統(tǒng)、CDN鏡像等來(lái)支撐更大的流量，因此在真實(shí)的發(fā)