大型網(wǎng)站技術(shù)架構(gòu)方案總結(jié)及解析

1、 2013年9月l 大型網(wǎng)站架構(gòu)的目標(biāo)與挑戰(zhàn)大型網(wǎng)站架構(gòu)的目標(biāo)與挑戰(zhàn)l 網(wǎng)站架構(gòu)各網(wǎng)站架構(gòu)各子系統(tǒng)子系統(tǒng)介紹介紹l 網(wǎng)站網(wǎng)站監(jiān)控系統(tǒng)監(jiān)控系統(tǒng)l 討論討論及總結(jié)及總結(jié)定義： IDtN （I dont know, 沒(méi)有統(tǒng)一標(biāo)準(zhǔn)。）PV1M網(wǎng)站內(nèi)容 “動(dòng)態(tài)” 每個(gè)目標(biāo)背后面臨著技術(shù)、設(shè)計(jì)、維護(hù)等諸多方面的挑戰(zhàn)。 而目標(biāo)本身的期望值也會(huì)根據(jù)實(shí)際情況進(jìn)行調(diào)整，這也意味著網(wǎng)站架構(gòu)建設(shè)是個(gè)不網(wǎng)站架構(gòu)建設(shè)是個(gè)不斷調(diào)整的過(guò)程斷調(diào)整的過(guò)程 負(fù)載均衡 數(shù)據(jù)備份 異地容災(zāi) 。 高速緩存 并行計(jì)算 異地鏡像 。 開(kāi)發(fā)框架 多層設(shè)計(jì) 業(yè)務(wù)分割 。l 大型網(wǎng)站架構(gòu)的目標(biāo)與挑戰(zhàn)大型網(wǎng)站架構(gòu)的目標(biāo)與挑戰(zhàn)l 網(wǎng)站架構(gòu)各子系統(tǒng)網(wǎng)站

2、架構(gòu)各子系統(tǒng)介紹介紹l 網(wǎng)站監(jiān)控系統(tǒng)網(wǎng)站監(jiān)控系統(tǒng)l 討論及總結(jié)討論及總結(jié)lWeb前 端系統(tǒng)l負(fù) 載均衡系統(tǒng)l數(shù) 據(jù)庫(kù)集群系統(tǒng)l緩 存系統(tǒng)l分 布式存儲(chǔ)系統(tǒng)l分 布式服務(wù)器管理系統(tǒng)l代 碼分發(fā)系統(tǒng)lWebWeb動(dòng)、靜分離動(dòng)、靜分離 CDN、GADl瀏覽器緩存瀏覽器緩存: : Header參數(shù)HTTP1.1協(xié)議+GET、-POSTContent-Encoding、 gzip+Cookie、- Sessions, AJAXPLUGINPLUGINHTML5HTML5 能夠讓瀏覽器緩存的數(shù)據(jù)一定要緩存；瀏覽器能夠處理的運(yùn)算，決不放在服務(wù)器端來(lái)處理。lWeb前端系統(tǒng)l負(fù)載均衡系統(tǒng)l數(shù)據(jù)庫(kù)集群系統(tǒng)l緩存系

3、統(tǒng)l分布式存儲(chǔ)系統(tǒng)l分布式服務(wù)器管理系統(tǒng)l代碼分發(fā)系統(tǒng)大型網(wǎng)站解決高負(fù)荷訪(fǎng)問(wèn)和大量并發(fā)請(qǐng)求采用的終極解決辦法Http serverHttp serverReverse ProxyMail Mail serverserverLB server: 50,000 connectionBug free7*24Easy to upgradelWeb前端系統(tǒng)l負(fù)載均衡系統(tǒng)l數(shù)據(jù)庫(kù)集群系統(tǒng)l緩存系統(tǒng)l分布式存儲(chǔ)系統(tǒng)l分布式服務(wù)器管理系統(tǒng)l代碼分發(fā)系統(tǒng)整個(gè)網(wǎng)站體系的高可靠性保證l數(shù)據(jù)庫(kù)服務(wù)器和應(yīng)用服務(wù)器分離l讀寫(xiě)分離讀寫(xiě)分離l主從同步、備份機(jī)制主從同步、備份機(jī)制l讀、寫(xiě)數(shù)據(jù)庫(kù)集群l從數(shù)據(jù)庫(kù)負(fù)載均衡: BigI

4、PlWeb前端系統(tǒng)l負(fù)載均衡系統(tǒng)l數(shù)據(jù)庫(kù)集群系統(tǒng)l緩存系統(tǒng)l分布式存儲(chǔ)系統(tǒng)l分布式服務(wù)器管理系統(tǒng)l代碼分發(fā)系統(tǒng)緩存分為文件緩存、內(nèi)存緩存、數(shù)據(jù)庫(kù)緩存。在大型Web應(yīng)用中使用最多且效率最高的是內(nèi)存緩存l數(shù)據(jù)庫(kù)緩存數(shù)據(jù)庫(kù)緩存Query CacheData BufferApp server cachel前端頁(yè)面緩存前端頁(yè)面緩存采用具備緩存功能的http反向代理服務(wù)器作前端頁(yè)面緩存器，VarnishSquidNcacheAiCache(商業(yè))【硬件F5】lWeb前端系統(tǒng)l負(fù)載均衡系統(tǒng)l數(shù)據(jù)庫(kù)集群系統(tǒng)l緩存系統(tǒng)l分布式存儲(chǔ)系統(tǒng)l分布式服務(wù)器管理系統(tǒng)l代碼分發(fā)系統(tǒng)l 存儲(chǔ)量很大：相冊(cè)、視頻l 負(fù)載均衡cl

5、uster中的每個(gè)節(jié)點(diǎn)操作的數(shù)據(jù)從邏輯上看只能是一個(gè)整體，不是各自獨(dú)立的數(shù)據(jù)資源l開(kāi)源的輕量級(jí)分布式文件系統(tǒng)l文件存儲(chǔ)、文件同步、文件訪(fǎng)問(wèn)l動(dòng)態(tài)添加，方便擴(kuò)充lWeb前端系統(tǒng)l負(fù)載均衡系統(tǒng)l數(shù)據(jù)庫(kù)集群系統(tǒng)l緩存系統(tǒng)l分布式存儲(chǔ)系統(tǒng)l分布式服務(wù)器管理系統(tǒng)l代碼分發(fā)系統(tǒng)目標(biāo)：l集中式的、分組的、批量的、自動(dòng)化的對(duì)服務(wù)器進(jìn)行管理，能夠批量化的執(zhí)行計(jì)劃任務(wù)l 高效的實(shí)現(xiàn)大規(guī)模的服務(wù)器集群管理執(zhí)行基于策略的配置管理 l完成后期安裝任務(wù)，例如配置網(wǎng)絡(luò)界面信息； l編輯系統(tǒng)配置文件以及其它文件；l管理系統(tǒng)服務(wù)器進(jìn)程；l檢驗(yàn)、更正文件許可及所有權(quán)；l刪除無(wú)用文件、壓縮被選文件、在網(wǎng)絡(luò)中分發(fā)文件； l自動(dòng)掛載N

6、FS文件系統(tǒng)； l檢查重要文件和文件系統(tǒng)是否存在及其完整性。 l執(zhí)行命令及腳本。 l應(yīng)用安全相關(guān)的補(bǔ)丁以及相似系統(tǒng)的修正。 。 。lWeb前端系統(tǒng)l負(fù)載均衡系統(tǒng)l數(shù)據(jù)庫(kù)集群系統(tǒng)l緩存系統(tǒng)l分布式存儲(chǔ)系統(tǒng)l分布式服務(wù)器管理系統(tǒng)l代碼分發(fā)系統(tǒng)l開(kāi)發(fā)環(huán)境內(nèi)測(cè)環(huán)境公測(cè)環(huán)境生產(chǎn)環(huán)境l源代碼管理和版本控制SVN:l管理方便，邏輯明確，符合一般人思維習(xí)慣；l易于管理，集中式服務(wù)器更能保證安全性；l代碼一致性非常高，更新速度快；l適合開(kāi)發(fā)人數(shù)不多的項(xiàng)目開(kāi)發(fā)；l學(xué)習(xí)成本低，快速上手Rsync (remote sync)l可以鏡像保存整個(gè)目錄樹(shù)和文件系統(tǒng)；l可以很容易做到保持原來(lái)文件的權(quán)限、時(shí)間、軟硬鏈接等等；l無(wú)須特殊權(quán)限即可安裝;l快速、安全、支持匿名傳輸，以方便進(jìn)行網(wǎng)站鏡象。l 大型網(wǎng)站架構(gòu)的目標(biāo)與挑戰(zhàn)大型網(wǎng)站架構(gòu)的目標(biāo)與挑戰(zhàn)l 網(wǎng)站架構(gòu)各子系統(tǒng)網(wǎng)站架構(gòu)各子系統(tǒng)介紹介紹l 網(wǎng)站監(jiān)控系統(tǒng)網(wǎng)站監(jiān)控系統(tǒng)l 討論及總結(jié)討論及總結(jié)Nagios (實(shí)時(shí))Munin (趨勢(shì))Drraw (匯聚)l 大型網(wǎng)站架構(gòu)的目標(biāo)與挑戰(zhàn)大型網(wǎng)站架構(gòu)的目標(biāo)與挑戰(zhàn)l 網(wǎng)站架構(gòu)各子系統(tǒng)網(wǎng)站架構(gòu)各子系統(tǒng)介紹介紹l 網(wǎng)站監(jiān)控系統(tǒng)網(wǎng)站監(jiān)控系統(tǒng)l 討論及總結(jié)討論及總結(jié)l大型大型網(wǎng)站架構(gòu)是怎么樣子的？網(wǎng)站架構(gòu)是怎么樣子的？ l存在存在萬(wàn)能的架構(gòu)嗎？架構(gòu)本