CDN緩存系統(tǒng)開發(fā)方案

北京互聯(lián)港灣科技有限公司文檔狀態(tài)：文檔編號：["Draft□Released□Modifying編撰：趙鐵宇編撰日期20140420保密級別文檔版本1.0.0CDN平臺項(xiàng)目開發(fā)方案北京互聯(lián)港灣科技有限公司

北京互聯(lián)港灣科技有限公司修訂表編號版本修訂人修訂章節(jié)與內(nèi)容修訂日期11.0.0趙鐵宇2345678審批記錄版本審批人審批意見審批日期1.0.0北京互聯(lián)港灣科技有限公司 目錄TOC\o"1-5"\h\z\o"CurrentDocument"CDN平臺項(xiàng)目開發(fā)方案 1\o"CurrentDocument".引言 1編寫目的 1項(xiàng)目信息 1術(shù)語和縮寫詞定義 1.概述 1CDN概念 1\o"CurrentDocument"CDN的基本特點(diǎn) 1\o"CurrentDocument"CDN的優(yōu)點(diǎn) 2\o"CurrentDocument"CDN的作用 2\o"CurrentDocument"解決網(wǎng)站高流量、大并發(fā)的問題 2\o"CurrentDocument"解決南北互聯(lián)問題 2\o"CurrentDocument"網(wǎng)站訪問加速 3\o"CurrentDocument"提高網(wǎng)站的可用性 3\o"CurrentDocument"CDN組成 3\o"CurrentDocument"CDN源站 3\o"CurrentDocument"CDN緩存服務(wù)器 3\o"CurrentDocument"智能DNS 3\o"CurrentDocument"客戶端 3\o"CurrentDocument"CDN的工作機(jī)制 4\o"CurrentDocument"CDN的監(jiān)控 4\o"CurrentDocument"主站資源監(jiān)控： 4\o"CurrentDocument"服務(wù)監(jiān)控 5\o"CurrentDocument"CDN的運(yùn)維 5\o"CurrentDocument"數(shù)據(jù)備份 5\o"CurrentDocument"故障的處理 5\o"CurrentDocument"應(yīng)急處理 5\o"CurrentDocument".需求描述 5\o"CurrentDocument".CDN的設(shè)計(jì) 6布點(diǎn)選取 6工具選取 6\o"CurrentDocument"CDN結(jié)構(gòu)設(shè)計(jì) 7\o"CurrentDocument"源站 7\o"CurrentDocument"智能DNS 7\o"CurrentDocument"緩存服務(wù)器 7\o"CurrentDocument".CDN演示模式 8\o"CurrentDocument"智能DNS 9冗余 10\o"CurrentDocument".總結(jié) 10北京互聯(lián)港灣科技有限公司.引言編寫目的編寫本項(xiàng)目開發(fā)方案旨在指導(dǎo)整個(gè)項(xiàng)目開發(fā)過程，幫助項(xiàng)目組全體成員更好的理解工作、協(xié)調(diào)工作，為項(xiàng)目的預(yù)期、高質(zhì)量、低成本的完成奠定基礎(chǔ)。項(xiàng)目信息a）項(xiàng)目名稱：CDN平臺項(xiàng)目b）提出者：北京互聯(lián)港灣科技有限公司術(shù)語和縮寫詞定義簡寫英語全稱中文含義CDNContentDeliveryNetwork內(nèi)容分發(fā)網(wǎng)絡(luò)DNSDomainNameSystem域名系統(tǒng)TCPTransmissionControlProtocol傳輸控制協(xié)議.概述CDN概念CDN是ContentDeliveryNetwork首字母縮寫，就是內(nèi)容分發(fā)網(wǎng)絡(luò)。內(nèi)容分發(fā)網(wǎng)絡(luò)（以下簡稱CDN）是一種新型網(wǎng)絡(luò)構(gòu)建方式，它是為能在傳統(tǒng)的IP網(wǎng)發(fā)布寬帶豐富媒體而特別優(yōu)化的網(wǎng)絡(luò)覆蓋層；而從廣義的角度，CDN代表了一種基于質(zhì)量與秩序的網(wǎng)絡(luò)服務(wù)模式。CDN的基本特點(diǎn)CDN的基本特點(diǎn)概括為：內(nèi)容緩存、就近訪問以及以DNS視圖方式根據(jù)用戶來源確定其訪問位置。內(nèi)容緩存：緩存服務(wù)器從源站點(diǎn)取得數(shù)據(jù)，然后暫存在本地的硬盤或內(nèi)存。使用這種緩存機(jī)制的好處是：內(nèi)容自動更新和多個(gè)服務(wù)器數(shù)據(jù)相互同步問題。就近訪問：讓用戶的訪問請求轉(zhuǎn)向到離用戶最近或者最容易訪問的緩存服務(wù)器。以DNS視圖訪問方式根據(jù)用戶來確定其訪問位置，即讓電信的用戶訪問電信的緩存北京互聯(lián)港灣科技有限公司 服務(wù)器，網(wǎng)通的用戶訪問網(wǎng)通的緩存服務(wù)器。CDN的優(yōu)點(diǎn)對于網(wǎng)站，在使用了CDN服務(wù)后，用戶對網(wǎng)站的訪問將直接由分布在全國各地的CDN節(jié)點(diǎn)服務(wù)器直接響應(yīng)，網(wǎng)站的原服務(wù)器的工作負(fù)荷會迅速降低，網(wǎng)站不再需要為應(yīng)付訪問量的不斷增加而增加服務(wù)器、網(wǎng)絡(luò)帶寬和相關(guān)的網(wǎng)絡(luò)設(shè)備，也無需增加人力進(jìn)行維護(hù)。同時(shí)，使用CDN服務(wù)后，通過智能動態(tài)負(fù)載均衡技術(shù)，可以將用戶的訪問自動定向到CDN網(wǎng)絡(luò)中的不同節(jié)點(diǎn)，一個(gè)節(jié)點(diǎn)或一條路徑的故障不會用戶的訪問造成影響，提高了可用性和網(wǎng)站的服務(wù)質(zhì)量，甚至在原網(wǎng)站因故障不能提供訪問的情況下，仍可在一定時(shí)間內(nèi)響應(yīng)用戶訪問。將網(wǎng)站的內(nèi)容發(fā)布到更接近用戶的地方即時(shí)提高用戶訪問網(wǎng)站響應(yīng)速度減輕原網(wǎng)站服務(wù)器的負(fù)荷，減少擴(kuò)容的需求降低‘通信風(fēng)暴’的影響，自由選擇分布在全國的CDNTECH節(jié)點(diǎn)提高用戶訪問質(zhì)量，擴(kuò)大服務(wù)的用戶群體減小軟硬件投資，大大降低運(yùn)營成本抗DDOS攻擊，利用CDNTECH充足的全網(wǎng)帶寬儲備，有效抵抗DDOS攻擊CDN的作用解決網(wǎng)站高流量、大并發(fā)的問題我們知道，任何一個(gè)物理設(shè)備，其負(fù)載都有一個(gè)極限。為了應(yīng)對訪問量突增，使用CDN服務(wù)是一個(gè)好的系統(tǒng)擴(kuò)容方案。解決南北互聯(lián)問題我國的網(wǎng)絡(luò)是劃江而治的格局，因?yàn)槔嬷疇?，各網(wǎng)絡(luò)服務(wù)商之間并不是通力協(xié)作，而是采取各種手段相互限制。這就導(dǎo)致各網(wǎng)之間的互聯(lián)互通存在很大的問題，具體表現(xiàn)為：電信的用戶訪問放置在網(wǎng)通機(jī)房的服務(wù)器，響應(yīng)時(shí)間二特別長，反之亦然。使用CDN技術(shù)，可以讓電信的用戶訪問電信的內(nèi)容緩存服務(wù)器，網(wǎng)通的用戶訪問網(wǎng)通的內(nèi)容緩存服務(wù)器。通過這樣一種策略，繞開了網(wǎng)絡(luò)運(yùn)營商之間人為設(shè)置的障礙。北京互聯(lián)港灣科技有限公司網(wǎng)站訪問加速CDN采用緩存技術(shù)，把訪問對象緩存起來，有的技術(shù)甚至能把對象緩存到內(nèi)存（如Varnish），這在效果上表現(xiàn)出來的即是訪問加速。提高網(wǎng)站的可用性源站的訪問量變得很小，這意味著源站系統(tǒng)有更低的負(fù)載，更低的磁盤I/O，防故障的幾率大大降低。對于緩存服務(wù)器，多個(gè)服務(wù)器做成集群，保證了整個(gè)系統(tǒng)的高可用。CDN組成CDN是一種組合技術(shù)，包括源站、緩存服務(wù)器、智能DNS、客戶端四個(gè)部分。CDN源站CDN源站指發(fā)布內(nèi)容的原始站點(diǎn)。新增、刪除和更改網(wǎng)站的文件，都是在源站上進(jìn)行的；緩存服務(wù)器抓取的對象也全部來自于源站。CDN緩存服務(wù)器CDN緩存服務(wù)器是直接提供給用戶訪問的站點(diǎn)資源，有一個(gè)或數(shù)個(gè)服務(wù)器組成；當(dāng)一個(gè)用戶發(fā)起訪問時(shí)，他的訪問請求被智能DNS定位到離他較近的緩存服務(wù)器。如果訪問所需的內(nèi)容沒有被緩存，則緩存服務(wù)器向鄰近的緩存服務(wù)器或直接向源站抓取內(nèi)容，然后再返還給用戶；如果用戶所請求的內(nèi)容剛好在緩存里面，則直接把內(nèi)容返還給用戶。智能DNS智能DNS是整個(gè)CDN的核心，它負(fù)責(zé)根據(jù)用戶的來源，將其訪問請求轉(zhuǎn)向到離用戶較近或較合適的緩存服務(wù)器，如把長沙電信的用戶請求轉(zhuǎn)向到長沙電信機(jī)房的緩存服務(wù)器。客戶端即發(fā)起訪問的普通用戶，一般的訪問方式是瀏覽器。這個(gè)不再做說明。北京互聯(lián)港灣科技有限公司CDN的工作機(jī)制□N5查詢路徑 站點(diǎn)數(shù)據(jù)路徑 以上圖為例。場景一：當(dāng)“A網(wǎng)用戶”訪問被CDN加速的站點(diǎn)時(shí)，從本地的DNS查詢域名，最終可能在全局智能DNS服務(wù)器得到域名所對應(yīng)的IP地址，即圖所示“A網(wǎng)的緩存服務(wù)器”的IP；接著“A網(wǎng)用戶”瀏覽器向“A網(wǎng)的緩存服務(wù)器”發(fā)起訪問請求，幸運(yùn)的是所需的默認(rèn)頁面文件index.htm正好被緩存在“A網(wǎng)的緩存服務(wù)器”里，于是緩存服務(wù)器立即返還數(shù)據(jù)，完成一次訪問請求。場景二：當(dāng)“B網(wǎng)用戶”訪問被CDN加速的站點(diǎn)時(shí)，從本地的DNS查詢域名，最終可能在全局智能DNS服務(wù)器得到域名所對應(yīng)的IP地址，即圖7-1所示“B網(wǎng)的緩存服務(wù)器”的IP；接著“B網(wǎng)用戶”瀏覽器向“B網(wǎng)的緩存服務(wù)器”發(fā)起訪問請求，但是緩存服務(wù)器并沒有緩存默認(rèn)頁面文件index.html，它需要先從源站取得這個(gè)對象，緩存并把內(nèi)容返還給“B網(wǎng)用戶”?！癇網(wǎng)緩存服務(wù)器”通過“內(nèi)部DNS”知道源站在哪里。CDN的監(jiān)控CDN的監(jiān)控主要分為2個(gè)部分：主站資源監(jiān)控和服務(wù)監(jiān)控。主站資源監(jiān)控：1)源站資源監(jiān)控：CPU負(fù)載、磁盤利用率、進(jìn)程數(shù)。DNS服務(wù)器的資源監(jiān)控：CPU負(fù)載、磁盤利用率、進(jìn)程數(shù)。北京互聯(lián)港灣科技有限公司 3）緩存服務(wù)器的資源監(jiān)控：CPU負(fù)載、磁盤利用率、進(jìn)程數(shù)、TCP連接數(shù)。服務(wù)監(jiān)控：1）所有服務(wù)器存活監(jiān)控。2）緩存服務(wù)器集群VIP存活監(jiān)控。3）源站TCP80服務(wù)監(jiān)控、緩存服務(wù)器TCP80服務(wù)監(jiān)控、緩存服務(wù)器集群VIPTCP80端口監(jiān)控。DNS服務(wù)器check_DNS監(jiān)控。所有監(jiān)控信息以logo形式存在本地。如發(fā)生錯(cuò)誤會發(fā)出報(bào)警信息。因?yàn)槲覀儾捎玫氖羌悍桨?，所以如果有一臺服務(wù)器出問題服務(wù)會自動切換至另外一臺服務(wù)器。CDN的運(yùn)維數(shù)據(jù)備份備份數(shù)據(jù)。需要備份的數(shù)據(jù)有兩部分：配置文件和數(shù)據(jù)文件。在CDN環(huán)境下，只有源站的網(wǎng)站的數(shù)據(jù)需要備份，其他的備份操作都是針對配置文件的，如DNS區(qū)文件。故障的處理因?yàn)檎麄€(gè)CDN是基于高可用的架構(gòu)，即便出現(xiàn)故障也不會導(dǎo)致服務(wù)全部停止，因此服務(wù)的恢復(fù)就不會有什么壓力；另外也因?yàn)橛斜O(jiān)控系統(tǒng)的報(bào)警，很容易就知道問題出在什么地方。應(yīng)急處理CDN服務(wù)運(yùn)營中，有可能出現(xiàn)某個(gè)運(yùn)營中機(jī)房網(wǎng)絡(luò)不可用的情況，如設(shè)備故障或機(jī)房維護(hù)操作。這樣一來，就導(dǎo)致某個(gè)區(qū)域的用戶徹底不能訪問。出現(xiàn)這種極端情況時(shí)，需要把出現(xiàn)故障的機(jī)房資源臨時(shí)從DNS的轉(zhuǎn)發(fā)列表中刪除，然后把前往這些機(jī)房的訪問轉(zhuǎn)發(fā)到其他地方。.需求描述按照甲方的要求對“綠色無線智能云中心平臺”進(jìn)行網(wǎng)站訪問加速，解決ISP運(yùn)營商互通瓶頸，提供網(wǎng)站負(fù)載均和數(shù)據(jù)冗余功能。北京互聯(lián)港灣科技有限公司 .CDN的設(shè)計(jì)設(shè)計(jì)工作包括：布點(diǎn)選取、工具選取、CDN結(jié)構(gòu)設(shè)計(jì)等幾部分。布點(diǎn)選取布點(diǎn)包括源站、全局智能DNS和緩存服務(wù)器集群。局智能DNS選擇互聯(lián)互通性較好的第三方BGH機(jī)房；因?yàn)槭褂肅DN服務(wù)的站點(diǎn)數(shù)量有限，故在緩存服務(wù)器以主機(jī)名的方式尋址源站。緩存服務(wù)器共4組，選擇二線或三線城市的機(jī)房托管，能節(jié)省大量的資金（北京，上海海等城市帶寬價(jià)格大概在300?400元/兆/月，而偏遠(yuǎn)一點(diǎn)二三線城市（如安陽）1G帶寬的年總費(fèi)用才8-10萬）。工具選取工具包括操作系統(tǒng)、DNS軟件、緩存服務(wù)器軟件、負(fù)載均衡軟件、源站軟件以及定制的腳本。所有的服務(wù)器均使用32位的CentOS6.2。DNS使用Bind-9.4.0。緩存服務(wù)器選擇Varnish載均衡由Ipvsadm和Keepalived兩部分組成。定制腳本的主要目的是自動刷新緩存服務(wù)，把這個(gè)腳本放在某個(gè)服務(wù)器上，只需執(zhí)行一次（也可使用Crontab自動調(diào)用）就能實(shí)現(xiàn)所有緩存服務(wù)器的緩存清理。北京互聯(lián)港灣科技有限公司CDN結(jié)構(gòu)設(shè)計(jì)源站源站為內(nèi)容的原始發(fā)布，盡管采用CDN技術(shù)以后源站的負(fù)荷會變得很小，但為了有較高的可用性，可以把它部署成負(fù)載均衡集群。智能DNS智能DNS是用來實(shí)現(xiàn)用戶訪問轉(zhuǎn)向功能的，即通過建立訪問列表，判斷用戶的訪問來源，確定其訪問對象的位置。在本案中，建立電信、網(wǎng)通、教育網(wǎng)3個(gè)IP地址列表，未在這3個(gè)列表中的稱為其他；每個(gè)列表關(guān)聯(lián)一個(gè)Bind的視圖View，那么一共有4個(gè)視圖View。地址列表可以自己收集，也可以花錢購買，地址列表越大，DNS定向準(zhǔn)確性越高。緩存服務(wù)器緩存服務(wù)器是CDN環(huán)境使用量最大的設(shè)備。為保證緩存服務(wù)本身的高可用，每個(gè)布點(diǎn)的服務(wù)器都以負(fù)載均衡集群的方式存在。根據(jù)一般的經(jīng)驗(yàn)，訪問負(fù)荷比較重的機(jī)器，非常容易損硬盤，因此在設(shè)計(jì)時(shí)，盡可能地緩存內(nèi)容到內(nèi)存中，以增加訪問的速度和延長機(jī)器的壽命。

北京互聯(lián)港灣科技有限公司CDN設(shè)計(jì)匯總角色機(jī)器數(shù)量總帶寬高可用方式放置位置備注源站1100M負(fù)載均衡集群第三方BGH機(jī)房跟機(jī)器服務(wù)器共用負(fù)載均衡智能DNS1100MDNS主從同步第三方BGH機(jī)房緩存服務(wù)器2100M*4+1G負(fù)載均衡集群電信，網(wǎng)通。每個(gè)集群2個(gè)負(fù)載均衡服務(wù)器CDN網(wǎng)絡(luò)部署這兩種網(wǎng)絡(luò)部署方案都用采用三層網(wǎng)絡(luò)架構(gòu)，分別是核心層、匯聚層和接入層。大型CDN網(wǎng)絡(luò)部署其中大型網(wǎng)絡(luò)部署架構(gòu)的中間兩臺路由器為核心層。主要負(fù)責(zé)數(shù)據(jù)的路由功能，外圍4臺是匯聚層，主要負(fù)責(zé)對接入設(shè)備的數(shù)據(jù)交換功能。最外圍的四個(gè)交換機(jī)是匯聚層，主要負(fù)責(zé)服務(wù)器設(shè)備的接入。這種設(shè)計(jì)主要考慮了整體組網(wǎng)的安全性，即任何一個(gè)設(shè)備的故障都不會照成整體網(wǎng)絡(luò)的癱瘓。O路由器令交換機(jī)3服務(wù)器

北京互聯(lián)港灣科技有限公司小型CDN網(wǎng)絡(luò)部署這種小型網(wǎng)絡(luò)部署架構(gòu)