iCache9200互聯(lián)網(wǎng)緩存解決方案

目錄1簡(jiǎn)介 1-12解決方案 2-12.1iCache系統(tǒng)部署場(chǎng)景 2-12.1.1與DPI集成部署 2-22.1.2核心網(wǎng)PS網(wǎng)絡(luò)部署 2-22.1.3系統(tǒng)擴(kuò)展部署 2-32.2iCache系統(tǒng)原理 2-52.2.1Web緩存 2-52.2.2Video緩存 2-122.2.3P2P緩存 2-162.3iCache系統(tǒng)可靠性 2-202.3.1Web緩存可靠性 2-202.3.2Video緩存及P2P緩存 2-202.4iCache系統(tǒng)主要指標(biāo)說(shuō)明 2-202.4.1吞吐量（Throughput） 2-202.4.2命中率（HitRatio） 2-202.4.3連接數(shù)（ConnectionNumber） 2-212.4.4用戶網(wǎng)絡(luò)對(duì)系統(tǒng)指標(biāo)的影響 2-213結(jié)論 3-14縮略語(yǔ)表 4-1簡(jiǎn)介近年來(lái)隨著互聯(lián)網(wǎng)的發(fā)展，互聯(lián)網(wǎng)用戶數(shù)、互聯(lián)網(wǎng)應(yīng)用種類、網(wǎng)絡(luò)帶寬等都呈現(xiàn)出爆炸式的增長(zhǎng)，對(duì)社會(huì)和人們的生活產(chǎn)生了巨大的影響。在互聯(lián)網(wǎng)應(yīng)用中P2P技術(shù)、在線視頻技術(shù)的發(fā)展給互聯(lián)網(wǎng)帶來(lái)的影響尤為廣泛，據(jù)預(yù)測(cè)，到2013年，91%的個(gè)人消費(fèi)者互聯(lián)網(wǎng)流量為視頻，在移動(dòng)流量中，66%為視頻。P2P應(yīng)用的快速發(fā)展很大程度上促進(jìn)了互聯(lián)網(wǎng)的發(fā)展和寬帶接入的普及化，但是其所帶來(lái)的負(fù)面效應(yīng)也隨之顯現(xiàn)，最突出的矛盾就是對(duì)網(wǎng)絡(luò)資源的濫用。無(wú)論運(yùn)營(yíng)商如何增加網(wǎng)絡(luò)帶寬，P2P應(yīng)用總是會(huì)盡力搶占所有可用的資源。這種“黑洞效應(yīng)”直接影響了運(yùn)營(yíng)商網(wǎng)絡(luò)建設(shè)的積極性，同時(shí)也導(dǎo)致其用戶滿意度下降，進(jìn)而間接導(dǎo)致運(yùn)營(yíng)商的商業(yè)利益受損。對(duì)P2P流量進(jìn)行控制和管理已經(jīng)變得非常必要和緊迫，目前主要采用的手段是部署流量分析及控制設(shè)備，即對(duì)P2P應(yīng)用進(jìn)行分析和識(shí)別，然后再進(jìn)行阻斷或限速。這種方案的優(yōu)點(diǎn)是通過(guò)控制、管理可識(shí)別的P2P應(yīng)用，來(lái)保證網(wǎng)絡(luò)帶寬和其他業(yè)務(wù)的QoS，但其局限性也十分明顯，因?yàn)橥ㄟ^(guò)阻止用戶使用來(lái)緩解網(wǎng)絡(luò)擁擠，會(huì)直接導(dǎo)致用戶流失，甚至面臨法律上的風(fēng)險(xiǎn)。顯而易見，這種簡(jiǎn)單的“封堵”思路治標(biāo)不治本。在線視頻的迅速發(fā)展源于用戶上網(wǎng)習(xí)慣的轉(zhuǎn)變，在P2P盛行的時(shí)代，受限于網(wǎng)絡(luò)帶寬等因素，在線視頻的質(zhì)量較差，難以滿足用戶對(duì)于高品質(zhì)視頻內(nèi)容的需求，用戶習(xí)慣于“先下載，后體驗(yàn)”的上網(wǎng)模式，而隨著用戶接入帶寬的不斷提升，在線視頻正在迅速朝著高清化的趨勢(shì)發(fā)展，在這種情況下，寬帶用戶更傾向于選擇“即時(shí)體驗(yàn)”來(lái)獲取視頻等多媒體資源。面對(duì)互聯(lián)網(wǎng)流量的高速增長(zhǎng)，運(yùn)營(yíng)商主要通過(guò)兩種方法來(lái)應(yīng)對(duì)：擴(kuò)容帶寬流量控制，包括技術(shù)上對(duì)用戶流量進(jìn)行整形、限速等，以及從資費(fèi)套餐上進(jìn)行流量限制等。擴(kuò)容帶寬的解決方案簡(jiǎn)單易實(shí)施，但是費(fèi)用昂貴，并且新擴(kuò)容的帶寬很快就會(huì)被P2P等流量再次占滿，投資收益極少。流量控制是立竿見影的解決方案，投資較小并可以迅速降低互聯(lián)網(wǎng)出口的流量壓力，但同時(shí)也極大的影響了用戶體驗(yàn)，在較為成熟的競(jìng)爭(zhēng)性市場(chǎng)容易造成用戶流失。因此，上述兩種解決方案在投資收益和用戶體驗(yàn)上并不能兼顧，往往顧此失彼，運(yùn)營(yíng)商需要能在投資收益和用戶體驗(yàn)上都能兼顧的解決方案，華為iCache互聯(lián)網(wǎng)緩存解決方案可以很好的滿足運(yùn)營(yíng)商的需求。解決方案iCache系統(tǒng)部署場(chǎng)景與DPI集成部署當(dāng)現(xiàn)網(wǎng)已經(jīng)部署了DPI設(shè)備或者計(jì)劃部署DPI設(shè)備時(shí)，iCache可以與DPI設(shè)備集成部署，需要DPI具備流量鏡像功能并有足夠的GE接口將鏡像流量轉(zhuǎn)發(fā)到重定向設(shè)備。核心網(wǎng)PS網(wǎng)絡(luò)部署iCache系統(tǒng)可以在核心網(wǎng)PS網(wǎng)絡(luò)中部署。建議部署在GGSN與防火墻之間，通過(guò)對(duì)10G/2.5G骨干鏈路的上行鏈路進(jìn)行分光，然后將分光鏈路接到分流平臺(tái)，由分流平臺(tái)將10G/2.5G的流量平均分成N*GE流量輸出到重定向設(shè)備；同時(shí)在交換機(jī)上進(jìn)行策略路由，將http流量轉(zhuǎn)發(fā)到CSS-WEB子系統(tǒng)。系統(tǒng)擴(kuò)展部署iCache采用模塊化設(shè)計(jì)，模塊之間可以靈活、自由的組合，所以具有非常好的彈性和擴(kuò)展性。靈活的配置保證最佳的緩存效率 由于用戶上網(wǎng)習(xí)慣的變化，互聯(lián)網(wǎng)流量趨勢(shì)會(huì)經(jīng)常性的發(fā)生變化，比如前幾年BT和eMule等P2P流量占據(jù)了互聯(lián)網(wǎng)50％以上的流量，那時(shí)候的用戶上網(wǎng)習(xí)慣是“先下載，后體驗(yàn)”，但是目前用戶的上網(wǎng)習(xí)慣已經(jīng)逐漸變成“實(shí)時(shí)體驗(yàn)”，所以P2P流量占比逐漸下降，而在線視頻流量發(fā)展迅速。為了充分保護(hù)運(yùn)營(yíng)商的既有投資，iCache系統(tǒng)提供了良好的彈性，如下圖所示：在線視頻和P2P緩存設(shè)備采用同一硬件平臺(tái)，可通過(guò)更改軟件License互換。如果HTTPCache設(shè)備超過(guò)正常負(fù)載，則可以通過(guò)手工配置將部分大文件下載類流量切換到在線視頻緩存設(shè)備上。如果在線視頻緩存設(shè)備超過(guò)正常負(fù)載，則可以通過(guò)手工配置將部分在線視頻流量切換到HTTPCache設(shè)備。良好的擴(kuò)展性保護(hù)原有投資當(dāng)運(yùn)營(yíng)商的網(wǎng)絡(luò)規(guī)模和寬帶用戶數(shù)量增長(zhǎng)后，為了繼續(xù)保持較低的互聯(lián)網(wǎng)出口帶寬需求以及良好的用戶體驗(yàn)，就需要相應(yīng)的擴(kuò)容緩存系統(tǒng)。iCache支持平滑的、線性的擴(kuò)容升級(jí)，只需要增加相應(yīng)的緩存設(shè)備即可。分布式部署上述部署方案都基于集中式部署。此外，iCache支持集中式和分布式兩種部署模式，當(dāng)網(wǎng)絡(luò)規(guī)模較小的時(shí)候，可以采用集中部署的方式，不僅節(jié)省投資成本，也可以提高緩存效率。當(dāng)運(yùn)營(yíng)商網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大時(shí)，仍然可以采用集中部署的模式，只需要增加緩存設(shè)備，但是這樣有可能引起各個(gè)POP節(jié)點(diǎn)和骨干網(wǎng)之間的鏈路擁塞。這個(gè)時(shí)候，我們可以從集中部署模式向分布式部署模式遷移，在流量比較大的POP節(jié)點(diǎn)部署新增的緩存系統(tǒng)，新增的系統(tǒng)只為POP節(jié)點(diǎn)內(nèi)的寬帶用戶提供服務(wù)，如下圖所示：iCache系統(tǒng)原理 Web緩存HTTP基本原理超文本傳輸協(xié)議（HTTP，HyperTextTransferProtocol）是互聯(lián)網(wǎng)上應(yīng)用最為廣泛的一種網(wǎng)絡(luò)協(xié)議。所有的WWW文件都必須遵守這個(gè)標(biāo)準(zhǔn)。設(shè)計(jì)HTTP最初的目的是為了提供一種發(fā)布和接收HTML頁(yè)面的方法。HTTP的發(fā)展是萬(wàn)維網(wǎng)協(xié)會(huì)（WorldWideWebConsortium）和Internet工作小組（InternetEngineeringTaskForce）合作的結(jié)果，（他們）最終發(fā)布了一系列的RFC，其中最著名的就是RFC2616。RFC2616定義了HTTP協(xié)議中一個(gè)現(xiàn)今被廣泛使用的版本——HTTP1.1。HTTP是一個(gè)客戶端和服務(wù)器端請(qǐng)求和應(yīng)答的標(biāo)準(zhǔn)（TCP）?？蛻舳耸墙K端用戶，服務(wù)器端是網(wǎng)站。通過(guò)使用Web瀏覽器、網(wǎng)絡(luò)爬蟲或者其它的工具，客戶端發(fā)起一個(gè)到服務(wù)器上指定端口（默認(rèn)端口為80）的HTTP請(qǐng)求?？蛻舳伺c服務(wù)器之間的交互用到了兩種類型的消息：請(qǐng)求（Request）和響應(yīng)（Response）。其中請(qǐng)求最常見的包括get和post請(qǐng)求，而服務(wù)器的響應(yīng)則包括HTTP版本號(hào)，后面跟著3位數(shù)字表示響應(yīng)代碼，如200代表請(qǐng)求成功，404代表notfound。CSS-WEB緩存工作流程當(dāng)客戶機(jī)向服務(wù)器發(fā)送get請(qǐng)求的時(shí)候，web服務(wù)器將返回請(qǐng)求的資源，同時(shí)返回該資源的ETag標(biāo)識(shí)以及expire時(shí)間，當(dāng)沒有超過(guò)expire時(shí)間，則客戶機(jī)下次再次發(fā)送get請(qǐng)求的時(shí)候，將直接從緩存中獲取資源，而不需要再次從web服務(wù)器上下載資源。部署iCache系統(tǒng)之后，緩存上網(wǎng)流程如下：當(dāng)用戶向web服務(wù)器發(fā)送請(qǐng)求的時(shí)候，流量會(huì)經(jīng)過(guò)CSS-WEB系統(tǒng)，此時(shí)CSS-WEB會(huì)檢測(cè)該資源是否已經(jīng)被緩存，如果已經(jīng)緩存，并且該資源沒有過(guò)期，則直接將緩存內(nèi)容返回給用戶。當(dāng)緩存了該資源，但是該資源已經(jīng)過(guò)期，則CSS-WEB會(huì)發(fā)送一個(gè)更新請(qǐng)求到web服務(wù)器，請(qǐng)求獲得最新資源，如果web服務(wù)器返回“沒有更改”報(bào)文，則直接返回緩存資源給用戶，否則從服務(wù)器上下載資源返回給用戶。如果該資源沒有被緩存，則CSS-WEB會(huì)代替用戶去web服務(wù)器上下載，同時(shí)返回給用戶，如果CSS-WEB定義的策略要求緩存該文件，則緩存該資源，并再次提供服務(wù)。CSS-WEB工作模式WEB緩存采用直路部署模式，通過(guò)在路由器上配置策略路由（PBR），將HTTP流量從路由器引流到緩存設(shè)備，它有2種工作模式：半透明模式、透明模式。半透明模式：需要在路由器/交換機(jī)上做一定的配置修改，將用戶訪問(wèn)外網(wǎng)Web服務(wù)器的流量通過(guò)策略路由（PBR）轉(zhuǎn)向緩存服務(wù)器，然后由緩存服務(wù)器代理用戶去外網(wǎng)下載內(nèi)容再提供給用戶。緩存系統(tǒng)對(duì)用戶是透明的，但是Web服務(wù)器看不到用戶的IP，只能看到緩存服務(wù)器的IP地址。緩存系統(tǒng)工作流程如下：用戶的HTTP訪問(wèn)報(bào)文通過(guò)策略路由（PBR）牽引到緩存設(shè)備。緩存設(shè)備用自己的IP地址代理用戶向Web服務(wù)器發(fā)起請(qǐng)求。Web服務(wù)器返回響應(yīng)報(bào)文給緩存設(shè)備緩存設(shè)備將響應(yīng)報(bào)文返回給用戶。透明模式：需要在路由器/交換機(jī)上做一定的配置修改，將用戶訪問(wèn)外網(wǎng)Web服務(wù)器的流量以及Web服務(wù)器返回的流量通過(guò)策略路由（PBR）轉(zhuǎn)向緩存服務(wù)器，緩存服務(wù)器作為所有HTTP流量的中轉(zhuǎn)站，緩存系統(tǒng)對(duì)用戶和Web服務(wù)器都是透明的。緩存系統(tǒng)工作流程如下：用戶的HTTP訪問(wèn)報(bào)文通過(guò)策略路由（PBR）牽引到緩存設(shè)備。緩存設(shè)備使用用戶的IP地址代理用戶向Web服務(wù)器發(fā)起請(qǐng)求。Web服務(wù)器返回的響應(yīng)報(bào)文通過(guò)策略路由（PBR）牽引到緩存設(shè)備。緩存設(shè)備將響應(yīng)報(bào)文返回給用戶。關(guān)鍵技術(shù)1：URL過(guò)濾技術(shù)URL過(guò)濾功能提供白名單，黑名單，分類地址庫(kù)三種方式。黑白名單的方式都是基于管理員自定義并手工輸入U(xiǎn)RL的方式。分類地址庫(kù)采用Brightcloud作為第三方URL數(shù)據(jù)庫(kù)提供者。美國(guó)BrightCloud公司是全球最大的網(wǎng)址分類導(dǎo)航和內(nèi)容過(guò)濾的互聯(lián)網(wǎng)服務(wù)提供商，其網(wǎng)絡(luò)覆蓋十?dāng)?shù)倍于其他同類服務(wù)提供商。Brightcloud提供了80多個(gè)詳細(xì)分類，覆蓋面廣，命中率、準(zhǔn)確率高。URL過(guò)濾的流程如下：當(dāng)用戶向web服務(wù)器發(fā)送請(qǐng)求的時(shí)候，流量會(huì)經(jīng)過(guò)CSS-WEB系統(tǒng)，此時(shí)CSS-WEB會(huì)檢測(cè)該URL是否屬于管理員定義的白名單中，如果命中則直接進(jìn)入緩存上網(wǎng)流程。如果該URL不屬于白名單，則查詢是否屬于黑名單中，如果屬于黑名單中，則直接禁止并重定向該URL。如果黑白名單都沒有命中，則查詢是否啟用了Brightcloud分類禁止功能，如果啟用了該功能，則查詢?cè)揢RL的分類，如果該分類被禁止，則重定向該URL。如果無(wú)法查詢到該URL的分類，則查看是否啟用了在線更新功能，如果啟用，則到互聯(lián)網(wǎng)上升級(jí)該URL的分類。如果在線更新依然無(wú)法獲得其分類，則查看配置，是否禁用unknown分類的URL。關(guān)鍵技術(shù)2：支持GZIP壓縮格式CSS-WEB支持GZIP壓縮格式傳輸，HTTP協(xié)議上的GZIP編碼是一種用來(lái)改進(jìn)WEB應(yīng)用程序性能的技術(shù)。大流量的WEB站點(diǎn)常常使用GZIP壓縮技術(shù)來(lái)讓用戶感受更快的速度。CSS-WEB支持GZIP壓縮傳輸，當(dāng)客戶端支持HTTP1.1協(xié)議時(shí)候，將會(huì)向服務(wù)器請(qǐng)求資源，當(dāng)服務(wù)器也支持GZIP的時(shí)候，就會(huì)把資源壓縮之后傳輸給用戶，在CSS-WEB緩存該資源的過(guò)程中也會(huì)將該壓縮后的資源進(jìn)行緩存，從而節(jié)省帶寬。GZIP壓縮的原理是在一個(gè)文本文件中找出類似的字符串，并臨時(shí)替換他們，使整個(gè)文件變小。這種形式的壓縮對(duì)Web來(lái)說(shuō)特別適合，因?yàn)镠TML和CSS文件通常包含大量的重復(fù)字符串，例如空格，標(biāo)簽，及樣式定義。GZIP支持的文件包括HTML、JavaScript、CSS和其他TEXT文件。在傳輸優(yōu)化測(cè)試中，使用GZIP方式壓縮的站點(diǎn)，其TEXT文件平均可以壓縮75%，壓縮率是相當(dāng)可觀的。如果每個(gè)用戶節(jié)約50%的帶寬，那么相同的帶寬就可以服務(wù)多一倍的客戶了。CSS-WEB服務(wù)器能夠?qū)eb服務(wù)器上的資源進(jìn)行GZIP壓縮，從而節(jié)省空間。對(duì)于不支持GZIP的瀏覽器，將緩存內(nèi)容提供給用戶的時(shí)候?qū)⑹紫冉鈮嚎s之后再傳輸給用戶。關(guān)鍵技術(shù)3：配置回退和初始化功能為解決誤操作帶來(lái)的后果，iCacheCSS-WEB提供了配置回退和初始化功能。并提供回退后的配置和現(xiàn)在配置的差別。其原理為每次進(jìn)行了配置修改后，iCacheCSS-WEB都會(huì)保持一份配置副本，另外也提供一份默認(rèn)配置。于是可以將每次的配置副本進(jìn)行對(duì)比，并進(jìn)行配置文件替換以完成配置回退功能。關(guān)鍵技術(shù)4：支持safesearch技術(shù)谷歌GoogleSafeSearch是一種從搜索結(jié)果中過(guò)濾掉色情內(nèi)容的技術(shù)。谷歌Google用戶可據(jù)需要設(shè)定所需級(jí)別。CSS-WEB支持設(shè)定是否開啟SafeSearch的默認(rèn)開啟狀態(tài)。例如，開啟safesearch功能之后，用戶搜索的URL為q=sex&safe=strict，表示搜索啟用了過(guò)濾功能，默認(rèn)情況下該功能是關(guān)閉的，用戶可以在“搜索設(shè)置”中來(lái)設(shè)置是否開啟該功能。管理員可以在CSS-WEB中設(shè)置是否默認(rèn)啟用該功能，當(dāng)啟用該功能之后，用戶使用google搜索引擎的時(shí)候，默認(rèn)的狀態(tài)都啟用了safesearch功能，從而能夠達(dá)到過(guò)濾色情圖片和文字效果，凈化上網(wǎng)環(huán)境。關(guān)鍵技術(shù)5：支持熱點(diǎn)統(tǒng)計(jì)技術(shù)CSS-WEB支持保持近期客戶訪問(wèn)記錄，并進(jìn)行數(shù)據(jù)挖掘。支持熱點(diǎn)統(tǒng)計(jì)，能夠顯示TOP100站點(diǎn)，并支持按照流量、按照緩存命中率來(lái)排序。關(guān)鍵技術(shù)6：優(yōu)化的存儲(chǔ)技術(shù)iCacheCSS-WEB憑借華為公司在存儲(chǔ)領(lǐng)域的深厚積累對(duì)緩存存儲(chǔ)技術(shù)做了深入的優(yōu)化，包括多核多線程技術(shù)，存儲(chǔ)調(diào)度技術(shù)等。iCacheCSS-WEB采用了強(qiáng)大的IntelNehalem平臺(tái)CPU，一臺(tái)CSS-WEB上有8個(gè)核，為充分利用處理器性能，對(duì)多線程處理進(jìn)行了深度優(yōu)化，保證充分利用每個(gè)核的處理能力。iCacheCSS-WEB針對(duì)互聯(lián)網(wǎng)緩存的特點(diǎn)，優(yōu)化了存儲(chǔ)調(diào)度技術(shù)，將小文件盡量保持在內(nèi)存中，將大文件保存在磁盤中，并在高效的調(diào)度算法下，盡量做到順序讀寫磁盤，以提高緩存設(shè)備的吞吐能力。 Video緩存Video基本原理和發(fā)展趨勢(shì)近年來(lái)隨著互聯(lián)網(wǎng)的發(fā)展，互聯(lián)網(wǎng)用戶數(shù)、互聯(lián)網(wǎng)應(yīng)用種類、網(wǎng)絡(luò)帶寬等都呈現(xiàn)出爆炸式的增長(zhǎng)，對(duì)社會(huì)和人們的生活產(chǎn)生了巨大的影響。在線視頻技術(shù)的發(fā)展給互聯(lián)網(wǎng)帶來(lái)的影響尤為廣泛，據(jù)預(yù)測(cè)，到2013年，91%的個(gè)人消費(fèi)者互聯(lián)網(wǎng)流量為視頻，在移動(dòng)流量中，66%為視頻。在線視頻和傳統(tǒng)的觀看視頻不同，視頻資源全部保存在視頻服務(wù)器上，用戶同過(guò)瀏覽器點(diǎn)播視頻，向服務(wù)器發(fā)送點(diǎn)播請(qǐng)求，服務(wù)器收到后查找用戶要點(diǎn)播的視頻并過(guò)網(wǎng)絡(luò)將對(duì)應(yīng)視頻傳到用戶的電腦上，電腦經(jīng)過(guò)處理通過(guò)顯示器把視頻呈現(xiàn)給用戶。在線視頻的迅速發(fā)展源于用戶上網(wǎng)習(xí)慣的轉(zhuǎn)變，在P2P盛行的時(shí)代，受限于網(wǎng)絡(luò)帶寬等因素，在線視頻的質(zhì)量較差，難以滿足用戶對(duì)于高品質(zhì)視頻內(nèi)容的需求，用戶習(xí)慣于“先下載，后體驗(yàn)”的上網(wǎng)模式，而隨著用戶接入帶寬的不斷提升，在線視頻正在迅速朝著高清化的趨勢(shì)發(fā)展，在這種情況下，寬帶用戶更傾向于選擇“即時(shí)體驗(yàn)”來(lái)獲取視頻等多媒體資源。Video緩存的部署方式Video緩存采用旁路部署模式，不需要改變現(xiàn)有網(wǎng)絡(luò)的組網(wǎng)結(jié)構(gòu)，不會(huì)增加故障點(diǎn)。緩存系統(tǒng)并不是位于正常的網(wǎng)絡(luò)流量經(jīng)過(guò)的路徑上，而是采用分光/鏡像的方式復(fù)制了一份流量，然后通過(guò)對(duì)復(fù)制的流量進(jìn)行分析后采用重定向技術(shù)將用戶的請(qǐng)求引導(dǎo)到緩存系統(tǒng)。這種部署模式有以下好處：對(duì)于緩存系統(tǒng)不關(guān)心的流量，緩存系統(tǒng)的存在與否對(duì)這些流量沒有任何影響。當(dāng)部分緩存設(shè)備下線時(shí)，業(yè)務(wù)連續(xù)性不會(huì)受到影響，重定向子系統(tǒng)將檢測(cè)到下線的緩存設(shè)備，并對(duì)位于這些設(shè)備上的資源停止發(fā)送重定向報(bào)文，用戶仍然可以從外網(wǎng)獲取資源。即使整套系統(tǒng)下線，業(yè)務(wù)連續(xù)性也不會(huì)受到影響，就跟沒有部署緩存系統(tǒng)時(shí)一樣，用戶直接從外網(wǎng)獲取資源。Video緩存工作流程：iCache采用熱點(diǎn)探測(cè)和被動(dòng)緩存技術(shù)，只有在內(nèi)網(wǎng)用戶訪問(wèn)同一資源達(dá)到熱點(diǎn)閥值后，才會(huì)把資源下載到緩存系統(tǒng)并為后續(xù)的用戶訪問(wèn)提供服務(wù)。在線視頻緩存的具體工作流程分為兩部分：用戶請(qǐng)求的資源達(dá)到熱度閥值前：用戶發(fā)起HTTPGET請(qǐng)求。RSS監(jiān)聽到該請(qǐng)求報(bào)文符合緩存基本標(biāo)準(zhǔn)，RSS查詢內(nèi)存中的白名單看資源是否已經(jīng)被緩存，如沒有，則查詢調(diào)度子系統(tǒng)DSS。DSS查詢緩存服務(wù)器中是否存在用戶請(qǐng)求的資源，如果沒有，則將資源的熱點(diǎn)閥值加1；DSS通知RSS用戶請(qǐng)求的資源沒有被緩存。重定向子系統(tǒng)不做任何操作，用戶仍然從源站獲取資源。DSS判斷用戶請(qǐng)求的資源是否達(dá)到熱度閥值，如果達(dá)到熱度閥值，DSS挑選其中一臺(tái)CSS服務(wù)器去外網(wǎng)下載資源。CSS服務(wù)器啟動(dòng)下載進(jìn)程。CSS服務(wù)器完成資源下載。CSS服務(wù)器通知DSS資源已經(jīng)下載完畢，并告知資源存儲(chǔ)的目錄，流程結(jié)束；用戶請(qǐng)求的資源達(dá)到熱度閥值并被緩存到本地后：用戶發(fā)起HTTPGET請(qǐng)求。RSS監(jiān)聽到該請(qǐng)求報(bào)文符合緩存基本標(biāo)準(zhǔn)，RSS查詢內(nèi)存中的白名單看資源是否已經(jīng)被緩存，如有，跳到步驟4；如沒有，則查詢調(diào)度子系統(tǒng)DSS。DSS返回保存有用戶請(qǐng)求資源的CSS服務(wù)器信息給RSS，RSS將信息記錄到本地的白名單中。RSS發(fā)送重定向報(bào)文給內(nèi)網(wǎng)用戶。內(nèi)網(wǎng)用戶接到重定向信息后連接CSS服務(wù)器進(jìn)行資源請(qǐng)求。關(guān)鍵技術(shù)1：緩存資源過(guò)濾技術(shù)根據(jù)客戶業(yè)務(wù)的需要，iCache系統(tǒng)黑白名單的管理功能，為運(yùn)營(yíng)商提供健康的緩存內(nèi)容?？梢詫?duì)敏感網(wǎng)站或者特定的資源進(jìn)行訪問(wèn)控制，將該資源的索引，refer等信息加入黑名單配置中，就可以實(shí)現(xiàn)對(duì)目標(biāo)資源的放行、阻斷和重定向功能。下面詳細(xì)介紹黑名單幾種狀態(tài)的意義：放行如果資源對(duì)象處于黑名單“放行”狀態(tài)時(shí)，當(dāng)用戶從外網(wǎng)獲取該資源時(shí)，但系統(tǒng)不會(huì)對(duì)該資源進(jìn)行緩存。所有用戶訪問(wèn)該資源一律從外網(wǎng)獲取。阻斷處于黑名單“阻斷”狀態(tài)時(shí)，當(dāng)用戶試圖從外網(wǎng)訪問(wèn)該資源時(shí)，RSS會(huì)及時(shí)斷掉內(nèi)網(wǎng)用戶和外網(wǎng)資源的連接，導(dǎo)致用戶訪問(wèn)失敗，阻斷用戶訪問(wèn)該資源。重定向如果資源對(duì)象處于“重定向”狀態(tài)時(shí)，當(dāng)用戶試圖從外網(wǎng)訪問(wèn)該資源時(shí)，RSS會(huì)及時(shí)斷掉內(nèi)網(wǎng)用戶和外網(wǎng)資源的連接，并把連接重定向到指定好的資源的URL地址，導(dǎo)致用戶只能訪問(wèn)指定的資源的內(nèi)容。關(guān)鍵技術(shù)2：緩存子系統(tǒng)功能的互換華為iCache（InternetCacheSystem）解決方案充分站在用戶的角度為用戶考慮，為了可以使客戶更有效的利用現(xiàn)有資源，節(jié)省客戶的投資成本和維護(hù)成本，成功開發(fā)了緩存子系統(tǒng)功能互換的功能。該功能可以使不同的緩存子系統(tǒng)之間（P2P和Video）無(wú)限制自由切換，當(dāng)客戶設(shè)備故障或需求改變時(shí)，華為iCache（InternetCacheSystem）解決方案可以快速響應(yīng)客戶，將對(duì)應(yīng)緩存子系統(tǒng)切換為客戶需要的類型，快速滿足客戶需求，解決客戶問(wèn)題，并有效的節(jié)約了客戶的投入成本，把可能問(wèn)題對(duì)用戶的影響降到最低。關(guān)鍵技術(shù)3：動(dòng)態(tài)URL地址判斷技術(shù)目前在線視屏網(wǎng)站采用的URL地址技術(shù)多數(shù)為動(dòng)態(tài)URL地址技術(shù)，這樣導(dǎo)致針對(duì)于普通網(wǎng)站的URL地址算法對(duì)于采用動(dòng)態(tài)地址的在線視頻網(wǎng)站沒有意義，只能產(chǎn)生大量的垃圾數(shù)據(jù)。華為iCache（InternetCacheSystem）解決方案采用動(dòng)態(tài)URL地址算法技術(shù)成功解決了這一難題，對(duì)于不同的動(dòng)態(tài)URL地址在線視頻網(wǎng)站分別采用獨(dú)特的算法，精確定位該網(wǎng)站每一個(gè)資源。不僅實(shí)現(xiàn)了網(wǎng)站資源的緩存和向用戶吐出資源數(shù)據(jù)的基本功能，有效的提升了用戶體驗(yàn)外等主流業(yè)務(wù)外，而且還可以通過(guò)黑名單對(duì)該網(wǎng)站資源進(jìn)行控制，很好幫助客戶的實(shí)現(xiàn)了上網(wǎng)行為管理等增值業(yè)務(wù)。 P2P緩存P2P是peertopeer的縮寫，就是數(shù)據(jù)不存放在統(tǒng)一的資源服務(wù)器上，而是存放在各個(gè)用戶上的數(shù)據(jù)進(jìn)行共享，每個(gè)用戶下載的資源都是從其他用戶下載，實(shí)現(xiàn)這種數(shù)據(jù)傳輸而制定的協(xié)議稱著P2P協(xié)議，采用P2P協(xié)議進(jìn)行用戶間數(shù)據(jù)傳輸?shù)能浖Q著P2P軟件，常見P2P軟件有BT、eMule、XL（迅雷）等。以往占據(jù)主導(dǎo)地位的互聯(lián)網(wǎng)架構(gòu)是客戶端/服務(wù)器(Client/Server)結(jié)構(gòu)。互聯(lián)網(wǎng)以服務(wù)器為中心，各種各樣的資源，包括文字、圖片、音樂(lè)、電影等都存放在服務(wù)器的硬盤上，網(wǎng)民把自己的電腦作為客戶端通過(guò)網(wǎng)絡(luò)連到服務(wù)器上檢索、下載、上傳資料，在這種架構(gòu)下，客戶端和服務(wù)器存在著明顯的主從關(guān)系，而P2P模式，也稱為對(duì)等網(wǎng)絡(luò)(PeertoPeer)結(jié)構(gòu)，它的本質(zhì)思想是，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中不存在中心節(jié)點(diǎn)(或中心服務(wù)器)，在P2P結(jié)構(gòu)中，每一個(gè)節(jié)點(diǎn)(Peer)大都同時(shí)具有信息消費(fèi)者、信息提供者和信息通訊等三方面的功能，在P2P網(wǎng)絡(luò)中每一個(gè)節(jié)點(diǎn)所擁有的權(quán)利和義務(wù)都是對(duì)等的。P2P緩存部署方式目前現(xiàn)網(wǎng)中網(wǎng)絡(luò)設(shè)備部署方式主要有直路和旁路兩種結(jié)構(gòu)，在直路模式中網(wǎng)絡(luò)設(shè)備需要串行連接到主干線路上，旁路部署則不需要將設(shè)備串進(jìn)主干線路，只需要鏡像、分光等方式將流量負(fù)復(fù)制一份給旁路網(wǎng)絡(luò)設(shè)備。iCache系統(tǒng)采用旁路部署模式，與直路比具有以下優(yōu)勢(shì)：不需要改變現(xiàn)有網(wǎng)絡(luò)的組網(wǎng)結(jié)構(gòu)，緩存系統(tǒng)并不是位于正常的網(wǎng)絡(luò)流量經(jīng)過(guò)的路徑上，而是采用分光/鏡像的方式復(fù)制了一份流量，然后通過(guò)對(duì)復(fù)制的流量進(jìn)行分析后采用重定向技術(shù)將用戶的請(qǐng)求引導(dǎo)到緩存系統(tǒng)。不會(huì)增加故障點(diǎn)。由于在主干線路上沒有增加任何設(shè)備，故不會(huì)增加故障點(diǎn)。對(duì)于緩存系統(tǒng)不關(guān)心的流量，緩存系統(tǒng)的存在與否對(duì)這些流量沒有任何影響。當(dāng)部分緩存設(shè)備下線時(shí)，業(yè)務(wù)連續(xù)性不會(huì)受到影響，重定向子系統(tǒng)將檢測(cè)到下線的緩存設(shè)備，并對(duì)位于這些設(shè)備上的資源停止發(fā)送重定向報(bào)文，用戶仍然可以從外網(wǎng)獲取資源。即使整套系統(tǒng)下線，業(yè)務(wù)連續(xù)性也不會(huì)受到影響，就跟沒有部署緩存系統(tǒng)時(shí)一樣，用戶直接從外網(wǎng)獲取資源。P2P緩存工作流程：iCache系統(tǒng)支持BT、eMule、XL、PPS等多種P2P協(xié)議，由于每種協(xié)議特征的不同，所以對(duì)不同協(xié)議的資源提供緩存服務(wù)的原理也有所不同。BTCacheiCache在完成BT資源緩存時(shí)，由RSS、DSS和CSS共同完成，其熱點(diǎn)處理機(jī)制與在線視頻的不同：檢測(cè)用戶訪問(wèn)流量中包含的資源請(qǐng)求信息，一旦檢測(cè)到P2P資源請(qǐng)求立即啟動(dòng)P2P緩存資源進(jìn)棧。緩存設(shè)備邊下載資源邊為用戶提供緩存加速服務(wù)，未緩存資源片段仍然通過(guò)外網(wǎng)下載。BT緩存的具體工作流程為：用戶出口流量被復(fù)制到監(jiān)控服務(wù)器RSS監(jiān)控口,RSS對(duì)出口流量進(jìn)行深度分析，識(shí)別出網(wǎng)內(nèi)用戶對(duì)外的BT下載請(qǐng)求。RSS發(fā)送重定向報(bào)文給用戶，將用戶請(qǐng)求重定向到DSS，DSS將充當(dāng)代理Tracker服務(wù)器的角色。DSS檢索本地緩存系統(tǒng)，如果已經(jīng)存在用戶所需的數(shù)據(jù)資源，會(huì)將存有相關(guān)數(shù)據(jù)的緩存子系統(tǒng)CSS服務(wù)器的IP地址以及同時(shí)參與該任務(wù)的內(nèi)網(wǎng)其他用戶的IP地址列表，通過(guò)PEERLIST反饋給用戶，用戶根據(jù)所反饋PEERLIST中的IP地址建立連接，從CSS緩存服務(wù)器上和內(nèi)網(wǎng)其它用戶處獲取數(shù)據(jù)；如果本地緩存系統(tǒng)里未包含用戶所需要的數(shù)據(jù)資源，DSS會(huì)調(diào)配某一臺(tái)BT緩存服務(wù)器去外網(wǎng)下載該資源，并將該BT緩存服務(wù)器IP地址通過(guò)PeerList反饋給用戶，BT緩存服務(wù)器一邊從外網(wǎng)下載一邊為內(nèi)網(wǎng)用戶提供緩存服務(wù)。eMuleCacheiCache在完成eMule資源緩存時(shí)，其熱點(diǎn)處理機(jī)制跟BT類似，與BT不同的是，eMule的緩存處理流程不需要DSS作為Tracker服務(wù)器參與。eMule緩存的具體工作流程為：RSS對(duì)出口流量進(jìn)行深度分析，識(shí)別出網(wǎng)內(nèi)用戶對(duì)外的eMule下載請(qǐng)求。RSS根據(jù)配置策略通過(guò)UDP報(bào)文向用戶發(fā)送負(fù)責(zé)緩存該eMule資源的eMule緩存服務(wù)器的IP地址，普通eMule客戶端收到RSS發(fā)送的帶有緩存服務(wù)器IP地址的UDP報(bào)文后會(huì)自動(dòng)識(shí)別該報(bào)文,并將報(bào)文中的緩存服務(wù)器地址增加到本機(jī)的資源用戶列表中，同時(shí)會(huì)向這些IP請(qǐng)求下載數(shù)據(jù)。關(guān)鍵技術(shù)1：重定向技術(shù)及調(diào)度機(jī)制iCache緩存系統(tǒng)通過(guò)重定向技術(shù)將P2P流量引導(dǎo)到運(yùn)營(yíng)商內(nèi)部，采取數(shù)據(jù)內(nèi)部消化的方式，當(dāng)用戶請(qǐng)求下載P2P資源時(shí)，iCache緩存系統(tǒng)會(huì)向用戶發(fā)送重定向報(bào)文，使用戶到iCache緩存系統(tǒng)獲取數(shù)據(jù)，如果緩存系統(tǒng)已經(jīng)緩存該數(shù)據(jù)，則直接快速?gòu)木彺嫦到y(tǒng)獲取資源，當(dāng)緩存系統(tǒng)還沒緩存該資源時(shí)，緩存系統(tǒng)啟動(dòng)緩存功能對(duì)數(shù)據(jù)進(jìn)行緩存同時(shí)提供給用戶，這樣大量減少用戶到外網(wǎng)下載數(shù)據(jù)，節(jié)省出口流量，降低運(yùn)維成本。關(guān)鍵技術(shù)2：熱點(diǎn)內(nèi)容管理iCache緩存系統(tǒng)提供強(qiáng)大的管理功能，ISP可以根據(jù)時(shí)間段查詢時(shí)間段內(nèi)用戶下載的熱點(diǎn)資源，ISP也可以快速查詢當(dāng)前top100的熱點(diǎn)資源，熱點(diǎn)內(nèi)容管理提供給ISP一個(gè)了解用戶行為的當(dāng)前熱點(diǎn)資源信息。關(guān)鍵技術(shù)3：存儲(chǔ)容量需求的發(fā)展趨勢(shì)及iCache的海量存儲(chǔ)iCache緩存系統(tǒng)具有大容量高性能的特性，進(jìn)入互聯(lián)網(wǎng)信息化時(shí)代后，互聯(lián)網(wǎng)中的數(shù)據(jù)每年都在以指數(shù)形式增長(zhǎng)，iCache緩存系統(tǒng)能實(shí)現(xiàn)無(wú)限的擴(kuò)容，單臺(tái)緩存的系統(tǒng)數(shù)據(jù)存儲(chǔ)容量可達(dá)20T，每增加一臺(tái)緩存子系統(tǒng)可以增加20T存儲(chǔ)容量。關(guān)鍵技術(shù)4：分布在不同網(wǎng)站的相同內(nèi)容的判斷機(jī)制，可避免重復(fù)緩存iCache緩存系統(tǒng)配備了智能識(shí)別系統(tǒng)，對(duì)資源的識(shí)別不是單靠資源名稱、資源URL來(lái)對(duì)資源進(jìn)行識(shí)別，iCache智能識(shí)別系統(tǒng)能夠根據(jù)內(nèi)容本身進(jìn)行區(qū)分，即使修改了文件的相同資源的名稱iCache也能識(shí)別出來(lái)，并不會(huì)出現(xiàn)重復(fù)緩存的現(xiàn)象。在相同資源廣泛分布的情況下，無(wú)智能識(shí)別的功能的重復(fù)數(shù)據(jù)將是幾十倍成百倍。iCache緩存系統(tǒng)的智能識(shí)別系統(tǒng)極大的節(jié)省了存儲(chǔ)空間。iCache系統(tǒng)可靠性 Web緩存可靠性Web緩存采用策略路由（PBR）的方式直路部署，一般情況下會(huì)部署多臺(tái)WebCache設(shè)備，因此需要配套負(fù)載均衡器在多臺(tái)WebCache之間進(jìn)行負(fù)載分擔(dān)。負(fù)載均衡器具備健康檢測(cè)機(jī)制，可以實(shí)時(shí)監(jiān)控WebCache設(shè)備的可用性，一旦發(fā)現(xiàn)某臺(tái)WebCache設(shè)備故障，將停止向故障設(shè)備轉(zhuǎn)發(fā)流量。此外，負(fù)載均衡器也可以采用主備模式雙機(jī)部署，進(jìn)一步提高了可靠性。Video緩存及P2P緩存Video緩存和P2P緩存采用旁路部署，不需要改變現(xiàn)有網(wǎng)絡(luò)的組網(wǎng)結(jié)構(gòu)，不會(huì)增加故障點(diǎn)。緩存系統(tǒng)并不是位于正常的網(wǎng)絡(luò)流量經(jīng)過(guò)的路徑上，而是采用分光/鏡像的方式復(fù)制了一份流量，然后通過(guò)對(duì)復(fù)制的流量進(jìn)行分析后采用重定向技術(shù)將用戶的請(qǐng)求引導(dǎo)到緩存系統(tǒng)。這種部署模式有以下好處：對(duì)于緩存系統(tǒng)不關(guān)心的流量，緩存系統(tǒng)的存在與否對(duì)這些流量沒有任何影響。當(dāng)部分緩存設(shè)備下線時(shí)，業(yè)務(wù)連續(xù)性不會(huì)受到影響，重定向子系統(tǒng)將檢測(cè)到下線的緩存設(shè)備，并對(duì)位于這些設(shè)備上的資源停止發(fā)送重定向報(bào)文，用戶仍然可以從外網(wǎng)獲取資源。即使整套系統(tǒng)下線，業(yè)務(wù)連續(xù)性也不會(huì)受到影響，就跟沒有部署緩存系統(tǒng)時(shí)一樣，用戶直接從外網(wǎng)獲取資源。iCache系統(tǒng)主要指標(biāo)說(shuō)明吞吐量（Throughput）吞吐量（Throughput）：緩存設(shè)備單位時(shí)間內(nèi)成功地傳送給客戶的數(shù)據(jù)數(shù)量，單位為Mbps，此指標(biāo)為緩存設(shè)備最為重要的指標(biāo)之一，直接反映了對(duì)運(yùn)營(yíng)商的價(jià)值?？梢酝ㄟ^(guò)管理子系統(tǒng)查看緩存設(shè)備的吞吐量數(shù)據(jù)。命中率（HitRatio）命中率指標(biāo)主要分為兩種：請(qǐng)求命中率（RequestHitRatio）：按照用戶每次請(qǐng)求命中與否的數(shù)量統(tǒng)計(jì)。（用戶請(qǐng)求資源時(shí)，在緩存服務(wù)器中緩存了則稱