云計(jì)算分布式緩存技術(shù)及其在物聯(lián)網(wǎng)中的應(yīng)用_第1頁
云計(jì)算分布式緩存技術(shù)及其在物聯(lián)網(wǎng)中的應(yīng)用_第2頁
云計(jì)算分布式緩存技術(shù)及其在物聯(lián)網(wǎng)中的應(yīng)用_第3頁
云計(jì)算分布式緩存技術(shù)及其在物聯(lián)網(wǎng)中的應(yīng)用_第4頁
云計(jì)算分布式緩存技術(shù)及其在物聯(lián)網(wǎng)中的應(yīng)用_第5頁
已閱讀5頁,還剩4頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

1、云計(jì)算分布布式緩存技技術(shù)及其在在物聯(lián)網(wǎng)中中的應(yīng)用 多多網(wǎng)融合、低碳節(jié)能能、物物互互聯(lián)及移動(dòng)動(dòng)互聯(lián)網(wǎng),這這些當(dāng)今社社會(huì)的熱點(diǎn)點(diǎn)需求,催催生了云計(jì)計(jì)算技術(shù)的的發(fā)展;隨隨著PC性性能提升、成本下降降以及網(wǎng)絡(luò)絡(luò)技術(shù)的發(fā)發(fā)展,構(gòu)建建分布式的的業(yè)務(wù)計(jì)算算環(huán)境比集集中的大型型機(jī)的業(yè)務(wù)務(wù)環(huán)境更具具有成本和和技術(shù)優(yōu)勢勢,為云計(jì)計(jì)算的發(fā)展展提供了強(qiáng)強(qiáng)大的技術(shù)術(shù)驅(qū)動(dòng)力;Googgle,AAmazoon,Saalesfforcee等IT巨巨頭更是推推出了基于于云計(jì)算的的服務(wù),并并取得了巨巨大的成功功,讓人們們看到了云云計(jì)算所帶帶來的巨大大優(yōu)勢和影影響力;這這也讓世界界各國政府府對(duì)云計(jì)算算的發(fā)展的的非常重視視,中國政政

2、府在“十十二五”信信息規(guī)劃的的技術(shù)背景景中特別對(duì)對(duì)云計(jì)算技技術(shù)做了闡闡述,明確確提出云計(jì)計(jì)算技術(shù)是是中國下一一個(gè)五年信信息化產(chǎn)業(yè)業(yè)發(fā)展的重重點(diǎn)領(lǐng)域之之一,為云云計(jì)算的發(fā)發(fā)展提供了了政策驅(qū)動(dòng)動(dòng)力1-2。 正正是在這樣樣的需求、技術(shù)、應(yīng)應(yīng)用和政策策的背景下下,云計(jì)算算成為ITT業(yè)界共同同認(rèn)可的主主流聲音。云計(jì)算其其實(shí)就是把把所有的計(jì)計(jì)算應(yīng)用和和信息資源源都用網(wǎng)絡(luò)絡(luò)連接起來來,供個(gè)人人和應(yīng)用隨隨時(shí)訪問、管理和使使用。云計(jì)計(jì)算服務(wù)提提供資源,包包括計(jì)算、存儲(chǔ)及網(wǎng)網(wǎng)絡(luò)資源,需需要能夠?qū)崒?shí)現(xiàn)海量的的存儲(chǔ)、出出色的安全全性和可靠靠性;云計(jì)計(jì)算提供的的服務(wù)應(yīng)該該是動(dòng)態(tài)的的、可擴(kuò)展展的,能夠夠根據(jù)用戶戶和應(yīng)用的

3、的規(guī)模進(jìn)行行動(dòng)態(tài)伸縮縮,并且這這種伸縮所所需要的時(shí)時(shí)間是短暫暫、迅速的的;云計(jì)算算平臺(tái)應(yīng)該該能夠提供供開發(fā)應(yīng)用用程序編程程接口(AAPI)、環(huán)境和工工具,供各各種應(yīng)用進(jìn)進(jìn)行使用。只有這樣樣云計(jì)算平平臺(tái)才能夠夠和應(yīng)用很很好地結(jié)合合起來,使使得傳統(tǒng)的的集中式應(yīng)應(yīng)用方便地地遷移成高高性能、高高可靠且易易擴(kuò)展的分分布式的云云計(jì)算應(yīng)用用,為用戶戶提供類型型多樣的云云服務(wù)。 云云計(jì)算是物物聯(lián)網(wǎng)發(fā)展展的基礎(chǔ)?;ヂ?lián)網(wǎng)主主要解決人人與人的互互聯(lián),連接接了虛擬與與真實(shí)的空空間;而物物聯(lián)網(wǎng)主要要解決的是是物與物之之間的互聯(lián)聯(lián),連接了了現(xiàn)實(shí)與物物理世界。物聯(lián)網(wǎng)是是以互聯(lián)網(wǎng)網(wǎng)的發(fā)展為為前提的。隨著物聯(lián)聯(lián)網(wǎng)應(yīng)用的的發(fā)展、

4、終終端數(shù)量的的增長,會(huì)會(huì)產(chǎn)生非常常龐大的數(shù)數(shù)據(jù)流,這這時(shí)就需要要一個(gè)非常常強(qiáng)大的信信息處理中中心。傳統(tǒng)統(tǒng)的信息處處理中心是是難以滿足足這種計(jì)算算需求的,在在應(yīng)用層就就需要引入入云計(jì)算中中心處理海海量信息,進(jìn)進(jìn)行輔助決決策。云計(jì)計(jì)算作為一一種虛擬化化、分布式式和并行計(jì)計(jì)算的解決決方案,可可以為物聯(lián)聯(lián)網(wǎng)提供高高效的計(jì)算算能力、海海量的存儲(chǔ)儲(chǔ)能力,為為泛在鏈接接的物聯(lián)網(wǎng)網(wǎng)提供網(wǎng)絡(luò)絡(luò)引擎和支支撐。1 分布式式緩存的發(fā)發(fā)展 在互聯(lián)聯(lián)網(wǎng)應(yīng)用剛剛起步時(shí),各各種平臺(tái)大大多采用的的是關(guān)系型型數(shù)據(jù)庫。那時(shí)PCC機(jī)昂貴、性能低下下并且網(wǎng)絡(luò)絡(luò)不普及,而而關(guān)系型數(shù)數(shù)據(jù)庫因?yàn)闉樘幚砟芰α?qiáng)、數(shù)據(jù)據(jù)安全可靠靠、一致性性好等

5、優(yōu)勢勢,一直處處于主導(dǎo)地地位,并發(fā)發(fā)揮了重要要的作用。隨著互聯(lián)聯(lián)網(wǎng)的發(fā)展展,特別是是WEB 2.0等等交互式、個(gè)性化應(yīng)應(yīng)用的出現(xiàn)現(xiàn),數(shù)據(jù)量量急劇增加加,傳統(tǒng)的的關(guān)系型數(shù)數(shù)據(jù)庫已經(jīng)經(jīng)無法滿足足這種快速速增長的存存儲(chǔ)需求。為此不少少IT服務(wù)務(wù)提供商都都設(shè)計(jì)開發(fā)發(fā)了自己的的存儲(chǔ)系統(tǒng)統(tǒng),如亞馬馬遜在20007年110月份開開發(fā)出的DDynammo就是其其中非常典典型的一種種存儲(chǔ)系統(tǒng)統(tǒng)(如圖11所示),作作為狀態(tài)管管理組件和和存儲(chǔ)服務(wù)務(wù)的基礎(chǔ)被被用于眾多多的亞馬遜遜的系統(tǒng)中中3-44。 對(duì)對(duì)于Gooogle,AAmazoon,淘寶寶這樣的互互聯(lián)網(wǎng)企業(yè)業(yè),每時(shí)每每刻都有無無數(shù)的用戶戶在使用它它們提供的的互

6、聯(lián)網(wǎng)服服務(wù),這些些服務(wù)帶來來的是大量量的數(shù)據(jù)吞吞吐量,在在同一時(shí)間間,并發(fā)的的會(huì)有成千千上萬的連連接對(duì)數(shù)據(jù)據(jù)庫進(jìn)行操操作。在這這種情況下下,單臺(tái)服服務(wù)器或者者幾臺(tái)服務(wù)務(wù)器遠(yuǎn)遠(yuǎn)不不能滿足這這些數(shù)據(jù)的的處理需求求,單靠提提升服務(wù)器器性也已經(jīng)經(jīng)改變不了了該情況,所所以唯一可可以采用的的辦法就是是擴(kuò)展服務(wù)務(wù)器的規(guī)模模。服務(wù)器器規(guī)模擴(kuò)展展通常有兩兩種方法:一種是仍仍然采用關(guān)關(guān)系型數(shù)據(jù)據(jù)庫,然后后通過對(duì)數(shù)數(shù)據(jù)庫的垂垂直和水平平切割將整整個(gè)數(shù)據(jù)庫庫部署到一一個(gè)集群上上,這種方方法的優(yōu)點(diǎn)點(diǎn)在于可以以采用基于于關(guān)系型數(shù)數(shù)據(jù)庫(RRDBMSS)的技術(shù)術(shù),但缺點(diǎn)點(diǎn)在于它是是針對(duì)特定定應(yīng)用,實(shí)實(shí)施非常困困難;另外外一

7、種方法法就是Goooglee和Amaazon所所采用的方方法,拋棄棄關(guān)系型數(shù)數(shù)據(jù)庫,采采用Keyy-Vallue形式式的存儲(chǔ),這這樣可以極極大地增強(qiáng)強(qiáng)系統(tǒng)的可可擴(kuò)展性。事實(shí)上,基基于Keyy-Vallue的分分布式緩存存就是由于于Googgle的BBigTaable,AAmazoon的Dyynamoo以及Faaceboook的CCassaandraa等相關(guān)論論文的發(fā)表表而慢慢進(jìn)進(jìn)入人們的的視野,這這些互聯(lián)網(wǎng)網(wǎng)巨頭在分分布式緩存存上的成功功實(shí)踐也使使之成為了了云計(jì)算的的核心技術(shù)術(shù)5。2 分布式式緩存技術(shù)術(shù)2.1 分分布式緩存存的部署方方式 緩存服服務(wù)器集群群采用無主主架構(gòu),所所有服務(wù)器器節(jié)點(diǎn)地位

8、位完全一致致,互相之之間采用網(wǎng)網(wǎng)狀的全連連接方式。應(yīng)用通過過調(diào)用分布布式緩存提提供的APPI對(duì)數(shù)據(jù)據(jù)進(jìn)行透明明訪問,無無需關(guān)心數(shù)數(shù)據(jù)在后端端服務(wù)節(jié)點(diǎn)點(diǎn)的分布情情況。數(shù)據(jù)據(jù)在集群各各節(jié)點(diǎn)均勻勻分布,集集群數(shù)據(jù)處處理能力隨隨集群中節(jié)節(jié)點(diǎn)數(shù)量的的擴(kuò)充呈線線性增長。集群通過過數(shù)據(jù)的多多副本機(jī)制制能夠提高高系統(tǒng)的可可用性,某某幾臺(tái)服務(wù)務(wù)節(jié)點(diǎn)的宕宕機(jī)對(duì)應(yīng)用用的數(shù)據(jù)訪訪問沒有任任何影響。服務(wù)器節(jié)節(jié)點(diǎn)能夠根根據(jù)應(yīng)用的的需求靈活活配置數(shù)據(jù)據(jù)是否持久久化存儲(chǔ)。 分分布式緩存存同時(shí)提供供操作控制制臺(tái),能夠夠登錄到任任何一個(gè)服服務(wù)節(jié)點(diǎn)并并對(duì)集群的的成員關(guān)系系、訪問負(fù)負(fù)荷、數(shù)據(jù)據(jù)分布進(jìn)行行監(jiān)控和配配置,同時(shí)時(shí)通過操作作

9、維護(hù)臺(tái)可可以完成分分布式緩存存集群軟件件版本的安安裝、升級(jí)級(jí)和配置。目前分布布式緩存提提供基于命命令行(ttelneet登錄)和和基于B/S的圖形形化運(yùn)維方方式。分布布式緩存系系統(tǒng)的具體體部署如圖圖2所示。2.2 分分布式緩存存功能架構(gòu)構(gòu) 分布式緩緩存為應(yīng)用用程序提供供了客戶端端程序庫以以及若干數(shù)數(shù)據(jù)服務(wù)節(jié)節(jié)點(diǎn)組成的的服務(wù)集群群,客戶端端通過和數(shù)數(shù)據(jù)服務(wù)節(jié)節(jié)點(diǎn)通信形形成可用服服務(wù)器列表表,并將應(yīng)應(yīng)用程序提提交的存取取請(qǐng)求通過過路由算法法映射到一一個(gè)確定的的數(shù)據(jù)服務(wù)務(wù)節(jié)點(diǎn)上,具具體的功能能架構(gòu)如圖圖3中所示示。 數(shù)數(shù)據(jù)服務(wù)節(jié)節(jié)點(diǎn)主要分分成3個(gè)層層次:通信信支撐層、數(shù)據(jù)處理理層和數(shù)據(jù)據(jù)存取層。通信

10、支撐層層主要負(fù)責(zé)責(zé)通信協(xié)議議適配,根根據(jù)數(shù)據(jù)處處理層中路路由鏈路管管理模塊的的指示進(jìn)行行端口的偵偵聽和主動(dòng)動(dòng)建鏈,同同時(shí)完成底底層通信數(shù)數(shù)據(jù)包的發(fā)發(fā)送和接收收。 數(shù)據(jù)處理層層包括路由由鏈路管理理模塊、訪訪問控制處處理模塊以以及數(shù)據(jù)遷遷移控制模模塊。 數(shù)據(jù)存儲(chǔ)層層提供內(nèi)存存/SSDD/硬盤介介質(zhì)的三級(jí)級(jí)存儲(chǔ)管理理,具體可可以根據(jù)應(yīng)應(yīng)用的要求求進(jìn)行不同同的配置。內(nèi)存管理理關(guān)注內(nèi)存存分配的效效率以及如如何避免內(nèi)內(nèi)存碎片的的形成,并并根據(jù)數(shù)據(jù)據(jù)訪問頻度度進(jìn)行最近近最少使用用算法(LLRU)控控制。SSSD和硬盤盤存儲(chǔ)模式式在保證訪訪問性能的的同時(shí)提供供數(shù)據(jù)的持持久化存儲(chǔ)儲(chǔ),在這兩兩種存儲(chǔ)模模式下數(shù)據(jù)據(jù)

11、不會(huì)隨著著服務(wù)節(jié)點(diǎn)點(diǎn)重新啟動(dòng)動(dòng)而丟失。數(shù)據(jù)存儲(chǔ)儲(chǔ)層提供數(shù)數(shù)據(jù)生存期期管理機(jī)制制,能夠自自動(dòng)清理過過期數(shù)據(jù)。2.3 分分布式緩存存關(guān)鍵技術(shù)術(shù) 分布式緩緩存在保證證數(shù)據(jù)訪問問可靠性、最終一致致性的同時(shí)時(shí)對(duì)應(yīng)用提提供高吞吐吐、低時(shí)延延的訪問服服務(wù),通過過增加數(shù)據(jù)據(jù)服務(wù)節(jié)點(diǎn)點(diǎn)即能實(shí)現(xiàn)現(xiàn)處理能力力的性能擴(kuò)擴(kuò)充,擴(kuò)容容過程對(duì)應(yīng)應(yīng)用訪問完完全透明。下面對(duì)分分布式緩存存涉及的關(guān)關(guān)鍵技術(shù)進(jìn)進(jìn)行介紹。2.3.11 NRWW多副本機(jī)機(jī)制 分布式式緩存通過過多副本機(jī)機(jī)制實(shí)現(xiàn)數(shù)數(shù)據(jù)訪問的的可靠性,同同時(shí)多個(gè)副副本之間的的數(shù)據(jù)同步步又會(huì)帶來來性能和一一致性的問問題。我們們采用NRRW多副本本技術(shù)來保保證數(shù)據(jù)在在可靠性、高

12、性能訪訪問以及最最終一致性性之間取得得平衡。圖圖4是NRRW機(jī)制的的示意圖,其其中N是一一個(gè)數(shù)據(jù)的的副本數(shù),RR代表一次次成功的讀讀取操作中中最小參與與節(jié)點(diǎn)數(shù)量量,W代表表一次成功功的寫操作作中最小參參與節(jié)點(diǎn)數(shù)數(shù)量。當(dāng)分分布式緩存存的訪問模模型滿足RR+W N時(shí)就能能保證數(shù)據(jù)據(jù)訪問的可可靠性和一一致性。 RR和W直接接影響性能能、可用性性和一致性性。如果WW設(shè)置 為為 1,則則分布式緩緩存集群中中只要有一一個(gè)節(jié)點(diǎn)可可用,就不不會(huì)影響寫寫操作;如如果R 設(shè)設(shè)置為1,則則分布式緩緩存集群中中只要有一一個(gè)節(jié)點(diǎn)可可用,就不不會(huì)影響讀讀請(qǐng)求。但但顯而易見見R 和WW值過小都都會(huì)對(duì)影響響數(shù)據(jù)訪問問的性能和

13、和可用性,為為兼顧性能能、可用性性和一致性性,這兩個(gè)個(gè)值一定要要合理設(shè)置置。2.3.22 一致性性Hashh和虛節(jié)點(diǎn)點(diǎn) 一致性HHash需需要首先求求出分布式式緩存數(shù)據(jù)據(jù)服務(wù)器(節(jié)節(jié)點(diǎn))的哈哈希值,并并將其配置置到02232的圓圓上,用同同樣的方法法求出存儲(chǔ)儲(chǔ)數(shù)據(jù)的鍵鍵的哈希值值,并映射射到圓上。然后從數(shù)數(shù)據(jù)映射到到的位置開開始順時(shí)針針查找,將將數(shù)據(jù)保存存到找到的的第一個(gè)服服務(wù)器上。如果超過過232仍仍然找不到到服務(wù)器,就就會(huì)保存到到第一臺(tái)緩緩存數(shù)據(jù)服服務(wù)器上。因?yàn)閿?shù)據(jù)據(jù)節(jié)點(diǎn)服務(wù)務(wù)器的機(jī)型型并不統(tǒng)一一,其性能能和容量是是不同的,可可以使一個(gè)個(gè)物理節(jié)點(diǎn)點(diǎn)負(fù)責(zé)多個(gè)個(gè)Hashh區(qū)間的處處理,使高高端

14、機(jī)器能能夠被充分分利用。在在出現(xiàn)熱區(qū)區(qū)時(shí),可以以將過熱的的Hashh區(qū)間以虛虛擬節(jié)點(diǎn)的的方式放在在負(fù)荷較低低的物理節(jié)節(jié)點(diǎn)上。 分分布式緩存存平臺(tái)結(jié)合合了一致性性Hashh和虛擬節(jié)節(jié)點(diǎn)的特點(diǎn)點(diǎn)并加以改改進(jìn),形成成了如圖55的方案:將2322的Hassh空間等等分為若干干分片,每每個(gè)分片即即是一個(gè)虛虛節(jié)點(diǎn),根根據(jù)各物理理節(jié)點(diǎn)性能能差異配置置處理不同同數(shù)量的虛虛節(jié)點(diǎn),這這些虛節(jié)點(diǎn)點(diǎn)在物理節(jié)節(jié)點(diǎn)上的部部署關(guān)系即即形成虛節(jié)節(jié)點(diǎn)的路由由。 通通過一致性性Hashh和虛節(jié)點(diǎn)點(diǎn)相結(jié)合的的方式,實(shí)實(shí)現(xiàn)了數(shù)據(jù)據(jù)在集群的的均勻分布布,同時(shí)也也實(shí)現(xiàn)了數(shù)數(shù)據(jù)服務(wù)器器節(jié)點(diǎn)熱點(diǎn)點(diǎn)的消除。2.3.33 智能路路由交換 路路由

15、是指分分布式緩存存集群中虛虛節(jié)點(diǎn)在數(shù)數(shù)據(jù)服務(wù)節(jié)節(jié)點(diǎn)上的分分布情況。分布式緩緩存平臺(tái)構(gòu)構(gòu)建了一個(gè)個(gè)分布式鎖鎖同步系統(tǒng)統(tǒng)來存放全全局路由表表,這張路路由表是分分布緩存集集群路由管管理的基準(zhǔn)準(zhǔn)表,路由由變更時(shí)必必須要首先先修改這張張路由表中中對(duì)應(yīng)的路路由記錄。 為為避免每次次路由查找找都需要查查詢分布式式鎖服務(wù),各各數(shù)據(jù)服務(wù)務(wù)節(jié)點(diǎn)在本本地同時(shí)存存儲(chǔ)全局路路由表,路路由查找時(shí)時(shí)可直接在在本地進(jìn)行行。這樣帶帶來的一個(gè)個(gè)問題是本本地路由記記錄可能已已經(jīng)過期,因因此在路由由記錄中增增加修改時(shí)時(shí)間戳來進(jìn)進(jìn)行路由記記錄版本的的控制,舉舉例說明: (1) 第第10號(hào)虛虛節(jié)點(diǎn)的路路由信息是是:存在33個(gè)副本,依依次

16、存放在在服務(wù)節(jié)點(diǎn)點(diǎn)A、B、C上,該該條路由信信息在集群群中所有節(jié)節(jié)點(diǎn)本地都都有存儲(chǔ)。 (2) AA節(jié)點(diǎn)發(fā)生生故障宕機(jī)機(jī),在A宕宕機(jī)期間,操操作員對(duì)110號(hào)虛節(jié)節(jié)點(diǎn)的路由由記錄進(jìn)行行了手工調(diào)調(diào)整:仍然然是3個(gè)副副本,依次次存放在服服務(wù)器節(jié)點(diǎn)點(diǎn)A 、DD、C上,集集群中除AA節(jié)點(diǎn)外都都完成了本本地路由記記錄的更新新。 (3) 此此后A恢復(fù)復(fù)了服務(wù),AA節(jié)點(diǎn)本地地10號(hào)虛虛節(jié)點(diǎn)的路路由記錄成成為一個(gè)過過期的記錄錄,當(dāng)A節(jié)節(jié)點(diǎn)收到落落在10號(hào)號(hào)虛節(jié)點(diǎn)上上的數(shù)據(jù)讀讀寫請(qǐng)求時(shí)時(shí),就會(huì)對(duì)對(duì)B、C節(jié)節(jié)點(diǎn)的副本本進(jìn)行訪問問,訪問時(shí)時(shí)會(huì)帶上本本地10號(hào)號(hào)路由記錄錄的時(shí)間戳戳,B、CC節(jié)點(diǎn)收到到訪問請(qǐng)求求后會(huì)立即即

17、通知A路路由信息已已經(jīng)過期,通通過這樣的的路由交換換機(jī)制,AA快速地完完成了本地地路由記錄錄更新。 上上述例子中中路由交換換是通過數(shù)數(shù)據(jù)訪問請(qǐng)請(qǐng)求被動(dòng)觸觸發(fā),同時(shí)時(shí)集群中每每個(gè)節(jié)點(diǎn)的的路由管理理模塊也會(huì)會(huì)定時(shí)啟動(dòng)動(dòng)路由交換換,通過這這種類似病病毒傳染式式的智能路路由交換,路路由變更能能在集群所所有節(jié)點(diǎn)中中快速生效效??蛻舳硕薃PI的的路由記錄錄也采用同同樣的方式式:客戶端端API本本地緩存路路由信息表表,在數(shù)據(jù)據(jù)訪問的同同時(shí)完成和和服務(wù)節(jié)點(diǎn)點(diǎn)的路由交交換,大大大提高了路路由查找的的效率,降降低了數(shù)據(jù)據(jù)訪問的時(shí)時(shí)延。2.3.44 成員關(guān)關(guān)系維護(hù)和和故障檢測測 分布式緩緩存將節(jié)點(diǎn)點(diǎn)分成兩類類:種子

18、節(jié)節(jié)點(diǎn)和普通通節(jié)點(diǎn)。 種種子節(jié)點(diǎn)是是系統(tǒng)配置置時(shí),需要要預(yù)先從所所有節(jié)點(diǎn)中中選出若干干個(gè)節(jié)點(diǎn),它它們的職責(zé)責(zé)是指揮系系統(tǒng)的鏈路路建立和拆拆除等。 普普通節(jié)點(diǎn)啟啟動(dòng)后,根根據(jù)配置向向種子節(jié)點(diǎn)點(diǎn)主動(dòng)建鏈鏈,種子節(jié)節(jié)點(diǎn)對(duì)連接接上的普通通節(jié)點(diǎn)進(jìn)行行統(tǒng)一管理理,根據(jù)一一定的原則則比如按照照IP數(shù)值值的大小,通通知普通節(jié)節(jié)點(diǎn)完成互互相之間的的建鏈,種種子節(jié)點(diǎn)互互相之間也也根據(jù)這個(gè)個(gè)原則完成成兩兩之間間的連接。圖6描述述集群成員員關(guān)系建立立的過程。 (1) 分分布式緩存存當(dāng)前有節(jié)節(jié)點(diǎn)1、22、3、55共4個(gè)節(jié)節(jié)點(diǎn),相互互之間兩兩兩存在鏈路路,節(jié)點(diǎn)11、2是種種子節(jié)點(diǎn),節(jié)節(jié)點(diǎn)0、33、5是普普通節(jié)點(diǎn)。 (2)

19、 普普通節(jié)點(diǎn)44新加入緩緩存集群,它它首先根據(jù)據(jù)配置主動(dòng)動(dòng)連接種子子節(jié)點(diǎn)1和和節(jié)點(diǎn)2。 (3) 種種子節(jié)點(diǎn)11發(fā)現(xiàn)當(dāng)前前有普通節(jié)節(jié)點(diǎn)0、33、5和它它建立了鏈鏈路,當(dāng)普普通節(jié)點(diǎn)44連接成功功后,它根根據(jù)節(jié)點(diǎn)大大小原則指指揮節(jié)點(diǎn)44連接普通通節(jié)點(diǎn) 00 和3,同同時(shí)指揮原原有普通節(jié)節(jié)點(diǎn)5連接接節(jié)點(diǎn)4。 分分布式緩存存通過上述述機(jī)制維護(hù)護(hù)集群中節(jié)節(jié)點(diǎn)的成員員關(guān)系,最最終在各節(jié)節(jié)點(diǎn)間形成成網(wǎng)狀的全全連接模型型,兩兩之之間具備通通信鏈路,任任何節(jié)點(diǎn)故故障和恢復(fù)復(fù)都能夠快快速被集群群中其他節(jié)節(jié)點(diǎn)檢測到到。3 分布式式緩存助力力物聯(lián)網(wǎng)平平臺(tái)云化3.1分布布式緩存的的優(yōu)勢和解解決的問題題 分布式緩緩存具有明

20、明顯的技術(shù)術(shù)優(yōu)勢。分分布式的架架構(gòu)從架構(gòu)構(gòu)上保證了了良好的擴(kuò)擴(kuò)展性,當(dāng)當(dāng)性能不夠夠時(shí),可以以輕松地通通過添加新新節(jié)點(diǎn)的方方法擴(kuò)展性性能;因?yàn)闉榱己玫臄U(kuò)擴(kuò)展性,所所以分布式式緩存的容容量可以隨隨著節(jié)點(diǎn)規(guī)規(guī)模的增大大而呈線性性增加,容容量不會(huì)成成為系統(tǒng)的的瓶頸;分分布式緩存存采用的是是基于Keey-Vaalue的的簡單存儲(chǔ)儲(chǔ)方式,緩緩存的架構(gòu)構(gòu)和以內(nèi)存存為基礎(chǔ)的的訪問方式式使得分布布式緩存性性能非常高高,單節(jié)點(diǎn)點(diǎn)每秒可以以達(dá)到244萬多次的的讀寫操作作;分布式式緩存所使使用的多份份副本復(fù)制制的方法,避避免單點(diǎn)故故障;同時(shí)時(shí)無中心化化的架構(gòu)和和一致性HHash的的數(shù)據(jù)分布布算法,使使得局部節(jié)節(jié)點(diǎn)的損

21、壞壞不會(huì)影響響整體集群群的可用性性,把故障障的影響降降到最低。 目目前的應(yīng)用用在部署運(yùn)運(yùn)行過程中中常會(huì)遇到到一些問題題:第一,單單節(jié)點(diǎn)不能能滿足性能能要求時(shí),需需要擴(kuò)展到到多個(gè)節(jié)點(diǎn)點(diǎn),通常采采用按號(hào)段段的方式進(jìn)進(jìn)行擴(kuò)展,此此種擴(kuò)展方方式不具有有通用性,與與各個(gè)應(yīng)用用密切相關(guān)關(guān),開發(fā)和和維護(hù)的成成本也較高高;第二,在在不同的物物理節(jié)點(diǎn)的的應(yīng)用上共共享數(shù)據(jù),通通常通過文文件的方式式或同步的的方式進(jìn)行行共享,但但是這在性性能和一致致性的處理理上存在較較大的風(fēng)險(xiǎn)險(xiǎn)和困難;第三,因因?yàn)槎鄠€(gè)節(jié)節(jié)點(diǎn)同時(shí)訪訪問數(shù)據(jù)庫庫,使得數(shù)數(shù)據(jù)庫和磁磁盤I/OO成為系統(tǒng)統(tǒng)的瓶頸,通通常使用單單節(jié)點(diǎn)的緩緩存方式來來解決,這這

22、樣一方面面會(huì)造成系系統(tǒng)資源的的浪費(fèi),另另一方面也也使各個(gè)節(jié)節(jié)點(diǎn)中緩存存一致性的的處理也非非常復(fù)雜;第四,應(yīng)應(yīng)用節(jié)點(diǎn)的的應(yīng)用程序序意外退出出重啟動(dòng)后后,如何保保證已有的的會(huì)話不掉掉線,往往往通過寫文文件的方法法實(shí)現(xiàn),這這時(shí)磁盤II/O以及及系統(tǒng)初次次的加載都都存在性能能瓶頸。把把分布式緩緩存引進(jìn)應(yīng)應(yīng)用后,可可以方便地地幫助應(yīng)用用解決這些些問題。應(yīng)應(yīng)用通過調(diào)調(diào)用分布式式緩存提供供的APII接口,把把關(guān)鍵的數(shù)數(shù)據(jù)放到分分布式緩存存中,而自自身重點(diǎn)關(guān)關(guān)注應(yīng)用邏邏輯的處理理,這樣可可以輕松打打造出高性性能的、可可擴(kuò)展的、高可靠的的分布式應(yīng)應(yīng)用系統(tǒng),通通過標(biāo)準(zhǔn)接接口的封裝裝,對(duì)外提提供云服務(wù)務(wù)。3.2 分

23、分布式緩存存在物聯(lián)網(wǎng)網(wǎng)中的應(yīng)用用 物聯(lián)網(wǎng)的的出現(xiàn)是信信息通信技技術(shù)(ICCT)的新新挑戰(zhàn)。物物聯(lián)網(wǎng)無所所不在,它它可以使所所有的物體體,從洗衣衣機(jī)到冰箱箱、從房屋屋到汽車通通過物聯(lián)網(wǎng)網(wǎng)進(jìn)行信息息交換。物物聯(lián)網(wǎng)技術(shù)術(shù)融入了射射頻識(shí)別(RFIDD)技術(shù)、傳感器技技術(shù)、納米米技術(shù)、智智能技術(shù)與與嵌入技術(shù)術(shù)。物聯(lián)網(wǎng)網(wǎng)技術(shù)將是是改變?nèi)藗儌兩詈凸すぷ鞣绞降牡闹匾夹g(shù)術(shù)。物聯(lián)網(wǎng)網(wǎng)主要包括括3個(gè)層次次,如圖77中所示。第1個(gè)層層次是傳感感器網(wǎng)絡(luò),也也就是目前前所說的包包括RFIID、條形形碼、傳感感器等設(shè)備備在內(nèi)的傳傳感網(wǎng),主主要用于信信息的識(shí)別別和采集;第2個(gè)層層次是信息息傳輸網(wǎng)絡(luò)絡(luò),主要用用于遠(yuǎn)距離離無縫傳輸輸來自傳感感網(wǎng)所采集集的巨量數(shù)數(shù)據(jù)信息;第3個(gè)層層次是信息息應(yīng)用網(wǎng)絡(luò)絡(luò),該網(wǎng)絡(luò)絡(luò)主要通過過數(shù)據(jù)處理理及解決方方案來提供供人們所需需要的信息息服務(wù)。 物物聯(lián)網(wǎng)業(yè)務(wù)務(wù)網(wǎng)關(guān)屬于于第3個(gè)層層次,如圖圖8所示。它是實(shí)現(xiàn)現(xiàn)物聯(lián)網(wǎng)應(yīng)應(yīng)用和物聯(lián)聯(lián)網(wǎng)終端智智能連接的的橋梁,能能夠提供接接入認(rèn)證、智能路由由、業(yè)務(wù)計(jì)計(jì)費(fèi)、能力力接入、服服務(wù)質(zhì)量(QoS)服務(wù)保障障等核心功功能。支持持通用分組組無線業(yè)務(wù)務(wù)(GPRRS)、短短信

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論