基于云計(jì)算的數(shù)據(jù)管理 .doc

1、基于云計(jì)算的數(shù)據(jù)管理數(shù)據(jù)的快速增長(zhǎng)導(dǎo)致用戶對(duì)計(jì)算機(jī)計(jì)算能力的需求越來(lái)越高。云計(jì)算在提高普通計(jì)算機(jī)快速處理能力上起到了很大的作用。云計(jì)算能夠?qū)ζ胀ㄓ脩羰褂糜?jì)算機(jī)的模式進(jìn)行改變，從而給用戶提供按需分配的存儲(chǔ)能力、計(jì)算能力以及應(yīng)用服務(wù)能力等，給用戶帶來(lái)更多的方便，也在很大程度上降低了用戶對(duì)軟件和硬件采購(gòu)的費(fèi)用。但是，云計(jì)算需要各種技術(shù)手段作為支持，其中包括分布式的儲(chǔ)存方式、計(jì)算數(shù)據(jù) 的管理以及數(shù)據(jù)同步運(yùn)算等等。1.云計(jì)算技術(shù)云計(jì)算是一種基于網(wǎng)絡(luò)的新的計(jì)算方式。云計(jì)算的核心思想可以追溯到上世紀(jì) 60 年代。利用云計(jì)算和計(jì)算機(jī)的共享軟件和硬件資源能夠滿足對(duì)不同計(jì)算機(jī)和其他設(shè)備提供信息的需求。云計(jì)算是分布

2、式處理、網(wǎng)絡(luò)計(jì)算和并行處理的發(fā)展，被譽(yù)為計(jì)算機(jī)科學(xué)概念的商業(yè)實(shí)現(xiàn)。云計(jì)算可以包括以下幾個(gè)層次的服務(wù)：基礎(chǔ)設(shè)施即服務(wù)、平臺(tái)即服務(wù) 和軟件即服務(wù)。由于云計(jì)算基于的都是一些成熟的技術(shù)，很快得到了 it 業(yè)界眾多大廠商的大力推廣和支持，在近些年來(lái)呈現(xiàn)很好的發(fā)展趨勢(shì)，從而也凸顯出云計(jì)算的許多特征。首先，云計(jì)算具有很高的性價(jià)比，其利用非常好的容錯(cuò)處理涉及，使得現(xiàn)有的貴重的專用服務(wù)器被廉價(jià)的個(gè)人電腦代替，并且在計(jì)算能力上有很大的提高。這樣既減少了硬件投入的成本，同時(shí)軟件維護(hù)和數(shù)據(jù)管理成本也得到有效的降低。其次，云計(jì)算具有動(dòng)態(tài)可擴(kuò)展性，因?yàn)樵凭哂锌梢造`活進(jìn)行動(dòng)態(tài)擴(kuò)張或收縮的規(guī)模，服務(wù)器能夠在任何時(shí)刻增加或移除

3、服務(wù)器集群中。再次，云計(jì)算具有虛擬化的特點(diǎn)。云計(jì)算對(duì)于軟件和硬件資源實(shí)行虛擬化管理，用戶能夠不限時(shí)間，不限地點(diǎn)的訪問(wèn)云上的服務(wù)和數(shù)據(jù)，甚至是輕易的完成超級(jí)計(jì)算任務(wù)。最后，靈活定制也是云計(jì)算的一個(gè)重要特征。因?yàn)樵剖且粋€(gè)非常巨大的資源站，為用戶能夠提供極大的計(jì)算能力和存儲(chǔ)能力，用戶可以根據(jù)自身需要選擇相應(yīng)的數(shù)據(jù)資源和服務(wù)資源。 2.云數(shù)據(jù)管理技術(shù)2.1 dynamo 技術(shù)dynamo 技術(shù)能夠在不暴露于外網(wǎng)的前提下直接提供底層支持和aws,因?yàn)樗粌H具有存儲(chǔ)系統(tǒng)的分布式、數(shù)據(jù)庫(kù)和高可用行，還具有轉(zhuǎn)悠存儲(chǔ)系統(tǒng)的鍵值結(jié)構(gòu)、hash 表分布式。dynamo 的基本儲(chǔ)存架構(gòu)和理念是 dht,其最大的特點(diǎn)就

4、是能夠均勻的存儲(chǔ)數(shù)據(jù)，各存儲(chǔ)點(diǎn)之間有相互感應(yīng)的能力，因此它的自我管理性能特別強(qiáng)，不需要 mater主控點(diǎn)的控制，同時(shí)單點(diǎn)故障的危險(xiǎn)也比較低。亞馬遜平臺(tái)的基礎(chǔ)存儲(chǔ)架構(gòu)就是 dynamo 技術(shù)，并且應(yīng)用于亞馬遜的很多系統(tǒng)當(dāng)中。dynamo 技術(shù)利用的是 dht 的數(shù)據(jù)儲(chǔ)存方式，因此沒(méi)有熱點(diǎn)，這樣， 各點(diǎn)的數(shù)據(jù)存儲(chǔ)量和訪問(wèn)壓力就呈現(xiàn)出負(fù)載均衡的優(yōu)勢(shì)。2.2 mapreduce 技術(shù)mapreduce 技術(shù)是谷歌設(shè)計(jì)的一種編程模式，適合應(yīng)用在大規(guī)模數(shù)據(jù)集的并行處理當(dāng)中，一般要求大于 1tb 云計(jì)算 mapreduce 的編程模式能夠有效的利用云計(jì)算的資源。mapreduce 是一種新型的編程模式，能夠

5、將所有針對(duì)海量異構(gòu)數(shù)據(jù)的操作抽象為 mah（映射）和 reduce化簡(jiǎn)廁種操作。map 能夠按照是否能夠在單個(gè)節(jié)點(diǎn)上完成運(yùn)算的標(biāo)準(zhǔn)將任務(wù)分解成若干個(gè)自任務(wù)，再分配給不同的計(jì)算機(jī)進(jìn)行處理。然后reduce 再按照軟件的程序設(shè)定對(duì) map 作用的結(jié)果集進(jìn)行合成處理，得到最后的分析處理結(jié)論。除此之外，mapreduce 向各節(jié)點(diǎn)分配 map和 reduce 任務(wù)時(shí)，會(huì)考慮數(shù)據(jù)的本地性，將相應(yīng)安排到參與數(shù)據(jù)的 存放節(jié)點(diǎn)或附近節(jié)點(diǎn)去執(zhí)行。2.3 gfs 技術(shù)gfs 是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對(duì)大量數(shù)據(jù)進(jìn)行訪問(wèn)的應(yīng)用。gfs 整個(gè)系統(tǒng)的節(jié)點(diǎn)分為客戶端、主服務(wù)器和數(shù)據(jù)塊服務(wù)器三個(gè)角

6、色?？蛻舳耸?gfs 提供給應(yīng)用程序的訪問(wèn)接口，是一組不遵守 povsix 規(guī)范的專用接口，以庫(kù)文件的形式提供。gfs 的管理節(jié)點(diǎn)是主服務(wù)器，在邏輯上僅存在一個(gè)，是 gfs 文件系統(tǒng)中的大腦，負(fù)責(zé)整個(gè)文件系統(tǒng)的管理。數(shù)據(jù)塊服務(wù)器中是以文件的形式存儲(chǔ)的數(shù)據(jù)，其個(gè)數(shù)可以有許多個(gè)，直接決定了 gfs 的規(guī)模。gfs 數(shù)據(jù)以默認(rèn) 64mb 的固定數(shù)據(jù)塊為單位進(jìn)行存儲(chǔ)，并且分布在不 同的數(shù)據(jù)塊服務(wù)上。2.4 bigtable 技術(shù)bigtable 技術(shù)是谷歌建立在 gfs 和 mahreduce 之上的一個(gè)大型分布式數(shù)據(jù)庫(kù)，其形式實(shí)際是一個(gè)龐大的表，其規(guī)模超過(guò) 1pb,能夠?qū)⑺袛?shù)據(jù)作為處理對(duì)象，從而形成一個(gè)巨大的表格。同時(shí)，bigtable還是一種擁有數(shù)據(jù)擴(kuò)展功能所設(shè)計(jì)的管理結(jié)構(gòu)化分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)，從而達(dá)到巨大的規(guī)模。在 bigtable 技術(shù)進(jìn)行數(shù)據(jù)處理工作時(shí)，能夠在每時(shí)每刻將表劃分到單獨(dú)的服務(wù)器中，并且充分運(yùn)用主服務(wù)器誰(shuí) 是監(jiān)測(cè)子表的負(fù)荷。3.結(jié)束語(yǔ)可以說(shuō)，因計(jì)算技術(shù)以及云數(shù)據(jù)管理技術(shù)作為一種非常有現(xiàn)實(shí)意義的技術(shù)，使 it 產(chǎn)業(yè)的運(yùn)行方式有了徹底性的變化。隨著云計(jì)算技術(shù)的進(jìn)一步發(fā)展，云計(jì)算技術(shù)必將會(huì)在更多的領(lǐng)域中得到更加廣泛的應(yīng)用。同時(shí)，也會(huì)出現(xiàn)一些新的問(wèn)題，這就要求相關(guān)學(xué)