云計(jì)算和云數(shù)據(jù)管理技術(shù)

1、云計(jì)算和云數(shù)據(jù)管理技術(shù)摘要：進(jìn)入二十一世紀(jì)，計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)得到了較快地開(kāi)展，尤其是近些年云計(jì)算和云數(shù)據(jù)管理技術(shù)被廣泛應(yīng)用到互聯(lián)網(wǎng)之中。云計(jì)算和云數(shù)據(jù)管理是一種建立在云計(jì)算根底上的新型數(shù)據(jù)管理技術(shù)，本文主要對(duì)云數(shù)據(jù)管理技術(shù)、數(shù)據(jù)存儲(chǔ)技術(shù)以及云計(jì)算原理等關(guān)鍵技術(shù)進(jìn)展分析，最后對(duì)云計(jì)算和云數(shù)據(jù)管理技術(shù)的開(kāi)展進(jìn)展了展望。關(guān)鍵詞：云計(jì)算；數(shù)據(jù)管理；互聯(lián)網(wǎng)；技術(shù)中圖分類(lèi)號(hào)：TP311.13 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416202104-0234-011 云計(jì)算的概念和特征云計(jì)算最初僅用于互聯(lián)網(wǎng)搜索引擎的數(shù)據(jù)計(jì)算和分析，它是一種高效的互聯(lián)網(wǎng)計(jì)算技術(shù)，而且本錢(qián)遠(yuǎn)低于傳統(tǒng)的計(jì)算方式，這對(duì)于處于起

2、步階段的互聯(lián)網(wǎng)企業(yè)來(lái)說(shuō)具有重要意義。云計(jì)算不同于其他實(shí)體計(jì)算，它是一種基于計(jì)算機(jī)技術(shù)的虛擬計(jì)算方式，它可以實(shí)現(xiàn)網(wǎng)絡(luò)資源的合理配置，降低用戶的本錢(qián)，進(jìn)步計(jì)算效率。云計(jì)算的原理是將計(jì)算過(guò)程合理分配到網(wǎng)絡(luò)系統(tǒng)中的計(jì)算機(jī)上，這樣就能把大量的復(fù)雜計(jì)算進(jìn)展分解，化繁為簡(jiǎn)，化難為易，緩解用戶本地計(jì)算機(jī)的壓力。用戶可以根據(jù)自身需要訪問(wèn)計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。云計(jì)算同時(shí)還具有操作簡(jiǎn)單、準(zhǔn)入門(mén)檻低的特點(diǎn)，這就使得廣闊互聯(lián)網(wǎng)用戶可以輕松使用云計(jì)算，而不需要再進(jìn)展專(zhuān)業(yè)培訓(xùn)，從而使得云計(jì)算在較短的時(shí)間內(nèi)得到了非常廣泛的普及。2 云數(shù)據(jù)管理技術(shù)云數(shù)據(jù)管理技術(shù)是利用云計(jì)算技術(shù)對(duì)分散的、海量的信息數(shù)據(jù)進(jìn)展分析和處理，云數(shù)據(jù)管理技術(shù)

3、需要滿足的條件是管理海量數(shù)據(jù)和高效處理數(shù)據(jù)。云數(shù)據(jù)管理技術(shù)的主要特征包括：海量性，互聯(lián)網(wǎng)數(shù)據(jù)的存儲(chǔ)量是非常驚人的，在這些龐大的數(shù)據(jù)中提取出我們所需要的稻菔且患非常復(fù)雜的工作，所以進(jìn)步云計(jì)算技術(shù)挑選海量數(shù)據(jù)的效率和準(zhǔn)確性是云計(jì)算技術(shù)的關(guān)鍵；異構(gòu)性，由于云計(jì)算所效勞的領(lǐng)域非常廣，而各個(gè)領(lǐng)域所采用的數(shù)據(jù)采集和存儲(chǔ)方式有著非常大的差異，這就要求云計(jì)算存儲(chǔ)器可以存儲(chǔ)不同種類(lèi)、不同形式的數(shù)據(jù)，同時(shí)可以對(duì)這些數(shù)據(jù)進(jìn)展合理劃分和整理；非確定性，在云數(shù)據(jù)管理系統(tǒng)中，每位用戶存儲(chǔ)、查詢和分析數(shù)據(jù)的方式不盡一樣，沒(méi)有一個(gè)特定的標(biāo)準(zhǔn)，這就導(dǎo)致了云數(shù)據(jù)管理技術(shù)具有較大不確定性的特征。在云數(shù)據(jù)管理技術(shù)中主要以兩個(gè)數(shù)據(jù)管理

4、模塊為主，分別是Big Table技術(shù)、GFS技術(shù)、Map Reduce技術(shù)，下面對(duì)這三種主要的云數(shù)據(jù)存儲(chǔ)技術(shù)進(jìn)展介紹。2.1 Big Table技術(shù)BigTable技術(shù)是一個(gè)非常龐大的分散式數(shù)據(jù)庫(kù)，它可以存儲(chǔ)超過(guò)1PB的數(shù)據(jù)，其工作原理是將需要處理的數(shù)據(jù)形成一個(gè)宏大的表格。BigTable可以看作是一個(gè)稀疏的、多維的坐標(biāo)系，該坐標(biāo)系由橫軸、縱軸和時(shí)間軸組成，坐標(biāo)系中的每一個(gè)點(diǎn)都有唯一的坐標(biāo)，這項(xiàng)技術(shù)在進(jìn)展操作時(shí)可以對(duì)任何Table進(jìn)展分配，按照指令將數(shù)據(jù)分配到相應(yīng)的Table效勞器上，同時(shí)該技術(shù)還利用master效勞器對(duì)子表負(fù)載進(jìn)展監(jiān)視。2.2 GFS技術(shù)Google File system

5、簡(jiǎn)稱(chēng)GFS，它是一種Google 文件系統(tǒng)，是一種大型的分布式文件系統(tǒng)，它可以為用戶提供海量的信息內(nèi)容。在GFS技術(shù)中，所有節(jié)點(diǎn)被劃分為三種角色，分別是：Client客戶端、Master主效勞器以及Chunk Server數(shù)據(jù)塊效勞器。Client 是指訪問(wèn)接口，它主要提供庫(kù)文件。相關(guān)的應(yīng)用程序根據(jù)不同需求對(duì)數(shù)據(jù)庫(kù)進(jìn)展調(diào)用，與此同時(shí)，應(yīng)用程序本身也與這一庫(kù)嚴(yán)密的鏈接在一起。Master在 GFS中起到了非常重要的作用，人們通常把它看做是 GFS 的大腦。Master的主要任務(wù)是對(duì)海量數(shù)據(jù)進(jìn)展存儲(chǔ)和分類(lèi)，Chunk Server 所負(fù)責(zé)的工程主要是詳細(xì)的存儲(chǔ)。這三個(gè)模塊在工作過(guò)程中互相聯(lián)絡(luò)，協(xié)調(diào)

6、配合。2.3 Map Reduce技術(shù)Map Reduce是一種效率較高的編程形式，利用Map Reduce技術(shù)可以對(duì)網(wǎng)絡(luò)資源進(jìn)展更加高效的使用，它將存儲(chǔ)器中的不同種類(lèi)的數(shù)據(jù)進(jìn)展了劃分，一類(lèi)是Map，另一類(lèi)是Reduce。其中Map的工作原理是將一項(xiàng)復(fù)雜的任務(wù)分解成為多個(gè)小任務(wù)，保證這些小任務(wù)可以在單個(gè)計(jì)算機(jī)上運(yùn)行，這樣大大進(jìn)步了數(shù)據(jù)存儲(chǔ)和分析的下效率。而Reduce技術(shù)是將Map技術(shù)得到的計(jì)算結(jié)果進(jìn)展歸納，分析得到最終的結(jié)果。3 結(jié)語(yǔ)云計(jì)算和云數(shù)據(jù)管理技術(shù)如今處于仍然起步階段，在技術(shù)上和管理上都面臨著宏大的挑戰(zhàn)和機(jī)遇，隨著互聯(lián)網(wǎng)技術(shù)的開(kāi)展，這項(xiàng)技術(shù)會(huì)逐步應(yīng)用到更多的領(lǐng)域，特別是一些需要處理和存儲(chǔ)大量數(shù)據(jù)的行業(yè)，云計(jì)算和云數(shù)據(jù)管理技術(shù)有很大的開(kāi)展前景，需要研究人員付出更多的精力去開(kāi)發(fā)和研究，使這項(xiàng)技術(shù)更加成熟，更好地效勞我們的工作和生活。參考文獻(xiàn)1劉正偉，文中領(lǐng)，張海濤.云計(jì)算和云數(shù)據(jù)管理技術(shù)J.計(jì)算機(jī)研究與開(kāi)展，20214：26-31.2孟燕，郭冬梅.云計(jì)算及其數(shù)據(jù)存儲(chǔ)與管理技術(shù)研究J