云計算中的數(shù)據(jù)管理關(guān)鍵技術(shù)及其應(yīng)用

1、云計算中的數(shù)據(jù)管理關(guān)鍵技術(shù)及其應(yīng)用摘要：本文提出了一種基于云計算技術(shù)進(jìn)行管理和存儲海量數(shù)據(jù)模型，構(gòu)建了海量數(shù)據(jù)存儲云計算平臺解決方案。針對Hadoop 的文件系統(tǒng) HDFS(Hadoop Distributed File System)和計算模型 MapReduce 進(jìn)行深入分析和研究的基礎(chǔ)上，建立基于 Hadoop 平臺的云存儲平臺。關(guān)鍵詞：海量數(shù)據(jù)存儲 ；Hadoop ；云計算隨著信息化的普及、互聯(lián)網(wǎng)和存儲技術(shù)的發(fā)展以及傳感器、RFID等各種先進(jìn)信息采集技術(shù)的成熟，收集和存儲以指數(shù)級規(guī)模增長的數(shù)據(jù)資源成為可能，這些數(shù)據(jù)的存儲與管理將會面臨巨大的問題。云計算是在超大規(guī)模分布式系統(tǒng)，他對外提供

2、數(shù)據(jù)存儲與節(jié)點(diǎn)計算能力，基于云計算環(huán)境下的數(shù)據(jù)管理、數(shù)據(jù)存儲、分布式計算都是其核心部分。1平臺總體設(shè)計1.1平臺總體框架結(jié)構(gòu)結(jié)合海量數(shù)據(jù)各種特點(diǎn)，結(jié)合系統(tǒng)運(yùn)維的角度考慮，系統(tǒng)設(shè)計擬采用多層結(jié)構(gòu)設(shè)計，易于擴(kuò)展維護(hù)。數(shù)據(jù)分為元數(shù)據(jù)和數(shù)據(jù)，元數(shù)據(jù)和數(shù)據(jù)即可在獨(dú)立的HTTP請求中傳輸，也可在同一個HTTP請求中傳輸。傳輸協(xié)議采用HTTP或者HTTPS。在完成整體設(shè)計中需要考慮云存儲的數(shù)據(jù)模型，安全訪問控制以及備份策略，系統(tǒng)結(jié)構(gòu)如圖1所示：圖1平臺結(jié)構(gòu)圖表示層：提供用戶操作頁面，不同用戶可根據(jù)自己的權(quán)限做各種不同的操作，例如一般用戶可以進(jìn)行頁面瀏覽與數(shù)據(jù)查詢，管理員系統(tǒng)維護(hù)等操作可【2】。業(yè)務(wù)層：并行處

3、理海量數(shù)據(jù)。數(shù)據(jù)層：存儲數(shù)據(jù)。1.2平臺總體功能設(shè)計從系統(tǒng)功能角度考慮，可以將整個系統(tǒng)分三層。圖 2系統(tǒng)分層結(jié)構(gòu)設(shè)計數(shù)據(jù)庫訪問層：使用訪問引擎作為數(shù)據(jù)訪問層，只是單純的對數(shù)據(jù)進(jìn)行增，刪，改，查詢和判斷存在等等較通用的數(shù)據(jù)訪問方法，不應(yīng)該有“事務(wù)”存在。數(shù)據(jù)處理層：數(shù)據(jù)處理層是在數(shù)據(jù)訪問層和表示層之間進(jìn)行數(shù)據(jù)交換的橋梁，按業(yè)務(wù)需求調(diào)用數(shù)據(jù)訪問層中的方法組合，集合了各種業(yè)務(wù)規(guī)則到一個BLL中，BLL都是以類庫的形式來實現(xiàn)的。業(yè)務(wù)表示層：表示層是為客戶提供用于交互的應(yīng)用服務(wù)圖形界面，幫助用戶理解和高效地定位應(yīng)用服務(wù)，呈現(xiàn)業(yè)務(wù)邏輯層中傳遞的數(shù)據(jù)，用圖形界面來實現(xiàn)。1.3平臺網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)為了避免海量數(shù)據(jù)

4、重復(fù)存儲并降低系統(tǒng)規(guī)模，以及針對數(shù)據(jù)源相對穩(wěn)定、數(shù)據(jù)質(zhì)量較高、用戶創(chuàng)新需求演化緩慢等外界客觀條件，研究海量源數(shù)據(jù)與管理系統(tǒng)相分離的體系架構(gòu)，實現(xiàn)海量基礎(chǔ)數(shù)據(jù)的分布式存儲和核心數(shù)據(jù)的集約化管理并優(yōu)化各類系統(tǒng)操作的能耗。分布存儲 針對系統(tǒng)中維護(hù)的三類數(shù)據(jù)及其處理方式，包括原始非結(jié)構(gòu)化基礎(chǔ)數(shù)據(jù)的抽取融合分析、結(jié)構(gòu)化核心數(shù)據(jù)的關(guān)聯(lián)查詢、用戶個性化模式元數(shù)據(jù)的規(guī)范化及歸約化處理，研究有針對性的分布式存儲機(jī)制，包括集群節(jié)點(diǎn)間的數(shù)據(jù)布局、節(jié)點(diǎn)內(nèi)部的數(shù)據(jù)布局，優(yōu)化磁盤I/O和網(wǎng)絡(luò)傳輸；分布式管理方式，包括分布式離線分析、實時查詢處理的調(diào)度方式以及規(guī)則，優(yōu)化處理的容錯性、可靠性；分布式索引策略，包括基礎(chǔ)數(shù)據(jù)的分

5、類索引、核心數(shù)據(jù)的范圍索引等，優(yōu)化數(shù)據(jù)的檢索時間。2云計算海量數(shù)據(jù)存儲平臺開發(fā)2.1 Hadoop分布式文件系統(tǒng)HDFS采用master/slave架構(gòu)。一個HDFS集群是有一個Namenode和一定數(shù)目的Datanode組成。Namenode是一個中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的namespace和客戶端對文件的訪問。Datanode在集群中一般是一個節(jié)點(diǎn)一個，負(fù)責(zé)管理節(jié)點(diǎn)上它們附帶的存儲。在內(nèi)部，一個文件其實分成一個或多個block，這些block存儲在Datanode集合里。Namenode執(zhí)行文件系統(tǒng)的namespace操作，同時決定block到具體Datanode節(jié)點(diǎn)的映射。Datan

6、ode在Namenode的指揮下進(jìn)行block的創(chuàng)建、刪除和復(fù)制。體系結(jié)構(gòu)如圖4所示：圖3HDFS文件系統(tǒng)結(jié)構(gòu)HDFS支持傳統(tǒng)的層次型文件組織，與大多數(shù)其他文件系統(tǒng)類似，用戶可以創(chuàng)建目錄，并在其間創(chuàng)建、刪除、移動和重命名文件。HDFS不支持user quotas和訪問權(quán)限，也不支持鏈接（link)，不過當(dāng)前的架構(gòu)并不排除實現(xiàn)這些特性。Namenode維護(hù)文件系統(tǒng)的namespace，任何對文件系統(tǒng)namespace和文件屬性的修改都將被Namenode記錄下來。應(yīng)用可以設(shè)置HDFS保存的文件的副本數(shù)目，文件副本的數(shù)目稱為文件的 replication因子，這個信息也是由Namenode保存。2

7、.2 MapReduce編程Map/Reduce 是 Hadoop的核心計算模型，它將復(fù)雜的運(yùn)行于大規(guī)模集群上的并行計算過程高度的抽象到了兩個函數(shù)，Map 和 Reduce, 這是一個令人驚訝的簡單卻又威力巨大的模型。其它的并行編程中的種種復(fù)雜問題，如分布式存儲，工作調(diào)度，負(fù)載平衡，容錯處理，網(wǎng)絡(luò)通信等，均由 MapReduce 框架負(fù)責(zé)處理?；?MapReduce 計算模型編寫分布式并行程序非常簡單，程序員的主要編碼工作就是實現(xiàn) Map 和 Reduce函數(shù)。程序框架：Class MRClass Map Class Reduce main()JobConf conf = new JobCo

8、nf(“MR.class”);conf.setInputPath(“the_path_of_HDFS ”);conf.setMapperClass(Map.class);conf.setReduceClass(Reduce.class);JobClient.runJob(conf);3海量存儲平臺特性面向非結(jié)構(gòu)化云計算中數(shù)據(jù)的分布式集約化管理架構(gòu)，研究源數(shù)據(jù)與管理系統(tǒng)相分離的體系架構(gòu)，實現(xiàn)海量基礎(chǔ)數(shù)據(jù)的分布式存儲和核心數(shù)據(jù)的集約化管理，從而達(dá)到結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一管理；云計算中數(shù)據(jù)個性化管理理論與方法，提出數(shù)據(jù)空間模式規(guī)范化理論和需求規(guī)約化方法、動態(tài)雙向一致性維護(hù)策略，實現(xiàn)數(shù)據(jù)全局共享和

9、個性化管理的數(shù)據(jù)分享機(jī)制；基于對象代理模型的元數(shù)據(jù)高效存儲技術(shù)，建立面向云計算環(huán)境下海量數(shù)據(jù)的分布式索引機(jī)制，提高元數(shù)據(jù)的分析處理能力；4結(jié)束語綜上所述，面向云計算的海量數(shù)據(jù)管理系統(tǒng)有著廣泛的應(yīng)用，由于現(xiàn)有的數(shù)據(jù)管理技術(shù)不能應(yīng)對云計算環(huán)境下面臨的挑戰(zhàn)，這一問題亟待開展深入、系統(tǒng)的研究。本文旨在研究適合于云計算環(huán)境下的海量數(shù)據(jù)存儲系統(tǒng)的相關(guān)關(guān)鍵技術(shù)，通過提出高效的數(shù)據(jù)管理策略和算法來突破云計算管理所面臨的瓶頸，通過提出統(tǒng)一、開放的數(shù)據(jù)管理模型來支持面向云計算的應(yīng)用系統(tǒng)的開發(fā)在科學(xué)、經(jīng)濟(jì)、醫(yī)療、環(huán)境和安全等國家戰(zhàn)略領(lǐng)域的應(yīng)用。參考文獻(xiàn)：【1】 B. Hayes. Cloud Computing.

10、Communications of the ACM, 2008, 51(7):9-11.【2】 Hadoop. URL:/【3】 陳康，鄭緯民云計算：系統(tǒng)實現(xiàn)與研究現(xiàn)狀軟件學(xué)報，2009.20(5)：1337-1348【4】 M. Armbrust M, A. Fox, R. Griffith, et al. Above the Clouds: A Berkely View of Cloud Computing. Berkely, CA, USA: University of California, 2009.【5】 Parbhakar Chaganti. Cloud computing with Amazon Web Services. Part 5:Dataset processing in the cloud withSimpleDB,2009. Dean J，Ghemawat S. MapReduce: Simplifier Date Processing o