基于Hadoop的云架構(gòu)系統(tǒng)實(shí)施方案

1、基于Hadoop的云架構(gòu)系統(tǒng)方案作者:日期:2基于Hadoop的云架構(gòu)系統(tǒng)方案云計(jì)算是目前最熱門(mén)的研究領(lǐng)域之一，也是眾多企業(yè)及研究機(jī)構(gòu)研究的課 題。云計(jì)算是分布式處理、并行處理和網(wǎng)格計(jì)算的發(fā)展，或者說(shuō)是這些計(jì)算機(jī)科 學(xué)概念的商業(yè)實(shí)現(xiàn)。云計(jì)算的新穎之處在于它幾乎可以提供無(wú)限的廉價(jià)存儲(chǔ)和計(jì) 算能力。未來(lái)存儲(chǔ)模式將改變目前的存儲(chǔ)模式。 不再存放在個(gè)人計(jì)算機(jī)及服務(wù)器 上,而是存放在云服務(wù)器中。同時(shí)所有的計(jì)算及處理工作也將在云服務(wù)器完成。 這樣給企業(yè)及各廠商帶來(lái)很多便利。節(jié)省了投入成本、企業(yè)能夠很好的應(yīng)付突發(fā) 的大訪問(wèn)量以及能夠提供存儲(chǔ)服務(wù)的同步升級(jí)和數(shù)據(jù)的有效管理。因此，云計(jì)算在近年來(lái)贏得了眾多廠商和

2、企業(yè)的關(guān)注并得到長(zhǎng)足的發(fā)展。1.云計(jì)算及其存儲(chǔ)結(jié)構(gòu)1.1云計(jì)算概念云計(jì)算是網(wǎng)格計(jì)算、分布式計(jì)算、并行計(jì)算、效用計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、虛擬化、 負(fù)載均衡等傳統(tǒng)計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。它旨在通過(guò)網(wǎng)絡(luò)把多個(gè) 成本相對(duì)較低的計(jì)算實(shí)體整合成一個(gè)具有強(qiáng)大計(jì)算能力的完美系統(tǒng)，并借助SaaS PaaS laaS、MSP等先進(jìn)的商業(yè)模式把這強(qiáng)大的計(jì)算能力分布到終端用戶(hù) 手中。云計(jì)算的一個(gè)核心理念就是通過(guò)不斷提高“云”的處理能力，進(jìn)而減少用 戶(hù)終端的處理負(fù)擔(dān)。最終使用戶(hù)終端簡(jiǎn)化成一個(gè)單純的輸入輸出設(shè)備。并能按需享受“云”的強(qiáng)大計(jì)算處理能力。也就是說(shuō)用戶(hù)端只需要進(jìn)行輸入輸出。其它所 有計(jì)算、存儲(chǔ)、處理等功能全

3、部交給“云”去處理 ，用戶(hù)可以根據(jù)自己的需求訂 購(gòu)“云”中的服務(wù)。1.2云計(jì)算的體系結(jié)構(gòu)在云計(jì)算體系結(jié)構(gòu)中，用戶(hù)的操作及存儲(chǔ)等服務(wù)都由云中的各個(gè)服務(wù)器完 成。根據(jù)需求訪問(wèn)計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。用戶(hù)的系統(tǒng)不需安裝任何軟件，數(shù)據(jù)也存儲(chǔ)在云的計(jì)算機(jī)及服務(wù)器中。圖1是云計(jì)算體系結(jié)構(gòu)的模型。由用戶(hù)端、服務(wù)目 錄、系統(tǒng)管理、配置工具、監(jiān)控、服務(wù)器幾個(gè)模塊構(gòu)成，各模塊負(fù)責(zé)不同的功能。用戶(hù)端：用戶(hù)與云系統(tǒng)交互的界面，用戶(hù)通過(guò)用戶(hù)端向云發(fā)出請(qǐng)求。服務(wù)目錄：顯示該用戶(hù)能夠訪問(wèn)及操作的所有服務(wù)的目錄列表， 用戶(hù)可以在 這些目錄里進(jìn)行選擇操作。系統(tǒng)管理：管理可分配給計(jì)算機(jī)的各種資源，從而保證負(fù)載平衡。配置工具：用戶(hù)通過(guò)配

4、置工具在分配的服務(wù)器節(jié)點(diǎn)上配置需要的各種運(yùn)行 環(huán)境。監(jiān)控：監(jiān)控和計(jì)算云系統(tǒng)資源的使用情況，確保資源能順利分配給合適的用 戶(hù)。服務(wù)器集合：云系統(tǒng)中的各個(gè)服務(wù)器的集合。在云計(jì)算體系結(jié)構(gòu)中，用戶(hù)通過(guò)用戶(hù)端訪問(wèn)服務(wù)目錄，選擇所需的服務(wù)；當(dāng) 服務(wù)請(qǐng)求發(fā)送并驗(yàn)證通過(guò)后，由系統(tǒng)管理負(fù)責(zé)找到所需要的資源；用戶(hù)通過(guò)用戶(hù) 端在服務(wù)目錄中選取調(diào)用一個(gè)服務(wù)， 該命令傳遞到系統(tǒng)管理后，由系統(tǒng)管理選取 合適的節(jié)點(diǎn)。調(diào)用配置工具為用戶(hù)準(zhǔn)備運(yùn)行環(huán)境。1.3云存儲(chǔ)及其架構(gòu)模型 1.3.1云存儲(chǔ)的定義云存儲(chǔ)指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能將網(wǎng)絡(luò)中大量各 種不同類(lèi)型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供

5、數(shù)據(jù)存儲(chǔ) 和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。云存儲(chǔ)可以簡(jiǎn)單的理解為云計(jì)算中的存儲(chǔ)。 云存儲(chǔ) 系統(tǒng)可以認(rèn)為是配置了大容量存儲(chǔ)空間的云計(jì)算系統(tǒng)。用戶(hù)所有的數(shù)據(jù)都保存在“云”中，需要時(shí)從“云”中讀取，本地不需要任何的存儲(chǔ)設(shè)備。云存儲(chǔ)更準(zhǔn)精 確地說(shuō)是一種服務(wù)，用戶(hù)使用的是由許多個(gè)存儲(chǔ)設(shè)備和服務(wù)器所構(gòu)成的集合體提 供的數(shù)據(jù)訪問(wèn)服務(wù)。1.3.2云存儲(chǔ)的架構(gòu)模型云存儲(chǔ)系統(tǒng)主要用來(lái)進(jìn)行數(shù)據(jù)存儲(chǔ)與管理而且處理的數(shù)據(jù)都是超大規(guī)模的。 云存儲(chǔ)系統(tǒng)是網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問(wèn)接口、接入網(wǎng) 和客戶(hù)端程序等多個(gè)部分組成的復(fù)雜系統(tǒng)。 各部分以存儲(chǔ)設(shè)備為核心，通過(guò)應(yīng)用 軟件對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)服務(wù)。 云存儲(chǔ)

6、模型與云計(jì)算模型相比，增加了 一個(gè)存儲(chǔ)層，且基礎(chǔ)管理層增加了與數(shù)據(jù)管理和數(shù)據(jù)安全有關(guān)的功能。兩者在訪 問(wèn)層和應(yīng)用接口層則是完全相同的。存儲(chǔ)層主要包括存儲(chǔ)設(shè)備及存儲(chǔ)設(shè)備管理系統(tǒng)。存儲(chǔ)設(shè)備分布在不同地域， 彼此之間通過(guò)網(wǎng)絡(luò)互聯(lián)在一起。存儲(chǔ)設(shè)備管理系統(tǒng)負(fù)責(zé)存儲(chǔ)設(shè)備的虛擬化管理、 多鏈路冗余管理、硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)、設(shè)備升級(jí)等?；A(chǔ)管理層通 過(guò)集群系統(tǒng)、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之 間的協(xié)同工作。應(yīng)用接口層根據(jù)用戶(hù)訂購(gòu)的服務(wù)為用戶(hù)分配權(quán)限，為不同的用戶(hù)提供不同的API接口及應(yīng)用軟件，同時(shí)提供網(wǎng)絡(luò)接入、用戶(hù)認(rèn)證等功能。訪問(wèn)層 包括各種能夠訪問(wèn)云存儲(chǔ)系統(tǒng)的用戶(hù)，用戶(hù)

7、可以通過(guò)標(biāo)準(zhǔn)的公共應(yīng)用接口登錄云 存儲(chǔ)系統(tǒng)，享受云存儲(chǔ)服務(wù)。2. HadooP平臺(tái)介紹Hadoop是 一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。用戶(hù)可以輕松地 在Hadoopt開(kāi)發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個(gè)優(yōu)點(diǎn)：1高可靠性。Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴(lài)。2高擴(kuò)展性。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的, 這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。3高效性。Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài) 平衡，因此處理速度非常快。4高容錯(cuò)性。Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的 任務(wù)重新分配。

8、Hadoop帶有用Java語(yǔ)言編寫(xiě)的框架，因此運(yùn)行在 Linux生產(chǎn)平臺(tái)上是非常 理想的。Hadoop上的應(yīng)用程序也可以使用其他語(yǔ)言編寫(xiě)，比如C+Hadoop最核心的設(shè)計(jì)就是分布式文件系統(tǒng)HDFS和Ma p/Reduce算法模型。 分布式文件系統(tǒng)HDF是專(zhuān)門(mén)為Map/Reduce乍業(yè)所設(shè)計(jì)的文件系統(tǒng)。但HDFS并不是用來(lái)處理隨機(jī)存取數(shù)據(jù)的，HDFS的設(shè)計(jì)中更多的考慮到了數(shù)據(jù)批處理，而不 是用戶(hù)交互處理，比之?dāng)?shù)據(jù)訪問(wèn)的低延遲問(wèn)題，更關(guān)鍵的在于數(shù)據(jù)訪問(wèn)的高吞吐 量。因此，HDFS是一個(gè)給應(yīng)用提供高吞吐量的分布式文件系統(tǒng)，可能由成百上 千的機(jī)器所構(gòu)成，每個(gè)機(jī)器上存儲(chǔ)著文件系統(tǒng)的部分?jǐn)?shù)據(jù)。計(jì)算模型Map/Reduce 是Hadoop的核心計(jì)算模型，是