云計算的服務(wù)類型

云計算的服務(wù)類型

1面向云計算的網(wǎng)絡(luò)化平臺2007年10月，ibm發(fā)布了《云計算》這一系統(tǒng)的介紹。云計算技術(shù)的研究越來越成為學(xué)術(shù)界的研究熱點。目前的云計算技術(shù)研究的現(xiàn)狀呈現(xiàn)如下特點:(1)云計算中間層平臺型服務(wù)的研究和實現(xiàn)相對較少。云計算包含三個層次的服務(wù):由底層硬件或虛擬機(jī)資源構(gòu)建的基礎(chǔ)設(shè)施即服務(wù)(IaaS)、構(gòu)建在云基礎(chǔ)設(shè)施上,主要用來開發(fā)各種云計算應(yīng)用軟件平臺即服務(wù)(PaaS)和基于云平臺開發(fā)的各類應(yīng)用服務(wù)的軟件即服務(wù)(SaaS)。最有代表性的云系統(tǒng)中,AmazonEC2/S3主要提供IaaS,GoogleApps和LIVEMESH等則主要提供SaaS。(2)高性能計算機(jī)HPC(HighPerformanceComputer,簡稱HPC)是云計算基礎(chǔ)設(shè)施的主要組成部分。當(dāng)前很多云部署,都依靠由HPC組成的數(shù)據(jù)中心。系統(tǒng)級云計算研究開源測試平臺OpenCirrus的基礎(chǔ)設(shè)施就由多個分布在不同地理位置HPC數(shù)據(jù)中心構(gòu)成。目前云系統(tǒng)很多以HPC為基礎(chǔ)設(shè)施,但傳統(tǒng)HPC使用方式下云向用戶提供PaaS存在以下問題:①共享服務(wù)可能導(dǎo)致的低可用性。傳統(tǒng)HPC采用共享服務(wù)模式,用戶環(huán)境邊界模糊,所有用戶登錄服務(wù)陣列后共享同一個配置和運行環(huán)境。不同用戶的系統(tǒng)環(huán)境需求和操作之間可能存在沖突,從而降低服務(wù)陣列以致整個HPC系統(tǒng)的可用性。②缺乏友好、高效的應(yīng)用開發(fā)環(huán)境。傳統(tǒng)HPC用戶通常使用命令行環(huán)境進(jìn)行程序開發(fā)(如程序編輯、編譯、調(diào)試等)。非Unix用戶(尤其是Windows用戶)不習(xí)慣使用命令行環(huán)境進(jìn)行程序開發(fā)。③傳統(tǒng)HPC雖然可以通過網(wǎng)絡(luò)互聯(lián)實現(xiàn)網(wǎng)格環(huán)境下的協(xié)同作業(yè),但這種形式的協(xié)同主要是基礎(chǔ)設(shè)施層計算、存儲等資源的協(xié)同,缺乏對基于基礎(chǔ)設(shè)施開發(fā)的不同功能獨立平臺以服務(wù)形式提供給用戶的支持。針對上述問題,本文提出了面向云計算的網(wǎng)絡(luò)化平臺NPCC(NetworkingPlatformoverCloudComputing,簡稱NPCC)。NPCC的目標(biāo)是為云用戶更好地提供PaaS型服務(wù),同時解決以HPC為基礎(chǔ)設(shè)施的云計算用戶運行環(huán)境模糊問題,支持不同云用戶運行環(huán)境的安全隔離;解決用云戶開發(fā)環(huán)境受限問題,向非Unix用戶提供圖形化云應(yīng)用開發(fā)環(huán)境等。2云計算2.1云計算網(wǎng)格計算文獻(xiàn)認(rèn)為云計算用來同時描述一個系統(tǒng)平臺或者一種類型的應(yīng)用程序,一個云計算的平臺按需進(jìn)行動態(tài)地部署(provision)、配置(configuration)、重新配置(reconfigure)以及取消服務(wù)(deprovision)等。文獻(xiàn)對“云”的定義:并行和分布式系統(tǒng)的一種,包含一些互聯(lián)的和虛擬化的計算機(jī),這些計算機(jī)動態(tài)供應(yīng)并被呈現(xiàn)為一個或多個統(tǒng)一的基于服務(wù)提供者和消費者之間協(xié)商的服務(wù)層協(xié)議的計算資源。云計算的特點主要體現(xiàn)在:按需采用“即用即付費”的方式分配計算、存儲和帶寬資源;動態(tài)擴(kuò)展功能和部署新服務(wù)的高可擴(kuò)展性;各類資源的高利用率等。同時云計算集成了多種計算范例的特性:分布式計算中任務(wù)分解、分別執(zhí)行、結(jié)果匯總的計算模式;網(wǎng)格計算中將地理上分布、系統(tǒng)異構(gòu)的多種計算資源互連協(xié)同解決大型應(yīng)用問題的作業(yè)模式;對等計算中計算資源的組織和發(fā)現(xiàn)方式;公用計算中將聚合計算資源封裝成公共服務(wù)的資源高用率使用模式;虛擬計算環(huán)境iVCE下用戶將富余資源按需聚合和自主協(xié)同的思想。2.2云計算的實現(xiàn)基礎(chǔ)云計算中比較有代表性的三種體系結(jié)構(gòu),分別是面向市場的云體系、Eucalyptus和云本體五層體系。面向市場的云體系下云用戶向云服務(wù)提供方提出各種不同服務(wù)質(zhì)量(QoS)的服務(wù)需求,云服務(wù)提供方在與用戶進(jìn)行SLA協(xié)商后向用戶提供滿足QoS需求的服務(wù)。面向市場的云體系在資源分配中引入了用戶服務(wù)請求檢測、價格審計、虛擬機(jī)監(jiān)控和任務(wù)執(zhí)行情況監(jiān)控等加強(qiáng)機(jī)制。Eucalyptus是一個在集群上實現(xiàn)云計算的開源軟件基礎(chǔ)設(shè)施,其接口與Amazon的EC2接口兼容并支持多客戶端。從體系結(jié)構(gòu)來看,Eucalyptus的運行主要依靠三個控制器:(1)云控制器,負(fù)責(zé)調(diào)度集群中物理結(jié)點的計算資源、存儲資源和帶寬資源滿足用戶需求;(2)集群控制器,負(fù)責(zé)收集所有結(jié)點控制器的狀態(tài)信息,調(diào)度結(jié)點控制器滿足計算對虛擬機(jī)實例請求;(3)結(jié)點控制器是運行在物理資源上的構(gòu)件,負(fù)責(zé)物理資源上的虛擬機(jī)實例的啟動,管理和清理等。文獻(xiàn)提出了云計算領(lǐng)域的云本體,并將其分為相互依賴的五層:硬件層、軟件內(nèi)核、云軟件基礎(chǔ)設(shè)施、云軟件環(huán)境和云應(yīng)用。其五層體系如圖1所示。云應(yīng)用層是用戶訪問云付費服務(wù)的WEB入口。云軟件環(huán)境層(軟件平臺層)是云應(yīng)用服務(wù)提供方在云中部署或開發(fā)軟件的環(huán)境。云軟件基礎(chǔ)設(shè)施層為云軟件環(huán)境層和云用戶層提供基礎(chǔ)性資源,這些資源可用于構(gòu)建新的云軟件環(huán)境或云應(yīng)用。從云計算概念和典型體系結(jié)構(gòu)可以看出,通過HPC構(gòu)建基礎(chǔ)設(shè)施的云計算,有如下兩個特性使高性能計算環(huán)境有了向NPCC演化的需求:(1)云計算有提供PaaS的需求,而傳統(tǒng)HPC使用方式對PaaS支持不足。(2)云計算提高了計算結(jié)點的利用率,而過去受需求的限制總利用率并不高。然而隨著傳統(tǒng)HPC在云計算環(huán)境中的大量應(yīng)用,傳統(tǒng)的高性能計算環(huán)境成了HPC實現(xiàn)提供平臺型服務(wù)和提高計算結(jié)點利用率的制約。這在一定程度上決定了高性能計算環(huán)境的演化方向:具有適合云計算開發(fā)各類應(yīng)用的高通用性網(wǎng)絡(luò)化平臺環(huán)境。3云計算的hpc平臺架構(gòu)我們將面向云計算的HPC體系分為四層:HPC云硬件層、HPC抽象虛擬機(jī)器層、基于HPC的NPCC和基于HPC的云應(yīng)用。如圖2所示,在面向云計算的HPC體系中,NPCC基于HPC的云應(yīng)用層之下,對應(yīng)于云計算三層體系中的平臺即服務(wù)(PaaS)層。NPCC是部署在HPC后端物理服務(wù)器簇或通過虛擬化技術(shù)抽象封裝的統(tǒng)一虛擬機(jī)網(wǎng)絡(luò)之上,符合WEB2.0規(guī)范(B/S模式)的網(wǎng)絡(luò)化平臺環(huán)境。目的是為應(yīng)用服務(wù)提供者提供應(yīng)用服務(wù)開發(fā)平臺;提供高效的遠(yuǎn)程在線程序開發(fā)環(huán)境(編程、編譯、調(diào)試和性能分析等),并通過高性能虛擬化域技術(shù)為用戶提供可定制的獨立運行環(huán)境等。3.1產(chǎn)品體系NPCC體系結(jié)構(gòu)可劃分為基礎(chǔ)設(shè)施層、平臺環(huán)境層和應(yīng)用環(huán)境層。NPCC的結(jié)構(gòu)如圖3所示。下面將分別介紹NPCC體系中各層的構(gòu)成和功能。3.2云計算和hpc基礎(chǔ)設(shè)施的組成NPCC基礎(chǔ)設(shè)施包括構(gòu)建在硬件或虛擬機(jī)資源之上的操作系統(tǒng),高性能虛擬域HPVZ(HighPerformanceVirtualZone,簡稱HPVZ)和并行工作負(fù)載調(diào)度三個部分。硬件、虛擬化資源和操作系統(tǒng)是云計算基礎(chǔ)設(shè)施和HPC基礎(chǔ)設(shè)施中共性的部分也是最基礎(chǔ)性的部分。我們重點介紹高性能虛擬域和并行工作負(fù)載調(diào)度系統(tǒng)。(1)虛擬計算域的使用傳統(tǒng)HPC使用共享服務(wù)模式,無法適應(yīng)網(wǎng)絡(luò)化云計算環(huán)境的需求。HPVZ是基于低開銷的操作系統(tǒng)層虛擬化技術(shù)實現(xiàn)的可定制虛擬用戶運行環(huán)境。如圖4所示,HPVZ由服務(wù)結(jié)點虛擬計算域、計算結(jié)點高性能計算域和面向虛擬化的作業(yè)管理三個部分組成。服務(wù)結(jié)點的虛擬計算域向用戶提供了可定制的獨立登錄環(huán)境,用戶可以根據(jù)自己的需求配置虛擬計算域,完成編程、編譯和調(diào)試和提交作業(yè)的功能。面向虛擬域的作業(yè)管理系統(tǒng)負(fù)責(zé)管理系統(tǒng)資源,它根據(jù)用戶提交任務(wù)的規(guī)模和服務(wù)質(zhì)量需求分配計算資源和動態(tài)構(gòu)建高性能計算域。計算結(jié)點的高性能計算域具有同前端服務(wù)結(jié)點的虛擬計算域相同的文件目錄視圖,并提供了服務(wù)質(zhì)量保證和文件隔離等功能,支持高性能計算服務(wù)。HPVZ向用戶提供可定制虛擬運行環(huán)境,支持用戶對HPC計算環(huán)境的分區(qū)化使用,改變了傳統(tǒng)HPC的共享使用方式,實現(xiàn)了信息安全、環(huán)境隔離等功能。(2)資源調(diào)度和業(yè)務(wù)運營并行工作負(fù)載調(diào)度系統(tǒng)由資源管理系統(tǒng)擴(kuò)展而來,提供了多種模式的系統(tǒng)資源分配和調(diào)度,能夠根據(jù)用戶應(yīng)用的特點、計算資源需求和當(dāng)前系統(tǒng)的可用資源靈活地分配和調(diào)度任務(wù)。網(wǎng)絡(luò)化云計算環(huán)境中用戶的使用方式和應(yīng)用模式復(fù)雜多樣,每個作業(yè)要求的資源和服務(wù)需求也互不相同,傳統(tǒng)的調(diào)度策略已不能適應(yīng)快速增長的多種類型應(yīng)用需求。為了提高資源管理的有效性和高效性,系統(tǒng)采用多目標(biāo)協(xié)同的并行工作負(fù)載調(diào)度策略。調(diào)度系統(tǒng)設(shè)定由諸多可配置因素組成的多目標(biāo)綜合優(yōu)先級規(guī)則,并基于不同目標(biāo)因素的綜合權(quán)重動態(tài)計算出隊列中各作業(yè)的優(yōu)先級。3.3服務(wù)代理層如圖3所示,NPCC平臺環(huán)境由應(yīng)用服務(wù)層和服務(wù)代理層組成。NPCC平臺將被作為平臺型服務(wù)提供給用戶,即將HPC應(yīng)用和系統(tǒng)軟件以服務(wù)的方式提供給用戶,支持基于NPCC平臺的各種遠(yuǎn)程應(yīng)用的開發(fā)。支持遠(yuǎn)程開發(fā)的應(yīng)用服務(wù)主要包括遠(yuǎn)程系統(tǒng)探測服務(wù)、編譯服務(wù)、調(diào)試服務(wù)以及程序加載服務(wù)等。其中遠(yuǎn)程探測服務(wù)為交互式發(fā)現(xiàn)、操作、分析遠(yuǎn)程系統(tǒng)和開發(fā)更高級的操作提供了上下文環(huán)境。它在當(dāng)前用戶環(huán)境中創(chuàng)建子系統(tǒng),在子系統(tǒng)下整合所有遠(yuǎn)程異構(gòu)的資源?；镜墓ぞ甙ㄟh(yuǎn)程文件系統(tǒng),過程子系統(tǒng)和輕量級終端等。用戶在進(jìn)行遠(yuǎn)程存儲,搜索,連接遠(yuǎn)程資源管理器,提交作業(yè)等操作時離不開遠(yuǎn)程探測系統(tǒng)所提供的連接等各類服務(wù)。對于程序加載服務(wù),用戶開發(fā)的應(yīng)用程序通過程序加載服務(wù),將所要運行的任務(wù)提交給遠(yuǎn)程的計算結(jié)點。在提交的時候用戶聲明自己對計算能力的需求,如果當(dāng)前監(jiān)控下的計算資源能滿足所加載程序的需求,則按需分配計算資源給用戶;否則,掛起等待計算資源。服務(wù)代理層通過對HPC各類應(yīng)用服務(wù)的抽象,向用戶提供了統(tǒng)一的與NPCC平臺環(huán)境交互的抽象接口。同時服務(wù)代理還為NPCC應(yīng)用服務(wù)層提供了同HPC并行工作負(fù)載調(diào)度的交互和連接接口,為實現(xiàn)系統(tǒng)資源的最優(yōu)化利用提供了動態(tài)和多目標(biāo)協(xié)同調(diào)度。3.4強(qiáng)調(diào)配置應(yīng)用,提供遠(yuǎn)程虛擬終端NPCC的目標(biāo)是為網(wǎng)絡(luò)化云計算環(huán)境的用戶提供操作方便、易用性好圖形化云應(yīng)用開發(fā)平臺。作為訪問NPCC應(yīng)用環(huán)境主要組成的遠(yuǎn)程虛擬終端給用戶提供了一個圖形化集成開發(fā)環(huán)境。它借助服務(wù)代理調(diào)用遠(yuǎn)程HPC的應(yīng)用服務(wù)(編譯、調(diào)試等),在統(tǒng)一圖形用戶界面下支持程序編輯、編譯、調(diào)試和作業(yè)加載全過程。遠(yuǎn)程虛擬終端提供豐富的用戶界面,包括支持程序源級可視化調(diào)試的調(diào)試視圖,查看系統(tǒng)資源、作業(yè)狀態(tài)的監(jiān)控視圖等,有助于提高用戶的程序開發(fā)效率。圖5從NPCC終端用戶使用遠(yuǎn)程虛擬終端進(jìn)行各種云應(yīng)用程序開發(fā)的角度,側(cè)面顯示了NPCC系統(tǒng)實現(xiàn)的部分效果。下面以“遠(yuǎn)程開發(fā)云應(yīng)用程序流程”為實例說明云用戶使用NPCC重要環(huán)節(jié)的操作。(1)合理配置置石機(jī)設(shè)備,單采單次使用,2.圖5a是NPCC為用戶提供遠(yuǎn)程探測服務(wù)的配置。用戶通過遠(yuǎn)程虛擬終端定制基于HPVZ獨立運行環(huán)境的遠(yuǎn)程探測服務(wù),這是遠(yuǎn)程開發(fā)、編譯和程序加載等的基礎(chǔ)。(2)計算機(jī)病件運行動態(tài)圖5b是基于遠(yuǎn)程探測提供的ssh連接服務(wù)監(jiān)控遠(yuǎn)程計算資源的視圖,資源分幾種狀態(tài):Unkown、Up、Down、Allocated。圖5b中顯示的是4個Allocated狀態(tài)的計算結(jié)點。同時還提供了對所加載程序(作業(yè))運行情況的監(jiān)控。圖5b中包括兩個運行態(tài)作業(yè)job;三個取消狀態(tài)作業(yè)job;超時態(tài)作業(yè)job1160、等待狀態(tài)作業(yè)job1167和運行終止?fàn)顟B(tài)作業(yè)job1159各一個。(3)應(yīng)用程序代碼圖5c是云應(yīng)用程序開發(fā)的基本配置圖,此處指定應(yīng)用程序的類型,存儲位置等并在此基礎(chǔ)上編寫應(yīng)用程序代碼。目前NPCC主要支持對C/C++/Fortran語言類應(yīng)用程序的開發(fā)。(4)數(shù)據(jù)分析服務(wù)在圖5d中,首先指定NPCC應(yīng)用程序的編譯服務(wù)和程序分析服務(wù)等。然后根據(jù)圖5b中資源的可用情況等,配置加載應(yīng)用程序(作業(yè))的各項參數(shù),包括配置資源管理器、作業(yè)進(jìn)程數(shù)、運行時間上限、執(zhí)行文件路徑和可擴(kuò)展調(diào)試器等參數(shù)4cc的優(yōu)點云計算在學(xué)術(shù)界受到廣泛關(guān)注,HPC目前是云的主要計算基礎(chǔ)設(shè)施之一。針對目前云平臺服務(wù)(PaaS)存在的問題,本文提出了面向云計算的網(wǎng)絡(luò)化平臺,并對其進(jìn)行了設(shè)計實現(xiàn)。N