云計(jì)算資源管理淺析

1、云計(jì)算資源管理淺析摘要：云計(jì)算是基于互聯(lián)網(wǎng)的相關(guān)效勞地增加、使用和交付形式，通常涉及通過互聯(lián)網(wǎng)來提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。而云計(jì)算資源管理作為云計(jì)算效勞的根本條件，近些年更是引起了業(yè)界廣泛的研究。本文就云計(jì)算的資源管理做了簡(jiǎn)要分析，其內(nèi)容包括云計(jì)算的資源分類、云計(jì)算資源管理的目的、云計(jì)算資源管理的關(guān)鍵技術(shù)三方面。通過本文的分析，希望對(duì)云計(jì)算資源管理的研究者提供一個(gè)明晰的研究思路，加深對(duì)這一領(lǐng)域的理解。關(guān)鍵詞：云計(jì)算；虛擬化技術(shù)；資源管理；調(diào)度策略中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.3969/j.issn.1003-6970.2021.02.0210 引言云計(jì)算其核心

2、是將某一或某幾個(gè)數(shù)據(jù)中心的計(jì)算資源虛擬化之后，向用戶提供以租用計(jì)算資源為形式的效勞。簡(jiǎn)單地講，就是將很多位于同一地點(diǎn)或不同地點(diǎn)的計(jì)算機(jī)集合起來為企業(yè)或個(gè)人用戶提供各種效勞。云計(jì)算的概念一經(jīng)提出，便因其低費(fèi)用和高資源使用效率方面的突出優(yōu)點(diǎn)，而備受各大IT企業(yè)的推崇。云計(jì)算的高可靠性需要完善的平安管理機(jī)制和資源監(jiān)控機(jī)制；云計(jì)算的高擴(kuò)展性需要資源管理系統(tǒng)支持各種異構(gòu)資源；云計(jì)算效勞的低本錢需要資源管理系統(tǒng)有效的組織起大量廉價(jià)的PC，并且需要高效的資源調(diào)度分配策略來進(jìn)步系統(tǒng)的使用效率。所以云計(jì)算的資源管理在很大程度上決定了云計(jì)算要提供的效勞質(zhì)量，是云計(jì)算需要解決的核心問題之一。1 云計(jì)算資源管理概述通

3、常情況下，計(jì)算機(jī)科學(xué)中的“資源包括硬盤存儲(chǔ)器、內(nèi)存、各類接口控制器以及網(wǎng)絡(luò)連接等硬件設(shè)備資源，還包括程序、數(shù)據(jù)文件、系統(tǒng)組件等軟件資源。由于軟件通常在設(shè)計(jì)好并被部署在設(shè)備上之后更改的難度較大。因此通常在“資源管理中的“資源為系統(tǒng)的硬件資源。通過對(duì)這些資源在實(shí)際應(yīng)用中起到的作用，可以將其抽象為“計(jì)算資源、“存儲(chǔ)資源和“網(wǎng)絡(luò)資源?！坝?jì)算資源，即在特定計(jì)算模型之下，解決特定問題所要消耗的資源。常見的衡量指標(biāo)包括計(jì)算時(shí)間，即解決特定問題所需要花費(fèi)的步驟數(shù)目；及內(nèi)存空間，即解決該問題所需要的最小內(nèi)存空間。其中前者最為常見。通常決定“計(jì)算資源的因素主要是和等具有運(yùn)算才能的處理器?！按鎯?chǔ)資源通常指存儲(chǔ)數(shù)據(jù)文

4、件的才能，即存儲(chǔ)空間的大小。決定“存儲(chǔ)資源的因素主要是磁帶、硬盤和內(nèi)存等存儲(chǔ)設(shè)備?！熬W(wǎng)絡(luò)資源通常包含兩種意義。一是指多個(gè)計(jì)算機(jī)系統(tǒng)通過通信設(shè)備與軟件所形成連接；二是保存在互聯(lián)網(wǎng)或者各種局域網(wǎng)上的數(shù)據(jù)資源。決定“網(wǎng)絡(luò)資源大小的因素通常包括交換機(jī)、路由器、光纖、網(wǎng)絡(luò)軟件等等。常見的指標(biāo)包括帶寬、誤碼率等等。云計(jì)算資源包含兩大類，一類是指物理計(jì)算機(jī)、物理效勞器以及前兩項(xiàng)與必要的網(wǎng)路設(shè)備和存儲(chǔ)設(shè)備形成的物理集群。另一類是通過虛擬化技術(shù)在物理計(jì)算實(shí)體上生成的虛擬機(jī)以及由多個(gè)虛擬機(jī)組合形成的虛擬機(jī)群。作為一種大規(guī)模分布式環(huán)境，云計(jì)算擁有的資源類型和數(shù)量都是極為宏大的，為了盡可能地在供需不平衡的市場(chǎng)中以有限

5、資源來滿足更多用戶的需求，通常會(huì)要求通過資源管理來實(shí)現(xiàn)。2 云計(jì)算的資源管理目的在云計(jì)算中心集群規(guī)模日益龐大的今天，假設(shè)不能提升整個(gè)系統(tǒng)的管理才能，就無法充分利用系統(tǒng)資源，云計(jì)算的各項(xiàng)優(yōu)勢(shì)也就無從談起。只有采用優(yōu)秀的系統(tǒng)管理策略、方法與工具，才能令云計(jì)算中心的性能上一個(gè)臺(tái)階。云計(jì)算資源管理主要有如下幾個(gè)目的：1自動(dòng)化：自動(dòng)化就是指整個(gè)系統(tǒng)在盡量少甚至完全不需要人工干預(yù)的情況下，自動(dòng)完成各項(xiàng)效勞功能，以及資源調(diào)度、故障檢測(cè)與處理等等功能；2資源優(yōu)化：云計(jì)算中心需要通過多種資源調(diào)度策略來對(duì)系統(tǒng)資源進(jìn)展統(tǒng)籌安排。資源的優(yōu)化通常有三種目的：通信資源調(diào)優(yōu)、熱平衡、負(fù)載平衡；3簡(jiǎn)潔管理：由于云計(jì)算中心需要

6、維護(hù)的集群設(shè)備成百上千，而各種虛擬資源更是數(shù)不勝數(shù)，為了進(jìn)步運(yùn)維效率，降低人力勞動(dòng)強(qiáng)度，因此需要以一種簡(jiǎn)潔的方式對(duì)所有系統(tǒng)資源進(jìn)展管理；4虛擬資源與物理資源的整合：虛擬資源是在物理資源上施行虛擬化技術(shù)后產(chǎn)生的。虛擬化技術(shù)可以令一臺(tái)效勞器主機(jī)同時(shí)運(yùn)行假設(shè)干操作系統(tǒng)即其承載的應(yīng)用而不互相干擾。因此動(dòng)態(tài)地對(duì)虛擬資源進(jìn)展管理顯得尤為重要。3 云計(jì)算資源管理關(guān)鍵技術(shù)云計(jì)算系統(tǒng)資源管理可以分為資源監(jiān)控和資源調(diào)度兩部分。1系統(tǒng)資源監(jiān)控資源監(jiān)控指的是對(duì)系統(tǒng)的運(yùn)行狀況的記錄，按照時(shí)間可以分為實(shí)時(shí)和非實(shí)時(shí)兩種，按照監(jiān)控方式可以劃分為主動(dòng)監(jiān)控和被動(dòng)監(jiān)控兩種。系統(tǒng)資源的實(shí)時(shí)監(jiān)控是指系統(tǒng)需要記錄每時(shí)每刻的運(yùn)行狀態(tài)；而非

7、實(shí)時(shí)監(jiān)控那么是指每過一個(gè)時(shí)間間隔對(duì)系統(tǒng)運(yùn)行狀況進(jìn)展記錄或者由某個(gè)事件觸發(fā)記錄行為。主動(dòng)監(jiān)控是指中心節(jié)點(diǎn)主動(dòng)向各個(gè)節(jié)點(diǎn)發(fā)送消息詢問當(dāng)時(shí)的系統(tǒng)運(yùn)行參數(shù)；而被動(dòng)監(jiān)控那么是指各個(gè)節(jié)點(diǎn)向中心節(jié)點(diǎn)發(fā)送消息主動(dòng)匯報(bào)當(dāng)時(shí)的系統(tǒng)狀況?？紤]到監(jiān)控給系統(tǒng)帶來的負(fù)載，云計(jì)算環(huán)境多采用非實(shí)時(shí)被動(dòng)監(jiān)控方式，即各個(gè)節(jié)點(diǎn)每過一個(gè)時(shí)間間隔向中心節(jié)點(diǎn)發(fā)送消息匯報(bào)相關(guān)系統(tǒng)參數(shù)。Hadoop提供了一個(gè)名為chukwa的系統(tǒng)資源監(jiān)控解決方案，該方案由Yahoo開發(fā)。是一個(gè)開源的應(yīng)用于監(jiān)控大型分布式系統(tǒng)的數(shù)據(jù)搜集系統(tǒng)，其構(gòu)建在Hadoop的HDFS和MapReduce框架之上。chukwa可以展示用戶的作業(yè)運(yùn)行時(shí)間、占用資源情況、剩余資

8、源情況、系統(tǒng)性能瓶頸、整體作業(yè)執(zhí)行情況、硬件錯(cuò)誤以及某個(gè)作業(yè)的失敗原因。chukwa提供了采集數(shù)據(jù)的Agent，由Agent采集數(shù)據(jù)通過 發(fā)送給Cluster的Collector，而Collector將數(shù)據(jù)存入Hadoop中，并定期運(yùn)行MapReduce來分析數(shù)據(jù)，將結(jié)果呈現(xiàn)給用戶。chukwa架構(gòu)如圖1所示。Nagios是一款高效的開源的網(wǎng)絡(luò)監(jiān)視工具，能有效監(jiān)控windows、Linux和Unix主機(jī)的狀態(tài)、網(wǎng)絡(luò)效勞等等。Nagios支持自動(dòng)日志回滾功能，并可以實(shí)現(xiàn)對(duì)主機(jī)的冗余監(jiān)控，同時(shí)還可以預(yù)先定義一些處理程序，使之可以在發(fā)生相應(yīng)故障的時(shí)候進(jìn)展及時(shí)處理。 Ganglia是一個(gè)高性能計(jì)算環(huán)境

9、中的可擴(kuò)展分布式監(jiān)控系統(tǒng)。在Ganglia中，XML作為數(shù)據(jù)描繪方式、XDR用于數(shù)據(jù)傳輸以及RPDtool用于數(shù)據(jù)展示。Ganglia被設(shè)計(jì)用于檢測(cè)數(shù)以千計(jì)的節(jié)點(diǎn)性能，如CPU、內(nèi)存和硬盤的利用率，以及I/O負(fù)載和網(wǎng)絡(luò)流量。2系統(tǒng)資源調(diào)度所謂資源調(diào)度指的是在一個(gè)特定的環(huán)境中根據(jù)一定的資源使用規(guī)那么，對(duì)以分布式方式存在的各種不同資源進(jìn)展組合以滿足不同資源使用者需求的過程。調(diào)度策略是資源管理的最上層技術(shù)，主要是確定調(diào)度資源的目的以及當(dāng)資源供需發(fā)生沖突的時(shí)候如何滿足所有立即需求時(shí)的處理策略。調(diào)度資源的目的有幾種分類：最大化滿足用戶懇求、最大化資源利用、最低本錢和最大化利潤(rùn)率等。根據(jù)這些目的，云計(jì)算負(fù)

10、載平衡調(diào)度策略與算法可以分為性能優(yōu)先和經(jīng)濟(jì)優(yōu)先兩類。云計(jì)算采用虛擬化技術(shù)和大規(guī)模的數(shù)據(jù)中心技術(shù)，將分散的資源抽象為“資源池為用戶提供根底設(shè)施租賃和各種平臺(tái)效勞。數(shù)據(jù)中心需要對(duì)分散的物理設(shè)備進(jìn)展資源整合，以一種屏蔽底層細(xì)節(jié)的方式向用戶提供效勞。因此云計(jì)算數(shù)據(jù)中心面臨的首要問題就是共享資源與動(dòng)態(tài)分配管理虛擬資源。系統(tǒng)性能是一種衡量動(dòng)態(tài)資源管理結(jié)果的天然指標(biāo)。優(yōu)秀的動(dòng)態(tài)資源管理策略與算法可以以最小的開銷使得分散的各種資源像一臺(tái)物理主機(jī)一樣進(jìn)展協(xié)同工作。通常系統(tǒng)性能指標(biāo)包括平均響應(yīng)時(shí)間、資源利用率、任務(wù)的吞吐率等等。在云計(jì)算中性能優(yōu)先主要包括如下三種策略：先到先效勞first-come-first-s

11、ervice：該策略可以最大限度地滿足單臺(tái)虛擬機(jī)的資源需求。Hadoop默認(rèn)采用先到先效勞的策略進(jìn)展任務(wù)調(diào)度。先到先效勞的優(yōu)點(diǎn)是簡(jiǎn)單和低開銷。所有來自不同用戶的任務(wù)懇求都提交到唯一的一個(gè)隊(duì)列中。它們將根據(jù)優(yōu)先級(jí)和提交時(shí)間的順序被掃描。具有最高優(yōu)先級(jí)的第一個(gè)任務(wù)，將被選中進(jìn)展處理。但是先到先效勞策略的缺點(diǎn)是公平性差。在有大量高優(yōu)先級(jí)的任務(wù)的情況下，那些低優(yōu)先級(jí)的任務(wù)很少有時(shí)機(jī)得到處理。負(fù)載平衡：負(fù)載平衡策略是指使所有物理效勞器CPU、內(nèi)存、網(wǎng)絡(luò)帶寬等的平均資源利用率到達(dá)平衡。Chris Hyser等人通過對(duì)系統(tǒng)資源進(jìn)展監(jiān)控并計(jì)算當(dāng)前利用率，將用戶分配到資源利用率最低的資源上。該策略可以為用戶提供

12、一個(gè)較好的效勞質(zhì)量，但是降低系統(tǒng)資源的利用率。張棟梁、譚永杰也對(duì)云計(jì)算中負(fù)載平衡優(yōu)化模型做了詳細(xì)的闡述。進(jìn)步可靠性：該策略保證各資源的可靠性到達(dá)指定的詳細(xì)要求。業(yè)務(wù)可靠性與物理設(shè)備的可靠性平均故障時(shí)間、平均維修時(shí)間等直接相關(guān)，還包括停電、停機(jī)、動(dòng)態(tài)遷移等造成的業(yè)務(wù)中斷將影響業(yè)務(wù)的可靠性。在一定前提下，盡量減少虛擬機(jī)遷移次數(shù)，還需要統(tǒng)計(jì)虛擬機(jī)遷移對(duì)可靠性造成的量化影響。由于云計(jì)算系統(tǒng)誕生的初衷就是降低本錢，而且公有云及混合云將在一個(gè)開放市場(chǎng)中進(jìn)展商業(yè)運(yùn)營(yíng)，因此經(jīng)濟(jì)模型在資源調(diào)度問題中是一種解決方法。資源提供者即資源提供商，可以通過提供資源并得到相應(yīng)的收益。在這種情況下，越來越多的分布式資源就會(huì)會(huì)

13、聚到云計(jì)算資源市場(chǎng)中來，可供選擇的各類資源就越多。這樣，云效勞使用者就能獲得性價(jià)比更高的效勞，并且云資源提供商們亦可以獲取最大的收益。通過閱讀文獻(xiàn)得到一下幾種策略，以下是對(duì)各種機(jī)制及算法的描繪：1基于智能優(yōu)化算法：Mario Macias和Jordi Guitart等人主要關(guān)注了云計(jì)算效勞提供商供給競(jìng)爭(zhēng)性價(jià)格的問題，提出了一個(gè)基于遺傳算法的價(jià)格模型?；谶z傳算法的價(jià)格模型包含三個(gè)元素：定義染色體、評(píng)估染色體和染色體的選擇與繁殖。但此價(jià)格模型也存在缺陷：遺傳算法的運(yùn)行效率較低、收斂速度慢、遺傳穩(wěn)定性不太好。2基于經(jīng)濟(jì)學(xué)定價(jià)：Ishai Menache Asuman Ozdaglar Nahum

14、Shimkin著重于最大化長(zhǎng)期社會(huì)收益目的，該收益等于被執(zhí)行任務(wù)的資源利用率和減去依賴于負(fù)載的操作本錢。其系統(tǒng)模型可以共享計(jì)算才能，并且個(gè)人用戶的任務(wù)懇求將會(huì)被連續(xù)提交。當(dāng)來自不同用戶的任務(wù)到達(dá)后，每個(gè)任務(wù)會(huì)分得一定的效勞資源。根據(jù)一些資源分配協(xié)議，到來的任務(wù)必須被處理并完成。否那么，系統(tǒng)模型將會(huì)回絕承受一些即將到達(dá)的任務(wù)，這些任務(wù)將會(huì)分開而得不到任何效勞。而Dusit Niyato和Athanasio V.Vasilakos等研究了多個(gè)云資源提供者的協(xié)作行為，提出了異構(gòu)協(xié)作博弈模型。首先，給出一組云提供者和一個(gè)資源和收益共享的資源池。并且開發(fā)了隨機(jī)線性編程博棄模型可以處理不確定用戶的隨機(jī)懇求

15、，隨機(jī)線性編程模型是合作的核心；其次，分析了云資源提供者協(xié)作形式的穩(wěn)定性。但是此模型并未充分考慮公共云用戶的效勞質(zhì)量QoS，忽略了公共用戶的效勞體驗(yàn)。3基于指標(biāo)調(diào)度策略：Tim Pueschel等人引入了一個(gè)可以在隨機(jī)需求的情況下預(yù)測(cè)收益和獲得的利用率模型。基于策略的決策模型的目的是讓效勞提供者的收益最大化，必須的信息包括即將到來的效勞懇求和效勞價(jià)格，每一個(gè)任務(wù)的真實(shí)懇求和可用才能。收益最大化問題可以歸納為整數(shù)規(guī)劃問題，也是個(gè)優(yōu)化問題。第一類：先來先效勞策略FCFS被用于基準(zhǔn)，任何即將到來的任務(wù)被承受，假設(shè)那里有足夠的可用才能，這是一個(gè)簡(jiǎn)單類型的系統(tǒng)；第二類：基于價(jià)格的策略。任務(wù)接入詳細(xì)化為云

16、提供者的最大化收益活動(dòng)，他們引入一個(gè)基于策略的方法，可以自治決策過程。他們的隨機(jī)懇求成功的新機(jī)制控制模型可以幫助云提供者最大化收益，但是此模型并未充分考慮價(jià)格分布和各種資源懇求。4基于博棄論的雙向拍賣：Wei-Yu Lin等人通過使用一個(gè)二次價(jià)格機(jī)制實(shí)現(xiàn)動(dòng)態(tài)拍賣來解決云計(jì)算資源的分配問題?；谠撍惴ㄔ菩谔峁┥藽loud Computing Service Provider，CCSP可以確保合理的收益以及高效的資源分配。云效勞提供商有兩個(gè)任務(wù)：運(yùn)行時(shí)間監(jiān)測(cè)和向用戶分配相應(yīng)的資源。在決定多少資源分配給任務(wù)后，CCSP會(huì)出售剩余的資源給云用戶。提出的機(jī)制基于密封報(bào)價(jià)拍賣，階段開始時(shí)，用戶提交他們的報(bào)價(jià)給CCSP，CCSP隨后搜集所有的報(bào)價(jià)并決定價(jià)