云系統(tǒng)中的資源池構建

云系統(tǒng)中的資源池構建

云計算是一種基于互聯(lián)網(wǎng)的新計算方法。它通過不同的網(wǎng)絡架構和獨立服務為個人和潛在用戶提供可靠的計算和費用。由于資源是在互聯(lián)網(wǎng)上,而在計算機流程圖中,互聯(lián)網(wǎng)常以一個云狀圖案來表示,因此可以形象地類比為云,‘云’同時也是對底層基礎設施的一種抽象概念<維基百科>。云計算是一種基于網(wǎng)絡的支持異構設施和資源流轉的服務供給模型,它提供給客戶可自定義的服務,實現(xiàn)資源的按需分配、按量計費。云計算導致資源規(guī)?；?促進分工的專業(yè)化,使得資源供應商和用戶都更加關注于自己的業(yè)務,有利于降低單位資源成本,促進網(wǎng)絡業(yè)務創(chuàng)新。云計算包括兩個層次的含義:資源層次和應用層次,它具有基于網(wǎng)絡、支持異構的基礎資源、支持資源的動態(tài)伸縮和流轉、支持異構的多業(yè)務體系、支持海量信息處理、按需分配按量計費的特征。云操作系統(tǒng),是負責云計算數(shù)據(jù)中心基礎軟件、硬件資源管理監(jiān)控的系統(tǒng)軟件。通過基礎軟硬件監(jiān)控、分布式文件系統(tǒng)和虛擬計算,云操作系統(tǒng)實現(xiàn)了云基礎設施即服務層,通過安全管理中心實現(xiàn)資源多用戶共享的數(shù)據(jù)和信息安全,通過節(jié)能管理中心,有效實現(xiàn)基礎資源的綠色、低碳運維。而通過業(yè)務與資源調度中心,則實現(xiàn)了云平臺即服務層的部分內容。云操作系統(tǒng)主要包括大規(guī)模基礎軟硬件管理、分布式文件系統(tǒng)、虛擬計算管理、安全控制管理、節(jié)能管理和業(yè)務/資源調度管理?；A軟硬件管理,主要負責大規(guī)?；A軟件、硬件資源的監(jiān)控和管理,為云操作系統(tǒng)的資源調度等高級應用提供了決策信息,是云操作系統(tǒng)的資源管理的基礎?；A軟件資源,包括單機操作系統(tǒng)、中間件、數(shù)據(jù)庫等?；A硬件資源,則包括網(wǎng)絡環(huán)境下的三大主要設備,即:計算(服務器)、存儲(存儲設備)和網(wǎng)絡(交換機、路由器等設備)。基礎軟硬件管理中心,可以對基礎軟件、硬件資源進行資產管理;可以實現(xiàn)基礎硬件的狀態(tài)監(jiān)控和性能監(jiān)控;能夠對異常情況觸發(fā)報警,提醒用戶及時維護問題設備;能夠對基礎軟硬件資源進行長期的統(tǒng)計分析,為高層次的資源調度提供決策依據(jù)。虛擬化的本質在于從邏輯角度而不是物理角度來對資源進行分配和使用,即從單一的邏輯角度來看待不同的物理資源。虛擬化技術有三種主要應用形態(tài),即虛擬分拆、虛擬整合和虛擬遷移。虛擬分拆是最常見的虛擬化技術,其可將一臺物理機分拆為多臺虛擬機,從而提高物理資源的利用率,如VMware的VSphere、XEN和微軟的Hyper-V等。虛擬整合則是將眾多性能一般的計算機整合為一臺性能出眾的計算機,常見的有高性能計算系統(tǒng)等。虛擬遷移,可以使用戶像使用本地資源一樣使用異地物理資源,如遠程桌面、網(wǎng)絡共享目錄等。云計算數(shù)據(jù)中心較為普遍的應用了虛擬化技術的三種應用模式,其中尤以虛擬分拆技術應用最為廣泛。云計算數(shù)據(jù)中心即需要兼容同一時期不同廠商的不同軟件、硬件資源,還需要兼容不同時期采購的異構軟件、硬件資源,因而需要著重解決異構軟硬件資源的同構化問題。異構資源同構化,可以將異構的資源轉換為相同顆粒度的可度量的同構資源節(jié)點,是按需分配和按量計費的基礎。而資源節(jié)點同構化,也為分布式和并行性計算提供了良好的運行環(huán)境。在云操作系統(tǒng)中,大規(guī)?；A資源的監(jiān)控(包括硬件資源和虛擬化資源),物力資源及虛擬資源的自動化調度,是云OS的核心所在。而這兩個重要功能的實現(xiàn),都離不開相關信息的準確、及時、安全的采集,這就勢必要求建立一個高效安全的云OS資源池。本文將從資源池的信息采集、資源映射和信息同步三個方面,闡述資源池的構建、管理、維護。1資源池建設1.1資源的獲取過程資源池的信息采集單元是資源池的基礎模塊,負責采集、保存資源信息。資源池的信息包括物理資源和虛擬資源。物理資源具體分為計算資源、存儲資源、網(wǎng)絡資源,計算資源是指運行計算資源的服務,例如運行虛擬化的服務器;存儲資源是指用于共享或者分布式存儲的存儲服務器;網(wǎng)絡資源是指路由器、交換機等網(wǎng)絡設備的信息、實時狀態(tài)等。虛擬資源具體分為虛擬計算資源、虛擬存儲資源、虛擬網(wǎng)絡資源。信息的采集過程大致如下:資源池初始化時從數(shù)據(jù)庫讀取各種資源的基本靜態(tài)信息,并動態(tài)從監(jiān)控代理程序中獲取各種資源的動態(tài)信息。采集后的信息進行歸類匯總,并對一些組的綜合信息進行計算,從而為資源映射到內存對象做好準備。詳細的資源信息包括:計算資源(1)節(jié)點消息·組名稱·組位置·CPU利用率·內存利用率·網(wǎng)絡利用率·磁盤利用率·虛擬機個數(shù)等。(2)節(jié)點信息·節(jié)點名稱·節(jié)點IP·節(jié)點狀態(tài)·節(jié)點OS·節(jié)點備注·節(jié)點MAC·訪問權·CPU利用率·內存利用率·網(wǎng)絡利用率·磁盤利用率等。(2)儲備資源存儲資源也分為組信息與存儲節(jié)點信息,基本內容與計算資源相仿,存儲資源還包括存儲組和存儲節(jié)點的利用率、未使用、總容量等。(3)動態(tài)信息定義網(wǎng)絡資源同樣分為組信息與網(wǎng)絡節(jié)點信息,基本靜態(tài)信息類似于計算節(jié)點,動態(tài)信息包括網(wǎng)絡設備狀態(tài)、廠商、流量、丟包率等信息。虛擬資源的信息大致與物理資源信息相同,只是獲取方式可能有所不同。1.2資源池相關對象的確定在云操作系統(tǒng)中,對于資源的監(jiān)控需要快速或者實時獲取資源的有關信息,這就要求能夠快速或者實時從資源池中獲取相關信息。本文所架構和設計的資源池的信息是直接存放在內存對象中,這樣就可以迅速實現(xiàn)資源池的讀寫操作。當資源池完成各類信息的定時采集后,會直接映射到內存對象中并在內存中長期駐存,從而實現(xiàn)信息的快速讀取。對于資源池中相關對象生命周期的控制,本文采用了“心跳機制”進行控制。每一條資源對象都有固定的生命值,資源池會定時去獲取每一條資源對象的狀態(tài)。當資源池獲取不到對應資源的狀態(tài)時,生命值減少1,反之則生命值增加1(固定值封頂)。當生命值小于0時,則將此條資源對象從資源池中刪除。以此機制實現(xiàn)資源池中信息生命周期的控制。1.3資源池同步處理資源池為整個數(shù)據(jù)中心所有資源信息在內存中實時準確的映射,故資源池中信息與實際資源信息的同步就顯得異常重要。在本文中,資源池的同步主要是從兩個方面進行。一方面,資源池定時與數(shù)據(jù)庫中靜態(tài)信息進行對比更新,而后對雙方不一致的信息進行處理(動態(tài)信息完善、資源池信息對象增加、刪除);另一方面,資源池利用自身的生命周期控制機制,對無生命狀態(tài)的資源對象進行及時刪除,從而保持資源池信息的實時性和準確性。2測試多個節(jié)點同時沖刷資源池所耗時間本文所設計的云操作系統(tǒng)資源池的最主要目的就是為了能夠快速實時獲取到系統(tǒng)所需要的資源信息,從而實現(xiàn)云操作系統(tǒng)的大規(guī)模資源監(jiān)控、資源自動流轉與節(jié)能等核心功能,故本文主要從資源池的效率方面列出實驗數(shù)據(jù)。資源池可以支持多少物理節(jié)點同時刷新負載數(shù)據(jù),模擬測試多個節(jié)點并發(fā)刷新資源池所用的時間。運行資源池的服務器配置為windowsserver2008,64位操作系統(tǒng)、Intel(R)Xeon(R)CPU、4G內存、MySql5.1.42數(shù)據(jù)庫。實驗步驟如下:(1)在數(shù)據(jù)庫中準備不同數(shù)量的靜態(tài)數(shù)據(jù);(2)初始化資源池;(3)運行模擬程序,模擬多個節(jié)點并發(fā)刷新資源池節(jié)點的負載數(shù)據(jù);(4)記錄刷新1000~6000節(jié)點所耗的時間。實驗數(shù)據(jù)如下表。從實驗數(shù)據(jù)可以看出,本文所設計的云操作系統(tǒng)資源池在6000節(jié)點時,一分鐘左右就可以將數(shù)據(jù)刷新一遍,表明可以合理高效的