云計算資源池的設計與實現(xiàn)

云計算資源池的設計與實現(xiàn)

0云計算基礎設施應用的發(fā)展歷程最近，云計算的概念已經(jīng)普及，并且給信息技術行業(yè)帶來了新的影響。然而，如何在企業(yè)的個人云環(huán)境中實施云計算是公司信息的共同面臨的挑戰(zhàn)。前兩年開始興起“資源池”的概念,經(jīng)過兩年的發(fā)展和演進,已經(jīng)成為云計算基礎設施級應用層第一個能夠真正完整落地的基礎架構新型應用方式。電力企業(yè)以建設和運營電網(wǎng)為核心業(yè)務,承擔著保障更安全、更經(jīng)濟、更清潔、可持續(xù)的電力供應的基本使命,呈現(xiàn)出產(chǎn)業(yè)化、標準化和集團化的發(fā)展趨勢。集團化運作對成員企業(yè)在生產(chǎn)、銷售、管理、售后等環(huán)節(jié)協(xié)同運作均提出較高要求。因此,對數(shù)據(jù)的及時分析、存儲和輔助決策等需求日益強烈。1paas和軟件級服務根據(jù)提供的服務類型,云計算服務分為三類:基礎設施級服務(IaaS),平臺級服務(PaaS)和軟件級服務(SaaS)。對于大型企業(yè)的信息化支撐系統(tǒng)來說,云計算在基礎設施層面的體現(xiàn),主要就是采用虛擬化技術,構建基礎設施資源池,以資源池的形式支撐各個業(yè)務系統(tǒng)的資源需求,具備根據(jù)需要分配資源和彈性擴展的能力,有效提高資源利用率。2電能企業(yè)云計算資源池建設2.1資源池的異構性在電力企業(yè)建設資源池的初期,也參考了互聯(lián)網(wǎng)企業(yè)的資源池。但隨著工程的建設,發(fā)現(xiàn)大型電力企業(yè)的資源池與互聯(lián)網(wǎng)企業(yè)的資源池還是有很大的差別?；ヂ?lián)網(wǎng)企業(yè)的特點是規(guī)模大,但環(huán)境單一。大型電力企業(yè)的特點是IT基礎設施環(huán)境復雜,必然需要考慮異構問題。所以大型電力企業(yè)的資源池不是一個單一的X86虛擬化池的概念,而是一個綜合的異構環(huán)境的概念。這也決定了大型電力企業(yè)的資源池建設絕不是可以一蹴而就的,而是需要經(jīng)歷一個漫長的過程。2.2單一指標分析電力企業(yè)中的資源池是一個復雜的體系,其優(yōu)劣很難用單一的指標來進行衡量。通過每個組成部分的能力成熟度情況,可以對資源池的整體成熟度進行綜合分析。2.2.1在網(wǎng)絡、存儲方面的應用提出了以程序維護為以VMware為代表的X86虛擬化技術,實現(xiàn)了X86物理機向虛擬機的轉(zhuǎn)變,虛擬化平臺使業(yè)務應用的軟件部分(包括操作系統(tǒng)、平臺軟件和業(yè)務應用代碼本身)與硬件不再具有直接的綁定關系,同時由于虛擬機可以更加方便地被創(chuàng)建、變更、銷毀和遷移,X86虛擬化技術確實在一定程度上實現(xiàn)了X86架構的柔性。但實施X86虛擬化絕非資源池建設的全部內(nèi)容。X86虛擬化技術只是建設資源池的第一步。在實際建設過程中,建設者往往會遇到不同硬件不能兼容同一版本的虛擬化軟件、存儲設備成為新的單點故障風險、業(yè)務應用在X86虛擬化環(huán)境中運行的性能表現(xiàn)不佳等一系列的問題。從技術的角度來講,主流的X86虛擬化技術一般都是通過共享存儲來實現(xiàn)虛擬機高可用,其計算資源效率的提高是以存儲資源開銷增加為基礎的,虛擬化平臺的引入使整個IT基礎設施架構變得更為復雜,因此統(tǒng)籌考慮服務器、存儲、網(wǎng)絡、軟件、應用之間的依賴關系變得尤為重要。從資源運營的角度來講,X86虛擬化技術并不能直接解決業(yè)務應用的“豎井”問題,很多企業(yè)實施了X86虛擬化以后,業(yè)務應用由原來的獨占物理主機,變?yōu)榱霜氄继摂M主機,資源并沒有得到有效的流轉(zhuǎn)。同時,由于X86虛擬化對物理主機的要求較高,一般建設單位都會采用新采購服務器的方式來進行建設,遺留的軟/硬件資產(chǎn)得不到有效的利用,這樣的問題在大型企業(yè)中尤為突出。處于本階段的資源池,由于資源環(huán)境單一,資源池管理系統(tǒng)的功能也比較單一。在規(guī)模較小的資源池中,甚至沒有獨立的資源池管理系統(tǒng),直接使用VMwarevCenter等虛擬化平臺自帶的工具來實現(xiàn)資源池的管理。因此,X86虛擬化階段是資源池成熟度模型中最為基礎的階段,同時也應當是電力企業(yè)資源池建設的初級階段。2.2.2資源池和物理服務器的集成X86虛擬化實現(xiàn)了X86服務器的池化。對于電力企業(yè)來講,由于其業(yè)務的復雜性和系統(tǒng)負載壓力,將全部業(yè)務遷移到X86虛擬化環(huán)境上的時機尚不成熟,且由于歷史建設中的大量遺留資產(chǎn)物理服務器、小型機等設備在企業(yè)中還將長期存在。因此,在電力企業(yè)硬件資源池建設中,不但需要考慮X86虛擬化,還需要考慮物理機環(huán)境和小型機環(huán)境的池化問題。資源池成熟度模型第二階段相比于第一階段,主要的提升在于實現(xiàn)了硬件設備的全面柔性。這當中包括了各種硬件的標準化、柔性、彈性設計以及服務器、存儲和網(wǎng)絡的關聯(lián)設計。在基于網(wǎng)絡的安裝、主機自動化等技術的支持下,X86物理服務器也可以實現(xiàn)按用戶需求的安裝與交付,從而達到類似于虛擬機池的管理效果;而小型機則可以利用自身的虛擬化技術實現(xiàn)動態(tài)分配和彈性調(diào)度(例如,IBMPowerVM技術)。當然,由于X86物理服務器自動化能力的局限性和小型機技術體系的封閉性,這兩種類型的硬件池無法達到X86虛擬化池的靈活程度。但在大型企業(yè)中,X86物理機池和小型機池都是不可缺少的組成部分。服務器、存儲、網(wǎng)絡的關聯(lián)設計主要考慮各種資源的配比關系,以避免在某個資源類型上出現(xiàn)瓶頸。服務器池化給資源池中的存儲和網(wǎng)絡帶來了新的挑戰(zhàn)。例如,在大規(guī)模X86虛擬化環(huán)境下,由于存儲的開銷變大,需要格外注意計算資源與存儲資源的配比關系。在實際案例中,一臺集中式存儲設備最多支撐150臺物理機做虛擬化,由于存儲性能而導致整個虛擬化環(huán)境性能低下的例子比比皆是。又如,資源池中的虛擬機會由一臺物理主機遷移到另外一臺物理主機,為了保證虛擬機的網(wǎng)絡通信不中斷,就需要網(wǎng)絡環(huán)境具備動態(tài)適應的能力。為了大規(guī)模資源池的建設,一定需要同時考慮服務器、存儲、網(wǎng)絡的池化和關聯(lián)設計。處在本階段中的資源池,由于硬件環(huán)境變得異構而復雜,一個統(tǒng)一的資源池管理系統(tǒng)就變?yōu)榱吮匦杵?。該階段的資源池管理系統(tǒng)需具備管理混合環(huán)境的能力,能夠做硬件的裝配交付。例如,業(yè)務應用A需要2臺VMware虛擬機預裝Linux操作系統(tǒng),需要2個IBM小型機分區(qū)預裝AIX操作系統(tǒng),它們需要都處于一個VLAN中,且兩個小型機需要掛載存儲卷,這樣一套復雜環(huán)境可以由資源池管理系統(tǒng)自動裝配并創(chuàng)建出來。同時,資源池管理系統(tǒng)需具備基于策略的資源彈性調(diào)度能力,以保證資源在運行態(tài)下的健壯性和最大化利用。同時,本階段資源池的基礎環(huán)境(機房、風、火、水、電等設施)也需要實現(xiàn)標準化,以便支撐標準化的硬件架構。站上第二個臺階的資源池,實現(xiàn)了全方面的硬件基礎設施架構標準化、柔性和彈性,并在此基礎上具備了交付各種各樣硬件服務的能力。2.2.3平臺軟件的標準化階段資源池成熟度模型第三階段在第二階段的基礎上,增加了資源池管理系統(tǒng)對平臺軟件的安裝與交付能力。這使得資源池管理系統(tǒng)能夠做面向特定應用的軟/硬件裝配交付。援引上一節(jié)的例子,現(xiàn)在資源池管理系統(tǒng)可以為業(yè)務應用A交付2臺VMware虛擬機預裝Linux操作系統(tǒng)和WebLogic中間件,并將兩個WebLogic配置為集群,同時交付2個IBM小型機分區(qū)預裝AIX操作系統(tǒng)和Oracle數(shù)據(jù)庫,并將Oracle數(shù)據(jù)庫配置為RAC模式。軟/硬件裝配交付在硬件裝配交付的基礎上,進一步豐富了資源池能夠提供的服務類型。本階段的提升點雖然比較少,卻是建立在企業(yè)級平臺軟件實現(xiàn)標準化的基礎之上。平臺軟件的自動安裝交付一般是基于腳本實現(xiàn)的,如果企業(yè)中的平臺軟件不標準(例如版本混亂),則很容易出現(xiàn)腳本泛濫以致最終無法管理的問題?？梢哉f平臺軟件的標準化是邁向平臺軟件服務化的前提。本階段是目前技術條件下,電力企業(yè)資源池大規(guī)模工程建設能夠達到的最高級別。2.2.4軟件池的可調(diào)度性資源池成熟度模型第四階段在第三階段的基礎上,實現(xiàn)軟件資源池化,增加了平臺軟件的柔性。在第三階段中對于軟件的交付基本還是基于自動化的安裝腳本,軟件池的核心則在于實現(xiàn)平臺軟件本身的可調(diào)度性。例如,一個數(shù)據(jù)庫池可以為多個業(yè)務應用提供數(shù)據(jù)庫服務,同時可以根據(jù)不同業(yè)務應用的負載情況和優(yōu)先級自動再調(diào)整數(shù)據(jù)庫資源在不同業(yè)務應用之間的配比,實現(xiàn)軟件資源的“流動”。在軟件池中,平臺軟件徹底實現(xiàn)了服務化,用戶亦不再需要關心平臺軟件的安裝配置、配置參數(shù)、調(diào)優(yōu)、維護等細節(jié)問題,只需按需申請和使用平臺軟件服務即可。在本階段,資源池已達到同時提供IaaS級服務和PaaS級服務的能力。2.2.5資源池和業(yè)務應用的標準化是資源調(diào)度的意識體現(xiàn)資源池成熟度模型第五階段在第四階段的基礎上,通過業(yè)務應用標準化和豐富多樣的調(diào)度策略的實現(xiàn),真正實現(xiàn)軟/硬件架構的彈性。資源彈性是一個容易理解但難以實現(xiàn)的概念。在大型資源池工程建設過程中,需要很長時間的資源池運行數(shù)據(jù)積累和大量的調(diào)優(yōu)經(jīng)驗,才能真正實現(xiàn)有意義的資源彈性調(diào)度策略并應用于生產(chǎn)環(huán)境。同時,業(yè)務應用的標準化是實現(xiàn)資源在不同應用之間“流動”的重要前提,但大型企業(yè)中業(yè)務應用的標準化絕非一個簡單的過程,通常在業(yè)務成熟度和技術成熟度都很高的行業(yè)案例中才能出現(xiàn)。在本階段,資源池已經(jīng)完全成熟,實現(xiàn)了全面的IT基礎設施資源集約化管理,經(jīng)濟回報達到最大化;數(shù)據(jù)中心可基本做到“無人值守”,顯著降低運行維護成本;IT基礎設施架構可以快速適應業(yè)務的需求,推動業(yè)務加速創(chuàng)新,增強企業(yè)的核心競爭力。2.2.6源池架構的發(fā)展從資源池成熟度模型可知,資源池的概念既不等同于虛擬化也不等同于云計算。資源池以虛擬化技術為基礎,但更重要的是實現(xiàn)基礎架構、平臺軟件的全面柔性,是IT基礎設施架構與使用模式的轉(zhuǎn)型;資源池是云計算基礎設施級服務(IaaS)、平臺級服務(PaaS)的重要組成部分,但并不是云計算的全部。3性能測試結(jié)果云計算資源池為電力企業(yè)提供了靈活、高效的IT資源供給能力,其最終目標是為電力企業(yè)業(yè)務應用提供服務。因此,業(yè)務應用部署到云計算資源池(后簡稱應用入池)必須充分結(jié)合業(yè)務應用的特點,并考慮應用遷移可能帶來的變更風險,對應用入池做充分的測試。測試針對二級部署的一體化繳費接入管理平臺IPAPV1.047進行環(huán)境搭建,驗證系統(tǒng)入池的可行性,測試系統(tǒng)在資源池中運行性能表現(xiàn)和穩(wěn)定性。一體化繳費接入管理平臺IPAPV1.047在VMware和華為虛擬化平臺中環(huán)境搭建,性能測試選取異常查詢和終端接入進行并發(fā)測試,穩(wěn)定性選取終端接入進行測試。經(jīng)測試,系統(tǒng)在VMware和華為虛擬化平臺中,異常查詢和終端接入并發(fā)測試事務平均響應時間均小于3s,成功率均為100%;終端接入穩(wěn)定性測試,事務平均響應時間均小于3s,成功率均為100%。整個測試過程中,服務器CPU平均利用率小于60%,且連續(xù)30s不超過80%,服務器內(nèi)存平均利用率小于75%,且連續(xù)60s內(nèi)不超過80%,均滿足性能技術指標要求,詳見表1、表2