分布式云數(shù)據(jù)中心架構(gòu)及管理關(guān)鍵技術(shù)

分布式云數(shù)據(jù)中心架構(gòu)及管理關(guān)鍵技術(shù)黃峰【摘要】目前業(yè)界流行的云計算旨在解決單個云數(shù)據(jù)中心的問題，而無法解決多個云數(shù)據(jù)中心之間資源共享、統(tǒng)一管理、提升業(yè)務(wù)服務(wù)質(zhì)量的問題。為此，提出了分布式云數(shù)據(jù)中心(DC2)的概念及架構(gòu)，并研究了分布式云數(shù)據(jù)中心的管理及服務(wù)的關(guān)鍵技術(shù)。分布式云數(shù)據(jù)中心能將傳統(tǒng)數(shù)據(jù)中心的分散、分層、異構(gòu)架構(gòu)，改為全扁平式、統(tǒng)一資源管理的分布式云數(shù)據(jù)中心架構(gòu)，從而將多個不同地域、不同階段、不同規(guī)模的單體云數(shù)據(jù)中心所有資源，通過邏輯集中進(jìn)行統(tǒng)一管理、統(tǒng)一運(yùn)營，最終使云數(shù)據(jù)中心更高效、更可靠、更綠色。％Atpresent,thepopularizedcloudcalculationinprofessionalfieldcansolvetheissueofindividualclouddatacenter,butcannotsolvetheissueamongmultipleclouddatacenters,suchasresourcesharing,unifiedmanagement,andupgradingthequalityofbusinessservices.Thustheconceptandarchitectureofdistributedclouddatacenter(DC2)isproposed,andthecriticaltechnologiesformanagementandservicesofthedistributedclouddatacenterareresearched.Thedistributedclouddatacentercanchangethetraditionaldatacenterswithscattered,hierarchicalandheterogeneousarchitecturesintodistributedclouddatacenterwithawholeflatarchitectureandunifiedresourcemanagement.Thesolutionproposedmakesalltheresourcesinmultipleindividualclouddatacenterslocatedindifferentregions,differentstages,anddifferentscalesintegratedlogicallyforunifiedmanagementandoperation,toreachthestatusofhigherefficient,morereliableandmoreenvironmentprotectionforclouddatacenter.期刊名稱】《自動化儀表》年(卷),期】2014(000)008【總頁數(shù)】5頁(P1-4,9)【關(guān)鍵詞】分布式云數(shù)據(jù)中心(DC2)澈據(jù)中心即服務(wù)(DCaaS);管理即服務(wù)(MaaS);網(wǎng)絡(luò)即服務(wù)(NaaS);存儲虛擬化;網(wǎng)絡(luò)虛擬化【作者】黃峰【作者單位】上海儀電電子集團(tuán)公司，上海200233【正文語種】中文【中圖分類】TP302+.1Networkasaservice(NaaS)StoragevirtualizationNetworkvirtualization當(dāng)前，云計算對于IT行業(yè)來說是一個巨變，就像用電網(wǎng)代替本地發(fā)電機(jī)一樣。數(shù)據(jù)中心(datacenter，DC)的架構(gòu)及其管理模式也隨之帶來了挑戰(zhàn)與巨變。一方面，在傳統(tǒng)架構(gòu)下，數(shù)據(jù)中心層級多，站點(diǎn)數(shù)量多，管理復(fù)雜，運(yùn)營成本高；且IT資源使用效率低，能效比低，服務(wù)質(zhì)量很難保證。而另一方面，單體的云數(shù)據(jù)中心盡管使用了存儲虛擬化、計算虛擬化、網(wǎng)絡(luò)資源虛擬化等一系列先進(jìn)的云計算技術(shù)，但各云數(shù)據(jù)中心單體間無法將各自資源池化，從而達(dá)到更有效的資源統(tǒng)一管理與彈性調(diào)度。本文在充分研究了全扁平式、統(tǒng)一資源管理的分布式云數(shù)據(jù)中心架構(gòu)優(yōu)點(diǎn)的基礎(chǔ)上，對其管理即服務(wù)的關(guān)鍵技術(shù)做了深入的探索。數(shù)據(jù)中心（DC）在維基百科給出的定義是“一整套復(fù)雜的設(shè)施，它不僅僅包括計算機(jī)系統(tǒng)和其他與之配套的設(shè)備（例如通信系統(tǒng)和存儲系統(tǒng)），還包含冗余的數(shù)據(jù)通信連接、環(huán)境控制設(shè)備、監(jiān)控設(shè)備以及各種安全裝置”。數(shù)據(jù)中心從20世紀(jì)90年代的傳統(tǒng)數(shù)據(jù)中心（IT資源集中化，計算能力增強(qiáng)），21世紀(jì)初的云數(shù)據(jù)中心（虛擬化提升IT利用率），發(fā)展到現(xiàn)今的分布式云計算中心（物理分散、邏輯統(tǒng)一），歷經(jīng)三代。我們可以把分布式云數(shù)據(jù)中心看作為數(shù)據(jù)中心3.0。傳統(tǒng)數(shù)據(jù)中心（數(shù)據(jù)中心1.0）傳統(tǒng)的數(shù)據(jù)中心（數(shù)據(jù)中心1.0）為企業(yè)提供IT基礎(chǔ)設(shè)施與應(yīng)用服務(wù)，辦公信息化大大提升了社會的工作效率。傳統(tǒng)的數(shù)據(jù)中心運(yùn)營商一般為企業(yè)提供主機(jī)托管與主機(jī)租賃服務(wù)。由于IT資源的煙囪式設(shè)計、僵化的IT架構(gòu)等原因，數(shù)據(jù)中心運(yùn)營商面臨以下困難與挑戰(zhàn)。高能源消耗，低資源利用率。傳統(tǒng)數(shù)據(jù)中心所支付的電費(fèi)已超過購買服務(wù)器設(shè)備的費(fèi)用。運(yùn)維效率低、維護(hù)成本高。傳統(tǒng)數(shù)據(jù)中心70%以上的IT預(yù)算被用于現(xiàn)有系統(tǒng)的維護(hù)而不是建設(shè)新的IT系統(tǒng)。平臺支撐能力差，業(yè)務(wù)上線周期長。傳統(tǒng)數(shù)據(jù)中心缺乏統(tǒng)一開放的平臺，無法實現(xiàn)資源的統(tǒng)一調(diào)度，業(yè)務(wù)部署基礎(chǔ)配置復(fù)雜，新業(yè)務(wù)上線周期長。單體云數(shù)據(jù)中心（數(shù)據(jù)中心2.0）云計算技術(shù)的出現(xiàn)顛覆了傳統(tǒng)數(shù)據(jù)中心行業(yè)，它的按需使用、資源共享、綠色節(jié)能快速業(yè)務(wù)部署等優(yōu)勢，彌補(bǔ)了傳統(tǒng)數(shù)據(jù)中心的缺點(diǎn)。單體云數(shù)據(jù)中心具有以下特點(diǎn)超大規(guī)模性。Google云計算中心已經(jīng)擁有數(shù)百萬臺服務(wù)器。虛擬化。云計算支持用戶在任意位置使用各種終端獲取應(yīng)用服務(wù)。用戶無需了解、也不用擔(dān)心應(yīng)用運(yùn)行的具體位置。高可靠性?！霸啤笔褂昧藬?shù)據(jù)多副本容錯、計算節(jié)點(diǎn)同構(gòu)可互換等措施來保障云服務(wù)的高可靠性。簡化管理。在云數(shù)據(jù)中心，管理人員通過云管理軟件可以統(tǒng)一管理、調(diào)度各種規(guī)格的虛擬機(jī)，無需關(guān)心它們所運(yùn)行的服務(wù)器的硬件差異。綠色節(jié)能。傳統(tǒng)數(shù)據(jù)中心的能源使用效率(powerusageeffectiveness，PUE)—般為2.5~3.0。單體云數(shù)據(jù)中心可以降低至1.5，甚至更低。1.3分布式云數(shù)據(jù)中心(數(shù)據(jù)中心3.0)云計算數(shù)據(jù)中心的建設(shè)已成為當(dāng)今企業(yè)信息化建設(shè)的主流模式，但目前的云數(shù)據(jù)技術(shù)還在著重解決單個數(shù)據(jù)中心內(nèi)部的問題。隨著全球化的深入發(fā)展，以及區(qū)域經(jīng)濟(jì)的電費(fèi)、網(wǎng)絡(luò)與土地價格的差異，越來越多的集團(tuán)企業(yè)有跨地域建設(shè)云計算中心的需要，跨區(qū)域、各層級的數(shù)據(jù)中心應(yīng)運(yùn)而生。這些眾多的數(shù)據(jù)中心仍處于煙囪式的建設(shè)和管理狀態(tài)，各個數(shù)據(jù)中心之間各自為政。其具體表現(xiàn)為以下三點(diǎn)。廣域網(wǎng)帶寬成本高。數(shù)據(jù)集中在總部數(shù)據(jù)中心后，企業(yè)的所有分支辦事機(jī)構(gòu)用戶日常辦公終端均需要通過接入企業(yè)廣域網(wǎng)來訪問總部業(yè)務(wù)應(yīng)用，廣域網(wǎng)的傳輸數(shù)據(jù)流量驟增。而在廣域網(wǎng)的傳輸流量中，70％以上的流量均來自于日常的病毒、補(bǔ)丁庫更新、文件傳輸、軟件推送等IT基礎(chǔ)類業(yè)務(wù)。分支機(jī)構(gòu)用戶業(yè)務(wù)訪問體驗差，服務(wù)等級協(xié)議(servicelevelagreement,SLA)保證困難。受限于廣域網(wǎng)的帶寬與傳輸時延，企業(yè)分支機(jī)構(gòu)對總部的業(yè)務(wù)應(yīng)用訪問體驗較差，特別是一些對傳輸時延敏感的業(yè)務(wù)應(yīng)用(如虛擬桌面、多媒體視頻等)，分支機(jī)構(gòu)用戶對企業(yè)IT服務(wù)滿意度會大幅下降。管理復(fù)雜，運(yùn)營成本高。由于各層級的數(shù)據(jù)中心承載的業(yè)務(wù)類型不同，軟硬件系統(tǒng)運(yùn)維管理需求及容災(zāi)備份保障策略也各不相同，不利于各層數(shù)據(jù)基礎(chǔ)設(shè)施資源的統(tǒng)一管理和協(xié)同管理，降低了各層數(shù)據(jù)中心實現(xiàn)全局管理的維護(hù)效率。因此，單點(diǎn)的云數(shù)據(jù)中心方案已經(jīng)不能滿足客戶的需求，而只有從整個數(shù)據(jù)中心集群的架構(gòu)入手，解決各個數(shù)據(jù)中心之間的協(xié)同運(yùn)行、統(tǒng)一管理和調(diào)度問題，才能從整體上解決集團(tuán)IT系統(tǒng)的利用率、管理效率和業(yè)務(wù)體驗難題。分布式云數(shù)據(jù)中心正是為了應(yīng)對這個整體數(shù)據(jù)架構(gòu)的挑戰(zhàn)而生的。2.1分布式云數(shù)據(jù)中心技術(shù)架構(gòu)分布式云數(shù)據(jù)中心的拓?fù)涫疽鈭D如圖1所示。圖1中，單體數(shù)據(jù)中心分別代表著組成此分布云數(shù)據(jù)中心的單體云數(shù)據(jù)中心1、單體云數(shù)據(jù)中心2和單體云數(shù)據(jù)中心n。分布式云數(shù)據(jù)中心不再局限于解決單個數(shù)據(jù)中心的效率，而是將這三個單體數(shù)據(jù)中心看成一個有機(jī)整體，圍繞跨數(shù)據(jù)中心管理、資源調(diào)度和災(zāi)備設(shè)計，包括實現(xiàn)數(shù)據(jù)中心云資源遷移的云操作系統(tǒng)、多數(shù)據(jù)中心統(tǒng)一資源管理和調(diào)度的運(yùn)營運(yùn)維管理系統(tǒng)以及軟件定義數(shù)據(jù)中心能力。分布式云數(shù)據(jù)中心可極大地提升多個數(shù)據(jù)中心整體的運(yùn)作效率和可靠性，降低集團(tuán)用戶的資本性支出(capitalexpenditure，CAPEX)和運(yùn)營成本(operatingexpense，OPEX)，降低網(wǎng)絡(luò)時延，極大地提升最終使用者的體驗。分布式云數(shù)據(jù)中心總體架構(gòu)如圖2所示。這里的分布式數(shù)據(jù)中心管理中心負(fù)責(zé)承載整個數(shù)據(jù)中心的統(tǒng)一管理、備份、安全和全局?jǐn)?shù)據(jù)共享，以及依托這些數(shù)據(jù)進(jìn)行初步商業(yè)智能(businessintelligence，BI)運(yùn)營成本(operatingexpense，OPEX)分析與挖掘。管理中心用以支撐各服務(wù)化的虛擬數(shù)據(jù)中心(virtualdatacenter，VDC)。2.2分布式云數(shù)據(jù)中心DCaaS在數(shù)據(jù)中心2.0，通常將云計算數(shù)據(jù)中心的服務(wù)類別分為以下三類，如圖3所示。軟件即服務(wù)(softwareasaservice，SaaS):將軟件作為服務(wù)，如MicrosoftOffice365。平臺即服務(wù)(platformasaservice，PaaS):將平臺作為服務(wù)，如MicrosoftAzure。③基礎(chǔ)設(shè)施服務(wù)(infrastructureasaservice,IaaS):將基礎(chǔ)設(shè)施作為服務(wù)，如Amazon。IaaS、PaaS、SaaS都是數(shù)據(jù)中心系統(tǒng)中某一個部分提供的單獨(dú)服務(wù)。隨著當(dāng)今業(yè)界對服務(wù)要求的不斷提高，企業(yè)用戶更希望得到從管理、平臺、IT資源、基礎(chǔ)設(shè)施的端到端服務(wù)。分布式云數(shù)據(jù)中心提供了一種更敏捷的數(shù)據(jù)中心服務(wù)模式:可運(yùn)營的數(shù)據(jù)中心，即數(shù)據(jù)中心即服務(wù)(datacenterasaservice，DCaaS)。與單體云數(shù)據(jù)中心相比較，分布式云數(shù)據(jù)中心在IaaS層，DCaaS不但能夠提供基礎(chǔ)設(shè)施即服務(wù)(IaaS)，還增加了網(wǎng)絡(luò)即服務(wù)(networkasaservice，NaaS)、管理即服務(wù)(manageasaservice，MaaS)。DCaaS實現(xiàn)異構(gòu)資源統(tǒng)一管理，資源池化共享。DCaaS包含以下三個部分。資源共享，業(yè)務(wù)隔離。將離散資源整合成統(tǒng)一資源池，對應(yīng)用屏蔽差異、虛擬資源、硬件資源進(jìn)行統(tǒng)一管理。異構(gòu)平臺統(tǒng)一管理。支持第三方虛擬化平臺管理；同時還需要兼容業(yè)界著名公司，如VMware、KVM等。自動擴(kuò)容即插即用。物理服務(wù)器接入系統(tǒng)，從發(fā)現(xiàn)到加入資源池管理全過程自動化完成；新增物理服務(wù)器自動在云管理系統(tǒng)中注冊并接受管理。3.1分布式云數(shù)據(jù)中心核心MaaS較單體云數(shù)據(jù)中心的IaaS層服務(wù)而言，分布式云數(shù)據(jù)中心能提供DCaaS服務(wù)，給用戶提供的管理服務(wù)不再是如一般云數(shù)據(jù)中心那樣分散的、孤立的運(yùn)營運(yùn)維系統(tǒng)，而是一個統(tǒng)一、多功能的一體化管理系統(tǒng)。這是分布式云數(shù)據(jù)中心與單體云數(shù)據(jù)中心最大的區(qū)別。因此，分布式云數(shù)據(jù)服務(wù)中心的核心就在于MaaS，它負(fù)責(zé)對多個數(shù)據(jù)中心的資源做統(tǒng)一管理與調(diào)度，并具有對各種服務(wù)(DCaaS、IaaS、NaaS)使用者的管理功能。對于租戶、VDC的租戶，提供管理自己所租用的IT資源，IaaS的租戶可以在線申請、擴(kuò)容、延期資源。分布式云數(shù)據(jù)中心的核心理念在于：物理分布、邏輯統(tǒng)一。其中，邏輯統(tǒng)一有兩方面的含義。對所有數(shù)據(jù)中心及其資源都進(jìn)行統(tǒng)一管理、調(diào)度、運(yùn)維支持，并實現(xiàn)分權(quán)分域的管理。這需要對分布式云數(shù)據(jù)中心提供統(tǒng)一的運(yùn)維管理平臺。當(dāng)需要分布式云數(shù)據(jù)中心對外提供服務(wù)時，我們需要提供統(tǒng)一的運(yùn)營呈現(xiàn)界面、統(tǒng)一的運(yùn)營支撐流程。這需要分布式云數(shù)據(jù)中心通過統(tǒng)一的運(yùn)營服務(wù)平臺。3.2MaaS服務(wù)關(guān)鍵技術(shù)相對于傳統(tǒng)的互聯(lián)網(wǎng)數(shù)據(jù)中心(Internetdatacenter，IDC)和單體云計算中心，分布式云計算中心對管理提出了更高的要求。在MaaS服務(wù)中，不同租戶需要對應(yīng)用、機(jī)房、計算、存儲、網(wǎng)絡(luò)等資源做到端到端的管理，因此自動化和網(wǎng)路自動化是MaaS的關(guān)鍵。MaaS數(shù)據(jù)中心自動化數(shù)據(jù)中心包含復(fù)雜的計算、網(wǎng)絡(luò)等資源，大型的數(shù)據(jù)中心無法單純依靠手工維護(hù)。自動化帶來了實時的或者隨需應(yīng)變的基礎(chǔ)設(shè)施管理能力，它是分布式云數(shù)據(jù)中心的基礎(chǔ)。服務(wù)器自動化服務(wù)器自動化需考慮以下五個方面。軟件安裝。集中管理服務(wù)操作系統(tǒng)，批量安裝多種操作系統(tǒng)，實現(xiàn)跨越操作系統(tǒng)的統(tǒng)一服務(wù)器管理，為物理、虛擬和公共云基礎(chǔ)設(shè)施提供支持。補(bǔ)丁管理。集中管理服務(wù)器補(bǔ)丁介質(zhì)。系統(tǒng)配置。在各種操作系統(tǒng)批量地、自動地進(jìn)行參數(shù)調(diào)整。巡檢和合規(guī)檢查。通過規(guī)則對服務(wù)器或網(wǎng)絡(luò)的關(guān)鍵配置進(jìn)行檢查，及時發(fā)現(xiàn)配置基線的偏移。自動巡檢。自動收集軟硬件信息并生成報表。321.2網(wǎng)絡(luò)自動化網(wǎng)絡(luò)自動化需考慮以下四個方面。配置和網(wǎng)絡(luò)拓扌卜發(fā)現(xiàn)。自動發(fā)現(xiàn)和采集網(wǎng)絡(luò)設(shè)備的配置。網(wǎng)絡(luò)策略配置。自動批量下發(fā)路由表和防火墻策略。操作審計。自動記錄所有對網(wǎng)絡(luò)設(shè)備的變更，并提供回退機(jī)制。巡檢和合規(guī)檢查。通過內(nèi)置的合規(guī)性檢查策略，對系統(tǒng)、設(shè)備等進(jìn)行自動化的合規(guī)檢查。3.2.2MaaS管理系統(tǒng)MaaS為多數(shù)據(jù)中心管理，其功能如下。將傳統(tǒng)的分散、分層、異構(gòu)的數(shù)據(jù)中心架構(gòu)，升級為物理分散，邏輯集中的統(tǒng)一資源管理的分布式云數(shù)據(jù)中心。將不同地域、不同階段、不同規(guī)模的數(shù)據(jù)中心，混合為一個跨數(shù)據(jù)中心的“邏輯資源池”，全局容量管理?？缍鄠€數(shù)據(jù)中心的資源統(tǒng)一管理及調(diào)度，策略化的高效資源管理。按照上述MaaS功能，分布式數(shù)據(jù)中心MaaS管理系統(tǒng)主要包括管理門戶、運(yùn)營管理、IT服務(wù)管理、資源管理、IT運(yùn)維管理、基礎(chǔ)設(shè)施管理六大部分。MaaS管理系統(tǒng)架構(gòu)如圖4所示?！肮I(yè)4.0”也被稱為繼機(jī)械、電氣和信息技術(shù)之后的第四次工業(yè)革命，它是德國聯(lián)盟教研部與聯(lián)邦經(jīng)濟(jì)技術(shù)部聯(lián)手推動的《高技術(shù)戰(zhàn)略2020》十大未來項目之一從內(nèi)容來看，“工業(yè)4.0”項目主要面向兩大主題，一是“智能工廠”，重點(diǎn)研究智能化生產(chǎn)系統(tǒng)及過程，以及網(wǎng)絡(luò)化分布式生產(chǎn)設(shè)施的實現(xiàn)；二是“智能生產(chǎn)”，主要涉及整個企業(yè)的生產(chǎn)物流管理、人機(jī)互動以及3D技術(shù)在工業(yè)生產(chǎn)過程中的應(yīng)用。分布式云數(shù)據(jù)中心架構(gòu)，可以將世界上不同地域、不同規(guī)模的數(shù)據(jù)中心的所有資源通過邏輯集中進(jìn)行統(tǒng)一管理、統(tǒng)一呈現(xiàn)、統(tǒng)一運(yùn)營，從而為跨國企業(yè)的全球不同地域子公司或眾多外包企業(yè)實現(xiàn)包括設(shè)計、生產(chǎn)、物流、市場和銷售等所有環(huán)節(jié)在內(nèi)的高度復(fù)雜的全生命周期的全自動化控制和管理，最終達(dá)到智慧制造的云制造理念云計算的發(fā)展日新月異，目前的云數(shù)據(jù)中心技術(shù)還在著重解決單個數(shù)據(jù)中心內(nèi)部的問題，但隨著全球化的深入發(fā)展，越來越多的集團(tuán)企業(yè)有跨地域建立分支機(jī)構(gòu)的需要，各區(qū)域、各層級的數(shù)據(jù)中心也應(yīng)運(yùn)而生。這些眾多的單體數(shù)據(jù)中心各自為政，管理復(fù)雜，運(yùn)營成本高，資源無法得到有效的應(yīng)用，以及數(shù)據(jù)中心層次過多時SLA難以保證高質(zhì)量的服務(wù)。通過分布式云數(shù)據(jù)中心架構(gòu)，將多個不同地域、不同階段、不同規(guī)模的數(shù)據(jù)中心的所有資源通過邏輯集中進(jìn)行統(tǒng)一管理、統(tǒng)一運(yùn)營，從而能更充分有效地利用各運(yùn)營商已有資源，支撐ICT服務(wù)能力的高速發(fā)展。分布式云數(shù)據(jù)中心使數(shù)據(jù)中心更加高效、可靠、綠色，從而實現(xiàn)高效的IT治理，節(jié)省所有成本（totalcostownership，TCO），給客戶帶來高可靠性、穩(wěn)定性的SLA服務(wù)。分布式云數(shù)據(jù)中心是一個劃時代的云數(shù)據(jù)中心架構(gòu)。【相關(guān)文獻(xiàn)】[1]HwangK,FoxGC,DongarraJJ.云計算與分布式系統(tǒng)——從并行處理到物聯(lián)網(wǎng)[M]?北京：機(jī)械工業(yè)出版社，2013.[2]