![云計(jì)算項(xiàng)目技術(shù)方案(詳細(xì)版).doc_第1頁](http://file1.renrendoc.com/fileroot_temp2/2020-3/10/b21e0acc-f0fe-46c8-b676-d6e6aecaff1d/b21e0acc-f0fe-46c8-b676-d6e6aecaff1d1.gif)
![云計(jì)算項(xiàng)目技術(shù)方案(詳細(xì)版).doc_第2頁](http://file1.renrendoc.com/fileroot_temp2/2020-3/10/b21e0acc-f0fe-46c8-b676-d6e6aecaff1d/b21e0acc-f0fe-46c8-b676-d6e6aecaff1d2.gif)
![云計(jì)算項(xiàng)目技術(shù)方案(詳細(xì)版).doc_第3頁](http://file1.renrendoc.com/fileroot_temp2/2020-3/10/b21e0acc-f0fe-46c8-b676-d6e6aecaff1d/b21e0acc-f0fe-46c8-b676-d6e6aecaff1d3.gif)
![云計(jì)算項(xiàng)目技術(shù)方案(詳細(xì)版).doc_第4頁](http://file1.renrendoc.com/fileroot_temp2/2020-3/10/b21e0acc-f0fe-46c8-b676-d6e6aecaff1d/b21e0acc-f0fe-46c8-b676-d6e6aecaff1d4.gif)
![云計(jì)算項(xiàng)目技術(shù)方案(詳細(xì)版).doc_第5頁](http://file1.renrendoc.com/fileroot_temp2/2020-3/10/b21e0acc-f0fe-46c8-b676-d6e6aecaff1d/b21e0acc-f0fe-46c8-b676-d6e6aecaff1d5.gif)
已閱讀5頁,還剩80頁未讀, 繼續(xù)免費(fèi)閱讀
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
云計(jì)算平臺項(xiàng)目技術(shù)方案V1.0 2013年4月11日目 錄第1章 建設(shè)云計(jì)算平臺的重要意義- 3 -1.1 傳統(tǒng)IT面臨的困境- 3 -1.2 云計(jì)算概述- 5 -1.2.1 什么是云計(jì)算- 5 -1.2.2 云計(jì)算的價(jià)值- 7 -1.3 H3Cloud云計(jì)算解決方案特色- 8 -1.3.1 H3Cloud云計(jì)算解決方案組件- 9 -1.3.2 H3Cloud云計(jì)算解決方案亮點(diǎn)- 13 -第2章 需求分析- 18 -2.1 項(xiàng)目背景- 18 -2.2 需求分析- 18 -2.3 建設(shè)目標(biāo)- 19 -2.4 建設(shè)要求- 19 -第3章 總體設(shè)計(jì)- 21 -3.1 建設(shè)目標(biāo)- 21 -3.2 建設(shè)內(nèi)容- 22 -3.3 建設(shè)原則- 22 -3.4 建設(shè)思路- 24 -第4章 建設(shè)方案- 27 -4.1 系統(tǒng)總體架構(gòu)- 27 -4.2 計(jì)算資源池- 30 -4.3 存儲資源池- 48 -4.4 網(wǎng)絡(luò)資源池- 56 -4.4.1 網(wǎng)絡(luò)設(shè)計(jì)要點(diǎn)- 56 -4.4.2 網(wǎng)絡(luò)資源池設(shè)計(jì)- 59 -4.4.3 虛擬機(jī)交換網(wǎng)絡(luò)- 63 -4.4.4 安全設(shè)計(jì)- 67 -4.5 云層設(shè)計(jì)- 73 -4.5.1 自助式云業(yè)務(wù)工作流- 74 -4.5.2 詳盡的用戶分級管理- 76 -4.5.3 數(shù)據(jù)的集中保護(hù)與審核- 77 -4.6 虛擬桌面部署- 78 -4.7 應(yīng)用系統(tǒng)遷移- 80 -4.7.1 應(yīng)用系統(tǒng)遷移規(guī)劃- 80 -4.7.2 物理機(jī)虛擬化遷移(P2V)- 82 -第1章 建設(shè)云計(jì)算平臺的重要意義1.1 傳統(tǒng)IT面臨的困境自從上世紀(jì)90年代開始,IT行業(yè)在全球范圍內(nèi)得到了迅猛的發(fā)展,IT平臺的規(guī)模和復(fù)雜程度出現(xiàn)了大幅度的提升,與此同時(shí),很多企業(yè)的IT機(jī)構(gòu)卻因?yàn)檫@種提升而面臨著一種新的困境:高昂的硬件成本和管理運(yùn)營成本、緩慢的業(yè)務(wù)部署速度以及缺乏統(tǒng)一管理的基礎(chǔ)架構(gòu)。高昂的成本支出隨著IT規(guī)模的不斷膨脹,數(shù)據(jù)中心內(nèi)的服務(wù)器數(shù)量、網(wǎng)絡(luò)復(fù)雜程度以及存儲容量急劇增長,隨之帶來的是高昂的硬件成本支出以及運(yùn)營成本支出(電力、制冷、占地空間、管理人員等)。基礎(chǔ)結(jié)構(gòu)成本:托管、冷卻、連接服務(wù)器以及為服務(wù)器提供電源都會隨著服務(wù)器數(shù)量的增長而導(dǎo)致成本大量增加。僅服務(wù)器電力需求一項(xiàng)就占總成本一大塊,估計(jì)數(shù)據(jù)中心的 1000 臺服務(wù)器的電力成本每年都在 45,000 美元以上。硬件成本:每年服務(wù)器在容量和計(jì)算能力上都呈增長趨勢。隨著服務(wù)器變得越來越強(qiáng)大,最大化的利用這些超強(qiáng)資源也變得愈加困難。IT 組織和應(yīng)用服務(wù)用戶習(xí)慣為每個(gè)應(yīng)用服務(wù)部署一臺獨(dú)立服務(wù)器以確保完全控制該應(yīng)用服務(wù)。幾乎在所有情況下,部署這些功能強(qiáng)大的服務(wù)器將會使服務(wù)器過剩50-500%。軟件成本:通常服務(wù)器需要從操作系統(tǒng)或應(yīng)用軟件廠商那里獲取許可證與支持。管理成本:迄今為止,管理成本是服務(wù)器成本中最大的一個(gè)部分,分析專家估計(jì)管理成本占服務(wù)器總擁有成本的50-70%。IT技術(shù) 人員不得不對軟硬件進(jìn)行升級、打補(bǔ)丁、備份以及修復(fù),部署新的服務(wù)器及應(yīng)用,維護(hù)用戶賬戶并執(zhí)行許多其他任務(wù)。隨著服務(wù)器數(shù)量的增長,IT 部門發(fā)現(xiàn)他們面臨著滿足相關(guān)服務(wù)器管理需求的挑戰(zhàn)。緩慢的業(yè)務(wù)部署速度新的服務(wù)器、存儲設(shè)備和網(wǎng)絡(luò)設(shè)備的部署周期較長,整個(gè)過程包括硬件選型、采購、上架安裝、操作系統(tǒng)安裝、應(yīng)用軟件安裝、網(wǎng)絡(luò)配置等。一般情況下,這個(gè)過程需要的工作量在2040小時(shí),交付周期為46周。分散的管理策略數(shù)據(jù)中心內(nèi)的IT基礎(chǔ)設(shè)施處于分散的管理狀態(tài),具體表現(xiàn)為:機(jī)房管理員遵循“根據(jù)最壞情況下的工作負(fù)載來確定所有服務(wù)器的配置”這一策略導(dǎo)致服務(wù)器的配置普遍過高。容易出現(xiàn)大量“只安裝一個(gè)應(yīng)用程序”而未得到充分利用的x86服務(wù)器。提交變更請求與進(jìn)行運(yùn)營變更之間存在較長的延遲。缺少統(tǒng)一的集中化IT構(gòu)建策略,無法對數(shù)據(jù)中心內(nèi)的基礎(chǔ)設(shè)施進(jìn)行監(jiān)控、管理、報(bào)告和遠(yuǎn)程訪問。1.2 云計(jì)算概述1.2.1 什么是云計(jì)算云計(jì)算是一種基于網(wǎng)絡(luò)的計(jì)算服務(wù)供給方式,它以跨越異構(gòu)、動態(tài)流轉(zhuǎn)的資源池為基礎(chǔ)提供給客戶可自治的服務(wù),實(shí)現(xiàn)資源的按需分配、按量計(jì)費(fèi)。云計(jì)算導(dǎo)致資源規(guī)?;?、集中化,促進(jìn)IT產(chǎn)業(yè)的進(jìn)一步分工,讓IT系統(tǒng)的建設(shè)和運(yùn)維統(tǒng)一集中到云計(jì)算運(yùn)營商處,普通用戶都更加關(guān)注于自己的業(yè)務(wù),從而提高了信息化建設(shè)的效率和彈性,促進(jìn)社會和國家生產(chǎn)生活的集約化水平。云計(jì)算主要包含兩個(gè)層次的含義:一是從被服務(wù)的客戶端看:在云計(jì)算環(huán)境下,用戶無需自建基礎(chǔ)系統(tǒng),可以更加專注于自己的業(yè)務(wù)。用戶可按需獲取網(wǎng)絡(luò)上的資源,并按使用量付費(fèi)。如同打開電燈用電,打開水龍頭用水一樣,而無需考慮是電從哪里來,水是哪家水廠的。二是從云計(jì)算后臺看:云計(jì)算實(shí)現(xiàn)資源的集中化、規(guī)?;?。能夠?qū)崿F(xiàn)對各類異構(gòu)軟硬件基礎(chǔ)資源的兼容,如電網(wǎng)支持水電廠、火電廠、風(fēng)電廠、核電廠等異構(gòu)電廠并網(wǎng);還能夠?qū)崿F(xiàn)資源的動態(tài)流轉(zhuǎn),如西電東送,西氣東輸、南水北調(diào)等。支持異構(gòu)資源和實(shí)現(xiàn)資源的動態(tài)流轉(zhuǎn),可以更好的利用資源,降低基礎(chǔ)資源供應(yīng)商的成本。云計(jì)算的特征基于網(wǎng)絡(luò)云計(jì)算是從互聯(lián)網(wǎng)演變而來,云計(jì)算本質(zhì)通過網(wǎng)絡(luò)將計(jì)算力進(jìn)行集中,并且通過網(wǎng)絡(luò)進(jìn)行服務(wù),如果沒有網(wǎng)絡(luò),計(jì)算力集中規(guī)模、服務(wù)的種類和可獲得性就會受到極大的限制,如集群計(jì)算雖然也是基于網(wǎng)絡(luò)的計(jì)算模式,但是不能提供基于網(wǎng)絡(luò)的服務(wù),還不能稱之為云計(jì)算。支持異構(gòu)基礎(chǔ)資源云計(jì)算可以構(gòu)建在不同的基礎(chǔ)平臺之上,即可以有效兼容各種不同種類的硬件和軟件基礎(chǔ)資源。硬件基礎(chǔ)資源,主要包括網(wǎng)絡(luò)環(huán)境下的三大類設(shè)備,即:計(jì)算(服務(wù)器)、存儲(存儲設(shè)備)和網(wǎng)絡(luò)(交換機(jī)、路由器等設(shè)備);軟件基礎(chǔ)資源,則包括單機(jī)操作系統(tǒng)、中間件、數(shù)據(jù)庫等。從橫向維度考慮,支持異構(gòu)資源,意味著在同一時(shí)期內(nèi),可以采購不同廠商的軟硬件。對云計(jì)算平臺的構(gòu)建者而言,這種形式更為靈活;而從縱向維度考慮,意味著云計(jì)算平臺既可以兼容當(dāng)下采購的新設(shè)備,也可以兼容以前的老設(shè)備,既可以兼容當(dāng)前的新軟件系統(tǒng),也可以兼容以前遺留的老軟件系統(tǒng)。支持異構(gòu)的基礎(chǔ)資源這一特性,在有效利用老資源的同時(shí),也保證了新老資源的平滑過渡。支持資源動態(tài)擴(kuò)展支持資源動態(tài)伸縮,實(shí)現(xiàn)基礎(chǔ)資源的網(wǎng)絡(luò)冗余,意味著添加、刪除、修改云計(jì)算環(huán)境的任一資源節(jié)點(diǎn),亦或任一資源節(jié)點(diǎn)異常宕機(jī),都不會導(dǎo)致云環(huán)境中的各類業(yè)務(wù)的中斷,也不會導(dǎo)致用戶數(shù)據(jù)的丟失。這里的資源節(jié)點(diǎn)可以是計(jì)算節(jié)點(diǎn)、存儲節(jié)點(diǎn)和網(wǎng)絡(luò)節(jié)點(diǎn)。而資源動態(tài)流轉(zhuǎn),則意味著在云計(jì)算平臺下實(shí)現(xiàn)資源調(diào)度機(jī)制,資源可以流轉(zhuǎn)到需要的地方。如在系統(tǒng)業(yè)務(wù)整體升高情況下,可以啟動閑置資源,納入系統(tǒng)中,提高整個(gè)云平臺的承載能力。而在整個(gè)系統(tǒng)業(yè)務(wù)負(fù)載低的情況下,則可以將業(yè)務(wù)集中起來,而將其他閑置的資源轉(zhuǎn)入節(jié)能模式,從而在提高部分資源利用率的情況下,達(dá)到其他資源綠色、低碳的應(yīng)用效果。支持異構(gòu)多業(yè)務(wù)體系在云計(jì)算平臺上,可以同時(shí)運(yùn)行多個(gè)不同類型的業(yè)務(wù)。異構(gòu),表示該業(yè)務(wù)不是同一的,不是已有的或事先定義好的,而應(yīng)該是用戶可以自己創(chuàng)建并定義的服務(wù)。這也是云計(jì)算與網(wǎng)格計(jì)算的一個(gè)重要差異。支持海量信息處理云計(jì)算,在底層,需要面對各類眾多的基礎(chǔ)軟硬件資源;在上層,需要能夠同時(shí)支持各類眾多的異構(gòu)的業(yè)務(wù);而具體到某一業(yè)務(wù),往往也需要面對大量的用戶。由此,云計(jì)算必然需要面對海量信息交互,需要有高效、穩(wěn)定的海量數(shù)據(jù)通信/存儲系統(tǒng)作支撐。按需分配,按量計(jì)費(fèi)按需分配,是云計(jì)算平臺支持資源動態(tài)流轉(zhuǎn)的外部特征表現(xiàn)。云計(jì)算平臺通過虛擬分拆技術(shù),可以實(shí)現(xiàn)計(jì)算資源的同構(gòu)化和可度量化,可以提供小到一臺計(jì)算機(jī),多到千臺計(jì)算機(jī)的計(jì)算能力。按量計(jì)費(fèi)起源于效用計(jì)算,在云計(jì)算平臺實(shí)現(xiàn)按需分配后,按量計(jì)費(fèi)也成為云計(jì)算平臺向外提供服務(wù)時(shí)的有效收費(fèi)形式。1.2.2 云計(jì)算的價(jià)值云計(jì)算是能夠提供動態(tài)資源池、虛擬化和高可用性的下一代計(jì)算模式。如果把一個(gè)計(jì)算的資源,比如一臺服務(wù)器,看成一個(gè)小水滴,當(dāng)很多資源匯聚在一起的時(shí)候,它就形成了計(jì)算的云,正如我們不關(guān)心水滴是怎么產(chǎn)生的,用戶也不需要關(guān)心計(jì)算資源位于哪臺物理的服務(wù)器上。用戶關(guān)心的是需要什么樣的計(jì)算能力,需要什么時(shí)刻擁有這些計(jì)算能力。云計(jì)算管理平臺可以為用戶提供“按需計(jì)算”服務(wù)。從資源共享方面在整合XXX信息中心現(xiàn)有軟硬件資源基礎(chǔ)上建設(shè)云計(jì)算平臺。充分發(fā)揮云計(jì)算平臺虛擬化計(jì)算、按需使用、動態(tài)擴(kuò)展的特性,為XXX各個(gè)部門提供計(jì)算、存儲和信息資源服務(wù),實(shí)現(xiàn)軟硬件集中部署、統(tǒng)建共用、信息共享,避免重復(fù)投資?;谠朴?jì)算技術(shù)建設(shè)公共的云服務(wù)平臺來運(yùn)行企業(yè)正常運(yùn)行所需要的業(yè)務(wù),可以將企業(yè)運(yùn)維中共性的業(yè)務(wù)部分進(jìn)行提煉和歸納,并實(shí)現(xiàn),可以保證共性業(yè)務(wù)實(shí)現(xiàn)的規(guī)范性、安全性、全面性和穩(wěn)定性,也避免了公共功能模塊的多次開發(fā)實(shí)現(xiàn)所造成的冗余浪費(fèi)乃至系統(tǒng)不兼容錯(cuò)誤。更重要的是公共的云服務(wù)平臺可以提供一系列支撐服務(wù),業(yè)務(wù)應(yīng)用子系統(tǒng)在這些支撐服務(wù)的基礎(chǔ)之上進(jìn)行開發(fā),大大降低了開發(fā)難度和成本,使各部門可以更加專注于其本身綜合的、深層次的、相關(guān)聯(lián)的業(yè)務(wù)需求,而不是基礎(chǔ)設(shè)施的建設(shè),把精力用在企業(yè)高效運(yùn)行和企業(yè)創(chuàng)新的關(guān)鍵點(diǎn)業(yè)務(wù)需求上,比傳統(tǒng)的建設(shè)模式更好的把握業(yè)務(wù)需求,將會大大提高企業(yè)信息化的建設(shè)效益。從管理工作方面企業(yè)工作的本質(zhì)就是服務(wù)。如果各部門的業(yè)務(wù)應(yīng)用子系統(tǒng)都是按照“企業(yè)云計(jì)算”的統(tǒng)一標(biāo)準(zhǔn)進(jìn)行開發(fā)實(shí)施、注冊部署,可以方便的對機(jī)關(guān)各類業(yè)務(wù)工作進(jìn)行標(biāo)準(zhǔn)化管理,從統(tǒng)一管理的的角度對系統(tǒng)進(jìn)行規(guī)范管理,而不是各掃門前雪,在大大降低管理成本的同時(shí),也大量的節(jié)約系統(tǒng)的運(yùn)行成本。從技術(shù)實(shí)現(xiàn)方面基于云計(jì)算的企業(yè)公共服務(wù)平臺可以按照SOA的松耦合方式來建設(shè),模塊間通過標(biāo)準(zhǔn)協(xié)議實(shí)現(xiàn)相互調(diào)用和消息傳遞,這種技術(shù)架構(gòu)較為成熟,具有較好的擴(kuò)展性,可以確保信息系統(tǒng)技術(shù)層面可持續(xù)發(fā)展,更有助于企業(yè)不同服務(wù)業(yè)務(wù)之間的信息共享,提高企業(yè)各部門業(yè)務(wù)之間的協(xié)同。從標(biāo)準(zhǔn)化實(shí)現(xiàn)方面基于云計(jì)算的企業(yè)公共服務(wù)平臺可以提供一種標(biāo)準(zhǔn)化的建設(shè)模式,可以統(tǒng)一制定共性辦公業(yè)務(wù)標(biāo)準(zhǔn)、管理工作實(shí)現(xiàn)標(biāo)準(zhǔn)、技術(shù)安全標(biāo)準(zhǔn)、保密安全標(biāo)準(zhǔn)、軟硬件技術(shù)實(shí)現(xiàn)標(biāo)準(zhǔn)等,這對企業(yè)標(biāo)準(zhǔn)的實(shí)施和推廣具有重要意義。1.3 H3Cloud云計(jì)算解決方案特色H3C公司依托強(qiáng)大的研發(fā)實(shí)力、廣泛的市場應(yīng)用和技術(shù)理解,以客戶需求為導(dǎo)向,為企業(yè)新一代云計(jì)算數(shù)據(jù)中心基礎(chǔ)架構(gòu)提供一體化的云計(jì)算平臺解決方案,幫助用戶實(shí)現(xiàn)快速、可靠的虛擬化數(shù)據(jù)中心和云業(yè)務(wù)應(yīng)用部署。H3Cloud云計(jì)算解決方案包含統(tǒng)一的計(jì)算資源池、統(tǒng)一的網(wǎng)絡(luò)資源池、統(tǒng)一的存儲資源池,并提供了一體化的監(jiān)控和部署工具進(jìn)行統(tǒng)一的虛擬化與云業(yè)務(wù)管理,通過簡潔的管理界面,輕松地統(tǒng)一管理數(shù)據(jù)中心內(nèi)所有的物理資源和虛擬資源,不僅能提高管理員的管控能力、簡化日常例行工作,更可降低IT環(huán)境的復(fù)雜度和管理成本。1.3.1 H3Cloud云計(jì)算解決方案組件H3Cloud云計(jì)算解決方案面向于私有云IaaS(基礎(chǔ)設(shè)施即服務(wù)),主要包含以下幾個(gè)部分:云計(jì)算平臺現(xiàn)有的企業(yè)計(jì)算環(huán)境通常是x86平臺,H3Cloud可以通過服務(wù)器的虛擬化進(jìn)行計(jì)算資源的整合與靈活利用,進(jìn)行服務(wù)器計(jì)算資源的整合、動態(tài)調(diào)整、遷移。H3C FlexServer服務(wù)器系列定義了下一代2U雙插槽機(jī)架式服務(wù)器的標(biāo)準(zhǔn)。借助可維護(hù)性方面的改進(jìn)、無與倫比的性能、強(qiáng)大的配置靈活性和受用戶啟發(fā)的設(shè)計(jì)模式,H3C FlexServer所提供的完美解決方案能滿足當(dāng)今不斷擴(kuò)展的數(shù)據(jù)中心所需的動態(tài)計(jì)算機(jī)要求。H3C FlexServer服務(wù)器支持iLO管理引擎,這是一套全面的嵌入式管理特性,可支持服務(wù)器的完整生命周期(從初始部署到運(yùn)行管理、再到服務(wù)警報(bào)和遠(yuǎn)程支持)。云存儲平臺實(shí)現(xiàn)IaaS的一個(gè)重要組成部分是云存儲,一個(gè)云計(jì)算的基礎(chǔ)設(shè)施要服務(wù)于很多個(gè)不同的業(yè)務(wù)系統(tǒng)或者應(yīng)用,每個(gè)業(yè)務(wù)系統(tǒng)或應(yīng)用都會有不同的存儲需求,H3Cloud可以通過存儲虛擬化管理,進(jìn)行存儲需求的整合,靈活的容量控制。H3Cloud云計(jì)算解決方案中的存儲組件提供了經(jīng)濟(jì)實(shí)惠的企業(yè)功能,并具有全面的功能集,簡化了對所有位置的集中管理,是具有各種虛擬服務(wù)器、客戶端虛擬化、數(shù)據(jù)庫、電子郵件和業(yè)務(wù)應(yīng)用程序的環(huán)境的理想選擇。存儲組件中集成了各種出色的應(yīng)用程序可用性和災(zāi)難恢復(fù)功能,在任何情況下都可進(jìn)行自動故障轉(zhuǎn)移/故障恢復(fù), 并針對虛擬化環(huán)境進(jìn)行了優(yōu)化,并為用戶和應(yīng)用程序提供了即時(shí)滿足需求的連續(xù)數(shù)據(jù)可用性。虛擬化網(wǎng)絡(luò)基礎(chǔ)平臺隨著云計(jì)算環(huán)境下虛擬化技術(shù)的大規(guī)模部署,傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)將面臨著很多新的挑戰(zhàn),包括規(guī)格與性能、虛擬機(jī)接入與控制、大二層網(wǎng)絡(luò)部署、流量突發(fā)與擁塞等等,如下圖所示: H3C虛擬網(wǎng)絡(luò)方案通過數(shù)據(jù)中心級設(shè)備、網(wǎng)絡(luò)虛擬化及虛擬機(jī)網(wǎng)絡(luò)接入新標(biāo)準(zhǔn)(EVB)等產(chǎn)品與技術(shù)的創(chuàng)新,可以實(shí)現(xiàn)網(wǎng)絡(luò)基礎(chǔ)平臺對云計(jì)算虛擬化環(huán)境的良好支撐,同時(shí)大大簡化網(wǎng)絡(luò)的運(yùn)維管理。云管理平臺服務(wù)器虛擬化、存儲虛擬化和網(wǎng)絡(luò)虛擬化只是構(gòu)成云計(jì)算基礎(chǔ)設(shè)施的硬件資源池,在云計(jì)算環(huán)境中,最重要的一點(diǎn)是實(shí)現(xiàn)資源池的自動化,避免人力對于基礎(chǔ)設(shè)施的過多干預(yù)。H3Cloud通過自動化的管理平臺和手段,幫助用戶實(shí)現(xiàn)對云硬件資源和業(yè)務(wù)流程的快速部署與自動化維護(hù)和管理。H3Cloud云管理平臺由Cloud Virtualization Kernel(CVK)、Cloud Virtualization Manager(CVM)和Cloud Intelligence Center(CIC)三個(gè)組件完成:Cloud Virtualization Kernel(CVK):虛擬化內(nèi)核與管理代理運(yùn)行在基礎(chǔ)設(shè)施層和上層操作系統(tǒng)之間的“元”操作系統(tǒng),用于協(xié)調(diào)上層操作系統(tǒng)對底層硬件資源的訪問,減輕軟件對硬件設(shè)備以及驅(qū)動的依賴性,同時(shí)對虛擬化運(yùn)行環(huán)境中的硬件兼容性、高可靠性、高可用性、可擴(kuò)展性、性能優(yōu)化等問題進(jìn)行加固處理。Cloud Virtualization Manager(CVM):虛擬化管理軟件包主要實(shí)現(xiàn)對數(shù)據(jù)中心內(nèi)的計(jì)算、網(wǎng)絡(luò)和存儲等硬件資源的軟件虛擬化,形成虛擬資源池,對上層應(yīng)用提供自動化服務(wù)。其業(yè)務(wù)范圍包括:虛擬計(jì)算、虛擬網(wǎng)絡(luò)、虛擬存儲、高可靠性(HA)、動態(tài)資源調(diào)度(DRS)、虛擬機(jī)容災(zāi)與備份、虛擬機(jī)模板管理、集群文件系統(tǒng)、虛擬交換機(jī)策略等。Cloud Intelligence Center(CIC):云業(yè)務(wù)運(yùn)營軟件包由一系列云基礎(chǔ)業(yè)務(wù)模塊組成,通過將基礎(chǔ)架構(gòu)資源(包括計(jì)算、存儲和網(wǎng)絡(luò))及其相關(guān)策略整合成虛擬數(shù)據(jù)中心資源池,并允許用戶按需消費(fèi)這些資源,從而構(gòu)建安全的多租戶混合云。其業(yè)務(wù)范圍包括:組織(虛擬數(shù)據(jù)中心)、多租戶數(shù)據(jù)和業(yè)務(wù)安全、云業(yè)務(wù)工作流、自助式服務(wù)門戶、兼容OpenStack的REST API接口等。從邏輯架構(gòu)上,H3Cloud云管理平臺包括虛擬化層、自動化服務(wù)層、管理層、業(yè)務(wù)編排層、API層:虛擬化層利用Cloud Virtualization Kernel(CVK)提供的底層虛擬化能力和上層Cloud Virtualization Manager(CVM)提供的管理能力,屏蔽底層物理硬件基礎(chǔ)設(shè)施的異構(gòu)性和復(fù)雜度,對外以虛擬資源池的形式呈現(xiàn)。自動化服務(wù)層強(qiáng)調(diào)業(yè)務(wù)運(yùn)行的高可用性和可擴(kuò)展性,并未業(yè)務(wù)提供自動的容災(zāi)備份與資源調(diào)度能力。管理層對虛擬化資源及云運(yùn)營要素進(jìn)行管理,如虛擬機(jī)生命周期的管理、虛擬機(jī)鏡像文件和配置文件的管理、多租戶的安全隔離、網(wǎng)絡(luò)策略配置的管理等。業(yè)務(wù)編排層對云計(jì)算資源進(jìn)行可運(yùn)營性管理,包括對虛擬資源池的編排、最終用戶的自助服務(wù)門戶、業(yè)務(wù)的申請、審批與開通、用戶帳務(wù)的管理與報(bào)表輸出等。API層為第三方云運(yùn)營管理平臺提供RESTful的API接口。1.3.2 H3Cloud云計(jì)算解決方案亮點(diǎn) 直觀的配置與管理完全基于B/S架構(gòu)的管理控制臺,不僅讓您輕松組織和快速部署整個(gè)IT環(huán)境,而且還能對包括CPU、內(nèi)存、磁盤I/O、網(wǎng)絡(luò)I/O等重要資源在內(nèi)的關(guān)鍵元件進(jìn)行全面的性能監(jiān)測,為管理員實(shí)施合理的資源規(guī)劃提供詳盡的數(shù)據(jù)資料。 智能化的資源自動優(yōu)化配置H3Cloud云計(jì)算軟件為虛擬機(jī)中運(yùn)行的應(yīng)用程序提供簡單易用、成本效益高的高可用性功能。硬件故障導(dǎo)致的服務(wù)器或虛擬機(jī)宕機(jī)再也不會造成災(zāi)難性的后果,H3Cloud提供的資源智能調(diào)度能力會為這些服務(wù)器或虛擬機(jī)自動選擇最佳的重新運(yùn)行位置。 支持IEEE 802.1Qbg標(biāo)準(zhǔn)草案支持IEEE 802.1Qbg(VEPA)協(xié)議標(biāo)準(zhǔn)草案,與H3C 5820V2交換機(jī)及iMC VCM網(wǎng)管組件配合,能夠?qū)崿F(xiàn)對虛擬機(jī)流量的全面監(jiān)控。 快速業(yè)務(wù)部署能力支持虛擬機(jī)的快速克隆功能,所有鏈接到主鏡像文件的虛擬桌面都可以通過更新主鏡像文件來修補(bǔ)或更新,而不會影響用戶的設(shè)置、數(shù)據(jù)或應(yīng)用程序,大幅簡化了桌面的管理,同時(shí)極大地減少存儲空間的浪費(fèi)和縮短了部署虛擬桌面的時(shí)間。支持虛擬機(jī)系統(tǒng)的增量備份功能,僅備份上一次完全/增量備份后發(fā)生變化的文件,極大地減少了每次備份文件的數(shù)量和備份的時(shí)間,提高了備份效率。 自助式云業(yè)務(wù)電子流自助式服務(wù)管理為用戶提供了一個(gè)安全的、多租戶的、可自助服務(wù)的IaaS,是一種全新的基礎(chǔ)架構(gòu)交付和使用模式。通過H3Cloud云計(jì)算軟件提供的虛擬化資源池功能,使IT部門能夠?qū)⒂?jì)算、存儲和網(wǎng)絡(luò)等物理資源抽象成按需提供的彈性虛擬資源池,以消費(fèi)單元(即組織或虛擬數(shù)據(jù)中心)的形式對外提供服務(wù),IT部門能夠通過完全自動化的自助服務(wù)訪問,為用戶提供這些消費(fèi)單元以及其它包括虛擬機(jī)和操作系統(tǒng)鏡像等在內(nèi)的基礎(chǔ)架構(gòu)和應(yīng)用服務(wù)模板。這種自助式的服務(wù)真正實(shí)現(xiàn)了云計(jì)算的敏捷性、可控性和高效性,并極大程度地提高了業(yè)務(wù)的響應(yīng)能力。 多租戶業(yè)務(wù)安全通過用戶數(shù)據(jù)安全隔離與網(wǎng)絡(luò)安全策略模板,確保虛擬化、多租戶環(huán)境下的用戶隱私信息及數(shù)據(jù)的安全。虛擬化資源位置信息的唯一標(biāo)識,避免了虛擬化技術(shù)引起的物理邊界模糊可能導(dǎo)致的司法取證問題。通過用戶權(quán)限的精細(xì)化控制、管理帳號的分級管理以及詳細(xì)的操作訪問日志,避免權(quán)限濫用問題。 為高性能、高效率和輕松訪問而構(gòu)建的云計(jì)算服務(wù)器符合能源之星標(biāo)準(zhǔn)的H3C FlexServer服務(wù)器配置充分體現(xiàn)了H3C一貫的幫助客戶節(jié)市能源、降低成本的宗旨。借助通用免工具的新型滑軌,可以快速安裝H3C FlexServer,快速釋放桿可實(shí)現(xiàn)快速服務(wù)器訪問。非常靈巧的電纜管理支架選項(xiàng),可實(shí)現(xiàn)靈活布線和出色的布線管理,讓您可以快速訪問該服務(wù)器。率先推出的3D陣列溫度傳感器可精確控制服務(wù)器風(fēng)扇直接散熱,從而避免了不必要的風(fēng)扇功耗。 存儲組件確保出色的應(yīng)用可用性和災(zāi)難恢復(fù)能力H3Cloud云計(jì)算解決方案中的存儲組件可跨存儲節(jié)點(diǎn)集群分割和保護(hù)多份數(shù)據(jù)副本,并消除SAN中的單點(diǎn)故障。 應(yīng)用程序在發(fā)生電源、網(wǎng)絡(luò)、磁盤、控制器、存儲節(jié)點(diǎn)或站點(diǎn)故障的情況下,具有連續(xù)的數(shù)據(jù)可用性。H3Cloud云計(jì)算解決方案中的存儲組件高可用性架構(gòu)的優(yōu)點(diǎn)是,一個(gè)單一的存儲集群可托管不同網(wǎng)絡(luò)RAID級別的卷,每個(gè)卷的可用性和/或性能水平依應(yīng)用的需求而異。H3Cloud云計(jì)算解決方案中的存儲組件具備集成復(fù)制功能,通過自動化和透明的故障轉(zhuǎn)移與故障恢復(fù)簡化管理。 如果有一個(gè)存儲節(jié)點(diǎn)脫機(jī),它就會從脫機(jī)時(shí)間開始跟蹤數(shù)據(jù)變化;當(dāng)節(jié)點(diǎn)重新聯(lián)機(jī)時(shí),變更的數(shù)據(jù)塊就會恢復(fù)到當(dāng)前水平。 經(jīng)濟(jì)實(shí)惠的企業(yè)級存儲功能和全面的特性集橫向擴(kuò)展存儲集群允許將多個(gè)存儲節(jié)點(diǎn)整合到共享存儲池中。 匯聚所有可用的容量和性能,用于集群中的每個(gè)卷。 隨著存儲需求的增長,存儲組件可在線橫向擴(kuò)展性能和容量。網(wǎng)絡(luò)RAID可跨存儲節(jié)點(diǎn)集群分割和保護(hù)多份數(shù)據(jù)副本,從而消除存儲組件中的任何單點(diǎn)故障。 應(yīng)用程序在發(fā)生電源、網(wǎng)絡(luò)、磁盤、控制器、存儲節(jié)點(diǎn)或站點(diǎn)故障的情況下,具有連續(xù)的數(shù)據(jù)可用性。多站點(diǎn)SAN可用性使存儲組件能夠?qū)⒓褐械拇鎯?jié)點(diǎn)分配到不同的地點(diǎn)(機(jī)架、機(jī)房、建筑和城市),并提供無縫的應(yīng)用高可用性,跨不同地點(diǎn)自動實(shí)現(xiàn)故障轉(zhuǎn)移/故障恢復(fù)。無須預(yù)留快照,實(shí)現(xiàn)精簡配置,只分配寫入數(shù)據(jù)所需的空間,無需預(yù)分配存儲容量,從而提高存儲組件的整體利用率和效率。第2章 需求分析2.1 項(xiàng)目背景為推動XXX信息化的發(fā)展,XXX致力于私有云服務(wù)平臺的建設(shè)。本項(xiàng)目將依據(jù)“加速成長、優(yōu)勢互補(bǔ)、資源匯聚、持續(xù)發(fā)展、創(chuàng)新增值”的原則,有效地整合和配置企業(yè)的公共服務(wù)資源,提供IT基礎(chǔ)架構(gòu)及應(yīng)用的完整支撐和公共服務(wù)解決方案。本項(xiàng)目建成后不但將支撐企業(yè)在信息建設(shè)工作中的普遍需求,提供共性的技術(shù)和服務(wù),而且會針對不同行業(yè)對于信息應(yīng)用的特殊需求,提供面向特定行業(yè)領(lǐng)域的技術(shù)和服務(wù)。依據(jù)“資源共享、業(yè)務(wù)合作、優(yōu)勢互補(bǔ)、可持續(xù)發(fā)展”原則,有效地整合和配置企業(yè)的公共服務(wù)資源,提供軟件研發(fā)及應(yīng)用的完整支撐和公共服務(wù)解決方案。在充分依托現(xiàn)有資源的基礎(chǔ)上,重點(diǎn)建設(shè)數(shù)據(jù)中心及云計(jì)算公共服務(wù)中心等服務(wù)模塊。2.2 需求分析對于數(shù)據(jù)中心的建設(shè),云計(jì)算是多種概念和技術(shù)并行發(fā)展,融合過程中逐漸形成的一個(gè)多層次,多模式,多維度的復(fù)合概念,不同的企業(yè)應(yīng)用可以選擇使用不同的云計(jì)算技術(shù)來構(gòu)建。云計(jì)算不僅有助于提高資源利用率,節(jié)約成本,還能大幅度提高應(yīng)用程序從設(shè)計(jì)開發(fā)到業(yè)務(wù)部署的速度,并有助于加快創(chuàng)新步伐,創(chuàng)造更大的業(yè)務(wù)成效。針對本次項(xiàng)目的需求,通過分析,認(rèn)為此次項(xiàng)目的方案架構(gòu)也應(yīng)該從面向云服務(wù)和云計(jì)算的角度出發(fā),搭建具有先進(jìn)性的方案架構(gòu)。云服務(wù)具有5個(gè)特征:(1)面向服務(wù)的(2)具有可擴(kuò)展性,是一個(gè)彈性的框架(3)是共享的平臺(4)按需計(jì)量的(5)云服務(wù)是基于互聯(lián)網(wǎng)技術(shù)的 “云計(jì)算”平臺為企業(yè)提供共享計(jì)算、共享存儲、開發(fā)環(huán)境平臺搭建、支撐服務(wù)軟件等內(nèi)容的公共技術(shù)服務(wù)。建設(shè)內(nèi)容包括:中心機(jī)房、服務(wù)器設(shè)備、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備、安全設(shè)備、支撐軟件、業(yè)務(wù)軟件等模塊。2.3 建設(shè)目標(biāo)數(shù)據(jù)中心及云計(jì)算服務(wù)中心依托先進(jìn)技術(shù),能統(tǒng)一管理標(biāo)準(zhǔn),確保平臺的保密性、安全性、穩(wěn)定性和可擴(kuò)展性。統(tǒng)一標(biāo)準(zhǔn)的平臺降低了IT維護(hù)成本,提高了對需求的響應(yīng)速度,從而達(dá)到以下目標(biāo):充分利用現(xiàn)有的硬件、軟件資源;支持計(jì)算、存儲資源共享能力;為企業(yè)提供業(yè)務(wù)支撐服務(wù)。平臺不管從系統(tǒng)安全、可靠性、大容量,還是可擴(kuò)充性等諸多方面,都應(yīng)給予非常全面的考慮:1. 經(jīng)濟(jì)性2. 可靠性,避免單點(diǎn)故障3. 大容量,可擴(kuò)展性4. 安全性,實(shí)現(xiàn)安全域劃分5. 分級網(wǎng)管2.4 建設(shè)要求在本次項(xiàng)目的設(shè)計(jì)和建設(shè)中,需嚴(yán)格遵循以下原則:(1)穩(wěn)定性應(yīng)采取各種必要技術(shù)措施,保證公共服務(wù)平臺具備有優(yōu)秀的穩(wěn)定性,在保證性能的前提下,為主要業(yè)務(wù)提供7x24小時(shí)持續(xù)的支撐服務(wù)。(2)安全性平臺系統(tǒng)應(yīng)能充分考慮用戶數(shù)據(jù)的安全,避免用戶受到異常攻擊或敏感數(shù)據(jù)竊取。應(yīng)能主動評估業(yè)務(wù)系統(tǒng)的安全狀況及提供彌補(bǔ)措施,并提供各種操作行為的可回溯能力。同時(shí),應(yīng)能提供獨(dú)立的機(jī)房、專用的門禁及專享的運(yùn)營管理團(tuán)隊(duì),確保機(jī)房及公共服務(wù)平臺運(yùn)行的安全。(3)可擴(kuò)展性各平臺應(yīng)具備良好的擴(kuò)展能力,滿足數(shù)據(jù)中心長期發(fā)展的要求。根據(jù)業(yè)務(wù)的發(fā)展預(yù)測,平臺系統(tǒng)定期按照適度預(yù)留的原則進(jìn)行建設(shè),能在規(guī)定時(shí)間內(nèi)快速響應(yīng)新的用戶,新的業(yè)務(wù)的新增要求。(4)靈活的 IT 基礎(chǔ)架構(gòu)滿足資源的隨時(shí)隨地按需分配,需要建立一個(gè)靈活的硬件基礎(chǔ)架構(gòu)。硬件基礎(chǔ)架構(gòu)通常由虛擬的服務(wù)器池、共享的存儲系統(tǒng)、網(wǎng)絡(luò)和硬件管理軟件組成。(5)自動化資源部署云計(jì)算運(yùn)行管理平臺的核心功能是自動為用戶提供服務(wù)器、存儲以及相關(guān)的系統(tǒng)軟件和應(yīng)用軟件。用戶、管理員和其他人員能通過 Web 界面使用該功能。要實(shí)現(xiàn)資源的自動部署,必須做到:首先,建立一個(gè)中心數(shù)據(jù)庫來管理數(shù)據(jù)中心的硬件資源;其次,要規(guī)范化資源的使用,包括標(biāo)準(zhǔn)化操作系統(tǒng)、數(shù)據(jù)庫軟件、中間件軟件的種類和版本。自動化的部署流程不僅能做到“隨需應(yīng)變”,適應(yīng)用戶的需求,而且能夠帶來以下好處:引入技術(shù)和創(chuàng)新的時(shí)間縮短,設(shè)計(jì)、采購和構(gòu)建硬件和軟件平臺的人力成本降低,以及通過提高現(xiàn)有資源的利用率和復(fù)用率節(jié)省成本。(6)完善的資源監(jiān)控及故障處理手段云計(jì)算服務(wù)管理平臺提供資源和服務(wù)的各種運(yùn)維能力,可以監(jiān)控資源的使用情況,對于平臺故障提供及時(shí)地預(yù)警報(bào)警,保證云計(jì)算平臺的穩(wěn)定運(yùn)行。(7)有助于建立IT管理規(guī)則為了實(shí)現(xiàn)數(shù)據(jù)中心的規(guī)范管理,需要以云計(jì)算運(yùn)行管理平臺為基礎(chǔ),有助于為數(shù)據(jù)中心制定一套完整的管理規(guī)則。(8)開放性要求各類系統(tǒng)設(shè)計(jì)、產(chǎn)品及網(wǎng)絡(luò)構(gòu)建都要滿足相關(guān)的國際標(biāo)準(zhǔn)和國家標(biāo)準(zhǔn),提供標(biāo)準(zhǔn)結(jié)構(gòu)及接口,有效地兼容各種品牌、廠商、電子運(yùn)營商的系統(tǒng)和網(wǎng)絡(luò),實(shí)現(xiàn)多系統(tǒng)、多平臺的互聯(lián)互通。第3章 總體設(shè)計(jì)3.1 建設(shè)目標(biāo)目前IT信息技術(shù)已經(jīng)延伸到企業(yè)的各個(gè)層面,從企業(yè)角度看,云計(jì)算有利于整合信息資源,實(shí)現(xiàn)信息共享,促進(jìn)企業(yè)信息化的發(fā)展。從用戶角度看,利用云計(jì)算可以獨(dú)立實(shí)現(xiàn)或享受某一項(xiàng)具體的業(yè)務(wù)和服務(wù)。因此云計(jì)算將在企業(yè)的IT政策和戰(zhàn)略中正扮演越來越重要的角色。企業(yè)云計(jì)算中心的建設(shè),未來的核心業(yè)務(wù)涵蓋如下范圍:以“統(tǒng)規(guī)、統(tǒng)建、統(tǒng)維”思想為指導(dǎo),以豐富的云基礎(chǔ)設(shè)施,云存儲,云安全和各類云服務(wù)構(gòu)件共同構(gòu)建XXX云服務(wù)平臺,服務(wù)于:1. 為XXX企業(yè)提供計(jì)算環(huán)境,降低企業(yè)的IT硬件投資2. 為XXX內(nèi)部應(yīng)用提供基于云計(jì)算平臺辦公應(yīng)用、生產(chǎn)經(jīng)營運(yùn)行監(jiān)控。3. 為XXX企業(yè)提供通用企業(yè)管理軟件,為企業(yè)建立低成本的管理系統(tǒng)4. 為XXX企業(yè)提供基于云計(jì)算平臺的開發(fā)測試環(huán)境5. 為XXX企業(yè)提供IaaS/PaaS/ SaaS平臺,為企業(yè)向云計(jì)算轉(zhuǎn)型服務(wù)6. 優(yōu)化投資環(huán)境,節(jié)省企業(yè)IT軟硬件投入和開發(fā)環(huán)境的投入,吸引企業(yè)加快企業(yè)自身信息化發(fā)展。本方案將云數(shù)據(jù)中心“IT基礎(chǔ)設(shè)施”的“按需使用”以及”自動化管理和調(diào)度”作為云計(jì)算的實(shí)踐,形成可落地實(shí)施的、可持續(xù)發(fā)展的云計(jì)算平臺,即IaaS云計(jì)算平臺。作為XXX的云計(jì)算實(shí)踐,云計(jì)算數(shù)據(jù)中心的建設(shè)建議達(dá)到以下目標(biāo):統(tǒng)一管理通過最新的云計(jì)算核心技術(shù)之一虛擬化技術(shù),整合現(xiàn)有所有應(yīng)用,整合內(nèi)容包括WEB、MAIL、FTP、域控管理、OA系統(tǒng)、后臺數(shù)據(jù)庫等應(yīng)用,將整個(gè)業(yè)務(wù)系統(tǒng)作統(tǒng)一的規(guī)劃和部署,統(tǒng)一數(shù)據(jù)備份,從而形成自上向下的有效IT管理架構(gòu)。強(qiáng)調(diào)整體方案的可擴(kuò)展性、高可用性、易用性和易管理性采用最新的2路雙核服務(wù)器,保證整個(gè)硬件系統(tǒng)的可靠性和可用性,為用戶的應(yīng)用提供可靠的硬件保障;建設(shè)云計(jì)算平臺,發(fā)揮云計(jì)算平臺的優(yōu)越性,為用戶提供HA高可用,保證用戶業(yè)務(wù)系統(tǒng)的連續(xù)性和高可用性,讓用戶的業(yè)務(wù)實(shí)現(xiàn)零宕機(jī)風(fēng)險(xiǎn);專業(yè)的管理軟件,保證硬件系統(tǒng)和軟件系統(tǒng)的可管理性,為用戶節(jié)市管理投資成本。3.2 建設(shè)內(nèi)容云計(jì)算平臺建設(shè)主要包括以下建設(shè)內(nèi)容:1、資源池化系統(tǒng)(服務(wù)器、存儲、網(wǎng)絡(luò)資源池)2、云平臺管理及運(yùn)營系統(tǒng)3、云計(jì)算安全支撐系統(tǒng)3.3 建設(shè)原則本項(xiàng)目建設(shè)遵循以下建設(shè)原則:n 先進(jìn)性基礎(chǔ)設(shè)施平臺建設(shè)采用的產(chǎn)品和技術(shù)具有云平臺的特征及技術(shù)的先進(jìn)性,保障平臺的資源使用周期最大化。但采用先進(jìn)的技術(shù)也有一定的風(fēng)險(xiǎn),即可能存在技術(shù)不成熟問題。我們采用充分論證及測試的方式,在選擇先進(jìn)技術(shù)時(shí),把技術(shù)風(fēng)險(xiǎn)降低。并通過平臺的小規(guī)模運(yùn)營實(shí)踐,逐步淘汰不成熟、不可行的技術(shù),將整個(gè)平臺建設(shè)成技術(shù)領(lǐng)先的基礎(chǔ)設(shè)施系統(tǒng)。n 高可靠性云計(jì)算平臺作為承載未來企業(yè)應(yīng)用的重要IT基礎(chǔ)設(shè)施,承擔(dān)著穩(wěn)定運(yùn)行和業(yè)務(wù)創(chuàng)新的重任。伴隨著數(shù)據(jù)與業(yè)務(wù)的集中,云計(jì)算平臺的建設(shè)及運(yùn)維給信息部門帶來了巨大的壓力,因此平臺的建設(shè)從基礎(chǔ)資源池(計(jì)算、存儲、網(wǎng)絡(luò))、虛擬化平臺、云平臺等多個(gè)層面充分考慮業(yè)務(wù)的高可用,基礎(chǔ)單元出現(xiàn)故障后業(yè)務(wù)應(yīng)用能夠迅速進(jìn)行切換與遷移,用戶無感知,保證業(yè)務(wù)的連續(xù)性。n 可擴(kuò)展性可實(shí)現(xiàn)通過簡單的硬件擴(kuò)容達(dá)到系統(tǒng)動態(tài)擴(kuò)容的目的,可動態(tài)伸縮,滿足應(yīng)用和用戶規(guī)模增長的需要。n 易管理云計(jì)算的最終目標(biāo)是要實(shí)現(xiàn)系統(tǒng)的按需運(yùn)營,多種服務(wù)的開通,而這依賴于對計(jì)算、存儲、網(wǎng)絡(luò)資源的調(diào)度和分配,同時(shí)提供用戶管理、組織管理、工作流管理、自助Portal界面等。從用戶資源的申請、審批到分配部署的智能化。管理系統(tǒng)不僅要實(shí)現(xiàn)對傳統(tǒng)的物理資源和新的虛擬資源進(jìn)行管理,還要從全局而非割裂地管理資源,因此統(tǒng)一管理與自動化將成為必然趨勢。n 開放性當(dāng)前階段云計(jì)算整個(gè)產(chǎn)業(yè)化還不夠成熟,相關(guān)標(biāo)準(zhǔn)還不完善。為保證多廠商的良好兼容性,避免廠商技術(shù)鎖定,方案的設(shè)計(jì)充分保證與第三方廠商設(shè)備保持良好的對接。此外,為保證方案的前瞻性,設(shè)備的選型應(yīng)充分考慮對已有的云計(jì)算相關(guān)標(biāo)準(zhǔn)(如EVB/802.1Qbg等)的擴(kuò)展支持能力,保證良好的先進(jìn)性,以適應(yīng)未來的技術(shù)發(fā)展。傳統(tǒng)的管理系統(tǒng)與上層系統(tǒng)對接,注重故障的上報(bào)和信息的查詢。而云計(jì)算的管理系統(tǒng)更關(guān)注如何實(shí)現(xiàn)自動化的部署,在接口方面更關(guān)注資源調(diào)度和分配,這就需要管理系統(tǒng)在業(yè)務(wù)調(diào)度方面實(shí)現(xiàn)開放。為保證服務(wù)器、存儲、網(wǎng)絡(luò)等資源能夠被云計(jì)算運(yùn)營平臺良好的調(diào)度與管理,要求系統(tǒng)提供開放的API接口,云計(jì)算運(yùn)營管理平臺能夠通過API接口、命令行腳本實(shí)現(xiàn)對設(shè)備的配置與策略下發(fā)聯(lián)動。同時(shí)云平臺也提供開放的API接口,未來可以基礎(chǔ)這些接口進(jìn)行二次定制開放,將云管理平臺與企業(yè)應(yīng)用相融合,實(shí)現(xiàn)面向云計(jì)算的企業(yè)應(yīng)用管理平臺。3.4 建設(shè)思路隨著XXX信息化的深入,數(shù)據(jù)大集中以及信息交換的要求很高的計(jì)算能力。傳統(tǒng)企業(yè)數(shù)據(jù)中心建設(shè)和運(yùn)維的成本(包括電力成本、空間成本、維護(hù)成本等)在不斷上升。簡單的通過設(shè)備疊加和設(shè)備性能增強(qiáng)已經(jīng)難以適應(yīng)上述的要求。因此,當(dāng)XXX數(shù)據(jù)中心建設(shè)的核心需求為在IT建設(shè)模式上進(jìn)行轉(zhuǎn)變。改變傳統(tǒng)的“豎井式”IT建設(shè)模式而引入云計(jì)算建設(shè)模式來整合優(yōu)化當(dāng)前信息中心內(nèi)的硬件資源,提升數(shù)據(jù)中心的資源彈性、運(yùn)行效率、交付能力以及擴(kuò)展能力,并從根本上降低數(shù)據(jù)中心的建設(shè)成本,如下圖所示。 云計(jì)算架構(gòu)下的IT建設(shè)模式并沒有完全顛覆傳統(tǒng)IT的建設(shè)方式,在硬件資源大集中的前提下,先完成計(jì)算、存儲、網(wǎng)絡(luò)的資源集中化,同時(shí)增加虛擬化層與云層解決硬件統(tǒng)一整合以及資源按需分配的問題。有別于傳統(tǒng)建設(shè)模式單機(jī)單用的情況,虛擬化層通過在裸金屬服務(wù)器上加裝虛擬化內(nèi)核Hypervisor這一層從而實(shí)現(xiàn)單個(gè)物理計(jì)算節(jié)點(diǎn)能夠虛擬出多個(gè)邏輯隔離的計(jì)算節(jié)點(diǎn)即虛擬機(jī)的方式來承載多個(gè)應(yīng)用,通過虛擬化層的集中管理能夠?yàn)槠髽I(yè)帶來如下好處:u 提高現(xiàn)有資源的利用率,傳統(tǒng)單機(jī)單用的業(yè)務(wù)部署模式對硬件資源獨(dú)占無法共享,而大部分時(shí)間硬件資源利用率都較低部分業(yè)務(wù)甚至不足3%,虛擬化層可通過一虛多的方式,充分利用每一個(gè)計(jì)算服務(wù)器的資源,提高現(xiàn)有資源的利用率;u 降低數(shù)據(jù)中心成本,傳統(tǒng)建設(shè)模式業(yè)務(wù)部署或擴(kuò)容更多的都是硬件設(shè)備的追加,通過虛擬化層可以利用現(xiàn)有的服務(wù)器進(jìn)行業(yè)務(wù)整合,未來新建部署的業(yè)務(wù)系統(tǒng)也可以通過虛擬機(jī)承載的方式快速部署,建設(shè)硬件成本的追加,同時(shí)硬件設(shè)備數(shù)量的減少也可以帶來數(shù)據(jù)中心空間成本的節(jié)省以及數(shù)據(jù)中心耗電的節(jié)??;u 提高 業(yè)務(wù)連續(xù)性,基于虛擬化遷移、集群、負(fù)載均衡等技術(shù),任何虛擬機(jī)或者承載于虛擬機(jī)上的業(yè)務(wù)系統(tǒng)并不依托于某一個(gè)硬件節(jié)點(diǎn)存在,所以對于整個(gè)數(shù)據(jù)中心計(jì)算資源池節(jié)點(diǎn),單個(gè)物理節(jié)點(diǎn)出現(xiàn)問題并不會出現(xiàn)業(yè)務(wù)服務(wù)的中斷,在不追加任何冗余設(shè)備的技術(shù)上日高了業(yè)務(wù)本身的連續(xù)性;如果說虛擬化層解決的是資源整合管理的技術(shù)問題,那么云層解決的就是資源按需申請分配的管理問題,系統(tǒng)管理員能夠通過云層資源編排的功能把后臺的資源通過模板的方式行程服務(wù)發(fā)布出來,而使用者能夠通過云層自主Portal的方式按需申請資源,真正實(shí)現(xiàn)使用者-資源-管理者間的流程自動化。需要強(qiáng)調(diào)的是,轉(zhuǎn)變現(xiàn)有的建設(shè)模式而引入云計(jì)算架構(gòu)并不是徹底的推翻現(xiàn)有IT系統(tǒng)進(jìn)行重建,建設(shè)中需要充分考慮對現(xiàn)有業(yè)務(wù)系統(tǒng)的兼容和平滑升級,在方案部分也會重點(diǎn)從虛擬化層以及云層這兩個(gè)方面詳細(xì)描述。第4章 建設(shè)方案4.1 系統(tǒng)總體架構(gòu)本項(xiàng)目的總體架構(gòu)如下圖所示:根據(jù)本期工程的需求和建設(shè)目標(biāo)云計(jì)算平臺總體邏輯拓?fù)浣Y(jié)構(gòu)如上圖所示。整個(gè)平臺由網(wǎng)絡(luò)資源池、計(jì)算資源池、存儲資源池、管理中心四部分組成,網(wǎng)絡(luò)出口與XXX廣域網(wǎng)相連。網(wǎng)絡(luò)資源池采用業(yè)界主流的“核心+接入”扁平化組網(wǎng),核心交換機(jī)采用2臺H3C S10508數(shù)據(jù)中心級交換機(jī),部署IRF2虛擬化技術(shù),并在機(jī)框內(nèi)部署入侵檢測(IPS)和防火墻(FW)插卡,實(shí)現(xiàn)業(yè)務(wù)的入侵防御和安全隔離防護(hù),外聯(lián)至2臺廣域網(wǎng)出口路由器SR6602X,實(shí)現(xiàn)與XXX各單位互通;接入交換機(jī)采用2臺H3C 5820V2設(shè)備,部署IRF2虛擬化技術(shù),通過10G鏈路和2臺核心交換機(jī)相連。管理網(wǎng)交換機(jī)采用1臺H3C S5100EI設(shè)備,與服務(wù)器、存儲設(shè)備的管理接口互聯(lián)。IP SAN交換機(jī)采用2臺H3C 5820X設(shè)備,部署IRF2虛擬化技術(shù),1套H3C P4500存儲通過10G鏈路和X臺H3C R390服務(wù)器相連。計(jì)算資源池采用H3Cloud云計(jì)算操作系統(tǒng)軟件,將X臺h3C R390機(jī)架服務(wù)器組建HA集群,在虛擬機(jī)上部署企業(yè)業(yè)務(wù)應(yīng)用,并配合HA和動態(tài)負(fù)載均衡等高級功能,實(shí)現(xiàn)業(yè)務(wù)的連續(xù)性,減少計(jì)劃內(nèi)宕機(jī)時(shí)間,提高資源利用率。H3C FlexServer R390機(jī)架式服務(wù)器H3C FlexServer R390機(jī)架服務(wù)器系列定義了下一代2U雙插槽機(jī)架式服務(wù)器的標(biāo)準(zhǔn)。借助可維護(hù)性方面的改進(jìn)、無與倫比的性能、強(qiáng)大的配置靈活性和受用戶啟發(fā)的設(shè)計(jì)模式,H3C FlexServer R390所提供的完美解決方案能滿足當(dāng)今不斷擴(kuò)展的數(shù)據(jù)中心所需的動態(tài)計(jì)算機(jī)要求。H3C FlexServer R390服務(wù)器支持iLO管理引擎,這是一套全面的嵌入式管理特性,可支持服務(wù)器的完整生命周期(從初始部署到運(yùn)行管理、再到服務(wù)警報(bào)和遠(yuǎn)程支持)。H3C FlexServer R390處理器英特爾至強(qiáng)E5-2620(6 核、2 GHz、15 MB)處理器數(shù)2內(nèi)存64GB內(nèi)存類型DDR3網(wǎng)絡(luò)控制器1 個(gè) 1 Gb 331FLR 以太網(wǎng)適配器(4 端口)存儲控制器1 個(gè)智能陣列 P420i/1GB FBWC電源類型2 個(gè) 460 瓦通用插槽金級熱插拔電源存儲資源池采用1套H3C p4500存儲陣列,統(tǒng)一存放虛擬機(jī)鏡像文件和業(yè)務(wù)系統(tǒng)數(shù)據(jù),這樣做不會在運(yùn)行虛擬機(jī)的云計(jì)算計(jì)算節(jié)點(diǎn)主機(jī)上引起任何額外的負(fù)載。H3C FlexStorage P4500 SAS存儲系統(tǒng)H3Cloud云計(jì)算解決方案中的存儲組件提供了經(jīng)濟(jì)實(shí)惠的企業(yè)功能,并具有全面的功能集,簡化了對所有位置的集中管理,是具有各種虛擬服務(wù)器、客戶端虛擬化、數(shù)據(jù)庫、電子郵件和業(yè)務(wù)應(yīng)用程序的環(huán)境的理想選擇。存儲組件中集成了各種出色的應(yīng)用程序可用性和災(zāi)難恢復(fù)功能,在任何情況下都可進(jìn)行自動故障轉(zhuǎn)移/故障恢復(fù), 并針對虛擬化環(huán)境進(jìn)行了優(yōu)化,并為用戶和應(yīng)用程序提供了即時(shí)滿足需求的連續(xù)數(shù)據(jù)可用性。對虛擬環(huán)境來說,F(xiàn)lexStorage P4500 14.4TB SAS虛擬化SAN提供了優(yōu)化的共享存儲,可確保實(shí)現(xiàn)經(jīng)濟(jì)高效的高可用性、可擴(kuò)展的性能以及無中斷的配置變更。硬盤說明支持24塊LFF SAS硬盤硬盤類型600GB 6G 15K LFF雙端口ENT SAS硬盤;附帶24塊容量最小14.4TB最大230.4TB存儲擴(kuò)展選件使用存儲集群能力,并向SAN環(huán)境逐步添加FlexStorage P4500存儲系統(tǒng),以擴(kuò)展存儲容量:H3C FlexStorage P4500 7.2TB SAS存儲系統(tǒng)。主機(jī)接口1GbE iSCSI (4)端口可升級到10GbE iSCSI (4)端口支持的操作系統(tǒng)Apple OS XCitrix XenServerHP-UXIBM AIXMicrosoft Windows 2003Microsoft Windows 2008Novell NetWareOracle Enterprise LinuxRed Hat LinuxSUN SolarisSUSE LinuxVMware基于SAN/IQ的全面的企業(yè)級特性超冗余集群存儲冗余、熱插拔電源;冗余風(fēng)扇;冗余、熱插拔硬盤;集成的存儲控制器(帶電池支持的DDR2高速緩存);磁盤RAID 5、6和10;超冗余集群存儲;網(wǎng)絡(luò)RAID級別(每卷) 0、5、6、10、10+1和10+2最多支持4個(gè)數(shù)據(jù)拷貝,即使在電源、網(wǎng)絡(luò)、磁盤、控制器、存儲節(jié)點(diǎn)或站點(diǎn)出現(xiàn)故障時(shí),您的數(shù)據(jù)將仍然可用。精簡配置功能集成應(yīng)用的快照遠(yuǎn)程復(fù)制。異步復(fù)制和帶寬遏制;多站點(diǎn)/災(zāi)難恢復(fù)解決方案包和同步復(fù)制。SmartClone集中的管理控制H3C Integrated Lights-Out 2 Remote Management、Baseboard Management Controller IPMI 2.0保修三年部件、三年人工、三年現(xiàn)場、下一工作日管理中心采用2臺H3C R390機(jī)架服務(wù)器,分別部署H3C iMC DCM數(shù)據(jù)中心管理套件和H3Cloud CAS(含CVM、CIC),實(shí)現(xiàn)對云計(jì)算資源池的統(tǒng)一管理及調(diào)度。4.2 計(jì)算資源池服務(wù)器是云計(jì)算平臺的核心,其承擔(dān)著云計(jì)算平臺的“計(jì)算”功能。對于云計(jì)算平臺上的服務(wù)器,通常都是將相同或者相似類型的服務(wù)器組合在一起,作為資源分配的母體,即所謂的服務(wù)器資源池。在這個(gè)服務(wù)器資源池上,再通過安裝虛擬化軟件,使得其計(jì)算資源能以一種虛擬服務(wù)器的方式被不同的應(yīng)用使用。這里所提到的虛擬服務(wù)器,是一種邏輯概念。對不同處理器架構(gòu)的服務(wù)器以及不同的虛擬化平臺軟件,其實(shí)現(xiàn)的具體方式不同。在x86系列的芯片上,其主要是以常規(guī)意義上的VMware虛擬機(jī)或者H3Cloud虛擬機(jī)的形式存在。 資源池分類設(shè)計(jì)在搭建服務(wù)器資源池之前,首先應(yīng)該確定資源池的數(shù)量和種類,并對服務(wù)器進(jìn)行歸類。歸類的標(biāo)準(zhǔn)通常是根據(jù)服務(wù)器的CPU類型、型號、配置、物理位置來決定。對云計(jì)算平臺而言,屬于同一個(gè)資源池的服務(wù)器,通常就會將其視為一組可互相替代的資源。所以,一般都是將相同處理器、相近型號系列并且配置與物理位置接近的服務(wù)器比如相近型號、物理距離不遠(yuǎn)的機(jī)架式服務(wù)器或者刀片服務(wù)器。在做資源池規(guī)劃的時(shí)候,也需要考慮其規(guī)模和功用。如果單個(gè)資源池的規(guī)模越大,可以給云計(jì)算平臺提供更大的靈活性和容錯(cuò)性:更多的應(yīng)用可以部署在上面,并且單個(gè)物理服務(wù)器的宕機(jī)對整個(gè)資源池的影響會更小些。但是同時(shí),太大的規(guī)模也會給出口網(wǎng)絡(luò)吞吐帶來更大的壓力,各個(gè)不同應(yīng)用之間的干擾也會更大。如果有條件的話,通常推薦先審視一下企業(yè)自身的業(yè)務(wù)應(yīng)用??梢钥紤]將應(yīng)用分級,將某些級別高的應(yīng)用盡可能地放在某些獨(dú)立而規(guī)模較小的資源池內(nèi),輔以較高級別的存儲設(shè)備,并配備高級別的運(yùn)維值守。而那些級別比較低的應(yīng)用,則可以被放在那些規(guī)模較大的公用資源池(群)中。初期的資源池規(guī)劃應(yīng)該涵蓋所有可能被納管到云計(jì)算平臺的所有服務(wù)器資源,包括那些為搭建云計(jì)算平臺新購置的服務(wù)器、企業(yè)內(nèi)部那些目前閑置著的服務(wù)器以及那些現(xiàn)有的并正在運(yùn)行著業(yè)務(wù)應(yīng)用的服務(wù)器。在云計(jì)算平臺搭建的初期,那些目前正在為業(yè)務(wù)系統(tǒng)服務(wù)的服務(wù)器并不會直接被納入云計(jì)算平臺的管轄。但是隨著云計(jì)算平臺的上線和業(yè)務(wù)系統(tǒng)的逐漸遷移,這些服務(wù)器也將逐漸地被并入云計(jì)算平臺的資源池中。對于x86系列的服務(wù)器,除了用于生產(chǎn)系統(tǒng)的資源池以外,還需要專門搭建一個(gè)測試用資源池,以便云計(jì)算平臺項(xiàng)目實(shí)施過程以及平臺上線以后運(yùn)維過程中使用。在云計(jì)算平臺搭建完畢以后,企業(yè)的服務(wù)器資源池可以如下圖所示:在云計(jì)算平臺上線以后,原有非云計(jì)算平臺上的應(yīng)用會逐步向云計(jì)算平臺遷移,空出的服務(wù)器資源池也會逐漸并入云計(jì)算平臺的資源池中。其狀態(tài)可以用下圖所示:H3Cloud CVM虛擬化管理平臺體系將IT數(shù)據(jù)中心的物理服務(wù)器資源以樹形結(jié)構(gòu)進(jìn)行組織管理,統(tǒng)一稱之為云資源。云資源是H3Cloud云計(jì)算軟件分層管理模型的核心節(jié)點(diǎn)之一,用來統(tǒng)一管理數(shù)據(jù)中心內(nèi)所有的、復(fù)雜的硬件基礎(chǔ)設(shè)施,不僅包括基本的IT基礎(chǔ)設(shè)施(如硬件服務(wù)器系統(tǒng)),還包括其它與之配套的設(shè)備(如網(wǎng)絡(luò)和存儲系統(tǒng))。默認(rèn)情況下,H3Cloud云計(jì)算管理平臺出廠配置中已經(jīng)添加了一個(gè)名為“云資源”的根節(jié)點(diǎn),準(zhǔn)備使用H3Cloud云計(jì)算軟件進(jìn)行管理的所有物理資源都需要手工逐一添加到該節(jié)點(diǎn)下進(jìn)行統(tǒng)一的管理。云資源中的被管理對象之間的關(guān)系可以用下圖描述: 主機(jī)池設(shè)計(jì)在H3Cloud云計(jì)算軟件體系架構(gòu)中,主機(jī)池是一系列主機(jī)和集群的集合體,主機(jī)有可能已加入到集群中,也可能沒有。沒有加入集群的主機(jī)全部在主機(jī)池中進(jìn)行管理。在H3Cloud云計(jì)算管理平臺主界面導(dǎo)航菜單窗口中點(diǎn)擊“云資源”,在快捷工具欄中選擇按鈕?;蛘哂益I單擊“云資源”,在彈出的上下文菜單中選擇子菜單。在彈出的增加主機(jī)池對話框中,輸入主機(jī)池名稱后,單擊按鈕完成主機(jī)池的添加。 HA集群設(shè)計(jì)傳統(tǒng)數(shù)據(jù)中心內(nèi)的服務(wù)器高可靠性保障通常會選擇依賴于集群技術(shù)的部署。而云計(jì)算平臺將計(jì)算資源虛擬化以后,可以利用虛擬服務(wù)器自身虛擬化的特點(diǎn)實(shí)現(xiàn)傳統(tǒng)物理服務(wù)器上無法實(shí)現(xiàn)的高可靠性。為了提升云業(yè)務(wù)系統(tǒng)的可靠性,在云計(jì)算平臺的計(jì)算資源池建設(shè)時(shí),可以將多個(gè)物理主機(jī)合并為一個(gè)具有共享資源池的集群。CVM HA功能會監(jiān)控該集群下所有的主機(jī)和物理主機(jī)內(nèi)運(yùn)行的虛擬主機(jī)。當(dāng)物理主機(jī)發(fā)生故障,出現(xiàn)宕機(jī)時(shí),HA功能組件會立即響應(yīng)并在集群內(nèi)另一臺主機(jī)上重啟該物理主機(jī)內(nèi)運(yùn)行的虛擬機(jī)。當(dāng)某一虛擬服務(wù)器發(fā)生故障時(shí),HA功能也會自動的將該虛擬機(jī)重新啟動來恢復(fù)中斷的業(yè)務(wù)。具體操作如下圖所示:除了對集群中的物理服務(wù)器節(jié)點(diǎn)進(jìn)行持續(xù)檢測之外,H3C CAS HA軟件模塊還對運(yùn)行于物理服務(wù)器節(jié)點(diǎn)之上的虛擬機(jī)進(jìn)行持續(xù)檢測。在每臺服務(wù)器節(jié)點(diǎn)上都運(yùn)行了一個(gè)LRMd(Local Resource Manager daemon,本地資源管理器守護(hù)進(jìn)程),它是HA軟件模塊中直接操作所管理的各種資源的一個(gè)子模塊,負(fù)責(zé)對本地的虛擬化資源進(jìn)行狀
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 電力行業(yè)助理的工作職責(zé)簡述
- 高校人才培養(yǎng)方案的更新
- 2025年全球及中國石油和天然氣行業(yè)用有機(jī)緩蝕劑行業(yè)頭部企業(yè)市場占有率及排名調(diào)研報(bào)告
- 2025-2030全球桶形立銑刀行業(yè)調(diào)研及趨勢分析報(bào)告
- 2025年全球及中國醫(yī)療推車液晶顯示器行業(yè)頭部企業(yè)市場占有率及排名調(diào)研報(bào)告
- 2025-2030全球輪胎式破碎機(jī)行業(yè)調(diào)研及趨勢分析報(bào)告
- 2025年全球及中國劇場動作自動化設(shè)備行業(yè)頭部企業(yè)市場占有率及排名調(diào)研報(bào)告
- 2025年全球及中國單線金剛石線切割機(jī)行業(yè)頭部企業(yè)市場占有率及排名調(diào)研報(bào)告
- 2025-2030全球履帶調(diào)節(jié)器行業(yè)調(diào)研及趨勢分析報(bào)告
- 2025-2030全球防水低光雙筒望遠(yuǎn)鏡行業(yè)調(diào)研及趨勢分析報(bào)告
- 安全生產(chǎn)網(wǎng)格員培訓(xùn)
- 小學(xué)數(shù)學(xué)分?jǐn)?shù)四則混合運(yùn)算300題帶答案
- 林下野雞養(yǎng)殖建設(shè)項(xiàng)目可行性研究報(bào)告
- 心肺復(fù)蘇術(shù)課件2024新版
- 2024年內(nèi)蒙古呼和浩特市中考文科綜合試題卷(含答案)
- 大型商場招商招租方案(2篇)
- 會陰擦洗課件
- 2024年交管12123學(xué)法減分考試題庫和答案
- 臨床下肢深靜脈血栓的預(yù)防和護(hù)理新進(jìn)展
- 2024年山東泰安市泰山財(cái)金投資集團(tuán)有限公司招聘筆試參考題庫含答案解析
- 內(nèi)鏡下粘膜剝離術(shù)(ESD)護(hù)理要點(diǎn)及健康教育
評論
0/150
提交評論