版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
第頁1云計(jì)算概念和價(jià)值教學(xué)目的和要求本章介紹云計(jì)算的相關(guān)概念。重點(diǎn)與難點(diǎn)重點(diǎn):云計(jì)算的商業(yè)模式和部署模式;難點(diǎn):云計(jì)算的關(guān)鍵特征。教學(xué)設(shè)計(jì)弓I入通過例舉互聯(lián)網(wǎng)上常見的云產(chǎn)品(云存儲(chǔ)、云閱讀、云輸入法、云操作系統(tǒng),,),對(duì)比傳統(tǒng)產(chǎn)品,引出云計(jì)算何時(shí)出現(xiàn)、 在什么情況下出現(xiàn)、有哪些特征,然后給出云計(jì)算的概念,講解云計(jì)算的發(fā)展歷程。講解.對(duì)于云計(jì)算的概念認(rèn)識(shí),要從技術(shù)和商業(yè)兩方面來看,把握住云計(jì)算的關(guān)鍵特征,可以通過對(duì)互聯(lián)網(wǎng)上所提供的服務(wù)應(yīng)用來判斷其是否屬于云計(jì)算的范疇。云計(jì)算概念:云計(jì)算是一種基于互聯(lián)網(wǎng)的計(jì)算方式, 通過這種方式,共享的軟硬件資源和信息可以按需求提供給計(jì)算機(jī)和其他設(shè)備。 云計(jì)算依賴資源的共享以達(dá)成規(guī)模經(jīng)濟(jì),它的運(yùn)營模式和電廠很相似。.云計(jì)算的產(chǎn)生是發(fā)展的必然,要看到技術(shù)與需求相互的推動(dòng)作用, 以及商業(yè)模式轉(zhuǎn)變使得人們對(duì)云計(jì)算的認(rèn)可;.云計(jì)算的部署模式和商業(yè)模式都是基于需求來劃分的, 部署模式主要是考慮不同的安全性、成本、便利性,商業(yè)模式主要考慮用戶業(yè)務(wù)方面的需求;云計(jì)算部署模式:私有云計(jì)算、公有云計(jì)算、混合云計(jì)算a)私有云計(jì)算:一般由一個(gè)組織來使用,同時(shí)由這個(gè)組織來運(yùn)營。華為數(shù)據(jù)中心屬于這種模式,華為自己是運(yùn)營者,也是它的使用者,也就是說使用者和運(yùn)營者是一體,這就是私有云。b)公有云計(jì)算:就如共用的交換機(jī)一樣, 電信運(yùn)營商去運(yùn)營這個(gè)交換機(jī), 但是它的用戶可能是普通的大眾,這就是公有云。云的使用者是廣大互聯(lián)網(wǎng)用戶, 是面向公眾的。c)混合云計(jì)算:它強(qiáng)調(diào)基礎(chǔ)設(shè)施是由二種或更多的云來組成的, 但對(duì)外呈現(xiàn)的是一個(gè)完整的實(shí)體。企業(yè)正常運(yùn)營時(shí),把重要數(shù)據(jù)保存在自己的私有云里面 (比如:財(cái)務(wù)數(shù)據(jù)),把不重要的信息放到公有云里,兩種云組合形成一個(gè)整體,就是混合云。比如說電子商務(wù)網(wǎng)站,平時(shí)業(yè)務(wù)量比較穩(wěn)定,自己購買服務(wù)器搭建私有云運(yùn)營,但到了圣誕節(jié)促銷的時(shí)候, 業(yè)務(wù)量非常大,就從運(yùn)營商的公有云租用服務(wù)器,來分擔(dān)節(jié)日的高負(fù)荷; 但是可以統(tǒng)一的調(diào)度這些資源, 這樣就構(gòu)成了一個(gè)混合云。d)混合云,既包含私有云又包含公有云。從客戶的角度來說,有時(shí)候,重要的數(shù)據(jù)可以放在私有云,而相對(duì)不重要的數(shù)據(jù)放在公有云,兩種云組成一個(gè)整體,這種就是混合云。從云供應(yīng)商的角度來看,自己業(yè)務(wù)的運(yùn)營,可以使用私有云,提供給用戶使用的部分是公有云,他的運(yùn)營模式也是混合云。IaaS(Infrastructureasaservice):基礎(chǔ)設(shè)施即服務(wù),指的是把基礎(chǔ)設(shè)施以服務(wù)形式提供給最終用戶使用。包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和其它的計(jì)算資源,用戶能夠部署和運(yùn)行任意軟件, 包括操作系統(tǒng)和應(yīng)用程序。例如:虛擬機(jī)出租、網(wǎng)盤等。PaaS(Platformasaservice):平臺(tái)即服務(wù),指的是把二次開發(fā)的平臺(tái)以服務(wù)形式提供給最終用戶使用,客戶不需要管理或控制底層的云計(jì)算基礎(chǔ)設(shè)施, 但能控制部署的應(yīng)用程序開發(fā)平臺(tái)。例如:微軟的VisualStudio開發(fā)平臺(tái)。SaaS(Softwareasaservice):軟件即服務(wù),提供給消費(fèi)者的服務(wù)是運(yùn)行在云計(jì)算基礎(chǔ)設(shè)施上的應(yīng)用程序。例如:企業(yè)辦公系統(tǒng)。.云計(jì)算的價(jià)值要從它自身的特點(diǎn)來分析, 結(jié)合用戶不同的需求, 能給云計(jì)算參與的各方帶來哪些方面的好處(成本、靈活、安全、便利、高效,,) 。.云計(jì)算當(dāng)前的應(yīng)用情況,通過華為云計(jì)算解決方案產(chǎn)品介紹, 使學(xué)員對(duì)云計(jì)算整體上有比較形象的認(rèn)識(shí)。1.3.3總結(jié)云計(jì)算是在傳統(tǒng)技術(shù)和商業(yè)模式下發(fā)展而來的, 關(guān)鍵在于認(rèn)識(shí)到基于哪些傳統(tǒng)技術(shù)和商業(yè)模式又產(chǎn)生了哪些新的概念,以及這些新的概念產(chǎn)生的必要性。作業(yè)與思考題.云計(jì)算的部署模式和商業(yè)模式分別有哪幾種?.云計(jì)算能夠給企業(yè)IT系統(tǒng)帶來哪些價(jià)值?主要參考資料《云計(jì)算工程》2虛擬化技術(shù)基礎(chǔ)教學(xué)目的和要求本章通過對(duì)華為云計(jì)算解決方案的講解, 使學(xué)員能描述什么是虛擬化技術(shù), 虛擬化技術(shù)包含哪些方面。重點(diǎn)與難點(diǎn)重點(diǎn):掌握虛擬化技術(shù)的概念,特點(diǎn);難點(diǎn):掌握計(jì)算虛擬化,存儲(chǔ)虛擬化,網(wǎng)絡(luò)虛擬化。教學(xué)設(shè)計(jì)引入云計(jì)算的核心關(guān)鍵技術(shù)是虛擬化技術(shù), 虛擬化技術(shù)不是新技術(shù),早在上個(gè)世紀(jì)就已經(jīng)出現(xiàn),主要用于大型機(jī),然后講虛擬化的特性, 進(jìn)而講到虛擬化里面包含的計(jì)算虛擬化、 存儲(chǔ)虛擬化、網(wǎng)絡(luò)虛擬化。講解.什么是虛擬化技術(shù):a)虛擬化技術(shù)是一種資源管理技術(shù), 它的實(shí)現(xiàn)是在系統(tǒng)中加入一個(gè)虛擬化層, 將下層的資源抽象成另一種形式的資源,提供給上層應(yīng)用b)虛擬化技術(shù)的本質(zhì):分區(qū)、隔離、封裝、相對(duì)于硬件獨(dú)立c)虛擬化的類型:寄居虛擬化、裸虛擬化、操作系統(tǒng)虛擬化.計(jì)算虛擬化技術(shù):a)CPU虛擬化:半虛擬化,全虛擬化,硬件輔助虛擬化。b)內(nèi)存虛擬化:需要解決的問題:內(nèi)存都是從物理地址。開始的;內(nèi)存都是連續(xù)的c)IO虛擬化著重介紹前后端驅(qū)動(dòng)模型d)簡單介紹Intel硬件虛擬化技術(shù).存儲(chǔ)虛擬化的實(shí)現(xiàn)方式a)裸設(shè)備+邏輯卷b)存儲(chǔ)設(shè)備虛擬化c)主機(jī)存儲(chǔ)虛擬化+文件系統(tǒng)存儲(chǔ)的IO是通過Domain。來實(shí)現(xiàn)的,所有的存儲(chǔ)設(shè)備都是通過前后端驅(qū)動(dòng)模型由Domain。管理和配置的。主機(jī)內(nèi)核空間就是 Domain。。.網(wǎng)絡(luò)虛擬化a)介紹大二層網(wǎng)絡(luò)的應(yīng)用場景b)虛擬交換技術(shù):Vswitch就是普通的open-vswitch,數(shù)據(jù)交換由CPU完成;eswitch是enhancedvswitch.數(shù)據(jù)交換由網(wǎng)卡完成。VxLAN:一種L2oIP技術(shù),可以使二層數(shù)據(jù)包跨三層進(jìn)行傳輸,實(shí)現(xiàn)虛擬機(jī)的跨數(shù)據(jù)中心進(jìn)行遷移。TRILL和SPB是大二層網(wǎng)絡(luò)的兩種網(wǎng)絡(luò)協(xié)議。 SPB不能兼容現(xiàn)有的客戶二層網(wǎng)絡(luò),但是支持16M個(gè)VLAN,TRILL可以兼容客戶現(xiàn)有的二層網(wǎng)絡(luò),目前只支持4K個(gè)VLAN,后續(xù)會(huì)支持16M個(gè)VLAN。.簡單介紹如何在華為虛擬化平臺(tái)上創(chuàng)建虛擬機(jī)。2.3.2總結(jié)對(duì)虛擬化技術(shù)進(jìn)行總結(jié):虛擬化的定義,虛擬化的本質(zhì)有哪些,主要應(yīng)用在什么場景。然后對(duì)計(jì)算虛擬化、存儲(chǔ)虛擬化、網(wǎng)絡(luò)虛擬化的工作原理進(jìn)行總結(jié)。作業(yè)與思考題.虛擬化技術(shù)能給客戶帶來什么利益?;.虛擬化分為哪幾方面的虛擬化?他們的原理是什么2.4主要參考資料《云計(jì)算工程》3云計(jì)算解決方案介紹教學(xué)目的和要求掌握華為云計(jì)算解決方案FusionSphere、FusionCube和FusionAccess的功能和特性,以及應(yīng)用場景。重點(diǎn)與難點(diǎn)重點(diǎn):FusionSphere解決方案包含哪些組件,以及各個(gè)組件的功能。理解云計(jì)算整體解決方案中的“水平融合”戰(zhàn)略。難點(diǎn):清晰掌握云計(jì)算體系結(jié)構(gòu)。教學(xué)設(shè)計(jì)引入學(xué)習(xí)了虛擬化技術(shù)之后, 學(xué)員對(duì)虛擬化技術(shù)有一定程度上的認(rèn)識(shí), 接下來介紹華為云計(jì)算產(chǎn)品是什么樣子的,包含哪些組件,他們的功能和特性是什么,應(yīng)用在什么場景。講解華為FusionSphere虛擬化解決方案FusionSphere整體架構(gòu)UltraVR:容災(zāi)管理軟件,實(shí)現(xiàn)系統(tǒng)整體的同城或異地容災(zāi)能力HyperDP:備份管理模塊,實(shí)現(xiàn)虛擬機(jī)級(jí)別的備份管理能力FusionCompute:計(jì)算虛擬化,實(shí)現(xiàn)CPU,內(nèi)存,磁盤,外設(shè)等基本要素的虛擬化,虛擬機(jī)由FusionCompute實(shí)現(xiàn)FusionStorage:存儲(chǔ)虛擬化。將通用服務(wù)器的本地磁盤整合起來,提供分布式的SERVERSAN能力FusionNetwrok:網(wǎng)絡(luò)虛擬化。實(shí)現(xiàn) SDN控制器、虛擬化VXLAN網(wǎng)關(guān)、虛擬防火墻,虛擬DHCP服務(wù)器,虛擬路由器等功能FusionManager:云平臺(tái)管理。為FusonCompute,FusionStorage,FusionNetwork,HyperDP以及服務(wù)器、存儲(chǔ)、交換機(jī)、防火墻等提供統(tǒng)一整合的管理平臺(tái)OpenStack:華為Openstack發(fā)行版,對(duì)外提供標(biāo)準(zhǔn)的 Openstack管理與接口能力FusionSphere架構(gòu)特點(diǎn)高效、安全、融合和開放a)模板化、自動(dòng)化業(yè)務(wù)部署b)資源彈性伸縮、SLA資源池c)故障快速檢測和自動(dòng)恢復(fù)d)精細(xì)化故障預(yù)防系統(tǒng)e)端到端的系統(tǒng)安全優(yōu)化f)基于云操作系統(tǒng)的主機(jī)復(fù)制容災(zāi)g)虛擬化防病毒h)資源統(tǒng)一管理i)多數(shù)據(jù)中心管理j)混合云管理k)提供開放API接口l)FusionSphere版本介紹試用版標(biāo)準(zhǔn)版高級(jí)版鉗金版FusionCube融合一體機(jī)解決方案a)融是指FusionCube提供了計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、虛擬平臺(tái)、數(shù)據(jù)庫、應(yīng)用軟件等融合能力,實(shí)現(xiàn)一站式解決方案b)簡是指FusionCube提供了資源完全共享,無縫平滑擴(kuò)容,一站式應(yīng)用平臺(tái)c)優(yōu)主要是指FusionCube通過提供創(chuàng)新的存儲(chǔ)架構(gòu)(FusionStorage),分布式的軟件定義存儲(chǔ),提供高性能存儲(chǔ)能力FusionAccess桌面云解決方案a)桌面云產(chǎn)生的背景b)華為FusionCloud桌面云解決方案的特點(diǎn)保障用戶辦公體驗(yàn)保障用戶辦公體驗(yàn)友好的登錄界面完善的GPU支撐方案三種GPU方案,支撐云圖形工作站,現(xiàn)在主流的是 GPU硬件虛擬化方案GPU共享高性能圖形方案:支持帶有 GPU共享特性的虛擬桌面,擁有OpenGL2.1和DirectX9圖形能力,可以運(yùn)行常見的制圖軟件與游戲GPU硬件虛擬化:支持帶有 GPU硬件虛擬化特性的虛擬桌面,擁有OpenGL4.4和DirectX9/10/11圖形能力,可以運(yùn)行復(fù)雜的制圖軟件與游GPU直通高性能圖形方案:支持帶有 GPU直通的虛擬桌面,擁有物理顯卡的全部功能,可以運(yùn)行物理顯卡支持的全部制圖或游戲軟件。 支持符合最新DirectX、OpenGL規(guī)范的3D應(yīng)用c)公用桌面最佳方案:全內(nèi)存桌面內(nèi)存去重壓縮和復(fù)用技術(shù),桌面VM的系統(tǒng)盤放到內(nèi)存中,重啟還原初始狀態(tài)全內(nèi)存VDI存儲(chǔ)。突破內(nèi)存介質(zhì)專用的實(shí)時(shí)在線重刪技術(shù)、在線壓縮技術(shù);提供高速IO能力和高速克隆能力, 提供超過300IOPS每桌面VM磁盤讀寫操作,轉(zhuǎn)化為內(nèi)存操作,批量創(chuàng)建分發(fā)等管理效率大幅提升d)全面靈活的E2E安全防護(hù)設(shè)計(jì)e)完善的業(yè)務(wù)容災(zāi)能力f)系列工具,簡化管理與故障診斷g)全方位可靠性保障機(jī)制h)完善的分支機(jī)構(gòu)部署能力i)桌面云典型應(yīng)用場景VLAN技術(shù),首先明確為什么需要?jiǎng)澐?VLAN,有哪些好處;然后是VLAN的劃分方法(基于MAC地址、基于端口、基于協(xié)議、基于子網(wǎng));重點(diǎn)是VLAN的端口類型(Access、Trunk、Hybrid);理解相同VLAN跨交換機(jī)的通信和不同VLAN通過路由進(jìn)行通信;最后通過FusionSphere中分布式交換機(jī)的VLAN配置來加深對(duì)VLAN的理解和運(yùn)用。IPQoS技術(shù),首先明確它的目的是解決哪些問題(丟包、延時(shí)、抖動(dòng)、帶寬限制),然后通過什么樣的方式來解決(三種服務(wù)模型:Best-Effort、IntServ、DiffServ),這些不同的模型中分別采用了哪些技術(shù)來應(yīng)對(duì)哪方面的問題,最后總結(jié)下 IPQoS的整體流程。集群和堆疊,這里要區(qū)分級(jí)聯(lián)、 堆疊、集群的區(qū)別和聯(lián)系,級(jí)聯(lián)和堆疊都是物理上的連接, 達(dá)到擴(kuò)展的目的,但級(jí)聯(lián)中每個(gè)物理設(shè)備還是獨(dú)立管理的,而堆疊則使這些設(shè)備在邏輯上成為一個(gè)整體, 統(tǒng)一管理。集群是軟件層面實(shí)現(xiàn)的,建立在物理設(shè)備級(jí)聯(lián)或堆疊的基礎(chǔ)之上。3.3.3總結(jié)本章對(duì)華為云計(jì)算解決方案產(chǎn)品 FusionSphere進(jìn)行了全方位介紹,著重介紹了FusionCube一體機(jī)解決方案的三大特點(diǎn), 融簡優(yōu);FusionAccess解決方案的特性, 比如GPU虛擬化,全內(nèi)存虛擬機(jī),鏈接克隆虛擬機(jī)等一系列特性。3.4作業(yè)與思考題華為FusionSphere云計(jì)算解決方案產(chǎn)品架構(gòu)是什么樣子的?FusionCube一體機(jī)有什么特點(diǎn)?FusionAccess全內(nèi)存虛擬機(jī)應(yīng)用在什么場景?FusionSphere、FusionAccess>FusionCube三者之間的內(nèi)在聯(lián)系是什么?3.5主要參考資料《云計(jì)算工程》4云計(jì)算硬件系統(tǒng)介紹教學(xué)目的和要求掌握承載華為云計(jì)算平臺(tái)的硬件有哪些; 掌握華為服務(wù)器、存儲(chǔ)設(shè)備、交換設(shè)備以及終端TC設(shè)備的基礎(chǔ)知識(shí)。重點(diǎn)與難點(diǎn)重點(diǎn):掌握E9000服務(wù)器的組成架構(gòu); OceanStor5600/5800V3存儲(chǔ)設(shè)備的硬件架構(gòu)的特點(diǎn);S5700系列交換機(jī)的規(guī)格。難點(diǎn):E9000服務(wù)器的組網(wǎng)。教學(xué)設(shè)計(jì)引入FusionSphere是華為云計(jì)算的靈魂,那么承載靈魂的就是硬件,這節(jié)課一起學(xué)習(xí)華為云計(jì)算解決方案中用到的硬件平臺(tái)。講解.華為云計(jì)算硬件概覽: 硬件包含服務(wù)器、存儲(chǔ)設(shè)備、交換機(jī)和登錄虛擬機(jī)的終端設(shè)備。.服務(wù)器介紹a)E9000E9000特點(diǎn):計(jì)算密度高存儲(chǔ)容量大組網(wǎng)靈活E9000的管理模塊:MM910主備部署,對(duì)E9000硬件進(jìn)行監(jiān)控和管理E9000的計(jì)算節(jié)點(diǎn):CH121CH222CH242CH240刀片的亮點(diǎn)E9000的交換模塊:CX310CX311CX611的亮點(diǎn)E9000的MEZZ扣卡(PCIE可插拔網(wǎng)卡):MZ510MZ512,以及對(duì)應(yīng)的安裝槽位. RH2288H服務(wù)器了解RH2288H服務(wù)器的規(guī)格參數(shù)。.存儲(chǔ)設(shè)備介紹OceanStor5600/5800V3a)OceanStor5600/5800V3整體架構(gòu)特性介紹:高性能,高擴(kuò)展,高可靠,綠色節(jié)能b)控制框介紹:認(rèn)識(shí)模塊,了解模塊的功能及規(guī)格參數(shù);端口種類和規(guī)格參數(shù)。c)4U3.5寸高密硬盤框:最高可以安裝 75塊硬盤。S5700系列千兆交換機(jī):了解S5700系列交換機(jī)型號(hào)及其端口參數(shù);了解交換機(jī)堆疊參數(shù)規(guī)格。TC(ThinClient):常用的機(jī)框TC設(shè)備TC有定制的硬件系統(tǒng)和軟件系統(tǒng),有l(wèi)inux和windows兩種系統(tǒng)類型。根據(jù)CPU的類型可以分為ARM架構(gòu)和X86架構(gòu)。CT3100CT3000等低端TC采用的ARM架構(gòu),CT5000CT6000等高端TC采用的是X86架構(gòu)??筛鶕?jù)不同場景選配。云計(jì)算硬件典型部署形態(tài)虛擬化:E9000(RH2288H)服務(wù)器+S5600V3存儲(chǔ)+S5700交換機(jī)標(biāo)準(zhǔn)桌面云:E9000(RH2288H)服務(wù)器+S5600V3存儲(chǔ)+S5700交換機(jī)+TC終端桌面云一體機(jī):E9000(RH2288H)服務(wù)器+S5600V3存儲(chǔ)+S5700交換機(jī)+TC終端4.3.3總結(jié)這一章講解了華為云計(jì)算解決方案部署的硬件平臺(tái) (這些硬件都是華為自研產(chǎn)品)需要掌握硬件平臺(tái)包含計(jì)算設(shè)備(服務(wù)器) ,存儲(chǔ)設(shè)備(SAN存儲(chǔ)),交換設(shè)備(交換機(jī)),終端設(shè)備(ThinClient),以及他們的特性和規(guī)格參數(shù)。最后根據(jù)場景進(jìn)行硬件組合搭配。4.4作業(yè)與思考題.華為云計(jì)算硬件平臺(tái)包含哪幾類硬件產(chǎn)品?.計(jì)算設(shè)備、存儲(chǔ)設(shè)備、交換設(shè)備、終端設(shè)備分別使用哪些型號(hào),并描述他們在云計(jì)算硬件平臺(tái)中的功能是什么?4.5主要參考資料《云計(jì)算工程》5FusionCompute 架構(gòu)原理教學(xué)目的和要求熟悉FusionCompute的組織架構(gòu)和功能特性。重點(diǎn)與難點(diǎn)重點(diǎn):FusionCompute操作配置;難點(diǎn):FusionCompute系統(tǒng)架構(gòu)。教學(xué)設(shè)計(jì)引入FusionCompute是華為云計(jì)算產(chǎn)品FusionSphere中的虛擬化部件,這一章主要是對(duì)前一章虛擬化知識(shí)的補(bǔ)充,能更實(shí)際形象的理解虛擬化技術(shù)。講解.FusionCompute在FusionSphere中的作用,主要是硬件資源虛擬化和虛擬資源池的管理;硬件資源虛擬化是由 FusionComputeCNA完成的,虛擬資源池的管理是由FusionComputeVRM完成的。這在安裝部署中分得很明確。. FusionCompute系統(tǒng)架構(gòu),主要是VNA和VRM之間的關(guān)系,以及VRM內(nèi)部各個(gè)模塊的功能。VNA:虛擬節(jié)點(diǎn)代理,完成底層虛擬化資源的配置管理。VRM:虛擬資源管理配置中樞,給用戶提供可視化的管理界面。PresentationService提供對(duì)外展現(xiàn)和管理操作接口,如WebUI。BusinessProcess基于BusinessService,提供復(fù)雜資源管理和基于策略的分布式資源管理服務(wù)。RESTAPI接口面向WebUI開放資源管理接口。BusinessService提供基本的資源管理服務(wù),包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、節(jié)點(diǎn)、性能、故障、補(bǔ)丁、日志等功能。DataService提供數(shù)據(jù)訪問服務(wù)。ConnectivityService提供上層管理服務(wù)與下層 CNA和數(shù)據(jù)庫的對(duì)接服務(wù)。Database(數(shù)據(jù)庫)用的是華為自研的高斯數(shù)據(jù)庫,用于存放各類管理數(shù)據(jù),包括主機(jī)/虛機(jī)節(jié)點(diǎn)信息、狀態(tài)信息等。.FusionCompute功能特性兼容行業(yè)特殊操作系統(tǒng): FusionCompute(以后簡稱FC)不僅支持常見的操作系統(tǒng),如Windows2008,Windows2012,Windows7,RedhatLinux,SUSELinux,CentosLinux等,還支持特殊操作系統(tǒng),如中標(biāo)麒麟Linux。在兼容一款OS時(shí),必選要開發(fā)對(duì)應(yīng)的PVDriver,華為具備驅(qū)動(dòng)的開發(fā)能力。.靈活的虛擬機(jī)配置調(diào)整可以根據(jù)業(yè)務(wù)需要,靈活配置虛擬機(jī)的資源,并且支持在線添加,離線刪除。不過vCPU、vRAM在線添加功能不是所有OS都支持。對(duì)于不支持熱添加的 OS,FusionCompute支持重啟虛擬機(jī)生效。.內(nèi)存復(fù)用技術(shù)內(nèi)存復(fù)用是指在服務(wù)器物理內(nèi)存一定的情況下, 通過綜合運(yùn)用內(nèi)存復(fù)用單項(xiàng)技術(shù)(內(nèi)存氣泡、內(nèi)存共享、內(nèi)存交換)對(duì)內(nèi)存進(jìn)行分時(shí)復(fù)用。分時(shí)復(fù)用原理是通過計(jì)算節(jié)點(diǎn)上的內(nèi)存復(fù)用策略實(shí)時(shí)調(diào)用相關(guān)內(nèi)存復(fù)用技術(shù), 把空閑內(nèi)存釋放出來給其他虛擬機(jī)使用,同時(shí)平衡各虛擬機(jī)的內(nèi)存復(fù)用情況,從而達(dá)到虛擬機(jī)內(nèi)存規(guī)格總和大于服務(wù)器規(guī)格內(nèi)存,最終提高服務(wù)器中虛擬機(jī)密度。內(nèi)存復(fù)用好處:提高內(nèi)存利用率:內(nèi)存復(fù)用技術(shù)允許虛擬機(jī)管理器(Hypervisor)使用內(nèi)存回收技術(shù)回收負(fù)載低的虛擬機(jī)的空閑內(nèi)存,轉(zhuǎn)移給負(fù)載高的虛擬機(jī)使用。提高整合比率:內(nèi)存復(fù)用技術(shù)使虛擬機(jī)占有較少的主機(jī)內(nèi)存,可以在主機(jī)上建立更多的虛擬機(jī),而仍然能獲得高的性能。a)內(nèi)存氣泡特點(diǎn):通過在虛擬機(jī)內(nèi)運(yùn)行的氣泡驅(qū)動(dòng),實(shí)時(shí)調(diào)節(jié)驅(qū)動(dòng)所占用內(nèi)存量,這部分內(nèi)存量全部釋放回Hypervisor后給其他虛擬機(jī)使用,以達(dá)到復(fù)用的目的.內(nèi)存氣泡是比較輕量級(jí)的內(nèi)存復(fù)用技術(shù),通過 OS感知的方式占用內(nèi)存,對(duì)性能的影響相對(duì)較小。缺點(diǎn)在于虛擬機(jī)用戶能感知該技術(shù)(虛擬機(jī)實(shí)際內(nèi)存量減少) ,依賴OS的空閑內(nèi)存情況(氣泡實(shí)際釋放量與之相關(guān)),OS內(nèi)存壓力增大時(shí)氣泡不能主動(dòng)歸還內(nèi)存。b)內(nèi)存共享特點(diǎn):UVP(華為的Hypervisor)的內(nèi)存共享基于blktap2鏈接克隆,通過識(shí)別虛擬機(jī)對(duì)同一磁盤塊讀取來進(jìn)行共享;同時(shí) UVP自己實(shí)現(xiàn)了一套零頁共享方式。內(nèi)存共享的優(yōu)勢在于對(duì)于桌面云場景下, 同OS類型的虛擬機(jī)往往有大量的相同內(nèi)存頁,因此通過共享方式能很大程度上減少重復(fù)的內(nèi)存頁,相當(dāng)于內(nèi)存級(jí)別的去重,同時(shí)虛擬機(jī)不感知。缺點(diǎn)在于創(chuàng)建共享/解除共享會(huì)帶來額外開銷。c)內(nèi)存交換特點(diǎn):通過在Hypervisor外部直接把GuestOS的內(nèi)存頁內(nèi)容交換到磁盤上來釋放內(nèi)存。內(nèi)存交換的優(yōu)勢在于虛擬機(jī)不感知,同時(shí)能夠做到定量復(fù)用(內(nèi)存共享、Balloon都是不定量的),也即是說交換在內(nèi)存不足時(shí)有最后的手段確保虛擬機(jī)/物理機(jī)正常運(yùn)行。內(nèi)存交換的缺點(diǎn)也同樣明顯:由于虛擬機(jī)內(nèi)存被交換到磁盤, 讀寫內(nèi)存速率被降低一個(gè)數(shù)量級(jí),虛擬機(jī)性能將受到較大影響。.虛擬機(jī)熱遷移技術(shù)a)先拷貝虛擬機(jī)的配置文件和設(shè)備文件到目標(biāo)主機(jī)b)然后將內(nèi)存壓縮后拷貝到目標(biāo)主機(jī)內(nèi)存中,然后進(jìn)行解壓c)暫停原虛擬機(jī),將原虛擬機(jī)最新內(nèi)存更新內(nèi)容拷貝到目標(biāo)主機(jī)d)在目標(biāo)主機(jī)上開啟虛擬機(jī)e)在原主機(jī)上停止虛擬機(jī).虛擬機(jī)HA機(jī)制虛擬機(jī)HA實(shí)現(xiàn)原理:VRM或者集群的Master節(jié)點(diǎn)檢測到某計(jì)算節(jié)點(diǎn)故障或者虛擬機(jī)故障,或者設(shè)定的預(yù)留資源得不到保障時(shí),主動(dòng)根據(jù)自身記錄的虛擬機(jī)信息,在正常的節(jié)點(diǎn)上重新啟動(dòng)故障虛擬機(jī)。同時(shí),存儲(chǔ)層面的鎖機(jī)制防止在多個(gè)節(jié)點(diǎn)上啟動(dòng)虛擬機(jī)(即所謂腦裂)。虛擬機(jī)HA有集中集群HA和集群自治HA兩種。版本支持由VRM控制和判斷的集中控制式 HA機(jī)制,集群內(nèi)所有節(jié)點(diǎn)都和VRM通過管理面交互心跳信息, 由VRM判斷節(jié)點(diǎn)狀態(tài)、虛擬機(jī)狀態(tài),并啟動(dòng)HA機(jī)制;5.0版本新增了集群自治HA機(jī)制,即不依賴VRM實(shí)現(xiàn)虛擬機(jī)HA功能,而是在集群創(chuàng)建時(shí)自動(dòng)推選出 Master節(jié)點(diǎn),由Master節(jié)點(diǎn)根據(jù)集群內(nèi)各Slave節(jié)點(diǎn)和Master節(jié)點(diǎn)之間的管理心跳和存儲(chǔ)心跳來判斷是否需要啟動(dòng)虛擬機(jī)HA機(jī)制(管理心跳是心跳包,存儲(chǔ)心跳通過在文件中寫數(shù)據(jù)來實(shí)現(xiàn) ),根據(jù)需要由Master節(jié)點(diǎn)啟動(dòng)HA機(jī)制;自治場景下,HA啟動(dòng)的前提是管理心跳和存儲(chǔ)心跳都失效。用戶可以設(shè)置管理心跳走管理平面還是非管理平面,可以根據(jù)各網(wǎng)絡(luò)平面的負(fù)荷來確定。.高可用性FT技術(shù)FT與HA的區(qū)別FT通過類似主備的冗余配置,數(shù)據(jù)在主備間實(shí)時(shí)同步。當(dāng)主虛機(jī)出現(xiàn)故障時(shí),秒級(jí)可切換到備虛機(jī)上。使用于高可用性系統(tǒng)。HA動(dòng)態(tài)調(diào)度的策略,當(dāng)檢測到某主機(jī)發(fā)生故障或負(fù)荷過高時(shí), 將虛擬機(jī)遷移到目的主機(jī),保障業(yè)務(wù)連續(xù)性。因此,F(xiàn)T的恢復(fù)時(shí)間更短、但成本較高,適用于高可用性要求的關(guān)鍵系統(tǒng);HA機(jī)制恢復(fù)時(shí)間較長,但更為靈活、相對(duì)成本更低,適用于可以容忍短時(shí)中斷的系統(tǒng)。9.動(dòng)態(tài)資源調(diào)度(DRS)適用場景:a)適用于虛擬機(jī)的業(yè)務(wù)負(fù)載具有較明顯的持續(xù)性波峰和波谷變化, 用戶需要獲取更好性能體驗(yàn)的場景。b)通過動(dòng)態(tài)調(diào)度虛擬機(jī),使各主機(jī)的資源利用率更加均衡, 各主機(jī)的計(jì)算能力發(fā)揮更加充分,各虛擬機(jī)上的業(yè)務(wù)系統(tǒng)運(yùn)行的效率更高。DRS特點(diǎn):a)DRSDynamicResourceScheduler動(dòng)態(tài)資源調(diào)度,實(shí)現(xiàn)資源的按需取用和負(fù)載均衡,消峰填谷b)基于策略的智能化、自動(dòng)化資源調(diào)度c)支持策略的配置:手動(dòng)、自動(dòng);遷移域值支持 5檔:保守、較保守、中等、較激進(jìn)、激進(jìn)d)負(fù)載均衡策略的對(duì)象是:邏輯集群。e)華為一個(gè)邏輯集群128服務(wù)器,VMware是32個(gè),華為有更多的可選資源進(jìn)行調(diào)度。f)集群內(nèi)所有虛擬機(jī)的性能負(fù)載低于調(diào)度基線時(shí)不啟動(dòng)調(diào)度, 即使負(fù)載方差超過用戶選擇的閾值,因?yàn)檎{(diào)度基線是用戶設(shè)置的認(rèn)為虛擬機(jī)能穩(wěn)定運(yùn)行的性能負(fù)載上線,在此基線下運(yùn)行時(shí)虛擬機(jī)性能穩(wěn)定,而DRS調(diào)度的目的是為了虛擬機(jī)運(yùn)行平穩(wěn),所以在調(diào)度基線以下調(diào)度是沒有必要的。.自動(dòng)綠色節(jié)能(DPM)適用場景:a)適用于虛擬機(jī)的業(yè)務(wù)負(fù)載具有較明顯的持續(xù)性波峰和波谷變化 ,用戶需要節(jié)省能耗的場景b)在保證業(yè)務(wù)系統(tǒng)正常運(yùn)行的前提下,在業(yè)務(wù)負(fù)荷波谷階段將虛擬機(jī)遷移整合到部分主機(jī)上,將空閑出來的主機(jī)智能下電,節(jié)省了系統(tǒng)能耗;在業(yè)務(wù)負(fù)載波峰階段對(duì)下電的主機(jī)進(jìn)行上電,以保證虛擬機(jī)的運(yùn)行效率和業(yè)務(wù)體驗(yàn)DPM技術(shù)特點(diǎn):DRS策略是DPM策略執(zhí)行的前提和依賴,即集群必須先設(shè)置好 DRS策略,才能設(shè)置DPM策略,這兩個(gè)策略是一體考慮的,DPM策略執(zhí)行時(shí)依賴DRS進(jìn)行虛擬機(jī)遷移。DPM對(duì)主機(jī)上、下電所參照的主機(jī)負(fù)載的域值有 5檔:保守、較保守、中等、較激進(jìn)、激進(jìn)保守:默認(rèn)不對(duì)主機(jī)進(jìn)行下電操作, 僅在主機(jī)資源平均利用率高于重載閾值時(shí),對(duì)集群內(nèi)的其他未上電主機(jī)進(jìn)行上電操作 ;中等:如果主機(jī)資源平均利用率高于重載閾值時(shí), 對(duì)集群內(nèi)的其他未上電主機(jī)進(jìn)行上電操作; 如果主機(jī)資源平均利用率低于輕載閾值時(shí), 對(duì)主機(jī)進(jìn)行下電操作;激進(jìn):默認(rèn)不對(duì)主機(jī)進(jìn)行上電操作, 僅在主機(jī)資源平均利用率低于輕載閾值時(shí),對(duì)主機(jī)進(jìn)行下電操作 ;從“保守”到“激進(jìn)”,不同閾值表示不同激進(jìn)程度的“節(jié)能”策略,可根據(jù)具體場景進(jìn)行閾值自定義設(shè)置。.QoS精細(xì)化資源管控,保障VIP業(yè)務(wù)可用QoSQualityofService服務(wù)質(zhì)量用來衡量一個(gè)傳輸系統(tǒng)的傳輸質(zhì)量和服務(wù)有效性,評(píng)估服務(wù)商滿足客戶需求的能力。虛擬機(jī)的CPUQoS機(jī)制與在線增加CPU功能是兩個(gè)概念。CPUQoS機(jī)制是優(yōu)先級(jí)機(jī)制,由于物理 CPU是多個(gè)VM共享的,當(dāng)虛擬機(jī)業(yè)務(wù)繁忙時(shí),就會(huì)存在物理CPU資源不足問題。優(yōu)先級(jí)高的 VM可以優(yōu)先獲得物理CPU資源。CPUQOS機(jī)制并不會(huì)臨時(shí)增加虛擬機(jī)的 CPU。內(nèi)存和網(wǎng)絡(luò)的QOS機(jī)制類似。.基于NUMA架構(gòu)的親和性調(diào)度NUMAnon-uniformmemoryaccessarchitecture 致性內(nèi)存訪問。一臺(tái)物理的計(jì)算機(jī)上有多個(gè)處理器,這些處理器用同一條前端總線連接,且這些處理器及其附帶的多條內(nèi)存就共同構(gòu)成了一個(gè) NUMA系統(tǒng);一個(gè)處理器與與其互聯(lián)的內(nèi)存就構(gòu)成了一個(gè) node。GuestNUMA原理說明:為提升CPU訪問內(nèi)存效率,物理服務(wù)器上引入了NUMA概念,根據(jù)訪問效率將CPU和內(nèi)存分成若干個(gè)Node,CPU訪問同一Node內(nèi)的內(nèi)存性能較好。目前OS和應(yīng)用都會(huì)有針對(duì)NUMA的優(yōu)化,GuestNUMA就是通過向虛擬機(jī)呈現(xiàn)NUMA結(jié)構(gòu),保證NUMNA結(jié)構(gòu)的透傳,使GuestOS及其內(nèi)部應(yīng)用識(shí)別NUMA結(jié)構(gòu),以達(dá)到提升應(yīng)用性能的目的。HostNUMA原理說明:主要提供CPU負(fù)載均衡機(jī)制,解決CPU資源分配不平衡引起的VM性能瓶頸問題,當(dāng)啟動(dòng)VM時(shí),HostNUMA根據(jù)當(dāng)時(shí)主機(jī)內(nèi)存和CPU負(fù)載,選擇一個(gè)負(fù)載較輕的node放置該VM,使VM的CPU和內(nèi)存資源分配在同一個(gè)node上。另,考慮到VM的CPU負(fù)載是動(dòng)態(tài)變化,在初始放置的node上,node的CPU資源負(fù)載也會(huì)隨之變化,這會(huì)導(dǎo)致某個(gè)node的CPU資源不足,而另一個(gè)node的CPU資源充足情況下,HostNUMA會(huì)從CPU資源不足的node上選擇VM,把VM的CPU資源分配在CPU資源充足的node上,從而動(dòng)態(tài)實(shí)現(xiàn)node間的CPU負(fù)載均衡。.支持GPU硬件虛擬化技術(shù)原理:GPU虛擬化特性的主要實(shí)現(xiàn)原理為:物理 GPU可以創(chuàng)建出多個(gè)vGPU,所有vGPU可以分時(shí)共享訪問物理GPU的3D圖形引擎和視頻編解碼引擎,并各自擁有獨(dú)立的顯存。物理GPU通過DMA的方式能夠直接獲取圖形應(yīng)用下發(fā)給vGPUDriver的3D指令,渲染后將結(jié)果放到在各自 vGPU的顯存內(nèi),虛擬機(jī)中的vGPU驅(qū)動(dòng)可以直接從物理顯存中抓取渲染數(shù)據(jù)。 因此上層應(yīng)用可以直接獲取物理GPU的硬件能力,對(duì)上層應(yīng)用來說就像直接使用物理GPU一樣,因而具有強(qiáng)大的圖形性能和良好的程序兼容性。.虛擬機(jī)遠(yuǎn)程掛載光驅(qū)可以使用VNC登錄的方式,掛載遠(yuǎn)程虛擬光驅(qū)到虛擬機(jī)。.VIMS虛擬集群存儲(chǔ)文件系統(tǒng)開啟虛擬化功能的數(shù)據(jù)存儲(chǔ)都會(huì)使用 VIMS文件系統(tǒng)進(jìn)行格式化。VIMSVirtualImageManagementSystem虛擬鏡像管理系統(tǒng),其特點(diǎn)如下:基于開源的OCFS2進(jìn)行定制以文件形式管理虛擬機(jī)鏡像及配置文件使用jbd2記錄文件系統(tǒng)日志,在系統(tǒng)發(fā)生故障時(shí)保證一致性并快速恢復(fù)使用分布式鎖機(jī)制確保集群中數(shù)據(jù)讀寫的一致性通過磁盤心跳檢測與SAN之間的連接狀態(tài)(存儲(chǔ)斷連場景)通過網(wǎng)絡(luò)心跳檢測各節(jié)點(diǎn)之間的連接狀態(tài) (網(wǎng)絡(luò)分割場景)VIMS文件系統(tǒng)特性:支持ThinProvisioning瘦分配,快照,存儲(chǔ)遷移,鏈接克隆。ThinProvisioning瘦分配:分配空間和實(shí)際空間分離,實(shí)際使用時(shí)才分配實(shí)際的存儲(chǔ)空間,邊使用邊分配。當(dāng)分配空間全部存滿時(shí),分配空間 =存儲(chǔ)空間;快照:虛擬機(jī)某個(gè)時(shí)點(diǎn)的狀態(tài),包括內(nèi)存、磁盤。用于備份和恢復(fù)。存儲(chǔ)遷移:提供了虛擬機(jī)磁盤的冷遷移和熱遷移, 冷遷移是在虛擬機(jī)關(guān)機(jī)時(shí)候,將其磁盤文件從一個(gè)存儲(chǔ)移動(dòng)到另一個(gè)存儲(chǔ); 熱遷移可以在不中斷業(yè)務(wù)的前提下,將虛擬機(jī)磁盤從一個(gè)存儲(chǔ)遷移至另一個(gè)存儲(chǔ)。鏈接克?。合嗤琌S多個(gè)客戶虛擬機(jī)共享一個(gè)母鏡像,可統(tǒng)一升級(jí)和維護(hù);每個(gè)虛擬機(jī)保存差異部分,從而降低存儲(chǔ)成本。.存儲(chǔ)熱遷移,避免存儲(chǔ)系統(tǒng)維護(hù)業(yè)務(wù)停機(jī)存儲(chǔ)熱遷移(StorageLiveMigration,又叫存儲(chǔ)動(dòng)態(tài)遷移):指在不中斷業(yè)務(wù)的前提下,將虛擬機(jī)存儲(chǔ)從一個(gè)存儲(chǔ)設(shè)備遷移到另外一個(gè)存儲(chǔ)設(shè)備上,從而實(shí)現(xiàn)存儲(chǔ)資源的負(fù)載均衡和升級(jí)維護(hù)。 存儲(chǔ)設(shè)備是指基于存儲(chǔ)陣列的共享存儲(chǔ),存儲(chǔ)熱遷移廣泛的支持各種存儲(chǔ)陣列。實(shí)現(xiàn)原理:a)在目的存儲(chǔ)上創(chuàng)建一個(gè)與源相同的空鏡像文件;b)將目的存儲(chǔ)的鏡像文件設(shè)置為源鏡像文件的 mirror,使虛擬機(jī)的IO寫也能落盤在目的存儲(chǔ)上,保證了臟塊數(shù)據(jù)的同步;保證了基線c)通過迭代遷移的技術(shù)將源鏡像的數(shù)據(jù)遷移到目的鏡像中,數(shù)據(jù)的同步;保證了基線d)在基線數(shù)據(jù)同步完成后,短暫的時(shí)間內(nèi)暫停虛擬機(jī)的 IO請求,將虛擬機(jī)的存儲(chǔ)文件從源鏡像切換到目的鏡像上, 這樣就完成了存儲(chǔ)的遷移。.存儲(chǔ)自動(dòng)精簡配置,大幅減少存儲(chǔ)投資e)虛擬機(jī)用戶看到的始終是配置容量, 但實(shí)際物理磁盤占用空間隨使用空間而動(dòng)態(tài)調(diào)整f)支持存儲(chǔ)空間回收g)降低存儲(chǔ)成本40%(與應(yīng)用模型有關(guān))h)相比常規(guī)存儲(chǔ)方式,單個(gè)虛擬機(jī)的 IOPS會(huì)有所減少自動(dòng)精簡配置的磁盤創(chuàng)建速度比普通磁盤創(chuàng)建要快。 在創(chuàng)建的時(shí)候只寫磁盤的頭和結(jié)束塊。.鏈接克隆技術(shù),提升管理效率,節(jié)省存儲(chǔ)空間a)鏈接克隆概念鏈接克隆是一種通過將鏈接克隆母卷和鏈接克隆差分卷組合映射為一個(gè)鏈接克隆卷,提供給虛擬機(jī)使用的技術(shù); 其中鏈接克隆母卷為只讀卷, 多個(gè)鏈接克隆虛擬機(jī)共用一份;鏈接克隆差分卷是讀寫卷, 其存儲(chǔ)是精簡配置的, 每個(gè)鏈接克隆虛擬機(jī)一份,保存了每個(gè)虛擬機(jī)差異化的數(shù)據(jù); 鏈接克隆技術(shù)具有創(chuàng)建速度快、占用存儲(chǔ)空間小的優(yōu)點(diǎn),非常適合于同質(zhì)化用戶、桌面高度標(biāo)準(zhǔn)化場景。b)鏈接克隆特性母卷、差分卷是必須在同一數(shù)據(jù)存儲(chǔ)上; 模板與母卷、差分卷可以不在同一數(shù)據(jù)存儲(chǔ)上;只能在支持精簡配置(瘦分配)的數(shù)據(jù)存儲(chǔ)上,才能創(chuàng)建鏈接克隆VM如果一個(gè)鏈接克隆模板為30G,在數(shù)據(jù)存儲(chǔ)1上創(chuàng)建鏈接克隆VM時(shí),會(huì)自動(dòng)復(fù)制模板,在數(shù)據(jù)存儲(chǔ)1上產(chǎn)生一個(gè)A母卷,大小也為30G,再以A母卷為基礎(chǔ),自動(dòng)快照為每個(gè)VM^J建差分卷;當(dāng)A母卷上創(chuàng)建的差分卷個(gè)數(shù)達(dá)到 128個(gè)時(shí)(規(guī)格限制一個(gè)母卷最多產(chǎn)生 128個(gè)差分卷,防止每個(gè)母卷所在存儲(chǔ)塊區(qū)域在VMs^B運(yùn)行的,情況下I/O壓力過高),系統(tǒng)會(huì)自動(dòng)在該數(shù)據(jù)存儲(chǔ) 1上產(chǎn)生一個(gè)新的B母卷,為其它鏈接克隆VM^J建新的差分卷,以此類推。系統(tǒng)為每個(gè)VM^J建的差分卷,是精簡配置的存儲(chǔ)(瘦分配),最初大小接近于0,但差分卷最終要保存數(shù)據(jù),每個(gè)差分卷最小存儲(chǔ)預(yù)估大小不能小于 3G最大不會(huì)超過模板大小,一般根據(jù)鏈接克隆的使用場景以及還原頻率, 平均預(yù)估5G10G12G不等。.存儲(chǔ)資源裸設(shè)備映射a)裸設(shè)備概念原理裸設(shè)備映射,作為一個(gè)整體特性,將LUN映射到虛擬機(jī)中,支持虛擬機(jī)業(yè)務(wù)的正常運(yùn)行。真正實(shí)現(xiàn)裸設(shè)備映射特性完整功能, PVSCSI是其最重要的關(guān)鍵技術(shù)。PVSCSI(準(zhǔn)虛擬SCSI)技術(shù),可以分為兩部分。一部分為SCSI前端驅(qū)動(dòng),它通過PVDriver安裝在虛擬機(jī)內(nèi)部。另一部分為SCSI后端驅(qū)動(dòng),作為Linux內(nèi)核模塊運(yùn)行在主機(jī)系統(tǒng)中。
當(dāng)虛擬機(jī)部署集群業(yè)務(wù)后,一些磁盤控制類操作需要通過 SCSI命令發(fā)送到存儲(chǔ)側(cè)以及獲取相應(yīng)處理結(jié)果, PVSCSI實(shí)現(xiàn)了該通道:當(dāng)業(yè)務(wù)對(duì)SCSI磁盤下發(fā)SCSI命令日SCSI前端驅(qū)動(dòng)將SCSI命令交給后端,后端SCSI驅(qū)動(dòng)再將SCSI命令透傳給實(shí)際的物理存儲(chǔ)設(shè)備,并將物理存儲(chǔ)設(shè)備的應(yīng)答返回。PVSCSI原理流程圖如下圖所示:hostguest1HottSOS■,Kiscsi)pwUvt'FC(SCSI}hdthw<tkeiSCSIfrontend
driverSCSIContend、FChostguest1HottSOS■,Kiscsi)pwUvt'FC(SCSI}hdthw<tkeiSCSIfrontend
driverSCSIContend、FC曜蟲皿_應(yīng)用場景:應(yīng)用于集群中一個(gè)或多個(gè) CNA節(jié)點(diǎn)上運(yùn)行了集群業(yè)務(wù)的虛擬機(jī)。用戶劃分好獨(dú)立的LUN,然后配置好帶SCSI磁盤的配置文件,在虛擬機(jī)啟動(dòng)或者掛載磁盤的過程中,給虛擬機(jī)配置 SCSI磁盤,讓虛擬機(jī)能夠使用 SCSI磁盤。SCSI磁盤僅可以配置成虛擬機(jī)數(shù)據(jù)盤使用。虛擬機(jī)內(nèi)部安裝了PVDriver,并且處于運(yùn)行狀態(tài),在虛擬機(jī)的SCSI磁盤上部署集群應(yīng)用,就可以正常使用這些業(yè)務(wù)。.分布式虛擬交換機(jī)a)DVS使用特性用戶可配置多個(gè)分布式交換機(jī),每個(gè)分布式交換機(jī)可以覆蓋集群中的多個(gè)CNA節(jié)點(diǎn);每個(gè)分布式交換機(jī)具有多個(gè)分布式的虛擬端口 VSP(VirtualSwitchPort),每個(gè)VSP具有各自的屬性(VLAN、帶寬、優(yōu)先級(jí)、DHCP隔離),為了管理方便采用PortGroup組管理相同屬性的一組端口,相同端口組的 VSP具備相同的屬性;每個(gè)分布式交換機(jī)可以配置一個(gè)上行鏈路組,用于 VM對(duì)外的通信,上行鏈路組可以包含多個(gè)物理網(wǎng)卡,這些物理網(wǎng)卡可以配置負(fù)載均衡策略;每個(gè)VM可以具有多個(gè)vNIC接口,vNIC可以和交換機(jī)的VSP——對(duì)接。.支持VXLANVXLAN技術(shù)是一種大二層的虛擬網(wǎng)絡(luò)技術(shù),主要的技術(shù)原理就是引入一個(gè)UDP格式的外層隧道,作為數(shù)據(jù)的鏈路層,而原有數(shù)據(jù)報(bào)文內(nèi)容作為隧道凈荷來傳輸。由于外層采用了 UDP作為傳輸手段,就可以讓凈荷數(shù)據(jù)輕而易舉的在二三層網(wǎng)絡(luò)中傳送。a)定義新報(bào)文格式:VXLAN外層包裝(隧道)+原始凈值:虛擬網(wǎng)絡(luò)標(biāo)識(shí)由原來的12bit(4096)擴(kuò)展到24bit(16M),并可以跨二層網(wǎng)絡(luò)傳送。b)弓I入VTEP(VXLANTunnelEndPoint):來完成VXLAN報(bào)文的封裝和解封裝,分配有物理網(wǎng)絡(luò)的 IP地址,完成與物理網(wǎng)絡(luò)鏈接。定義VXLAN網(wǎng)關(guān):為讓VXLAN虛擬網(wǎng)絡(luò)之間以及虛擬網(wǎng)絡(luò)與物理網(wǎng)絡(luò)之間能夠通信。10GE網(wǎng)關(guān)支撐關(guān)鍵應(yīng)用和IO密集型場景網(wǎng)卡虛擬化技術(shù)普通虛擬網(wǎng)卡完全由hypervisor(dom0)實(shí)現(xiàn)同主機(jī)不同虛機(jī)之間或 VM對(duì)外數(shù)據(jù)傳送過程中的網(wǎng)絡(luò)I/O活動(dòng),以及傳送隊(duì)列和調(diào)度優(yōu)化。因此,計(jì)算量大、CPU資源開銷高。VMDq直通VirtualMachineDeviceQueues虛擬機(jī)設(shè)備隊(duì)列,華為自研智能網(wǎng)卡iNIC(intelligentnetworkinterfacecard)支持該技術(shù)。在支持VMDq的網(wǎng)卡上,用硬件實(shí)現(xiàn)了一個(gè) Layer2分類/排序器,根據(jù)MAC地址和VLAN信息將數(shù)據(jù)包發(fā)送到指定的網(wǎng)卡隊(duì)列中去, 這樣虛擬機(jī)收發(fā)包時(shí)就不需要 Dom0的參與,從而降低CPU資源開銷、提高網(wǎng)絡(luò)性能。SR-IOVSR-IOV可在物理網(wǎng)卡上虛擬出多個(gè) PhysicalFunction,同時(shí)在PhysicalFunction之上虛擬出多個(gè)的VirtualFunction?;赩irtualFunction的虛擬機(jī)直通,即直接分配VirtualFunction給虛擬機(jī)使用,從而達(dá)到虛擬機(jī)直接使用物理的網(wǎng)卡資源實(shí)現(xiàn)網(wǎng)絡(luò)通信, 減少傳統(tǒng)的虛擬交換帶來的CPU消耗,提升性能,減少時(shí)延。但是,網(wǎng)卡硬件信息(PF、VF等)綁定,不同物理硬件會(huì)有所不同,因此熱遷移、快照等特性無法使用。華為FusionCompute主要參數(shù)參考值a)虛擬機(jī)與物理主機(jī)指標(biāo)b)管理指標(biāo)FusionCompute操作配置一遍講解一遍演示。5.3.3總結(jié)這一章重點(diǎn)在于云計(jì)算組件 FusionCompute的講解,目的是讓學(xué)員了解實(shí)際的云計(jì)算產(chǎn)品,掌握云計(jì)算里面設(shè)計(jì)的特性及其原理。作業(yè)與思考題FusionCompute包含哪兩大部分?FusionCompute中有哪些功能特性?主要參考資料《云計(jì)算工程》6FusionManager 架構(gòu)原理教學(xué)目的和要求這一章以FusionManager為例,來講解云計(jì)算資源管理。需要學(xué)員掌握 FusionManager所提供的資源管理功能。重點(diǎn)與難點(diǎn)重點(diǎn):FusionManager功能;難點(diǎn):FusionManager設(shè)計(jì)理念及架構(gòu)原理。教學(xué)設(shè)計(jì)引入從面臨的問題著手,云計(jì)算不同底層硬件架構(gòu)以及不同的虛擬化平臺(tái)會(huì)導(dǎo)致上層管理的復(fù)雜性,為了解決這種復(fù)雜性,需要提供一個(gè)統(tǒng)一的管理平臺(tái), FusionManager就是這樣一種屏蔽下層復(fù)雜性,提供統(tǒng)一管理的組件。講解FusionManager場景介紹,主要目的是讓學(xué)員清楚 FusionManager的統(tǒng)一管理特點(diǎn)。a)異構(gòu)虛擬化管理FusionManager可以同時(shí)使用華為FusionCompute和VMwarevCenter的虛擬化平臺(tái)能力,基于統(tǒng)一管理界面進(jìn)行資源(如虛擬機(jī)、磁盤、網(wǎng)絡(luò)等)管理b)異構(gòu)硬件設(shè)備監(jiān)控采用FusionManager進(jìn)行異構(gòu)硬件設(shè)備的監(jiān)控統(tǒng)一呈現(xiàn)設(shè)備告警,使運(yùn)維管理簡化c)安全網(wǎng)絡(luò)隔離采用FusionManager的安全隔離模型(VPCvirtualprivatecloud)進(jìn)行業(yè)務(wù)部門網(wǎng)絡(luò)隔離d)多數(shù)據(jù)中心統(tǒng)一管理的場合使用FusionManager為每個(gè)業(yè)務(wù)部門分配一個(gè)虛擬數(shù)據(jù)中心(VDC),可為虛擬數(shù)據(jù)中心指定單獨(dú)的管理員由業(yè)務(wù)部門自行分配VDC中的網(wǎng)絡(luò)、虛擬機(jī)、磁盤給業(yè)務(wù)部門的員工使用FusionManager產(chǎn)品定位及核心特性, FusionManager不像FusionCompute那樣處理云計(jì)算的支撐地位,但它是保障云計(jì)算可管理性的必要組件, 它的特性體現(xiàn)在它所提供的功能上,詳細(xì)介紹以下功能:多租戶(VDC)管理VDC可以理解為現(xiàn)實(shí)世界中的某一個(gè)部門或一個(gè)企業(yè),是一個(gè)獨(dú)立資源使用部門或結(jié)算單位(例如個(gè)人客戶到Amazon上注冊后需要用信用卡付賬)VDC是一個(gè)虛擬資源邊界, FusionManager通過配額為VDC規(guī)定了CPU、內(nèi)存、存儲(chǔ)的資源配額,租戶不能超額使用系統(tǒng)資源FusionManager將虛擬化平臺(tái)提供的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)資源提供給租戶使用,通過vFirewall(物理防火墻實(shí)現(xiàn)或華為軟件防火墻實(shí)現(xiàn))為租戶提供VPC能力VPC安全網(wǎng)絡(luò)隔離隔離環(huán)境:VPC(VirtualPrivateCloud)提供隔離的虛擬機(jī)和網(wǎng)絡(luò)環(huán)境,滿足不同部門網(wǎng)絡(luò)隔離要求。業(yè)務(wù)豐富:每個(gè)VPC可以提供獨(dú)立的虛擬防火墻、彈性IP、VLB、安全組、SuperVLAN、IPSecVPN、NAT網(wǎng)關(guān)等業(yè)務(wù)(部分功能可通過VSA提供)。靈活的組網(wǎng):直聯(lián)網(wǎng)絡(luò)、路由網(wǎng)絡(luò)和內(nèi)部網(wǎng)絡(luò)多種組網(wǎng)模式。便捷計(jì)費(fèi):提供各類資源的計(jì)次或流量統(tǒng)計(jì)信息, 可作為計(jì)費(fèi)系統(tǒng)的輸入。c)應(yīng)用業(yè)務(wù)生命周期管理FusionManager提供應(yīng)用的全生命周期管理能力: 創(chuàng)建-〉〉發(fā)布(上線)-?部署-?監(jiān)控-?保障-》開發(fā)。d)應(yīng)用管理FusionManager的應(yīng)用自動(dòng)化管理,能有效解決批量應(yīng)用部署維護(hù)難題。FusionManager設(shè)計(jì)理念及架構(gòu)原理,首先明確 FusionManager是為解決數(shù)據(jù)中心虛擬化這樣龐大復(fù)雜環(huán)境中的問題,然后分別分析FusionManager在公有云和私有云中所處的位置和提供的功能。最后講解FusionManager的架構(gòu)組件,前面的功能都是由不同的組件提供的,可以一一對(duì)應(yīng),便于學(xué)員理解。FusionManager功能介紹,按管理側(cè)和租戶側(cè)兩部分來介紹,管理側(cè)重點(diǎn)介紹:a)多數(shù)據(jù)中心管理FusionManager在支持多數(shù)據(jù)中心管理時(shí),可以部署成top-FusionManager和local-FusionManager,所謂分布式部署架構(gòu)。在此部署形態(tài)下,每一個(gè)local-FusionManager管理一個(gè)單數(shù)據(jù)中心的資源,top-FusionManager使用單數(shù)據(jù)中心的資源(在portal上叫FusionSphere級(jí)聯(lián))為租戶提供服務(wù)。在top-FusionManager上的管理員就是前述serviceAdmin,local-FusionManager上的管理員就是operationAdminb)異構(gòu)虛擬化資源管理FusionManager通過對(duì)不同虛擬化平臺(tái)開發(fā)獨(dú)立驅(qū)動(dòng)進(jìn)行虛擬化能力封裝,將虛擬化平臺(tái)的基本能力(VM、磁盤、網(wǎng)絡(luò)管理能力)封裝后提供給管理、租戶portal使用。對(duì)于華為的FusionCompute,driver采用rest接口與FusionCompute交互;對(duì)于VMware,則采用VMwareSDK與vCenter交互。當(dāng)然,第三方也可以用FusionManager開放的REST接口來做二次開發(fā)。c)VPC管理FusionManager支持管理和監(jiān)控服務(wù)器、網(wǎng)絡(luò)設(shè)備(交換機(jī)、負(fù)載均衡器、防火墻等),存儲(chǔ)設(shè)備(IP-SAN、FC-SAN等)針對(duì)新硬件支持開發(fā)新的plugin(插件)并熱加載到系統(tǒng)中租戶側(cè)重點(diǎn)介紹:a)VPC管理和應(yīng)用管理用戶可在VDC中創(chuàng)建自己的VPC在VPC內(nèi),用戶可使用多種網(wǎng)絡(luò)服務(wù),包括路由器、VLB等在租戶VPC中可以清晰的看到VPC的網(wǎng)絡(luò)拓?fù)?,便于維護(hù)管理VPC的安全管理功能是依賴防火墻來完成的:硬件防火墻:在硬件防火墻組網(wǎng)中, 通過硬件防火墻的虛擬化能力,可以虛擬化出很多個(gè)虛擬防火墻來供用戶使用, 每一個(gè)虛擬化防火墻的能力與真實(shí)的物理防火墻功能等同, 只是性能弱于物理防火墻;因此前面所說在VPC內(nèi)提供的若干網(wǎng)絡(luò)功能都是等同于物理防火墻的(如彈性 IP、NAT、VPN等)軟件防火墻:功能類似于硬件防火墻,只是采用的是華為軟件網(wǎng)絡(luò)虛擬化方案實(shí)現(xiàn)。每一個(gè)軟件防火墻運(yùn)行在一臺(tái)虛擬機(jī)上VPC的路由器能力根據(jù)實(shí)際物理組網(wǎng)的不同,可以由防火墻或者交換機(jī)提供VPC的二層安全隔離采用VLAN6.3.3總結(jié)本章對(duì)FusionManager的架構(gòu)原理和功能特性做了介紹,學(xué)員需要通過實(shí)驗(yàn)來掌握FusionManager的產(chǎn)品定位以及使用方法。作業(yè)與思考題VDC用于解決什么問題?VPC用于解決什么問題?主要參考資料《云計(jì)算工程》7FusionAccess 架構(gòu)原理教學(xué)目的和要求本章以FusionAccess為例,講解服務(wù)交付中的相關(guān)技術(shù), 讓學(xué)員了解云接入平臺(tái)架構(gòu),并且熟悉FusionAccess基本業(yè)務(wù)流程和功能特性。重點(diǎn)與難點(diǎn)重點(diǎn):FusionAccess產(chǎn)品架構(gòu)及部件功能;難點(diǎn):FusionAccess基本功能特性。教學(xué)設(shè)計(jì)引入本章以FusionAccess為例,講解本章以FusionAccess為例,講解講解FusionAccess產(chǎn)品概述。FusionAccess在華為FusionCloud云計(jì)算產(chǎn)品中的位置作出準(zhǔn)確的描述華為FusionAccess是搭建在華為FusionCube或FusionSphere上的一種虛擬桌面應(yīng)用,通過在云平臺(tái)上部署軟、硬件,使用戶通過終端設(shè)備連接后端虛擬桌面。FA在這個(gè)過程中,提供連接和訪問虛擬機(jī)的方法,處在云平臺(tái)和終端之間,一個(gè)承上啟下的位置。重點(diǎn)講解FusionAccess的主要功能包括資產(chǎn)管理:管理虛擬機(jī)和用戶之間的對(duì)應(yīng)關(guān)系用戶接入:給用戶接入虛擬機(jī)提供接口桌面?zhèn)魉停簩⑻摂M機(jī)桌面通過桌面?zhèn)魉蛥f(xié)議 HDP傳送到終端設(shè)備,呈現(xiàn)給用戶FusionAccess產(chǎn)品架構(gòu)及部件功能。a)FusionAccess的不同功能由不同部件提供,首先弄清楚FusionAccess部件之間的關(guān)系。b)桌面接入相關(guān)部件HDC組件實(shí)現(xiàn)并維護(hù)用戶與其虛擬桌面的對(duì)應(yīng)關(guān)系用于用戶接入時(shí),與WI交互,為其提供接入信息,支持完成用戶的整個(gè)接入過程與VM中的HDA進(jìn)行交互,收集HDA上報(bào)的虛擬機(jī)狀態(tài)及接入狀態(tài)LicenseServer組件華為桌面接入的License由licenseserver統(tǒng)一控制。FusionAccess桌面管理軟件主要用到其 HDP連接數(shù)license,當(dāng)用戶連接虛擬機(jī)時(shí)會(huì)到LicenseServer上檢查license,判斷是否可以連接到虛擬機(jī)。HDA組件HDA(HuaweiDesktopAgent)安裝在每一個(gè)用戶的虛擬桌面中,提供終端與虛擬桌面之間的連接功能 ;另外一個(gè)方面自動(dòng)向 HDC上報(bào)虛擬機(jī)的狀態(tài)信息。使用HDP協(xié)議,和終端上面的AccessClient建立遠(yuǎn)程桌面連接,將桌面呈現(xiàn)給用戶。WebInterfaceWI(WebInterface)是一個(gè)web服務(wù),以web瀏覽器方式給用戶提供虛擬桌面登錄入口。用戶在WI界面上輸入域帳號(hào)、密碼通過認(rèn)證后, WI界面上可以顯示虛擬桌面平臺(tái)為用戶分配的虛擬桌面供用戶登錄。用戶在這個(gè)界面上可以使用 2中方式登錄虛擬機(jī)。一種是HDP協(xié)議登錄,另外一種是VNC協(xié)議。LoadBalance和AccessGatewayLoadBalance和AccessGateway主要的可選設(shè)備為SVN。SVN是一個(gè)應(yīng)用程序交換機(jī),執(zhí)行特定于應(yīng)用程序的流量分析,從而智能地分配和優(yōu)化4層-7層(L4-L7)Web應(yīng)用程序網(wǎng)絡(luò)流量,并確保其安全。SVN功能集可大致分為交換功能、安全性和保護(hù)功能。 SVN處理Http請求,提供TCP連接負(fù)載均衡功能、安全性連接、 NAT功能。AccessGateway是利用基于策略的SmartAccess控制來安全交付任何應(yīng)用的SSLVPN設(shè)備。用戶可以很容易地利用它隨時(shí)來訪問工作所需的應(yīng)用和數(shù)據(jù),企業(yè)可有效地將數(shù)據(jù)中心的資源訪問擴(kuò)展到企業(yè)的外網(wǎng),同時(shí),利用豐富 SmartAccess控制策略,可以實(shí)現(xiàn)非常好的訪問控制。對(duì)用戶進(jìn)行認(rèn)證、設(shè)置訪問策略、安全性連接 NAT功能。c)自動(dòng)化管理相關(guān)部件ITA、WIAITA\WIA為基于Tomcat的一個(gè)WebService,對(duì)上(ITPortal)提供統(tǒng)一接口,對(duì)下和HDC、FusionSphere、虛擬機(jī)、DNS進(jìn)行對(duì)接,完成功能的集成和整合。d)終端部件和桌面應(yīng)用虛擬化部件瘦終端(ThinClient)TC(Thinclient)是用于接入桌面的終端,就是一臺(tái)小型的簡化的 PC機(jī)。TC操作系統(tǒng)常有Linux和WindowsWES兩種,并支持HDP、RDP協(xié)議的接入Client,用戶可根據(jù)情況選擇。當(dāng)在WI中點(diǎn)擊自己的虛擬機(jī)時(shí),會(huì)自動(dòng)用HDP終端接入。e)桌面應(yīng)用虛擬化部件應(yīng)用虛擬化是一種虛擬化技術(shù),它將用戶使用的應(yīng)用程序與操作系統(tǒng)解耦合,為應(yīng)用程序提供一個(gè)虛擬的運(yùn)行環(huán)境,從而使得不同地域、使用不同終端設(shè)備的用戶可獲得如同運(yùn)行本地應(yīng)用程序一樣的訪問感受。 應(yīng)用虛擬化具有應(yīng)用和數(shù)據(jù)的高安全性。華為提供的應(yīng)用虛擬化主要包括兩個(gè)方面:共享桌面和遠(yuǎn)程應(yīng)用。共享桌面基于 WindowsServer2012R2版本的RDS服務(wù)來發(fā)布的完整桌面,相比普通虛擬桌面更加輕量級(jí),用戶之間通過會(huì)話隔離,遠(yuǎn)程訪問傳輸采用HDP協(xié)議,用戶Profile漫游數(shù)據(jù)存儲(chǔ)在共享的文件服務(wù)器上, 存儲(chǔ)數(shù)據(jù)使用共享的存儲(chǔ)系統(tǒng),文件系統(tǒng)與存儲(chǔ)系統(tǒng)由第三方提供。遠(yuǎn)程應(yīng)用基于WindowsServer2012R2版本的RDS服務(wù)來發(fā)布應(yīng)用,在WindowsServer上對(duì)應(yīng)用程序進(jìn)行集中控制和管理,向任何時(shí)間、任何地點(diǎn)的用戶提供虛擬應(yīng)用服務(wù),終端用戶無需安裝應(yīng)用程序,就可以使用應(yīng)用程序,遠(yuǎn)程訪問傳輸采用 HDP協(xié)議,用戶Profile漫游數(shù)據(jù)存儲(chǔ)在共享的文件服務(wù)器上, 存儲(chǔ)數(shù)據(jù)使用共享的存儲(chǔ)系統(tǒng),文件系統(tǒng)與存儲(chǔ)系統(tǒng)由第三方提供。FusionAccess基本業(yè)務(wù)流程,主要從WI登錄、AD域賬號(hào)密碼鑒權(quán)、用戶桌面列表獲取、登錄虛擬桌面、連接虛擬桌面這些業(yè)務(wù)再分析 FusionAccess各組件內(nèi)部的處理流程,加深學(xué)員對(duì)桌面云運(yùn)行原理的理解。FusionAccess基本功能特性。a)分支機(jī)構(gòu)特性企業(yè)的分支機(jī)構(gòu)指的是除了企業(yè)總部,企業(yè)有很多分支機(jī)構(gòu),在分支機(jī)構(gòu)需要使用桌面云,可以通過將 TC拉遠(yuǎn)支持分支機(jī)構(gòu)業(yè)務(wù)。該特性的分支機(jī)構(gòu)組網(wǎng)模式通過將業(yè)務(wù)系統(tǒng)部署在分支機(jī)構(gòu)本地,網(wǎng)絡(luò)延時(shí)和帶寬都有保證,可以提高分支機(jī)構(gòu)的體驗(yàn),降低分支機(jī)構(gòu)和總部間的網(wǎng)絡(luò)質(zhì)量要求。分支機(jī)構(gòu)特性實(shí)現(xiàn)了多地分散的虛擬桌面集中運(yùn)維: 包括硬件管理及監(jiān)控,虛擬資源管理及監(jiān)控,集中告警,集中操作日志,單點(diǎn)登錄,TC管理。b)連接克隆特性將母卷和差分卷組合映射為一個(gè)鏈接克隆卷,提供給虛擬機(jī)使用,具有創(chuàng)建速度快、占用空間小的優(yōu)點(diǎn)。c)指紋認(rèn)證特性基于生物識(shí)別指紋儀認(rèn)證,可大幅提升用戶接入的安全性。指紋儀認(rèn)證應(yīng)用于虛擬桌面登錄認(rèn)證和應(yīng)用虛擬認(rèn)證兩個(gè)場景。USBKEY認(rèn)證特性USBKey與賬號(hào)捆綁后,可基于USBKey進(jìn)行虛擬桌面登錄認(rèn)證, 支持單點(diǎn)登錄。可大幅提升用戶接入的安全性。GPU硬件虛擬化特性虛擬化平臺(tái)將一塊物理顯卡虛擬化出多個(gè)虛擬顯卡,每個(gè)GPU虛擬機(jī)可以綁定一個(gè)vGPU,滿足3D應(yīng)用的圖形渲染需求.GPU硬件虛擬化虛擬機(jī)和GPU直通虛擬機(jī)一樣,可以通過NVIDIA顯卡驅(qū)動(dòng)直接訪問GPU硬件資源,具有與PC一樣的性能和兼容性全內(nèi)存桌面特性隨著桌面虛擬化(VDI)技術(shù)的越來越普及、被越來越多的企業(yè)所使用, VDI的存儲(chǔ)配置和存儲(chǔ)資源消耗問題愈來愈凸顯, 不適當(dāng)?shù)拇鎯?chǔ)配置會(huì)直接影響到終端用戶的用戶體驗(yàn)。華為全新的全內(nèi)存桌面解決方案在此背景下應(yīng)運(yùn)而生。 充分利用內(nèi)存介質(zhì)極高
的IO讀寫性能,采用在線去重壓縮技術(shù),將虛擬桌面的存儲(chǔ)讀寫轉(zhuǎn)換為對(duì)內(nèi)存的讀寫,在沒有增加用戶投資成本的同時(shí),很好的解決了 VDI系統(tǒng)的“IO風(fēng)暴”問題,大幅提升桌面用戶體驗(yàn)。在VDI系統(tǒng)中,每個(gè)用戶虛擬機(jī)的操作系統(tǒng)(如windows)和應(yīng)用程序大多相同,因此系統(tǒng)盤數(shù)據(jù)相似程度非常高。一般的VDI系統(tǒng)中,多個(gè)用戶的系統(tǒng)盤被重復(fù)存放在存儲(chǔ)系統(tǒng)中,造成了大量的存儲(chǔ)空間的浪費(fèi)。全內(nèi)存桌面特性是將用戶虛擬機(jī)的系統(tǒng)盤全量放到內(nèi)存介質(zhì)中, 將內(nèi)存作為系統(tǒng)盤的存儲(chǔ)介質(zhì),極大提高了系統(tǒng)盤 IO性能,百倍于普通磁盤的性能,很好的解決了“IO風(fēng)暴”的問題;同時(shí)采用基于內(nèi)存的在線重刪和實(shí)時(shí)壓縮技術(shù)(簡稱IOTailor技術(shù)),將多個(gè)用戶虛擬機(jī)的系統(tǒng)盤進(jìn)行去重壓縮,大大縮減了數(shù)據(jù)占用空間,去重率可達(dá) 90%以上。與傳統(tǒng)VDI和鏈接克隆相比,全內(nèi)存桌面采用的是全盤去重技術(shù),存在以下差異化的優(yōu)勢:永遠(yuǎn)在線重刪系統(tǒng)數(shù)據(jù),最大限度提高存儲(chǔ)空間利用率,不存在鏈接克隆只能去重母卷數(shù)據(jù),后續(xù)子卷數(shù)據(jù)無法去重的問題。沒有性能老化的問題,所有系統(tǒng)盤數(shù)據(jù)始終在內(nèi)存中,不存在鏈接克隆會(huì)將后續(xù)子卷數(shù)據(jù)保存在存儲(chǔ)磁盤中。全內(nèi)存桌面采用內(nèi)存做主存介質(zhì),在提升用戶體驗(yàn)的同時(shí)最大程度減少了用戶的存儲(chǔ)資源,簡化后續(xù)運(yùn)維。IOTailor的去重壓縮方案針對(duì)VDI和內(nèi)存介質(zhì)進(jìn)行專門優(yōu)化,去重壓縮的同時(shí),還保證了數(shù)據(jù)交互實(shí)時(shí)性和一致性;并采用高效的空間管理算法解決小塊數(shù)據(jù)存儲(chǔ)問題,極大降低內(nèi)存空間管理消耗。提供應(yīng)急磁盤保障機(jī)制,確保一旦出現(xiàn)內(nèi)存空間用盡時(shí)業(yè)務(wù)不中斷。全內(nèi)存桌面是運(yùn)用IOTailor技術(shù),將虛擬機(jī)的系統(tǒng)盤數(shù)據(jù),進(jìn)行在線實(shí)時(shí)去重壓縮后,全量放入內(nèi)存;以此獲得極高的讀寫存儲(chǔ) IO性能。放入內(nèi)存的數(shù)據(jù)不進(jìn)行實(shí)時(shí)持久化,虛擬機(jī)關(guān)機(jī)或者服務(wù)器主機(jī)重啟, 虛擬機(jī)將恢復(fù)到初始狀態(tài)。適內(nèi)存用于如:學(xué)校教學(xué)、呼叫中心、 CI等無狀態(tài)任務(wù)型桌面場景。內(nèi)存用于如:學(xué)校教學(xué)、呼叫中心、 CI等無狀態(tài)任務(wù)型桌面場景。本地磁盤;共享存置全內(nèi)存桌面方案,每個(gè)虛擬機(jī)共同擁有相同公共系統(tǒng)模版, 差異化的系統(tǒng)數(shù)據(jù)經(jīng)過去重處理后保存在一一對(duì)應(yīng)的去重的系統(tǒng)卷中。 其中模版?zhèn)浞荼4嬖诒镜卮疟P或共享存儲(chǔ)中,供硬件下電后恢復(fù)上電時(shí),恢復(fù)系統(tǒng)使用。 ID盤和應(yīng)急盤也保存在本地磁盤或共享存儲(chǔ)中,分別用于關(guān)機(jī)還原恢復(fù)以及磁盤寫滿應(yīng)急使用。 全內(nèi)存桌面支持統(tǒng)一虛擬機(jī)模板部署、 統(tǒng)一完成模板更新和還原。 同時(shí)支持動(dòng)態(tài)池和靜態(tài)池兩種部署形態(tài)。TC客戶端自主容災(zāi)特性瘦客戶端通過容災(zāi)Agent模塊對(duì)生產(chǎn)局點(diǎn)和容災(zāi)局點(diǎn)狀態(tài)進(jìn)行檢測,當(dāng)生產(chǎn)站點(diǎn)故P時(shí),TC客戶端自動(dòng)選擇狀態(tài)正常的備份容災(zāi)站點(diǎn)接入DaaS桌面運(yùn)營出租特性DaaS:DesktopAsaService,提供高效的桌面出租服務(wù)可以結(jié)合例舉實(shí)際需求面臨的問題來講解, 使學(xué)員更容易明白每種特性適用的場景。7.3.3總結(jié)這一章主要集中在桌面云的講解,以FusionAccess為例,目的是讓學(xué)員了解桌面云涉及哪些內(nèi)容,具有哪些功能和特性等。作業(yè)與思考題FusionAccess包括哪些部件?功能是什么?FusionAccess有哪些特點(diǎn)?FusionAccess的主要功能有哪些?主要參考資料《云計(jì)算工程》8Fusioninsight 架構(gòu)與原理教學(xué)目的和要求本章讓學(xué)員了解目前IT行業(yè)所面臨的一個(gè)問題-大數(shù)據(jù)問題。讓學(xué)員知道什么是大數(shù)據(jù),大數(shù)據(jù)具有什么特點(diǎn),然后以華為大數(shù)據(jù)Fusioninsight為例,讓學(xué)員掌握大數(shù)據(jù)的架構(gòu)和特性。重點(diǎn)與難點(diǎn)重點(diǎn):1、大數(shù)據(jù)的產(chǎn)生背景2、大數(shù)據(jù)的概念難點(diǎn):1、華為大數(shù)據(jù)的架構(gòu)2、華為大數(shù)據(jù)解決方案產(chǎn)品的特性8.3教學(xué)設(shè)計(jì)引入我們現(xiàn)在生活工作在一個(gè)大數(shù)據(jù)時(shí)代,那么什么是大數(shù)據(jù),大數(shù)據(jù)的來源都有哪些。大數(shù)據(jù)給我們的生活帶來什么影響,我們可以利用大數(shù)據(jù)干什么。最后一起學(xué)習(xí)大數(shù)據(jù)技術(shù)的相關(guān)內(nèi)容。講解.大數(shù)據(jù)的產(chǎn)生背景和來源20世紀(jì)90年代,數(shù)據(jù)倉庫之父的 BillInmon就經(jīng)常提及BigData。2011年5月,在云計(jì)算相遇大數(shù)據(jù)”為主題的會(huì)議中拋出了 BigData概念,重點(diǎn)是如何管理PB級(jí)數(shù)據(jù)量,通過分析挖掘這些數(shù)據(jù)的價(jià)值, 確保及時(shí)向相關(guān)人員提供信息。全球每秒鐘發(fā)送2.9百萬封電子郵件,一分鐘讀一篇的話,足夠一個(gè)人晝夜不息的讀5.5年,每天會(huì)有2.88萬個(gè)小時(shí)的視頻上傳到Y(jié)outube,足夠一個(gè)人晝夜不息的觀看3.3年,推特上每天發(fā)布5千萬條消息,假設(shè)10秒鐘瀏覽一條信息,這些消息足夠一個(gè)人晝夜不息的瀏覽16年,每天亞馬遜上將產(chǎn)生6.3百萬筆訂單,e)每個(gè)月網(wǎng)民在Facebook上要花費(fèi)7千億分鐘,被移動(dòng)互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達(dá)1.3EB,Google上每天需要處理24PB的數(shù)據(jù),“機(jī)器制造”和“人工制造”共同貢獻(xiàn)了海量數(shù)據(jù),集中式的數(shù)據(jù)中心建設(shè)加速數(shù)據(jù)集中Volvo集團(tuán)成立euroFOTnetwork,在80沃爾沃卡車上安裝Sensors和視頻采集,用于采集汽車的運(yùn)行數(shù)據(jù), 每小時(shí)1GB數(shù)據(jù),每年?70TB,用于發(fā)動(dòng)機(jī)、汽車安全性和用戶體驗(yàn)改進(jìn)IDC的預(yù)計(jì),至IJ2020年全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量,相較于2009年,數(shù)據(jù)量將增長50倍.大數(shù)據(jù)簡介a)什么是大數(shù)據(jù):大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。b)大數(shù)據(jù)的結(jié)構(gòu)特征大數(shù)據(jù)的四個(gè)V:Volume、Variety、Velocity、ValueVolume:數(shù)據(jù)量大,Variety:種類多Velocity:速度,及時(shí)有效分析Value:價(jià)值密度低,數(shù)據(jù)存儲(chǔ)要廉價(jià)數(shù)據(jù)類型以非結(jié)構(gòu)化數(shù)據(jù)為主。結(jié)構(gòu)化數(shù)據(jù)即行數(shù)據(jù),存儲(chǔ)在數(shù)據(jù)庫里,可以用二維表結(jié)構(gòu)來邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù),包括所有格式的辦公文檔、 文本、圖片、XML、HTML、各類報(bào)表、圖像和音頻/視頻信息等半結(jié)構(gòu)化數(shù)據(jù),就是介于完全結(jié)構(gòu)化數(shù)據(jù)(如關(guān)系型數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫中的數(shù)據(jù))和完全無結(jié)構(gòu)的數(shù)據(jù)(如聲音、圖像文件等)之間的數(shù)據(jù),HTML文檔就屬于半結(jié)構(gòu)化數(shù)據(jù)。它一般是自描述的,數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起,沒有明顯的區(qū)分c)數(shù)據(jù)處理技術(shù)分布式演進(jìn)趨勢SMP(SymmetricMulti-Processing),對(duì)稱多處理結(jié)構(gòu)的簡稱,是指在一個(gè)計(jì)算機(jī)上匯集了一組處理器(多CPU,無主次或從屬關(guān)系,各CPU之間共享內(nèi)存子系統(tǒng)以及總線結(jié)構(gòu)。每個(gè)CPU訪問內(nèi)存中的任何地址所需時(shí)間是相同的,因此SMP也被稱為一致存儲(chǔ)器訪問結(jié)構(gòu)(UMA:UniformMemoryAccess)。對(duì)SMP服務(wù)器進(jìn)行擴(kuò)展的方式包括增加內(nèi)存、使用更快的CPU、增加CPU、擴(kuò)充I/O(槽口數(shù)與總線數(shù))以及添加更多的外部設(shè)備(通常是磁盤存儲(chǔ))。SMP服務(wù)器的主要特征是共享,系統(tǒng)中所有資源 (CPU、內(nèi)存、I/O等)都是共享的。也正是由于這種特征,導(dǎo)致了SMP服務(wù)器的主要問題,那就是它的擴(kuò)展能力非常有限。對(duì)于 SMP服務(wù)器而言,每一個(gè)共享的環(huán)節(jié)都可能造成SMP服務(wù)器擴(kuò)展時(shí)的瓶頸,而最受限制的則是內(nèi)存。由于每個(gè)CPU必須通過相同的內(nèi)存總線訪問相同的內(nèi)存資源,因此隨著 CPU數(shù)量的增加,內(nèi)存訪問沖突將迅速增加, 最終會(huì)造成CPU資源的浪費(fèi),使CPU性能的有效性大大降低。實(shí)驗(yàn)證明, SMP服務(wù)器CPU利用率最好的情況是2至4個(gè)CPU。MPP(MassivelyParallelProcessing),大規(guī)模并行處理系統(tǒng),這樣的系統(tǒng)是由許多松耦合的處理單元組成的,要注意的是這里指的是處理單元而不是處理器。每個(gè)單元內(nèi)的CPU都有自己私有的資源,如總線,內(nèi)存,硬盤等。在每個(gè)單元內(nèi)都有操作系統(tǒng)和管理數(shù)據(jù)庫的實(shí)例復(fù)本。這種結(jié)構(gòu)最大的特點(diǎn)在于不共享資源。SharedEverything:一般是針對(duì)單個(gè)主機(jī),完全透明共享CPU/MEMORY/IO,并行處理能力是最差的,典型的代表SQLServer。SharedNothing:各個(gè)處理單元都有自己私有的 CPU/內(nèi)存/硬盤等,不存在共享資源,類似于MPP(大規(guī)模并行處理)模式,各處理單元之間通過協(xié)議通信,并行處理和擴(kuò)展能力更好。典型代表 DB2DPF和Hadoop,各節(jié)點(diǎn)相互獨(dú)立,各自處理自己的數(shù)據(jù),處理后的結(jié)果可能向上層匯總或在節(jié)點(diǎn)間流轉(zhuǎn)。我們常說的Sharding其實(shí)就是ShareNothing架構(gòu),它是把某個(gè)表從物理存儲(chǔ)上水平分割,并分配給多臺(tái)服務(wù)器(或多個(gè)實(shí)例) ,每臺(tái)服務(wù)器可以獨(dú)立工作,具備共同的schema,比如MySQLProxy和Google的各種架構(gòu),只需增加服務(wù)器數(shù)就可以增加處理能力和容量。d)HadoopHadoop是Apache基金會(huì)的一個(gè)項(xiàng)目總稱,主要由HDFS、MapReduce和HBase等組成。HDFS是對(duì)GoogleGFS的開源實(shí)現(xiàn),MapReduce是對(duì)GoogleMapReduce的開源實(shí)現(xiàn),HBase是GoogleBigTable的開源實(shí)現(xiàn)。.華為大數(shù)據(jù)的定義對(duì)華為大數(shù)據(jù)平臺(tái)架構(gòu)做簡單解釋,詳細(xì)內(nèi)容在后面會(huì)講到。. Fusioninsight企業(yè)版簡介a)FusionInsight架構(gòu)概述:華為的大數(shù)據(jù)產(chǎn)品叫 FusionInsight。華為FusionInsight是一個(gè)分布式數(shù)據(jù)處理系統(tǒng), 對(duì)外提供大容量的數(shù)據(jù)存儲(chǔ)、查詢和分析能力, Manager:作為運(yùn)維系統(tǒng),為FusionInsight提供高可靠、安全、容錯(cuò)、易用的集群管理能力,支持大規(guī)模集群的安裝部署、監(jiān)控、告警、用戶管理、權(quán)限管理、審計(jì)、服務(wù)管理、健康檢查、問題定位、升級(jí)和補(bǔ)丁等。HBase:提供海量數(shù)據(jù)存儲(chǔ)功能,是一種構(gòu)建在 HDFS之上的分布式、面向列的存儲(chǔ)系統(tǒng)。HDFS:Hadoop分布式文件系統(tǒng)(HadoopDistributedFileSystem),提供高吞吐量的數(shù)據(jù)訪問,適合大規(guī)模數(shù)據(jù)集方面的應(yīng)用。Yarn:Hadoop2.0中的資源管理系統(tǒng),它是一個(gè)通用的資源模塊,可以為各類應(yīng)用程序進(jìn)行資源管理和調(diào)度。MapReduce:提供快速并行處理大量數(shù)據(jù)的能力, 是一種分布式數(shù)據(jù)處理模式和執(zhí)行環(huán)境。Spark:基于內(nèi)存進(jìn)行計(jì)算的分布式計(jì)算框架。ZooKeeper:提供分布式、高可用性的協(xié)調(diào)服務(wù)能力。幫助系統(tǒng)避免單點(diǎn)故障,從而建立可靠的應(yīng)用程序。Hive:建立在Hadoop基礎(chǔ)上的開源的數(shù)據(jù)倉庫,提供類似SQL的HiveQL語言操作結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)服務(wù)和基本的數(shù)據(jù)分析服務(wù)。FTPServer:通過通用的FTP客戶端、FTP協(xié)議提供對(duì)HDFS文件系統(tǒng)進(jìn)行基本的操作,例如:文件上傳、文件下載、目錄查看、目錄創(chuàng)建、目錄刪除、文件權(quán)限修改等。Loader:實(shí)現(xiàn)FusionInsight與關(guān)系型數(shù)據(jù)庫、文件系統(tǒng)之間交換數(shù)據(jù)和文件的數(shù)據(jù)加載工具;同時(shí)提供RESTAPI接口,供第三方調(diào)度平臺(tái)調(diào)用。Hue:提供了開源Hadoop組件的WebUI,可以通過瀏覽器操作HDFS的目錄和文件,調(diào)用Oozie來創(chuàng)建、監(jiān)控和編排工作流,可操作Loader組件,查看ZooKeeper集群情況。Flume是一個(gè)分布式、可靠和高可用的海量日志聚合系統(tǒng), 支持在系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方,用于收集數(shù)據(jù);同時(shí),F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡單處理,并寫入各種數(shù)據(jù)接受方(可定制)的能力。MetaData:為Fusioninsight數(shù)據(jù)倉庫類型的組件對(duì)外提供元數(shù)據(jù)的抽取能力,并且可以由人工為每個(gè)元數(shù)據(jù)進(jìn)行標(biāo)簽設(shè)定,用于后向的數(shù)據(jù)分析、搜索等擴(kuò)展功能。Oozie:提供了又■開源Hadoop組件的任務(wù)編排、執(zhí)行的功能。以JavaWeb應(yīng)用程序的形式運(yùn)行在 Javaservlet容器(如:Tomcat)中,并使用數(shù)據(jù)庫來存儲(chǔ)工作流定義、當(dāng)前運(yùn)行的工作流實(shí)例(含實(shí)例的狀態(tài)和變量) 。Solr:一個(gè)高性能,基于Lucene的全文檢索服務(wù)器。 Solr對(duì)Lucene進(jìn)行了擴(kuò)展,提供了比Lucene更為豐富的查詢語言,同時(shí)實(shí)現(xiàn)了可配置、可擴(kuò)展,并對(duì)查詢性能進(jìn)行了優(yōu)化,并且提供了一個(gè)完善的功能管理界面,是一款非常優(yōu)秀的全文檢索引擎。Fusioninsight的Hadoop層提供大數(shù)據(jù)處理環(huán)境,基于社區(qū)開源軟件增強(qiáng),按照場景選擇業(yè)界最佳實(shí)踐。Fusioninsight的DataFarm層提供支撐端到端數(shù)據(jù)洞察,構(gòu)建數(shù)據(jù)到信息到知識(shí)到智慧的數(shù)據(jù)供應(yīng)鏈,其中包括相對(duì)獨(dú)立的數(shù)據(jù)集成服務(wù) Porter,數(shù)據(jù)挖掘服務(wù)Miner和數(shù)據(jù)服務(wù)框架Farme。FusioninsightManager是一個(gè)分布式系統(tǒng)管理框架,管理員可以從單一接入點(diǎn)操控分布式集群,包括系統(tǒng)管理(OM/NTP/災(zāi)備)、數(shù)據(jù)安全管理和數(shù)據(jù)治理FusioninsightStream:提供實(shí)時(shí)流處理平臺(tái)。FusioninsightFarmer:提供數(shù)據(jù)服務(wù)框架,大數(shù)據(jù)實(shí)時(shí)應(yīng)用使能器,支撐企業(yè)快速開發(fā)基于大數(shù)據(jù)平臺(tái)的應(yīng)用。FusioninsightMiner:提供數(shù)據(jù)挖掘服務(wù)集,基于分布式內(nèi)存計(jì)算的數(shù)據(jù)分析平臺(tái)。FusioninsightMPPDB:提供相對(duì)獨(dú)立部署的通用 MPP數(shù)據(jù)庫,用于性能較高的交互分析場景。FusioninsightRecommender:支持挖掘模型在在線系統(tǒng)的打分預(yù)測,根據(jù)客戶特征快速部署企業(yè)推薦系統(tǒng)。b)電信級(jí)可靠性系統(tǒng)可靠性業(yè)務(wù)無單點(diǎn)管理節(jié)點(diǎn)HA跨DC容災(zāi)/備份第三方備份系統(tǒng)集成數(shù)據(jù)可靠性O(shè)S層可靠性加固快速故障檢測第三方備份系統(tǒng)集成跨數(shù)據(jù)中心數(shù)據(jù)備份可靠性關(guān)鍵技術(shù)故障檢測掉電保護(hù)在線換盤c)可運(yùn)營的安全體系網(wǎng)絡(luò)安全用戶/用戶組管理Kerberos認(rèn)證數(shù)據(jù)分角色存儲(chǔ)數(shù)據(jù)加密d)易運(yùn)維平滑在線擴(kuò)展向?qū)浇缑娌僮髟诰€擴(kuò)展,不影響業(yè)務(wù)支持在線調(diào)整集群拓?fù)涓鹘M件靈活擴(kuò)展快速升級(jí)向?qū)浇缑娌僮魃?jí)過程異常則自動(dòng)安全回退;支持觀察期手工觸發(fā)安全回退穩(wěn)定運(yùn)行后確認(rèn)提交升級(jí)6分鐘完成集群升級(jí).Fusioninsight組件介紹HDFSHadoop分布式文件系統(tǒng)(HDFS)是Google文件系統(tǒng)的一種常見的開源實(shí)現(xiàn)。HDFS集群包含一個(gè)主節(jié)點(diǎn)(或NameNode)和多個(gè)從屬節(jié)點(diǎn)(或DataNodes),由多個(gè)客戶端訪問。HDFS中的每個(gè)文件都劃分為多個(gè)較大的塊(默認(rèn)為64MB),每個(gè)塊都將復(fù)制到多個(gè)(默認(rèn)為3個(gè))DataNodes中。NameNode包含所有文件系統(tǒng)元數(shù)據(jù)(例如命名空間和副本位置) ,DataNodes在本地文件系統(tǒng)中存儲(chǔ)HDFS塊,并處理HDFS讀取/寫入請求。HDFS客戶端與NameNode交互,執(zhí)行元數(shù)據(jù)操作(例如,打開文件或刪除文件)并獲知副本位置,它將直接與合適的 DataNode交互,執(zhí)行文件讀取/寫入。HDFS增強(qiáng)特性FtpserverHDFS作為Hadoop的基礎(chǔ)存儲(chǔ)設(shè)施,實(shí)現(xiàn)了一個(gè)分布式、高容錯(cuò)、可線性擴(kuò)展的文件系統(tǒng)訪問HDFS的首選方式是JavaAPI,這要求客戶端程序進(jìn)行改造,適應(yīng)HDFS的接口(雖然可以通過FUSE掛載HDFS文件系統(tǒng),或者通過libhdfs提供的C接口訪問HDFS,但訪問效率都遠(yuǎn)低于JavaAPI方式)FTP作為成熟的文件傳輸協(xié)議,在各硬件平臺(tái) /各OS平臺(tái)上得到最廣泛的支持,通過FTP接口訪問HDFS,可以為現(xiàn)有應(yīng)用提供高效便捷的對(duì)接接口H
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2020-2021學(xué)年浙江省臺(tái)州市三門縣三校八年級(jí)(上)期中道德與法治試卷含解析
- 物價(jià)指數(shù)的預(yù)測模型研究-洞察分析
- 性別平等法律保障機(jī)制-洞察分析
- 硬化劑在建筑材料中的應(yīng)用-洞察分析
- 新興社交平臺(tái)分析-洞察分析
- 網(wǎng)絡(luò)隱私權(quán)保護(hù)策略-洞察分析
- 水下微生物群落多樣性-洞察分析
- 虛擬現(xiàn)實(shí)技術(shù)在娛樂產(chǎn)業(yè)的應(yīng)用-洞察分析
- 養(yǎng)血生發(fā)膠囊副作用及應(yīng)對(duì)策略-洞察分析
- 《晶宏觀對(duì)稱性》課件
- GB/T 9755-2024合成樹脂乳液墻面涂料
- 銷售部門年度工作規(guī)劃
- 2024年度網(wǎng)絡(luò)安全評(píng)估及維護(hù)合同2篇
- 倉庫主管年度工作總結(jié)
- 內(nèi)蒙古興安盟(2024年-2025年小學(xué)五年級(jí)語文)人教版隨堂測試((上下)學(xué)期)試卷及答案
- S16榮濰高速公路萊陽至濰坊段改擴(kuò)建工程可行性研究報(bào)告
- 綜合布線技術(shù)設(shè)計(jì)題單選題100道及答案
- 短視頻投流合作協(xié)議書范文
- 【企業(yè)盈利能力探析的國內(nèi)外文獻(xiàn)綜述2400字】
- 重點(diǎn)課文閱讀理解-2024-2025學(xué)年語文五年級(jí)上冊統(tǒng)編版
- 全國職業(yè)院校技能大賽高職組(智慧物流賽項(xiàng))備賽試題庫(含答案)
評(píng)論
0/150
提交評(píng)論