云計(jì)算基礎(chǔ)課件

云計(jì)算基礎(chǔ)BasicInstructionofCloudComputing1目錄云計(jì)算的商業(yè)動(dòng)力與技術(shù)趨勢(shì)云計(jì)算架構(gòu)云計(jì)算關(guān)鍵技術(shù)云計(jì)算核心競(jìng)爭(zhēng)力云計(jì)算典型應(yīng)用2傳統(tǒng)IT架構(gòu)面臨的問(wèn)題云計(jì)算的商業(yè)動(dòng)力與技術(shù)趨勢(shì)云計(jì)算商業(yè)動(dòng)力云計(jì)算的發(fā)展趨勢(shì)3平均資源利用率及能耗效率低下水平分層采購(gòu)獨(dú)占資源軟硬件捆綁無(wú)法調(diào)配利用率低于20%新業(yè)務(wù)上線測(cè)試周期長(zhǎng)，效率低下任一新業(yè)務(wù)均需要全套測(cè)試流程資源儲(chǔ)備及彈性伸縮能力不足信息共享和安全的矛盾信息在個(gè)人終端容易泄露過(guò)分嚴(yán)格的管控則導(dǎo)致效率下降建設(shè)運(yùn)維困難投資大運(yùn)維難傳統(tǒng)IT架構(gòu)面臨的問(wèn)題4云計(jì)算的商業(yè)動(dòng)力—互聯(lián)網(wǎng)革命蒸汽革命電力革命互聯(lián)網(wǎng)革命小型工廠取代手工作坊流水線淘汰小型工廠卡主數(shù)據(jù)入口,產(chǎn)生互聯(lián)網(wǎng)寡頭。打開壟斷行業(yè)壁壘、非壟斷行業(yè)納入互聯(lián)網(wǎng)運(yùn)營(yíng)平臺(tái)。5云計(jì)算的商業(yè)動(dòng)力—互聯(lián)網(wǎng)企業(yè)的核心競(jìng)爭(zhēng)力復(fù)雜的盈利模式極低成本極度敏捷大數(shù)據(jù)寡頭羊毛出在狗身上,豬來(lái)買單。全產(chǎn)業(yè)鏈、全商業(yè)生態(tài)IT投入通過(guò)云計(jì)算大幅降低,已經(jīng)大幅領(lǐng)先傳統(tǒng)企業(yè)。同質(zhì)服務(wù)的產(chǎn)品競(jìng)爭(zhēng)激烈。組織架構(gòu)扁平,業(yè)務(wù)先上線再優(yōu)化,PaaS平臺(tái)數(shù)量:從EB走向ZB，傳統(tǒng)還在PB質(zhì)量:包括了個(gè)人信息、企業(yè)信息6云計(jì)算的商業(yè)動(dòng)力—傳統(tǒng)企業(yè)ICT轉(zhuǎn)型認(rèn)識(shí)更新壁壘&轉(zhuǎn)型構(gòu)建生態(tài)什么創(chuàng)造價(jià)值？哪些才是核心？工業(yè)4.0，中國(guó)制造2025技術(shù)、資源、資質(zhì)壁壘不同客戶轉(zhuǎn)型期不同聚合力競(jìng)爭(zhēng)開放7云計(jì)算發(fā)展趨勢(shì)—里程碑云計(jì)算1.0云計(jì)算2.0云計(jì)算3.0計(jì)算虛擬化軟件定義與整合云原生與重構(gòu)業(yè)務(wù)虛擬化面向數(shù)據(jù)中心管理員的IT基礎(chǔ)設(shè)施資源虛擬化階段Hyper-V,XEN,KVM,VMWAREESXi基礎(chǔ)設(shè)施云化面向基礎(chǔ)設(shè)施云租戶和云用戶的資源服務(wù)化與管理自動(dòng)化階段OpenStack,WMWARE,AWS應(yīng)用云化面向企業(yè)IT應(yīng)用開發(fā)者及管理維護(hù)者的企業(yè)應(yīng)用架構(gòu)的分布式微服務(wù)化和企業(yè)數(shù)據(jù)架構(gòu)的互聯(lián)網(wǎng)化重構(gòu)及大數(shù)據(jù)智能化階段Docker,CoreOS,CloudFoundry8云計(jì)算發(fā)展趨勢(shì)—云計(jì)算各階段間的主要差別差別1:從非關(guān)鍵應(yīng)用走向電信網(wǎng)絡(luò)應(yīng)用和企業(yè)關(guān)鍵應(yīng)用差別2:從計(jì)算虛擬化走向存儲(chǔ)虛擬化和網(wǎng)絡(luò)虛擬化差別3:資源池從小規(guī)模的資源虛擬化整合走向更大規(guī)模的資源池構(gòu)建，應(yīng)用范圍從企業(yè)內(nèi)部走向多租戶的基礎(chǔ)設(shè)施服務(wù)乃至端到端IT服務(wù)差別4:數(shù)據(jù)規(guī)模從小規(guī)模走向海量，數(shù)據(jù)形態(tài)從傳統(tǒng)結(jié)構(gòu)化走向非機(jī)構(gòu)化和半結(jié)構(gòu)化差別5:企業(yè)和消費(fèi)者應(yīng)用的人機(jī)交互計(jì)算模式，也逐步從本地固定計(jì)算走向云端計(jì)算、移動(dòng)智能終端及浸入式體驗(yàn)瘦終端接入的模式（不同場(chǎng)景不同需求，不同的處理級(jí)別）差別6:云資源服務(wù)從單一虛擬化，走向異構(gòu)虛擬化、輕量級(jí)容器化及裸金屬物理機(jī)服務(wù)器差別7:云平臺(tái)和云管理軟件從閉源、封閉走向開源、開放9云計(jì)算的架構(gòu)10云計(jì)算的總體架構(gòu)—企業(yè)IT架構(gòu)演化11云計(jì)算的總體架構(gòu)—企業(yè)IT架構(gòu)演化IT基礎(chǔ)設(shè)施操作系統(tǒng)軟件/數(shù)據(jù)庫(kù)用戶IT基礎(chǔ)設(shè)施操作系統(tǒng)軟件/數(shù)據(jù)庫(kù)用戶IT基礎(chǔ)設(shè)施操作系統(tǒng)軟件/數(shù)據(jù)庫(kù)用戶IT基礎(chǔ)設(shè)施IT基礎(chǔ)設(shè)施操作系統(tǒng)操作系統(tǒng)集群管理虛擬化虛擬化VMVMVM操作系統(tǒng)操作系統(tǒng)操作系統(tǒng)12云計(jì)算的總體架構(gòu)—云計(jì)算架構(gòu)的上下文云租戶、云服務(wù)消費(fèi)者云應(yīng)用開發(fā)者云服務(wù)運(yùn)營(yíng)商/提供者云設(shè)備提供者有云服務(wù)需求,也有傳統(tǒng)IT設(shè)施,需要進(jìn)行整合云應(yīng)用開發(fā)者基于PaaS開發(fā)SaaS基于OSS/BSS硬件解耦多廠家硬件異構(gòu)13云計(jì)算的總體架構(gòu)—架構(gòu)圖14云計(jì)算的總體架構(gòu)—云平臺(tái)IT基礎(chǔ)設(shè)施架構(gòu)層物理資源層服務(wù)器、存儲(chǔ)（集中/分布）、網(wǎng)絡(luò)、防火墻、VPN網(wǎng)關(guān)、路由器虛擬資源層作業(yè)實(shí)例與底層物力資源隔離，計(jì)算虛擬化、存儲(chǔ)虛擬化、網(wǎng)絡(luò)虛擬化資源服務(wù)與調(diào)度層邏輯資源調(diào)度，彈性計(jì)算資源、存儲(chǔ)資源、網(wǎng)路資源調(diào)用API15云計(jì)算的總體架構(gòu)—云平臺(tái)大數(shù)據(jù)引擎層具備多租戶感知能力的結(jié)構(gòu)、半結(jié)構(gòu)、非機(jī)構(gòu)化數(shù)據(jù)服務(wù)打破數(shù)據(jù)孤島,橫向跨數(shù)據(jù)源、數(shù)據(jù)集、較長(zhǎng)時(shí)間跨度的內(nèi)生關(guān)聯(lián)關(guān)系與價(jià)值信息的抽象分析提取與挖掘分析16云計(jì)算的總體架構(gòu)—云應(yīng)用開發(fā)部署中間件層以Kubernetes、Mesos、Coudify等為代表面向DevOps敏捷開發(fā)的開源應(yīng)用與部署開發(fā)工具鏈與平臺(tái),具備分布式水平擴(kuò)展能力的系列開源數(shù)據(jù)庫(kù)和中間件開放性、標(biāo)準(zhǔn)化輕量化敏捷開發(fā)線上部署分布式及彈性擴(kuò)展基于開源,應(yīng)用開發(fā)平臺(tái)的管理API更為開放透明,同時(shí)也引入了容器化技術(shù)進(jìn)行應(yīng)用部署,使得應(yīng)用實(shí)例的部署不再與編程語(yǔ)言(如Java)綁定相比閉源軟件,Web中間件自身的資源消耗大幅減少,容器化應(yīng)用部署相比虛擬機(jī)模式更加輕量化、敏捷化與數(shù)據(jù)庫(kù)層擴(kuò)展能力配合,提供負(fù)載均衡及彈性伸縮控制基礎(chǔ)框架機(jī)制的支撐,使Scale-Out應(yīng)用架構(gòu)可聚焦于應(yīng)用邏輯本身,開發(fā)更加輕松高效支持從開發(fā)、集成、測(cè)試驗(yàn)證到生產(chǎn)上線的全流程自動(dòng)化環(huán)境置備及測(cè)試自動(dòng)化,配置隨同應(yīng)用一起發(fā)布,任何生產(chǎn)環(huán)境、任何開發(fā)集成部署節(jié)點(diǎn)皆可一鍵式快速重用17云計(jì)算的總體架構(gòu)—云服務(wù)運(yùn)營(yíng)控制層針對(duì)基礎(chǔ)設(shè)施層、大數(shù)據(jù)層以及應(yīng)用開發(fā)部署層的云服務(wù)產(chǎn)品,需要引入“云服務(wù)運(yùn)營(yíng)控制”子系統(tǒng)。建立云服務(wù)產(chǎn)品在供應(yīng)者和消費(fèi)者之間的線上產(chǎn)品申請(qǐng)、受理及交付控制,以及完成與信息交付服務(wù)等值的貨幣交換公有云用戶Capex轉(zhuǎn)向Opex私有云運(yùn)營(yíng)者核算內(nèi)部租戶、部門對(duì)云服務(wù)產(chǎn)品的消費(fèi)情況,給出預(yù)算優(yōu)化建議公有云運(yùn)營(yíng)者公有云用戶私有云運(yùn)營(yíng)者18云計(jì)算的總體架構(gòu)—云DC運(yùn)維管理目標(biāo)服務(wù)于云DC的運(yùn)維管理人員的日常運(yùn)維管理,包含云平臺(tái)與應(yīng)用軟件的安裝部署與升級(jí)補(bǔ)丁,虛擬及物力基礎(chǔ)設(shè)施的監(jiān)控與管理,通過(guò)管理工具支撐運(yùn)維人員快速、高效處理異常作用面向DevOps敏捷開發(fā)部署的軟件安裝與升級(jí)自動(dòng)化及業(yè)務(wù)連續(xù)性保障智能化、自動(dòng)化的故障與性能管理生命周期成本管理19云計(jì)算的總體架構(gòu)—服務(wù)分級(jí)VMVMAZAZRegionHARegion側(cè)重地理位置因素,regions之間完全隔離,用戶可以選擇離自己更近的region來(lái)部署服務(wù)AvailabilityZone簡(jiǎn)單理解為一組節(jié)點(diǎn)的集合,具有獨(dú)立的電力供應(yīng)設(shè)備,比如一個(gè)個(gè)獨(dú)立供電的機(jī)房,或機(jī)架都可以被劃分成AZ。所以,AZ主要是通過(guò)冗余來(lái)解決可用性問(wèn)題HostAggregate面向管理員,根據(jù)硬件資源的某一屬性來(lái)對(duì)硬件進(jìn)行劃分的功能Cloud20云計(jì)算架構(gòu)關(guān)鍵技術(shù)21云計(jì)算架構(gòu)關(guān)鍵技術(shù)—超大規(guī)模資源調(diào)度算法計(jì)算資源調(diào)度算法計(jì)算虛擬化以虛擬機(jī)為基本調(diào)度單元,完成指定虛擬機(jī)實(shí)例或者虛擬機(jī)集群到整個(gè)云數(shù)據(jù)中心計(jì)算資源池內(nèi)最適合的物理機(jī)或者物理機(jī)集群的映射。運(yùn)籌學(xué)求最優(yōu)解的問(wèn)題存儲(chǔ)資源調(diào)度算法直連存儲(chǔ)轉(zhuǎn)換為共享存儲(chǔ),實(shí)現(xiàn)無(wú)SAN化的計(jì)算機(jī)群的虛擬化整合瘦分配更大資源池,重復(fù)識(shí)別和刪除、更多共享能耗管理最優(yōu)化算法數(shù)據(jù)持續(xù)動(dòng)態(tài)采集減少局部熱點(diǎn),提升空調(diào)平均工作溫度輕載合并,空閑服務(wù)器下電或處于節(jié)能運(yùn)行章臺(tái)22云計(jì)算架構(gòu)關(guān)鍵技術(shù)—異構(gòu)硬件集成管理能力異構(gòu)硬件管理集成技術(shù)異構(gòu)Hypervisor簡(jiǎn)化管理技術(shù)異構(gòu)存儲(chǔ)管理集成技術(shù)業(yè)務(wù)平面上通過(guò)虛擬化引擎層實(shí)現(xiàn)硬件異構(gòu),對(duì)操作系統(tǒng)屏蔽服務(wù)器的差異管理維護(hù)平面上,將各類異構(gòu)硬件適配到統(tǒng)一建模的CIM信息模型中。虛擬機(jī)、物理機(jī)統(tǒng)一建模資源以統(tǒng)一集群方式管理,屏蔽Hypervisor差異,簡(jiǎn)化云計(jì)算資源管理將存儲(chǔ)服務(wù)抽象為同時(shí)適用于虛擬機(jī)和物理機(jī)的統(tǒng)一EBS服務(wù)23云計(jì)算架構(gòu)關(guān)鍵技術(shù)—可靠性保障技術(shù)應(yīng)用無(wú)關(guān)的可靠性保障技術(shù)HA（HighAvailability）冷備份，F(xiàn)T（FaultTolerance）熱備份、損耗40%性能，輕量級(jí)FT、性能損耗10%以內(nèi)適合于I/O為主服務(wù)場(chǎng)景跨數(shù)據(jù)中心的保障技術(shù)基于存儲(chǔ)虛擬化層I/O技術(shù)的同步容災(zāi)，同城部署（小于100km）、時(shí)延小于5ms基于存儲(chǔ)虛擬化層I/O技術(shù)的異步容災(zāi)，異地部署24云計(jì)算架構(gòu)關(guān)鍵技術(shù)—彈性伸縮技術(shù)基本資源部件級(jí)別精細(xì)化的Hypervisor資源調(diào)度虛擬機(jī)級(jí)別虛擬機(jī)集群的自動(dòng)擴(kuò)展與收縮云系統(tǒng)級(jí)別內(nèi)部資源不足的情況下，自動(dòng)向外部云租借及釋放資源25云計(jì)算架構(gòu)關(guān)鍵技術(shù)—網(wǎng)絡(luò)虛擬化技術(shù)業(yè)務(wù)應(yīng)用驅(qū)動(dòng)的邊緣虛擬網(wǎng)絡(luò)自動(dòng)化更強(qiáng)大、更靈活的網(wǎng)絡(luò)安全智能策略L2轉(zhuǎn)發(fā)表、L3路由表集中到SDN控制,基于軟交換和VxLAN隧道封裝的Overlay疊加實(shí)現(xiàn)業(yè)務(wù)驅(qū)動(dòng)且與物理網(wǎng)絡(luò)徹底解耦的邏輯網(wǎng)絡(luò)自動(dòng)化,支持跨數(shù)據(jù)中心的大二層組網(wǎng)早期:目的端過(guò)濾，無(wú)法規(guī)避DDOS，外置防火墻存在流量迂回按業(yè)務(wù)需求統(tǒng)一定義任一目標(biāo)子網(wǎng)內(nèi)互訪，首包送上Controller，動(dòng)態(tài)下發(fā)安全過(guò)濾規(guī)則，源頭扼殺攻擊子網(wǎng)間互訪，動(dòng)態(tài)下發(fā)快轉(zhuǎn)流表，避免迂回26云計(jì)算架構(gòu)關(guān)鍵技術(shù)—容器調(diào)度與編排機(jī)制容器集群資源管理和調(diào)度應(yīng)用編排和管理收集被管理節(jié)點(diǎn)的資源狀態(tài),完成數(shù)以萬(wàn)計(jì)規(guī)模的節(jié)點(diǎn)的資源管理；同事根據(jù)特定的調(diào)度策略和算法,處理用戶容器資源申請(qǐng)。針對(duì)數(shù)據(jù)中心不同類型的應(yīng)用,抽象不同類型應(yīng)用常用的應(yīng)用管理的基礎(chǔ)能力,并通過(guò)API暴露給用戶使用,從而用戶開發(fā)和部署應(yīng)用時(shí)可以利用容器管理平臺(tái)的上述API能力實(shí)現(xiàn)對(duì)應(yīng)用的自動(dòng)化管理。27云計(jì)算核心架構(gòu)競(jìng)爭(zhēng)力衡量維度28云計(jì)算核心架構(gòu)競(jìng)爭(zhēng)力衡量維度節(jié)流方面開源方面降低建設(shè)成本減少運(yùn)維成本運(yùn)營(yíng)商:在IaaS，PaaS基礎(chǔ)上吸引第三方應(yīng)用，分享SaaS應(yīng)用企業(yè):硬件解耦，提高靈活性，優(yōu)化運(yùn)作效率大數(shù)據(jù):依托海量存儲(chǔ)分析，從數(shù)據(jù)中萃取價(jià)值信息29云計(jì)算核心架構(gòu)競(jìng)爭(zhēng)力衡量維度—低TCO計(jì)算資源的成本優(yōu)化與節(jié)省存儲(chǔ)資源的成本優(yōu)化與節(jié)省網(wǎng)絡(luò)資源的成本優(yōu)化與節(jié)省維護(hù)成本的優(yōu)化與節(jié)省生命周期維護(hù)成本的節(jié)省CapexOpex30云計(jì)算核心架構(gòu)競(jìng)爭(zhēng)力衡量維度—彈性伸縮管理節(jié)點(diǎn)的彈性伸縮能力數(shù)據(jù)中心資源的彈性伸縮能力承載云租戶業(yè)務(wù)的計(jì)算集群彈性伸縮能力承載用戶數(shù)據(jù)信息及系統(tǒng)卷鏡像存儲(chǔ)集群彈性伸縮能力網(wǎng)絡(luò)彈性伸縮能力31云計(jì)算核心架構(gòu)競(jìng)爭(zhēng)力衡量維度—性能普通顆粒度托管應(yīng)用場(chǎng)景:IO吞吐性能、CPU調(diào)度效率超大規(guī)模數(shù)據(jù)分析與應(yīng)用處理場(chǎng)景:耗時(shí)少、資源需求少頻繁數(shù)據(jù)庫(kù)操作或媒體類存儲(chǔ)信息的應(yīng)用場(chǎng)景:云存儲(chǔ)的IOPS吞吐率、可共享的存儲(chǔ)容量越大賴于網(wǎng)絡(luò)總線的分布式B/S、C/S應(yīng)用(如網(wǎng)站)場(chǎng)景:網(wǎng)絡(luò)延時(shí)批量虛擬機(jī)發(fā)放、虛擬機(jī)系統(tǒng)加載等的場(chǎng)景:需要通過(guò)包括P2P加載、鏈接克隆等有效架構(gòu)手段加以優(yōu)化，或通過(guò)Cache機(jī)制減少跨節(jié)點(diǎn)性能壓力32云計(jì)算核心架構(gòu)競(jìng)爭(zhēng)力衡量維度—安全物理層的數(shù)據(jù)中心安全防護(hù),實(shí)現(xiàn)硬件層與軟件層關(guān)聯(lián)可信度管理的TPM機(jī)制虛擬化層公共的事件檢測(cè)、防病毒及安全管理機(jī)制操作系統(tǒng)安全加固,去除無(wú)用服務(wù)及安全隱患云資源管理維護(hù)者分權(quán)分域及認(rèn)證鑒權(quán)管理,以及面向虛擬私有云的分級(jí)資源管理授權(quán)能力基于數(shù)據(jù)中心系統(tǒng)管理與業(yè)務(wù)日志的安全合規(guī)性分析交互界面的WebPortal的應(yīng)用層安全防攻擊機(jī)制云租戶/云用戶云資源管理接入認(rèn)證與加密管理數(shù)據(jù)傳輸加密、解密及網(wǎng)絡(luò)安全層面隔離機(jī)制網(wǎng)關(guān)、防火墻或者地址隱藏轉(zhuǎn)換機(jī)制云存儲(chǔ)持久化數(shù)據(jù)加密、解密及其密鑰管理機(jī)制33云計(jì)算核心架構(gòu)競(jìng)爭(zhēng)力衡量維度—可靠云管理節(jié)點(diǎn)自身的可靠性保障機(jī)制

承載用戶計(jì)算負(fù)載的計(jì)算節(jié)點(diǎn)的故障恢復(fù)機(jī)制:計(jì)算節(jié)點(diǎn)本地重啟故障，以及不可本地重啟類的異地恢復(fù)類故障發(fā)生時(shí)，如何在無(wú)須維

護(hù)干預(yù)以及應(yīng)用層特殊處理的前提下，保持業(yè)務(wù)提供的連續(xù)性云計(jì)算數(shù)據(jù)中心整體網(wǎng)絡(luò)的可靠性保障機(jī)制

云存儲(chǔ)數(shù)據(jù)連續(xù)服務(wù)與數(shù)據(jù)防丟失保障機(jī)制,如硬盤故障、服務(wù)器故障、機(jī)柜/機(jī)框,乃至整個(gè)數(shù)據(jù)中心意外電源及網(wǎng)絡(luò)故障的容錯(cuò)與恢復(fù)能力34云計(jì)算服務(wù)方案

典型服務(wù)與落地架構(gòu)35彈性計(jì)算云服務(wù)對(duì)標(biāo)傳統(tǒng)主機(jī)出租業(yè)務(wù)快速部署按需付費(fèi)主要參數(shù)CPU性能、內(nèi)存、操作系統(tǒng)、磁盤、網(wǎng)絡(luò)主要類型虛擬機(jī)裸金屬36云網(wǎng)絡(luò)服務(wù)（SDR）虛擬2層網(wǎng)絡(luò)鏈接服務(wù)相對(duì)于傳統(tǒng)的VLAN,為了實(shí)現(xiàn)和硬件物理網(wǎng)絡(luò)解耦,業(yè)界引入了Overlay網(wǎng)絡(luò)的概念,因此,云網(wǎng)絡(luò)中的L2網(wǎng)絡(luò)服務(wù)除了VLAN,還會(huì)有VxLAN、NVGRE、STT等多種類型的二層網(wǎng)絡(luò)。虛擬3層網(wǎng)絡(luò)服務(wù)實(shí)現(xiàn)虛擬路由器功能,虛擬專用網(wǎng)絡(luò)服務(wù)VPN負(fù)載均衡服務(wù)把負(fù)載均衡作為前端Server入口,自動(dòng)伸縮的負(fù)載單元作為后端Member,通過(guò)

后端Member數(shù)量的擴(kuò)減容,實(shí)現(xiàn)按負(fù)載的自動(dòng)化伸縮。虛擬防火墻及安全組隔離服務(wù)主要完成不同安全等級(jí)的網(wǎng)絡(luò)隔離和訪問(wèn)控制功能37存儲(chǔ)服務(wù)提供以通用服務(wù)器及其硬盤為基礎(chǔ)的全分布式平臺(tái),具備水平無(wú)級(jí)擴(kuò)展、超大容量等特點(diǎn),并通過(guò)瘦分配、跨用戶的重復(fù)數(shù)據(jù)刪除、數(shù)據(jù)壓縮等大幅降低云存儲(chǔ)的設(shè)備及運(yùn)維成本,實(shí)現(xiàn)超高性價(jià)比存儲(chǔ)方案,提升云存儲(chǔ)類業(yè)務(wù)的利