《云計(jì)算(第三版)》配套PPT之一大數(shù)據(jù)與云計(jì)算

電子工業(yè)出版社《云計(jì)算(第三版)》配套課件云計(jì)算（第三版）CLOUDCOMPUTINGThirdEdition大數(shù)據(jù)與云計(jì)算主編：劉鵬教授第1章本套PPT下載地址：/list.aspx?cid=20大數(shù)據(jù)云計(jì)算的紅寶書書籍購(gòu)買地址：/item.html?itemID=1469775685&p=-1微信掃描二維碼關(guān)注云計(jì)算頭條電子工業(yè)出版社《云計(jì)算(第三版)》配套課件2目錄

大數(shù)據(jù)時(shí)代云計(jì)算——大數(shù)據(jù)的計(jì)算云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制云計(jì)算壓倒性的成本優(yōu)勢(shì)31.1大數(shù)據(jù)時(shí)代《云計(jì)算》第三版配套PPT課件“大數(shù)據(jù)”(BigData)的搜索指數(shù)數(shù)據(jù)來(lái)源：百度指數(shù)

?baidu“大數(shù)據(jù)”這個(gè)詞從2012年才引起關(guān)注，之后搜索量便迅猛增長(zhǎng)。為什么大數(shù)據(jù)這么受關(guān)注？4(EB)(年份)全球數(shù)據(jù)總量變化圖1.1大數(shù)據(jù)時(shí)代《云計(jì)算》第三版配套PPT課件5為什么全球數(shù)據(jù)量增長(zhǎng)如此之快？一：數(shù)據(jù)產(chǎn)生方式的改變二：人類的活動(dòng)越來(lái)越依賴數(shù)據(jù)1.人類的日常生活已經(jīng)與數(shù)據(jù)密不可分2.科學(xué)研究進(jìn)入了“數(shù)據(jù)科學(xué)”時(shí)代3.各行各業(yè)也越來(lái)越依賴大數(shù)據(jù)手段來(lái)開展工作1.1大數(shù)據(jù)時(shí)代《云計(jì)算》第三版配套PPT課件7何謂大數(shù)據(jù)？海量數(shù)據(jù)或巨量數(shù)據(jù)，其規(guī)模巨大到無(wú)法通過(guò)目前主流的計(jì)算機(jī)系統(tǒng)在合理時(shí)間內(nèi)獲取、存儲(chǔ)、管理、處理并提煉以幫助使用者決策。定義91C4V多樣（Variety）快速（Velocity）價(jià)值密度低（Value）復(fù)雜度（Complexity）數(shù)據(jù)量大（Volume）存儲(chǔ)的數(shù)據(jù)量巨大，PB級(jí)別是常態(tài)，因而對(duì)其分析的計(jì)算量也大。數(shù)據(jù)的來(lái)源及格式多樣，數(shù)據(jù)格式除了傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)外，還包括半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，比如用戶上傳的音頻和視頻內(nèi)容。而隨著人類活動(dòng)的進(jìn)一步拓寬，數(shù)據(jù)的來(lái)源更加多樣。對(duì)數(shù)據(jù)的處理和分析的難度大。數(shù)據(jù)增長(zhǎng)速度快，而且越新的數(shù)據(jù)價(jià)值越大，這就要求對(duì)數(shù)據(jù)的處理速度也要快，以便能夠從數(shù)據(jù)中及時(shí)地提取知識(shí)，發(fā)現(xiàn)價(jià)值。在成本可接受的條件下，通過(guò)快速采集、發(fā)現(xiàn)和分析，從大量、多種類別的數(shù)據(jù)中提取價(jià)值的體系架構(gòu)。1.1大數(shù)據(jù)時(shí)代《云計(jì)算》第三版配套PPT課件10目錄

大數(shù)據(jù)時(shí)代云計(jì)算——大數(shù)據(jù)的計(jì)算云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制云計(jì)算壓倒性的成本優(yōu)勢(shì)G=f(x)大數(shù)據(jù)與云計(jì)算的關(guān)系我們的目標(biāo)云計(jì)算大數(shù)據(jù)《云計(jì)算》第三版配套PPT課件1.2云計(jì)算——大數(shù)據(jù)的計(jì)算12云計(jì)算長(zhǎng)定義云計(jì)算短定義云計(jì)算是一種商業(yè)計(jì)算模型。它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算力、存儲(chǔ)空間和信息服務(wù)。云計(jì)算是通過(guò)網(wǎng)絡(luò)按需提供可動(dòng)態(tài)伸縮的廉價(jià)計(jì)算服務(wù)。云計(jì)算的7個(gè)特點(diǎn)超大規(guī)模虛擬化高可靠性通用性高可伸縮性按需服務(wù)極其廉價(jià)《云計(jì)算》第三版配套PPT課件1.2云計(jì)算——大數(shù)據(jù)的計(jì)算14將軟件作為服務(wù)SaaS（SoftwareasaService）將平臺(tái)作為服務(wù)PaaS（PlatformasaService）將基礎(chǔ)設(shè)施作為服務(wù)IaaS（InfrastructureasaService）針對(duì)性更強(qiáng)，它將某些特定應(yīng)用軟件功能封裝成服務(wù)如：SalesforceonlineCRM對(duì)資源的抽象層次更進(jìn)一步，提供用戶應(yīng)用程序運(yùn)行環(huán)境如：GoogleAppEngineMicrosoftWindowsAzure將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用如：AmazonEC2/S3云計(jì)算按服務(wù)類型大致分為三類：專用通用《云計(jì)算》第三版配套PPT課件1.2云計(jì)算——大數(shù)據(jù)的計(jì)算15目錄

大數(shù)據(jù)時(shí)代云計(jì)算——大數(shù)據(jù)的計(jì)算云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制云計(jì)算壓倒性的成本優(yōu)勢(shì)17微軟緊跟云計(jì)算步伐，推出了WindowsAzure操作系統(tǒng)國(guó)外云計(jì)算的先行者亞馬遜的云計(jì)算稱為AmazonWebServices（AWS）谷歌是最大的云計(jì)算技術(shù)的使用者率先在全球提供了彈性計(jì)算云EC2（ElasticComputingCloud）和簡(jiǎn)單存儲(chǔ)服務(wù)S3（SimpleStorageService），為企業(yè)提供計(jì)算和存儲(chǔ)服務(wù)。收費(fèi)的服務(wù)項(xiàng)目包括存儲(chǔ)空間、帶寬、CPU資源以及月租費(fèi)。AWS服務(wù)的種類非常齊全全球用戶數(shù)量已經(jīng)超過(guò)100萬(wàn)18最大的云計(jì)算技術(shù)的使用者谷歌搜索引擎就建立在分布在200多個(gè)站點(diǎn)、超過(guò)100萬(wàn)臺(tái)的服務(wù)器的支撐之上，而且這些設(shè)施的數(shù)量正在迅猛增長(zhǎng)發(fā)表學(xué)術(shù)論文的形式公開其云計(jì)算三大法寶：GFS、MapReduce和Bigtable，并在美國(guó)、中國(guó)等高校開設(shè)如何進(jìn)行云計(jì)算編程的課程采用GoogleDocs之類的應(yīng)用，用戶數(shù)據(jù)會(huì)保存在互聯(lián)網(wǎng)上的某個(gè)位置，可以通過(guò)任何一個(gè)與互聯(lián)網(wǎng)相連的終端十分便利地訪問(wèn)和共享這些數(shù)據(jù)谷歌已經(jīng)允許第三方在谷歌的云計(jì)算中通過(guò)GoogleAppEngine運(yùn)行大型并行應(yīng)用程序19微軟于2008年10月推出了WindowsAzure操作系統(tǒng)。Azure(譯為“藍(lán)天”)是繼Windows取代DOS之后，微軟的又一次顛覆性轉(zhuǎn)型。微軟的云平臺(tái)包括幾十萬(wàn)臺(tái)服務(wù)器.在中國(guó)，微軟2014年3月27日宣布由世紀(jì)互聯(lián)負(fù)責(zé)運(yùn)營(yíng)的MicrosoftAzure公有云服務(wù)正式商用，這是國(guó)內(nèi)首個(gè)正式商用的國(guó)際公有云服務(wù)平臺(tái)。Azure的底層是微軟全球基礎(chǔ)服務(wù)系統(tǒng)，由遍布全球的第四代數(shù)據(jù)中心構(gòu)成。微軟將為WindowsAzure用戶推出許多新的功能，不但能更簡(jiǎn)單地將現(xiàn)有的應(yīng)用程序轉(zhuǎn)移到云中，而且可以加強(qiáng)云托管應(yīng)用程序的可用服務(wù)，充分體現(xiàn)出微軟的“云”+“端”戰(zhàn)略。20國(guó)內(nèi)云計(jì)算崛起代表企業(yè)21存儲(chǔ)服務(wù)為特色多處擁有云計(jì)算數(shù)據(jù)中心游戲托管為特色國(guó)際上云計(jì)算產(chǎn)品最全提供類似AWS服務(wù)專門支撐智能硬件大數(shù)據(jù)免費(fèi)托管目錄

大數(shù)據(jù)時(shí)代云計(jì)算——大數(shù)據(jù)的計(jì)算云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制云計(jì)算壓倒性的成本優(yōu)勢(shì)22服務(wù)接口服務(wù)注冊(cè)服務(wù)查找服務(wù)訪問(wèn)服務(wù)工作流SOA構(gòu)建層管理中間件層用戶環(huán)境配置計(jì)算資源池存儲(chǔ)資源池網(wǎng)絡(luò)資源池?cái)?shù)據(jù)資源池軟件資源池計(jì)算機(jī)存儲(chǔ)器網(wǎng)絡(luò)設(shè)施數(shù)據(jù)庫(kù)軟件資源池層物理資源層賬號(hào)管理用戶管理任務(wù)管理資源管理用戶交互管理使用計(jì)費(fèi)身份認(rèn)證訪問(wèn)授權(quán)綜合防護(hù)安全審計(jì)安全管理任務(wù)調(diào)度映像部署和管理任務(wù)執(zhí)行生命期管理故障檢測(cè)負(fù)載均衡故障恢復(fù)監(jiān)視統(tǒng)計(jì)《云計(jì)算》第三版配套PPT課件1.4云計(jì)算實(shí)現(xiàn)機(jī)制23計(jì)算機(jī)、存儲(chǔ)器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫(kù)和軟件等封裝云計(jì)算能力成標(biāo)準(zhǔn)的WebServices服務(wù)，并納入到SOA體系云計(jì)算的資源管理，并對(duì)眾多應(yīng)用任務(wù)進(jìn)行調(diào)度，使資源能夠高效、安全地為應(yīng)用提供服務(wù)將大量相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池云計(jì)算體系結(jié)構(gòu)SOA構(gòu)建層管理中間件層物理資源層資源池層管理中間件層和資源池層是云計(jì)算技術(shù)的最關(guān)鍵部分，SOA構(gòu)建層的功能更多依靠外部設(shè)施提供?！对朴?jì)算》第三版配套PPT課件1.4云計(jì)算實(shí)現(xiàn)機(jī)制24均衡使用云資源節(jié)點(diǎn)，檢測(cè)節(jié)點(diǎn)故障并試圖恢復(fù)或屏蔽之，并對(duì)資源的使用情況進(jìn)行監(jiān)視統(tǒng)計(jì)資源管理

任務(wù)管理安全管理

用戶管理

云計(jì)算的管理中間件層

執(zhí)行用戶或應(yīng)用提交的任務(wù)，包括完成用戶任務(wù)映象（Image）的部署和管理、任務(wù)調(diào)度、任務(wù)執(zhí)行、任務(wù)生命期管理等實(shí)現(xiàn)云計(jì)算商業(yè)模式的一個(gè)必不可少的環(huán)節(jié)，包括提供用戶交互接口、管理和識(shí)別用戶身份、創(chuàng)建用戶程序的執(zhí)行環(huán)境、對(duì)用戶的使用進(jìn)行計(jì)費(fèi)等保障云計(jì)算設(shè)施的整體安全，包括身份認(rèn)證、訪問(wèn)授權(quán)、綜合防護(hù)和安全審計(jì)等《云計(jì)算》第三版配套PPT課件1.4云計(jì)算實(shí)現(xiàn)機(jī)制25簡(jiǎn)化的IaaS實(shí)現(xiàn)機(jī)制圖服務(wù)目錄是用戶可以訪問(wèn)的服務(wù)清單。系統(tǒng)管理模塊負(fù)責(zé)管理和分配所有可用的資源，其核心是負(fù)載均衡。配置工具負(fù)責(zé)在分配的節(jié)點(diǎn)上準(zhǔn)備任務(wù)運(yùn)行環(huán)境。監(jiān)視統(tǒng)計(jì)模塊負(fù)責(zé)監(jiān)視節(jié)點(diǎn)的運(yùn)行狀態(tài)，并完成用戶使用節(jié)點(diǎn)情況的統(tǒng)計(jì)。用戶交互接口向應(yīng)用以WebServices方式提供訪問(wèn)接口，獲取用戶需求?！对朴?jì)算》第三版配套PPT課件1.4云計(jì)算實(shí)現(xiàn)機(jī)制26目錄

大數(shù)據(jù)時(shí)代云計(jì)算——大數(shù)據(jù)的計(jì)算云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制云計(jì)算壓倒性的成本優(yōu)勢(shì)28全球企業(yè)IT開銷發(fā)展趨勢(shì)Source:IBMCorporateStrategyanalysisofIDCdata,Sept.2007《云計(jì)算》第三版配套PPT課件1.5云計(jì)算壓倒性的成本優(yōu)勢(shì)29項(xiàng)目中型數(shù)據(jù)中心成本特大型數(shù)據(jù)中心成本比率網(wǎng)絡(luò)$95每

Mb/秒/月$13每

Mb/秒/月7.3存儲(chǔ)$2.20每

GB/月$0.40每

GB/月5.7管理每個(gè)管理員約管理140個(gè)服務(wù)器每個(gè)管理員管理1000個(gè)服務(wù)器以上7.1中型數(shù)據(jù)中心和特大型數(shù)據(jù)中心的成本比較《云計(jì)算》第三版配套PPT課件1.5云計(jì)算壓倒性的成本優(yōu)勢(shì)30價(jià)格

地點(diǎn)可能的定價(jià)原因3.6美分愛達(dá)荷州水力發(fā)電，沒(méi)有長(zhǎng)途輸送10.0美分加州電力在電網(wǎng)上長(zhǎng)途輸送，灣區(qū)的輸送線有限，加州不允許煤電18.0美分夏威夷發(fā)電的能源需要海運(yùn)到島上美國(guó)不同地區(qū)電力價(jià)格的差異《云計(jì)算》第三版配套PPT課件1.5云計(jì)算壓倒性的成本優(yōu)勢(shì)“信息時(shí)代核電站”—Google數(shù)據(jù)中心某典型網(wǎng)站的流量數(shù)據(jù)提供彈性的服務(wù)，在超大資源池中動(dòng)態(tài)分配和釋放資源資源利用率達(dá)到80%左右，是傳統(tǒng)模式5～7倍云計(jì)算平臺(tái)的規(guī)模極大，比較容易平穩(wěn)整體負(fù)載《云計(jì)算》第三版配套PPT課件1.5云計(jì)算壓倒性的成本優(yōu)勢(shì)32云計(jì)算將計(jì)算變成了大眾用得上和用得起的“水和電”成本資源利用率硬件成本電價(jià)管理費(fèi)用10%~15%80%5~7倍>30倍節(jié)約總成本云計(jì)算較之傳統(tǒng)方式的性價(jià)比優(yōu)勢(shì)《云計(jì)算》第三版配套PPT課件1.5云計(jì)算壓倒性的成本優(yōu)勢(shì)331.大數(shù)據(jù)現(xiàn)象是怎么形成的？2.新摩爾定律的含義是什么？3.云計(jì)算有哪