云計算和大數(shù)據(jù)講座(詳細)

云計算和大數(shù)據(jù)2021/5/91講座綱要

數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)1重點關(guān)注的云計算系統(tǒng)平臺2國內(nèi)行業(yè)云計算推廣與應(yīng)用3云計算技術(shù)與大數(shù)據(jù)時代42021/5/92一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)泛在互聯(lián)的時代1移動電話PCsTVsPDAsGPS導(dǎo)航汽車電子設(shè)備智能家電iPhoneDCs傳感器。。。我們已經(jīng)進入一個無處不網(wǎng)、無時不網(wǎng)的時代！2021/5/93一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)云計算技術(shù)來由2云計算是能夠提供動態(tài)資源池、虛擬化和高可用性的下一代計算平臺，借用了量子物理中的“電子云”（ElectronCloud），強調(diào)說明信息處理的彌漫性、無所不在的分布性和社會性特征。云計算技術(shù)可將計算任務(wù)分布在大量計算機構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和信息服務(wù)，一般具備以下3個典型特征：

（1）硬件基礎(chǔ)設(shè)施架構(gòu)在大規(guī)模的廉價服務(wù)器集群之上；

（2）應(yīng)用程序與底層服務(wù)協(xié)作開發(fā)，最大限度地利用資源；

（3）通過多個廉價服務(wù)器之間的冗余，使用軟件獲得高可用性。2021/5/94一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)存儲服務(wù)計算服務(wù)軟件服務(wù)信息處理信息資源利用2021/5/95一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)2021/5/96一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)數(shù)據(jù)中心3維基百科給出的定義是“數(shù)據(jù)中心是一整套復(fù)雜的設(shè)施。它不僅僅包括計算機系統(tǒng)和其它與之配套的設(shè)備(例如通信和存儲系統(tǒng)),還包含冗余的數(shù)據(jù)通信連接、環(huán)境控制設(shè)備、監(jiān)控設(shè)備以及各種安全裝置”。谷歌的《TheDatacenterasaComputer》一書中,將數(shù)據(jù)中心解釋為“多功能的建筑物,能容納多個服務(wù)器以及通信設(shè)備。這些設(shè)備被放置在一起是因為它們具有相同的對環(huán)境的要求以及物理安全上的需求,并且這樣放置便于維護”,而“并不僅僅是一些服務(wù)器的集合”2021/5/97一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)數(shù)據(jù)中心4數(shù)據(jù)中心外部2021/5/982021/5/992021/5/9102021/5/9112021/5/912Google的節(jié)能措施2021/5/913微軟的節(jié)能措施2021/5/9142021/5/915一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)數(shù)據(jù)中心4數(shù)據(jù)中心內(nèi)部2021/5/9162021/5/9172021/5/9182021/5/919Google在芬蘭Hamina數(shù)據(jù)中心2021/5/920Google愛荷華州的ConcilBluffs數(shù)據(jù)中心2021/5/921微軟的節(jié)能措施2021/5/9222021/5/923一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)數(shù)據(jù)中心3規(guī)模經(jīng)濟性項目中型數(shù)據(jù)中心成本特大型數(shù)據(jù)中心成本比率網(wǎng)絡(luò)$95每Mb/秒/月$13每Mb/秒/月7.1存儲$2.20每GB/月$0.40每GB/月5.7管理每個管理員約管理140個服務(wù)器每個管理員管理1000個服務(wù)器以上7.1更低的硬件成本更低廉的電價更低的管理費用更高的利用率從10-15%到80%2021/5/924一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)云計算技術(shù)特點5虛擬化分布式并行計算海量存儲桌面應(yīng)用云計算關(guān)鍵技術(shù)安全資源調(diào)度超大規(guī)模虛擬化云計算特點高可擴展性按需服務(wù)高可靠性極其廉價2021/5/925一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)虛擬化機制6Wikipedia，維基百科的虛擬化定義虛擬化是表示計算機資源的抽象方法，通過虛擬化可以用與訪問抽象前資源一致的方法訪問抽象后的資源。這種資源的抽象方法并不受實現(xiàn)、地理位置或底層資源的物理配置的限制。IBM的虛擬化定義虛擬化是資源的邏輯表示，它不受物理限制的約束。虛擬化的三層含義虛擬化的對象是各種各樣的資源；經(jīng)過虛擬化后的邏輯資源對用戶隱藏了不必要的細節(jié)；用戶可以在虛擬環(huán)境中實現(xiàn)其在真實環(huán)境中的功能。虛擬化技術(shù)2021/5/926一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)虛擬化機制6虛擬化技術(shù)虛擬化包括：網(wǎng)絡(luò)虛擬化存儲虛擬化桌面虛擬化服務(wù)器虛擬化應(yīng)用虛擬化其它2021/5/927一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)虛擬化機制6系統(tǒng)虛擬化系統(tǒng)虛擬化：使用虛擬化軟件在一臺物理機上虛擬出一臺或多臺虛擬機（VirtualMachine,VM）。虛擬運行環(huán)境需要為在其上運行的虛擬機提供一套虛擬的硬件環(huán)境，包括虛擬的服務(wù)器、內(nèi)存、設(shè)備與I/O及網(wǎng)絡(luò)接口等。2021/5/928一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)虛擬化機制6系統(tǒng)虛擬化VmwareWorkstation2021/5/929一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)虛擬化機制6服務(wù)器虛擬化服務(wù)器虛擬化：將系統(tǒng)虛擬化應(yīng)用于服務(wù)器上，將服務(wù)器進行整合，根據(jù)需求虛擬出若干個服務(wù)器。2021/5/930一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)虛擬化機制6桌面虛擬化桌面虛擬化：將用戶的桌面環(huán)境與使用的終端設(shè)備解耦合。優(yōu)勢：通過實施桌面虛擬化，可將原有的終端數(shù)據(jù)資源甚至操作系統(tǒng)都轉(zhuǎn)移到后臺數(shù)據(jù)中心的服務(wù)器，而前臺終端可以轉(zhuǎn)化為以顯示為主、計算為輔的輕量級客戶端。2021/5/931一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)虛擬化機制6桌面虛擬化2021/5/932一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)云計算類別72021/5/933一、數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)云計算類別72021/5/934講座綱要

數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)1重點關(guān)注的云計算系統(tǒng)平臺2國內(nèi)行業(yè)云計算推廣與應(yīng)用3云計算技術(shù)與大數(shù)據(jù)時代42021/5/935二、重點關(guān)注的云計算系統(tǒng)平臺Google云計算190%計算任務(wù)都能夠通過“云計算”技術(shù)完成桌面軟件正在向Web軟件轉(zhuǎn)型云計算是開放標準，業(yè)界不會有公司壟斷中小企業(yè)、大學(xué)、消費者會相對迅速地轉(zhuǎn)

向基于Web的“云計算”技術(shù)新的贏利模式低廉的云計算給Google帶來更多的流量，進而

帶來更多的廣告收入承認“云計算”不會在一夜之間普及大公司通常會慢慢地改變自己的習(xí)慣其它問題，例如“飛機問題”，以及在不能上網(wǎng)時用戶如何工作。Google觀點GoogleCEO埃立克.施米特2021/5/936二、重點關(guān)注的云計算系統(tǒng)平臺Google云計算1在計算機上安裝的傳統(tǒng)軟件是微軟的根本比爾·蓋茨(BillGates)接受媒體采訪時曾提出：“我們致力于推動PC成為一切的中心”微軟將自身的戰(zhàn)略稱為“軟件加服務(wù)”微軟將Google的樂觀稱作是一廂情愿。

利用Web軟件收發(fā)電子郵件、處理文檔和電子表格、進行協(xié)作很方便嗎？高速寬帶連接會象Google斷言的那樣普及和可靠嗎？企業(yè)、大學(xué)、消費者會讓Google保存他們的資料嗎？Microsoft觀點MicrosoftCEO史蒂夫.鮑爾默孰優(yōu)孰劣，等待市場檢驗！2021/5/937二、重點關(guān)注的云計算系統(tǒng)平臺Google云計算1“瀏覽器＝操作系統(tǒng)”2021/5/938二、重點關(guān)注的云計算系統(tǒng)平臺Google云計算1應(yīng)用分類2021/5/939二、重點關(guān)注的云計算系統(tǒng)平臺Google云計算1應(yīng)用分類Google在線文檔2021/5/940二、重點關(guān)注的云計算系統(tǒng)平臺Google云計算1應(yīng)用分類Google地圖2021/5/941二、重點關(guān)注的云計算系統(tǒng)平臺Google云計算1應(yīng)用分類Google郵件422021/5/942二、重點關(guān)注的云計算系統(tǒng)平臺Google云計算1應(yīng)用分類Google日歷2021/5/943二、重點關(guān)注的云計算系統(tǒng)平臺Google云計算1應(yīng)用分類Google

Wave,Google+信息分享、協(xié)作、發(fā)布平臺2021/5/944Google云計算1應(yīng)用分類隸屬于PaaS的Google云計算屬于部署在云端的應(yīng)用執(zhí)行環(huán)境支持Python和Java兩種語言通過SDK提供Google的各種服務(wù)，如圖形、MAIL和數(shù)據(jù)存儲等可使用Google的基礎(chǔ)服務(wù)，如BigTable和GFS等用戶僅需提供應(yīng)用代碼，無需服務(wù)器維護應(yīng)用程序可根據(jù)訪問量和數(shù)據(jù)存儲需要的增長輕松進行擴展用戶可快速、廉價地部署自己開發(fā)的應(yīng)用（如創(chuàng)新的網(wǎng)站、游戲等）二、重點關(guān)注的云計算系統(tǒng)平臺2021/5/945二、重點關(guān)注的云計算系統(tǒng)平臺Google云計算1需求分析Google擁有海量數(shù)據(jù)，需要存儲管理和快速處理對爬蟲獲取的網(wǎng)頁進行倒排索引計算網(wǎng)站的PageRank分析搜索趨勢(GoogleTrends)計算網(wǎng)頁的訪問量……2021/5/946二、重點關(guān)注的云計算系統(tǒng)平臺Google云計算1關(guān)鍵技術(shù)Google云計算平臺關(guān)鍵技術(shù)文件存儲，GoogleDistributedFileSystem，GFS并行數(shù)據(jù)處理MapReduce分布式鎖Chubby結(jié)構(gòu)化數(shù)據(jù)表BigTableGoogle云計算應(yīng)用MapReduceBigTableGFSChubbySimple,andgoodenough!2021/5/947二、重點關(guān)注的云計算系統(tǒng)平臺亞馬遜云計算AWS

2一個簡單的想法IaaS：將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用主要思想：虛擬優(yōu)勢：動態(tài)申請，資源無限起源2021/5/948二、重點關(guān)注的云計算系統(tǒng)平臺亞馬遜云計算AWS

2簡單存儲服務(wù)(simplestorageservice,簡稱S3)簡單隊列服務(wù)(simplequeueservice,簡稱SQS)彈性計算云EC2系統(tǒng)關(guān)鍵功能2021/5/949二、重點關(guān)注的云計算系統(tǒng)平臺亞馬遜云計算AWS

2應(yīng)用示范AWS的應(yīng)用案例——SmugMug為什么選擇AWS

SmugMug是一家在線照片存儲共享網(wǎng)站，擁有數(shù)億照片資源和幾十萬付費用戶。業(yè)務(wù)量的急劇增長導(dǎo)致該新興公司無法承受巨額的基礎(chǔ)設(shè)施開銷，SmugMug選擇了Amazon的EC2服務(wù)和S3服務(wù)。應(yīng)用AWS后，僅需50人即可完成如此大的業(yè)務(wù)量。2021/5/950二、重點關(guān)注的云計算系統(tǒng)平臺亞馬遜云計算AWS

2應(yīng)用示范AWS的應(yīng)用案例——《紐約時報》使用亞馬遜云計算服務(wù)在不到24個小時的時間里處理了1100萬篇文章累計花費240美元如果用自己的服務(wù)器，需要數(shù)月和多得多的費用2021/5/951二、重點關(guān)注的云計算系統(tǒng)平臺亞馬遜云計算AWS

2應(yīng)用示范AWS的應(yīng)用案例——《紐約時報》2021/5/952二、重點關(guān)注的云計算系統(tǒng)平臺亞馬遜云計算AWS

2資費情況AmazonSimpleStorageService$.15perGBpermonthstorage

Object-BasedStorage1B–5GB/objectFast,Reliable,ScalableRedundant,Dispersed99.99%AvailabilityGoalPrivateorPublicPer-objectURLs&ACLsBitTorrentSupport$.10-$.18perGBdatatransfer$.01for1000to10000requests2021/5/953二、重點關(guān)注的云計算系統(tǒng)平臺亞馬遜云計算AWS

2資費情況AmazonElasticComputeCloudVirtualComputeCloudElasticCapacity1.7GHzx861.7GBRAM160GBDisk250MB/SecondNetworkNetworkSecurityModelTimeorTraffic-basedScaling,Loadtesting,SimulationandAnalysis,Rendering,SoftwareasaServicePlatform,Hosting$.10-$.18perGBdatatransfer$.10perserverhour2021/5/954二、重點關(guān)注的云計算系統(tǒng)平臺

其它云計算平臺3OracleRealApplicationCluster2021/5/955二、重點關(guān)注的云計算系統(tǒng)平臺

其它云計算平臺3微軟云計算2021/5/956二、重點關(guān)注的云計算系統(tǒng)平臺

其它云計算平臺3IBM云計算2021/5/957二、重點關(guān)注的云計算系統(tǒng)平臺

其它云計算平臺3HP云計算2021/5/958二、重點關(guān)注的云計算系統(tǒng)平臺

其它云計算平臺3VmwarevCenter動態(tài)遷移：VMware（storage）vMotion容錯：VMwareFaultTolerance高可用性：VMwareHighAvailability備份：VMCB（VMwareConsolidatedBackup）安全：vSafe，vShield資源優(yōu)化：DRS（DistributedResourceScheduler）2021/5/959二、重點關(guān)注的云計算系統(tǒng)平臺

其它云計算平臺3EMCAtmos2021/5/960二、重點關(guān)注的云計算系統(tǒng)平臺

其它云計算平臺3Cisco統(tǒng)一計算系統(tǒng)2021/5/961二、重點關(guān)注的云計算系統(tǒng)平臺

開源云計算平臺4Hadoop：Google云計算的開源實現(xiàn)OpenStack：云平臺管理的項目，美國國家航空航天局和Rackspace合作研發(fā)的Eucalyptus：Amazon云計算的開源實現(xiàn)Cassandra：結(jié)合了Dynamo的分布技術(shù)和Google的BigTable數(shù)據(jù)模型，高度可擴展、最終一致、分布式的結(jié)構(gòu)化鍵值存儲系統(tǒng)。Hive：基于Hadoop的數(shù)據(jù)倉庫工具EnomalyECP：提供類似于EC2的云計算框架2021/5/962二、重點關(guān)注的云計算系統(tǒng)平臺

開源云計算平臺4Nimbus：基于網(wǎng)格中間件Globus，提供與EC2類似的功能和接口SectorandSphere：類似MapReduceAbiquo：以快速、簡單和可擴展的方式創(chuàng)建和管理大型、復(fù)雜的IT基礎(chǔ)設(shè)施（包括虛擬服務(wù)器、網(wǎng)絡(luò)、應(yīng)用和存儲設(shè)備等）MongoDB：構(gòu)建基于分布式文件存儲系統(tǒng)的數(shù)據(jù)庫2021/5/963講座綱要

數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)1重點關(guān)注的云計算系統(tǒng)平臺2國內(nèi)行業(yè)云計算推廣與應(yīng)用3云計算技術(shù)與大數(shù)據(jù)時代42021/5/964三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

中央政府1國務(wù)院國務(wù)院關(guān)于加快培育和發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)的決定（國發(fā)〔2010〕32號）/zwgk/2010-10/18/content_1724848.htm一（三）：我國要在未來國際競爭中占據(jù)有利地位，必須加快培育和發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)，掌握關(guān)鍵核心技術(shù)及相關(guān)知識產(chǎn)權(quán)，增強自主發(fā)展能力。二（三）：……節(jié)能環(huán)保、新一代信息技術(shù)、生物、高端裝備制造產(chǎn)業(yè)成為國民經(jīng)濟的支柱產(chǎn)業(yè)……創(chuàng)新能力大幅提升，掌握一批關(guān)鍵核心技術(shù)，在局部領(lǐng)域達到世界領(lǐng)先水平……三（二）：新一代信息技術(shù)產(chǎn)業(yè)。……加快推進三網(wǎng)融合，促進物聯(lián)網(wǎng)、云計算的研發(fā)和示范應(yīng)用……2021/5/965三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

中央政府1發(fā)改委和工信部關(guān)于做好云計算服務(wù)創(chuàng)新發(fā)展試點示范工作的通知

（發(fā)改高技[2010]2480號）/zcfb/zcfbtz/2010tz/t20101025_376673.htm工信部：國內(nèi)云計算標準化年底出臺主要涉及到標準主體、切入點、運營、建設(shè)等方面。其中重點是互聯(lián)網(wǎng)數(shù)據(jù)中心的管理。在北京、上海、深圳、杭州、無錫等五個城市先行開展云計算創(chuàng)新發(fā)展試點示范工作二（二）：以信息服務(wù)骨干企業(yè)牽頭、產(chǎn)學(xué)研用聯(lián)合方式，加強虛擬化技術(shù)、分布式存儲技術(shù)、海量數(shù)據(jù)管理技術(shù)等核心技術(shù)研發(fā)和產(chǎn)業(yè)化。2021/5/966三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

中央政府1發(fā)改委和工信部試點城市北京祥云計劃(2010.7)中關(guān)村云計算聯(lián)盟(2010.7)上海云海計劃(2010.8)深圳華南云計算中心(2010.11)杭州無錫無錫云計算中心(2008)二期(2010)物聯(lián)網(wǎng)云計算數(shù)據(jù)中心(2010.11)微軟云計算中心(2009.5)西湖云計算服務(wù)平臺(2010.12)2021/5/967三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

中央政府1發(fā)改委和工信部其它城市哈爾濱中國云谷(2010.11)大連大連云計算知識產(chǎn)權(quán)展覽中心(2010)天津云計算戰(zhàn)略產(chǎn)業(yè)旗艦總部(2010.10)濟南山東省云計算中心(2010.8)南京阿里軟件云計算中心(2008)廣州天云計劃(2011.2)2021/5/968三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

中央政府1發(fā)改委和工信部其它城市西安西安軟件園云計算中心(2010.12)微軟西部云計算中心(2011.4)成都四川電信西部信息中心(2011.1)重慶兩江國際云計算中心(2011.4)武漢中國國際云計算數(shù)據(jù)港(2011.1)澳門與珠海共建云計算技術(shù)和應(yīng)用實驗室(2010.10)香港與IBM共建云計算實驗室(2010.4)2021/5/969三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

國內(nèi)運營商2發(fā)改委和工信部打造端到端的移動互聯(lián)網(wǎng)基礎(chǔ)設(shè)施，用云計算支撐業(yè)務(wù)系統(tǒng)部署、開發(fā)、分發(fā)、運行。BigCloud1.0已實現(xiàn)分布式文件系統(tǒng)、分布式海量數(shù)據(jù)倉庫、分布式計算框架、集群管理、云存儲系統(tǒng)、彈性計算系統(tǒng)、并行數(shù)據(jù)挖掘工具等功能。目前部署1000臺服務(wù)器的云試驗平臺。2021/5/970三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

國內(nèi)運營商2發(fā)改委和工信部已推出“e云存儲”服務(wù)和兩種品牌的“e云手機”。“星云計劃”正在四個城市開展云計算的現(xiàn)場實驗，包括：IDC演進與業(yè)務(wù)試點、商務(wù)領(lǐng)航SaaS應(yīng)用、基于云計算的移動互聯(lián)網(wǎng)應(yīng)用研究、基于云計算的號百優(yōu)化與提升等。2021/5/971三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

國內(nèi)運營商2發(fā)改委和工信部2009年下半年起，中國聯(lián)通IDC開始建設(shè)“互聯(lián)云”，實現(xiàn)不同云之間的互聯(lián)，從而集成系統(tǒng)中的硬件、軟件、網(wǎng)絡(luò)、應(yīng)用和服務(wù)的綜合性平臺。2010年7月27日宣布在青島建“云計算”基地，要打造成“北方數(shù)據(jù)中心”乃至“東北亞數(shù)據(jù)中心”。2021/5/972三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

典型云平臺3中國移動BigCloud2021/5/973三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

典型云平臺3淘寶云平臺2021/5/974三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

典型云平臺3淘寶云平臺2021/5/975三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

典型云平臺3萬網(wǎng)云計算2021/5/976三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

典型云平臺3騰訊PaaS云操作系統(tǒng)WebQQ2.02021/5/977三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

典型云平臺3騰訊PaaSQQ云詞典2021/5/978三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

典型云平臺3百度框計算2021/5/979三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

典型云平臺3新浪云平臺SinaAppEngine2021/5/980三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

典型云平臺3云安全傳統(tǒng)安全的處理策略：Oneformany查毒軟件開始查殺一臺電腦出現(xiàn)癥狀加入病毒庫系統(tǒng)升級2021/5/981三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

典型云平臺3云安全查毒軟件開始查殺多臺電腦類似操作加入病毒庫系統(tǒng)升級上報內(nèi)容？云安全的基本思想：Manyforone/many利用客戶端搜集樣本，客戶越多，根據(jù)搜集的樣本進行安全分析越可靠（大量的探針）2021/5/982三、國內(nèi)行業(yè)云計算推廣與應(yīng)用

典型云平臺3云安全病毒響應(yīng)更及時體積更小、查殺病毒能力更強輕量級客戶端適合于移動設(shè)備查殺“未知”病毒，保障用戶徹底安全2021/5/983講座綱要

數(shù)據(jù)中心與云計算架構(gòu)基礎(chǔ)1重點關(guān)注的云計算系統(tǒng)平臺2國內(nèi)行業(yè)云計算推廣與應(yīng)用3云計算技術(shù)與大數(shù)據(jù)時代42021/5/984四、云計算技術(shù)與大數(shù)據(jù)時代數(shù)據(jù)的發(fā)展12021/5/985四、云計算技術(shù)與大數(shù)據(jù)時代數(shù)據(jù)的發(fā)展12021/5/986四、云計算技術(shù)與大數(shù)據(jù)時代數(shù)據(jù)的發(fā)展12021/5/987四、云計算技術(shù)與大數(shù)據(jù)時代互聯(lián)網(wǎng)的一天2一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部內(nèi)容可以刻滿1.68億張DVD；發(fā)出的郵件有2940億封之多（相當于美國兩年的紙質(zhì)信件數(shù)量）；發(fā)出的社區(qū)帖子達200萬個（相當于《時代》雜志770年的文字量）；賣出的手機為37.8萬臺，高于全球每天出生的嬰兒數(shù)量37.1萬……每一天，全世界會上傳超過5億張圖片，每分鐘就有20小時時長的視頻被分享。人們每天創(chuàng)造的全部信息——包括語音通話、電子郵件和信息在內(nèi)的各種通信，以及上傳的全部圖片、視頻與音樂，其信息量也無法匹及每一天所創(chuàng)造出的關(guān)于人們自身的數(shù)字信息量。2021/5/988四、云計算技術(shù)與大數(shù)據(jù)時代大數(shù)據(jù)時代來臨3截止到2012年，數(shù)據(jù)量已經(jīng)從TB（1024GB=1TB）級別躍升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)級別。國際數(shù)據(jù)公司（IDC）的研究結(jié)果表明，2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB，2009年的數(shù)據(jù)量為0.8ZB，2010年增長為1.2ZB，2011年的數(shù)量更是高達1.82ZB，相當于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。到2012年為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，全人類歷史上說過的所有話的數(shù)據(jù)量大約是5EB。IBM的研究稱，整個人類文明所獲得的全部數(shù)據(jù)中，有90%是過去兩年內(nèi)產(chǎn)生的。到2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達到今天的44倍。2021/5/989四、云計算技術(shù)與大數(shù)據(jù)時代《紐約時報》2012年2月的一篇專欄中所稱，“大數(shù)據(jù)”時代已經(jīng)降臨，在商業(yè)、經(jīng)濟及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗和直覺。哈佛大學(xué)社會學(xué)教授加里·金說：“這是一場革命，龐大的數(shù)據(jù)資源使得各個領(lǐng)域開始了量化進程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進程?！?。數(shù)據(jù)并非單純指人們在互聯(lián)網(wǎng)上發(fā)布的信息，全世界的工業(yè)設(shè)備、汽車、電表上有著無數(shù)的數(shù)碼傳感器，隨時測量和傳遞著有關(guān)位置、運動、震動、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化，也產(chǎn)生了海量的數(shù)據(jù)信息。大數(shù)據(jù)時代來臨32021/5/990四、云計算技術(shù)與大數(shù)據(jù)時代大數(shù)據(jù)時代來臨312011年-2016年中國大數(shù)據(jù)市場規(guī)模2011年是中國大數(shù)據(jù)市場元年，一些大數(shù)據(jù)產(chǎn)品已經(jīng)推出，部分行業(yè)也有大數(shù)據(jù)應(yīng)用案例的產(chǎn)生。2012年-2016年，將迎來大數(shù)據(jù)市場的飛速發(fā)展。2012年中國大數(shù)據(jù)市場規(guī)模達到4.7億元，2013年大數(shù)據(jù)市場增速為138.3%的飛躍，到2016年，整個市場規(guī)模逼近百億。2021/5/991四、云計算技術(shù)與大數(shù)據(jù)時代大數(shù)據(jù)時代來臨32各行業(yè)大數(shù)據(jù)市場規(guī)模政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場規(guī)模較大，四個行業(yè)將占據(jù)一半市場份額。由于各個行業(yè)都存在大數(shù)據(jù)應(yīng)用需求，潛在市場空間非?？捎^。2021/5/992四、云計算技術(shù)與大數(shù)據(jù)時代大數(shù)據(jù)的定義4維基百科：或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大數(shù)據(jù)，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工，在合理時間內(nèi)達到截取、管理、處理、并整理成為人類所能解讀的信息。在總數(shù)據(jù)量相同的情況下，與個別分析獨立的小型數(shù)據(jù)集（dataset）相比，將各個小型數(shù)據(jù)集合并后進行分析可得出許多額外的信息和數(shù)據(jù)關(guān)系性，可用來察覺商業(yè)趨勢、判定研究質(zhì)量、避免疾病擴散、打擊犯罪或測定實時交通路況等。Gartner：“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。IDC定義：為了更為經(jīng)濟的從高頻率獲取的、大容量的、不同結(jié)構(gòu)和類型的數(shù)據(jù)中獲取價值，而設(shè)計的新一代架構(gòu)和技術(shù)。2021/5/993四、云計算技術(shù)與大數(shù)據(jù)時代

大數(shù)據(jù)的特征5Volume（大量）：數(shù)據(jù)體量巨大。

從TB級別，躍升到PB級別；Variety（多樣）：數(shù)據(jù)類型繁多。

網(wǎng)絡(luò)日志、視頻、圖片、傳感器數(shù)據(jù)、地理位置信息等。Velocity（高速）：處理速度快，1秒定律，可從各種類型的數(shù)據(jù)中快速獲得高價值的信息，這是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。Value（價值）：合理利用低密度價值的數(shù)據(jù)并對其進行正確、準確的分析，將會帶來很高的價值回報。4個“V”2021/5/994四、云計算技術(shù)與大數(shù)據(jù)時代

大數(shù)據(jù)與云計算61目前數(shù)據(jù)系統(tǒng)架構(gòu)存在問題2021/5/995四、云計算技術(shù)與大數(shù)據(jù)時代

大數(shù)據(jù)與云計算6