第01章-大數據與云計算

西北農林科技大學云計算

信息工程學院推薦資源教材云計算第三版電子工業(yè)出版社2015年參考教材虛擬化與云計算小組著.虛擬化與云計算，電子工業(yè)出版社，2009年.陸嘉恒，文繼榮著.分布式系統(tǒng)及云計算概論.清華大學出版社，2013.TomWhite著曾大聃譯.《Hadoop權威指南》，清華大學出版社，2015年.西北農林科技大學大數據與云計算第1章目錄

大數據時代云計算——大數據的計算云計算發(fā)展現狀云計算實現機制云計算壓倒性的成本優(yōu)勢1.1大數據時代第一章大數據與云計算“大數據”(BigData)的搜索指數數據來源：百度指數

“大數據”這個詞從2012年才引起關注，之后搜索量便迅猛增長。為什么大數據這么受關注？(EB)(年份)全球數據總量變化圖1.1大數據時代第一章大數據與云計算為什么全球數據量增長如此之快？一：數據產生方式的改變二：人類的活動越來越依賴數據1.人類的日常生活已經與數據密不可分2.科學研究進入了“數據科學”時代3.各行各業(yè)也越來越依賴大數據手段來開展工作1.1大數據時代第一章大數據與云計算何謂大數據？海量數據或巨量數據，其規(guī)模巨大到無法通過目前主流的計算機系統(tǒng)在合理時間內獲取、存儲、管理、處理并提煉以幫助使用者決策。定義101C4V多樣（Variety）數據增長速度快，而且越新的數據價值越大，這就要求對數據的處理速度也要快?？焖伲╒elocity）在成本可接受的條件下，通過快速采集、發(fā)現和分析，從大量、多種類別的數據中提取價值的體系架構。價值密度低（Value）復雜度（Complexity）數據量大（Volume）存儲的數據量巨大，PB級別是常態(tài)，因而對其分析的計算量也大。數據的來源及格式多樣，數據格式除了傳統(tǒng)的結構化數據外，還包括半結構化或非結構化數據，比如用戶上傳的音頻和視頻內容。對數據的處理和分析的難度大。1.1大數據時代第一章大數據與云計算目錄

大數據時代云計算——大數據的計算云計算發(fā)展現狀云計算實現機制云計算壓倒性的成本優(yōu)勢G=f(x)大數據與云計算的關系我們的目標云計算大數據1.2云計算——大數據的計算第一章大數據與云計算云計算是什么？“它起源于我們將互聯網視為云的時候…我們不關心消息去往何處…云為我們屏蔽了復雜性”KevinMarks,Google“融合的云是對服務器，應用，數據，基礎設施的復雜性和異構平臺的簡化抽象”Amazon’sCEOJeffBezos1.2云計算——大數據的計算第一章大數據與云計算1.2云計算——大數據的計算第一章大數據與云計算云計算的發(fā)展路線并行計算集群計算網格計算云計算1.2云計算——大數據的計算第一章大數據與云計算并行計算并行計算或稱平行計算是相對于串行計算來說的。并行計算（ParallelComputing）是指同時使用多種計算資源解決計算問題的過程。為執(zhí)行并行計算，計算資源應包括一臺配有多處理機（并行處理）的計算機、一個與網絡相連的計算機專有編號（？），或兩者結合使用。并行計算的主要目的是快速解決大型且復雜的計算問題。并行計算可以劃分成時間并行和空間并行。時間并行即流水線技術，空間并行使用多個處理器執(zhí)行并發(fā)計算，當前研究的主要是空間的并行問題。以程序和算法設計人員的角度看，并行計算又可分為數據并行和任務并行。數據并行把大的任務化解成若干個相同的子任務，處理起來比任務并行簡單。/wiki/Parallel_computing1.2云計算——大數據的計算第一章大數據與云計算集群計算計算機集群將一組松散集成的計算機軟件或硬件連接起來高度緊密地協(xié)作完成計算工作。在某種意義上，他們可以被看作是一臺計算機。集群系統(tǒng)中的單個計算機通常稱為節(jié)點，通常通過局域網連接，但也有其它的可能連接方式。集群計算機通常用來改進單個計算機的計算速度和/或可靠性。一般情況下集群計算機比單個計算機，比如工作站或超級計算機性價比要高得多。根據組成集群系統(tǒng)的計算機之間體系結構是否相同，集群可分為同構與異構兩種。集群計算機按功能和結構可以分為，高可用性集群（High-availability(HA)clusters）、負載均衡集群（Loadbalancingclusters）、高性能計算集群（High-performance(HPC)clusters）、網格計算（Gridcomputing）。/wiki/Cluster_(computing)1.2云計算——大數據的計算第一章大數據與云計算分布式計算分布式計算這個研究領域，主要研究分散系統(tǒng)（Distributedsystem）如何進行計算。分散系統(tǒng)是一組計算機，通過計算機網絡相互鏈接與通信后形成的系統(tǒng)。把需要進行大量計算的工程數據分區(qū)成小塊，由多臺計算機分別計算，在上傳運算結果后，將結果統(tǒng)一合并得出數據結論的科學。/wiki/Distributed_computing1.2云計算——大數據的計算第一章大數據與云計算并行計算與分布式計算的區(qū)別并行計算與分布式計算都是運用并行來獲得更高性能，化大任務為小任務。簡單說來，如果處理單元共享內存，就稱為并行計算，反之就是分布式計算。也有人認為分布式計算是并行計算的一種特例。1.2云計算——大數據的計算第一章大數據與云計算并行計算與分布式計算的區(qū)別并行計算與分布式計算都是運用并行來獲得更高性能，化大任務為小任務。簡單說來，如果處理單元共享內存，就稱為并行計算，反之就是分布式計算。也有人認為分布式計算是并行計算的一種特例。分布式的任務包互相之間有獨立性，上一個任務包的結果未返回或者是結果處理錯誤，對下一個任務包的處理幾乎沒有什么影響。因此，分布式的實時性要求不高，而且允許存在計算錯誤（因為每個計算任務給好幾個參與者計算，上傳結果到服務器后要比較結果，然后對結果差異大的進行驗證。1.2云計算——大數據的計算第一章大數據與云計算并行計算與分布式計算的區(qū)別并行計算與分布式計算都是運用并行來獲得更高性能，化大任務為小任務。簡單說來，如果處理單元共享內存，就稱為并行計算，反之就是分布式計算。也有人認為分布式計算是并行計算的一種特例。并行程序并行處理的任務包之間有很大的聯系，而且并行計算的每一個任務塊都是必要的，沒有浪費的分割的，就是每個任務包都要處理，而且計算結果相互影響，就要求每個的計算結果要絕對正確，而且在時間上要盡量做到同步，而分布式的很多任務塊可以根本就不處理，有大量的無用數據塊，所以說分布式計算的速度盡管很快，但是真正的“效率”是低之再低的，可能一直在尋找，但是永遠都找不到，也可能一開始就找到了；而并行處理不同，它的任務包個數相對有限，在一個有限的時間應該是可能完成的。1.2云計算——大數據的計算第一章大數據與云計算網格計算網格計算是分布式計算的一種，也是一種與集群計算非常相關的技術。如果我們說某項工作是分布式的，那么，參與這項工作的一定不只是一臺計算機，而是一個計算機網絡，顯然這種“螞蟻搬山”的方式將具有很強的數據處理能力。網格計算的實質就是組合與共享資源并確保系統(tǒng)安全。網格計算通過利用大量異構計算機的未用資源（CPU周期和磁盤存儲），將其作為嵌入在分布式電信基礎設施中的一個虛擬的計算機集群，為解決大規(guī)模的計算問題提供一個模型。網格計算的焦點放在支持跨管理域計算的能力，這使它與傳統(tǒng)的計算機集群或傳統(tǒng)的分布式計算相區(qū)別。網格計算的目標是解決對于任何單一的超級計算機來說仍然大得難以解決的問題，并同時保持解決多個較小的問題的靈活性。這樣，網格計算就提供了一個多用戶環(huán)境。/wiki/Grid_computing1.2云計算——大數據的計算第一章大數據與云計算云計算云計算，不只是計算等計算機概念，還有運營服務等概念了。它是分布式計算、并行計算和網格計算的發(fā)展，或者說是這些概念的商業(yè)實現。云計算不但包括分布式計算還包括分布式存儲和分布式緩存。分布式存儲又包括分布式文件存儲和分布式數據存儲。彈性能力虛擬化服務互聯網多租戶動態(tài)配置按需付費IaaSPaaSSaaS云計算的定義—wiki第一章大數據與云計算云計算的定義——NIST美國國家標準技術研究院云計算是一種模型，它可以實現隨時隨地，便捷地，隨需應變地從可配置計算資源共享池中獲取所需的資源(例如，網絡、服務器、存儲、應用、及服務)，資源能夠快速供應并釋放，使管理資源的工作量和與服務提供商的交互減小到最低限度。云計算的基本特點是：隨需應變的自助服務、無處不在的網絡訪問、資源共享池、快速而靈活、計量付費服務。廣大用戶依托互聯網某些節(jié)點強大的信息資源、包括存儲資源、計算資源、軟件資源、數據資源，管理資源為己所用，強調需求驅動，用戶主導，按需服務，即用即付，用完即散，不對用戶集中控制，用戶不關心服務者在什么地方。云計算的定義第一章大數據與云計算云計算長定義云計算短定義云計算是一種商業(yè)計算模型。它將計算任務分布在大量計算機構成的資源池上，使各種應用系統(tǒng)能夠根據需要獲取計算力、存儲空間和信息服務。云計算是通過網絡按需提供可動態(tài)伸縮的廉價計算服務。將軟件作為服務SaaS（SoftwareasaService）將平臺作為服務PaaS（PlatformasaService）將基礎設施作為服務IaaS（InfrastructureasaService）針對性更強，它將某些特定應用軟件功能封裝成服務如：SalesforceonlineCRM對資源的抽象層次更進一步，提供用戶應用程序運行環(huán)境如：GoogleAppEngineMicrosoftWindowsAzure將硬件設備等基礎資源封裝成服務供用戶使用如：AmazonEC2/S3云計算按服務類型大致分為三類：專用通用1.2云計算——大數據的計算第一章大數據與云計算服務模型與系統(tǒng)架構：SaaSPaaSIaaSNetworkH/WVirtualizationOSDatabaseMiddlewareApplicationManagement1.2云計算——大數據的計算第一章大數據與云計算部署模型：公有云社區(qū)云私有云混合云企業(yè)獨立擁有或獨立承租的云系統(tǒng)在特定社區(qū)內共享的云系統(tǒng)，如：由某公司及其合作伙伴共同承建并分享使用的云系統(tǒng)面向公眾開放租售的大規(guī)模云系統(tǒng)由以上三種云系統(tǒng)中的兩種以上的云系統(tǒng)共同配合而提供IT能力的混合型云系統(tǒng)1.2云計算——大數據的計算第一章大數據與云計算云計算的7個特點超大規(guī)模虛擬化高可靠性通用性高可伸縮性按需服務極其廉價1.2云計算——大數據的計算第一章大數據與云計算基本特征：目錄

大數據時代云計算——大數據的計算云計算發(fā)展現狀云計算實現機制云計算壓倒性的成本優(yōu)勢微軟緊跟云計算步伐，推出了WindowsAzure操作系統(tǒng)國外云計算的先行者亞馬遜的云計算稱為AmazonWebServices（AWS）谷歌是最大的云計算技術的使用者率先在全球提供了彈性計算云EC2（ElasticComputingCloud）和簡單存儲服務S3（SimpleStorageService），為企業(yè)提供計算和存儲服務。收費的服務項目包括存儲空間、帶寬、CPU資源以及月租費。AWS服務的種類非常齊全全球用戶數量已經超過100萬最大的云計算技術的使用者谷歌搜索引擎就建立在分布在200多個站點、超過100萬臺的服務器的支撐之上，而且這些設施的數量正在迅猛增長發(fā)表學術論文的形式公開其云計算三大法寶：GFS、MapReduce和Bigtable，并在美國、中國等高校開設如何進行云計算編程的課程采用GoogleDocs之類的應用，用戶數據會保存在互聯網上的某個位置，可以通過任何一個與互聯網相連的終端十分便利地訪問和共享這些數據谷歌已經允許第三方在谷歌的云計算中通過GoogleAppEngine運行大型并行應用程序微軟于2008年10月推出了WindowsAzure操作系統(tǒng)。Azure(譯為“藍天”)是繼Windows取代DOS之后，微軟的又一次顛覆性轉型。微軟的云平臺包括幾十萬臺服務器.在中國，微軟2014年3月27日宣布由世紀互聯負責運營的MicrosoftAzure公有云服務正式商用，這是國內首個正式商用的國際公有云服務平臺。Azure的底層是微軟全球基礎服務系統(tǒng)，由遍布全球的第四代數據中心構成。微軟將為WindowsAzure用戶推出許多新的功能，不但能更簡單地將現有的應用程序轉移到云中，而且可以加強云托管應用程序的可用服務，充分體現出微軟的“云”+“端”戰(zhàn)略。國內云計算崛起代表企業(yè)存儲服務為特色多處擁有云計算數據中心游戲托管為特色國際上云計算產品最全提供類似AWS服務專門支撐智能硬件大數據免費托管目錄

大數據時代云計算——大數據的計算云計算發(fā)展現狀云計算實現機制云計算壓倒性的成本優(yōu)勢41服務接口服務注冊服務查找服務訪問服務工作流SOA構建層管理中間件層環(huán)境配置計算資源池存儲資源池網絡資源池數據資源池軟件資源池計算機存儲器網絡設施數據庫軟件資源池層物理資源層賬號管理用戶管理任務管理資源管理交互管理使用計費身份認證訪問授權綜合防護安全審計安全管理任務調度映像部署和管理任務執(zhí)行生命期管理故障檢測負載均衡故障恢復監(jiān)視統(tǒng)計1.4云計算實現機制第一章大數據與云計算計算機、存儲器、網絡設施、數據庫和軟件等封裝云計算能力成標準的WebServices服務，并納入到SOA體系云計算的資源管理，并對眾多應用任務進行調度，使資源能夠高效、安全地為應用提供服務將大量相同類型的資源構成同構或接近同構的資源池云計算體系結構SOA構建層管理中間件層物理資源層資源池層管理中間件層和資源池層是云計算技術的最關鍵部分，SOA構建層的功能更多依靠外部設施提供。1.4云計算實現機制第一章大數據與云計算均衡使用云資源節(jié)點，檢測節(jié)點故障并試圖恢復或屏蔽之，并對資源的使用情況進行監(jiān)視統(tǒng)計

資源管理

任務管理安全管理

用戶管理

云計算的管理中間件層

執(zhí)行用戶或應用提交的任務，包括完成用戶任務映象（Image）的部署和管理、任務調度、任務執(zhí)行、任務生命期管理等實現云計算商業(yè)模式的一個必不可少的環(huán)節(jié)，包括提供用戶交互接口、管理和識別用戶身份、創(chuàng)建用戶程序的執(zhí)行環(huán)境、對用戶的使用進行計費等保障云計算設施的整體安全，包括身份認證、訪問授權、綜合防護和安全審計等

1.4云計算實現機制44第一章大數據與云計算簡化的IaaS實現機制圖服務目錄是用戶可以訪問的服務清單。系統(tǒng)管理模塊負責管理和分配所有可用的資源，其核心是負載均衡。配置工具負責在分配的節(jié)點上準備任務運行環(huán)境。監(jiān)視統(tǒng)計模塊負責監(jiān)視節(jié)點的運行狀態(tài)，并完成用戶使用節(jié)點情況的統(tǒng)計。用戶交互接口向應用以WebServices方式提供訪問接口，獲取用戶需求。1.4云計算實現機制第一章大數據與云計算目錄

大數據時代云計算——大數據的計算云計算發(fā)展現狀云計算實現機制云計算壓倒性的成本優(yōu)勢47全球企業(yè)IT開銷發(fā)展趨勢1.5