專題18 云計(jì)算簡(jiǎn)介

云計(jì)算簡(jiǎn)介

----XXX1、什么是云計(jì)算？云計(jì)算（CloudComputing）：是分布式處理(DistributedComputing)、并行處理(ParallelComputing)和網(wǎng)格計(jì)算(GridComputing)的發(fā)展，或者說(shuō)是這些計(jì)算機(jī)科學(xué)概念的商業(yè)實(shí)現(xiàn)。是指基于互聯(lián)網(wǎng)的超級(jí)計(jì)算模式--即把存儲(chǔ)于個(gè)人電腦、移動(dòng)電話和其他設(shè)備上的大量信息和處理器資源集中在一起，協(xié)同工作。在極大規(guī)模上可擴(kuò)展的信息技術(shù)能力向外部客戶作為服務(wù)來(lái)提供的一種計(jì)算方式。2、云計(jì)算的發(fā)展歷程1959年6月，ChristopherStrachey發(fā)表虛擬化論文，虛擬化是今天云計(jì)算基礎(chǔ)架構(gòu)的基石。1984年，Sun公司的聯(lián)合創(chuàng)始人JohnGage說(shuō)出了“網(wǎng)絡(luò)就是計(jì)算機(jī)”的名言，用于描述分布式計(jì)算技術(shù)帶來(lái)的新世界，今天的云計(jì)算正在將這一理念變成現(xiàn)實(shí)。1996年，網(wǎng)格計(jì)算Globus開(kāi)源網(wǎng)格平臺(tái)起步。1998年，VMware(威睿公司)成立并首次引入X86的虛擬技術(shù)。1999年，MarcAndreessen創(chuàng)建LoudCloud，是第一個(gè)商業(yè)化的IaaS平臺(tái)。2000年，SaaS興起。2004年，Google發(fā)布MapReduce論文。Hadoop就是Google集群系統(tǒng)的一個(gè)開(kāi)源項(xiàng)目總稱，主要由HDFS、MapReduce和Hbase組成，其中HDFS是GoogleFileSystem(GFS)的開(kāi)源實(shí)現(xiàn);MapReduce是GoogleMapReduce的開(kāi)源實(shí)現(xiàn);HBase是GoogleBigTable的開(kāi)源實(shí)現(xiàn)。2004年，DougCutting和MikeCafarella實(shí)現(xiàn)了Hadoop分布式文件系統(tǒng)(HDFS)和Map-Reduce，Hadoop并成為了非常優(yōu)秀的分布式系統(tǒng)基礎(chǔ)架構(gòu)。2005年，Amazon宣布AmazonWebServices云計(jì)算平臺(tái)。

2006年，Amazon相繼推出在線存儲(chǔ)服務(wù)S3和彈性計(jì)算云EC2等云服務(wù)。

2006年，Sun推出基于云計(jì)算理論的“BlackBox”計(jì)劃。

2008年4月，GoogleAppEngine發(fā)布。

2008年5月，Sun在2008JavaOne開(kāi)發(fā)者大會(huì)上宣布推出“Hydrazine”計(jì)劃。

2008年9月Google公司推出GoogleChrome瀏覽器，將瀏覽器徹底融入云計(jì)算時(shí)代。

2008年10月，微軟發(fā)布其公共云計(jì)算平臺(tái)——WindowsAzurePlatform，由此拉開(kāi)了微軟的云計(jì)算大幕。

2010年1月，Microsoft正式發(fā)布MicrosoftAzure云平臺(tái)服務(wù)。結(jié)合云計(jì)算應(yīng)用背景,我們可以得出云計(jì)算主要具有以下特征:(1)彈性配置:用戶可以根據(jù)上層應(yīng)用的用戶請(qǐng)求數(shù)量的實(shí)時(shí)變化彈性配置資源池,有效避免應(yīng)用空閑時(shí)段的資源浪費(fèi);(2)虛擬化資源池:云計(jì)算運(yùn)營(yíng)商利用虛擬化技術(shù)實(shí)現(xiàn)對(duì)硬件資源的動(dòng)態(tài)配置,提高資源部署的靈活性;(3)即付即用:用戶根據(jù)租用虛擬機(jī)的類型和使用量進(jìn)行付費(fèi),并可以在任意時(shí)間啟動(dòng)虛擬機(jī)鏡像;(4)泛在連接:云計(jì)算以網(wǎng)絡(luò)為載體向用戶提供服務(wù)。用戶可以使用任意客戶端隨時(shí)隨地獲取云服務(wù)。3、云計(jì)算的特征4、云計(jì)算的體系架構(gòu)相對(duì)于網(wǎng)格計(jì)算，云計(jì)算在面對(duì)互聯(lián)網(wǎng)規(guī)模的問(wèn)題時(shí)有著先天的優(yōu)勢(shì)?！霸啤蓖ǔ１幻枋鰹橐粋€(gè)擁有巨大計(jì)算能力和存儲(chǔ)能力的資源池，對(duì)外提供抽象的訪問(wèn)接口，允許用戶通過(guò)標(biāo)準(zhǔn)協(xié)議進(jìn)行存儲(chǔ)。云建立在虛擬化基礎(chǔ)之上，廣泛使用通用高端協(xié)議如WebService（WSDL，SOAP等）或先進(jìn)的Web2.0技術(shù)（如REST，RSS，AJAX等）等技術(shù)，通過(guò)這些協(xié)議或技術(shù)，將運(yùn)行在云中的結(jié)果展現(xiàn)給用戶或用戶端應(yīng)用程序。而在云內(nèi)部，完全可以采用積淀十多年的網(wǎng)格計(jì)算技術(shù)以獲得標(biāo)準(zhǔn)化、安全防護(hù)、資源管理和虛擬化等方面的支持。對(duì)云的架構(gòu)的定義也存在多個(gè)不同的版本，為了能夠與網(wǎng)格計(jì)算進(jìn)行比較，在這里給出一個(gè)相對(duì)應(yīng)的層次結(jié)構(gòu)，分別是構(gòu)造層、統(tǒng)一資源層、平臺(tái)層和應(yīng)用層。云計(jì)算的平臺(tái)層次結(jié)構(gòu)如下圖所示：云計(jì)算平臺(tái)層次結(jié)構(gòu)圖由于使用了統(tǒng)一資源層，解決了資源的異構(gòu)性問(wèn)題，云計(jì)算可以提供三個(gè)類別的服務(wù)，分別為：IaaS（基礎(chǔ)設(shè)施即服務(wù)），PaaS（平臺(tái)即服務(wù)）和SaaS（軟件即服務(wù)）。這幾種服務(wù)形式將不同層級(jí)的資源組合在一起，但也存在某種重疊的現(xiàn)象。5、云計(jì)算的服務(wù)類別6、云計(jì)算的資源管理資源管理的基本功能是接受來(lái)自虛擬組織內(nèi)部用戶/應(yīng)用的資源請(qǐng)求，并把特定的資源分配給資源請(qǐng)求者。合理地調(diào)度相應(yīng)的資源，使請(qǐng)求資源的作業(yè)得以運(yùn)行。為實(shí)現(xiàn)上述功能，通常情況下，云計(jì)算提供了四種基本的資源服務(wù)：即資源發(fā)現(xiàn)、資源分發(fā)、資源存儲(chǔ)和資源調(diào)度。資源發(fā)現(xiàn)與資源分發(fā)提供相互補(bǔ)充的功能。資源發(fā)現(xiàn)由網(wǎng)絡(luò)應(yīng)用啟動(dòng)并在虛擬組織中發(fā)現(xiàn)適用于本應(yīng)用的的資源。資源分發(fā)是資源發(fā)現(xiàn)的逆過(guò)程，按資源的信息試圖發(fā)現(xiàn)能最適合利用該資源的應(yīng)用。資源分發(fā)和資源發(fā)現(xiàn)以及資源存儲(chǔ)是資源調(diào)度的前提條件，資源調(diào)度系統(tǒng)把所需資源分配到相應(yīng)的請(qǐng)求上去，包括對(duì)不同結(jié)點(diǎn)資源的協(xié)作分配。6.1計(jì)算模型云計(jì)算的數(shù)據(jù)處理方式是同一時(shí)間內(nèi)，云中的所有資源可以被所有的用戶共享，獨(dú)占資源由隊(duì)列系統(tǒng)管理以避免形成死鎖。在運(yùn)行的過(guò)程中，隨著用戶量的增加和計(jì)算規(guī)模的驟增，這種處理方式必然產(chǎn)生一定的延遲，在保證良好的QoS的同時(shí)，這些延滯能否被用戶接受，將成為云計(jì)算在未來(lái)的發(fā)展過(guò)程中面臨的一大挑戰(zhàn)。利用云計(jì)算的靈活性和易擴(kuò)展性是解決資源緊張的有效方法，但資源的快速增加會(huì)造成浪費(fèi)。利用網(wǎng)格的計(jì)算模型，針對(duì)任務(wù)目標(biāo)進(jìn)行分類處理，增加適當(dāng)?shù)馁Y源量，將可以解決云計(jì)算的延遲問(wèn)題。6.2數(shù)據(jù)模型以數(shù)據(jù)為中心（DataCentric），是為了解決海量數(shù)據(jù)的獲取、存儲(chǔ)、管理和搜索的問(wèn)題，并使數(shù)據(jù)變得越來(lái)越智能化、結(jié)構(gòu)化。沒(méi)有數(shù)據(jù)，計(jì)算將無(wú)意義可言，以數(shù)據(jù)為中心的計(jì)算，有別于以應(yīng)用為中心的計(jì)算，未來(lái)將以數(shù)據(jù)的分析和處理作為計(jì)算技術(shù)研究和體驗(yàn)的核心，相關(guān)的研究領(lǐng)域則涵蓋了平臺(tái)技術(shù)探索、數(shù)據(jù)分割、數(shù)據(jù)挖掘、互聯(lián)網(wǎng)數(shù)據(jù)搜索等方面。從應(yīng)用為中心到數(shù)據(jù)為中心的轉(zhuǎn)變決不只是技術(shù)思路的進(jìn)化，它還標(biāo)志著一個(gè)更加人性化、智能化的計(jì)算時(shí)代的開(kāi)始，將來(lái)無(wú)論是工作，還是娛樂(lè)，這個(gè)時(shí)代的效率都將變得更高。采用云-端分布的存儲(chǔ)方式的優(yōu)勢(shì)是明顯的：（1）數(shù)據(jù)的分布存儲(chǔ)可以充分利用云和端多種形式的計(jì)算資源，確保數(shù)據(jù)元素的信息能夠被快速高效檢索。（2）云-端的分布存儲(chǔ)，充分利用數(shù)據(jù)定位的效能，盡量減少數(shù)據(jù)的移動(dòng)量，最終提高應(yīng)用程序的性能和擴(kuò)展性非常重要。面對(duì)大量的數(shù)據(jù)，先遷移數(shù)據(jù)然后再處理將有可能造成資源緊張，另外也會(huì)造成處理代價(jià)的提高。因此，可以通過(guò)任務(wù)調(diào)度直接在數(shù)據(jù)上進(jìn)行處理來(lái)降低不必要的開(kāi)銷。6.3數(shù)據(jù)定位云項(xiàng)目普遍采用的技術(shù)方案是基于Google開(kāi)發(fā)的MapReduce規(guī)范以及衍生系統(tǒng)，這種技術(shù)是一種大型虛擬分布式管理技術(shù)，目前實(shí)現(xiàn)的產(chǎn)品有GFS、Hadoop等項(xiàng)目。應(yīng)用程序編寫人員只需將精力放在應(yīng)用程序本身，而關(guān)于集群的處理問(wèn)題，包括可靠性和可擴(kuò)展性，則交由平臺(tái)來(lái)處理。MapReduce通過(guò)“Map（映射）”和“Reduce（化簡(jiǎn)）”這樣兩個(gè)簡(jiǎn)單的概念來(lái)構(gòu)成運(yùn)算基本單元，用戶只需提供自己的Map函數(shù)以及Reduce函數(shù)即可并行處理海量數(shù)據(jù)。MapReduce工作在GFS上層，加載數(shù)據(jù)塊及其副本。當(dāng)一個(gè)文件需要處理，作業(yè)調(diào)度程序調(diào)用元數(shù)據(jù)服務(wù)獲得每一塊數(shù)據(jù)的所在主機(jī)節(jié)點(diǎn)，然后在該節(jié)點(diǎn)上執(zhí)行“map”操作，通過(guò)數(shù)據(jù)局部性原理提高定位效率。GFS系統(tǒng)架構(gòu)6.4資源虛擬化云計(jì)算的特征體現(xiàn)在虛擬化、分布式和動(dòng)態(tài)可擴(kuò)展。虛擬化是云計(jì)算最主要的特點(diǎn)。每一個(gè)應(yīng)用部署的環(huán)境和物理平臺(tái)是沒(méi)有關(guān)系的，通過(guò)虛擬平臺(tái)進(jìn)行管理、擴(kuò)展、遷移、備份，各種操作都通過(guò)虛擬層完成。在云計(jì)算中，大部分軟件和硬件已經(jīng)對(duì)虛擬化有一定支持，可以把各種IT資源、軟件、硬件、操作系統(tǒng)和存儲(chǔ)網(wǎng)絡(luò)等要素都進(jìn)行虛擬化，放在云計(jì)算平臺(tái)中統(tǒng)一管理。云計(jì)算使用虛擬化技術(shù)的原因：（1）進(jìn)行服務(wù)和應(yīng)用的整合，通過(guò)將多個(gè)應(yīng)用運(yùn)行在同一個(gè)器上，提高資源利用率；（2）對(duì)各種應(yīng)用按資源需求完成相適應(yīng)的配置，比如有些應(yīng)用需要強(qiáng)大的計(jì)算能力，而有些應(yīng)用需要較大容量的存儲(chǔ)空間，要按這些需求靈活配置，假如通過(guò)硬件來(lái)實(shí)現(xiàn)幾乎是不可能的；（3）虛擬化可以使應(yīng)用從災(zāi)難中快速恢復(fù)，能夠使服務(wù)無(wú)中斷備份和遷移，最大程度提高應(yīng)用程序可用性；（4）資源配置、監(jiān)控、和維護(hù)可以自動(dòng)化操作，公用資源也可以被緩存和重用，這將進(jìn)一步提高資源的響應(yīng)能力。7、云計(jì)算的編程方式（1）MapReduce分布式編程方法MapReduce是一種強(qiáng)大的分布式編程方法，這種方法也是一種函數(shù)語(yǔ)言模型，用于處理大