云計算-第10章 開源云計算系統(tǒng)介紹

第10章開源云計算系統(tǒng)介紹21.開源云計算系統(tǒng)Hadoop2.開源云計算軟件Eucalyptus3.開源虛擬化云計算平臺OpenStack1.掌握Hadoop的體系架構(gòu)、技術(shù)原理和應(yīng)用方案2.掌握Eucalyptus的體系架構(gòu)、技術(shù)原理和應(yīng)用方案3.掌握OpenStack的體系架構(gòu)、技術(shù)原理和應(yīng)用方案Hadoop的分布式計算框架MapReduce、OpenStack的核3主要內(nèi)容主要內(nèi)容·10.1開源云計算系統(tǒng)Hadoop·10.2開源云計算軟件Eucalyptus·10.3開源虛擬化云計算平臺OpenStack4Hadoop是有Apache軟件基金會下的一個開源分布式計算平臺。Hadoop以分布式文件系統(tǒng)HDFS和MapReduce(GoogleMapReduce的開源實現(xiàn))為核心，為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。HDFSHDFSHadoop·不擁有任何私有(非開源)修改地使用了100%開MAPRdoobsdoobsHadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，具有可靠、高效、可伸縮的特點(diǎn)。Hadoop的核心是HDFS和MapReduceTezYARNSharkHive(基于Hadoop的數(shù)據(jù)倉庫)●用于Hadoop的一個數(shù)據(jù)倉庫系統(tǒng)，提供類似于SQL的查詢語言?！褚环N分布的、可伸縮的、大數(shù)據(jù)存儲庫，Hbase(分布式列存數(shù)據(jù)庫)支持隨機(jī)、實時讀/寫訪問。Pig(基于Hadoop的數(shù)據(jù)流系統(tǒng))分析程序的高級語言和對這些程序進(jìn)行評估●為高效傳輸批量數(shù)據(jù)而設(shè)計的一種工具,用于ApacheHadoop和結(jié)構(gòu)化數(shù)據(jù)存Sqoop(數(shù)據(jù)同步工具)Flume(日志收集工具)Zookeeper(分布式協(xié)作服務(wù))Mahout(數(shù)據(jù)挖掘算法庫)分布式計算框架算法集，實現(xiàn)了多種●一個開源數(shù)據(jù)分析集群計算框架。與●即HiveonSpark,一個專門為Spark打造的大規(guī)模數(shù)據(jù)倉庫過程拆分為若干個子過程，同時可以把多個Map/Reduce任務(wù)組合成一個較大的DAG任務(wù)，減少M(fèi)ap/Reduce之間的文件存儲。MapReduce是Google開發(fā)的Java、Python、C++編程模型，MapReduce借鑒了Lisp等函數(shù)編程語言的思想，將要執(zhí)行的問■先通過Map程序?qū)?shù)據(jù)切割成不相關(guān)的區(qū)塊，分配(調(diào)度)給MapReduce中的Map和Reduce操作的抽象描述處理：文檔數(shù)據(jù)記錄(如文本文件中的行，或數(shù)據(jù)表格中的行)將以“●MapReduce中的Map和Reduce操作的抽象描述輸入：由map輸出的一組鍵值對[(k2;v處理：對傳入的中間結(jié)果列表數(shù)據(jù)進(jìn)行某種整理或進(jìn)一MasterinformedofworkerworkerMsendsworker寫中間文件輸入文件Map階段(在本地)Reduce階段輸出文件著業(yè)界對這一開源分布式技術(shù)不斷加深了解，Hadoop被廣泛應(yīng)用于在線旅游、移動數(shù)據(jù)、電子商務(wù)、能源發(fā)現(xiàn)、能源節(jié)省、基礎(chǔ)設(shè)施管Wal-Mart決定采用Hadoop來分析顧客搜尋商品的行為以及用戶透過搜索引擎尋找到Wal-Mart網(wǎng)站的關(guān)鍵詞，利用這些關(guān)鍵詞的分析結(jié)果分析顧客在Facebook、Twitter等社交網(wǎng)站上對商品的討論，期望能比懷孕的消息，并且主動寄送相關(guān)商品的作為全球最大的拍賣網(wǎng)站，eBay具有龐大的用戶數(shù)據(jù)據(jù)囊括了結(jié)構(gòu)化的數(shù)據(jù)和非結(jié)構(gòu)化的數(shù)據(jù)，如照片、影片、電子郵件過Hadoop進(jìn)行數(shù)據(jù)預(yù)先處理，將大塊結(jié)構(gòu)的非結(jié)構(gòu)化數(shù)據(jù)拆解成小型數(shù)據(jù)，再放入數(shù)據(jù)倉儲系統(tǒng)的數(shù)據(jù)模型中分析，來加快分析速度，也全球最大信用卡公司VisaVISA率Visa快速發(fā)現(xiàn)可疑交易，1個月分析時間縮短成13分鐘位，但每天VisaNet要處理全球上億筆交億個用戶賬號之間的關(guān)聯(lián)，得等1個月。Visa在2009年時導(dǎo)入了Hadoop,讓分析時間從1個月縮短到13分鐘，更快速地找出了可疑交易，也能更快對銀行提出預(yù)警全球最大的中文搜索引擎百度Baidu百度百度的Hadoop集群為整個公司的數(shù)據(jù)團(tuán)隊、大搜索團(tuán)隊、社區(qū)產(chǎn)品團(tuán)隊、廣告團(tuán)隊，以及LBS團(tuán)體提供統(tǒng)一的計算和存儲服務(wù)，主要應(yīng)用包括數(shù)基礎(chǔ)上還開發(fā)了自己的日志分析平臺、數(shù)據(jù)倉庫系統(tǒng)，以及統(tǒng)一的C++編程接口，開發(fā)了HadoopC++擴(kuò)展全球領(lǐng)先的互聯(lián)網(wǎng)公司阿里巴巴阿里巴巴的Hadoop集群擁有150個用戶組、4500個集群用戶，為淘寶數(shù)據(jù)、推薦引擎系統(tǒng)、搜索排行榜等。為了便于開發(fā)，阿里巴巴還開發(fā)了Web使用的相關(guān)系統(tǒng)包括Hive、Pig、Mahout、DBSync囡據(jù)流據(jù)流主要內(nèi)容主要內(nèi)容·10.1開源云計算系統(tǒng)Hadoop·10.2開源云計算軟件Eucalyptus·10.3開源虛擬化云計算平臺OpenStackEucalyptus:桉樹——加州大學(xué)圣巴巴拉分校建立的開源項目 將程序連接到有用系統(tǒng)的彈性效能計算體系結(jié)構(gòu)ElasticUtilityComputingArchitectureforLinkingYourProgramstoUsefulSystems功能：Eucalyptus全局掌控各種基于物理設(shè)施的虛擬設(shè)備，實現(xiàn)對整個集群的計算能力的動態(tài)配置>開發(fā)目的 ——Eucalyptus必須能夠在不受其設(shè)計者操控的軟硬件環(huán)境中進(jìn)Eucalyptus是AmazonEC2的一個開源實現(xiàn)，它與EC2的商業(yè)服務(wù)應(yīng)用遷移高度API兼容Eucalyptus采用了分層的體系結(jié)構(gòu)，包含五個主要組件：云控制器(CLOUDCLOUDWALRUSCONTROLLERSTORAGEVMWAREBROKER(OPTIONAL)NODESNODECONTROLLER(NC)VMVMNODECONTROLLER(NC)VMVMNODECONTROLLER(NC)26●26●在Eucalyptus云內(nèi)，是主要的控制器組件，負(fù)責(zé)管理整個系CloudController●Walrus是一個與AmazonS3類似的存儲服務(wù)。這個控制WalrusClusterControllerNodeControllerSOAP/ReSTCloudcontrollerCloudcontrollerNodecontrollerWalrusStoragecontroller28在多集群安裝中，可以將各個組件(CC、SC、NC和CLC)放置在單獨(dú)的機(jī)器上。多集群的結(jié)果是可用性的提高、負(fù)載SOAP/ReSTCloudcontrollerCloudcontrollerStoragecontrollerNodecontrollerNodecontrollerWalrusCloudcontrollerCluster2StoragecontrollerNodecontrollerNodecontroller OpenStack是一個由Rackspace公司和美國國家航空航天局(NASA)共同開發(fā)的云計算平臺項目，可以為共有云和私有云服務(wù)提供云計算基OpenStack的作用是整合各種底層硬件硬件資源，為系統(tǒng)管理員提供Web界面的控制面板以方便資源管理，為開發(fā)者的應(yīng)用程序提供統(tǒng)一管理CLOUOCFEQATNGSYSTEMOpenStack作為IaaS層的云操作系統(tǒng)，主要管理計算、網(wǎng)絡(luò)和存儲三大類資源。可以規(guī)劃并管理大量虛擬機(jī)，從而允許企業(yè)或服務(wù)提供商按需OpenStack核心功能AssignsAssignsjobsBootsdatabaseBootsdatabaserOrchestratesclustersviaBackupsdatabasesinOrchestration-OpenStack核心功能KeystoneCeilometerOpenStack有三個核心開源項目：計算服務(wù)(Nova)、存儲服務(wù)(37計算服務(wù)NovaNova是OpenStack云中的計算組織控制器Nova處理OpenStack云中實例(instances)生命周期的所有活動38Nova主要組件nova-networkQueuedatabasenova-schedulenova-volumeyolumestorageNova組件介紹2.MessageQueue(RabbitMQServer)OpenStack節(jié)點(diǎn)之間通過消息隊列使用AMQP(AdvancedMessage40Nova組件介紹3.ComputeWorker(Nova-Compute)4.NetworkController(Nova41Nova組件介紹5.VolumeWorkers(Nova-Volume)6.Scheduler(Nova-Scheduler)Nova工作流程N(yùn)ova-API對外統(tǒng)一提供標(biāo)準(zhǔn)化接口，各子模塊，如計算資源，存儲queueNova運(yùn)行架構(gòu)Nova工作流程1調(diào)用Compute-Api創(chuàng)建2Compute-API通過RPC的息中間件指定消息隊列"Scheduler"。3根據(jù)請求的虛擬資源，即6結(jié)合DHCP,實現(xiàn)IP分配和5Nova-Compute調(diào)用4物理機(jī)A上Nova-Compute守"Compute物理機(jī)A",接到消息后，根據(jù)虛擬機(jī)基本信7Nova-Compute通過調(diào)用Volume-API實現(xiàn)存儲劃分，最后調(diào)用底層虛擬化Hypervisor技術(shù)，部署虛擬機(jī)。44從功能上看，Nova平臺中有兩類節(jié)點(diǎn)：控制節(jié)點(diǎn)和計算節(jié)點(diǎn)，其角色由安裝的服務(wù)決定，控制節(jié)點(diǎn)包括網(wǎng)絡(luò)控制Network、調(diào)度管理Scheduler、Api服務(wù)、存儲卷管理Nova-Volume等，計算節(jié)點(diǎn)主要提供由于使用了消息總線，因此服務(wù)之間是位置透明的，可以將所有服務(wù)可以部署在同一臺主機(jī)上，即All-in-One(一般用于測試),也可以根據(jù)用在生產(chǎn)環(huán)境Nova平臺配置一般有三種類型：最簡配置標(biāo)準(zhǔn)配置高級配置45需要至少兩個節(jié)點(diǎn)，除了Nova-Compute外所有服務(wù)都部署在一臺OpenStack雙點(diǎn)架構(gòu)標(biāo)準(zhǔn)配置4臺主機(jī)來進(jìn)一步細(xì)化職責(zé)?？刂破?、網(wǎng)絡(luò)、卷和計算職責(zé)分別由ControllerControllerManagementNetworkcomputeNetworkPublicNetworkNetworkStorage46高級配置很多情況下(比如為了高可用性),需要把各種管理服務(wù)分別部署在不同主機(jī)(比如分別提供數(shù)據(jù)庫集群服務(wù)、消息隊列、鏡像管理、網(wǎng)絡(luò)控制等),形成更復(fù)雜的架構(gòu)。StorageNodeNatcerCompukeNodasCompukeNodaswsatNetworsXongeSeniceMelwosSwift是OpenStack開源云計算項目的子項目之一，是一個可擴(kuò)展的對Swift構(gòu)筑在比較便宜的標(biāo)準(zhǔn)硬件存儲基礎(chǔ)設(shè)施之上，通過在軟件層面引入一致性散列技術(shù)和數(shù)據(jù)冗余性，犧牲一定程度的數(shù)據(jù)一致性來達(dá)到高可用性和可伸縮性，支持多租戶模式、容器和對象讀寫操作，適合49數(shù)據(jù)的可靠性，是指數(shù)據(jù)存儲到系統(tǒng)中后，到某一天數(shù)據(jù)一是數(shù)據(jù)存儲容量無限可擴(kuò)展，二是Swift性能(如QPS、吞吐量等)可線性提升。簡單體現(xiàn)在實現(xiàn)易懂、架構(gòu)優(yōu)美、代碼整潔；可依賴是指50Swift主要組件Swift系統(tǒng)架構(gòu)SwiftAPISwift采用完全對稱、面向資源的分布式系統(tǒng)架構(gòu)設(shè)計，所有組件都可擴(kuò)展，避免因單點(diǎn)失效而擴(kuò)散并影響整個系統(tǒng)運(yùn)轉(zhuǎn)；通信方式采CacheServerCacheServerProxyserverServerFindbcationforagivennameinmappingsObjectRingContainerObjectContainerAccountObjectContainerObjectObjectAccountServerAcoomtOhjetAcoomtCbjectUpdaterContainerUpdaterCbjectUpdaterContainerUpdaterAccountUpdaterObjectObjectAuditorContainerContainerContainerAuditorkentualconsisteney-Replicatorintegritychecking-AccountAuditorSwift主要組件認(rèn)證服務(wù)(Auth