云計(jì)算-第10章 開源云計(jì)算系統(tǒng)介紹

第10章開源云計(jì)算系統(tǒng)介紹2Hadoop的分布式計(jì)算框架MapReduce、OpenStack的核3主要內(nèi)容主要內(nèi)容·10.1開源云計(jì)算系統(tǒng)Hadoop·10.2開源云計(jì)算軟件Eucalyptus·10.3開源虛擬化云計(jì)算平臺(tái)OpenStack4Hadoop是有Apache軟件基金會(huì)下的一個(gè)開源分布式計(jì)算平臺(tái)。Hadoop以分布式文件系統(tǒng)HDFS和MapReduce(GoogleMapReduce的開源實(shí)現(xiàn))為核心，為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。·不擁有任何私有(非開源)修改地使用了100%開SqoopSqoop(數(shù)據(jù)同步工具)●用于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，提供類Hive(基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù))似于SQL的查詢語(yǔ)言?！褚环N分布的、可伸縮的、大數(shù)據(jù)存儲(chǔ)庫(kù)，Hbase(分布式列存數(shù)據(jù)庫(kù))支持隨機(jī)、實(shí)時(shí)讀/寫訪問。Pig(基于Hadoop的數(shù)據(jù)流系統(tǒng))分析程序的高級(jí)語(yǔ)言和對(duì)這些程序進(jìn)行評(píng)估●為高效傳輸批量數(shù)據(jù)而設(shè)計(jì)的一種工具,用于ApacheHadoop和結(jié)構(gòu)化數(shù)據(jù)存Zookeeper(Zookeeper(分布式協(xié)作服務(wù))Mahout(數(shù)據(jù)挖掘算法庫(kù))Mahout(數(shù)據(jù)挖掘算法庫(kù))●一個(gè)開源數(shù)據(jù)分析集群計(jì)算框架。與Shark 合成一個(gè)較大的DAG任務(wù)，減少M(fèi)ap/Reduce之間的文件存儲(chǔ)。 MapReduce是Google開發(fā)的Java、Python、C++編程模型，處理：文檔數(shù)據(jù)記錄(如文本文件中的行，或數(shù)據(jù)表格中的行)將以“輸入：由map輸出的一組鍵值對(duì)[(k2;v2)]將被進(jìn)行合并處理將同樣主處理：對(duì)傳入的中間結(jié)果列表數(shù)據(jù)進(jìn)行某種整Masterinformedofworkerworkerworker(在本地)Reduce階段分析顧客在Facebook、Twitter等社交網(wǎng)站上對(duì)商品的討論，期望能比懷孕的消息，并且主動(dòng)寄送相關(guān)商品的據(jù)囊括了結(jié)構(gòu)化的數(shù)據(jù)和非結(jié)構(gòu)化的數(shù)據(jù)，如照片、影片、電子郵件數(shù)據(jù)，再放入數(shù)據(jù)倉(cāng)儲(chǔ)系統(tǒng)的數(shù)據(jù)模型中分析，來加快分析速度，也Visa快速發(fā)現(xiàn)可疑交易，1個(gè)月分析時(shí)間縮短成13分鐘位，但每天VisaNet要處理全球上億筆交億個(gè)用戶賬號(hào)之間的關(guān)聯(lián)，得等1個(gè)月。Visa在2009年時(shí)導(dǎo)入了Hadoop,讓分析時(shí)間從1個(gè)月縮短到13分鐘，更快速地找基礎(chǔ)上還開發(fā)了自己的日志分析平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，以及統(tǒng)一的C++編程接口，開發(fā)了HadoopC++擴(kuò)展全球領(lǐng)先的互聯(lián)網(wǎng)公司阿里巴巴WebIDE繼承開發(fā)環(huán)境，使用的相關(guān)系統(tǒng)包括Hive、Pig、Mahout、調(diào)度系統(tǒng)據(jù)流主要內(nèi)容主要內(nèi)容·10.1開源云計(jì)算系統(tǒng)Hadoop·10.2開源云計(jì)算軟件Eucalyptus·10.3開源虛擬化云計(jì)算平臺(tái)OpenStackEucalyptus:桉樹——加州大學(xué)圣巴巴拉分校建立的開源項(xiàng)目 >開發(fā)目的 高度Eucalyptus采用了分層的體系結(jié)構(gòu)，包含五個(gè)主要組件：云控制器(NODENODENODE●在Eucalyptus云內(nèi)，是主要的控制器組件，負(fù)責(zé)管理整個(gè)系CloudControllerClusterController在多集群安裝中，可以將各個(gè)組件(CC、SC、NC和CLC)放置在單獨(dú)的機(jī)器上。多集群的結(jié)果是可用性的提高、負(fù)載·10.1開源云計(jì)算系統(tǒng)Hadoop·10.2開源云計(jì)算軟件Eucalyptus ·10.3開源虛擬化云計(jì)算平臺(tái)OpenStack OpenStack是一個(gè)由Rackspace公司和美國(guó)國(guó)家航空航天局(NASA)共同開發(fā)的云計(jì)算平臺(tái)項(xiàng)目，可以為共有云和私有云服務(wù)提供云計(jì)算基OpenStack的作用是整合各種底層硬件硬件資源，為系統(tǒng)管理員提供Web界面的控制面板以方便資源管理，為開發(fā)者的應(yīng)用程序提供統(tǒng)一管理OpenStack作為IaaS層的云操作系統(tǒng)，主要管理計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)三大類資源。可以規(guī)劃并管理大量虛擬機(jī)，從而允許企業(yè)或服務(wù)提供商按需OpenStack核心功能AssignsjobsBootsdatabasesin34Orchestration-OpenStack核心功能OpenStack有三個(gè)核心開源項(xiàng)目：計(jì)算服務(wù)(Nova)、存儲(chǔ)服務(wù)(計(jì)算服務(wù)NovaNova主要組件database Nova組件介紹Nova組件介紹Nova組件介紹Nova工作流程N(yùn)ova工作流程12息中間件指定消息隊(duì)列3根據(jù)請(qǐng)求的虛擬資源，即65Nova-Compute調(diào)用4物理機(jī)A上Nova-Compute守7Nova-Compute通過調(diào)用Volume-API實(shí)現(xiàn)存儲(chǔ)劃分，最后調(diào)用底層虛擬化Hypervisor技術(shù)，部署虛擬機(jī)。色由安裝的服務(wù)決定，控制節(jié)點(diǎn)包括網(wǎng)絡(luò)控制Network、調(diào)度管理可以部署在同一臺(tái)主機(jī)上，即All-in-One(一般用于測(cè)試),也可以根據(jù)最簡(jiǎn)配置高級(jí)配置需要至少兩個(gè)節(jié)點(diǎn)，除了Nova-Compute外所有服務(wù)都部署在一臺(tái)OpenStack雙點(diǎn)架構(gòu)高級(jí)配置很多情況下(比如為了高可用性),需要把各種管理服務(wù)分別部署在制等),形成更復(fù)雜的架構(gòu)。NodeNatcerNodasSwift是OpenStack開源云計(jì)算項(xiàng)目的子項(xiàng)目之一，是一個(gè)可擴(kuò)展的對(duì)Swift構(gòu)筑在比較便宜的標(biāo)準(zhǔn)硬件存儲(chǔ)基礎(chǔ)設(shè)施之上，通過在軟件層面引入一致性散列技術(shù)和數(shù)據(jù)冗余性，犧牲一定程度的數(shù)據(jù)一致性來達(dá)到高可用性和可伸縮性，支持多租戶模式、容器和對(duì)象讀寫操作，適合吞吐量等)可線性提升。Swift主要組件Swift系統(tǒng)架構(gòu)zone1~z0ne5-AuditorAuditorSwift主要組件●提供賬戶元數(shù)據(jù)和統(tǒng)計(jì)信息SQLite數(shù)據(jù)庫(kù)中或者對(duì)象服務(wù)●緩存的內(nèi)容包括對(duì)象服務(wù)令牌、賬戶和容器的存在信息存地址Swift主要組件存儲(chǔ)在文件系統(tǒng)中統(tǒng)中進(jìn)行排隊(duì)隊(duì)列并進(jìn)行相應(yīng)的更新處理SQLite數(shù)