Openstack Sahara組件和架構(gòu)簡介

1、OpenstackSahara組件和架構(gòu)簡介1簡介ApacheHadoop是目前被廣泛使用的主流大數(shù)據(jù)處理計(jì)算框架，Sahara項(xiàng)目旨在使用用戶能夠在Openstack平臺上便于創(chuàng)建和管理Hadoop以及其他計(jì)算框架集群，實(shí)現(xiàn)類似AWS的EMR(AmazonElasticMapReduceservice)服務(wù)。用戶只需要提供簡單的參數(shù)，如版本信息、集群拓?fù)?、?jié)點(diǎn)硬件信息等，利用Sahara服務(wù)能夠在數(shù)分鐘時(shí)間內(nèi)快速地部署Hadoop、Spark、Storm集群。Sahara還支持節(jié)點(diǎn)的彈性擴(kuò)展，能夠方便地按需增加或者減少計(jì)算節(jié)點(diǎn)，實(shí)現(xiàn)彈性數(shù)據(jù)計(jì)算服務(wù)。它特別適合開發(fā)人員或者QA在Opensta

2、ck平臺上快速部署大數(shù)據(jù)處理計(jì)算集群。它特效包括： Openstack的標(biāo)準(zhǔn)組件之一； 通過RESTAPI和DashboardUI界面管理集群； 支持多種數(shù)據(jù)處理計(jì)算框架，包括： 多種Hadoop廠商發(fā)行版，比如CDH等； ApacheSpark和Storm； 可插除的Hadoop安裝引擎； 集成廠商的特定管理工具，如ApacheAmbariandClouderaManagementConsole。支持配置模板。它和其他Openstack組件交互，如圖：KeysliirieSwiftHorizonUserGlanceHadoopiE的曰Hladoopjobs；createVM,getVMinf

3、oauthenticateuserSahara2.工作流程sahara提供兩個(gè)層次的API,分別為集群管理（clusterprovisioning）和任務(wù)管理（analyticsasaservice）。集群管理工作流包括：1. 選擇Hadoop發(fā)行版本；2. 選擇base鏡像，base鏡像用于生成工作節(jié)點(diǎn)，base鏡像或者已經(jīng)預(yù)先安裝了Hadoop的必要組件，或者提供可插除的可自動(dòng)快速部署Hadoop的工具。base鏡像可以自己制作，也可以直接下載：http:/sahara-3. 集群配置，包括集群大小、集群拓?fù)洌ㄅ渲媒M件角色）和一些附加參數(shù)（如堆大小、HDFS冗余份數(shù)等）；4. 創(chuàng)建集群，s

4、ahara將自動(dòng)創(chuàng)建虛擬機(jī)、部署和配置數(shù)據(jù)分析計(jì)算框架集群；5. 集群管理，如增加或者刪除節(jié)點(diǎn)；6. 集群銷毀，用戶不需要時(shí)，可以刪除集群，釋放所有的資源。任務(wù)管理工作流包括：1.選擇預(yù)先定義的數(shù)據(jù)處理計(jì)算框架以及版本；2. 任務(wù)配置： 選擇任務(wù)類型：pig，hive，java-jar等； 提供任務(wù)腳本源或者jar包地址； 選擇輸入、輸出地址。限制集群大??；執(zhí)行任務(wù)，注意所有底層的集群管理和任務(wù)執(zhí)行流程對用戶是完全透明的，當(dāng)任務(wù)執(zhí)行完后，集群將會(huì)自動(dòng)移除提交的任務(wù)；獲取處理結(jié)果（如Swift）。3. 用戶視角通過sahara管理集群，用戶主要需要操作以下三個(gè)實(shí)體對象：NodeGroupTemp

5、lates,ClusterTemplatesandClusters: NodeGroupTemplates:設(shè)置單一節(jié)點(diǎn)的模板，包括啟動(dòng)虛擬機(jī)的flavor、安全組、可用域、鏡像等，以及配置Hadoop角色，比女口namenode、secondarynamenode、resourcemanager。比如我們可以創(chuàng)建Master節(jié)點(diǎn)模板，flavor為m1.large，啟動(dòng)鏡像為sahara-mitaka-vanilla-hadoop-2.7.1-ubuntu-14.04，配置namenode、resourcemanager、secondarynamenode角色，倉【J建Slave節(jié)點(diǎn)模板，f

6、lavor為m1.large,鏡像為sahara-mitaka-vanilla-hadoop-2.7.1-ubuntu-14.04，配置角色為datanode、nodemanager等。 ClusterTemplates：即集群拓?fù)?，包括?jié)點(diǎn)數(shù)量（如Master數(shù)量、Slave數(shù)量）、Hadoop參數(shù)配置，比如HDFS配置、YARN配置等。 Clusters：集群管理，包括集群擴(kuò)容、集群啟動(dòng)、集群刪除等。Sahara允許用戶自由組合節(jié)點(diǎn)角色，比如JobTracker和NameNode可以運(yùn)作在同一個(gè)虛擬機(jī)中，也可以分離在不同的虛擬機(jī)中。但是Sahara會(huì)檢查集群是否有效，比如不允許創(chuàng)建只有一系

7、列DataNode節(jié)點(diǎn)但不存在NameNode節(jié)點(diǎn)的集群。Sahara遵從Openstack的通用訪問策略，即支持租戶、用戶等權(quán)限管理。4. 集成對象存儲服務(wù)Sahara支持從Swift對象存儲讀取數(shù)據(jù)和保存結(jié)果數(shù)據(jù)，集成文檔參考/developer/sahara/userdoc/hadoop-swift.html。5. 集群監(jiān)控除了支持Hadoop廠商提供的監(jiān)控工具，Sahara還提供可插除集成其他外部監(jiān)控工具，比如NagiosZabbix，這些外部工具完全和集群分離，可以單獨(dú)部署在一個(gè)單獨(dú)的虛擬機(jī)，因此可以同時(shí)監(jiān)控多個(gè)集群。6. 架構(gòu)主要包括

8、以下幾個(gè)組件： Authcomponent（認(rèn)證組件）-負(fù)責(zé)和認(rèn)證服務(wù)交互完成客戶認(rèn)證。 DAL-數(shù)據(jù)訪問層，負(fù)責(zé)為持久化數(shù)據(jù)提供數(shù)據(jù)庫訪問接口。 SecureStorageAccessLayer（安全存儲訪問層）-保存用戶認(rèn)證信息，比如用戶密碼、密鑰等。 ProvisioningEngine-該組件負(fù)責(zé)和Openstack其他組件交互，比如Nova組件、Heat組件、Cinder組件以及Gianee組件等。 VendorPlugins（廠商插件）-負(fù)責(zé)配置和啟動(dòng)計(jì)算框架，不同的計(jì)算框架啟動(dòng)方式和配置都不一樣，因此提供插件機(jī)制，使sahara同時(shí)可支持多種計(jì)算框架。已經(jīng)完成集成的插件包括ApacheAmbari和ClouderaManagementConsole等。 EDP-ElasticDataProcessing，負(fù)責(zé)調(diào)度和管理任務(wù)。 RESTAPI-通過RESTHTTPAPI接口暴露saha