Ambari系列：Ambari架構(gòu)詳解

Ambari系列（三）：Ambari架構(gòu)詳解/shifenglov/article/details/42803283前言Hadoop集群的管控一直是一個(gè)熱門的話題，對(duì)于這樣的一個(gè)應(yīng)用場(chǎng)景，我所知道國(guó)內(nèi)很早就有人研究并且取得不錯(cuò)的成績(jī)，這就是EasyHadoop。它的功能主要有集群安裝，管理，監(jiān)控等功能，有興趣的朋友可以百度，這位作者的博客有很詳細(xì)的介紹。今天，我所要重點(diǎn)介紹Apache的頂級(jí)項(xiàng)目，現(xiàn)在是大數(shù)據(jù)新貴Hortonworks公司在推進(jìn)的項(xiàng)目Ambari，這款軟件具有集群自動(dòng)化安裝、中心化管理、集群監(jiān)控、報(bào)警等功能，使得安裝集群從幾天的時(shí)間縮短在幾小時(shí)以內(nèi)，運(yùn)維人員從數(shù)十人降低到幾人以內(nèi)，極大的提高集群管理的效率。Ambari介紹Ambari是Hadoop分布式集群配置管理工具，是由hortonworks主導(dǎo)的開源項(xiàng)目，它已經(jīng)成為了apache基金會(huì)的開源項(xiàng)目，已經(jīng)成為Hadoop運(yùn)維系統(tǒng)中的得力助手。Ambari充分利用了一些已有的優(yōu)秀開源軟件，巧妙地把它們結(jié)合起來，使其在分布式環(huán)境中做到了集群式服務(wù)管理能力、監(jiān)控能力、展示能力，這些優(yōu)秀的開源軟件有：（1）、agent端，采用了puppet管理節(jié)點(diǎn)。（2）、在web端，采用ember.js作為前端MVC框架和NodeJS相關(guān)工具，用handlebars.js作為頁面渲染引擎，在CSS/HTML方面還用了Bootstrap框架。（3）、在Server端，采用了Jetty、Spring、JAX-RS等。（4）、同時(shí)利用了Ganglia、Nagios的分布式監(jiān)控能力。Ambari框架采用的是Server/Client的模式，主要由兩部分組成：ambari-agent和ambari-server。ambari依賴其它已經(jīng)成熟的工具，例如：其ambari-server就依賴python，而ambari-agent還同時(shí)依賴ruby，puppet，fecter等工具，還有它也依賴一些監(jiān)控工具nagios和ganglia用于監(jiān)控集群狀況。其中：puppet是分布式集群配置管理工具，也是典型的Server/Client模式，能夠集中式管理分布式集群的安裝配置部署，主要語言是ruby。facter是用Python寫的一個(gè)節(jié)點(diǎn)資源采集庫(kù)，用于采集節(jié)點(diǎn)的系統(tǒng)信息，例如OS信息，由于ambari-agent主要是用Python寫的，因此用facter可以很好的采集到節(jié)點(diǎn)信息。項(xiàng)目目錄介紹

目錄描述ambari-serverAmbari的Server程序，主要管理部署在每個(gè)節(jié)點(diǎn)上的管理監(jiān)控程序Ambari-agent部署在監(jiān)控節(jié)點(diǎn)上運(yùn)行的管理監(jiān)控程序Contrib自定義第三方庫(kù)ambari-webAmbari頁面UI的代碼，作為用戶與Ambariserver交互的。ambari-views用于擴(kuò)展AmbariWebUI中的框架Docs文檔ambari-commonAmbari-server和Ambari-agent共用的代碼Ambari系統(tǒng)架構(gòu)一類用于與ambari-agent交完成ambari-server的集中式在ambari-server開放的RestAPI中分為主要的兩大類API，其中一類為ambari-web提供監(jiān)控管理服務(wù)，：互，接受ambari-agent向ambari-server發(fā)送心跳請(qǐng)求。Master模塊接受API和AgentInterface的請(qǐng)求，一類用于與ambari-agent交完成ambari-server的集中式AgentAgentAgentAgentAgentAgentAmbari-agent內(nèi)部架構(gòu)Ambari-agent是一個(gè)無狀態(tài)的，其功能分兩部分：采集所在節(jié)點(diǎn)的信息并且匯總發(fā)送心跳發(fā)送匯報(bào)給ambari-server。處理ambari-server的執(zhí)行請(qǐng)求。因此它有兩種隊(duì)列:（1）、消息隊(duì)列MessageQueue,或稱為ResultQueue。包括節(jié)點(diǎn)狀態(tài)信息（包括注冊(cè)信息）和執(zhí)行結(jié)果信息，并且匯總后通過心跳發(fā)送給ambari-server。（2）、操作隊(duì)列（2）、操作隊(duì)列ActionQueue。用于接收ambari-server發(fā)送過來的狀態(tài)操作，然后交給執(zhí)行器調(diào)用puppet或Python腳本等模塊執(zhí)行任務(wù)。Powr

ShelltitLn:DJ.OE.fin,nersnAmbari-server內(nèi)部架構(gòu)LiveClusterState:集群現(xiàn)有狀態(tài)，各個(gè)節(jié)點(diǎn)匯報(bào)上來的狀態(tài)信息會(huì)更改該狀態(tài)；DesiredState：用戶希望該節(jié)點(diǎn)所處狀態(tài)，是用戶在頁面進(jìn)行了一系列的操作，需要更改某些服務(wù)的狀態(tài)，這些狀態(tài)還沒有在節(jié)點(diǎn)上產(chǎn)生作用;ActionState:操作狀態(tài)，是狀態(tài)改變時(shí)的請(qǐng)求狀態(tài)，也可以看作是一種中間狀態(tài)，這種狀態(tài)可以輔助LiveClusterState向DesiredState狀態(tài)轉(zhuǎn)變。

ServerHeartbeatsActionevent!Coordnaiorhander)DesiredHeartbeatHanderNode,roeventsActionManagerDapende^cyPackerActionstate―AManlf如GeneratorPlannerAmbari-server的HeartbeatServerHeartbeatsActionevent!Coordnaiorhander)DesiredHeartbeatHanderNode,roeventsActionManagerDapende^cyPackerActionstate―AManlf如GeneratorPlannerCoordinator模塊又可以稱為APIhandler，主要在接收WEB端操作請(qǐng)求后，會(huì)檢查它是否符合要求，stageplanner分解成一組操作，最后提供給ActionManager去完成執(zhí)行操作。因此，從上圖就可以看出，Ambari-Server的所有狀態(tài)信息的維護(hù)和變更都會(huì)記錄在數(shù)據(jù)庫(kù)中，用戶做一些更改服務(wù)的操作都會(huì)在數(shù)據(jù)庫(kù)上做一些相應(yīng)的記錄，同時(shí)，agent通過心跳來獲得數(shù)據(jù)庫(kù)的變更歷史。

Ambari-web內(nèi)部架構(gòu)Ambari-web使用了一個(gè)流行的前端Embar.jsMVC框架實(shí)現(xiàn)，Embar.js是一個(gè)TodoMVC框架，它涵蓋了現(xiàn)今典型的單頁面應(yīng)用（singlepageapplication）幾乎所有的行為。使用了nodejs使用brunch作為項(xiàng)目的構(gòu)建管理工具Brunch，是一個(gè)超快的HTML5構(gòu)建工具。它有如下功能：（1）、編譯你的腳本、模板、樣式、鏈接它們。（2）、將腳本和模板封裝進(jìn)common.js/AMD模塊里，鏈接腳本和樣式。（3）、為鏈接文件生成源地圖，復(fù)制資源和靜態(tài)文件。（4）、通過縮減代碼和優(yōu)化圖片來收縮輸出，看管你的文件更改。（5）、并通過控制臺(tái)和系統(tǒng)提示通知你錯(cuò)誤。Nodejs是一個(gè)基于ChromeJavaScript運(yùn)行時(shí)建立的一個(gè)平臺(tái)，用來方便的搭建快速的易于擴(kuò)展的網(wǎng)絡(luò)應(yīng)用，NodeJS借助事件驅(qū)動(dòng)，非阻塞I/O模型變得輕量和高效，非常適合運(yùn)行在分布式設(shè)備的數(shù)據(jù)密集型的實(shí)時(shí)應(yīng)用。Ambari-web目錄結(jié)構(gòu)目錄或文件描述app/主要應(yīng)用程序代碼。包括Ember中的view、templates、controllers、models、routesconfig.coffeeBrunch應(yīng)用程序生成器的配置文件package.jsonNpm包管理配置文件test/vendor/測(cè)試文件Javascript庫(kù)和樣式表適用第三方庫(kù)。Ambari-web/app/目錄或文件描述

assets/靜態(tài)文件controllers/控制器data/數(shù)據(jù)mappers/JSON數(shù)據(jù)到Client的Ember實(shí)體的映射modelsMVC中的Modelroutes/路由器styles樣式文件views試圖文件templates/頁面模板app.jsEmber主程序文件config.js配置文件Ambari-serverAmbari-server使用的jetty作為Servlet容器作為內(nèi)嵌的java服務(wù)器，其中相關(guān)的代碼在server/controller下的AmbariServer.java中。其中Session的管理似乎AmbariSessionManager重寫了SessionManager類（1）、jetty是一個(gè)開源的Servlet容器，它為基于java的web容器，它的API以一組JAR包的形式發(fā)布。開發(fā)人員可以將Jetty容器實(shí)例化成一個(gè)對(duì)象，可以迅速為一些獨(dú)立運(yùn)行的Java應(yīng)用提供網(wǎng)絡(luò)和web連接。（2）、GoogleGuice一個(gè)google的IOC容器（3）、Spring（4）、JAX-RSAmbari-server依賴于Ambari-Views項(xiàng)目包名描述org.apache.ambari.server.api.services對(duì)web接口的入口方法，處理/api/vV*的請(qǐng)求org.apache.ambari.ser