集團(tuán)大數(shù)據(jù)平臺(tái)系統(tǒng)功能設(shè)計(jì)方案

集團(tuán)系統(tǒng)功能設(shè)計(jì)

1概述

平臺(tái)管理

多租戶管理多應(yīng)用管理］作業(yè)調(diào)度管逋統(tǒng)T維監(jiān)控

1J

數(shù)據(jù)ETL數(shù)據(jù)分析與挖掘數(shù)據(jù)展現(xiàn)

數(shù)據(jù)管理

結(jié)構(gòu)化數(shù)據(jù)管理I半/非結(jié)構(gòu)化數(shù)據(jù)管理

百強(qiáng)jI數(shù)據(jù)交換數(shù)據(jù)存儲(chǔ)管理

I數(shù)據(jù)加工清洗I數(shù)據(jù)廿算一數(shù)據(jù)查詢

參見上圖，系統(tǒng)功能設(shè)計(jì)主要包括：平臺(tái)管理（多租戶管理、多應(yīng)用管理、作業(yè)調(diào)

度管理、統(tǒng)一運(yùn)維監(jiān)控\數(shù)據(jù)管理（結(jié)構(gòu)化數(shù)據(jù)管理、半/非結(jié)構(gòu)化結(jié)構(gòu)數(shù)據(jù)管理、數(shù)

據(jù)采集、數(shù)據(jù)交換、數(shù)據(jù)存儲(chǔ)管理、數(shù)據(jù)加工清洗、數(shù)據(jù)計(jì)算、數(shù)據(jù)查詢）、數(shù)據(jù)管控

（元數(shù)據(jù)、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理\數(shù)據(jù)ETL、數(shù)據(jù)分析與挖掘、數(shù)據(jù)展現(xiàn)等。

2平臺(tái)管理功能

2.1多應(yīng)用管理

星環(huán)TranswarpDataHub大數(shù)據(jù)平臺(tái)對(duì)企業(yè)級(jí)用戶提供多應(yīng)用場景的支持，例

如：通過TranswarpStream提供實(shí)時(shí)甥g計(jì)算場景支持,通過TranswarpInceptor

提供批處理場景支持，通過TranswarpHyperbase提供在線數(shù)據(jù)服務(wù)場景支持，通過

TranswarpDiscover提供數(shù)據(jù)分析、挖掘場景支持。

星環(huán)大數(shù)據(jù)平臺(tái)通過TranswarpOperatingSystem云平臺(tái)系統(tǒng)（以下簡稱TOS）

實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)多應(yīng)用管理，支持對(duì)應(yīng)用的服務(wù)級(jí)別管理（SLA）,實(shí)現(xiàn)應(yīng)用的訪問資源

控制，支持資源隔離。

TOS基于Docker容器技術(shù)，支持一鍵部署TDH各個(gè)組件，支持優(yōu)先級(jí)的搶占式

資源調(diào)度和細(xì)粒度資源分配，讓大數(shù)據(jù)應(yīng)用輕松擁抱云服務(wù)，滿足企業(yè)對(duì)于構(gòu)建統(tǒng)一的

企業(yè)大數(shù)據(jù)平臺(tái)來驅(qū)動(dòng)各種業(yè)務(wù)的強(qiáng)烈需求。

TOS主要由4部分組成，底層由基于Docker的容器技術(shù)作為所有應(yīng)用服務(wù)的承

載，通過將應(yīng)用服務(wù)裝載在Docker容器中，能夠?qū)崿F(xiàn)應(yīng)用環(huán)境和底層環(huán)境的解耦合;

通過優(yōu)化過的Kurbernetes對(duì)整個(gè)集群的資源進(jìn)行管理與調(diào)度；在此之上，內(nèi)置了豐富

的系統(tǒng)級(jí)服務(wù)應(yīng)用，如完整Docker化的TranswarpDataHub集群各個(gè)組件等；對(duì)于

其他應(yīng)用服務(wù)的接入，提供了完整的DockerImagesRepository集中服務(wù)管理庫,用

戶可以通過TOS提供的接口，將應(yīng)用服務(wù)制作為DockerImage,加載入TOS

Repository,通過定義調(diào)度規(guī)則，在TOS統(tǒng)一管理與調(diào)度。

TranswarpOperatingSystemdl^^；分

Trans*arpOperatinQS>a?rn田以下咬部分組成

?RIOQ0:Dodier/Contairwr

?Ring1:ResourtrscfiedM

?Ring2:Su**asternteivK￡s

?Rina3:CentraserviceteposAcry(dodwImaaes)

圖5-2大數(shù)據(jù)云平臺(tái)架構(gòu)圖

便捷部署：基于TOS,用戶可以通過WebULRESTAPI或者命令行一鍵瞬間安

裝和部署TDH集群，能自動(dòng)根據(jù)服務(wù)的依賴性安裝所需的其他服務(wù)組件。在虛擬技術(shù)

之前,部翻件資源滿足新的應(yīng)用需求需要幾天時(shí)間，ffiM擬化技術(shù)把這個(gè)時(shí)間降到

了分鐘級(jí)別，而目前基于Docker的TOS云平臺(tái)把時(shí)間降到了秒級(jí)別。Docker作為裝

載進(jìn)程的容器，不必重新啟動(dòng)操作系統(tǒng)，幾秒內(nèi)能關(guān)閉，可以在數(shù)據(jù)中心創(chuàng)建或銷毀，

沒有額外消耗。典型的數(shù)據(jù)中心利用率是30%,通過更積極的資源分配，以低成本方式

對(duì)新的實(shí)例實(shí)現(xiàn)更合理的資源分配，從而提高數(shù)據(jù)中心的利用效率。

完整的斐源隔離：TOS通過優(yōu)化Kubernetes資源管理框架實(shí)現(xiàn)了基于Docker容

器對(duì)CPU,內(nèi)存，硬篇口網(wǎng)絡(luò)更好的隔離。TOS中Docker容器的隔離目前是由Linux

內(nèi)磁供的六項(xiàng)P的，刨舌主機(jī)S與域名的E的，信整、消息隊(duì)弼哄享內(nèi)存的隔離，

進(jìn)程編號(hào)的隔離，網(wǎng)絡(luò)設(shè)備、網(wǎng)絡(luò)棧、端口的隔離，掛載點(diǎn)（文件系統(tǒng)）的隔離，用戶

和用戶組的隔離。這些隔離保證了不同容器的運(yùn)行環(huán)境是基本不受影響的，比如掛載點(diǎn)

的隔離，就保證了一個(gè)容器中的進(jìn)程不能隨意訪問另外一個(gè)容器中的文件。

TOS平臺(tái)相比于傳統(tǒng)的ApacheYarn管理框架和開源Kubernetes的資源管理框

架而言，在資源粒度方面可以管控磁盤和網(wǎng)絡(luò)，而傳統(tǒng)資源調(diào)度框架只能管理到CPU

和內(nèi)存；在隔離性方面，容器技術(shù)有天然的優(yōu)勢；在依賴性和通用性方面，不依賴于

Hadoop組件以及技術(shù)，這意味著可以實(shí)現(xiàn)所有上層應(yīng)用的云化開發(fā)、測試、升級(jí)以及管

理調(diào)度。容器的隔離目前是由Linux內(nèi)核提供的六項(xiàng)隔離，包括主機(jī)名與域名的隔離，信

號(hào)量、消息隊(duì)列和共享內(nèi)存的隔離，進(jìn)程編號(hào)的隔離，網(wǎng)絡(luò)設(shè)備、網(wǎng)絡(luò)棧、端口的隔離

,掛載點(diǎn)（文件系統(tǒng)）的隔離，用戶和用戶組的隔離。這些隔離保證了不同容器的運(yùn)行

環(huán)境是基本不受影響的，比如掛載點(diǎn)的隔離，就保證了一個(gè)容器中的進(jìn)程不能隨意訪問

另外一個(gè)容器中的文件。

表5-1Yarn管理

■依賴單個(gè)

YARNCPU/MEM進(jìn)程級(jí)別、不精確支持少量計(jì)算引擎

HDFS

不依賴

KubernetesCPU/MEMContainer支持通用Linux負(fù)載

Hadoop

CPU/MEM,

Container+Quota不依賴

TOSDISK,支持大數(shù)據(jù)及通用應(yīng)用

+VLANHadoop

NETWORK

靈活資源調(diào)度：TOS支持對(duì)TDH組件自動(dòng)擴(kuò)容或者縮容，同時(shí)也允許其他應(yīng)用服

務(wù)和大數(shù)據(jù)服務(wù)共享集群，從而提高資源的使用率。TOS創(chuàng)新的支持搶占式資源調(diào)度模

型，能在保障實(shí)時(shí)業(yè)務(wù)的同時(shí)，提高集群空閑時(shí)的資源占用，讓批量作業(yè)和實(shí)時(shí)業(yè)務(wù)在

互不干擾的情況下分時(shí)共享計(jì)算資源。通過支持動(dòng)態(tài)擴(kuò)容和收縮集群，從何實(shí)現(xiàn)了資源

的動(dòng)態(tài)分配與調(diào)度，整個(gè)過程熱插拔業(yè)務(wù)、服務(wù)無需重啟。

自動(dòng)修復(fù)：TOS的Replicator模塊負(fù)責(zé)檢測集群規(guī)模，當(dāng)集群中服務(wù)發(fā)生問題時(shí)

可以另起一個(gè)服務(wù)實(shí)例實(shí)現(xiàn)集群的自我修復(fù)功能。舉例而言，某個(gè)HyperbaseRegion

Server由于硬件原因服務(wù)停止，TOS平臺(tái)能夠?qū)崟r(shí)感知，并在管理的資源范圍內(nèi)另起

一個(gè)RegionServer的Docker容器接替因故停止的容器，動(dòng)態(tài)的保證了服務(wù)集群的整

體穩(wěn)定性。

應(yīng)用隔離：在TOS上運(yùn)行的TDH以及應(yīng)用服務(wù)還引入微服務(wù)的架構(gòu)，顯著降低用

戶部署環(huán)境對(duì)TDH以及應(yīng)用服務(wù)穩(wěn)定性的影響，提高了部署的可用性，并且能讓用戶

在不停業(yè)務(wù)以及服務(wù)的前提下，享受到快捷的TDH以及應(yīng)用服務(wù)更新版本滾動(dòng)升級(jí)。

2.2多租戶管理

對(duì)于各個(gè)部門以及下級(jí)單位的不同應(yīng)用需求，通過統(tǒng)一的集群管理，結(jié)合星環(huán)的

YARN資源調(diào)度框架，可以動(dòng)態(tài)創(chuàng)建和銷毀集群，靈活部署業(yè)務(wù)，適合對(duì)非7x24不間

斷業(yè)務(wù)（例如周期性統(tǒng)計(jì)業(yè)務(wù)）動(dòng)態(tài)部署。

此外，在資源隔離方面，TranswarpYARN支持對(duì)計(jì)算資源和內(nèi)存資源的管理能

力，避免占用內(nèi)存資源多的Spark或Map/Reduce集群之間爭搶內(nèi)存資源。缺省模式

下集群就是創(chuàng)建在YARN上,可以非常方便的動(dòng)態(tài)創(chuàng)建和銷毀Spark或者M(jìn)叩/Reduce

集群。同時(shí)，通過YARN的資源隔離和配額管理,可以避免使用同一個(gè)Map/Reduce

集群時(shí)出現(xiàn)的計(jì)算資源爭搶現(xiàn)象，保證每項(xiàng)業(yè)務(wù)都能順利完成。

與此同時(shí),為了更好的利用平臺(tái)計(jì)算資源，在申請(qǐng)資源配額后，如果當(dāng)前用戶的資源

緊張或受限，可以動(dòng)態(tài)調(diào)配其他用戶的閑置資源加入，當(dāng)其他用戶使用時(shí)再歸還。

同時(shí)，結(jié)合Kerberos實(shí)現(xiàn)TranswarpYARN的資源申請(qǐng)，作業(yè)提交以及隊(duì)列使用

的權(quán)限管控，管理員通過管控界面，定義YARN中用戶能夠在哪些隊(duì)列中提交作業(yè),能

申請(qǐng)資源的額度以及能提交作業(yè)的最大個(gè)數(shù)等，實(shí)現(xiàn)計(jì)算資源的用戶權(quán)限管控。

S此，對(duì)于分析類應(yīng)用，可以充分使用星環(huán)YARN的特性,實(shí)現(xiàn)分析集群的按需創(chuàng)

建與銷毀，從而實(shí)現(xiàn)數(shù)據(jù)、資源、計(jì)算能力的統(tǒng)一調(diào)度和規(guī)劃。

對(duì)不同的租戶的操作員進(jìn)行分組分類分級(jí)管理，利用Kerberos以及LDAP對(duì)租戶

應(yīng)用授權(quán)，支持對(duì)計(jì)算資源和內(nèi)存資源的管理能力，避免占用內(nèi)存資源多的Spark或

Map/Reduce集群之間爭搶內(nèi)存資源，對(duì)租戶的數(shù)據(jù)訪問能力進(jìn)行設(shè)置，實(shí)現(xiàn)數(shù)據(jù)隔

離。

2.3統(tǒng)一運(yùn)維監(jiān)控

本方案提供統(tǒng)一的運(yùn)維監(jiān)控^務(wù)，主要通過TOS實(shí)現(xiàn)，TOS的核心是Docker和

本方案涉及到的所有軟件的部署都通過打包成鏡像文件，以便非

Kubernetes0Docker

常快捷的部署實(shí)施。內(nèi)部系統(tǒng)通過鏡像數(shù)據(jù)接口交互層進(jìn)行交互。通過外酣妾口層納入集

團(tuán)運(yùn)維平臺(tái)進(jìn)行統(tǒng)一監(jiān)控。

卡勰鶻統(tǒng)一監(jiān)控平臺(tái)

監(jiān)

控外部接口層（API.URL嵌入，底層數(shù)據(jù),XMI等）

層安仝監(jiān)控應(yīng)用監(jiān)控?cái)?shù)據(jù)監(jiān)拄|性策監(jiān)控費(fèi)源/阻務(wù)詞度

鏡像數(shù)據(jù)接11交互層

ry“大救軀平臺(tái)、

鏡TDHTrinityiRechartsiNLPElasticsearch

像Hadoop平臺(tái)依據(jù)金型平臺(tái)報(bào)表平臺(tái)自然語言控盒引擎管理框架

層

k/

DTranswarpTOS

o

c

kContainerSchedulerSystemService

e

sccordinatioorchestratiauto-

公rCPU/MEMDiskNetworkdiscovery

nonscaling

Containerpnonty-basedstore呼loadname

端珍掙I臺(tái)etcdreplicator

Pluginsschedulermanagi15-3balancerservice

本方案提供統(tǒng)一的運(yùn)維監(jiān)控^務(wù)，主要通過TOS實(shí)現(xiàn)，TOS的核心是Docker和

本方案涉及到的所有軟件的吾曙都通過打包成鏡像文件，以便非

KubernetesoDocker

常快部署。

整個(gè)架構(gòu)通過Docker打包，并提供服務(wù)接口，這種服務(wù)接口分為兩層：

1）鏡像層

a）提供接口文件

b）提供數(shù)據(jù)接口

2）外部接口層

a）提供API

b）提供URL嵌入

c）提供數(shù)據(jù)接口

d）提供XML接口（包括定制XML,JSON等）

e）ESB接口

整個(gè)接口層的設(shè)計(jì)便于產(chǎn)品之間，系統(tǒng)之間的交換，也便于整個(gè)架構(gòu)對(duì)接IBM

Tivoli,BMCControlM等監(jiān)控平臺(tái)，引入監(jiān)控或者外推監(jiān)控，更好的融入到整個(gè)集

團(tuán)集團(tuán)的監(jiān)控體系，便于統(tǒng)一監(jiān)控。

2.3.1Hadoop集群自動(dòng)化部署

一站式大數(shù)據(jù)平臺(tái)提供集群自動(dòng)化部署服務(wù)。用戶只需要安裝Transwarp

Manager管理平臺(tái)軟件，就可以在友好的圖形化界面上安裝、部署、配置所需要的服

務(wù)。整個(gè)安裝過程不需要用戶使用任何終端命令或者代碼。

.Ol

圖5-4TDH節(jié)點(diǎn)管理界面1

平臺(tái)提供了強(qiáng)大的在線擴(kuò)容功能，不需要宕機(jī)停庫，不需要停止業(yè)務(wù)，就可以添加新

的節(jié)點(diǎn)，實(shí)現(xiàn)擴(kuò)容。節(jié)點(diǎn)添加完成之后可以立即對(duì)新添加的節(jié)點(diǎn)進(jìn)行角色的分配，一旦配

置成功，則新加的節(jié)點(diǎn)就會(huì)馬上投入運(yùn)算。擴(kuò)容之后的數(shù)據(jù)節(jié)點(diǎn)也不需要停機(jī)進(jìn)行數(shù)據(jù)

重分布，系統(tǒng)自動(dòng)選擇空閑的時(shí)間進(jìn)行數(shù)據(jù)的重新分布。同時(shí)，擴(kuò)容的操作可以方便的在

界面進(jìn)行操作。

1.S*?CtCUtofRK*kA*OC?MlNCOM4.0*wS??rcp

totfWGtaarvaucaxvmnetwrfnratmrytannaOBi?oMMamdccrMQjRttjn*Rx*Mtomar<(uti>itMitEBQr

IN00?tPAMfMBCMVWVMBftnQOCSSMCOfAguTM刖&

)HU^UUOI172.ia?J1tayriYKS??4iMi，3

0awHxCff1?21S97?wyhYfS

I11Buzraxo172.iaaJ9synYE8.,de?ut?vc*

lUtfciXM17)104ttfyhYESXBUkd

圖5-5TDH節(jié)點(diǎn)管理界面2

2.3.2Hadoop集群性能監(jiān)控

平臺(tái)通過專門的監(jiān)控服務(wù)對(duì)集群的狀態(tài)進(jìn)行監(jiān)控，包括服務(wù)器CPU、內(nèi)存、網(wǎng)絡(luò)

和磁盤的利用率和健康狀態(tài)，以及分布式應(yīng)用系統(tǒng)的狀態(tài)，并在故障發(fā)生或者某項(xiàng)指標(biāo)

超過預(yù)設(shè)閥值時(shí)期是供告警功能。管理員可通過瀏覽器訪問集群的監(jiān)控和管理界面進(jìn)行日

常的用空和綢P,系名磁供圖標(biāo)信息展示。管理員可以便捷了解到集群的計(jì)算資源是否處于

空閑狀態(tài)、明陶員務(wù)器的負(fù)載過高,甚至判斷霸的組網(wǎng)及機(jī)架安排是否合理等。管理員也

可通過對(duì)各個(gè)節(jié)點(diǎn)的各個(gè)角色的日志信息進(jìn)行檢索，獲得更加精確的信息。

Web界面

8

平臺(tái)集成Ganglia集群監(jiān)控系統(tǒng)，能夠從上千臺(tái)服務(wù)器上收集系統(tǒng)信息，能夠保障

當(dāng)集群規(guī)模擴(kuò)展至上百臺(tái)上千臺(tái)服務(wù)器時(shí)，監(jiān)控程序都能夠高效的獲取每臺(tái)服務(wù)器的狀

態(tài)信息。Ganglia由Gmetad與Gmond組成，其中集群中每一臺(tái)機(jī)器上都有一個(gè)

Gmond服務(wù)進(jìn)程，Gmetad收集所有節(jié)點(diǎn)metrics信息并在Web前端界面上展現(xiàn)出

來。集群中的每臺(tái)服務(wù)器上都運(yùn)行監(jiān)控守護(hù)進(jìn)程，守護(hù)進(jìn)程能夠?qū)⑦@些數(shù)據(jù)的精簡傳遞，

這使得Ganglia的運(yùn)行對(duì)集群的資源消耗極少。所有的指標(biāo)數(shù)據(jù)都存儲(chǔ)在一個(gè)RRD

(RoundRobinDatabase)數(shù)據(jù)庫中,為了防止Gmetad頻繁寫磁盤造成I/O瓶頸，

通過rrdcache緩存指標(biāo)轆,定量寫入RRD。

存儲(chǔ)資源監(jiān)控，包括獲取存儲(chǔ)量、剩余存儲(chǔ)量以及存儲(chǔ)系統(tǒng)整體情況信息。

通過Ganglia集群翱繇統(tǒng)向集團(tuán)運(yùn)維將空平臺(tái)發(fā)送監(jiān)控消息，提供對(duì)接接口，實(shí)

現(xiàn)大雌平臺(tái)與集團(tuán)逼蝴空平臺(tái)的,實(shí)理充一雌

圖5-7TDH性能監(jiān)控界面

運(yùn)算資源監(jiān)控，包括監(jiān)控工作負(fù)載、CPU、內(nèi)存資源、性能、組件性能(Kafka處

理性能)等情況

提供全局日志和任務(wù)級(jí)日志。

G

日志

??ta

AT'ixritimrrMr*VMvyMM*anman，，NC

R，kX^lfrH笳CMutfuXXT*wori>^rt,:MX?tS>?rwnIKfC01Stwv，*Mcr??4(bxM

2tftmRM?naat.

Acr^tKMailrtfSM?unuCQntrc39Aat-RB???，GQ34WnMr

neixMT，rv)oM??*X2iux?<￡Sean，IWC

<rttMim/WtMO

D1-r?cu?itO?v)9*?**Q?M????

(imifn1*KJ

-tOBSUBLIfRMRM__WMH1Hwrri?mniinwTiTf

EA2阿”

日志

2.1ZHUM44”(

l*a?aK<4ir*<7Ki-NM'Xrwa

fIC.XU3XC

*^_cunxe

圖5-10TDH任務(wù)日志查看界面

在故障發(fā)生時(shí)提供告警功能。

"?m**：,gi

■JJFUSQ"："aLofiotJcrKMrMw?vrfrac<ar

?t>，!V0S6IT17fl?LopofvtwliftrRic?*MrTnKC>vTmiawwvpJo

0M?V?riMU

ncutO]

WTT?Log5.KTMmrRaoxTrocvr

25M>57?4n4?deriveLo^alrairotoErdpcnAAMa*ImasterMVK

?rfMWiOII

2tf&VV17M?49U>9ofrvirtMaEniporiMMatIma0crMr(

?msv“17MN48LogofnroteEndpcrMMs"Ka0Oraar(

0T|>2MBQ1)

231SW17'4?44BUJQatmrcrt*EpcHMrtm

2.3.3Hadoop集群資源管理

TDH提供計(jì)算任務(wù)管理和作業(yè)管理，包括作業(yè)的上傳、配置、啟動(dòng)、停止、刪除

和狀態(tài)查看等功能。

,IlfllglY,,，：E”：，CTUMWITrtUflSHi^/(wt1l'RH(XSIRTVXCLVlU*rn>.to<crTCM'WTUtillC

nJUMinoiTUi

rrtetcmuxaaKr

tuoio??netUM?

KTACVHiVC.

，―,C??VM

*nt:1

圖5-12TDH作業(yè)管理界面

Q!1*

***?

1wreK

aim'WFTKIF”?gc

t,lAffi<93

作哂IVK?(.4pu

01111Jam?go

q.c-v^n>cIwcet.Jd3<*：?40

。?仲FneM1M*tl*Y54fT

mmTw*t<>>lrn*QC

I?<gp

Iw?e*.)>^rs中

存儲(chǔ)資源管理，瀏覽數(shù)據(jù)、更改回收存儲(chǔ)資源。

2M?

HOFSM電H

圖5-14TDH斐源管理界面

在TDH平臺(tái)中，資源可以從多個(gè)方面進(jìn)行管理。從資源管理模塊YARN的層面,

用戶通過配置不同的Scheduler來定義不一樣的資源使用策略，目前支持FIFO

Scheduler,FairScheduler以及（OpacityScheduler,實(shí)現(xiàn)作業(yè)動(dòng)態(tài)調(diào)整，支持對(duì)任

務(wù)系統(tǒng)資源占用進(jìn)行實(shí)時(shí)調(diào)配，改變作業(yè)調(diào)度優(yōu)先級(jí)等操作。

YARN?dx

U-i

B

■

圖5-16優(yōu)先級(jí)管理界面2

2.3.4圖形界面方式多租戶管理

用戶可以使用圖形化界面來配置多租戶的用戶、組的權(quán)限。管理員用戶可以新建、

編輯用戶的信息。

/.AAd>wiM(n

Users

*More

圖5-17多租戶管理界面1

teonrUvnnt

圖5-18多租戶管理界面2

圖5-19管理員編輯界面

同時(shí)，管理員用戶也可以編輯、維護(hù)角色的信息。

Rotes

r.

9

?*r(tfAO.?￡MM<39CtNS.UP2ATE.P0?M?$0H9

9-?

圖5-20角色信息編輯界面

同時(shí)用戶可以可以按需創(chuàng)建，按需銷毀計(jì)算集群，并且創(chuàng)建集群時(shí)只需要指定所需

計(jì)算資源，無需指定具體物理機(jī)器

0adnn

I*

圖5-21角色資源管理界面1

(D

圖5-22角色資源管理界面2

2.3.5系統(tǒng)巡檢信息收集

整個(gè)系統(tǒng)的軟硬件狀態(tài)都可以方便的從圖形界面中進(jìn)行監(jiān)控。用戶可以實(shí)時(shí)的瀏覽

集群中CPU、內(nèi)存、網(wǎng)絡(luò)與磁盤等的狀態(tài)。

?Situ*

圖5-23系統(tǒng)巡檢界面

TDH平臺(tái)從各環(huán)節(jié)層次以及組件抽取巡檢信息，按照管理平臺(tái)的要求對(duì)其進(jìn)行重

新過濾和格式化整理，并最終進(jìn)行日志信息入庫。整個(gè)過程需實(shí)現(xiàn)處理的流程化及自動(dòng)

調(diào)度機(jī)制，以保證管理平臺(tái)能夠及時(shí)的獲取日志數(shù)據(jù)。

系統(tǒng)管理模塊對(duì)Hadoop平臺(tái)各層次所產(chǎn)生的日志記錄進(jìn)行獲取并整理。其中包

括訪問層日志記錄、應(yīng)用層日志記錄、數(shù)據(jù)存儲(chǔ)層日志記錄、數(shù)據(jù)獲取層日志記錄以及

元數(shù)據(jù)管理的日志記錄。提供一鍵式的圖形化巡檢工具，直觀反映關(guān)鍵部件狀態(tài)，并提

供一鍵式的信息收集工具，收集系統(tǒng)日志、配置信息以便于快速定位。

\8*f0!M?c**r?4m-3(?MU>3t?wrrV

2K.JCC

4.<Ktmd.T'UOE

2?KaarvMTUV

??M?Wotnar01mMiti

看熱；oumi

M????????**M<W■**'??4?4)?4?rwIe4T

????024??*>t|

T?.jna*0CA5T

?a>w.;a，，，*J?rv

！

**??MJttMJIIa*O0?a*M*???Xti-Ai<MOwMAamw

■:wt>joau<jkrfBeat

2XVUNMMU&；.MM0M

圖5-24信息收集界面1

ThBM^

*rat2K：Pi"t，*>?*ynaa

2.3.6系統(tǒng)性能跟蹤

平臺(tái)提供了友好的界面，方便用戶跟蹤當(dāng)前的任務(wù)進(jìn)度與資源使用情況。用戶可以

通過以下頁面監(jiān)控正在運(yùn)行的任務(wù)與已經(jīng)完成任務(wù)。同時(shí)界面也^常簡單明了的展示了每

個(gè)查詢的資源消耗。

TR/IZ&W八RPSpari^

3URC?Stixag*HotodMkEnvKmmcntExccutoe*

CompletedStages(3)

8t3?!

MDMOlp?on

4NUrefcevmnuqpbJCW?D154H，

njn.EM9：ga，“1，.11.63

2Mi?cfM七EMPMfr2015-C4.1511friruS34.534

run?nveoaIO*K，40toecaBirx&a

0m?cf'Mtpjkxfcvrtmr,02。1加4心

3eb?36rgNratcrwai?20iKM*ahlK*rO8

ledSt*9M|0)

圖5-26性能跟蹤界面

也可以直接通過選擇時(shí)間范圍來查詢指定的SQL。

2.3.7與集團(tuán)運(yùn)維監(jiān)控平臺(tái)對(duì)接

通過Ganglia集群監(jiān)控系統(tǒng)向集團(tuán)運(yùn)維1觸平臺(tái)發(fā)送監(jiān)搟肖息，提供對(duì)?鑿妾口,實(shí)

現(xiàn)大轆平臺(tái)與集團(tuán)運(yùn)維蠟空平臺(tái)的互通,實(shí)現(xiàn)統(tǒng)一將空。

平臺(tái)通過專門的監(jiān)控服務(wù)對(duì)集群的狀態(tài)進(jìn)行監(jiān)控，包括服務(wù)器CPU、內(nèi)存、網(wǎng)絡(luò)

和磁盤的利用率和健康狀態(tài)，以及分布式應(yīng)用系統(tǒng)的狀態(tài)，并在故障發(fā)生或者某項(xiàng)指標(biāo)

超過預(yù)設(shè)閥值時(shí)提供告警功能。管理員可通過瀏覽器訪問集群的雌和管理界面進(jìn)行日常

的監(jiān)控和維護(hù)，系統(tǒng)提供圖表信息展示。管理員可以便捷的了解到集群的計(jì)算資源是否處

于空閑狀態(tài)、明陛服務(wù)器的負(fù)載過高，甚至判斷集群的組網(wǎng)及搬骸排是否合理等。管理員

也可通過對(duì)各個(gè)節(jié)點(diǎn)的各個(gè)角色的日志信息進(jìn)行檢索，獲得更加精確的信息。

Web界面

平臺(tái)集成Ganglia集群監(jiān)控系統(tǒng)，能夠從上千臺(tái)服務(wù)器上收集系統(tǒng)信息，能夠保障

當(dāng)集群規(guī)模擴(kuò)展至上百臺(tái)上千臺(tái)服務(wù)器時(shí)，監(jiān)控程序都能夠高效