202149 Hadoop HA 集群部署 規(guī)劃Hadoop HA 集群 教學(xué)

主講：方明清0102030405目錄規(guī)劃HadoopHA集群ZooKeeper安裝與配置HDFSHA配置、啟動(dòng)與驗(yàn)證YARNHA配置、啟動(dòng)與驗(yàn)證YARNHA測試Job規(guī)劃HadoopHA集群1HadoopHA集群部署模式什么是HA?HA是HighAvailability的簡寫,即高可用，指當(dāng)前工作中的機(jī)器宕機(jī)后，會(huì)自動(dòng)處理這個(gè)異常，并將工作無縫地轉(zhuǎn)移到其他備用機(jī)器上去，以來保證服務(wù)的高可用。（簡言之，有兩臺(tái)機(jī)器，一臺(tái)工作，一臺(tái)備用，當(dāng)工作機(jī)掛了之后，備用機(jī)自動(dòng)接替。）HadoopHA集群部署模式HadoopHA集群部署模式是最常見的生產(chǎn)環(huán)境上的安裝部署方式。HadoopHA包括：NameNodeHA和ResourceManagerHA。DataNode和NodeManager本身就是被設(shè)計(jì)為高可用的，不用對(duì)它們進(jìn)行特殊的高可用處理。HadoopHA集群模式配置方法我們將在完全分布式集群的基礎(chǔ)上完成HA集群的配置。HadoopHA集群-服務(wù)器角色規(guī)劃Master（IP：192.168.128.128）Slave1（IP：192.168.128.129）Slave2（IP：192.168.128.130）NameNode（Active）NameNode（Standby）DataNodeDataNodeDataNodeResourceManager（Active）ResourceManager（Standby）NodeManagerNodeManagerNodeManagerHistoryServerZookeeperZookeeperZookeeperjournalnodejournalnodejournalnodeZKFCZKFCHDFSHA架構(gòu)圖HDFSHA架構(gòu)圖HDFSHA在完全分布式部署模式基礎(chǔ)上，設(shè)置多個(gè)NameNode節(jié)點(diǎn)，一個(gè)NameNode是Active狀態(tài)，其余是Standby狀態(tài)，并通過JournalNode集群來同步共享NameNode元數(shù)據(jù)，通過Zookeeper集群的ZKFC（失效檢測控制）來保證在ActiveNameNode失效時(shí)及時(shí)切換并啟用StandbyNameNode。YARNHA架構(gòu)圖YARNHA與HDFSHA類似，YRANHA利用Zookeeper等共享存儲(chǔ)介質(zhì)來存儲(chǔ)這些信息來達(dá)到高可用，利用Zookeeper來實(shí)現(xiàn)ResourceManager自動(dòng)故障轉(zhuǎn)移。ActiveMaster將信息寫入共享存儲(chǔ)，StandbyMaster讀取共享存儲(chǔ)信息以保持和ActiveMaster同步。ZKFailoverController基于Zookeeper實(shí)現(xiàn)的切換控制器，由ActiveStandbyElector和HealthMonitor組成。Zookeeper核心功能是維護(hù)和保障整個(gè)集群上只有一個(gè)Active

ResourceManager。YARNHA架構(gòu)圖Zookeeper架構(gòu)圖Zookeeper集群中的每個(gè)Server在內(nèi)存中存儲(chǔ)了一份數(shù)據(jù)；Zookeeper啟動(dòng)時(shí)，將從實(shí)例中選舉一個(gè)Leader（Paxos協(xié)議），其它實(shí)例為Follower；Leader負(fù)責(zé)處理數(shù)據(jù)更新等操作（Zab協(xié)議）；

一個(gè)更新操作成功，當(dāng)且僅當(dāng)大多數(shù)Server在內(nèi)存中成功修改數(shù)據(jù)：ZookeeperServer數(shù)目一般為奇數(shù)，Leader選舉算法采用了Paxos協(xié)議；Paxos核心思想：當(dāng)多數(shù)Server寫成功，則任務(wù)數(shù)據(jù)寫成功。也就是說：如果有3個(gè)Server，則兩個(gè)寫成功即可；Zookeeper架構(gòu)圖HadoopHA集群部署需要的主要軟件包CentOS7操作系統(tǒng)安裝光盤?？梢允荕ini版本的安裝光盤，安裝完成之后只有純文字的命令界面，沒有圖形界面。如：CentOS_7.3.1611-x86_64-DVD-Minimal.isoJDK8安裝文件?？梢允荍DK8的壓縮包安裝文件，解壓之后配置環(huán)境變量即可使用。如：jdk-8u201-linux-x64.tar.gzHadoop2.8.5壓縮包安裝文件。如：hadoop-2.8.5.tar.gzChrony安裝包文件，包含以下安裝包文件：libseccomp-2.3.1-2.el7.x86_64.rpm、chrony-2