基于Zookeeper搭建Spark集群

基于Zookeeper搭建Spark集群2知識(shí)目標(biāo)各組件作用集群搭建集群的驗(yàn)證01能力目標(biāo)了解Spakr集群高可用中各組件的作用掌握Spark高可用集群配置高可用集群的驗(yàn)證02學(xué)習(xí)目標(biāo)3目錄01集群規(guī)劃02Spark集群搭建03Spark集群?jiǎn)?dòng)04Spark集群驗(yàn)證集群規(guī)劃4這里搭建一個(gè)3節(jié)點(diǎn)的Spark集群，其中三臺(tái)主機(jī)上均部署

Worker

服務(wù)。同時(shí)為了保證高可用，除了在hadoop001上部署主

Master

服務(wù)外，還在hadoop002和hadoop003上分別部署備用的

Master

服務(wù)，Master服務(wù)由Zookeeper集群進(jìn)行協(xié)調(diào)管理，如果主

Master

不可用，則備用

Master

會(huì)成為新的主

Master。Spark集群搭建5下載后進(jìn)行解壓，命令如下：tar-zxvfspark-2.2.3-bin-hadoop2.6.tgz配置/etc/profile文件，命令如下vim/etc/profile添加環(huán)境變量，配置如下：exportSPARK_HOME=/usr/app/spark-2.2.3-bin-hadoop2.6exportPATH=${SPARK_HOME}/bin:$PATH保存退出，使得配置的環(huán)境變量立即生效source/etc/profileSpark集群搭建6進(jìn)入spark的conf

目錄，拷貝配置樣本進(jìn)行修改，命令如下：cpspark-env.sh.templatespark-env.sh然后編輯該文件，編輯內(nèi)容如下：#配置JDK安裝位置JAVA_HOME=/usr/java/jdk1.8.0_201#配置hadoop配置文件的位置HADOOP_CONF_DIR=/usr/app/hadoop-2.6.0-cdh5.15.2/etc/hadoop#配置zookeeper地址SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER-Dspark.deploy.zookeeper.url=hadoop001:2181,hadoop002:2181,hadoop003:2181-Dspark.deploy.zookeeper.dir=/spark"

配置完成之后保存并退出Spark的集群搭建7配置從節(jié)點(diǎn)，需要將slaves.template復(fù)制并命名為slaves,然后編輯該文件，配置從節(jié)點(diǎn)主機(jī)名，命令如下cpslaves.templateslaves編輯該文件vislaves#配置所有Woker節(jié)點(diǎn)的位置,將從節(jié)點(diǎn)主機(jī)名添加上去hadoop001hadoop002hadoop003

保存并退出Spark的集群搭建8將Spark的安裝包分發(fā)到其他服務(wù)器，分發(fā)后建議在這兩臺(tái)服務(wù)器上也配置一下Spark的環(huán)境變量。命令如下：scp-r/usr/app/spark-2.4.0-bin-hadoop2.6/hadoop002:usr/app/scp-r/usr/app/spark-2.4.0-bin-hadoop2.6/hadoop003:usr/app/集群的啟動(dòng)9分別啟動(dòng)Hadoop集群、Zookeeper集群之后再啟動(dòng)Spark集群。進(jìn)入

hadoop001的

${SPARK_HOME}/sbin

目錄下，執(zhí)行下面命令啟動(dòng)集群。執(zhí)行命令后，會(huì)在hadoop001上啟動(dòng)

Maser服務(wù)，會(huì)在

slaves

配置文件中配置的所有節(jié)點(diǎn)上啟動(dòng)

Worker

服務(wù)，命令如下：start-all.sh分別在

hadoop002和hadoop003上執(zhí)行下面的命令，啟動(dòng)備用的

Master

服務(wù)：#${SPARK_HOME}/sbin下執(zhí)行start-master.sh驗(yàn)證集群高可用10此時(shí)可以使用

kill

命令殺死

hadoop001上的

Master

進(jìn)程，此時(shí)備用

Master

會(huì)中會(huì)有一個(gè)再次成為

主Master，我這里是

hadoop002，可以看到

hadoop2上的

Master

經(jīng)過

RECOVERING

后成為了新的主

Master，并且獲得了全部可以用的