Hadoop大數(shù)據(jù)平臺(tái)構(gòu)建與應(yīng)用(工作手冊(cè)式)（微課版） 課件 9.1 Kafka安裝與配置

Kafka安裝與配置主講：李強(qiáng)任務(wù)描述Kafka的安裝與配置比較簡(jiǎn)單，本任務(wù)的介紹重點(diǎn)在于對(duì)集群中的Broker進(jìn)行編號(hào)，并且如何在集群中模擬發(fā)布者和消費(fèi)者進(jìn)行消息的同步發(fā)送。任務(wù)分析Kafka安裝后只需要增加運(yùn)行的環(huán)境變量，并修改屬性配置文件，在配置文件中設(shè)置每個(gè)節(jié)點(diǎn)的Broker編號(hào)，這里將集群中的master節(jié)點(diǎn)編號(hào)為0，slave1節(jié)點(diǎn)編號(hào)為1，slave2節(jié)點(diǎn)編號(hào)為2；配置文件中同時(shí)需要設(shè)置ZooKeeper的節(jié)點(diǎn)；在啟動(dòng)Hadoop、ZooKeeper和Kafka集群后，進(jìn)行消息的發(fā)布和消費(fèi)功能演示。9.1.1master節(jié)點(diǎn)安裝配置Kafka組件1．解壓安裝文件下載好的安裝包都需上傳到指定目錄下，本手冊(cè)指定為/root/目錄，使用ls命令可以查看上傳的安裝包（具體上傳方式請(qǐng)參考項(xiàng)目1），如圖9-1所示。代碼9-1解壓安裝包c(diǎn)d/root/tar-zxfkafka_2.11-2.3.1.tgz-C/usr/local/src/cd/usr/local/src/ls圖9-1查看安裝包使用tar命令解壓Kafka到/usr/local/src文件夾，并切換到安裝目錄下查看，可以使用ls查看解壓后的效果，如代碼9-1所示，效果如圖9-2所示。圖9-2查看解壓好的安裝包2．修改文件夾名稱(chēng)由于解壓后的文件夾名稱(chēng)帶有比較復(fù)雜的版本號(hào)，為了簡(jiǎn)化后續(xù)配置，此處修改文件夾名稱(chēng)。使用mv命令將解壓的kafka_2.11-2.3.1目錄重命名為kafka，如代碼9-2所示，效果如圖9-3所示。代碼9-2重命名文件夾cd/usr/local/src/mvkafka_2.11-2.3.1kafkals圖9-3重命名文件夾3．修改環(huán)境變量文件為了可以在任何目錄下直接執(zhí)行Kafka的相關(guān)命令，可以在環(huán)境變量文件中添加Kafka的環(huán)境變量。參考項(xiàng)目2，使用“vi/root/.bash_profile”打開(kāi)環(huán)境變量文件，將如表9-1所示的配置信息添加到/root/.bash_profile文件的末尾，保存退出。表9-1環(huán)境變量文件的添加內(nèi)容#setkafkaenvironmentexportKAFKA_HOME=/usr/local/src/kafka#Flume安裝路徑exportPATH=$PATH:$KAFKA_HOME/bin#添加系統(tǒng)PATH環(huán)境變量4．生效環(huán)境變量文件在master節(jié)點(diǎn)上運(yùn)行如代碼9-3所示的命令，使master節(jié)點(diǎn)上配置的Kafka的環(huán)境變量生效。代碼9-3master節(jié)點(diǎn)生效環(huán)境變量source/root/.bash_profile5．配置Kafka環(huán)境Kafka啟動(dòng)會(huì)通過(guò)perties文件啟動(dòng)，里面是Kafka的Broker節(jié)點(diǎn)編號(hào)和ZooKeeper集群節(jié)點(diǎn)的配置文件。打開(kāi)要修改的文件，如代碼9-4所示。代碼9-4修改pertiescd/usr/local/src/kafka/configviperties打開(kāi)這個(gè)配置文件后，將broker.id設(shè)置為0，將zookeeper.connect設(shè)置為集群中三個(gè)節(jié)點(diǎn)的名稱(chēng)，參考內(nèi)容如表9-2所示。表9-2文件的修改內(nèi)容broker.id=0zookeeper.connect=master,slave1,slave29.1.2Slave節(jié)點(diǎn)安裝Kafka組件1．修改flume-env.sh配置文件將master上配置好的Kafka文件夾內(nèi)容和環(huán)境變量文件分別分發(fā)到slave1和slave2節(jié)點(diǎn)，分發(fā)命令，如代碼9-5所示。代碼9-5分發(fā)Kafka配置到Slave節(jié)點(diǎn)scp-r/usr/local/src/kafkaslave1:/usr/local/src/scp-r/usr/local/src/kafkaslave2:/usr/local/src/scp/root/.bash_profileslave1:/root/scp/root/.bash_profileslave2:/root/2．生效用戶(hù)環(huán)境變量文件在slave1和slave2節(jié)點(diǎn)上運(yùn)行如代碼9-6所示的命令，使每個(gè)slave節(jié)點(diǎn)上配置的Kafka的環(huán)境變量生效。代碼9-6Slave節(jié)點(diǎn)生效環(huán)境變量source/root/.bash_profile3．修改從節(jié)點(diǎn)中的屬性文件slave1在架構(gòu)中的Broker編號(hào)為1，參考9.1.1小節(jié)第5點(diǎn)，使用“vi/usr/local/src/kafka/config/perties”命令在perties文件下找到broker.id修改為“broker.id=1”。slave2在架構(gòu)中的Broker編號(hào)為2，參考9.1.1小節(jié)第5點(diǎn)，使用“vi/usr/local/src/kafka/config/perties”命令在perties文件下找到broker.id修改為“broker.id=2”。9.1.3管理Kafka服務(wù)1．啟動(dòng)Hadoop和ZooKeeper集群在master節(jié)點(diǎn)一鍵啟動(dòng)Hadoop集群，如代碼9-7所示。在各節(jié)點(diǎn)啟動(dòng)ZooKeeper集群，如代碼9-8所示。代碼9-7啟動(dòng)Hadoop集群start-all.sh代碼9-8啟動(dòng)Zookeeper集群zkServer.shstart2．在各節(jié)點(diǎn)啟動(dòng)Kafka服務(wù)Kafka服務(wù)啟動(dòng)后的效果如圖9-4所示，每個(gè)節(jié)點(diǎn)的Broker編號(hào)如上面所設(shè)置的分別為0，1，2。代碼9-9啟動(dòng)Kafka服務(wù)kafka-server-start.sh/usr/local/src/kafka/config/perties圖9-4集群節(jié)點(diǎn)啟動(dòng)后效果圖2．在各節(jié)點(diǎn)啟動(dòng)Kafka服務(wù)請(qǐng)讀者務(wù)必注意，啟動(dòng)的三個(gè)Kafka服務(wù)不要關(guān)閉，也不要關(guān)閉窗口；如果要關(guān)閉服務(wù)，可以按【Ctrl+C】退出。在master節(jié)點(diǎn)打開(kāi)一個(gè)新的終端窗口，使用jps查看進(jìn)程，會(huì)發(fā)現(xiàn)列表中多了一個(gè)Kafka的進(jìn)程，效果如圖9-5所示。至此Kafka的安裝和配置就完成了，下面將演示消息發(fā)布和消費(fèi)的過(guò)程。圖9-5Kafka進(jìn)程圖9.1.4Kafka分布式發(fā)布訂閱消息演示1．創(chuàng)建一個(gè)新的Topic在master節(jié)點(diǎn)打開(kāi)一個(gè)新的終端窗口，使用kafka-topics.sh命令創(chuàng)建一個(gè)名稱(chēng)為happy的Topic，只有一個(gè)分區(qū)和兩個(gè)備份，如代碼9-10所示，該命令的幾個(gè)參數(shù)說(shuō)明如下。（1）--create：表示創(chuàng)建功能；（2）--zookeeper：表示ZooKeeper集群節(jié)點(diǎn)，此處為：“master:2181,slave1:2181,slave2:2181”，ZooKeeper的端口設(shè)置為2181，如果不同請(qǐng)修改一致；（3）--replication-factor：表示消息副本，此處為2；（4）--topic：表示Topic的名稱(chēng)，此處為“happy”；（5）--partitions：表示Topic分區(qū)數(shù)，此處為1；（6）--list：表示顯示該服務(wù)器上所有可用的topic主題。創(chuàng)建成功后查詢(xún)到的Topic主題，效果如圖9-6所示。圖8-5Flume啟動(dòng)后采集和傳輸?shù)倪^(guò)程圖代碼9-10創(chuàng)建topic并查看kafka-topics.sh--create--zookeepermaster:2181,slave1:2181,slave2:2181--replication-factor2--topichappy--partitions1#創(chuàng)建完以后可以顯示topickafka-topics.sh--list--zookeepermaster:2181,slave1:2181,slave2:21812．創(chuàng)建生產(chǎn)者并發(fā)送消息在任何一個(gè)節(jié)點(diǎn)打開(kāi)一個(gè)新的終端窗口，使用中的kafka-console-producer.sh命令創(chuàng)建一個(gè)happy的Topic的生產(chǎn)者，并準(zhǔn)備發(fā)布消息，如代碼9-11所示，該命令的幾個(gè)參數(shù)說(shuō)明如下。（1）--broker-list：表示Kafka服務(wù)器器列表，此處為：“master:9092,slave1:9092,slave2:9092”；由于perties配置文件中Broker的端口默認(rèn)為9092，所以此處為9092。（2）--topic：表示發(fā)布消息的Topic的名稱(chēng)，此處為“happy”。代碼9-11創(chuàng)建生產(chǎn)者kafka-console-producer.sh--broker-listmaster:9092,slave1:9092,slave2:9092--topichappy2．創(chuàng)建生產(chǎn)者并發(fā)送消息創(chuàng)建成功后會(huì)進(jìn)入發(fā)布消息的交互界面，效果如圖9-7所示。可以在這里輸入一些測(cè)試的消息，效果如圖9-8所示。如果要停止發(fā)布消息，可以按【Ctrl+C】退出。圖9-8發(fā)布的測(cè)試消息圖9-7創(chuàng)建topic后的效果3．創(chuàng)建消費(fèi)者者并消費(fèi)消息在任何一個(gè)節(jié)點(diǎn)打開(kāi)一個(gè)新的終端窗口，使用中的kafka-console-producer.sh命令創(chuàng)建一個(gè)happy的Topic的生產(chǎn)者，并準(zhǔn)備發(fā)布消息，如代碼9-12所示，該命令的幾個(gè)參數(shù)說(shuō)明如下。（1）--bootstrap-server：表示指定Kafka集群，此處為“master:9092,slave1:9092,slave2:9092”；由于perties配置文件中Broker的端口默認(rèn)為9092，所以此處為9092。（2）--topic：表示消費(fèi)消息的Topic的名稱(chēng)，此處為“happy”；（3）--from-beginning：表示消費(fèi)歷史為被消費(fèi)的消息。代碼9-12創(chuàng)建消費(fèi)者kafka-console-consumer.sh--bootstrap-se