實(shí)訓(xùn)15 Kafka集群部署

實(shí)訓(xùn)6.3Kafka集群部署1.實(shí)訓(xùn)目的通過(guò)本實(shí)訓(xùn)，了解Kafka的基本概念，理解Kafka工作原理，安裝部署Kafka集群。2.實(shí)訓(xùn)內(nèi)容本實(shí)訓(xùn)通過(guò)安裝和配置Kafka，學(xué)會(huì)執(zhí)行Kafka，并且校驗(yàn)集群是否搭建成功。3.實(shí)訓(xùn)要求以小組為單元進(jìn)行實(shí)訓(xùn)，每小組5人，小組自協(xié)商選一位組長(zhǎng)，由組長(zhǎng)安排和分配實(shí)訓(xùn)任務(wù)，具體參考實(shí)訓(xùn)操作環(huán)節(jié)。小組成員需確保ZooKeeper集群是否安裝準(zhǔn)確。4.準(zhǔn)備知識(shí)（1）Kafka概念趣解①Producer：生產(chǎn)者，就是它來(lái)生產(chǎn)“雞蛋”的。②Consumer：消費(fèi)者，生出的“雞蛋”它來(lái)消費(fèi)。③Topic：把它理解為標(biāo)簽，生產(chǎn)者每生產(chǎn)出來(lái)一個(gè)雞蛋就貼上一個(gè)標(biāo)簽（Topic），消費(fèi)者可不是誰(shuí)生產(chǎn)的“雞蛋”都吃的，這樣不同的生產(chǎn)者生產(chǎn)出來(lái)的“雞蛋”，消費(fèi)者就可以選擇性的“吃”了。④Broker：就是籃子了。⑤Partition：Partition是物理上的概念，每個(gè)Topic包含一個(gè)或多個(gè)Partition。⑥ConsumerGroup：每個(gè)Consumer屬于一個(gè)特定的ConsumerGroup（可為每個(gè)Consumer指定groupname，若不指定groupname，則屬于默認(rèn)的group）如果從技術(shù)角度，Topic標(biāo)簽實(shí)際就是隊(duì)列，生產(chǎn)者把所有“雞蛋（消息）”都放到對(duì)應(yīng)的隊(duì)列里了，消費(fèi)者到指定的隊(duì)列里取。5.實(shí)訓(xùn)步驟（1）安裝和配置Kafka①將kafka_2.13-3.3.1.tgz壓縮包上傳至master節(jié)點(diǎn)的/root/package目錄下。②解壓kafka_2.13-3.3.1.tgz，這里解壓在/root/package目錄下：cd/root/packagetar-zxvfkafka_2.13-3.3.1.tgz-C/opt/software/（2）配置Kafka①配置環(huán)境變量：vim/etc/profile添加以下內(nèi)容：exportKAFKA_HOME=/opt/software/kafka_2.13-3.3.1exportPATH=$PATH:$KAFKA_HOME/bin使配置生效：source/etc/profile②修改Kafka的配置文件($KAFKA_HOME/config)：cd/opt/software/kafka_2.13-3.3.1/configvimperties修改ZooKeeper的連接節(jié)點(diǎn)，將文件中zookeeper.connect=localhost:2181的localhost，修改為安裝ZooKeeper的三臺(tái)節(jié)點(diǎn)，即master、slave1、slave2，主機(jī)名后面加上端口號(hào)，三臺(tái)節(jié)點(diǎn)用逗號(hào)進(jìn)行隔開(kāi)。如圖6-31所示。zookeeper.connect=master:2181,slave1:2181,slave2:2181圖6-31修改ZooKeeper的連接節(jié)點(diǎn)修改日志路徑為。如圖6-32所示。log.dirs=/opt/software/kafka_2.13-3.3.1/tmp/kafka-logs圖6-32修改ZooKeeper日志路徑（3）復(fù)制master的Kafka到slave1、slave2在master中執(zhí)行：~/shell/scp_call.sh/opt/software/kafka_2.13-3.3.1（4）配置slave1、slave2的Kafka配置文件①配置slave1的配置文件（修改broker.id）新打開(kāi)一個(gè)終端，登錄slave1并執(zhí)行vim/opt/software/kafka_2.13-3.3.1/config/pertiesbroker.id=1②配置slave2的配置文件（修改broker.id）新打開(kāi)一個(gè)終端，登錄slave2并執(zhí)行vim/opt/software/kafka_2.13-3.3.1/config/pertiesbroker.id=2③拷貝master節(jié)點(diǎn)的環(huán)境變量到slave1和slave2在master中執(zhí)行~/shell/scp_call.sh/etc/profile分別在slave1和slave2節(jié)點(diǎn)中執(zhí)行以下命令，使配置生效：source/etc/profile（5）校驗(yàn)Kafka①啟動(dòng)Kafka 需確保master、slave1、slave2的ZooKeeper已啟動(dòng)，如未啟動(dòng)則用下面指令啟動(dòng)（執(zhí)行jps，有QuorumPeerMain進(jìn)程則表示已啟動(dòng)）：zkServer.shstart ZooKeeper啟動(dòng)后，分別在master、slave1、slave2上執(zhí)行以下命令啟動(dòng)Kafka：kafka-server-start.sh-daemon$KAFKA_HOME/config/perties 執(zhí)行后查看進(jìn)程情況，發(fā)現(xiàn)三個(gè)節(jié)點(diǎn)都啟動(dòng)了Kafka進(jìn)程。如圖