《數(shù)據(jù)采集與處理技術(shù)》課件-4.5 Kafka的安裝和使用

第4章分布式消息系統(tǒng)Kafka目

錄4.1Kafka簡(jiǎn)介4.2Kafka在大數(shù)據(jù)生態(tài)系統(tǒng)中的作用4.3Kafka與Flume的區(qū)別與聯(lián)系4.4Kafka相關(guān)概念4.5Kafka的安裝和使用4.6使用Python操作Kafka4.7Kafka與MySQL的組合使用4.5Kafka的安裝和使用4.5Kafka的安裝和使用4.5.1安裝Kafka4.5.2使用Kafka4.5.1安裝KafkaKafka的運(yùn)行需要Java環(huán)境的支持，因此，需要在Windows系統(tǒng)中安裝JDK。請(qǐng)參照第2章內(nèi)容完成JDK的安裝。訪問Kafka官網(wǎng)（/downloads），下載Kafka2.4.0版本的安裝文件kafka_2.12-2.4.0.tgz，解壓縮到“C:\”下。因?yàn)镵afka的運(yùn)行需要依賴于Zookeeper，因此，需要下載并安裝Zookeeper。當(dāng)然，Kafka也內(nèi)置了Zookeeper服務(wù)，因此，也可以不用額外安裝Zookeeper，而是直接使用內(nèi)置的Zookeeper服務(wù)。為了簡(jiǎn)單起見，這里直接使用Kafka內(nèi)置的Zookeeper服務(wù)。4.5.2使用Kafka在Windows系統(tǒng)中打開第1個(gè)cmd窗口，啟動(dòng)Zookeeper服務(wù)：>cdc:\kafka_2.12-2.4.0>.\bin\windows\zookeeper-server-start.bat.\config\zookeeper.Properties注意，執(zhí)行上面命令以后，cmd窗口會(huì)返回一堆信息，然后就停住不動(dòng)了，沒有回到命令提示符狀態(tài)，這時(shí)，不要誤以為死機(jī)了，而是Zookeeper服務(wù)器已經(jīng)啟動(dòng)，正在處于服務(wù)狀態(tài)。所以，不要關(guān)閉這個(gè)cmd窗口，一旦關(guān)閉，Zookeeper服務(wù)就停止了。4.5.2使用Kafka打開第2個(gè)cmd窗口，然后輸入下面命令啟動(dòng)Kafka服務(wù)：>cdc:\kafka_2.12-2.4.0>.\bin\windows\kafka-server-start.bat.\config\perties執(zhí)行上面命令以后，如果啟動(dòng)失敗，并且出現(xiàn)提示信息“此時(shí)不應(yīng)有\(zhòng)QuickTime\QTSystem\QTJava.zip”，則需要把CLASSPATH環(huán)境變量的相關(guān)信息刪除，具體方法是：右鍵點(diǎn)擊“我的電腦”->“高級(jí)系統(tǒng)設(shè)置”->“環(huán)境變量”，然后，找到CLASSPATH環(huán)境變量，把類似如下的信息刪除：C:\ProgramFiles(x86)\QuickTime\QTSystem\QTJava.zip然后重新啟動(dòng)計(jì)算機(jī)，讓配置修改生效。重新啟動(dòng)計(jì)算機(jī)以后，再次按照上面方法啟動(dòng)Zookeeper和Kafka。執(zhí)行上面命令以后，如果啟動(dòng)成功，cmd窗口會(huì)返回一堆信息，然后就會(huì)停住不動(dòng)，沒有回到命令提示符狀態(tài)，這時(shí)，同樣不要誤以為死機(jī)了，而是Kafka服務(wù)器已經(jīng)啟動(dòng)，正在處于服務(wù)狀態(tài)。所以，不要關(guān)閉這個(gè)cmd窗口，一旦關(guān)閉，Kafka服務(wù)就停止了。4.5.2使用Kafka為了測(cè)試Kafka，這里創(chuàng)建一個(gè)主題（Topic），名稱為“topic_test”，包含一個(gè)分區(qū)，只有一個(gè)副本，在第3個(gè)cmd窗口中執(zhí)行如下命令：>cdc:\kafka_2.12-2.4.0>.\bin\windows\kafka-topics.bat--create--zookeeperlocalhost:2181--replication-factor1--partitions1--topictopic_test可以繼續(xù)執(zhí)行如下命令，查看topic_test是否創(chuàng)建成功：>.\bin\windows\kafka-topics.bat--list--zookeeperlocalhost:2181如果創(chuàng)建成功，就可以在執(zhí)行結(jié)果中看到topic_test。4.5.2使用Kafka繼續(xù)在第3個(gè)cmd窗口中執(zhí)行如下命令創(chuàng)建一個(gè)生產(chǎn)者來產(chǎn)生消息：>.\bin\windows\kafka-console-producer.bat--broker-listlocalhost:9092--topictopic_test該命令執(zhí)行以后，屏幕上的光標(biāo)會(huì)一直在閃爍，這時(shí)，就可以用鍵盤輸入一些內(nèi)容，比如輸入：IloveKafkaKafkaisgood新建第4個(gè)cmd窗口，執(zhí)行如下命令來消費(fèi)消息：>cdc:\kafka_2.12-2.4.0>.\bin\windows\kafka-console-consumer.bat--bootstrap-server