2023學(xué)年完整公開課版設(shè)置ApacheKafka集群

主講：朱佳目錄0102安裝Kafka創(chuàng)建單個節(jié)點-單個協(xié)調(diào)器的集群02安裝Kafka1安裝Kafka從http://apache.下載Kafka的當(dāng)前穩(wěn)定版，并解壓到一個目錄中，例如/opt,如下所示:$

tarxvzfkafka-0.8.0-incubating-src.tgz2.解壓后，必須使用sbt工具從源碼構(gòu)建二進制代碼，因為Kafka是使用Scala實現(xiàn)的。在下載Kafka的目錄，運行以下命令來構(gòu)建Kafka:#./sbtupdate安裝Kafka3.update命令會下載構(gòu)建Kafka所需的所有依賴項。運行以下命令編譯源代碼:$./sbtpackage4.運行以下命令生成依賴包:$./sbtassembly-package-dependency創(chuàng)建單個節(jié)點-單個協(xié)調(diào)器的集群2創(chuàng)建單個節(jié)點-單個協(xié)調(diào)器的集群設(shè)置ZooKeeper服務(wù)在這個例子中，使用Kafka提供的默認(rèn)的ZooKeeper配置文件。此文件包含以下配置屬性:dataDir=/tmp/zookeeperclientPort=2181啟動ZooKeeper服務(wù)器，如下所示:[root@localhost]#bin/zookeeper-server-start.shconfig/perties創(chuàng)建單個節(jié)點-單個協(xié)調(diào)器的集群啟動Kafka協(xié)調(diào)器可以使用默認(rèn)配置文件啟動Kafka協(xié)調(diào)器，其中包含以下配置項:■broker.id=0■log.dir=/tmp/kafka8-logs■zookeeper.connect=localhost:2181該集群中有一個協(xié)調(diào)器，其ID為0。它使用端口2181連接到ZooKeeper服務(wù)。使用以下命令啟動Kafka協(xié)調(diào)器:#bin/kafka-server-start.shconfig/perties創(chuàng)建單個節(jié)點-單個協(xié)調(diào)器的集群創(chuàng)建一個Kafka主題可以使用ApacheKafka提供的命令行工具來創(chuàng)建Kafka主題。以下示例創(chuàng)建了一個簡單的包含單個分區(qū)和副本的主題。#bin/kafka-create-topic.sh-zookeeperlocalhost:2181-replica1-partition1-topictesttopic在該示例中，將主題命名為testtopic。創(chuàng)建單個節(jié)點-單個協(xié)調(diào)器的集群啟動生產(chǎn)者在一個真實的Kafka集群中，通常會有多個協(xié)調(diào)器、生產(chǎn)者和消費者。在我們的例子中，只需啟動一個生產(chǎn)者即可，如下所示:[root@localhost]#bin/kafka-console-producer.sh-broker-listlocalhost:9092-topictesttopic生產(chǎn)者客戶端已經(jīng)運行了，因此可以發(fā)送消息。在生產(chǎn)者運行的終端上輸入以下消息:HolaKafka,ComoEsta?創(chuàng)建單個節(jié)點-單個協(xié)調(diào)器的集群啟動消費者為了使用生產(chǎn)者發(fā)送的消息，需要有一個消費者。啟動消費者，如下所示:.#bin/kafka-console-consumer.sh-zookeeperlocalhost:2181-topictesttopic-from-beginning消費者使用消費者的.properties文件中的默認(rèn)配置屬性運行，如下所示:groupid-test-consumer-groupzookeeper.con