消息中間件Kafka

1、Kafka 一、MQ 系統(tǒng) 二、Kafka 架構(gòu) 三、Kafka 命令 四、配置文件MQ 系統(tǒng) 一、Redis 二、ZeroMQ 三、ActiveMQ 四、RocketMQ 五、KafkaMQ系統(tǒng) Redis Redis是一個(gè)NoSQL數(shù)據(jù)庫 處理小流量的消息隊(duì)列 不適用于大流量的應(yīng)用場景MQ系統(tǒng) ActiveMQ ActiveMQ 2007 年發(fā)布第一個(gè)版本(同年 JDK1.5發(fā)布) 被廣泛應(yīng)用于零售、銀行、電子商務(wù)和政府等領(lǐng)域。 穩(wěn)定性好，性能還過得去。 缺少異步 Java API 和 NIO支持，在高資源配置的計(jì)算機(jī)上擴(kuò)展性不佳。 Apollo 重寫了 ActiveMQ 內(nèi)核， Apac

2、he稱其為最快、最強(qiáng)健的STOMP（Streaming Text Orientated Message Protocol，流文本定向消息協(xié)議）服務(wù)器。 github 一年多沒更新，網(wǎng)傳 Apollo項(xiàng)目已經(jīng)失敗MQ系統(tǒng) ZeroMQ 不支持序列化，閱后即焚。如果服務(wù)器宕機(jī)，數(shù)據(jù)將丟失 ZeroMQ本身只是一個(gè)網(wǎng)絡(luò)協(xié)議棧的實(shí)現(xiàn)庫.使用過程中由應(yīng)用服務(wù)器扮演服務(wù)器的角色 ZeroMQ的目標(biāo)是，成為 Linux 內(nèi)核的一部分 逆天的性能MQ系統(tǒng)Kafak VS RocketMQ定位Kafak：由 Linkin 開源，用于即時(shí)的日志傳輸RocketMQ：由淘寶開源，實(shí)現(xiàn)非日志的可靠消息傳輸，用于交易、

3、訂單、充值等場景TPS 性能kafka 單機(jī)寫入 TPS 在百萬條/秒，消息大小為10bRocketMQ 單機(jī) 7萬條/秒，消息大小為10b隊(duì)列數(shù)kafak 單機(jī)超過 64個(gè)隊(duì)列/分區(qū)，Load 會發(fā)生明顯的飆高現(xiàn)象RocketMQ 最高支持 5萬隊(duì)列實(shí)時(shí)性Kafka使用短輪詢方式，實(shí)時(shí)性取決于輪詢間隔時(shí)間RocketMQ使用長輪詢，同Push方式實(shí)時(shí)性一致，消息的投遞延時(shí)通常在幾個(gè)毫秒。成熟度Kafka在日志領(lǐng)域比較成熟，操作系統(tǒng)Crash，會導(dǎo)致數(shù)據(jù)丟失RocketMQ在阿里集團(tuán)內(nèi)部有大量的應(yīng)用在使用，不會丟消息MQ系統(tǒng) 總結(jié)Kafka 架構(gòu)系統(tǒng)結(jié)構(gòu)kafka clusterBroker

4、1Broker 2Broker 3Producer-AProducer-BProducer-CConsumer-AConsumer-AConsumer-CZookeeper 基礎(chǔ)架構(gòu)Kafka 架構(gòu) 基本概念 主題：topic 分區(qū)：partition 消息：message 生產(chǎn)者：producer 消費(fèi)者：consumer group 消息隊(duì)列：brokerProducerTopicConsumer GroupPartitionConsumer11.N11.NKafka 架構(gòu) kafka 消息流程圖topic消息隊(duì)列Producer-AProducer-BConsumerconsumer g

5、rouppartitionproducer本地磁盤注1：消息隊(duì)列依賴于本地磁盤注2：默認(rèn)情況下，磁盤存儲會保存 7 天Kafka 架構(gòu) kafka 消息流程圖topic消息隊(duì)列Producer-AProducer-BConsumerconsumer grouppartitionproducer本地磁盤1本地磁盤2注1：在一個(gè)由6個(gè)7200rpm的SATA硬盤組成的RAID-5磁盤陣列上， 線性寫入的速度大約是300MB/秒，隨機(jī)寫入?yún)s只有50k/秒。注2：在某些情況下，順序磁盤訪問能夠比內(nèi)存訪問還要快！Kafka 架構(gòu) kafka 集群運(yùn)行流程圖broker(1)broker(2)topic1

6、3741282109611Producer-AProducer-BConsumer-AConsumer-BConsumer-Cconsumer grouppartition 1partition 2partition 3producerKafka 架構(gòu) topic & partitiontopicbroker(1)13741282broker(2)109611Producer-AProducer-BConsumer-AConsumer-BConsumer-Cconsumer grouppartition 1partition 2partition 3producerproducer 怎么保證業(yè)

7、務(wù)有序？1、每個(gè) partition 對應(yīng)一個(gè)文件（夾）2、分文件存儲利于增加 topic 消息容量3、把 partition 放在不同磁盤上，可以提高讀寫性能4、把 partition 分散在不同機(jī)器上，支持負(fù)載均衡5、通過遷移單個(gè) partition， 實(shí)現(xiàn)快速水平擴(kuò)展6、partition內(nèi)有序，partition間無序Kafka 架構(gòu) producertopicbroker(1)13741282broker(2)109611Producer-AProducer-BConsumer-AConsumer-BConsumer-Cconsumer grouppartition 1partiti

8、on 2partition 3producerconsumer 處理速度跟不上怎么辦？1、自定義 partitioner, 保證同族消息保存在相同 partition 中，默認(rèn)為 hash 算法隨機(jī)分配2、異步提交時(shí)，會把多個(gè)消息合并，提高IO性能3、如果對 topic 進(jìn)行水平擴(kuò)容，producer 需要重新獲取 broker 列表，重新連接Kafka 架構(gòu) consumertopicbroker(1)13741282broker(2)109611Producer-AProducer-BConsumer-AConsumer-BConsumer-Cconsumer grouppartition

9、 1partition 2partition 3producer不同的 consumer Group 之間有什么關(guān)系？Thread-AThread-BThread-C1、一個(gè) partition 只會被一個(gè) consumer 線程連接；2、一個(gè) consumer group 由多個(gè) consumer 線程組成；3、一個(gè) consumer group 可以同時(shí)被多個(gè)進(jìn)程使用。Kafka 架構(gòu) consumer group注：Group A 和 Group B 會收到的是完全相同的消息Kafka 架構(gòu) kafka 在 zookeeper 中的數(shù)據(jù)Kafka 命令 數(shù)據(jù)分區(qū)和水平擴(kuò)展1、創(chuàng)建一個(gè) 16 分區(qū)，雙備的 topic./bin/kafka-topics.sh -create -zookeeper 10.100.10.200:2181 -replication-factor 2 -partitions 16 -topic my-topic 2、水平擴(kuò)展./bin/kafka-reassign-partitions.sh -execute -manual-assignment-json-file partitions-to-move.json cat partitions-to-move.json: partitions: topic: m