年4月大數(shù)據(jù)na-上課版01kafka技術(shù)原理

Kafka技術(shù)原 結(jié)Kafka——Kafka定Kafka是一個(gè)高吞吐、分布式、基于發(fā)布訂閱的消息系統(tǒng)，利用技術(shù)可在廉價(jià)PCServerKafka——應(yīng)用場(chǎng) Kafka應(yīng)用服務(wù)

DataFarm

Flume/Load

系統(tǒng)系統(tǒng)管災(zāi)備管安全災(zāi)備管安全管

MPP用用FusionInsightHDKafka作為一個(gè)分布式消息系統(tǒng)，支 和離線消息處理，并提供了JavaAPI以便其他組件對(duì)接Kafka 結(jié)KafkaKafkaBroker：Kafka集群包含一個(gè)或多個(gè)服務(wù)實(shí)例，這些服務(wù)實(shí)例被稱為BrokerTopic：每條發(fā)布到Kafka集群的消息都有一個(gè)類別，這個(gè)類別被稱為Topicarttn：afa將oc分成一個(gè)或者多個(gè)atto，每個(gè)arion在物理上對(duì)應(yīng)一個(gè)文件夾，該文件夾下 這個(gè)atto的所有消息。Producer：負(fù)責(zé)發(fā)布消息到KafkaBrokerConsumer：消息消費(fèi)者，從Kafka 消息的客戶端ConsumerGroup：每個(gè)Consumer屬于一個(gè)特定的ConsumerGroup（可為每個(gè)ConsumerZZKafkaZZFrontFrontFront Real- Topic&動(dòng) —————— —————— —————— ——————Kafka為一個(gè)消息的隊(duì)列。例如：天氣作為一個(gè)Topic，每天的溫度消息就可以在“天氣”這個(gè)隊(duì)列里。Consumergroup1 Consumergroup Consumer使用Offset來(lái)記 位Kafka總是根據(jù)時(shí)間和大小進(jìn)行修Kafka。。Older Newer

ProducerProducerProducerProducer總是在末尾追加消Kafka的消息隊(duì)列。引入Partition機(jī)制，保證了Kafka的高吞吐能力01234012345678901234012345678901230123456789

Kafka 的位置，一旦掛掉后，重啟可以繼 KafkaServer ServerConsumergroup ConsumergroupKafkaPartition groupC1986543210Partition 986543210986542103Partition 98654210301230123456789

KafkaPartitionFollower通過(guò)拉取的方式從Leader中同步數(shù)據(jù)。消費(fèi)者和生產(chǎn)者都是KafkaBrokerKafkaBrokerBrokerBrokerBrokerPartition-Partition-Partition-Partition-Partition-Partition-Partition-Partition-KafkaPartitionFollower- Follower Follower1212345671234567 LeaderKafkaPartition一、leader掛掉怎么辦 二、副本怎么分布將第i個(gè)Partition分配到第（imodn）個(gè)Broker將第i個(gè)Partition的第j個(gè)Replica分配到第（(i+jn）個(gè)BrokerKafkaPartitionPartition的引入提高了集群的吞吐能力，是不是partition越多越好呢 KafkaPartition每個(gè)分區(qū)在底層文件系統(tǒng)都有屬于自己的一個(gè)，該下通常會(huì)有兩個(gè)文件：base_offset.log和base_offset.index，如果分區(qū)數(shù)越多，需要保持打開(kāi) Kafka為了使得Kafka的吞吐率可以線性提高，物理上把TopicPartition，每個(gè)Partition在物理上對(duì)應(yīng)一個(gè)文件夾，該文件夾Kafka對(duì)應(yīng)每一個(gè)segment，存在.index和.log文件，segment固定大小500Msegmentfile組成：由2大部分組成，分別為indexfile和data分別表示為segmentsegment文件命名規(guī)則：第一個(gè)segment從0開(kāi)始，后續(xù)每個(gè)segment生產(chǎn)者發(fā)布消息追加到最后一個(gè)段文件中。當(dāng)發(fā)布的消息數(shù)量達(dá)到設(shè)定值或者經(jīng)過(guò)一定時(shí)間后，段文件寫入磁盤中，并實(shí)現(xiàn)leader和follower之間的數(shù)據(jù)同步。數(shù)據(jù)同步完成后，消息公開(kāi)給消費(fèi)者。KafkaKafkasegmentfile的index數(shù)據(jù)IO磁通過(guò)索引文件稀疏，可Kafka關(guān)鍵解釋說(shuō)關(guān)鍵解釋說(shuō)8byte4bytemessage4byte1byte1byte4bytekeyKbyte8byte4bytemessage4byte1byte1byte4bytekeyKbyte4bytepayloadvaluebytesKafkaLog日志的清理方式有兩種：delete和compact配置參默認(rèn)參數(shù)解取值范 1~--1 KafkaLogKafkaKafkaConsumer按照消息在日志中的寫入順序KafkaKafka輸，進(jìn)而滿足不同的可靠性要求應(yīng)用場(chǎng)景。至少一KafkaKafka寫流Kafka讀流 結(jié)ProducerDD

總體流程Kafka

開(kāi)放分區(qū)接口KafkaKafka寫流Kafka讀流 結(jié)Consumer總體流程備注：只能從leader 數(shù)據(jù)KafkaKafka 結(jié)KafkaKafkain

Kafka 結(jié)KafkaCluster

Kafka

Kakfa

Source

MirrorMaker本章主要介紹了消息系統(tǒng)的基本概念和Kafka的應(yīng)用場(chǎng)景，以及KafkaKafkaZookeeper中的結(jié)構(gòu)，是如何的。1.[多選]下面哪 是Kafka的特點(diǎn)A.高吞 B.分布C.消息持久 D.支持消息隨2.[單選]Kafka集群在運(yùn)行期間，直接依賴于下面那些組A. B.C. D.3.[多選]TopicPartition在Kafka中是并發(fā)單元，通過(guò)設(shè)置數(shù)量，Kafka提供高吞吐量，以下描述正確的是：(Partitio