2023學年完整公開課版Kafka讀取partition的offset

Kafka讀取partition的offset2知識目標分區(qū)partition偏移offset01能力目標offset提交的應用場景offset提交的方式02學習目標3目錄01分區(qū)partition02偏移offset03offset提交的應用場景04offset提交的方式分區(qū)partition4kafka是為分布式環(huán)境設計的,因此如果日志文件,其實也可以理解成消息數(shù)據(jù)庫,放在同一個地方,那么必然會帶來可用性的下降,一掛全掛,如果全量拷貝到所有的機器上,那么數(shù)據(jù)又存在過多的冗余,而且由于每臺機器的磁盤大小是有限的,所以即使有再多的機器,可處理的消息還是被磁盤所限制,無法超越當前磁盤大小.因此有了partition的概念.kafka對消息進行一定的計算,通過hash來進行分區(qū).這樣,就把一份log文件分成了多份.,分成多份以后,在單臺broker上。,如果新建topic的時候,我們選擇了

--replication-factor1--partitions2

,那么在log目錄里,我們會看到test-0目錄和test-1目錄.就是兩個分區(qū)了.偏移offset5分區(qū)就是一個有序的,不可變的消息隊列.新來的commitlog持續(xù)往后面加數(shù)據(jù).這些消息被分配了一個下標(或者偏移),就是offset,用來定位這一條消息.消費者消費到了哪條消息,是保持在消費者這一端的.消息者也可以控制,消費者可以在本地保存最后消息的offset,并間歇性的向zookeeper注冊offset.也可以重置offset。offset提交的應用場景6簡單的來說就是一條消息對應一個offset下標，每次消費數(shù)據(jù)的時候如果提交offset，那么下次消費就會從提交的offset加一那里開始消費。比如一個topic中有100條數(shù)據(jù)，我消費了50條并且提交了，那么此時的kafka服務端記錄提交的offset就是49(offset從0開始)，那么下次消費的時候offset就從50開始消費。offset提交的方式有兩種，自動提交和手動提交。conf/perties配置文件的參數(shù)設置：mit=true（那么這個是自動提交，false為手動）offset提交的方式71.自動提交偏移量kafka中偏移量的自動提交是由參數(shù)enable_auto_commit和auto_commit_interval_ms控制的，當enable_auto_commit=True時，Kafka在消費的過程中會以頻率為auto_commit_interval_ms向Kafka自帶的topic(__consumer_offsets)進行偏移量提交，具體提交到哪個Partation是以算法：partation=hash(group_id)%50來計算的。offset提交的方式82.手動提交偏移量對于手動提交offset主要有3種方式：1.同步提交2.異步提交3.異步+同步組合的方式提交。offset提交的方式92.1.同步手動提交偏移量同步模式下提交失敗的時候一直嘗試提交，直到遇到無法重試的情況下才會結(jié)束，同時同步方式下消費者線程在拉取消息會被阻塞，在broker對提交的請求做出響應之前，會一直阻塞直到偏移量提交操作成功或者在提交過程中發(fā)生異常，限制了消息的吞吐量。只有當前批次的消息提交完成時才會觸發(fā)poll來獲取下一輪的消息。offset提交的方式102.2.異步手動提交偏移量+回調(diào)函數(shù)異步手動提交offset時，消費者線程不會阻塞，提交失敗的時候也不會進行重試，并且可以配合回調(diào)函數(shù)在broker做出響應的時候記錄錯誤信息。對于異步提交，由于不會進行失敗重試，當消費者異常關閉或者觸發(fā)了再均衡前，如果偏移量還未提交就會造成偏移量丟失。offset提交的方式112.3.異步+同步組合的方式提交偏移量針對異步提交偏移量丟失的問題，通過對消費者進行異步批次提交并且在關閉時同步提交的方式，這樣即使上一次