4、蘇寧消息平臺-1216

蘇寧消息中間件技術(shù)架構(gòu)演進(jìn)之路彭建2016年12月2023/6/101蘇寧消息平臺基于Kafka多集群200+個節(jié)點虛擬機(jī)與物理機(jī)比例6:4接入現(xiàn)狀應(yīng)用400+消息量峰值450W+日消息量950億+2023/6/102Kafka原生broker1Partition1Partition3broker2Partition2Partition4ProducerAPPProducerAPPmsg.key%4=1msg.key%4=2ConsumerAPPConsumerAPPgroup1ConsumerAPPgroup2Partition作用：Broker負(fù)載均衡、提高消費端并發(fā)度ConsumerGroup：結(jié)合Queue與TopicGroup內(nèi)是Queue，Group之間是TopicZookeeperTopic1Topic12023/6/103架構(gòu)①--初始狀態(tài)ZookeeperBrokerProducerAPPProducerAPPConsumerAPPConsumerAPPRSFSCM……規(guī)模3臺Zookeeper虛機(jī)3臺Broker虛機(jī)特點：單系統(tǒng)使用客戶端數(shù)量固定消息量可控腳本運維監(jiān)控2023/6/104面臨的問題--同物理機(jī)物理機(jī)Partition1Partition2Topic1broker1Partition1-1Partition3Topic1broker2物理機(jī)Partition1Partition2Topic1broker1Partition1-1Partition3Topic1broker2宕機(jī)Partitionoffline：同一個物理機(jī)部署兩個broker節(jié)點Partition的主節(jié)點與副本節(jié)點同時分布在物理機(jī)上的兩個節(jié)點上解決策略：一個物理機(jī)只部署一個broker節(jié)點通過分布算法保障同一個Partition的主節(jié)點及副本不會同時在同一個物理機(jī)上背景：接入量不斷增加單次大量擴(kuò)容2023/6/105面臨的問題--場景差異Topic1broker1Topic2broker2客戶端Ack策略：0：不需要服務(wù)端確認(rèn)成功1：需要Partition主節(jié)點確認(rèn)成功-1：需要Partition主節(jié)點與全部副本節(jié)點都確認(rèn)成功解決策略：Topic級別與Broker級別配置配合將不同業(yè)務(wù)場景的Topic隔離異步批量發(fā)送Ack為0或1同步發(fā)送Ack為-1異步刷盤2副本消息保存12小時同步刷盤3副本消息保存7天配置級別：Topic級別（消息保存時間、副本數(shù)）Broker級別（刷盤方式）吞吐優(yōu)先可靠優(yōu)先2023/6/106引入?yún)^(qū)域物理機(jī)Partition1Partition2-1Topic1broker1Partition1Partition2-1Topic2broker3物理機(jī)Partition1-1Partition2Topic1broker2Partition1-1Partition2Topic2broker4區(qū)域1區(qū)域2配置策略：Partition分布時以區(qū)域代替集群（Kafka默認(rèn)以集群作為輸入）broker1、broker2配置吞吐優(yōu)先broker3、broker4配置可靠優(yōu)先區(qū)域間相互隔離，邏輯上是獨立集群2023/6/107架構(gòu)②--平臺化ZookeeperBrokerProducerAPPProducerAPPConsumerAPPConsumerAPPRSFSCM……管理平臺Broker區(qū)域1區(qū)域2變更：集群規(guī)模增加引入?yún)^(qū)域增加管理平臺效果：數(shù)據(jù)容量增加解決同物理機(jī)問題增加差異化配置能力業(yè)務(wù)隔離能力簡單運維監(jiān)控能力管理平臺：集群、區(qū)域、節(jié)點管理Topic創(chuàng)建申請消費堆積監(jiān)控2023/6/108Zookeeper壓力大ZookeeperBrokerProducerAPPProducerAPPConsumerAPPConsumerAPPRSFSCM……Zookeeper壓力大原因：與其他組件共用連接數(shù)高Watch數(shù)量大寫TPS高影響：集群整體不可用集群不穩(wěn)定解決策略：與其他組件剝離多集群部署2023/6/109架構(gòu)③--多集群部署ZookeeperBrokerProducerAPPConsumerAPP管理平臺Broker區(qū)域1區(qū)域2ZookeeperBrokerProducerAPPConsumerAPPBroker區(qū)域1區(qū)域2ZookeeperBrokerProducerAPPConsumerAPPBroker區(qū)域1區(qū)域22023/6/1010業(yè)務(wù)跨集群BrokerZookeeperProducerAPP背景：多個集群逐個創(chuàng)建業(yè)務(wù)需求逐步增加集群水位判斷問題：開發(fā)不友好誤配置可能解決策略：多份配置遷移所有Topic到一個集群引入統(tǒng)一配置中心ProducerProducerBrokerZookeeperBrokerZookeeper2023/6/1011引入ConfigServerProducerAPPBroker1ConfigServer①brokerlist？②P1leader?過程：獲取Broker集群路由獲取P1Leader發(fā)送消息獲取Zookeeper集群路由獲取全部消費者根據(jù)算法競爭消費拉取消息③messageBroker2ZookeeperConsumerAPP④zookeeperlist？⑤allconsumer？⑥P1consume⑦pull2023/6/1012ConfigServer還能解決的問題--權(quán)重引流P1P2P1P2P3P4P5區(qū)域1區(qū)域1區(qū)域3T1T1T1區(qū)域1ProducerAPP權(quán)重10權(quán)重10權(quán)重10權(quán)重10權(quán)重10權(quán)重1權(quán)重1ConfigServer配置下發(fā)權(quán)重配置：管理平臺配置客戶端定時刷新解決的問題：無需全部Topic擴(kuò)Partition，即可達(dá)到新擴(kuò)容broker的數(shù)據(jù)均衡broker流量調(diào)度突發(fā)流量應(yīng)對其他：客戶端權(quán)限客戶端限流、采樣客戶端Zookeeper寫頻率2023/6/1013雙數(shù)據(jù)中心需求MirrorProxyZookeeperBrokerBrokerA1A2ZookeeperBrokerBrokerA1A2DC2DC1管理平臺、ConfigServer跨數(shù)據(jù)中心部署引入MirrorProxy：集群間消息復(fù)制通過管理平臺控制復(fù)制策略、啟動停止等2023/6/1014監(jiān)控需求所有的點都需要有監(jiān)控ConfigServerMirrorProxyConsumerAPPProducerAPPZookeeperBrokerManagerMonitor管理平臺Zabbix日志平臺服務(wù)端監(jiān)控SPM實時查看，定時采集實時查看，定時采集狀態(tài)注冊狀態(tài)注冊監(jiān)聽變化定時上報配置下發(fā)配置下發(fā)狀態(tài)注冊狀態(tài)注冊配置下發(fā)配置下發(fā)2023/6/1015信息梳理需求確定數(shù)據(jù)鏈路確定業(yè)務(wù)優(yōu)先級確定相關(guān)人員難點：上下游關(guān)系復(fù)雜弱引用解決方案Topic申請、更新流程化生產(chǎn)、消費申請流程化2023/6/1016架構(gòu)④--雙十一狀態(tài)ConfigServerDC2MirrorProxyConsumerA