RabbitMQ的實(shí)戰(zhàn)應(yīng)用課件

RabbitMQ應(yīng)用實(shí)踐易車二手車楊偉RabbitMQ應(yīng)用實(shí)踐易車二手車楊偉1目錄Rabbitmq介紹應(yīng)用實(shí)踐運(yùn)維實(shí)踐目錄Rabbitmq介紹2第一部分：Rabbitmq介紹第一部分：Rabbitmq介紹3開源AMQP實(shí)現(xiàn)，Erlang語(yǔ)言編寫，支持多種客戶端分布式、高可用、持久化、可靠、安全支持多協(xié)議：AMQP、STOMP、MQTT、HTTPRabbitmq主要概念對(duì)象：生產(chǎn)者、消費(fèi)者、交換機(jī)、隊(duì)列業(yè)務(wù)解耦：解決多系統(tǒng)、異構(gòu)系統(tǒng)間的數(shù)據(jù)交換，解耦生產(chǎn)者和消費(fèi)者適用場(chǎng)景：批量數(shù)據(jù)異步處理、并行任務(wù)串行化、高負(fù)載任務(wù)負(fù)載均衡簡(jiǎn)要介紹開源AMQP實(shí)現(xiàn)，Erlang語(yǔ)言編寫，支持多種客戶端簡(jiǎn)要介4AMQP工作原理AMQP，即AdvancedMessageQueuingProtocol，高級(jí)消息隊(duì)列協(xié)議AMQP工作原理AMQP，即AdvancedMessage5幾個(gè)核心概念顆粒度：Broker：消息隊(duì)列服務(wù)器實(shí)體vhost：虛擬主機(jī)，一個(gè)broker里可以開設(shè)多個(gè)vhostExchange：消息交換機(jī)Queue：消息隊(duì)列載體消息流轉(zhuǎn)：Binding：綁定，根據(jù)路由規(guī)則綁定exchange和queueRoutingKey：路由關(guān)鍵字Connection：連接channel：消息通道，每個(gè)連接可建立多個(gè)channel關(guān)聯(lián)對(duì)象producer：消息生產(chǎn)者consumer：消息消費(fèi)者幾個(gè)核心概念顆粒度：6交換機(jī)類型Direct

Exchange

–完全匹配的路由Topic

Exchange

–模式匹配路由Fanout

Exchange

–廣播模式Headers

exchange–鍵值對(duì)匹配路由交換機(jī)類型Direct

Exchange

–完全匹配的路由7可靠性機(jī)制Messageacknowledgment：消息回執(zhí)應(yīng)答機(jī)制下：收到回執(zhí)才刪除消息；未收到回執(zhí)而連接斷開，消息會(huì)轉(zhuǎn)給其他消費(fèi)者應(yīng)答機(jī)制下：忘記回執(zhí)會(huì)導(dǎo)致消息堆積，業(yè)務(wù)重復(fù)處理采用非應(yīng)答機(jī)制可以提升隊(duì)列處理效率Messagedurability：消息持久化可以避免絕大部分的消息丟失，如服務(wù)重啟采用非持久化機(jī)制可以提升隊(duì)列處理效率Prefetchcount：每次發(fā)送給消費(fèi)者消息數(shù)量，默認(rèn)1，實(shí)踐采用2可靠性機(jī)制Messageacknowledgment：消息8第二部分：部分應(yīng)用實(shí)踐第二部分：部分應(yīng)用實(shí)踐9復(fù)用connection、復(fù)用channel如果需要可靠業(yè)務(wù)，需要支持持久化和ack機(jī)制兩臺(tái)虛擬機(jī)集群，QPS

>5000次/秒如果希望高吞吐，可以采取非持久化、noack、自動(dòng)刪除機(jī)制兩臺(tái)虛擬機(jī)集群測(cè)試，QPS>20k次/秒穩(wěn)定性保障：生產(chǎn)者異常保障消費(fèi)者異常保障代碼實(shí)現(xiàn)需注意細(xì)節(jié)復(fù)用connection、復(fù)用channel代碼實(shí)現(xiàn)需注意細(xì)10生產(chǎn)者面對(duì)exchange，消費(fèi)者面對(duì)queue；一個(gè)queue只有一個(gè)消費(fèi)者（可多個(gè)副本）進(jìn)行處理；命名規(guī)劃：exchange：ex_{bizobj}_{usecase}，

其中：ex為前綴，{bizobj}為業(yè)務(wù)對(duì)象（如Car、Dealer），{usecase}為某個(gè)業(yè)務(wù)場(chǎng)景，示例：ex_car_promotion；routekey：對(duì)應(yīng)于event（事件，某個(gè)業(yè)務(wù)動(dòng)作），如：置頂（settop)、刷新(refresh)queue：為方便使用，建議對(duì)應(yīng)于event（采用exchange+event），如：qu_{bizobj}_{usecase}_{event}，其中：ex為前綴，{bizobj}為業(yè)務(wù)對(duì)象（如Car、Dealer），{usecase}為某個(gè)業(yè)務(wù)場(chǎng)景，示例：qu_car_promotion_settop；串行或并行的業(yè)務(wù)方案：并行方案：一個(gè)事件發(fā)生后，多個(gè)消費(fèi)者相互間沒有依賴關(guān)系，可由exchange分發(fā)消息到多個(gè)隊(duì)列，由各隊(duì)列的消費(fèi)者并行進(jìn)行處理；串行方案：一個(gè)事件發(fā)生后，多個(gè)消費(fèi)間有先后依賴關(guān)系，可以有先執(zhí)行的消費(fèi)者處理事件，處理完成后再次發(fā)送消息（此時(shí)為另外一個(gè)event）到exchange，由后續(xù)的隊(duì)列進(jìn)行處理。規(guī)劃生產(chǎn)者面對(duì)exchange，消費(fèi)者面對(duì)queue；規(guī)劃11根據(jù)不同的業(yè)務(wù)顆粒度規(guī)劃virtualhost規(guī)劃：按平臺(tái)或系統(tǒng)規(guī)劃Exchange規(guī)劃：按系統(tǒng)規(guī)劃隊(duì)列規(guī)劃：按模塊規(guī)劃MQ消費(fèi)規(guī)劃：按模塊規(guī)劃規(guī)劃根據(jù)不同的業(yè)務(wù)顆粒度規(guī)劃規(guī)劃12案例：新車源營(yíng)銷案例：新車源營(yíng)銷13案例：新車源營(yíng)銷車源營(yíng)銷置頂：置頂凍結(jié)費(fèi)用、更新索引曝光判斷計(jì)費(fèi)精準(zhǔn)：精準(zhǔn)更新索引點(diǎn)擊判斷計(jì)費(fèi)刷新：刷新更新索引、計(jì)費(fèi)發(fā)車：發(fā)車計(jì)費(fèi)、自動(dòng)審核更新索引案例：新車源營(yíng)銷車源營(yíng)銷14案例：ELK日志平臺(tái)案例：ELK日志平臺(tái)15案例：ELK日志平臺(tái)案例：ELK日志平臺(tái)16案例：通知服務(wù)案例：通知服務(wù)17案例：通知服務(wù)案例：通知服務(wù)18第三部分：部分運(yùn)維實(shí)踐第三部分：部分運(yùn)維實(shí)踐19運(yùn)維實(shí)踐安裝配置：服務(wù)器配置集群配置高可用集群配置監(jiān)控運(yùn)維實(shí)踐安裝20安裝Erlang環(huán)境、安裝RabbitMQ啟動(dòng)rabbitmq，并驗(yàn)證啟動(dòng)情況：rabbitmq-server--detached&psaux|greprabbitmq如果啟用了防火墻的話，開啟相關(guān)端口4369(epmd),25672(Erlangdistribution)5672,5671(AMQP0-9-1withoutandwithTLS)15672(ifmanagementpluginisenabled)啟用web界面的監(jiān)控插件：rabbitmq-pluginsenablerabbitmq_management登錄賬號(hào)密碼默認(rèn)都是guest添加用戶rabbitmqctladd_userrabbitmq123456安裝安裝Erlang環(huán)境、安裝RabbitMQ安裝21兩個(gè)配置文件：環(huán)境變量的配置文件rabbitmq-env.conf設(shè)置rabbitmq的數(shù)據(jù)存儲(chǔ)位置RABBITMQ_MNESIA_BASE=/data/rabbitmq/data設(shè)置rabbitmq的日志存儲(chǔ)位置RABBITMQ_LOG_BASE=/data/rabbitmq/log配置信息文件rabbitmq.config內(nèi)存閥值，超過時(shí)啟動(dòng)GC

vm_memory_high_watermark,0.6內(nèi)存閥值，超過閥值時(shí)內(nèi)存數(shù)據(jù)寫到磁盤vm_memory_high_watermark_paging_ratio,0.5腦裂問題的修復(fù)方式：ignore，autoheal，pause_minoritycluster_partition_handling,autoheal自動(dòng)加載broker信息{rabbitmq_management,[{load_definitions,"/etc/rabbitmq/rabbitmq_broker.json"}]}配置：服務(wù)配置兩個(gè)配置文件：配置：服務(wù)配置22日志切分：編寫shell文件：/opt/scripts/rabbitmq_split_log.sh定時(shí)執(zhí)行執(zhí)行crontab–e，加入定時(shí)任務(wù)配置：服務(wù)配置日志切分：配置：服務(wù)配置23修改hostname：修改/etc/sysconfig/network設(shè)置.erlang.cookie，基于Erlang的集群來實(shí)現(xiàn)cd/var/lib/rabbitmq/echo-n

PXXXXEWPXODAMMALGXXXX>.erlang.cookie打開端口：25672，4369加入集群：sudo

rabbitmqctl

join_cluster

--ram

rabbit@rabbitmq199檢查集群狀態(tài)：rabbitmqctlcluster_status設(shè)置鏡像隊(duì)列策略從集群中分離在任一節(jié)點(diǎn)執(zhí)行：rabbitmqctlforget_cluster_noderabbit@rabbit1在分離節(jié)點(diǎn)執(zhí)行：rabbitmqctlreset配置：集群配置修改hostname：配置：集群配置24Rabbitmq集群監(jiān)控Rabbitmq集群監(jiān)控25Rabbitmq集群監(jiān)控Rabbitmq集群監(jiān)控26配置：高可用集群配置基于Haproxy+keepalived+rabbitmq實(shí)現(xiàn)集群配置：高可用集群配置基于Haproxy+keepalived27Haproxy配置Haproxy日志配置安裝rsyslog添加haproxy的log配置：

vim

/etc/rsyslog.d/haproxy.conf編輯/etc/sysconfig/rsyslog創(chuàng)建日志文件并授權(quán)touchhaproxy.log配置防火墻端口：9188用于haproxy的監(jiān)控界面5670用于rabbimq的負(fù)載均衡端口配置haproxy：

/etc/haproxy/haproxy.cfg注意：因?yàn)橐褂胻cp的負(fù)載，屏蔽掉與http相關(guān)的默認(rèn)配置啟動(dòng)haproxyhaproxy-f/etc/haproxy/haproxy.cfg停止haproxykillallhaproxy配置：高可用集群配置Haproxy配置配置：高可用集群配置28Keepalived配置VRRP：虛擬路由冗余協(xié)議（VirtualRouterRedundancyProtocol）配置文件位置：/etc/keepalived/keepalived.conf配置keepalived

#因?yàn)楫?dāng)前環(huán)境中VRRP組播有問題，改為使用單播發(fā)送VRRP報(bào)文

unicast_src_ip00

unicast_peer{

99

}啟動(dòng)服務(wù)：順序啟動(dòng)

啟動(dòng)haproxy：haproxy-f/etc/haproxy/haproxy.cfg

啟動(dòng)keeepalived：先啟動(dòng)master節(jié)點(diǎn)，后啟動(dòng)BACKUP節(jié)點(diǎn)

/etc/init.d/keepalivedstart停止keeepalived服務(wù)

/etc/init.d/keepalivedstop檢查keeepalived的運(yùn)行日志，默認(rèn)keepalived的日志位于/var/log/message

tail-n100/var/log/message配置：高可用集群配置Keepalived配置配置：高可用集群配置29配置：高可用集群配置配置：高可用集群配置30謝謝謝謝31RabbitMQ應(yīng)用實(shí)踐易車二手車楊偉RabbitMQ應(yīng)用實(shí)踐易車二手車楊偉32目錄Rabbitmq介紹應(yīng)用實(shí)踐運(yùn)維實(shí)踐目錄Rabbitmq介紹33第一部分：Rabbitmq介紹第一部分：Rabbitmq介紹34開源AMQP實(shí)現(xiàn)，Erlang語(yǔ)言編寫，支持多種客戶端分布式、高可用、持久化、可靠、安全支持多協(xié)議：AMQP、STOMP、MQTT、HTTPRabbitmq主要概念對(duì)象：生產(chǎn)者、消費(fèi)者、交換機(jī)、隊(duì)列業(yè)務(wù)解耦：解決多系統(tǒng)、異構(gòu)系統(tǒng)間的數(shù)據(jù)交換，解耦生產(chǎn)者和消費(fèi)者適用場(chǎng)景：批量數(shù)據(jù)異步處理、并行任務(wù)串行化、高負(fù)載任務(wù)負(fù)載均衡簡(jiǎn)要介紹開源AMQP實(shí)現(xiàn)，Erlang語(yǔ)言編寫，支持多種客戶端簡(jiǎn)要介35AMQP工作原理AMQP，即AdvancedMessageQueuingProtocol，高級(jí)消息隊(duì)列協(xié)議AMQP工作原理AMQP，即AdvancedMessage36幾個(gè)核心概念顆粒度：Broker：消息隊(duì)列服務(wù)器實(shí)體vhost：虛擬主機(jī)，一個(gè)broker里可以開設(shè)多個(gè)vhostExchange：消息交換機(jī)Queue：消息隊(duì)列載體消息流轉(zhuǎn)：Binding：綁定，根據(jù)路由規(guī)則綁定exchange和queueRoutingKey：路由關(guān)鍵字Connection：連接channel：消息通道，每個(gè)連接可建立多個(gè)channel關(guān)聯(lián)對(duì)象producer：消息生產(chǎn)者consumer：消息消費(fèi)者幾個(gè)核心概念顆粒度：37交換機(jī)類型Direct

Exchange

–完全匹配的路由Topic

Exchange

–模式匹配路由Fanout

Exchange

–廣播模式Headers

exchange–鍵值對(duì)匹配路由交換機(jī)類型Direct

Exchange

–完全匹配的路由38可靠性機(jī)制Messageacknowledgment：消息回執(zhí)應(yīng)答機(jī)制下：收到回執(zhí)才刪除消息；未收到回執(zhí)而連接斷開，消息會(huì)轉(zhuǎn)給其他消費(fèi)者應(yīng)答機(jī)制下：忘記回執(zhí)會(huì)導(dǎo)致消息堆積，業(yè)務(wù)重復(fù)處理采用非應(yīng)答機(jī)制可以提升隊(duì)列處理效率Messagedurability：消息持久化可以避免絕大部分的消息丟失，如服務(wù)重啟采用非持久化機(jī)制可以提升隊(duì)列處理效率Prefetchcount：每次發(fā)送給消費(fèi)者消息數(shù)量，默認(rèn)1，實(shí)踐采用2可靠性機(jī)制Messageacknowledgment：消息39第二部分：部分應(yīng)用實(shí)踐第二部分：部分應(yīng)用實(shí)踐40復(fù)用connection、復(fù)用channel如果需要可靠業(yè)務(wù)，需要支持持久化和ack機(jī)制兩臺(tái)虛擬機(jī)集群，QPS

>5000次/秒如果希望高吞吐，可以采取非持久化、noack、自動(dòng)刪除機(jī)制兩臺(tái)虛擬機(jī)集群測(cè)試，QPS>20k次/秒穩(wěn)定性保障：生產(chǎn)者異常保障消費(fèi)者異常保障代碼實(shí)現(xiàn)需注意細(xì)節(jié)復(fù)用connection、復(fù)用channel代碼實(shí)現(xiàn)需注意細(xì)41生產(chǎn)者面對(duì)exchange，消費(fèi)者面對(duì)queue；一個(gè)queue只有一個(gè)消費(fèi)者（可多個(gè)副本）進(jìn)行處理；命名規(guī)劃：exchange：ex_{bizobj}_{usecase}，

其中：ex為前綴，{bizobj}為業(yè)務(wù)對(duì)象（如Car、Dealer），{usecase}為某個(gè)業(yè)務(wù)場(chǎng)景，示例：ex_car_promotion；routekey：對(duì)應(yīng)于event（事件，某個(gè)業(yè)務(wù)動(dòng)作），如：置頂（settop)、刷新(refresh)queue：為方便使用，建議對(duì)應(yīng)于event（采用exchange+event），如：qu_{bizobj}_{usecase}_{event}，其中：ex為前綴，{bizobj}為業(yè)務(wù)對(duì)象（如Car、Dealer），{usecase}為某個(gè)業(yè)務(wù)場(chǎng)景，示例：qu_car_promotion_settop；串行或并行的業(yè)務(wù)方案：并行方案：一個(gè)事件發(fā)生后，多個(gè)消費(fèi)者相互間沒有依賴關(guān)系，可由exchange分發(fā)消息到多個(gè)隊(duì)列，由各隊(duì)列的消費(fèi)者并行進(jìn)行處理；串行方案：一個(gè)事件發(fā)生后，多個(gè)消費(fèi)間有先后依賴關(guān)系，可以有先執(zhí)行的消費(fèi)者處理事件，處理完成后再次發(fā)送消息（此時(shí)為另外一個(gè)event）到exchange，由后續(xù)的隊(duì)列進(jìn)行處理。規(guī)劃生產(chǎn)者面對(duì)exchange，消費(fèi)者面對(duì)queue；規(guī)劃42根據(jù)不同的業(yè)務(wù)顆粒度規(guī)劃virtualhost規(guī)劃：按平臺(tái)或系統(tǒng)規(guī)劃Exchange規(guī)劃：按系統(tǒng)規(guī)劃隊(duì)列規(guī)劃：按模塊規(guī)劃MQ消費(fèi)規(guī)劃：按模塊規(guī)劃規(guī)劃根據(jù)不同的業(yè)務(wù)顆粒度規(guī)劃規(guī)劃43案例：新車源營(yíng)銷案例：新車源營(yíng)銷44案例：新車源營(yíng)銷車源營(yíng)銷置頂：置頂凍結(jié)費(fèi)用、更新索引曝光判斷計(jì)費(fèi)精準(zhǔn)：精準(zhǔn)更新索引點(diǎn)擊判斷計(jì)費(fèi)刷新：刷新更新索引、計(jì)費(fèi)發(fā)車：發(fā)車計(jì)費(fèi)、自動(dòng)審核更新索引案例：新車源營(yíng)銷車源營(yíng)銷45案例：ELK日志平臺(tái)案例：ELK日志平臺(tái)46案例：ELK日志平臺(tái)案例：ELK日志平臺(tái)47案例：通知服務(wù)案例：通知服務(wù)48案例：通知服務(wù)案例：通知服務(wù)49第三部分：部分運(yùn)維實(shí)踐第三部分：部分運(yùn)維實(shí)踐50運(yùn)維實(shí)踐安裝配置：服務(wù)器配置集群配置高可用集群配置監(jiān)控運(yùn)維實(shí)踐安裝51安裝Erlang環(huán)境、安裝RabbitMQ啟動(dòng)rabbitmq，并驗(yàn)證啟動(dòng)情況：rabbitmq-server--detached&psaux|greprabbitmq如果啟用了防火墻的話，開啟相關(guān)端口4369(epmd),25672(Erlangdistribution)5672,5671(AMQP0-9-1withoutandwithTLS)15672(ifmanagementpluginisenabled)啟用web界面的監(jiān)控插件：rabbitmq-pluginsenablerabbitmq_management登錄賬號(hào)密碼默認(rèn)都是guest添加用戶rabbitmqctladd_userrabbitmq123456安裝安裝Erlang環(huán)境、安裝RabbitMQ安裝52兩個(gè)配置文件：環(huán)境變量的配置文件rabbitmq-env.conf設(shè)置rabbitmq的數(shù)據(jù)存儲(chǔ)位置RABBITMQ_MNESIA_BASE=/data/rabbitmq/data設(shè)置rabbitmq的日志存儲(chǔ)位置RABBITMQ_LOG_BASE=/data/rabbitmq/log配置信息文件rabbitmq.config內(nèi)存閥值，超過時(shí)啟動(dòng)GC

vm_memory_high_watermark,0.6內(nèi)存閥值，超過閥值時(shí)內(nèi)存數(shù)據(jù)寫到磁盤vm_memory_high_watermark_paging_ratio,0.5腦裂問題的修復(fù)方式：ignore，autoheal，pause_minoritycluster_partition_handling,autoheal自動(dòng)加載broker信息{rabbitmq_management,[{load_definitions,"/etc/rabbitmq/rabbitmq_broker.json"}]}配置：服務(wù)配置兩個(gè)配置文件：配置：服務(wù)配置53日志切分：編寫shell文件：/opt/scripts/rabbitmq_split_log.sh定時(shí)執(zhí)行執(zhí)行crontab–e，加入定時(shí)任務(wù)配置：服務(wù)配置日志切分：配置：服務(wù)配置54修改hostname：修改/etc/sysconfig/network設(shè)置.erlang.cookie，基于Erlang的集群來實(shí)現(xiàn)cd/var/lib/rabbitmq/echo-n

PXXXXEWPXODAMMALGXXXX>.erlang.cookie打開端口：25672，4369加入集群：sudo

rabbitmqctl

join_cluster

--ram

rabbit@rabbitmq199檢查集群狀態(tài)：rabbitmqctlcluster_status設(shè)置鏡像隊(duì)列策略從集群中分離在任一節(jié)點(diǎn)執(zhí)行：rabbitmqctlforget_cluster_noderabbit@rabbit1在分離節(jié)點(diǎn)執(zhí)行：rabbitmqctlreset配置：集群配置修改hostname：配置：集群配置55Rabbitmq集群監(jiān)控Rabbitmq集群監(jiān)控56Rabbitmq集群監(jiān)控Rabbitmq集群監(jiān)控57配置：高可用集群配置基于Haproxy+keepalived+rabbitmq實(shí)現(xiàn)集群配置