MySQL集群告警系統(tǒng)設(shè)計(jì)

1、技術(shù)創(chuàng)新，變革未來MySQL集群告警系統(tǒng)設(shè)計(jì)一. 告警的選型二. Alertmanager的實(shí)現(xiàn) 三. Alertmanager的實(shí)踐錄CONTENTS告警的選型告警需求方案選型告警的對接告警的收斂告警的可用性告警需求多樣的告警源多樣的告警目標(biāo)告警需求-告警的對接告警短信多關(guān)聯(lián)告警多運(yùn)維期間不希望收到告警告警需求-告警的收斂告警系統(tǒng)的高可用隔離的故障域告警需求-告警的可用性告警需求方案選型告警的選型PrometheusZabbix Open-falcon方案選型-備選方案告警的對接告警源告警目標(biāo)Zabbix多通道多通道Open-falcon多通道多通道Prometheus多通道多通道方案選型-

2、方案對比告警的收斂收斂通知次數(shù)Zabbix無支持Open-falcon簡單收斂支持Prometheus靈活規(guī)則不支持方案選型-方案對比告警的可用性故障域HAZabbix大單點(diǎn)Open-falcon小單點(diǎn)Prometheus小HA方案選型-方案對比其他配置語言Zabbix基于模版C+Open-falcon基于模版Go/PythonPrometheus樹形結(jié)構(gòu)Go方案選型-方案對比告警選型的背景-方案選型zabbixopen-falconprometheus監(jiān)控對象主要監(jiān)控集群主要監(jiān)控集群主要監(jiān)控集群可擴(kuò)展性分層設(shè)計(jì)，可擴(kuò)展分層設(shè)計(jì)，可擴(kuò)展分層設(shè)計(jì)，可擴(kuò)展告警支持告警支持告警支持（監(jiān)控告警項(xiàng)目分離

3、）監(jiān)控?cái)?shù)據(jù)存儲MySQLPGMySQL+Redis+OpentsdbOpentsdb監(jiān)控節(jié)點(diǎn)規(guī)模1000+1000+1000+編程語言C+Go+PythonGo優(yōu)點(diǎn)1.成熟穩(wěn)定，應(yīng)用廣泛2.部署簡單，運(yùn)維方便3.圖形化配置1.架構(gòu)無單點(diǎn)2.微服務(wù)設(shè)計(jì)思路3.時(shí)序存儲4.支持grafana等多種展示方 式1.客戶端豐富 2.google系，社區(qū)熱度大3.容器監(jiān)控方案4.支持grafana等多種展示方 式缺點(diǎn)1.關(guān)系型存儲，集群大容易 卡慢2.沒有告警收斂1.項(xiàng)目時(shí)間短，社區(qū)穩(wěn)定性 考驗(yàn)2.架構(gòu)復(fù)雜，運(yùn)維成本大1.文檔相對缺位2.監(jiān)控?cái)?shù)據(jù)保留時(shí)間短場景中型規(guī)模，私有云中大型規(guī)模，私有云中大型規(guī)模，

4、私有云、容器一.告警的選型二.Alertmanager的實(shí)現(xiàn) 三.Alertmanager的實(shí)踐錄CONTENTSAlertmanager的實(shí)現(xiàn)架構(gòu)對接收斂配置可 用 性Alertmanager的實(shí)現(xiàn)-架構(gòu)Alertmanager的實(shí)現(xiàn)-架構(gòu)Alertmanager的實(shí)現(xiàn)-架構(gòu)Alertmanager的實(shí)現(xiàn)架構(gòu)對接收斂配置可 用 性Alertmanager的實(shí)現(xiàn)-對接告警對接時(shí)需要滿足什么要求？接收不同告警源發(fā)送的告警將不同的告警發(fā)往不同的接收者PrometheusAlert generatorAlertmanagersmtpwechatAPIwebhookAlertmanager的實(shí)現(xiàn)-對接

5、接收HTTP API(/api/v1/alerts)發(fā)送# The unique name of the receiver. name: # Configurations for several notification integrations. - , . - , . - , . email_configs: webhook_configs: wechat_configs:Alertmanager的實(shí)現(xiàn)架構(gòu)對接收斂配置可 用 性Alertmanager的實(shí)現(xiàn)-收斂分組抑制靜默延時(shí)Alertmanager的實(shí)現(xiàn)-分組減少告警消息的數(shù)量同類告警的聚合幫助運(yùn)維排查問題一堆關(guān)于MySQL的告警實(shí)例

6、1的告警實(shí)例2的告警郵件1郵件2Alertmanager的實(shí)現(xiàn)-分組alertname=mysql_cpu_high id=mysql-A alertname=mysql_uptime id=mysql-B alertname=mysql_slave_sql_thread_downid=mysql-Balertname=mysql_slave_io_thread_down id=mysql-Balertname=mysql_cpu_high id=mysql-A alertname=mysql_uptime id=mysql-B alertname=mysql_slave_sql_thread

7、_downid=mysql-Balertname=mysql_slave_io_thread_down id=mysql-Bgroup_by: idAlertmanager的實(shí)現(xiàn)-收斂分組抑制靜默延時(shí)消除了冗余的告警Alertmanager的實(shí)現(xiàn)-抑制主機(jī)1掛掉主機(jī)1的MySQL服務(wù)掛掉主機(jī)1掛掉alertname=mysql_uptime server=server-A alertname=server_uptime server=server-A alertname=server_uptime server=server-A server_uptime 抑制mysql_uptimeAler

8、tmanager的實(shí)現(xiàn)-抑制Alertmanager的實(shí)現(xiàn)-收斂分組抑制靜默延時(shí)Alertmanager的實(shí)現(xiàn)-靜默阻止發(fā)送可預(yù)期的告警一堆的告警（實(shí)例1，實(shí)例2，實(shí)例3）靜默實(shí)例1一堆的告警（實(shí)例2，實(shí)例3）alertname=qps_more_than_3000 id=mysql-A alertname=tps_more_than_2000 id=mysql-A alertname=thread_running_more_than_200 id=mysql-A alertname=thread_running_more_than_200 id=mysql-B”靜默mysql-A的告警ale

9、rtname=thread_running_more_than_20 id=mysql- B”Alertmanager的實(shí)現(xiàn)-靜默Alertmanager的實(shí)現(xiàn)-收斂分組抑制靜默延時(shí)Alertmanager的實(shí)現(xiàn)-延時(shí)不希望頻繁的收到重復(fù)的告警消息怎么辦？Repeat interval需要及時(shí)發(fā)送告警消息？Group interval故障剛發(fā)生時(shí)，接連收到幾個(gè)告警消息怎么辦？Group waitAlertmanager的實(shí)現(xiàn)架構(gòu)對接收斂配置可 用 性分組A：a1，a2，a3 分組B：b1，b2a1a2a1a2Group wait：5sGroup interval：5mRepeat interv

10、al：60ma1a2a1a25s5m55mb1b2b1b2b1b2Alertmanager的實(shí)現(xiàn)-告警收斂5sa1a2 a1a25mb1b260mb1b25ma1a2 a35sa1a2a1a2 a3a1a2 a355ma1a2a3使用樹形的路由配置，每個(gè)節(jié)點(diǎn)都定義了路 由規(guī)則，匹配路由規(guī)則的告警都發(fā)往同一個(gè) 接收者匹配條件接收者id=.+默認(rèn)負(fù)責(zé)人id=mongo-a-zA-z0-9+MongoDB運(yùn)維id=mysql-a-zA-Z0-9+MySQL運(yùn)維group=group1業(yè)務(wù)1負(fù)責(zé)人group=group2業(yè)務(wù)2負(fù)責(zé)人Alertmanager的實(shí)現(xiàn)-配置route:receiver: d

11、efault-receiver group_wait: 5s group_interval: 5mrepeat_interval: 1h group_by: db_type routes:receiver: mongo_ops_receiver group_wait: 10smatch_re:service: mongo-a-zA-Z0-9+receiver: mysql_ops_receiver group_by: mysql_idmatch:group:group1Alertmanager的實(shí)現(xiàn)-配置Alertmanager的實(shí)現(xiàn)架構(gòu)對接收斂配置可 用 性microservice1micr

12、oservice2microservice3microservice1microservice2microservice3prometheusprometheusalertmanageralertmanagerGossipAlertmanager的實(shí)現(xiàn)-可用性一.告警的選型二.Alertmanager的實(shí)現(xiàn) 三.Alertmanager的實(shí)踐錄CONTENTSAlertmanager的實(shí)踐架構(gòu)調(diào)度層級SREalertmanagerWechatEmail管理界面分組/抑制/收斂顯示核心區(qū)HAagentagent采集采集MySQLMySQLMongo受管區(qū)APIprometheusAlertmanager的實(shí)踐-架構(gòu)Alertmanager的實(shí)踐架構(gòu)調(diào)度層級SREAlertmanager的實(shí)踐-調(diào)度層級監(jiān)控管理端監(jiān)控客戶端受管服務(wù)opsAlertmanagerPrometheuseAlertmanager的實(shí)踐架構(gòu)調(diào)度層級SREAlertmanager的實(shí)踐-SREGoogle SRE 對監(jiān)控系統(tǒng)的建議報(bào)警信息應(yīng)由系統(tǒng)自動解決，僅當(dāng)需要的時(shí)候才通知用戶收到報(bào)警的用戶需要立即執(zhí)行某種操作，以解決已發(fā)生的 問題或避免即將發(fā)生的問題A