搭建大規(guī)模高性能的時(shí)間序列大數(shù)據(jù)平臺(tái) 搭建基于時(shí)序數(shù)據(jù)的大型監(jiān)測(cè)系統(tǒng)

1、搭建基于時(shí)序數(shù)據(jù)大型監(jiān)測(cè)系統(tǒng)Facebook Engineering Manager第1頁運(yùn)維里監(jiān)測(cè)基于時(shí)序數(shù)據(jù)監(jiān)控和警報(bào)檢測(cè)隔離查障修復(fù)實(shí)時(shí)監(jiān)測(cè)系統(tǒng)第2頁三個(gè)挑戰(zhàn)和應(yīng)對(duì)監(jiān)測(cè)系統(tǒng)基本架構(gòu)智能監(jiān)測(cè)第3頁經(jīng)典監(jiān)測(cè)系統(tǒng)規(guī)模 1 per second三萬臺(tái)虛擬機(jī)幾百萬臺(tái)服務(wù)器每秒搜集三百萬個(gè)數(shù)據(jù)點(diǎn)每秒搜集20億個(gè)數(shù)據(jù)點(diǎn)每秒搜集15億個(gè)數(shù)據(jù)點(diǎn)存放一個(gè)億時(shí)序數(shù)列存放超兩百億時(shí)序數(shù)列實(shí)時(shí)監(jiān)控五千個(gè)告警實(shí)時(shí)監(jiān)控一百萬個(gè)告警六個(gè)工程師十二個(gè)工程師第4頁id （時(shí)間1， 測(cè)量值1）， （時(shí)間2， 測(cè)量值2）， （時(shí)間3， 測(cè)量值3），用于監(jiān)測(cè)目標(biāo)時(shí)序數(shù)列(time-series)id能夠有不一樣定義(Pinter

2、est) 數(shù)列名字+ 多個(gè)(key, value)對(duì)E.g., cpu.usagehost=foo(Facebook) entity + keyE.g., entity=host1, key=cpu.usage每一個(gè)獨(dú)特key/value （或entity/key) 組合對(duì)應(yīng)了一個(gè)時(shí)序數(shù)列時(shí)序數(shù)列定義第5頁經(jīng)典基于時(shí)序系列監(jiān)測(cè)系統(tǒng)架構(gòu)消息總線 (message-bus)數(shù)據(jù)實(shí)時(shí)整合和采樣告警系統(tǒng)數(shù)據(jù)可視化和查詢虛擬機(jī)服務(wù)器代理(agent)虛擬機(jī)服務(wù)器代理(agent)虛擬機(jī)服務(wù)器代理(agent)時(shí)序數(shù)據(jù)庫（TSDB）第6頁經(jīng)典監(jiān)測(cè)系統(tǒng)三個(gè)挑戰(zhàn)和應(yīng)對(duì)智能監(jiān)測(cè)第7頁三個(gè)挑戰(zhàn)海量測(cè)量數(shù)據(jù)需要高吞

3、吐量和大容量存放方案系統(tǒng)可靠性要高讀數(shù)據(jù)要快必須能含糊搜索可伸縮性和可靠性使用者對(duì)監(jiān)測(cè)系統(tǒng)濫用成本第8頁P(yáng)interest分片分級(jí)存放TSDB(最近2小時(shí))TSDB(無限期)WWW服務(wù)器和API服務(wù)器產(chǎn)生數(shù)據(jù)Java服務(wù)產(chǎn)生數(shù)據(jù)互為備份TSDB(最近2小時(shí))TSDB(無限期)互為備份數(shù)據(jù)可視化和查詢Router (依據(jù)各TSDB集群反饋指標(biāo)選擇最正確集群)當(dāng)前負(fù)載查詢成功率查詢延遲第9頁Facebook分層存放數(shù)據(jù)寫入內(nèi)存 TSDB（最近26小時(shí)）Flash TSDB（最近14天）Thrift + Hbase（無限期）Hbase周期性任務(wù)加大舊數(shù)據(jù)時(shí)間間隔壓縮掉不慣用維度第10頁內(nèi)存時(shí)序數(shù)據(jù)庫

4、(in-memory TSDB)Gorilla 是Facebook開源內(nèi)存TSDB利用時(shí)序數(shù)據(jù)冗余做到12倍壓縮率數(shù)據(jù)查詢響應(yīng)時(shí)間從幾秒降低到0.1秒文章發(fā)表于 VLDB 。 Github上開源代號(hào)為Beringei多個(gè)企業(yè) （如Twitter, Pinterest）基于Gorilla思想，獨(dú)立開發(fā)了自己內(nèi)存TSDB第11頁數(shù)據(jù)預(yù)聚合(pre-aggregation)（時(shí)間1， 測(cè)量值1）， （時(shí)間2， 測(cè)量值2）， （時(shí)間3， 測(cè)量值3），服務(wù)器1（時(shí)間1， 測(cè)量值1）， （時(shí)間2， 測(cè)量值2）， （時(shí)間3， 測(cè)量值3），服務(wù)器2（時(shí)間1， 測(cè)量值1）， （時(shí)間2， 測(cè)量值2）， （時(shí)間3，

5、 測(cè)量值3），服務(wù)器3集群預(yù)聚合集群（時(shí)間1， 最大測(cè)量值1）， （時(shí)間2，最大測(cè)量值2）， （時(shí)間3，最大測(cè)量值3），集群（時(shí)間1， 最小測(cè)量值1）， （時(shí)間2，最小測(cè)量值2）， （時(shí)間3，最小測(cè)量值3），集群（時(shí)間1， 平均測(cè)量值1）， （時(shí)間2，平均測(cè)量值2）， （時(shí)間3，平均測(cè)量值3），預(yù)聚合把高維度時(shí)序數(shù)據(jù)壓縮成低維度，同時(shí)保留統(tǒng)計(jì)意義。降低存放壓力并加緊查詢速度第12頁數(shù)據(jù)預(yù)聚合 - Facebook 版本按集群或服務(wù)預(yù)聚合按數(shù)據(jù)中心預(yù)聚合第13頁數(shù)據(jù)預(yù)聚合 Pinterest 版本實(shí)時(shí)計(jì)算存放存放用戶界面和API數(shù)據(jù)起源聚合時(shí)序數(shù)據(jù)庫原始時(shí)序數(shù)據(jù)庫Kafka學(xué)習(xí)預(yù)聚合規(guī)則評(píng)定預(yù)聚

6、合規(guī)則效率第14頁預(yù)聚合規(guī)則我學(xué)習(xí)到以下規(guī)則：沒有些人查詢集群A里單機(jī)CPU利用率，所以能夠只保留集群A總體CPU利用率關(guān)于集群A總體CPU利用率，必須計(jì)算最大和平均值有些人查詢了集群B里單機(jī)CPU利用率，所以不能對(duì)集群B做聚合用戶查詢數(shù)據(jù)日志7月1號(hào)15:30, 查詢集群 A 最大單機(jī)CPU利用率7月1號(hào)17:00, 查詢集群 A 平均單機(jī)CPU利用率7月1號(hào)18:00, 列出集群 B 全部單機(jī)CPU利用率7月1號(hào)18:10, 查詢集群 B 最小單機(jī)CPU利用率Kafka原始時(shí)序數(shù)據(jù)寫入預(yù)聚合規(guī)則學(xué)習(xí)器實(shí)時(shí)數(shù)據(jù)聚合時(shí)序數(shù)據(jù)庫規(guī)則第15頁三個(gè)時(shí)序數(shù)列被聚合成三個(gè)，壓縮比為1預(yù)聚合規(guī)則效率（時(shí)間

7、1， 測(cè)量值1）， （時(shí)間2， 測(cè)量值2）， （時(shí)間3， 測(cè)量值3），服務(wù)器1（時(shí)間1， 測(cè)量值1）， （時(shí)間2， 測(cè)量值2）， （時(shí)間3， 測(cè)量值3），服務(wù)器2（時(shí)間1， 測(cè)量值1）， （時(shí)間2， 測(cè)量值2）， （時(shí)間3， 測(cè)量值3），服務(wù)器3集群預(yù)聚合集群（時(shí)間1， 最大測(cè)量值1）， （時(shí)間2，最大測(cè)量值2）， （時(shí)間3，最大測(cè)量值3），集群（時(shí)間1， 最小測(cè)量值1）， （時(shí)間2，最小測(cè)量值2）， （時(shí)間3，最小測(cè)量值3），集群（時(shí)間1， 平均測(cè)量值1）， （時(shí)間2，平均測(cè)量值2）， （時(shí)間3，平均測(cè)量值3），只有壓縮比大于1聚合規(guī)則才有意義原始維度過小時(shí)序列不需要預(yù)聚合第16頁詮釋數(shù)據(jù)(

8、meta-data)時(shí)序數(shù)據(jù)庫消息總線實(shí)時(shí)數(shù)據(jù)導(dǎo)入和預(yù)處理模塊時(shí)序數(shù)據(jù)+數(shù)據(jù)名map時(shí)序數(shù)新時(shí)序數(shù)列詮釋數(shù)據(jù)，包含key/value 或 entity/key，以及產(chǎn)生時(shí)間詮釋數(shù)據(jù)索引和管理用途：用戶能夠用詮釋數(shù)據(jù)含糊查詢相關(guān)時(shí)序數(shù)列案例：(1) 已知機(jī)器名是key, 查詢?nèi)繖C(jī)器名是foo時(shí)序數(shù)據(jù)(2) 列出全部指標(biāo)名含有 error 時(shí)序數(shù)據(jù)(3) 找出過去一個(gè)小時(shí)內(nèi)全部新產(chǎn)生時(shí)序數(shù)據(jù)第17頁可伸縮性和可靠性使用者對(duì)監(jiān)測(cè)系統(tǒng)濫用成本極少許有用數(shù)據(jù) （5%），大量冗余無用數(shù)據(jù)少數(shù)指標(biāo)產(chǎn)生過量垃圾數(shù)據(jù)，威脅數(shù)據(jù)庫穩(wěn)定少許昂貴查詢可能影響系統(tǒng)性能監(jiān)測(cè)系統(tǒng)被用于關(guān)鍵服務(wù)一環(huán)第18頁反垃圾（anti

9、-spam）數(shù)據(jù)虛擬機(jī)服務(wù)器代理(agent)虛擬機(jī)服務(wù)器代理(agent)虛擬機(jī)服務(wù)器代理(agent)消息總線按指標(biāo)名/集群名/服務(wù)名 等各種維度統(tǒng)計(jì)當(dāng)前時(shí)間窗口里數(shù)據(jù)量，并和過去時(shí)間窗口對(duì)比。假如發(fā)覺有突發(fā)爆炸性增加，制訂垃圾數(shù)據(jù)黑名單。實(shí)時(shí)數(shù)據(jù)分析器垃圾數(shù)據(jù)黑名單配置參數(shù)配置參數(shù)配置參數(shù)把垃圾數(shù)據(jù)黑名單加入到服務(wù)器代理配置參數(shù)里第19頁垃圾數(shù)據(jù)探測(cè)不需要100%準(zhǔn)確，能夠經(jīng)過采樣降低數(shù)據(jù)處理量Zookeeper很可能成為瓶頸Facebook利用了基于Zookeeper開發(fā)出Zeus （鏈接）Pinterest讓程序不直接和Zookeeper建立TCP連接（鏈接）已被過濾掉垃圾數(shù)據(jù)，應(yīng)該

10、找到并修改對(duì)應(yīng)代碼。不然傳送垃圾數(shù)據(jù)會(huì)浪費(fèi)服務(wù)器資源反垃圾數(shù)據(jù)本身可伸縮性(scalability)第20頁對(duì)昂貴查詢防范昂貴查詢通常要對(duì)多個(gè)維度，大量時(shí)序數(shù)據(jù)做查詢和計(jì)算，造成整個(gè)TSDB集群變慢和不穩(wěn)定比如，“整個(gè)US-1數(shù)據(jù)中心平均服務(wù)器CPU使用率是多少？”防范辦法Facebook有另一套基于采樣和內(nèi)存實(shí)時(shí)數(shù)據(jù)查詢系統(tǒng)Scuba執(zhí)行查詢前，利用meta-data索引預(yù)估該查詢需要讀入數(shù)據(jù)量。超出一定閾值時(shí)，禁止其被服務(wù)第21頁監(jiān)測(cè)系統(tǒng)被引入關(guān)鍵服務(wù)本身設(shè)計(jì) 危險(xiǎn)！時(shí)序數(shù)據(jù)庫真實(shí)案例1CPU利用率某關(guān)鍵服務(wù)auto-scaling，用該服務(wù)CPU利用率來決定資源增減時(shí)序數(shù)據(jù)庫真實(shí)案例2假

11、如上游服務(wù)成功率低于80%，發(fā)出警報(bào)某關(guān)鍵服務(wù)收到該警報(bào)后，自動(dòng)重啟監(jiān)測(cè)系統(tǒng)設(shè)計(jì)目標(biāo)普通是可擴(kuò)展性，但允許極少許數(shù)據(jù)丟失監(jiān)測(cè)系統(tǒng)本身復(fù)雜性造成了其可靠性往往低于關(guān)鍵服務(wù)期望值應(yīng)對(duì)搭建多個(gè)獨(dú)立監(jiān)測(cè)系統(tǒng)，用冗余換取高可靠性和關(guān)鍵服務(wù)開發(fā)者加強(qiáng)溝通，關(guān)鍵服務(wù)必須在監(jiān)測(cè)系統(tǒng)失效時(shí)有備份方案第22頁可伸縮性和可靠性使用者對(duì)監(jiān)測(cè)系統(tǒng)濫用成本數(shù)據(jù)不可刪除性對(duì)存放資源壓力實(shí)時(shí)性對(duì)計(jì)算資源壓力監(jiān)測(cè)系統(tǒng)本身復(fù)雜性對(duì)運(yùn)維人員資源壓力第23頁降低檢測(cè)系統(tǒng)成本Gorilla集群Gorilla冗余集群1Gorilla冗余集群2HDFSWBL (Write-behind logs)WBLWBL數(shù)據(jù)適度拷貝左邊架構(gòu)中，WBL

12、有9份拷貝！把WBL挪到LogDevice后只需3份拷貝慎用通用型Key/Value數(shù)據(jù)庫通用型Key/Value數(shù)據(jù)庫在存放時(shí)序數(shù)列時(shí)較低效Purpose-built TSDB更有潛力依據(jù)數(shù)據(jù)使用規(guī)律采取不一樣成本存放方案前面meta-data可用于此目標(biāo)第24頁監(jiān)測(cè)系統(tǒng)基本架構(gòu)三個(gè)挑戰(zhàn)和應(yīng)對(duì)智能監(jiān)測(cè)第25頁智能監(jiān)測(cè)系統(tǒng)傳統(tǒng)監(jiān)測(cè)系統(tǒng)數(shù)據(jù)采集，存放系統(tǒng)可伸縮性和可靠性智能監(jiān)測(cè)系統(tǒng)從海量數(shù)據(jù)里快速地提取有價(jià)值信息以用于故障發(fā)覺和修復(fù)第26頁異常檢測(cè)+警報(bào)系統(tǒng)Facebook異常檢測(cè)采取了以色列Anodot企業(yè)算法引擎異常檢測(cè)產(chǎn)生告警傳統(tǒng)人工方式產(chǎn)生告警第27頁異常檢測(cè)單個(gè)時(shí)序數(shù)列異常第28頁異常檢測(cè)多個(gè)時(shí)序數(shù)列異常Anodot異常檢測(cè)基于semi-supervised，單個(gè)多個(gè)時(shí)序數(shù)列混合機(jī)器學(xué)