微博Cache架構(gòu)設(shè)計實踐

1、微博Cache架構(gòu)設(shè)計實踐技術(shù)創(chuàng)新 變革未來大綱數(shù)據(jù)挑戰(zhàn)Feed系統(tǒng)架構(gòu)Cache架構(gòu)及演進總結(jié)及展望數(shù)據(jù)挑戰(zhàn)平臺接口 日訪問百億級Cache 內(nèi)存百T級核心記錄千億級Cache日訪問萬億級單個核心數(shù)據(jù) Cache QPS百萬級日活用戶 1.6億Feed平臺系統(tǒng)架構(gòu)Feed timeline構(gòu)建流程Feed Cache 架構(gòu)Cache架構(gòu)Cache架構(gòu)及演進簡單KV數(shù)據(jù)類型單層HashMain-HACache架構(gòu)及演進簡單KV數(shù)據(jù)類型Main-HA-LlCache架構(gòu)及演進簡單KV數(shù)據(jù)類型Key PointMemcached 為主層內(nèi)HASH節(jié)點不漂移，miss則穿透多組L1 讀取性能升 峰值

2、流量成本降讀寫策略Write:多寫Read:逐層穿透，miss 回寫Json/xml Protocol BufferQuickLZ 壓縮Cache架構(gòu)及演進 集合類數(shù)據(jù)業(yè)務(wù)特點部分修改分頁獲取資源計算 聯(lián)動計算類型 關(guān)注，粉絲，分組，共同關(guān)注，xx也關(guān)注方案 RedisHash 分布，MS，cache/storage30+T 內(nèi)存，2-3萬億rw/dayCache架構(gòu)及演進集合類數(shù)據(jù)Redis擴展(Longset)Long型開放數(shù)組，Double Hash 尋址Client 構(gòu)建數(shù)據(jù)結(jié)構(gòu)，elements 單次寫入Lsput 填充率過高，由client重建Lsgetall Lsdump少量而超

3、熱數(shù)據(jù) mc抗讀Cache架構(gòu)及演進集合類數(shù)據(jù)Redis其他擴展熱升級 10+分鐘毫秒級AOF:RotateROB:Pos of AOF全增量復(fù)制落地同步速控Cache架構(gòu)及演進其他數(shù)據(jù)類型計數(shù)業(yè)務(wù)特點單key有多計數(shù)（微博用戶多種計數(shù)）Value size較?。?-8個字節(jié)）每日新增記錄近十億級，總記錄千億級單次請求多條kvCache架構(gòu)及演進其他數(shù)據(jù)類型計數(shù)選型1: MemcachedMC 剔除，重啟數(shù)據(jù)丟失大量計數(shù)為0，如何存選型2: Redis內(nèi)存有效負荷低方問性能最終方案：自研CounterServiceShema 支持多列，按bit分配Tables 預(yù)分配，double-hash尋

4、址內(nèi)存降為1/5-1/15以下冷熱分離，SSD 存放老數(shù)據(jù)，老熱數(shù)據(jù)入LRU落地 RDB + AOF全增量復(fù)制單機：熱數(shù)據(jù)百億級，冷數(shù)據(jù)千億級Cache架構(gòu)及演進計數(shù)器 CounterService存儲架構(gòu)Cache架構(gòu)及演進其他數(shù)據(jù)類型存在性判斷業(yè)務(wù)類型需求檢查是否存在（閱讀 贊）單條記錄量小，value 1bit (0/1)總數(shù)據(jù)量巨大，大量value為0每日新增數(shù)量大 千億級Cache架構(gòu)及演進其他數(shù)據(jù)類型存在性判斷選型1: Redis單條kv:65 bytes每日新增內(nèi)存 6T (不考慮HA)選型2 CounterService單條kv:9 bytes每日新增內(nèi)存 900G (不考慮H

5、A)Cache架構(gòu)及演進其他數(shù)據(jù)類型存在性判斷錄終方案：自研PhantomTable 分段預(yù)分配，段內(nèi) bloomfilter每條kv：1.2 bytes (1%誤判）每日新增內(nèi)存：12OG SOOG 6TCache架構(gòu)及演進其他數(shù)據(jù)類型存在性判斷Phantom系統(tǒng)架構(gòu)數(shù)據(jù)存放共享內(nèi)存，重啟不丟數(shù)據(jù)落地 RDB + AOF兼容Redis 協(xié)議Cache架構(gòu)及演進小結(jié)關(guān)注點集群內(nèi)高可用集群內(nèi)擴展性組件高性能存儲成本Cache架構(gòu)及演進進步優(yōu)化業(yè)務(wù)關(guān)聯(lián)資源太多 如何簡化開發(fā)？常規(guī)峰值、突發(fā)流量如何快捷、低成本應(yīng)對？面向資源組件管理 如何簡化運維？本地配置模式 如何快速變更？業(yè)務(wù)數(shù)據(jù)分類多如何獨立管

6、控SLA？Cache架構(gòu)及演進服務(wù)化本地Confs 配置服務(wù)化configServer 管理配置服務(wù)，避免頻繁重啟資源服務(wù)管理 API 化變更方式 script 修改， smart client 異步更新Cache架構(gòu)及演進服務(wù)化Cache 訪問Proxy 化IDC數(shù)據(jù)致性Collecting/replicationCache架構(gòu)及演進服務(wù)化ClusterManager腳本化Web 界面化服務(wù)校驗 業(yè)務(wù)SLA面向服務(wù)管控資源服務(wù)治理擴容、縮容SLA 呆障監(jiān)控報警故障處理簡化開發(fā)屏蔽Cache資源細節(jié)單行配置訪問總結(jié)與展望Feed Cache 架構(gòu)數(shù)據(jù) 架構(gòu)性能 擴展 可用性存儲 成本服務(wù)化Ll-M-HA分布策略開源擴展優(yōu)化自研組件簡單KV集合類數(shù)據(jù)計數(shù)存在性判斷配