Redis Cluster集群化架構(gòu)演進

1、Redis Cluster集群化架構(gòu)演進技術(shù)創(chuàng)新，變革未來背景和數(shù)據(jù)2015-2016餓了么的業(yè)務(wù)爆炸式增長訂單量從幾十w到峰值900w/天服務(wù)化治理訴求應(yīng)用性能和穩(wěn)定訴求人肉運維成本訴求未來的PAAS平臺池化準(zhǔn)備訂單量和集群規(guī)模背景和數(shù)據(jù)背景和數(shù)據(jù)訂單量和請求使用場景用戶端商戶端物流配送搜索排序，熱賣，畫像等各類cache等問題很多單點Db/cache混用共用一個redis，大key阻塞整個實例經(jīng)常需要擴容，擴容很痛苦使用復(fù)雜基礎(chǔ)環(huán)境非標(biāo)，存在各種配置監(jiān)控缺失不能統(tǒng)一配置架構(gòu)治理自研選型Redis vs redis ClusterTwenproxy vs Codis vs Redis Clu

2、sterRedis Cluster + proxyCorvus + Redis Cluster自帶遷移功能Fast，高可用支持在線分片豐富集群管理命令RedisCluster 的優(yōu)點Corvus + Redis ClusterClient 實現(xiàn)復(fù)雜，需要緩存slot mapping關(guān)系并及時更新Client不成熟導(dǎo)致提高開發(fā)難度存儲和分布式邏輯耦合，節(jié)點太多時節(jié)點之間的檢測 占大量網(wǎng)卡帶寬3.0.6版本前，只能單個key遷移，并且同時只允許一個 slot處于遷移狀態(tài)RedisCluster 的缺點Corvus 時序設(shè)計Corvus + Redis Cluster封裝了redis cluster

3、 協(xié)議，提供redis 協(xié)議擴容縮容應(yīng)用無感知實時緩存了slots mappingMultiple ThreadLightweightReuseport supportCorvusCorvus + Redis ClusterPipeline supportModified commandsRestricted commandsUnsupported commandsCorvuscommandsCorvus PerformanceserverOSCPUcorememnetCorvus(0.2.4)Centos 7.13.10.0-229.el7.x86_64Intel(R) Xeon(R) CP

4、U E5-2620 v32432GBond 4 1G*2Redis(3.0.3)Centos 7.13.10.0-229.el7.x86_64Intel(R) Xeon(R) CPU E5-2620 v32432GBond 4 1G*2redis-benchmark -h 10.0.16.72 -p 8802 -n 90000000 -r 90000000 -t set -P 1000 -c 100redis-benchmark -h 10.0.16.72 -p 8802 -n 90000000 -r 90000000 -t get -P 1000 -c 100Set/getCorvus Cp

5、u utilCorvus cpu kernelCorvus cpu userRedis cpu utilRedis node cpuCompleted commandset94.7%19.44.233%43%1427k/sget94.9%19.84.15%18%1434k/sCorvus + redis cluster 邏輯架構(gòu)Corvus + redis cluster 部署Redis 運維方式移交數(shù)據(jù)庫團隊運維統(tǒng)一redis 物理部署架構(gòu)標(biāo)準(zhǔn)化redis/corvus 服務(wù)器以及單機容量設(shè)定redis 開發(fā)設(shè)計規(guī)范設(shè)定redis資源申請流程，做好容量評估完善監(jiān)控，跟進全鏈路壓測隔離關(guān)鍵集群

6、，分專用資源和公共資源升級萬兆網(wǎng)卡Redis Cluster集群appidRedis 開發(fā)約定Key 格式約定：object-type:id:field。用:分隔域，用. 作為單詞間的連接禁止大k-v只用作cache, Key TTL設(shè)置做好容量評估設(shè)定集群上限接入統(tǒng)一為本地goproxyRedis 改造Redis 遷移cluster完善system、redis、corvus監(jiān)控拆分、擴容非標(biāo)機器騰挪下線大key、熱節(jié)點、大節(jié)點掃描網(wǎng)卡Bond，多隊列綁定修改jedis源碼，加入matrix埋點上報etrace經(jīng)驗總結(jié)Redis 更適合cache，cluster下更不合適做持久化存儲一致性保證，不做讀寫分離(盡管corvus支持)單實例不宜過大，節(jié)點槽位要均衡發(fā)現(xiàn)問題，復(fù)盤，積累經(jīng)驗不跨機房部署，性能優(yōu)先異地多活通過訂閱消息更新緩存大部分的故障都是由于hot-key/big-key關(guān)心流量，必要時立刻升級萬兆遺留問題還不夠自動化版本升級問題大集群Reshard擴容慢Sam-corvus-redis鏈路分析多活跨機房寫緩存同步AOF/RDB冷數(shù)據(jù)集群自愈Redis 池化公共池，專用池，資源buffer資源申