騰訊CMEM平臺介紹V13課件

概述CMEM簡介全稱為CloudMemcache，是騰訊云平臺提供的極高性能、內(nèi)存級、持久化、分布式的Key-Value存儲服務(wù)。CMEM是作為最終落地存儲來設(shè)計的，擁有數(shù)據(jù)庫級別的訪問保障和持續(xù)服務(wù)能力。CMEM兼容memcached協(xié)議，能力比memcached強(qiáng)（能落地），適用memcached、ttserver的地方都適用CMEM。CMEM解決了內(nèi)存數(shù)據(jù)可靠性、分布式及一致性上的問題，讓海量訪問業(yè)務(wù)的開發(fā)變得簡單快捷。概述使用CMEM的好處便捷，即時申請即時使用，無需自行安裝。易用，可以直接使用memcached的API來訪問CMEM。安全可靠，重啟機(jī)器不丟數(shù)據(jù)、雙機(jī)熱備，主備切換對業(yè)務(wù)透明，跨機(jī)架跨交換機(jī)部署，具備災(zāi)難時的回檔能力。省心，具備自動擴(kuò)容能力，擴(kuò)容對用戶訪問透明，且擴(kuò)容后不影響服務(wù)，擁有全面監(jiān)控及運營團(tuán)隊，用戶不需要去半夜去處理故障。性能極高，熱點數(shù)據(jù)全部都在內(nèi)存，且解決了內(nèi)存數(shù)據(jù)的可靠性問題。成熟穩(wěn)定，容災(zāi)機(jī)制健全，服務(wù)成熟，服務(wù)于海量第三方用戶且久經(jīng)考驗，開發(fā)者完全可以放心使用，運營數(shù)據(jù)已超過40T，接入業(yè)務(wù)包括胡萊三國，幻想之城，蜀山傳奇等。系統(tǒng)模型接入集群管理中心搬遷中心存儲集群備份中心CMEM模型統(tǒng)計中心策略執(zhí)行中心架構(gòu)模型1:1鏡像數(shù)據(jù)流向服務(wù)可靠性接入機(jī)鏡像，相互容災(zāi)存儲機(jī)雙機(jī)熱備，讀自動切換，寫半自動切換備份中心，每日全量備份+5分鐘粒度流水備份-存儲機(jī)配有磁盤鏡像和操作流水，掉電重啟后自行重建內(nèi)存接入機(jī)主機(jī)備機(jī)服務(wù)無損性人工/自動觸發(fā)擴(kuò)容，擴(kuò)容瞬間完成，解決數(shù)據(jù)瞬間暴漲問題數(shù)據(jù)搬遷時用戶可讀寫，影響萬分之一的刪除，每個用戶受影響時間正常情況下持續(xù)在1分鐘之內(nèi)單臺備機(jī)死機(jī)服務(wù)無影響，主機(jī)死機(jī)后只讀，人工/自動切換到備機(jī)則恢復(fù)到可讀寫狀態(tài)接入機(jī)源機(jī)目標(biāo)機(jī)無損服務(wù)內(nèi)部搬遷極端災(zāi)難的應(yīng)對機(jī)架掉電：主備Cache部署在不同機(jī)架。交換機(jī)故障：主備Cache部署在不同交換機(jī)下。機(jī)房掉電：服務(wù)受損，但數(shù)據(jù)可恢復(fù)。掉電+多點磁盤故障：生產(chǎn)系統(tǒng)無法恢復(fù)，由備份中心負(fù)責(zé)回檔。備份能力鏡像文件備份流水旁路恢復(fù)中心++1.每天具備一次全量Dump，且Dump期間不影響現(xiàn)網(wǎng)運營質(zhì)量。2.業(yè)務(wù)流水以每5分鐘為粒度進(jìn)行合并備份。3.具備極端災(zāi)難時的數(shù)據(jù)恢復(fù)能力。4.備份數(shù)據(jù)后續(xù)將為業(yè)務(wù)提供離線數(shù)據(jù)分析的能力。系統(tǒng)性能1/2技術(shù)點：充分運用zero-copy思想，在消息傳遞時，基本達(dá)到理論上的最少copy次數(shù)?？焖賖ash技術(shù)內(nèi)存快速分配技術(shù)多核充分利用技術(shù)無鎖技術(shù)結(jié)論:接入模塊的小包處理能力可達(dá)到35w/s(req+rsp)，最大限度挖掘了硬件能力，使性能達(dá)到極致。CMEM后續(xù)性能挖掘點主要在硬件適配方面，包括超線程CPU，多隊列網(wǎng)卡等。系統(tǒng)性能2/2TTServer與CMEM兩者get速度基本持平，但CMEM的set要更快多協(xié)議支持私有協(xié)議：廣泛用于騰訊內(nèi)部自研業(yè)務(wù)，支持接入鑒權(quán)，容災(zāi)，負(fù)載均衡，支持批量，多列，偏移訪問。在不久的將來也會提供事務(wù)的特性，提供鎖，回滾等操作。Memcached開源協(xié)議:廣泛用于第三方開放平臺APP。包括胡萊三國，守衛(wèi)家園，陽光小鎮(zhèn)等。不可用于phpsession等報文順序相關(guān)的場景，使用前必須閱讀限制條件。/wiki/CMEM

Redis接口：實現(xiàn)中。Mangodb接口：實現(xiàn)中。限制條件與應(yīng)用場景限制:Key不超過10KValue不超過10M（memcached開源協(xié)議限制為1M)應(yīng)用場景：數(shù)據(jù)總量適合于存儲在內(nèi)存中任何Key-Value形式的，寫量很大的數(shù)據(jù)。對延時要求很高的業(yè)務(wù)。CMEM的用戶價值接入即可使用，無需自行搭建，簡單方便。性能極好，幾乎沒有延時毛刺。小包2ms之內(nèi)的服務(wù)質(zhì)量保證。通過云化復(fù)用，節(jié)約用戶成本。雙機(jī)熱備，磁盤流水，掉電不丟失，保障數(shù)據(jù)安全。無需用戶運維，用戶不用關(guān)注容災(zāi)、機(jī)器故障、擴(kuò)容、分布等問題。專注于應(yīng)用開發(fā)即可。依托騰訊的技術(shù)能力，使用戶獲得海量服務(wù)的能力，為應(yīng)用的發(fā)展壯大奠定基礎(chǔ)。CMEM未來開發(fā)計劃SSD介質(zhì)支持，熱冷調(diào)度，冷熱調(diào)度，大幅降低用戶成本。自動熱點發(fā)現(xiàn)，自動負(fù)載調(diào)平，自動擴(kuò)容，自動縮容，降低運維成本。面向最終用戶的運營系統(tǒng)，為用戶分析數(shù)據(jù)提供便利。事務(wù)支持，讓用戶回滾數(shù)據(jù)更加容易。接入通道擴(kuò)容對用戶透明。接入CMEM與自建memcached成本對比資源配置說明操作系統(tǒng)單位單價（人民幣，元）VA22核CPU，15G內(nèi)存，350G硬盤linux臺/天45.00VA34核CPU，30G內(nèi)存，750G硬盤（暫不提供）linux臺/天90.00VB34核CPU，30G內(nèi)存，100G硬盤linux臺/天45.00VB64核CPU，60G內(nèi)存，300G硬盤（暫不提供）linux臺/天90.00VC24核CPU，3.5G內(nèi)存，200G硬盤linux臺/天13.00VC38核CPU，7G內(nèi)存，300G硬盤

（僅廣州機(jī)房提供該類機(jī)型，汕頭機(jī)房不提供）linux/windows臺/天26.00

（windows操作系統(tǒng)需另外計費）以其中的VB3為例，實現(xiàn)雙機(jī)容災(zāi)需要2臺，也就是90元/天?？鄢僮飨到y(tǒng)內(nèi)存消耗2G，實際可用內(nèi)存28G。折合成本3.21元/G。目前CMEM成本3.2元/G,自建節(jié)省0.01元，后續(xù)SSD介質(zhì)支持之后，成本優(yōu)勢將進(jìn)一步體現(xiàn)出來。其他成本優(yōu)勢條目自建存儲CMEM云存儲研發(fā)成本有（需要解決數(shù)據(jù)安全的技術(shù)問題）無運維成本有（需要解決擴(kuò)容部署問題）無服務(wù)能力小規(guī)模服務(wù)海量服務(wù)資源成本3.21元/G3.2元/G容災(zāi)風(fēng)險主備雙機(jī)跨交換機(jī)，跨機(jī)架的主備雙機(jī)技術(shù)支持開源產(chǎn)品沒有售后服務(wù)企業(yè)QQ服務(wù)，上門回訪等可用性保障自行監(jiān)控，自行解決騰訊的監(jiān)控系統(tǒng)+7x24小時的運維服務(wù)推薦的應(yīng)用使用云存儲方式Gameserver或WebserverCMEM云存儲VC虛擬機(jī)VC虛擬機(jī)Gameserver或WebserverCDB云存儲用戶資料：昵稱、等級、金錢、經(jīng)驗背包數(shù)據(jù):農(nóng)場游戲的田地、果實等Feeds：”小明摘了我的菜”成果歸檔:某用戶升級到30級好友排名、用戶排名購買物品留言消息或C