基于Lindorm的金融級超融合解決方案

lQQ9奧運(yùn)會全球指定云服務(wù)商基于Lindorm的金融級超融合解決方案更好的HBase奧運(yùn)會全球指定云服務(wù)商性能穩(wěn)定熱點(diǎn)region自動均衡，熱點(diǎn)key自動隔離跨機(jī)房容災(zāi)(強(qiáng)一致模型和最終一致模型可選)SLA99.9%，跨可用區(qū)集群SLA99.99%壓縮自適應(yīng)編碼算法+深度優(yōu)化的ZSTD壓縮，壓縮率高達(dá)5-10倍冷熱分離數(shù)據(jù)自動冷熱分離，大幅降低綜合存儲成本容量型存儲彈性支持ScaleUp：升配/磁盤擴(kuò)容支持ScaleOut：擴(kuò)縮節(jié)點(diǎn)/擴(kuò)縮計(jì)算節(jié)點(diǎn)支持Serverless：無需感知水位，完全自動彈性功能支持SQL支持二級索引支持多維檢索和全文檢索內(nèi)置列存和Spark引擎應(yīng)用賬單運(yùn)營在線點(diǎn)查、范圍查、多維檢索、統(tǒng)計(jì)分析交易數(shù)據(jù)庫搜索引擎計(jì)算引擎消息隊(duì)列云原生多模數(shù)據(jù)庫Lindorm低成本自動冷熱分離，高壓縮率，綜合成本降低在線高性能系統(tǒng)水平擴(kuò)展，支持應(yīng)用賬單運(yùn)營在線點(diǎn)查、范圍查、多維檢索、統(tǒng)計(jì)分析交易數(shù)據(jù)庫搜索引擎計(jì)算引擎消息隊(duì)列云原生多模數(shù)據(jù)庫Lindorm低成本自動冷熱分離，高壓縮率，綜合成本降低在線高性能系統(tǒng)水平擴(kuò)展，支持百萬級并發(fā)與毫秒級響應(yīng)高可用數(shù)據(jù)多副本，跨機(jī)強(qiáng)一致房容災(zāi)，提供方案客服客服電商交易電商交易生活繳費(fèi)生活繳費(fèi)金融服務(wù)金融服務(wù)信用信用簡單一體化簡單一體化在線與歷史存儲統(tǒng)一，簡單查詢、多維檢索分析等訪問統(tǒng)一百萬+QPS平滑擴(kuò)容千萬+TPS賬單查詢賬單寫入百萬+QPS平滑擴(kuò)容千萬+TPS賬單查詢賬單寫入生活繳費(fèi)生活繳費(fèi)金融服務(wù)金融服務(wù)信用信用………業(yè)務(wù)訴求：核心系統(tǒng)，非常高業(yè)務(wù)訴求：核心系統(tǒng)，非常高的可用性要求業(yè)務(wù)痛點(diǎn)：讀寫熱點(diǎn)痛點(diǎn)：數(shù)據(jù)永久保存，增長快，存儲成本壓力巨大痛點(diǎn)：大KV，寫入性能要求高痛點(diǎn)：大促千萬級讀寫1.分區(qū)級別的動態(tài)、快速遷移1.高吞吐寫入能力1.無限水平擴(kuò)展1.多機(jī)房部署，分區(qū)級主從副1.ZSTD高壓縮2.大促彈性伸縮本，強(qiáng)一致保證，可用率高于2.單機(jī)抗熱點(diǎn)緩存2.冷熱數(shù)據(jù)分離99.99%3.存儲計(jì)算分離百TB+數(shù)據(jù)千萬+新增百TB+數(shù)據(jù)千萬+新增千億千億+賬單支付網(wǎng)關(guān)支付網(wǎng)關(guān)write主DRDSreaddelete 數(shù)據(jù)備份服務(wù)賬本、報(bào)表等賬本、報(bào)表等只讀只讀DRDS6個月以內(nèi)數(shù)據(jù)歷史數(shù)據(jù)問題:支付網(wǎng)關(guān)支付網(wǎng)關(guān)write主DRDSreaddelete 數(shù)據(jù)備份服務(wù)賬本、報(bào)表等賬本、報(bào)表等全量數(shù)據(jù)效果:?成本下降77.42%?千億數(shù)據(jù)支持15+維度的多維隨機(jī)組合實(shí)時查詢?毫秒級響應(yīng)時延?永久存儲，不刪除，總規(guī)模上百TB?時間維度：最近的數(shù)據(jù)最熱，最遠(yuǎn)的數(shù)據(jù)最冷?部分股票和K線顆粒度是數(shù)據(jù)熱點(diǎn)?20%的熱數(shù)據(jù)占了80%的QPS快照類行情數(shù)據(jù)逐筆行情數(shù)據(jù)開盤價/收盤價/最高價/最低價/成交量/時間戳股票ID+時間+K線顆粒度程序觸發(fā)查詢，并發(fā)度高統(tǒng)計(jì)窗口高頻交易數(shù)據(jù)計(jì)算結(jié)果統(tǒng)計(jì)窗口高頻交易數(shù)據(jù)計(jì)算結(jié)果奧運(yùn)會全球指定云服務(wù)商成交量 ?分庫分表無法應(yīng)對業(yè)務(wù)持續(xù)增長帶來的擴(kuò)容需求K線/計(jì)算結(jié)果高頻交易數(shù)據(jù)計(jì)算結(jié)果高頻交易數(shù)據(jù) 索和數(shù)據(jù)統(tǒng)計(jì)功能增量導(dǎo)出小時明細(xì)小時聚合增量導(dǎo)出小時明細(xì)小時聚合1.吞吐并發(fā)、響應(yīng)延遲、可用性2.TTL、多版本、動態(tài)列、在離線通道及效率?靈活Schema能力，原生支持TTL、多版本版本壓縮 登陸 風(fēng)控規(guī)則模型服務(wù)風(fēng)控異步處理單元 云數(shù)據(jù)庫Lindorm版本壓縮 登陸 風(fēng)控規(guī)則