2022云棲大會(huì)：Lindorm多模融合海量數(shù)據(jù)存得起看得見

阿里云阿里云NoSQL數(shù)據(jù)庫(kù)PD負(fù)責(zé)人阿里云NoSQL數(shù)據(jù)庫(kù)研發(fā)負(fù)責(zé)人互聯(lián)網(wǎng)平臺(tái)業(yè)務(wù)數(shù)據(jù)2000s9互聯(lián)網(wǎng)平臺(tái)業(yè)務(wù)數(shù)據(jù)2000s91傳統(tǒng)商業(yè)業(yè)務(wù)數(shù)據(jù)半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)處理與分析半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)處理與分析數(shù)據(jù)特征（4V）海量（Volume）、多樣（Variety）、價(jià)值（Value）、時(shí)效寬表wideColumn圖Graph時(shí)序TimeSeriaIs鍵值KV（緩存態(tài)/持久化）文檔Document結(jié)構(gòu)化數(shù)據(jù)處理與分析堅(jiān)實(shí)支撐阿里電商Tair支撐了電商交易核心體驗(yàn)場(chǎng)景，數(shù)十億QPS的峰結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)移動(dòng)互聯(lián)網(wǎng)移動(dòng)互聯(lián)網(wǎng)PB級(jí)互聯(lián)網(wǎng)TB級(jí)關(guān)系模型架構(gòu)挑戰(zhàn)關(guān)系型數(shù)據(jù)庫(kù)階段Google三駕馬車非關(guān)系型數(shù)據(jù)庫(kù)階段非關(guān)系型數(shù)據(jù)庫(kù)階段Gartner分離分離高學(xué)習(xí)成本高運(yùn)維成本高資源成本高學(xué)習(xí)成本高運(yùn)維成本高資源成本彈性低成本計(jì)算/存儲(chǔ)分離架構(gòu)，資源獨(dú)立彈性伸縮彈性低成本計(jì)算/存儲(chǔ)分離架構(gòu)，資源獨(dú)立彈性伸縮開源生態(tài)兼容支持與常見數(shù)據(jù)庫(kù)之間的雙向在線遷移，無(wú)縫對(duì)客戶端LindormSQLHBaseCassandraOpenTSDBInfluxDBSolrS3HDFSKafka結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)時(shí)代的云原生多模數(shù)據(jù)庫(kù)，Lindorm讓海量數(shù)據(jù)存得起，看得見多模超融合多模超融合原生支持寬表、時(shí)序、對(duì)象、時(shí)空等多種數(shù)據(jù)類型標(biāo)準(zhǔn)SQL接口，統(tǒng)一訪問多模數(shù)據(jù)統(tǒng)一查詢引擎統(tǒng)一查詢引擎LindormSQLLindorm多模引擎Lindorm計(jì)算引擎實(shí)時(shí)處理對(duì)象云原生分布式文件系統(tǒng)LindormDFS交互分析批計(jì)算在線查詢多維檢索表格流彈性使用彈性使用底層存儲(chǔ)池化管理，用戶按需使用，無(wú)感擴(kuò)縮容高效壓縮與編碼支持使用糾刪碼EC算法，副本冗余系數(shù)低至1.25數(shù)據(jù)文件分塊壓縮，上層計(jì)算透明使用多級(jí)介質(zhì)混合管理支持多副本異構(gòu)存儲(chǔ)，高速介質(zhì)提供性能，低速介質(zhì)可靠性，最大化性價(jià)比LindormLindorm多模引擎搜索HadoopCompatibleFilesystemProtocol（HDFS兼容）文件管理冷熱轉(zhuǎn)存副本異構(gòu)池化調(diào)度擎時(shí)序引流引擎對(duì)象寬表多租戶安全糾刪碼EC透明壓縮物聯(lián)網(wǎng)數(shù)據(jù)壓縮比高達(dá)15:1，綜合存儲(chǔ)成本下降80%，云原生彈性滿足任意存儲(chǔ)規(guī)模多模數(shù)據(jù)統(tǒng)一視圖多模數(shù)據(jù)統(tǒng)一視圖提升開發(fā)效率支持豐富類型、結(jié)構(gòu)松散的大寬表支持豐富類型、結(jié)構(gòu)松散的大寬表TimeSeriesPolygon時(shí)序類型基礎(chǔ)數(shù)據(jù)類型高級(jí)數(shù)據(jù)類型對(duì)象類型時(shí)空類型BooleanVarcharVectorJsonPointBlobLineInt……LindormLindorm多模引擎搜索時(shí)擎序引對(duì)象寬表流庫(kù)算智一體化APP增強(qiáng)數(shù)據(jù)處理能力分布式計(jì)算減少數(shù)據(jù)鏈路維護(hù)接入API流庫(kù)算智一體化APP增強(qiáng)數(shù)據(jù)處理能力分布式計(jì)算減少數(shù)據(jù)鏈路維護(hù)接入API提升業(yè)務(wù)迭代速度流式處理復(fù)雜分析檢索聚合在線查詢流式處理復(fù)雜分析檢索聚合分布式文件系統(tǒng)LDFS(lindorm-dfs)場(chǎng)景數(shù)據(jù)冷熱特征明顯，數(shù)據(jù)存儲(chǔ)成本壓力大Lindorm寬表引擎冷熱統(tǒng)一查詢分區(qū)1冷熱自由調(diào)整冷熱異構(gòu)管理價(jià)值?冷數(shù)據(jù)存儲(chǔ)成本減少90%?熱數(shù)據(jù)查詢性能提升15%?場(chǎng)景數(shù)據(jù)冷熱特征明顯，數(shù)據(jù)存儲(chǔ)成本壓力大Lindorm寬表引擎冷熱統(tǒng)一查詢分區(qū)1冷熱自由調(diào)整冷熱異構(gòu)管理價(jià)值?冷數(shù)據(jù)存儲(chǔ)成本減少90%?熱數(shù)據(jù)查詢性能提升15%?業(yè)務(wù)代碼零改造?冷熱參數(shù)在線調(diào)整按行冷熱轉(zhuǎn)換元數(shù)據(jù)與索引層熱數(shù)據(jù)層冷數(shù)據(jù)層…核心挑戰(zhàn)?統(tǒng)一查詢：基于元數(shù)據(jù)與查詢條件按需懶加載冷數(shù)據(jù)，冷熱自動(dòng)聚合返回算法，減少冷熱轉(zhuǎn)換IO放大?冷熱調(diào)整：按行識(shí)別冷熱，在線調(diào)整冷熱分界線。?冷數(shù)據(jù)極致處理：行列混存格式提升壓縮比，元數(shù)據(jù)分層按需加載減少內(nèi)存占用快速壓縮容量型存儲(chǔ)性能型存儲(chǔ)高速介質(zhì)深度壓縮冷熱高效分離冷熱高效分離分區(qū)2分區(qū)2場(chǎng)景海量數(shù)據(jù)的低成本存儲(chǔ)、高并發(fā)查詢、多維檢索與聚合分析場(chǎng)景海量數(shù)據(jù)的低成本存儲(chǔ)、高并發(fā)查詢、多維檢索與聚合分析護(hù)，即可獲得海量數(shù)據(jù)下的多維檢索與聚合分析的能力，體驗(yàn)與效率大幅領(lǐng)先于多個(gè)產(chǎn)品的組合方案RBO自動(dòng)選擇最合適的索引，加速查詢頁(yè)、文本分詞、高亮顯示等能力?檢索分析加速：索引數(shù)據(jù)使用倒排、BKD樹、列存等技術(shù)，大幅提升多維檢索與聚合分析的性能資源碎片，并支持按需IO隔離。平衡一致性與吞吐延遲的選擇查詢解析主鍵查詢寫入擎ore 同步寫入索引(強(qiáng)一致)執(zhí)行優(yōu)化協(xié)議接入WAL多維檢索與分析全量構(gòu)建索引異步更新索引數(shù)據(jù)多模態(tài)海量規(guī)模場(chǎng)景多樣業(yè)務(wù)挑戰(zhàn)車聯(lián)網(wǎng)應(yīng)用事件觸發(fā)在線請(qǐng)求數(shù)據(jù)分析簡(jiǎn)單易用豐富處理，統(tǒng)一訪問高性能數(shù)據(jù)處理性能比開源自建快3-10倍數(shù)據(jù)多模態(tài)海量規(guī)模場(chǎng)景多樣業(yè)務(wù)挑戰(zhàn)車聯(lián)網(wǎng)應(yīng)用事件觸發(fā)在線請(qǐng)求數(shù)據(jù)分析簡(jiǎn)單易用豐富處理，統(tǒng)一訪問高性能數(shù)據(jù)處理性能比開源自建快3-10倍彈性資源按需秒級(jí)伸縮成本壓力成本壓力分析運(yùn)營(yíng)分析車況分析實(shí)時(shí)預(yù)警車輛監(jiān)控事件多模數(shù)據(jù)融合統(tǒng)一訪問實(shí)時(shí)入庫(kù)實(shí)時(shí)云原生多模數(shù)據(jù)庫(kù)Lindorm車輛狀態(tài)與屬性標(biāo)簽數(shù)據(jù)視頻/圖片數(shù)據(jù)車輛位置數(shù)據(jù)屬性/標(biāo)簽索引實(shí)時(shí)數(shù)據(jù)時(shí)非結(jié)構(gòu)化數(shù)據(jù)視頻/圖片接入方案優(yōu)勢(shì)低成本低成本自動(dòng)冷熱分離，高壓縮率，綜合成本降低80%大容量大容量系統(tǒng)水平擴(kuò)展，支持PB級(jí)存儲(chǔ)和千萬(wàn)級(jí)吞吐企業(yè)級(jí)企業(yè)級(jí)歷經(jīng)十余年生產(chǎn)考驗(yàn)，具備成熟的穩(wěn)定性、安全性能力挑戰(zhàn)挑戰(zhàn)多模融合多模融合解決解決數(shù)據(jù)孤島存儲(chǔ)，融合分析困難資源碎片，存儲(chǔ)成本高API多樣化，開發(fā)成本高44次連接4種API4個(gè)集群元數(shù)據(jù)運(yùn)行數(shù)據(jù)關(guān)系數(shù)據(jù)庫(kù)搜索引擎時(shí)序數(shù)據(jù)庫(kù)元數(shù)據(jù)運(yùn)行數(shù)據(jù)關(guān)系數(shù)據(jù)庫(kù)搜索引擎時(shí)序數(shù)據(jù)庫(kù)監(jiān)控監(jiān)控TracingTracing寬表數(shù)據(jù)庫(kù)常規(guī)方案運(yùn)行數(shù)據(jù)Tracing運(yùn)行數(shù)據(jù)Tracing監(jiān)控監(jiān)控元數(shù)據(jù)云原生多模數(shù)據(jù)庫(kù)云原生多模數(shù)據(jù)庫(kù)Lindorm