2023云棲大會：多模數(shù)據庫Lindorm -打造AI時代的一體化數(shù)據平臺

阿里云資深技術專家SQL結構化數(shù)據MapReduceAI非結構化數(shù)據SQL結構化數(shù)據MapReduce半結構化數(shù)據半結構化數(shù)據SQL結構化數(shù)據MapReduceAI非結構化數(shù)據SQL結構化數(shù)據MapReduce半結構化數(shù)據半結構化數(shù)據APSARA云棲大會SQL結構化數(shù)據互聯(lián)網移動互聯(lián)網AIoT關系型數(shù)據庫階段關系型數(shù)據庫階段大數(shù)據&大數(shù)據&NoSQL階段融合型數(shù)據庫階段融合型數(shù)據庫階段在線KV全文檢索交互分析…資源開銷高?數(shù)據重復冗余?資源碎片化，使用不均?數(shù)據流轉額外開銷大?海量存儲成本高維護挑戰(zhàn)大在線KV全文檢索交互分析…資源開銷高?數(shù)據重復冗余?資源碎片化，使用不均?數(shù)據流轉額外開銷大?海量存儲成本高維護挑戰(zhàn)大?搭建N條數(shù)據鏈路?運維N套分布式系統(tǒng)?缺乏彈性，容量管理困難離線結果導入離線歸檔實時結果寫入實時明細同步離線歸檔實時處理APSARA云棲大會典型的多產品組合方案，數(shù)據鏈路多，訪問接口多，數(shù)據重復冗余開發(fā)效率低開發(fā)效率低?相似功能不一致?業(yè)務側雙寫或雙讀智能化智能數(shù)據分析多模態(tài)數(shù)據檢索智能化智能數(shù)據分析多模態(tài)數(shù)據檢索開放化標準化接口開放數(shù)據格式一體化存查算一體在離線、離在線一體一份數(shù)據，多種計算APSARA云棲大會云原生化云原生化資源彈性開箱即用低成本云原生多模數(shù)據庫云原生多模數(shù)據庫 統(tǒng)一QiLdorm實時&離線計算高并發(fā)寫入表格圖片視頻等對象消息多模數(shù)據在線服務共享存儲AI處理APSARA云棲大會計算層查詢層計算層查詢層數(shù)據引擎層存儲層云原生多模數(shù)據庫Lindorm統(tǒng)一體驗統(tǒng)一查詢引擎LSQL統(tǒng)一查詢引擎LSQL多模數(shù)據統(tǒng)一訪問，兼容MySQL通信協(xié)議開源兼容層LProxy開源兼容層LProxy兼容hbase、es、kafka、influxdb等接口智能計算ETL、交互分析、機器學習流引擎LStream流引擎LStream流計算模型管理、推理多模互通寬表引擎寬表引擎搜索引擎搜索引擎列存引擎列存引擎消息引擎消息引擎存算分離分布式文件系統(tǒng)分布式文件系統(tǒng)LDFS(X86/ARM/倚天)塊存儲塊存儲(ESSDPL1/PL0高效)對象存儲對象存儲本地盤本地盤(SSD/HDD)按需插拔復雜計算訂閱消費行存列存倒排實時入庫AI分析復雜計算訂閱消費行存列存倒排實時入庫AI分析APSARA云棲大會業(yè)務應用業(yè)務應用數(shù)據管理訪問Lindorm查詢引擎在線查流計算智能處理批處理&交互分析在線查流計算智能處理高吞吐寫入(KafkaAPI/SQL)數(shù)據網關數(shù)據網關APSARA云棲大會海量、低成本海量、低成本?糾刪碼EC，1.25副本實現(xiàn)靠存在線、高并發(fā)在線、高并發(fā)?點查、范圍查、多條件查、部分?簡單讀寫，P99小于10ms，千萬級吞吐，性能是HBase的3-7倍查彈性、靈活彈性、靈活?支持交互分析、批計算、流計?一份數(shù)據，同時滿足生產和分析算生態(tài)兼容生態(tài)兼容?開放數(shù)據格式（Parquet、?支持與數(shù)據庫、大數(shù)據間的訪問?支持多副本異構存儲，高速介質提供性能，低速介質保障可靠性，最大化性價比?數(shù)據隨熱溫冷變化，在多級介質間進行轉存，大幅降低綜合成本多級介質混合管理?支持使用糾刪碼EC算法，副本冗余系數(shù)低至?數(shù)據文件分塊壓縮，上層計算透明使用?基于ZSTD深度優(yōu)化壓縮算法，效果提升30%高效壓縮與編碼彈性使用?基于存算分離的全分布式架構，存儲和計算資源解耦，支持獨立伸縮?底層存儲池化管理，用戶按需使用，無感擴縮容APSARA云棲大會低成本存：兼容HDFS的云原生存儲底座LindormLindorm多模引擎寬表搜索列存列存消息存算分離靈活組合的存儲能力HadoopCompatibleFilesystemProtocol（HDFS兼容）多級介質管理列類型編碼字典編碼深度優(yōu)化的ZSTD壓縮采樣編碼壓縮采樣訓練類型信息字典信息熵編碼類型信息字典信息JNA重寫，并且基于字典采樣優(yōu)化列類型編碼字典編碼深度優(yōu)化的ZSTD壓縮采樣編碼壓縮采樣訓練類型信息字典信息熵編碼類型信息字典信息JNA重寫，并且基于字典采樣優(yōu)化APSARA云棲大會開源數(shù)據集原始文件?數(shù)據冷熱特征明顯，數(shù)據存儲成本壓力大場景?冷數(shù)據存儲成本減少90%?熱數(shù)據查詢性能提升15%?業(yè)務代碼零改造?冷熱參數(shù)在線調整價值核心優(yōu)勢?數(shù)據冷熱特征明顯，數(shù)據存儲成本壓力大場景?冷數(shù)據存儲成本減少90%?熱數(shù)據查詢性能提升15%?業(yè)務代碼零改造?冷熱參數(shù)在線調整價值核心優(yōu)勢需懶加載冷數(shù)據，冷熱自動聚合返回Compaction算法，減少冷熱轉換IO放大調整冷熱分界線壓縮比，元數(shù)據分層按需加載減少內存占用Lindorm多模引擎冷熱統(tǒng)一查詢冷熱高效分離冷熱自由調整冷熱異構管理分區(qū)1元數(shù)據與索引層冷熱轉換 APSARA云棲大會性能型存儲性能型存儲容量型存儲Lindorm客戶端Kafka客戶端Lindorm客戶端Kafka客戶端分離，降低80%成本縮容Partition，比開源kafka提升一個數(shù)量級打通，數(shù)據自動入庫、入湖倉核心能力APSARA云棲大會Lindorm消息引擎KafkaCompatibleProtoTail緩存Tail緩存共享日志分區(qū)多副本Partition2 Partition1 Partition2 Partition1 ConsumePartition3…云原生分布式文件系統(tǒng)云原生分布式文件系統(tǒng)LindormDFS?分區(qū)多副本，自動故障恢復?全球異地多活高可用客戶端?分區(qū)多副本，自動故障恢復?全球異地多活高可用客戶端客戶端客戶端APICQL?讀寫性能是HBase的3-7倍?支持多種索引，加速查詢高性能?存算分離，秒級擴縮容?動態(tài)上千列，單列大小0-1TB高擴展?100%兼容開源HBase?支持MySQL端訪問?提供Json、Gis等豐富類型開放易用APSARA云棲大會冷熱分離LSM分區(qū)多副本Write 云原生分布式文件系統(tǒng)云原生分布式文件系統(tǒng)LindormDFS0X單行讀范圍讀單行寫批量寫Lindorm-2.1社區(qū)版HBase-2.00APSARA云棲大會單行讀社區(qū)版HBase-2.0批量寫單行寫范圍讀0SearchIndex加速多維查詢與全文檢索SearchIndex加速多維查詢與全文檢索驗與效率大幅領先于傳統(tǒng)多產品組合方案最合適的索引，加速查詢詞、高亮顯示等能力簡單易用，開發(fā)效率大幅提升索與聚合分析的性能與吞吐延遲的選擇高性能，綜合成本顯著下降舊代碼無需改造，新場景使用SQL提效開源兼容，業(yè)務無改造APSARA云棲大會Lindorm客戶端搜索引擎 協(xié)議接入查詢解析執(zhí)行優(yōu)化Lindorm客戶端搜索引擎 協(xié)議接入查詢解析執(zhí)行優(yōu)化SQL引擎API寬表引擎寬表引擎APSARA云棲大會向量與標量的混合檢索向量與標量的混合檢索高性能向量搜索高性能向量搜索SELECTdoc_id,doc_tagsFROMdocsWHEREcreate_time>'2023-05-01'ORDERBYvector_distance(doc_vector,'[0.067985594,0.94134957,0.9174301]')LIMIT10;?分布式架構，海量索引規(guī)模Lindorm搜索引擎keykeykeykeykeykeykeykeyLindormAI引擎Lindorm向量引擎LindormSQL引擎Lindorm搜索引擎keykeykeykeykeykeykeykeyLindormAI引擎Lindorm向量引擎LindormSQL引擎非結構化數(shù)據非結構化數(shù)據?實時在線，毫秒響應，寫后即可查多模融合檢索多模融合檢索?標量數(shù)據，多維查詢與全文檢索?標量與向量混合檢索簡單易用簡單易用?統(tǒng)一SQL訪問與管理?向量PythonAPIAPSARA云棲大會彈性彈性ExecutorLindormLindorm計算引擎 使用資源?按需彈性，不使用不付費?秒級彈起，資源在10秒內啟動?安全可靠，每個實例獨占ECS資源?資源可控，每個作業(yè)可獨立配置資源彈性彈性Executor彈性彈性Executor云原生分布式文件系統(tǒng)云原生分布式文件系統(tǒng)LindormDFS簡化數(shù)據分析計算簡化數(shù)據分析計算APSARA云棲大會LindormSQL引擎(DDL/DQL/DML等統(tǒng)一接入)復雜分析在線高并發(fā)請求列存引擎存量快照同步簡單查詢&寫入&管理近線復雜分析LindormSQL引擎(DDL/DQL/DML等統(tǒng)一接入)復雜分析在線高并發(fā)請求列存引擎存量快照同步簡單查詢&寫入&管理近線復雜分析ColumnIndex儲Spark/Hive客戶端DMS/Dataworks(離線任務編排、調度)寬表引擎SparkAPI/HiveSQLLindorm計算引擎數(shù)據生產&分析一體化列格式行格式列格式行格式簡單易用，效率大幅提升簡單易用，效率大幅提升高性能，綜合成本顯著下降高性能，綜合成本顯著下降即席分析數(shù)據生產開源分析引擎Spark/Fliink/PrestoLindorm計算引擎即席分析數(shù)據生產開源分析引擎Spark/Fliink/PrestoLindorm計算引擎?分布式元數(shù)據管理，Meta性能10倍提強大功能高性能?高效索引與計算下推，分析性能提升?數(shù)據高壓縮，減少50%存儲?分布式讀寫事務，原子性保證?數(shù)據零延遲，實時分析?靈活Schema，支持動態(tài)列和部分更新?開放數(shù)據格式Parquet/ORC?開源分析引擎（Spark/Flink/Presto）直連訪問開放兼容APSARA云棲大會高可用PB級文件元信息管理高性能并發(fā)提交分布式寫入事務文件索引與高效檢索================LSM-Filesbucket0 Partition高可用PB級文件元信息管理高性能并發(fā)提交分布式寫入事務文件索引與高效檢索================LSM-Filesbucket0 Partition-0Partition-1Partition-2Partition-3Partition-Nbucket0b1rb2r bucket0 bucket0bucket0 主鍵索引全表數(shù)據特征索引LSM-Files多維分區(qū)Bucket排布與上報多文件格式與壓縮LindormLindorm列存引擎00APSARA云棲大會同等資源下的100同等資源下的100GTPC-H性能對比40.230.427.325.923.521.19.78.77.865.54.92.48.14.37.75.55.43.43.820.623.220.54.59.18.18.98.68.98.58.38.77.86.32.58.37.17點查Spark+HudiSparkSpark+HudiLindorm支持在數(shù)據庫內管理和部署模型，用戶可以簡單高效地使用AI能力，實現(xiàn)對多模數(shù)據的智能分析Lindorm支持在數(shù)據庫內管理和部署模型，用戶可以簡單高效地使用AI能力，實現(xiàn)對多模數(shù)據的智能分析?支持對存儲于數(shù)據庫中的非結構化數(shù)據執(zhí)行多種類型AI推理任務?架構簡單，開發(fā)運維效率高，滿足安全、監(jiān)管需求?結合數(shù)據庫原有能力實現(xiàn)多模融合分析數(shù)據庫原生SQL交互?支持一鍵導入模型平臺（ModelScope、HuggingFace）中的模型?支持以API方式對接模型服務靈積（DashScope）?支持用戶上傳自己的模型無縫對接外部模型平臺與服務?云原生架構，支持彈性部署云上異構計算資源，包括CPU和GPU機型?AI推理引擎和多模引擎通過共享存儲打通，節(jié)省數(shù)據傳輸開銷，實現(xiàn)靠近數(shù)據的推理優(yōu)化彈性異構計算APSARA云棲大會語義檢索知識問答多模態(tài)檢索多模引擎模型平臺與服務AI引擎語義檢索知識問答多模態(tài)檢索多模引擎模型平臺與服務AI引擎應用層應用層CREATEMODELqa_modelFROM(select*fromtable)TARGETdoc_fieldTASKRETRIEVAL_QAALGORITHMTONGYI_QIANWENselectai_infer(qa_model,doc_field)fromtablewhereid=xxx;APSARA云棲大會異常檢測算法AI異常檢測算法AI推理監(jiān)控預警詳單查詢運營分析數(shù)據報表分析數(shù)據標注車聯(lián)網業(yè)務層車聯(lián)網業(yè)務層實時處理查詢多維檢索交互分析計算流引擎高吞吐寫入行存列存行存列存倒排CEP+UDF高性能多模存儲與計算模型導入與推理價值價值APSARA云棲大會場景實踐：從開源大數(shù)據升級至應用客戶端B客戶端A開源大數(shù)據數(shù)據通道服務LTS數(shù)據遷移與實時同步成本降低應用客戶端B客戶端A開源大數(shù)據數(shù)據通道服務LTS數(shù)據遷移與實時同步成本降低性能提升開發(fā)運維效率應用統(tǒng)一SQL云原生多模數(shù)據庫00業(yè)務改造高壓縮存儲在線寬表性能是HBase的7X統(tǒng)一SQL訪問在線數(shù)據遷移彈性Serverless計算分析計算性能是Spark的1.5X統(tǒng)一元數(shù)據開源接口100%兼容減少數(shù)據冗余消息吞吐性能是Kafka的1.5X無需搭建數(shù)據鏈路場景需求與痛點使用反饋APSARA云棲大會MomentaMoment