PolarDB開發(fā)者大會：PolarDB在線數據實時分析加速

王劍英算力密度(CPU/Data)1.單SQL多核計算擴展能力2.更高執(zhí)行效率的算力密度(CPU/Data)1.單SQL多核計算擴展能力2.更高執(zhí)行效率的SQL算子單DB實例數據量大企業(yè)客戶單實例數據平均超過1TB行業(yè)頭部客戶單實例數據量在10~100TB級別緩存密度(緩存密度(Memory/Data)中小客戶傾向超配緩存，緩存數據比>10%大用戶緩存數據比<5%，更依賴IO能力0.251.更精準的索引訪問路徑2.更高效率的IO訪問算法0.150.050.10.20Col-indexCol-index●共享存儲一寫多讀架構下的行列混合存儲●基于Redo物理日志復制的實時行列數據同步●基于執(zhí)行代價的透明行列分流及節(jié)點間負載均衡●分析節(jié)點支持按需快速ServerlessCol-index 4000列式索引上的向量化算子VS行存單核計算吞吐400單表ScanScaleAggJoin行索引列索引100GTotal100GTotaltime(s)*以上結果依據客戶真實場景數據估算，最終效果以實際產品和場景測試數據為準DispatcherHybridOptimizerSerializerHybridExecutorExchangeManagerHybridExecutorDispatcherHybridOptimizerSerializerExchangeManager列存索引彈性多機并行行列混存上的多機并行執(zhí)行時間DispatcherHybridOptimizerSerializerHybridExecutorExchangeManagerHybridExecutorDispatcherHybridOptimizerSerializerExchangeManager列存索引彈性多機并行行列混存上的多機并行執(zhí)行時間TPC-H@1TB行列混存上的彈性多機并行（ePQ）行列混存下的執(zhí)行優(yōu)化行列混合執(zhí)行GroupByGroupBy行列動態(tài)執(zhí)行ColumnBasedPlanRowColumnBasedPlanRowBasedPlanPhysicalPlanLogicalPlanCostCostBasedPlanChosenResetExecutionContextMonitorCheckExecuteRowResetExecutionContextMonitorCheckExecuteRowBasedPlanExecuteExecuteColumnBasedPlanTableScanTableScanIndexIndexScan*以上結果依據客戶真實場景數據估算，最終效果以實際產品和場景測試數據為準OLTPOLAPOLTP/ 8060400復雜SQL查詢耗時行存列存1600140012001000800600400200011數據可見性延遲1500原方案HTAP 0歷史訂單存儲成本41原方案HTAP1行存數據12行存數據23行存數據3列式數據1列式數據1列式數據2列式數據2?復雜SQL查詢提升20倍?數據可見效延遲下降超百倍*以上結果依據客戶真實場景數據估算，最終效果以實際產品和場景測試數據為準CoodinatorWorker關鍵特性?MPP支持交互式分析?BSP模型支持大規(guī)模吞吐型計算?統(tǒng)一內存池?CoodinatorWorker關鍵特性?MPP支持交互式分析?BSP模型支持大規(guī)模吞吐型計算?統(tǒng)一內存池?向量化執(zhí)行，最新指令集應用?Adaptive動態(tài)感知自適應優(yōu)化性能提升?離線批處理能力(SpillDisk)語法統(tǒng)一?支持MySQL標準語法?擴展Hive語法支持?開源數據格式支持DistributedExecutionEngineWorkloadManagerDAGSchdulerTaskManagerParallelEngineExecutionEngineMemoryManagerPhysicalPlanRelationOperatorsFunctionsCode-genExecutionModelDataLayoutMemoryLayoutMemoryPool/CacheWorkload●zero-ETL零同步成本一鍵建倉●海量數據實時高并發(fā)在線分析●結構化數據/非結化數據，湖倉一體關鍵指標3.99X性價比TPC-性能實時大規(guī)模數倉ADBMySQL核心技術優(yōu)勢PolarDB+實時大規(guī)模數倉ADBMySQL核心技術優(yōu)勢TransactionSegmentSegmentAnalyticsSegmentSegmentMasterSecondarySegmentOSSOSS（ColumnStoreData）Primary-ROPrimary-RWPrimary-ROPrimary-RWPolarPolarStore（HybridStoreData）*