2023學(xué)年完整公開(kāi)課版CubePlanner優(yōu)化

CubePlanner優(yōu)化目錄CONTENTS2減枝的原則1背景介紹背景介紹PART0101背景介紹ApacheKylin?(以下簡(jiǎn)稱Kylin)是一個(gè)開(kāi)源的分布式分析引擎，最初由eBay于2014年貢獻(xiàn)給Apache基金會(huì)。Kylin提供Hadoop之上的SQL查詢接口及多維分析（OLAP）能力以支持超大規(guī)模數(shù)據(jù)，能在亞秒級(jí)的時(shí)間內(nèi)返回查詢結(jié)果。1數(shù)據(jù)分析師可以在WebUI中輸入SQL，或者通過(guò)可視化分析工具選擇任意的維度和指標(biāo)來(lái)定制自己的分析報(bào)告。3Kylin的核心在于Cube的設(shè)計(jì)和構(gòu)建，它把原始表中的數(shù)據(jù)按照用戶選擇的維度進(jìn)行預(yù)處理，然后把結(jié)果(Cube）加載到存儲(chǔ)引擎（默認(rèn)HBase)里，供用戶查詢使用。2背景介紹幫助用戶構(gòu)建一個(gè)更高效的Cube，實(shí)現(xiàn)對(duì)Cube的“二次瘦身”。最終減少預(yù)計(jì)算的工作量和存儲(chǔ)所需空間。在用戶定義的AggregationGroup等手動(dòng)優(yōu)化基礎(chǔ)上，CubePlanner自主挑選Cuboid，Kylin在2.3.0版本引入了CubePlanner，自動(dòng)地對(duì)Cube的結(jié)構(gòu)進(jìn)行優(yōu)化。如下圖所示背景介紹知識(shí)鞏固我們知道，在沒(méi)有采取任何優(yōu)化措施的情況下，Kylin會(huì)對(duì)每一種維度的組合進(jìn)行預(yù)計(jì)算，每種維度組合的預(yù)計(jì)算結(jié)果被稱為Cuboid，這些Cuboid組成了Cube。如果有20個(gè)維度，那么Cube就會(huì)有超過(guò)一百萬(wàn)個(gè)Cuboid。假設(shè)數(shù)據(jù)有10個(gè)維度，那么沒(méi)有經(jīng)過(guò)任何剪枝優(yōu)化的Cube就會(huì)有210=1024個(gè)Cuboid；減枝的原則PART0202減枝的原則0102貪心算法基因算法Cuboid的效益即預(yù)計(jì)算出這個(gè)Cuboid，相比沒(méi)有這個(gè)Cuboid對(duì)整個(gè)Cube的所有查詢所能減少的查詢成本。通過(guò)貪心算法和基因算法，更直觀地展示CubePlanner的選擇過(guò)程。減枝的原則Cuboid的成本：由于往往構(gòu)建是一次性的，而查詢是重復(fù)性的，因此我們忽略構(gòu)建成本，只使用查詢成本來(lái)計(jì)算。構(gòu)建成本：取決于該維度組合的數(shù)據(jù)行數(shù)。查詢成本：取決于查詢?cè)揅uboid所需要掃描的行數(shù)。本質(zhì)上就是從2^N種維度組合中挑選出部分維度組合添加到進(jìn)recommendCuboidList中以進(jìn)行后續(xù)的構(gòu)建。問(wèn)題的關(guān)鍵在于剪枝的標(biāo)準(zhǔn)，對(duì)于某種可能的維度組合只有兩種結(jié)果：被預(yù)計(jì)算和不被預(yù)計(jì)算，這取決于加入這個(gè)Cuboid產(chǎn)生的收益除以成本（效益比）。