2023學(xué)年完整公開課版如何使用CubePlanner

如何使用CubePlanner目錄CONTENTS2PhaseOne1導(dǎo)語3PhaseTwo導(dǎo)語PART0101導(dǎo)語

CubePlanner會根據(jù)優(yōu)化前的維度組合數(shù)量來選擇使用貪心算法還是基因算法。默認(rèn)情況下，223

以上個(gè)維度組合使用基因算法優(yōu)化；數(shù)量在

28~223

之間的使用貪心算法優(yōu)化，少于28=256則不做優(yōu)化。

上述閾值由kylin.cube.cubeplanner.algorithm-threshold-greedy和kylin.cube.cubeplanner.algorithm-threshold-genetic這兩個(gè)參數(shù)決定。在開啟kylin.cube.cubeplanner.enabled=true之后，CubePlanner會在phaseone、phasetwo兩個(gè)階段產(chǎn)生作用。PhaseOnePART0202PhaseOne

在物化Cube之前，Kylin會利用ExtractFactTableDistinctColumns步驟中得到的采樣數(shù)據(jù)，預(yù)估出每個(gè)Cuboid的大小。如果開啟了Cubeplanner,并且是第一次構(gòu)建，那么Kylin會基于用戶初步剪枝的Cube，根據(jù)上文所提到的算法生成recommendCuboidList并記錄下來，隨后用Spark/Hadoop引擎進(jìn)行構(gòu)建。在這之后的segment的構(gòu)建，將使用同樣的recommendCuboidList進(jìn)行；由于新創(chuàng)建的Cube沒有查詢統(tǒng)計(jì)數(shù)據(jù)，PhaseOne假設(shè)查詢每個(gè)維度組合的概率相同。PhaseOne

圖為開啟CubePlanner前后的Cubesunburst圖對比。同樣是四百多萬條數(shù)據(jù)，未開啟時(shí)用了512個(gè)Cuboid來構(gòu)建，占空間9.12GB。而右邊開啟CubePlanner后Cuboid數(shù)量減少至152個(gè)，占空間2.91GB，減少了約70%，另外構(gòu)建時(shí)間也有相應(yīng)縮短。PhaseTwoPART0303PhaseTwo

與PhaseOne不同的是，PhaseTwo需要首先建立SystemCube來收集Query的統(tǒng)計(jì)數(shù)據(jù)。PhaseTwo發(fā)生在Cube構(gòu)建完成并使用一段時(shí)間之后，這時(shí)Kylin的Metrics積累了一些Query統(tǒng)計(jì)數(shù)據(jù)。用戶在Kylin的WebUI中查看Cube的sunburst圖二可以了解Cuboid的冷熱狀況，并通過Optimize按鍵來觸發(fā)優(yōu)化。CubePlanner從SystemCube中讀取這些統(tǒng)計(jì)信息，作為上文描述的算法中Cuboid效益的權(quán)重，重新規(guī)劃和構(gòu)建Cuboid。PhaseTwoWebUI中查看Cube的sunburst圖PhaseTwo

為了使得在重新構(gòu)建的過程中仍然可以繼續(xù)查詢原有Cube，Kylin采用OptimizeJob和CheckpointJob兩個(gè)專有任務(wù)，這樣既保證了優(yōu)化過程的并發(fā)度，又保證了優(yōu)化后數(shù)據(jù)切換的原子性。OptimizeJob不會重新計(jì)算所有推薦的維度組合，而是只計(jì)算那些推薦維度組合集里新增的組合，重用那些在原來的Cube里已經(jīng)預(yù)計(jì)算出來的Cuboid，這樣可以很大程度上節(jié)省優(yōu)化的資源開銷。此外，用戶還可以通過下方的Export按鍵來導(dǎo)出