2023學(xué)年完整公開(kāi)課版Kylin的工作原理

Kylin的工作原理目錄CONTENTS2Kylin工作示例1Kylin工作原理Kylin工作原理PART0101Kylin的工作原理

Kylin的工作原理就是對(duì)數(shù)據(jù)模型做Cube預(yù)計(jì)算，并利用計(jì)算的結(jié)果加速查詢，具體過(guò)程如下：

指定數(shù)據(jù)模型，定義維度和度量。預(yù)計(jì)算Cube，計(jì)算所有Cuboid并保存為物化視圖。執(zhí)行查詢時(shí)，讀取Cuboid，運(yùn)算，產(chǎn)生查詢結(jié)果。Kylin的工作原理

Kylin的工作原理本質(zhì)上是MOLAP(MultidimensionalOnlineAnalyticalProcessing)Cube，也就是多維立方體分析。Kylin的工作原理

在說(shuō)明MOLAPCube之前,我們一起來(lái)理解一下維度(Dimension)和度量(Measure)這兩個(gè)概念：

維度：被groupby的字段，觀察數(shù)據(jù)的角度，正常是時(shí)間，地點(diǎn)等不用于計(jì)算的值；度量：被sum等聚合的字段，指被聚合的統(tǒng)計(jì)值，也就是聚合運(yùn)算的結(jié)果，可以是銷售額，銷售商品數(shù)量等統(tǒng)計(jì)值。Kylin的工作原理我們分析一下這兩個(gè)概念：給定一個(gè)數(shù)據(jù)模型，可以對(duì)其上的所有維度進(jìn)行組合。對(duì)于N個(gè)維度來(lái)說(shuō)，組合的所有可能性共有2^N種。對(duì)于每一種維度的組合，將度量做聚合運(yùn)算，然后將運(yùn)算的結(jié)果保存為一個(gè)物化視圖，稱為Cuboid。所有維度組合的Cuboid作為一個(gè)整體，成為Cube，所以簡(jiǎn)單來(lái)說(shuō)，一個(gè)Cube就是許多按維度聚合的物化視圖的集合。Kylin工作示例PART0202Kylin工作示例

舉一個(gè)例子解釋一下上面的說(shuō)法：假設(shè)有一個(gè)電商的銷售數(shù)據(jù)集，其中有4個(gè)維度和一個(gè)度量，維度為時(shí)間(Time)、地點(diǎn)(Location)、商品(Item)和供應(yīng)商(Supplier)，度量為銷售額(GMV)。那么所有維度就有2^4=16種(如圖)，比如一維度(1D)的組合有[Time]、[Item]、[Location]、[Supplier]4種；二維度(2D)的組合有[Time,Item]、[Time,Location]、[Time,Supplier]、[Item,Location]、[Item,Supplier]、[Location,Supplier]6種；三維度(3D)的組合也有4種；最后零維度(0D)和四維度(4D)的組合各有1種，總共16種。

Kylin工作示例

圖一：一個(gè)思維Dub