數(shù)據(jù)立方體與OLAP

數(shù)據(jù)立方體與OLAP2010年8月29日由joegh留言》前面的一篇文章——數(shù)據(jù)倉(cāng)庫(kù)的多維數(shù)據(jù)模型中已經(jīng)簡(jiǎn)單介紹過(guò)多維模型的定義和結(jié)構(gòu)，以及事實(shí)表(FactTable)和維表(DimensionTable)的概念。多維數(shù)據(jù)模型作為一種新的邏輯模型賦予了數(shù)據(jù)新的組織和存儲(chǔ)形式，而真正體現(xiàn)其在分析上的優(yōu)勢(shì)還需要基于模型的有效的操作和處理，也就是OLAP(On-lineAnalyticalProcessing ，聯(lián)機(jī)分析處理)。數(shù)據(jù)立方體關(guān)于數(shù)據(jù)立方體(DataCube)，這里必須注意的是數(shù)據(jù)立方體只是多維模型的一個(gè)形象的說(shuō)法。立方體其本身只有三維，但多維模型不僅限于三維模型，可以組合更多的維度，但一方面是出于更方便地解釋和描述，同時(shí)也是給思維成像和想象的空間；另一方面是為了與傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的二維表區(qū)別開(kāi)來(lái)，于是就有了數(shù)據(jù)立方體的叫法。所以本文中也是引用立方體，也就是把多維模型以三維的方式為代表進(jìn)行展現(xiàn)和描述，其實(shí)上Google圖片搜索“OLAP”會(huì)有一大堆的數(shù)據(jù)立方體圖片，這里我自己畫(huà)了一個(gè)：OLAPOLAP(On-lineAnalyticalProcessing，聯(lián)機(jī)分析處理)是在基于數(shù)據(jù)倉(cāng)庫(kù)多維模型的基礎(chǔ)上實(shí)現(xiàn)的面向分析的各類(lèi)操作的集合。 可以比較下其與傳統(tǒng)的OLTP(On-lineTransactionProcessing ，聯(lián)機(jī)事務(wù)處理)的區(qū)別來(lái)看一下它的特點(diǎn)：OLAP與OLTP數(shù)據(jù)處理類(lèi)型OLTPOLAP面向?qū)ο髽I(yè)務(wù)開(kāi)發(fā)人員分析決策人員功能實(shí)現(xiàn)日常事務(wù)處理面向分析決策 ，數(shù)據(jù)模型關(guān)系模型多維模型數(shù)據(jù)量幾條或幾十條記錄百萬(wàn)千萬(wàn)條記錄 ―操作類(lèi)型查詢、插入、更新、刪除查詢?yōu)橹鱋LAP的類(lèi)型首先要聲明的是這里介紹的有關(guān)多維數(shù)據(jù)模型和 OLAP的內(nèi)容基本都是基于ROLAP，因?yàn)槠渌麕追N類(lèi)型極少接觸，而且相關(guān)的資料也不多。MOLAP(Multidimensional)即基于多維數(shù)組的存儲(chǔ)模型，也是最原始的 OLAP，但需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理才能形成多維結(jié)構(gòu)。ROLAP(Relational)比較常見(jiàn)的OLAP類(lèi)型，這里介紹和討論的也基本都是 ROLAP類(lèi)型，可以從多維數(shù)據(jù)模型的那篇文章的圖中看到，其實(shí) ROLAP是完全基于關(guān)系模型進(jìn)行存放的，只是它根據(jù)分析的需要對(duì)模型的結(jié)構(gòu)和組織形式進(jìn)行的優(yōu)化，更利于OLAP。HOLAP(Hybrid)介于MOLAP和ROLAP的類(lèi)型，我的理解是細(xì)節(jié)的數(shù)據(jù)以ROLAP的形式存放，更加方便靈活，而高度聚合的數(shù)據(jù)以MOLAP的形式展現(xiàn)，更適合于高效的分析處理。另外還有WOLAP(Web-basedOLAP)、DOLAP(DesktopOLAP)、RTOLAP(Real-TimeOLAP)，具體可以參開(kāi)維基百科上的解釋——OLAPOLAP的基本操作我們已經(jīng)知道OLAP的操作是以查詢一一也就是數(shù)據(jù)庫(kù)的SELECT操作為主，但是查詢可以很復(fù)雜，比如基于關(guān)系數(shù)據(jù)庫(kù)的查詢可以多表關(guān)聯(lián)，

可以使用COUNT、SUM、AVG等聚合函數(shù)。OLAP正是基于多維模型定義了一些常見(jiàn)的面向分析的操作類(lèi)型是這些操作顯得更加直觀。OLAP的多維分析操作包括：鉆?。―rill-down）、上卷（Roll-up）切片（Slice）、切塊（Dice）以及旋轉(zhuǎn)（Pivot），下面還是以上面的數(shù)據(jù)立方體為例來(lái)逐一解釋下：鉆取(Drill-down) 上卷(Roll-up)鉆取（Drill-down）:在維的不同層次間的變化，從上層降到下一層，或者說(shuō)是將匯總數(shù)據(jù)拆分到更細(xì)節(jié)的數(shù)據(jù)，比如通過(guò)對(duì) 2010年第二季度的總銷(xiāo)售數(shù)據(jù)進(jìn)行鉆取來(lái)查看 2010年第二季度4、5、6每個(gè)月的消費(fèi)數(shù)據(jù)，如上圖；當(dāng)然也可以鉆取浙江省來(lái)查看杭州市、寧波市、溫州市……這些城市的銷(xiāo)售數(shù)據(jù)。上卷（Roll-up）:鉆取的逆操作，即從細(xì)粒度數(shù)據(jù)向高層的聚合，如將江蘇省、上海市和浙江省的銷(xiāo)售數(shù)據(jù)進(jìn)行匯總來(lái)查看江浙滬地區(qū)的銷(xiāo)售數(shù)據(jù)，如上圖。切片（Slice）:選擇維中特定的值進(jìn)行分析，比如只選擇電子產(chǎn)品的銷(xiāo)售數(shù)據(jù)，或者2010年第二季度的數(shù)據(jù)。切塊（Dice）:選擇維中特定區(qū)間的數(shù)據(jù)或者某批特定值進(jìn)行分析，比如選擇2010年第一季度到2010年第二季度的銷(xiāo)售數(shù)據(jù)，或者是電子產(chǎn)品和日用品的銷(xiāo)售數(shù)據(jù)。旋轉(zhuǎn)（Pivot）:即維的位置的互換，就像是二維表的行列轉(zhuǎn)換，如圖中通過(guò)旋轉(zhuǎn)實(shí)現(xiàn)產(chǎn)品維和地域維的互換。OLAP的優(yōu)勢(shì)首先必須說(shuō)的是，OLAP的優(yōu)勢(shì)是基于數(shù)據(jù)倉(cāng)庫(kù)面向主題、集成的、保留歷史及不可變更的數(shù)據(jù)存儲(chǔ)，以及多維模型多視角多層次的數(shù)據(jù)組織形式，如果脫離的這兩點(diǎn)，OLAP將不復(fù)存在，也就沒(méi)有優(yōu)勢(shì)可言。數(shù)據(jù)展現(xiàn)方式基于多維模型的數(shù)據(jù)組織讓數(shù)據(jù)的展示更加直觀， 它就像是我們平常看待各種事物的方式，可以從多個(gè)角度多個(gè)層面去發(fā)現(xiàn)事物的不同特性，而OLAP正是將這種尋常的思維模型應(yīng)用到了數(shù)據(jù)分析上。查詢效率多維模型的建立是基于對(duì)OLAP操作的優(yōu)化基礎(chǔ)上的，比如基于各個(gè)維的索引、對(duì)于一些常用查詢所建的視圖等，這些優(yōu)化使得對(duì)百萬(wàn)千萬(wàn)甚至上億數(shù)量級(jí)的運(yùn)算變得得心應(yīng)手。分析的靈活性我們知道多維數(shù)據(jù)模型可以從不同的角度和層面來(lái)觀察數(shù)據(jù)， 同時(shí)可以用上面介紹的各類(lèi)OLAP操作對(duì)數(shù)據(jù)進(jìn)