第4章：聯(lián)機分析處理技術(shù)

第四章

聯(lián)機分析處理技術(shù)

OLAP概述OLAP中的多維分析操作OLAP的基本數(shù)據(jù)模型OLAP的衡量標準內(nèi)容OLAP概述OLAP的由來聯(lián)機事務處理（OLTP）：利用關(guān)系數(shù)據(jù)庫存儲和管理業(yè)務數(shù)據(jù)，并建立相應的應用系統(tǒng)來支持日常業(yè)務運作。這種應用以支持業(yè)務處理為主要目的。所存儲的數(shù)據(jù)被稱為操作型數(shù)據(jù)或業(yè)務數(shù)據(jù)對OLTP數(shù)據(jù)庫中的數(shù)據(jù)進行再加工，形成一個綜合的、面向分析的、更好的支持決策制定的決策支持系統(tǒng)（DSS）OLAP概述聯(lián)機分析處理（OnLineAnalysisProcessing，OLAP）在數(shù)據(jù)倉庫系統(tǒng)中，聯(lián)機分析處理是重要的數(shù)據(jù)分析工具。OLAP的基本思想是從多方面和多角度以多維的形式來觀察企業(yè)的狀態(tài)和了解企業(yè)的變化。OLAP是獨立于數(shù)據(jù)倉庫的一種技術(shù)概念當OLAP與數(shù)據(jù)倉庫結(jié)合時，OLAP的數(shù)據(jù)源為數(shù)據(jù)倉庫，數(shù)據(jù)倉庫的大量數(shù)據(jù)是根據(jù)多維方式組織的。OLAP概述OLAP的由來Codd提出了多維數(shù)據(jù)庫和多維分析的概念，即聯(lián)機分析處理OLAP的定義OLAP是一種軟件技術(shù)，它使分析人員能夠迅速、一致、交互地從各個方面觀察信息，以達到深入理解數(shù)據(jù)的目的。這些信息是從原始數(shù)據(jù)轉(zhuǎn)換過來的，按照用戶的理解，它反映了企業(yè)真實的方方面面。（OLAP理事會）OLAP概述OLAP的基本概念維dimension人們觀察數(shù)據(jù)的特定角度如產(chǎn)品維、顧客維、時間維等維層次level人們觀察數(shù)據(jù)的某個特定角度（即某個維）還可以存在細節(jié)程度不同的各個描述方面如時間維的日、月、季、年OLAP概述OLAP的基本概念維成員member維的一個取值稱為該維的一個維成員是數(shù)據(jù)項在某維中位置的描述如“2012年9月10日”是在時間維上位置的描述OLAP概述OLAP的基本概念多維數(shù)據(jù)集是決策支持的支柱OLAP的核心又稱立方體或超立方體三維數(shù)據(jù)可以利用三維坐標建立立方體進行表示超三維數(shù)據(jù)可以利用一個多維表來進行顯示OLAP概述OLAP的基本概念數(shù)據(jù)單元在多維數(shù)據(jù)集中每個維都選定一個維成員后，這些維成員的組合就唯一確定了一個數(shù)據(jù)單元多維數(shù)據(jù)集的度量值在多維數(shù)據(jù)集中有一組度量值，這些值是基于多維數(shù)據(jù)集中事實表的一列或多列數(shù)字度量值是多維數(shù)據(jù)集的核心值，是最終用戶在數(shù)據(jù)倉庫應用中所需要查看的數(shù)據(jù)事實表維表OLAP概述OLAP的基本概念數(shù)據(jù)立方體由維和事實定義；每一個維都有一個表與之相關(guān)聯(lián)，這些表叫維表；每一個維表包含各種屬性；多維數(shù)據(jù)模型圍繞中心主題組織；該主題用事實表示；事實是數(shù)值度量的；一個電子公司的銷售一般從三個方面分析銷售額：時間：在某一段時間內(nèi)的銷售情況，其度量為（年、季度、月、旬、天）地區(qū)：在某個地區(qū)的銷售情況，度量可分為（地區(qū)、國家、省、市）產(chǎn)品：某類或某型號產(chǎn)品的銷售情況，度量可分為（類別、型號等）此處，（時間，地區(qū)，產(chǎn)品）就構(gòu)成了三個維。維有層次結(jié)構(gòu)，可以在某個層上察看數(shù)據(jù)。11維的例子地區(qū)的層次12維的例子全國江蘇北京上海蘇州市揚州市寶應縣OLAP數(shù)據(jù)立方體的計算（物化）一般，若有n個維，則立方體個數(shù)是13{(city,item,date),(city,item),(city,date),(item,date),(city),(item),(date),all}all表示不對任何維分組，這組形成了該數(shù)據(jù)立方體的方體格OLAP概述OLAP的基本概念事實表包括事實的名稱或度量，以及每個相關(guān)維表的關(guān)鍵字；數(shù)據(jù)立方體是對多維數(shù)據(jù)存儲的一種比喻；實際維上有分層，如（年、季度、月、星期、日），所以實際的立方體個數(shù)是極大的。所以，實時計算的工作量極大，但全部事先計算，則存儲量又極大。方體的選擇計算：不物化：即不預先計算任何“非基本”方體全物化：預先計算所有的方體部分物化：在整個可能的方體集中，有選擇地物化一些適當?shù)淖蛹贠LAP中一般采用部分物化，應考慮三個因素:(1)確定要物化的方體子集；(2)利用查詢處理時物化的方體；(3)在裝入和刷新時，有效地更新物化的方體。15OLAP數(shù)據(jù)立方體的計算（物化）OLAP概述OLAP的基本概念概念分層（concepthierarchy）：定義一映射序列，將低層概念映射到更一般的高層概念；如維location的概念分層：城市—省—國家OLAP概述OLAP的定義與特征使分析、管理或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實反映企業(yè)維特性的信息進行快速、一致、交互地存取，從而獲得對數(shù)據(jù)更深入了解的一類軟件技術(shù)從不同的角度看同樣的數(shù)據(jù)！OLAP概述OLAP的定義與特征如分析銷售數(shù)據(jù)時間周期產(chǎn)品類別分銷渠道地理分布客戶群類OLAP概述OLAP的定義與特征主要特征快速性系統(tǒng)必須能快速響應用戶的分析查詢要求，對于用戶大部分分析要求在5秒鐘內(nèi)作出反應可分析性O(shè)LAP系統(tǒng)能處理任何與用戶和應用有關(guān)的邏輯分析和統(tǒng)計分析，在需要的情況下還允許用戶無需編程就可為分析和生成報表定義一些新的特殊運算多維性

指對數(shù)據(jù)分析的多維視圖和分析信息性能管理大量的數(shù)據(jù)并即時地獲得用戶所需信息數(shù)據(jù)的透明性O(shè)LAP中的多維分析操作鉆取Drill/Rollup,Drilldown改變維的層次，變換分析的粒度分向上鉆取和向下鉆取向上鉆?。涸谀骋痪S上將低層次的細節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)，或者減少維數(shù)向下鉆?。簭膮R總數(shù)據(jù)深入到細節(jié)數(shù)據(jù)進行觀察或增加新維OLAP中的多維分析操作OLAP中的多維分析操作切片和切塊切片：在給定數(shù)據(jù)立方體的一個維上進行選擇操作，切片的結(jié)果是得到一個二維平面數(shù)據(jù)，如銀行分行=“分行1”O(jiān)LAP中的多維分析操作切片和切塊切塊：在給定數(shù)據(jù)立方體的兩個或多個維上進行選擇操作，切塊的結(jié)果是得到一個子立方體，如（銀行分行=“分行1”O(jiān)R“分行2”）AND(時間=“2007年”O(jiān)R“2008年”)AND（銀行支行=支行1”O(jiān)R“支行2”

）OLAP中的多維分析操作旋轉(zhuǎn)變換維的方向，即在表格中重新安排維的放置，如行列互換OLAP中的多維分析操作旋轉(zhuǎn)變換維的方向，即在表格中重新安排維的放置，如行列互換OLAP中的多維分析操作概化（generalize）通過用高層抽象（如time維的year）值替換低層抽象（如time維的day）值，概念分層可以用于概化數(shù)據(jù)；特化（specialize）通過用低層抽象（如time維的day）值替換高層抽象（如time維的year）值，概念分層可以用于特化數(shù)據(jù)；OLAP的基本數(shù)據(jù)模型OLAP系統(tǒng)一般以數(shù)據(jù)倉庫作為基礎(chǔ)，從數(shù)據(jù)倉庫中抽取詳細數(shù)據(jù)的一個子集，經(jīng)過必要的聚集存儲到OLAP存儲器中供前端分析工具讀取為了保證信息處理所需的數(shù)據(jù)以合適的粒度、合理的抽象程度和標準化程度存儲，按照其數(shù)據(jù)存儲格式可以分為關(guān)系OLAP（ROLAP）、多維OLAP（MOLAP）和混合OLAP（HOLAP）OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機分析處理ROLAP的數(shù)據(jù)模型以關(guān)系型的結(jié)果進行多維數(shù)據(jù)的表示與存儲數(shù)據(jù)的預處理程度不高，靈活性高一般采用星狀模式或雪花模式來表達多維數(shù)據(jù)視圖OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機分析處理ROLAP的數(shù)據(jù)模型星狀模式一個事實表：包含大批數(shù)據(jù)并且不含冗余的中心表一組小的維表，每維一個OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機分析處理ROLAP的數(shù)據(jù)模型星狀模式OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機分析處理ROLAP的數(shù)據(jù)模型雪花模式是星狀模式的變種某些維是規(guī)范化的，把數(shù)據(jù)進一步分解到附加表中OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機分析處理ROLAP的數(shù)據(jù)模型雪花模式OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機分析處理ROLAP的數(shù)據(jù)模型雪花模式與星狀模式的區(qū)別雪花狀的維表可能是規(guī)范化形式，以便減少冗余，易于維護，節(jié)省存儲空間由于執(zhí)行查詢需要更多的連接操作，雪花狀結(jié)構(gòu)可能降低瀏覽的性能OLAP的基本數(shù)據(jù)模型多維聯(lián)機分析處理MOLAP利用一種專有的多維數(shù)據(jù)庫來存儲OLAP分析所需要的數(shù)據(jù)數(shù)據(jù)采用n維數(shù)組的多維方式存儲，形成“立方體”結(jié)構(gòu)MOLAP存儲模式將數(shù)據(jù)與計算結(jié)果都存儲在立方體結(jié)構(gòu)中，即將多維數(shù)據(jù)集區(qū)的聚合、維度、匯總數(shù)據(jù)以及其源數(shù)據(jù)的副本等信息均以多維結(jié)構(gòu)存儲在分析服務器上。MOLAP的數(shù)據(jù)模型MOLAP是表現(xiàn)為“超立方”結(jié)構(gòu)，采用類似于多維數(shù)組的結(jié)構(gòu)。例如，二維MDDB（數(shù)組，即矩陣）的數(shù)據(jù)組織見下表北京上海廣州衣服600700500鞋800900700帽子1002008035OLAP的基本數(shù)據(jù)模型多維聯(lián)機分析處理MOLAP的優(yōu)缺點迅速響應決策分析人員的分析請求（預處理程度高）用戶很難對維數(shù)進行動態(tài)變化，如增加一維對數(shù)據(jù)變化的適應能力較差-需重構(gòu)多維數(shù)據(jù)庫處理大量細節(jié)數(shù)據(jù)的能力差OLAP的基本數(shù)據(jù)模型MOLAP和ROLAP的比較ROLAP服務器需要將SQL語句轉(zhuǎn)化為多維存儲語句，臨時“拼合”出多維數(shù)據(jù)立方體。因此，ROLAP的響應時間較長。

MOLAP在數(shù)據(jù)存儲速度上性能好，響應速度快。38數(shù)據(jù)存取速度ROLAP使用的傳統(tǒng)關(guān)系數(shù)據(jù)庫的存儲方法，在存儲容量上基本沒有限制。MOLAP通常采用多平面疊加成立體的方式存放數(shù)據(jù)。MOLAP受操作系統(tǒng)平臺中文件大小的限制，當數(shù)據(jù)量超過操作系統(tǒng)最大文件長度時，需要進行數(shù)據(jù)分割。多維數(shù)據(jù)庫的數(shù)據(jù)量級難以達到TB級(只能10~20G）39數(shù)據(jù)存儲的容量MOLAP增加新的維度，則多維數(shù)據(jù)庫通常需要重新建立。ROLAP對于維表的變更有很好的適應性。40維度變化的適應性當數(shù)據(jù)頻繁的變化時，MOLAP需要進行大量的重新計算，甚至重新建立索引乃至重構(gòu)多維數(shù)據(jù)庫。在ROLAP中靈活性較好，對于數(shù)據(jù)變化的適應性高。41數(shù)據(jù)變化的適應性42MOLAPVSROLAPMOLAPROLAP固定維可變維維交叉計算多維視圖行級計算超大型數(shù)據(jù)庫讀-寫應用維數(shù)據(jù)變化速度快數(shù)據(jù)集市數(shù)據(jù)倉庫OLAP的基本數(shù)據(jù)模型混合型聯(lián)機分析處理原始數(shù)據(jù)存儲在原來的關(guān)系數(shù)據(jù)庫中聚合數(shù)據(jù)則以多維的形式存儲準則維數(shù)可以被動態(tài)更新可根據(jù)關(guān)系數(shù)據(jù)庫管理系統(tǒng)的元數(shù)據(jù)產(chǎn)生多維視圖可以快速地存取各種級別的匯總數(shù)據(jù)可適應大數(shù)據(jù)量數(shù)據(jù)的分析可以方便地對計算和匯總算法進行維護和修改OLAP的衡量標準1993年，E.F.Codd提出了關(guān)于OLAP的12條標準目的是加深對OLAP的理解已成為OLAP工具所應有的關(guān)鍵特性的最小描述OLAP的衡量標準準則1：OLAP模型必須提供多維概念視圖準則2：透明性準則OLAP的數(shù)據(jù)源對用戶是透明的準則3：存取能力準則提供高效的存取策略準則4：穩(wěn)定的報表性能當維數(shù)和數(shù)據(jù)綜合層次增加時，其報表能力和響應速度不應該有明顯的降低和減慢OLAP的衡量標準準則5：客戶/服務器體系結(jié)構(gòu)建立統(tǒng)一的公共概念模