數(shù)據(jù)倉庫OLAP技術

數(shù)據(jù)倉庫OLAP技術2024/3/29數(shù)據(jù)倉庫OLAP技術議題OLAP技術簡介OLAP技術簡介OLAP分析方法小結2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP技術簡介OLAP發(fā)展背景及定義OLAP相關基本概念OLAP基本特征OLAP多維數(shù)據(jù)結構OLAP多維數(shù)據(jù)分析方法OLAP分類OLAP評價準則OLAP新的發(fā)展特征OLAP工具在移動業(yè)務分析中是否能發(fā)揮作用，為什么？2024/3/29數(shù)據(jù)倉庫OLAP技術發(fā)展背景（一）60年代，關系型數(shù)據(jù)庫之父E.F.Codd提出了關系模型，促進了OLTP（OnLineTransactionProcessing，聯(lián)機事務處理）模型的發(fā)展。1993年，E.F.Codd提出了OLAP（OnLineAnalyticalProcessing聯(lián)機分析處理）概念，認為OLTP已不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要，SQL對大型數(shù)據(jù)庫進行的簡單查詢也不能滿足終端用戶分析的要求。用戶的決策分析需要對關系數(shù)據(jù)庫進行大量計算才能得到結果，而查詢的結果并不能滿足決策者提出的需求。因此，E.F.Codd提出了多維數(shù)據(jù)庫和多維分析的概念，即OLAP。OLAP技術簡介2024/3/29數(shù)據(jù)倉庫OLAP技術發(fā)展背景（二）OLAP技術簡介OLTP數(shù)據(jù)OLAP數(shù)據(jù)原始數(shù)據(jù)導出數(shù)據(jù)細節(jié)性數(shù)據(jù) 綜合性和提煉性數(shù)據(jù)當前值數(shù)據(jù)歷史數(shù)據(jù)可更新不可更新，但周期性刷新一次處理的數(shù)據(jù)量小一次處理的數(shù)據(jù)量大面向應用，事務驅動面向分析，分析驅動面向操作人員，支持日常操作面向決策人員，支持管理需要從數(shù)據(jù)角度看，OLTP系統(tǒng)與OLAP系統(tǒng)的主要差異如下：2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP定義OLAP技術簡介定義1：OLAP(聯(lián)機分析處理)是針對特定問題的聯(lián)機數(shù)據(jù)訪問和分析。通過對信息(維數(shù)據(jù))的多種可能的觀察形式進行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對數(shù)據(jù)進行深入觀察。定義2：OLAP(聯(lián)機分析處理)是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉化出來的、能夠真正為用戶所理解的、并真實反映企業(yè)維特性的信息進行快速、一致、交互地存取，從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術。(OLAP委員會的定義)。OLAP的目標：滿足決策支持或多維環(huán)境特定的查詢和報表需求，它的技術核心是“維”這個概念，因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP的相關基本概念OLAP技術簡介維（Dimension）：是人們觀察數(shù)據(jù)的特定角度，是考慮問題時的一類屬性，屬性集合構成一個維（時間維、地理維等）

。維的層次（Generation，Level）：人們觀察數(shù)據(jù)的某個特定角度（即某個維）還可以存在細節(jié)程度不同的各個描述方面（時間維：日期、月份、季度、年）。維的成員（Member）：維的一個取值。是數(shù)據(jù)項在某維中位置的描述。（“某年某月某日”是在時間維上位置的描述）多維數(shù)組：維和變量的組合表示。一個多維數(shù)組可以表示為：（維1，維2，……，維n，變量）。（時間，地區(qū)，漫游類型，通話費）數(shù)據(jù)單元（Cell）：多維數(shù)組的取值。（2000年1月1日，上海，國際漫游，通話費XXXX元）2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP的基本特征OLAP技術簡介快速性：用戶對OLAP的快速反應能力有很高的要求。系統(tǒng)對用戶的大部分分析要求的響應速度應該為秒級。

可分析性：OLAP系統(tǒng)能處理與應用有關的任何邏輯分析和統(tǒng)計分析。多維性：多維性是OLAP的關鍵屬性。系統(tǒng)提供對數(shù)據(jù)的多維視圖和分析,包括對層次維和多重層次維的完全支持。信息性：不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲在何處，OLAP系統(tǒng)應能及時獲得信息，并且具有管理大容量信息的能力2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP的多維數(shù)據(jù)結構OLAP技術簡介超立方體結構：超立方結構指用三維或更多的維數(shù)來描述一個對象,每個維彼此垂直。數(shù)據(jù)的測量值發(fā)生在維的交叉點上,數(shù)據(jù)空間的各個部分都有相同的維屬性。多立方體結構：即將超立方結構變?yōu)樽恿⒎浇Y構。面向某一特定應用對維進行分割,它具有很強的靈活性,提高了數(shù)據(jù)（特別是稀疏數(shù)據(jù)）的分析效率。2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP分類（一）OLAP技術簡介MOLAP（MultidimensionalOnLineAnalyticalProcessing）

：數(shù)據(jù)以多維方式存儲，每一個數(shù)據(jù)單元（Cell）都可以通過維度的定位直接訪問。db2ROLAP（RelationalOnLineAnalyticalProcessing）：數(shù)據(jù)存放于關系型數(shù)據(jù)庫中，用戶的多維查詢請求由ROLAP引擎處理為SQL查詢，結果以多維方式呈現(xiàn)。oracleHOLAP（Hybridonlineanalyticalprocessing）：MOLAP與ROLAP的結合形式，兼具MOLAP的查詢效率高和ROLAP的存儲效率高的優(yōu)點，預存儲按照存儲類型，OLAP可以分為以下三種類型：2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP分類（三）OLAP技術簡介以多維立方體和預計算來存儲，實際數(shù)據(jù)的稀疏分布以及預計算是導致MOLAP空間急劇膨脹的主要因素。MOLAP的邏輯存儲模型：XXXXX2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP分類（二）OLAP技術簡介ROLAP存儲模式：ROLAP數(shù)據(jù)以星型模式（StarSchema）或雪花型模式存儲：事實表：用來存儲事實的度量值和各個維的碼值。。維表：用來存放維的元數(shù)據(jù)（維的層次、成員類別等描述信息）。Time_idSalesTableDiscount%DollarsUnits"FactTable"Market_idProduct_idScenarioProduct_idProductTableSizeBrandProduct_Desc"DimensionTable"Time_idYearQuarterPeriod_DescPeriodTable"DimensionTable"ScenarioTableActualProfitScenario"DimensionTable"Market_idMarketTableRegionDistrictMarket_Desc"DimensionTable"2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP分類（四）OLAP技術簡介沒有大小限制。（因為StarSchema本身不需要額外的存儲空間）

?，F(xiàn)有的關系數(shù)據(jù)庫的技術可以沿用。可以通過SQL實現(xiàn)詳細數(shù)據(jù)與概要數(shù)據(jù)的存儲?，F(xiàn)有關系型數(shù)據(jù)庫已經(jīng)對OLAP做了很多優(yōu)化，包括并行存儲、并行查詢、并行數(shù)據(jù)管理、基于成本的查詢優(yōu)化、位圖索引、SQL的OLAP擴展（cube，rollup）等大大提高ROALP的速度ROLAP的優(yōu)勢：性能好、響應速度快。專為OLAP所設計。支持高性能的決策支持計算。MOLAP的優(yōu)勢：2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP分類（五）OLAP技術簡介比MOLAP響應速度相差極遠。不支持有關預計算的讀寫操作。SQL無法完成部分計算。ROLAP的缺點：增加系統(tǒng)復雜度，增加系統(tǒng)培訓與維護費用。需要進行預計算，可能導致數(shù)據(jù)急劇膨脹。支持維的動態(tài)變化比較困難。MOLAP的缺點：2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP分類（六）OLAP技術簡介ROLAPArchitecture：SQLResultSetInfo.RequestResultSetDatabaseServer

RDBMSFront-endToolROALPArchitectureROLAPServerMetadataRequestProcessing2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP分類（七）OLAP技術簡介MOLAPArchitecture：Info.RequestResultSetLoadDatabaseServer

RDBMSFront-endToolMOALPArchitectureMOLAPServerMetadataRequestProcessing2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP分類（八）OLAP技術簡介MOLAPArchitecture：SQLResultSetInfo.RequestResultSetLoadDatabaseServer

RDBMSFront-endToolHybridArchitectureMOLAPServerIntegrationServerInfo.Request2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP的多維數(shù)據(jù)分析方法簡介（一）OLAP技術簡介切片和切塊(SliceandDice)：在確定某些維數(shù)據(jù)的確定情況下對其他維進行觀察，在多維數(shù)據(jù)結構中,按二維進行切片,按三維進行切塊,可得到所需要的數(shù)據(jù)。如在“城市、時間、漫游”三維立方體中進行切塊和切片,可得到各城市、各漫游類型的費用情況。

鉆取(Drill)：在一個維內沿著從高到低或者從低到高的方向考察數(shù)據(jù)，鉆取包含向下鉆?。―rill-down）和向上鉆?。―rill-up）/上卷（Roll-up）操作，鉆取的深度與維所劃分的層次相對應。旋轉(Rotate)/轉軸(Pivot):通過旋轉可以得到不同視角的數(shù)據(jù)，按不同的順序組織維，對結果進行考察穿透：是指從多維數(shù)據(jù)庫向關系型數(shù)據(jù)庫讀取明細數(shù)據(jù)OLAP的三種基本分析手段：多維視圖2024/3/29數(shù)據(jù)倉庫OLAP技術時間地區(qū)漫游2003年2003年1月2003年1月1日2003年1月2日2003年1月3日2003年2月考察一個特定的維時間維，包括每一個地區(qū)漫游業(yè)務量鉆取到下面的層次來考察詳細情況OLAP的多維數(shù)據(jù)分析方法簡介（二）：鉆取OLAP技術簡介2024/3/29數(shù)據(jù)倉庫OLAP技術時間地區(qū)漫游按照不同的順序組合維，對數(shù)據(jù)進行考察OLAP的多維數(shù)據(jù)分析方法簡介（二）：旋轉OLAP技術簡介地區(qū)漫游時間2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP的多維數(shù)據(jù)分析方法簡介（三）：切片、切塊OLAP技術簡介AdHocViewRegionalMgr.ViewProductMgr.ViewTImeMgr.ViewPRODUCTregionTIMESALES2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP的多維數(shù)據(jù)分析方法簡介（四）：穿透OLAP技術簡介關系型數(shù)據(jù)庫2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP分類的評價標準OLAP技術簡介OLAP模型必須提供多維概念模型。透明性準則，存儲無法清除。存取能力準則。穩(wěn)定的報表性能客戶/服務器體系結構維的等同性準則，按照維度存儲動態(tài)稀疏矩陣處理準則：dense,sparse多用戶支持能力準則,并行非受限的跨維操作，多cube,多數(shù)據(jù)庫的關聯(lián)查詢靈活的報表生成非受限的維與維的層次2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP技術發(fā)展新特征OLAP技術簡介聚集存儲數(shù)據(jù)庫(AggregateStorageDatabase)：支持聚集存儲數(shù)據(jù)庫（由新的聚集存儲核心提供）實現(xiàn)了在數(shù)據(jù)庫聚集時間和維度可量測性兩方面的動態(tài)可量測性的提高。聚集存儲數(shù)據(jù)庫典型只滿足只讀，“機架堆疊”具有大量維度的應用聚集數(shù)據(jù)可以同時滿足讀取和計算存儲高效性能，存儲量很小存儲高效性和讀取效率可以取得平衡點預計算可以在數(shù)據(jù)讀取是進行，也可以預處理計算節(jié)點2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP在日常分析中隨處可見KPI展示EIS多維分析數(shù)據(jù)挖掘OLAP使用分析思路（二）2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP分析方法的應用主題分析數(shù)據(jù)挖掘應用報表KPI專題分析經(jīng)營分析、決策支持系統(tǒng)平臺工具APIOLAP…挖掘技術OLAP分析…SQLOLAP分析…SQLOLAP分析…SQL、挖掘OLAP分析…OLAP分析方法2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP分析獨立個人分析基礎應用分析專題分析應用OLAP分析案例講解思路（一）2024/3/29數(shù)據(jù)倉庫OLAP技術時間基礎使用案例驗證問題發(fā)現(xiàn)問題尋找答案綜合使用分析之獨立分析主題獨立完成分析需求組織數(shù)據(jù)數(shù)據(jù)分析分析報告OLAP分析使用使用現(xiàn)有系統(tǒng)獨立完成集成商的輔助之下分析需求組織數(shù)據(jù)形成方案，形成分析方法綜合使用之專題分析OLAP分析使用思路（二）在集成商參與下合作完成2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP分析案例講解思路（一）。。。。。PPT、EXECEL工具數(shù)據(jù)挖掘技術報表，前端工具使用數(shù)據(jù)庫sql專題分析獨立業(yè)務分析AnalysisProjectExecutingOlap分析方法2024/3/29數(shù)據(jù)倉庫OLAP技術議題OLAP技術簡介OLAP分析方法小結OLAP分析方法小結2024/3/29數(shù)據(jù)倉庫OLAP技術OLAP分析課程要點1.OLAP技術的簡單介紹2.OLAP的基礎分析案例3.OLAP的綜合分析案例，包括套餐專題和世界風分析4.OLAP分析的重要性5.不要孤立的使用OLAP分析6.OLAP分析是經(jīng)營分析系統(tǒng)或者是數(shù)據(jù)倉庫系統(tǒng)中眾多分析方法中的一種7.作為一個好的分析員，應該可以綜合使用各類分析方法完成相應的分析20