互聯(lián)網(wǎng)數(shù)據(jù)庫(kù)第十三章 數(shù)據(jù)倉(cāng)庫(kù)

第十三章數(shù)據(jù)倉(cāng)庫(kù)互聯(lián)網(wǎng)數(shù)據(jù)庫(kù)課件13.1概述1、數(shù)據(jù)倉(cāng)庫(kù)的概念數(shù)據(jù)倉(cāng)庫(kù)之父——BillInmon定義：在支持管理的決策生成過(guò)程中，一個(gè)面向主題的、集成的、時(shí)變的、非易失的數(shù)據(jù)集合。定義中的數(shù)據(jù)：面向主題的、集成的、時(shí)變的、非易失的數(shù)據(jù)倉(cāng)庫(kù)的最終目的：將企業(yè)范圍內(nèi)的全體數(shù)據(jù)集成到一個(gè)數(shù)據(jù)倉(cāng)庫(kù)中，用戶可以方便地從中進(jìn)行信息查詢、產(chǎn)生報(bào)表和進(jìn)行數(shù)據(jù)分析等。數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)決策支撐環(huán)境，它從不同的數(shù)據(jù)源得到數(shù)據(jù)，組織數(shù)據(jù)，使得數(shù)據(jù)有效地支持企業(yè)決策?？傊?，數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)管理和數(shù)據(jù)分析的技術(shù)。13.1概述2、數(shù)據(jù)倉(cāng)庫(kù)的好處數(shù)據(jù)倉(cāng)庫(kù)的成功實(shí)現(xiàn)能為一個(gè)企業(yè)帶來(lái)的主要好處：提高公司決策能力

競(jìng)爭(zhēng)優(yōu)勢(shì)

潛在的高投資回報(bào)3、開發(fā)和管理數(shù)據(jù)倉(cāng)庫(kù)的問(wèn)題開發(fā)和管理一個(gè)數(shù)據(jù)倉(cāng)庫(kù)常出現(xiàn)的問(wèn)題有：

1)低估數(shù)據(jù)裝載工作2)源系統(tǒng)隱藏的問(wèn)題3)從現(xiàn)存的數(shù)據(jù)源捕捉不到的數(shù)據(jù)4)終端用戶的需求不斷增長(zhǎng)5)數(shù)據(jù)差異被忽略6)對(duì)資源過(guò)高需求7)數(shù)據(jù)的所有權(quán)問(wèn)題8)高維護(hù)性和集成的復(fù)雜性。13.2數(shù)據(jù)倉(cāng)庫(kù)框架ORACLEDB2...文件系統(tǒng)HTML文件..抽取變換加載刷新元數(shù)據(jù)決策數(shù)據(jù)單位數(shù)據(jù)倉(cāng)庫(kù)OLAP服務(wù)器OLAP服務(wù)器查詢分析報(bào)表數(shù)據(jù)挖掘圖形用戶接口...決策者部門數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)（核心）工具和接口數(shù)據(jù)倉(cāng)庫(kù)的框架13.2數(shù)據(jù)倉(cāng)庫(kù)框架為了提高數(shù)據(jù)倉(cāng)庫(kù)的性能通常采取的措施：1）采用并行系統(tǒng)結(jié)構(gòu)；2）對(duì)數(shù)據(jù)倉(cāng)庫(kù)中用得多、開銷大的處理，例如聚集函數(shù)的計(jì)算，采用新的查詢優(yōu)化策略和索引結(jié)構(gòu)；3）針對(duì)數(shù)據(jù)倉(cāng)庫(kù)以讀為主的特點(diǎn)，把查詢中常用的中間結(jié)果定義為視圖，且將事先計(jì)算好的視圖存于數(shù)據(jù)倉(cāng)庫(kù)中；在需要的時(shí)候只要讀出即可，無(wú)需臨時(shí)計(jì)算。13.2數(shù)據(jù)倉(cāng)庫(kù)框架數(shù)據(jù)倉(cāng)庫(kù)所需的技術(shù)支持，大致可分為五個(gè)方面：1）異構(gòu)多數(shù)據(jù)源集成技術(shù)；2）RDBMS對(duì)數(shù)據(jù)倉(cāng)庫(kù)的支撐技術(shù)，包括OLAP和并行處理等技術(shù)；3）硬件系統(tǒng)，包括并行處理結(jié)構(gòu)、大容量磁盤陣列系統(tǒng)等；4）數(shù)據(jù)模式設(shè)計(jì)，包括對(duì)決策主題的需求分析、基表和實(shí)現(xiàn)圖的模式設(shè)計(jì)、各種索引的合理配置等；5）決策用的工具和接口軟件。13.3數(shù)據(jù)倉(cāng)庫(kù)的基本數(shù)據(jù)模式以事實(shí)表為中心，加上若干維表，組成星型數(shù)據(jù)模式(starschema)。日期表示符日月季年日期表產(chǎn)品標(biāo)識(shí)符商品標(biāo)識(shí)符日期標(biāo)識(shí)符單價(jià)銷售金額銷售表產(chǎn)品標(biāo)識(shí)符類標(biāo)識(shí)符大類標(biāo)識(shí)符產(chǎn)品名類名大類名產(chǎn)品表商店標(biāo)識(shí)符市名省名國(guó)名洲名商店表13.3數(shù)據(jù)倉(cāng)庫(kù)的基本數(shù)據(jù)模式若將維表按層次關(guān)系分解，則數(shù)據(jù)模式將成為雪花模式(snowflakeschema)。雪花模式實(shí)際上是星型模式的規(guī)范化形式。用雪花模式表示，可以節(jié)省存儲(chǔ)空間，但在訪問(wèn)維表時(shí)，要多做連接操作。季年季表月季月表日期標(biāo)識(shí)符日月日期表產(chǎn)品標(biāo)識(shí)符商店標(biāo)識(shí)符日期標(biāo)識(shí)符單價(jià)銷售金額銷售額產(chǎn)品標(biāo)識(shí)符類標(biāo)識(shí)符產(chǎn)品名產(chǎn)品表商店標(biāo)識(shí)符市名商店表類標(biāo)識(shí)符大類標(biāo)識(shí)符類名類表大類標(biāo)識(shí)符大類名大類表市名省名市表省名國(guó)名國(guó)名洲名省表國(guó)表13.4數(shù)據(jù)倉(cāng)庫(kù)的基本操作星型、雪花模式是數(shù)據(jù)倉(cāng)庫(kù)中基表的常用數(shù)據(jù)模式。決策一般不直接應(yīng)用星型、雪花模式所描述的那種詳細(xì)數(shù)據(jù)?；硎菦Q策所需的原始數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)應(yīng)在基表的基礎(chǔ)上計(jì)算出決策所需的各種總結(jié)數(shù)據(jù)。13.4數(shù)據(jù)倉(cāng)庫(kù)的基本操作1、基本聚集函數(shù)SQL提供五種聚集函數(shù)：SUM,COUNT,AVG,MAX和MIN2、立方體（Cube）操作在立方體的基礎(chǔ)上，可進(jìn)行切片、切塊操作，即以某一個(gè)維度為基準(zhǔn)，對(duì)立方體進(jìn)行切割的操作。3、上卷（roll-up）和下探(drill-down)操作在計(jì)算聚集函數(shù)時(shí)，分組的粒度有粗細(xì)之分。由細(xì)粒度分組及聚集函數(shù)可以推算出與其相關(guān)的粗粒度分組的聚集函數(shù)，反之則不可行。上卷操作就是由細(xì)粒度分組的聚集函數(shù)推算出粗粒度分組的過(guò)程。下探操作是上卷操作的逆操作，即通過(guò)細(xì)化維的粒度，查詢較詳細(xì)的數(shù)據(jù)。13.5聯(lián)機(jī)分析處理（OLAP）簡(jiǎn)介當(dāng)前的數(shù)據(jù)處理大致可以分成兩大類：1）聯(lián)機(jī)事務(wù)處理（OLTP）2）聯(lián)機(jī)分析處理（OLAP）13.5聯(lián)機(jī)分析處理（OLAP）簡(jiǎn)介1、OLAP的體系結(jié)構(gòu)OLAP屬于數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用，它以數(shù)據(jù)倉(cāng)庫(kù)為基礎(chǔ)。根據(jù)E.F.Codd的觀點(diǎn)，OLAP采用三層客戶機(jī)/服務(wù)器體系結(jié)構(gòu)。OLAP的三層C/S結(jié)構(gòu)：①第一層為客戶機(jī)，實(shí)現(xiàn)最終用戶功能，能夠方便地瀏覽數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，能夠生成數(shù)據(jù)立方體，支持各種OLAP操作，如切片、切塊、旋轉(zhuǎn)、趨勢(shì)分析、比較等處理，實(shí)施決策。②第二層為分析服務(wù)器，存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)中的綜合數(shù)據(jù)。③第三層是企業(yè)服務(wù)器，存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)中的細(xì)節(jié)數(shù)據(jù)，它來(lái)自基層數(shù)據(jù)庫(kù)。

13.5聯(lián)機(jī)分析處理（OLAP）簡(jiǎn)介OLAP的體系結(jié)構(gòu)的優(yōu)點(diǎn)：將應(yīng)用邏輯、GUI及DBMS嚴(yán)格區(qū)分開來(lái)，復(fù)雜的應(yīng)用邏輯不是分布于網(wǎng)絡(luò)中的客戶機(jī)上，而是集中存放在分析服務(wù)器上，由服務(wù)器提供高效的數(shù)據(jù)存取，以及分析預(yù)處理。13.5聯(lián)機(jī)分析處理（OLAP）簡(jiǎn)介2、OLAP的數(shù)據(jù)組織模式OLAP目前主要有兩種組織模式：1）一種是建立專用的多維數(shù)據(jù)庫(kù)系統(tǒng)；2）另一種是利用現(xiàn)有的關(guān)系數(shù)據(jù)庫(kù)技術(shù)來(lái)模擬多維數(shù)據(jù)，用二維關(guān)系表示多維概念。這兩種組織方式對(duì)應(yīng)的OLAP系統(tǒng)分別為多維OLAP(MD-OLAP)和關(guān)系OLAP(ROLAP)。13.5聯(lián)機(jī)分析處理（OLAP）簡(jiǎn)介①M(fèi)D-OLAP的綜合數(shù)據(jù)組織模式。MD-OLAP以多維數(shù)據(jù)庫(kù)為核心。多維數(shù)據(jù)庫(kù)就是以多維方式來(lái)組織數(shù)據(jù)，以多維方式來(lái)顯示數(shù)據(jù)。多維數(shù)據(jù)庫(kù)可以直觀地表現(xiàn)現(xiàn)實(shí)世界中的“一對(duì)多”和“多對(duì)多”關(guān)系，不僅多維概念表達(dá)清晰，占用存儲(chǔ)少，更重要的是它有著高速的綜合速度。②ROLAP的綜合數(shù)據(jù)組織模式。ROLAP以關(guān)系數(shù)據(jù)庫(kù)為核心，用關(guān)系數(shù)據(jù)庫(kù)中的二維表來(lái)組織數(shù)據(jù)，表達(dá)多維概念，其數(shù)據(jù)組織采用星型模式。數(shù)據(jù)倉(cāng)庫(kù)中的每個(gè)主題對(duì)應(yīng)于一個(gè)星型模式結(jié)構(gòu)，由一個(gè)事實(shí)表和若干個(gè)維表組成。事實(shí)表中的每條記錄含有指向每個(gè)維表的指針（外碼，是維表的主關(guān)鍵字），通過(guò)這個(gè)指針，將多維數(shù)據(jù)聯(lián)系起來(lái)。13.5聯(lián)機(jī)分析處理（OLAP）簡(jiǎn)介3、OLAP實(shí)現(xiàn)的關(guān)鍵技術(shù)：1）實(shí)視圖及其維護(hù)“實(shí)視圖”，它與數(shù)據(jù)庫(kù)的“視圖”概念不同之處在于：它不是虛擬的，而是經(jīng)過(guò)計(jì)算，含有大量數(shù)據(jù)，并存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)的一張實(shí)實(shí)在在的表中。實(shí)視圖的維護(hù)：數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)來(lái)源于其它獨(dú)立的傳統(tǒng)數(shù)據(jù)庫(kù)，當(dāng)這些數(shù)據(jù)庫(kù)的原始數(shù)據(jù)發(fā)生變化時(shí)，如何使得數(shù)據(jù)倉(cāng)庫(kù)中的實(shí)視圖與原始數(shù)據(jù)的變化保持同步。2）立方體計(jì)算3）查詢優(yōu)化與并行處理技術(shù)4）數(shù)據(jù)集成數(shù)據(jù)集成是根據(jù)元數(shù)據(jù)中的有關(guān)定義，完成數(shù)據(jù)源中數(shù)據(jù)到實(shí)視圖的變換。13.5聯(lián)機(jī)分析處理（OLAP）簡(jiǎn)介4、OLAP的局限性1）OLAP分析技術(shù)的局限性：①OLAP對(duì)不同維度進(jìn)行肉眼觀察，并非運(yùn)用科學(xué)的工具去測(cè)度。而肉眼觀察帶有主觀的“有色眼鏡”，故缺乏科學(xué)客觀的評(píng)判手段和方法②當(dāng)遇到維度過(guò)多、數(shù)據(jù)量過(guò)大的實(shí)際情況時(shí)，OLAP工作效率急劇下降③若自變量和自變量之間存在線性關(guān)系或交互作用，OLAP無(wú)法分辨混雜因子或主要影響因素。因此，OLAP無(wú)法滿足在分析信息系統(tǒng)中最基本、最重要和最關(guān)鍵因素的要求，即：面對(duì)主題（商務(wù)需求）進(jìn)行分析。

13.5聯(lián)機(jī)分析處理（OLAP）簡(jiǎn)介2）OLAP解決方案的局限性？