數(shù)據(jù)倉庫,聯(lián)機分析處理,數(shù)據(jù)挖掘Data Warehousing, OLAP, and

1、數(shù)據(jù)倉庫數(shù)據(jù)倉庫,聯(lián)機分析處理聯(lián)機分析處理,數(shù)據(jù)挖掘數(shù)據(jù)挖掘Data Warehousing, OLAP, and Data Mining 數(shù)據(jù)倉庫數(shù)據(jù)倉庫 : 一個面向主題的、集成的、隨時間變化的、非易失性數(shù)據(jù)的集合，用于支持管理層的決策過程。 OLAP 與與 數(shù)據(jù)挖掘工具數(shù)據(jù)挖掘工具 : 是兩種主要的分析工具，提供給決策者對數(shù)據(jù)進(jìn)行分析，以針對分析結(jié)果做出決策。概要概要數(shù)據(jù)倉庫的引出數(shù)據(jù)倉庫的引出 1.傳統(tǒng)數(shù)據(jù)庫以及OLTP(On-Line Transaction Processing 聯(lián)機事務(wù)處理)在日常的管理事務(wù)處理中獲得了巨大的成功，但是對管理人員的決策分析要求卻無法滿足。 2.因為

2、，管理人員常常希望能夠通過對組織中的大量數(shù)據(jù)進(jìn)行分析，了解業(yè)務(wù)的的發(fā)展趨勢。而傳統(tǒng)數(shù)據(jù)庫只保留了當(dāng)前的業(yè)務(wù)處理信息，缺乏決策分析所需要的大量的歷史信息。 3.為滿足管理人員的決策分析需要，就需要在數(shù)據(jù)庫的基礎(chǔ)上產(chǎn)生適應(yīng)決策分析的數(shù)據(jù)環(huán)境數(shù)據(jù)倉庫(Data Warehose)。數(shù)據(jù)倉庫的定義與基本特性數(shù)據(jù)倉庫的定義與基本特性 1. 數(shù)據(jù)倉庫的定義 William H.Inmon在1993年所寫的論著Building the DataWarehouse首先系統(tǒng)地闡述了關(guān)于數(shù)據(jù)倉庫的思想、理論，為數(shù)據(jù)倉庫的發(fā)展奠定了歷史基石。文中他將數(shù)據(jù)倉庫定義為: a data warehouse is a su

3、bject-oriented, integrated, non-volatile, time-variant collection of data in support of management decisions. 一個面向主題的、集成的、非易失性的、隨時間變化的數(shù)據(jù)的集合，以用于支持管理層決策過程。 2.數(shù)據(jù)倉庫的重要特性 a) subject-oriented(面向主題性面向主題性) 面向主題表示了數(shù)據(jù)倉庫中數(shù)據(jù)組織的基本原則，數(shù)據(jù)倉庫中的數(shù)由數(shù)據(jù)都是圍繞著某一主題組織展開的。由于數(shù)據(jù)倉庫的用戶大多是企業(yè)的管理決策者，這些人所面對的往往是一些比較抽象的、層次較高的管理分析對象。例如，企

4、業(yè)中的客戶、產(chǎn)品、供應(yīng)商等都可以作為主題看待。從信息管理的角度看，主題就是在一個較高的管理層次上對信主題就是在一個較高的管理層次上對信息系統(tǒng)的數(shù)據(jù)按照某一具體的管理對象進(jìn)行綜合、歸類所形成息系統(tǒng)的數(shù)據(jù)按照某一具體的管理對象進(jìn)行綜合、歸類所形成的分析對象。的分析對象。從數(shù)據(jù)組織的角度看，主題是一些數(shù)據(jù)集合，這些數(shù)據(jù)集合主題是一些數(shù)據(jù)集合，這些數(shù)據(jù)集合對分析對象作了比較完整的、一致的描述，這種描述不僅涉對分析對象作了比較完整的、一致的描述，這種描述不僅涉及到數(shù)據(jù)自身，而且涉及到數(shù)據(jù)之間的關(guān)系。及到數(shù)據(jù)自身，而且涉及到數(shù)據(jù)之間的關(guān)系。 數(shù)據(jù)倉庫的集成性是指根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進(jìn)行

5、抽取、篩選、清理、綜合等工作，使數(shù)據(jù)倉庫的數(shù)據(jù)具有集成性。b) integrated (數(shù)據(jù)集成性數(shù)據(jù)集成性) 數(shù)據(jù)倉庫在從業(yè)務(wù)處理系統(tǒng)那里獲取數(shù)據(jù)時，并不能將源數(shù)據(jù)庫中的數(shù)據(jù)直接加載到數(shù)據(jù)倉庫中，而是需要進(jìn)行一系列的數(shù)據(jù)預(yù)處理，即數(shù)據(jù)的抽取、篩選、清理、綜合等集成工作。 也就是說，首先要從源數(shù)據(jù)庫中挑選出數(shù)據(jù)倉庫所需要的數(shù)據(jù)，然后將這些來自不同數(shù)據(jù)庫中的數(shù)據(jù)按照某一標(biāo)準(zhǔn)進(jìn)行統(tǒng)一，即將不同數(shù)據(jù)源中的數(shù)據(jù)的單位、字長與內(nèi)容按照數(shù)據(jù)倉庫的要求統(tǒng)一起來，消除源數(shù)據(jù)中字段的同名異義、異名同義現(xiàn)象，這些工作稱為數(shù)據(jù)的清理清理(clean)，把數(shù)據(jù)倉庫的數(shù)據(jù)呈現(xiàn)給用戶一個一致統(tǒng)一的視圖。 源數(shù)據(jù)加載到數(shù)據(jù)

6、倉庫后，還要根據(jù)決策分析的 需要對這些數(shù)據(jù)進(jìn)行概括、聚集處理。 數(shù)據(jù)倉庫的時變性，就是數(shù)據(jù)應(yīng)該隨著時間的推移而變化。c) time-variant 數(shù)據(jù)的時變性 盡管數(shù)據(jù)倉庫中的數(shù)據(jù)并不像業(yè)務(wù)數(shù)據(jù)庫那樣反 映業(yè)務(wù)處理的實際狀況，但是數(shù)據(jù)也不能長期不 變，如果依據(jù)10前的數(shù)據(jù)進(jìn)行決策分析，那決策 所帶來的后果將是十分可怕的。 因此，數(shù)據(jù)倉庫必須能夠不斷捕捉主題的變化數(shù)據(jù)，將那些變化的數(shù)據(jù)追加到數(shù)據(jù)倉庫中去，也就是說在數(shù)據(jù)倉庫中必須不斷的生成主題的新快照，以滿足決策分析的需要。數(shù)據(jù)新快照生成的間隔，可以根據(jù)快照的生成速度和決策分析的需要而定。 例如，如果分析企業(yè)近幾年的銷售情況，那快照 可以每隔一

7、個月生成一次；如果分析一個月的暢銷產(chǎn)品，那快照生成間隔就需要每天一次。d) non-volatile 數(shù)據(jù)的非易失性 數(shù)據(jù)倉庫的非易失性是指數(shù)據(jù)倉庫的數(shù)據(jù)不進(jìn)行更新處理，而是一旦數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫以后，就會保持一個相當(dāng)長的時間。因為數(shù)據(jù)倉庫中數(shù)據(jù)大多表示過去某一時刻的數(shù)據(jù)，主要用于查詢、分析，不像業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)庫那樣，要經(jīng)常進(jìn)行修改、添加，除非數(shù)據(jù)倉庫中的數(shù)據(jù)是錯誤的。e) in support of management decisions 支持決策系統(tǒng)支持決策系統(tǒng) 數(shù)據(jù)倉庫的組織的根本目的在于對決策的支持。高層的企業(yè)決策者、中層的管理者和基層的業(yè)務(wù)處理者等不同層次的管理人員均可以利用數(shù)據(jù)倉

8、庫進(jìn)行決策分析，提高管理決策的質(zhì)量。 企業(yè)管理人員可以利用數(shù)據(jù)倉庫進(jìn)行各種管理決策的分析，利用自己所特有的、敏銳的商業(yè)洞察力和業(yè)務(wù)知識從貌似平淡的數(shù)據(jù)發(fā)現(xiàn)眾多的商機。數(shù)據(jù)倉庫為管理者利用數(shù)據(jù)進(jìn)行管理決策分析提供了極大的便利。對比內(nèi)容對比內(nèi)容數(shù)據(jù)庫數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)倉庫數(shù)據(jù)內(nèi)容當(dāng)前值歷史的、存檔的、歸納的、計算的數(shù)據(jù)數(shù)據(jù)目標(biāo)面向業(yè)務(wù)操作程序、重復(fù)處理面向主體域、管理決策分析應(yīng)用數(shù)據(jù)特性動態(tài)變化、按字段更新靜態(tài)、不能直接更新、只是定時添加數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜、市和操作計算簡單、適合分析使用頻率高中到低數(shù)據(jù)訪問量每個事務(wù)只訪問少量記錄有的事務(wù)可能要訪問大量記錄對相應(yīng)時間的要求以秒為單位計量以秒、

9、分鐘、甚至小時為計量單位數(shù)據(jù)倉庫與傳統(tǒng)數(shù)據(jù)庫的比較數(shù)據(jù)倉庫與傳統(tǒng)數(shù)據(jù)庫的比較 盡管OLTP系統(tǒng)和數(shù)據(jù)倉庫有著許多不同的特性且基本構(gòu)建思想不同，但是他們卻是緊密聯(lián)系的，因為OLTP系統(tǒng)是數(shù)據(jù)倉庫的數(shù)據(jù)來源。 OLTP系統(tǒng)并不是為了快速回答查詢，也不是為了存儲分析趨勢的歷史數(shù)據(jù)而創(chuàng)建的。一般的，OLTP提供了大量的原始數(shù)據(jù)，這些數(shù)據(jù)不易被分析。 數(shù)據(jù)倉庫需要回答更復(fù)雜的查詢，而不僅僅使一些像“英國主要城市的商品平均銷售價格是多少”之類的簡單聚集數(shù)據(jù)查詢。 數(shù)據(jù)倉庫需要回答的查詢類型可以是簡單的查詢，也可以是高度復(fù)雜的，且還與終端用戶使用的查詢工具相關(guān)。 DreamHome數(shù)據(jù)倉庫的示例支持以下查詢

10、:2001年第三季度，整個英格蘭的總收入是多少？2000年英國每一類房產(chǎn)銷售的總收入是多少？2001年租借房產(chǎn)業(yè)務(wù)中每個城市哪個地域最受歡迎？與過去的兩年相比有何不同？每個分支機構(gòu)本月的房產(chǎn)銷售月收入是多少，并與剛過去的12個月相比較。如果對于10萬英鎊以上的房產(chǎn)，法定價格上升3.5%而政府稅收下降1.5%，對英國不同區(qū)域的銷售會產(chǎn)生什么影響？在英國主要城市中，哪種類型的房產(chǎn)銷售價格高于平均房產(chǎn)銷售價格？這與人口統(tǒng)計數(shù)據(jù)有何聯(lián)系？數(shù)據(jù)倉庫的一個案例數(shù)據(jù)倉庫的一個案例 啤酒與尿布的故事啤酒與尿布的故事某大型超市發(fā)現(xiàn)每到周末，啤酒與尿布的銷量就會同時大增，這是什么原因呢？ 經(jīng)過研究人員分析發(fā)現(xiàn)，原

11、來家里的太太們讓丈夫們?nèi)コ薪o孩子買尿布，而丈夫們在買尿布的時候往往順便買上幾瓶啤酒回去喝。這樣就產(chǎn)生了這個比較奇怪的現(xiàn)象。 沃爾瑪早年利用NCR數(shù)據(jù)倉庫技術(shù)，對商品進(jìn)行市場類組分析，即分析哪些商品顧客最有希望一起購買。沃爾瑪利用NCR自動數(shù)據(jù)挖掘工具(模式識別軟件)對一年多詳細(xì)的原始交易數(shù)據(jù)進(jìn)行分析和挖掘。一個意外的發(fā)現(xiàn)就是：跟尿布一起購買最多的商品竟是啤酒！沃爾瑪就在它的一個個商店里將它們并排擺放在一起，結(jié)果是尿布與啤酒的銷售量雙雙增長。 來自美國俄亥俄州的NCR公司（紐約證券交易所股票代碼為NCR）是全球領(lǐng)先的信息技術(shù)公司之一，為全球超過130個國家提供零售解決方案，業(yè)務(wù)涵蓋食品店、藥店

12、、綜合性商場、超市、連鎖店及餐飲業(yè)等市場，2001年總收益達(dá)59.17億美元。世界十大零售商中，就有六家應(yīng)用NCR提供的零售業(yè)全面解決方案。數(shù)據(jù)倉庫的體系結(jié)構(gòu)數(shù)據(jù)倉庫的體系結(jié)構(gòu) 圖示: datawarehouse_av.gif 操作型數(shù)據(jù)操作型數(shù)據(jù) 加載管理器加載管理器 : 執(zhí)行所有與提取和裝載數(shù)據(jù)到數(shù)據(jù)倉庫的有關(guān)操作。 倉庫管理器倉庫管理器 : 執(zhí)行管理一個數(shù)據(jù)倉庫數(shù)據(jù)所有的必要程序，它可以由一些外購的數(shù)據(jù)管理工具和針對特殊需要編寫的程序組成。包括以下工作:1.數(shù)據(jù)分析以確保一致性 2.將臨時存儲介質(zhì)中的數(shù)據(jù)轉(zhuǎn)換和合并后加載到數(shù)據(jù)倉庫表中 3.為基礎(chǔ)表創(chuàng)建索引和視圖 4.依據(jù)需要，對數(shù)據(jù)進(jìn)行

13、弱規(guī)范化5.依據(jù)需要，生成聚集信息6.備份和歸檔數(shù)據(jù) 查詢管理器查詢管理器 : 執(zhí)行所有數(shù)據(jù)倉庫中與查詢工作相關(guān)的管理工作。 細(xì)節(jié)數(shù)據(jù)細(xì)節(jié)數(shù)據(jù) : 數(shù)據(jù)倉庫中存儲了許多數(shù)據(jù)庫模式中的細(xì)節(jié)數(shù)據(jù) 輕度和高度綜合數(shù)據(jù)輕度和高度綜合數(shù)據(jù) : 數(shù)據(jù)倉庫中存放了許多由 倉庫管理器產(chǎn)生的預(yù)定義的輕度或高度綜合(聚集的)數(shù)據(jù)。 存儲存儲/備份數(shù)據(jù)備份數(shù)據(jù) : 數(shù)據(jù)倉庫中存儲了用于備份和存檔的許多細(xì)節(jié)和綜合數(shù)據(jù)。盡管綜合數(shù)據(jù)是從細(xì)節(jié)數(shù)據(jù)中產(chǎn)生的，但還是有必要備份這些綜合數(shù)據(jù)，因為他們可能已經(jīng)超過了細(xì)節(jié)數(shù)據(jù)的保持期。這些數(shù)據(jù)要轉(zhuǎn)移到存儲檔案中，如磁盤或光盤上。 元數(shù)據(jù)元數(shù)據(jù)(metadata): 數(shù)據(jù)倉庫中存儲了

14、所有的元數(shù)據(jù)定義，這些定義可用于數(shù)據(jù)倉庫中的所有過程。元數(shù)據(jù)的用途包括 : 1.數(shù)據(jù)抽取和加載過程: 元數(shù)據(jù)可用于將數(shù)據(jù)影射到數(shù)據(jù)倉庫的通用數(shù)據(jù)視圖中。 2.數(shù)據(jù)倉庫管理過程: 元數(shù)據(jù)可用于自動產(chǎn)生表。 3.作為查詢過程的一部分: 元數(shù)據(jù)可用于將查詢指定到最合適的數(shù)據(jù)源。 終端用戶訪問工具終端用戶訪問工具 數(shù)據(jù)倉庫的主要目的是為了給業(yè)務(wù)用戶提供決策信息。這些用戶通過終端用戶訪問工具與數(shù)據(jù)倉庫交互。數(shù)據(jù)倉庫必須有效地支持查詢和例行分析。 這些工具一般分為 : a. 報表和查詢工具 b. 應(yīng)用程序開發(fā)工具 c. 可執(zhí)行信息系統(tǒng)工具 d. 聯(lián)機分析處理工具 e. 數(shù)據(jù)挖掘工具OLAP技術(shù)技術(shù) 數(shù)據(jù)倉

15、庫是管理決策分析的基礎(chǔ)，要有效地利用數(shù)據(jù)倉庫的信息資源，必須要有強大的工具對數(shù)據(jù)倉庫的信息進(jìn)行分析決策。On-line Analytical Processing(在線分析處理或聯(lián)機分析處理在線分析處理或聯(lián)機分析處理)就是一個應(yīng)用廣泛的數(shù)據(jù)倉庫使用技術(shù)。它可以根據(jù)分析人員的要求，迅速靈活地對當(dāng)量的數(shù)據(jù)進(jìn)行復(fù)雜的查詢處理，并以直觀的容易理解的形式將查詢結(jié)果提供給各種決策人員，使他們能夠迅速準(zhǔn)確地掌握企業(yè)的運營情況，了解市場的需求。發(fā)展背景發(fā)展背景60年代，關(guān)系數(shù)據(jù)庫之父E.F.Codd提出了關(guān)系模型，促進(jìn)了聯(lián)機事務(wù)處理(OLTP)的發(fā)展(數(shù)據(jù)以表格的形式而非文件方式存儲)。1993年，E.F.C

16、odd提出了OLAP概念，認(rèn)為OLTP已不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要，SQL對大型數(shù)據(jù)庫進(jìn)行的簡單查詢也不能滿足終端用戶分析的要求。用戶的決策分析需要對關(guān)系數(shù)據(jù)庫進(jìn)行大量計算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。因此，E.F.Codd提出了多維數(shù)據(jù)庫和多維分析的概念，即OLAP。 OLTP數(shù)據(jù) OLAP數(shù)據(jù) 原始數(shù)據(jù) 導(dǎo)出數(shù)據(jù) 細(xì)節(jié)性數(shù)據(jù) 綜合性和提煉性數(shù)據(jù) 當(dāng)前值數(shù)據(jù) 歷史數(shù)據(jù) 可更新 不可更新，但周期性刷新 一次處理的數(shù)據(jù)量小 一次處理的數(shù)據(jù)量大面向應(yīng)用，事務(wù)驅(qū)動 面向分析，分析驅(qū)動面向操作人員，支持日常操作 面向決策人員，支持管理需要二、什么是二、什么是OLAP

17、？ 定義定義1 ：OLAP(聯(lián)機分析處理聯(lián)機分析處理)是針對特定問題的聯(lián)機數(shù)據(jù)訪問和分析。通過對信息(維數(shù)據(jù))的多種可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對數(shù)據(jù)進(jìn)行深入觀察。 定義定義2 ：OLAP(聯(lián)機分析處理聯(lián)機分析處理) 是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。(OLAP委員會的定義) OLAP的目標(biāo)的目標(biāo)是滿足決策支持或多維環(huán)境特定的查詢和報表需求，它的技術(shù)核心是“維”這個概念，因此OLAP也可以說是多維數(shù)據(jù)分

18、析工具的集合。相關(guān)基本概念相關(guān)基本概念 1.維：維：是人們觀察數(shù)據(jù)的特定角度，是考慮問題時的一類屬性，屬性集合構(gòu)成一個維(時間維、地理維等)。 2.維的層次：維的層次：人們觀察數(shù)據(jù)的某個特定角度(即某個維)還可以存在細(xì)節(jié)程度不同的各個描述方面(時間維：日期、月份、季度、年)。 3.維的成員：維的成員：維的一個取值。是數(shù)據(jù)項在某維中位置的描述。(“某年某月某日”是在時間維上位置的描述) 4.多維數(shù)據(jù)集多維數(shù)據(jù)集:是決策分析的支柱，OLAP的核心，有時也稱立方體或者超立方。OLAP展現(xiàn)在用戶面前的是一幅幅多維視圖。多維數(shù)據(jù)集可以用一個多維數(shù)組來表示。 5.多維數(shù)組：多維數(shù)組：維和變量的組合表示。一

19、個多維數(shù)組可以表示為：(維1，維2，維n，觀察變量)。(時間，地區(qū)，產(chǎn)品，銷售額) 6.數(shù)據(jù)單元數(shù)據(jù)單元(單元格單元格)：多維數(shù)組的取值。(2000年1月，上海，筆記本電腦，$100000)三層數(shù)據(jù)倉庫結(jié)構(gòu) 底層數(shù)據(jù)倉庫服務(wù)器,使用稱作網(wǎng)間連接程序的應(yīng)用程序,由操作數(shù)據(jù)庫和外部數(shù)據(jù)源提取數(shù)據(jù). 中間層是OLAP服務(wù)器,實現(xiàn)方法有 關(guān)系OLAP模型ROLAP 在多維數(shù)據(jù)上的操作映射為標(biāo)準(zhǔn)的關(guān)系模型 多維OLAP模型MOLAP 直接實現(xiàn)多維數(shù)據(jù)的操作 頂層是客戶,它包括查詢和報告工具,分析工具和數(shù)據(jù)挖掘工具(例如趨勢分析,預(yù)測等)業(yè)務(wù)處理系統(tǒng)數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)倉庫OLAP服務(wù)器客戶端可視化處理底層底層

20、中間層中間層頂層頂層數(shù)據(jù)抽取數(shù)據(jù)抽取數(shù)據(jù)清理數(shù)據(jù)清理 轉(zhuǎn)換轉(zhuǎn)換多維化多維化數(shù)據(jù)加載數(shù)據(jù)加載OLAP的特性1. 快速性. 用戶對OLAP的快速反應(yīng)能力有很高的要求。2. 可分析性. OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的邏輯與統(tǒng)計分析。3. 多維性. 多維性是OLAP的關(guān)鍵屬性。系統(tǒng)能夠提供對數(shù)據(jù)分析的多維視圖和多維分析。4.信息型. 不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲在何處，OLAP系統(tǒng)應(yīng)能及時獲得信息，并且管理大容量信息。OLAP多維數(shù)據(jù)分析多維數(shù)據(jù)分析 1.1.切片和切塊切片和切塊(Slice and Dice(Slice and Dice) )在多維數(shù)據(jù)結(jié)構(gòu)中,按二維進(jìn)行切片,按三維進(jìn)行切塊,可

21、得到所需要的數(shù)據(jù)。如在“城市、產(chǎn)品、時間”三維立方體中進(jìn)行切塊和切片,可得到各城市、各產(chǎn)品的銷售情況。 2.2.鉆取鉆取(Drill)(Drill) 鉆取包含向下鉆取(Drill-down)和向上鉆取(Drill-up)/上卷(Roll-up)操作， 鉆取的深度與維所劃分的層次相對應(yīng)。 3.3.旋轉(zhuǎn)旋轉(zhuǎn)(Rotate)/(Rotate)/轉(zhuǎn)軸轉(zhuǎn)軸(Pivot)(Pivot)通過旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)。OLAP的分析方法的分析方法(一一)切片切片(slicing)、切塊、切塊(dicing)OLAP的分析方法的分析方法(二二)鉆取鉆取(drill-down)按時間維向下鉆取按時間維向上鉆取60OLAP的分析方法的分析方法(三三)旋轉(zhuǎn)旋轉(zhuǎn)數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù) 數(shù)據(jù)挖掘的