原數(shù)據(jù)倉(cāng)庫(kù)原理

1、數(shù)據(jù)倉(cāng)庫(kù)原理-by zvane1. 數(shù)據(jù)倉(cāng)庫(kù)概念傳統(tǒng)數(shù)據(jù)庫(kù)以及OLTP(On-Line Transaction Processing 聯(lián)機(jī)事務(wù)處理)在日常的管理事務(wù)處理中獲得了巨大的成功，但是對(duì)管理人員的決策分析要求卻無(wú)法滿足。因?yàn)?，管理人員常常希望能夠通過(guò)對(duì)組織中的大量數(shù)據(jù)進(jìn)行分析，了解業(yè)務(wù)的發(fā)展趨勢(shì)。而傳統(tǒng)數(shù)據(jù)庫(kù)只保留了當(dāng)前的業(yè)務(wù)處理信息，缺乏決策分析所需要的大量的歷史信息。 為滿足管理人員的決策分析需要，就需要在數(shù)據(jù)庫(kù)的基礎(chǔ)上產(chǎn)生適應(yīng)決策分析的數(shù)據(jù)環(huán)境數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse)。1.1 定義William H.Inmon在1993年所寫的論著B(niǎo)uilding the Dat

2、aWarehouse首先系統(tǒng)地闡述了關(guān)于數(shù)據(jù)倉(cāng)庫(kù)的思想、理論，為數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展奠定了歷史基石。文中他將數(shù)據(jù)倉(cāng)庫(kù)定義為:A data warehouse is a subject-oriented, integrated, non-volatile, time-variant collection of data in support of management decisions.一個(gè)面向主題的、集成的、非易失性的、隨時(shí)間變化的數(shù)據(jù)的集合，以用于支持管理層決策過(guò)程。1.2 特性1.2.1 subject-oriented(面向主題性)面向主題表示了數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)組織的基本原則，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)由

3、數(shù)據(jù)都是圍繞著某一主題組織展開(kāi)的。由于數(shù)據(jù)倉(cāng)庫(kù)的用戶大多是企業(yè)的管理決策者，這些人所面對(duì)的往往是一些比較抽象的、層次較高的管理分析對(duì)象。例如，企業(yè)中的客戶、產(chǎn)品、供應(yīng)商等都可以作為主題看待。從信息管理的角度看，主題就是在一個(gè)較高的管理層次上對(duì)信息系統(tǒng)的數(shù)據(jù)按照某一具體的管理對(duì)象進(jìn)行綜合、歸類所形成的分析對(duì)象。從數(shù)據(jù)組織的角度看，主題是一些數(shù)據(jù)集合，這些數(shù)據(jù)集合對(duì)分析對(duì)象作了比較完整的、一致的描述，這種描述不僅涉及到數(shù)據(jù)自身，而且涉及到數(shù)據(jù)之間的關(guān)系。1.2.2 integrated (數(shù)據(jù)集成性)數(shù)據(jù)倉(cāng)庫(kù)的集成性是指根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進(jìn)行抽取、篩選、清理、綜合等工作，使數(shù)

4、據(jù)倉(cāng)庫(kù)的數(shù)據(jù)具有集成性。數(shù)據(jù)倉(cāng)庫(kù)在從業(yè)務(wù)處理系統(tǒng)那里獲取數(shù)據(jù)時(shí)，并不能將源數(shù)據(jù)庫(kù)中的數(shù)據(jù)直接加載到數(shù)據(jù)倉(cāng)庫(kù)中，而是需要進(jìn)行一系列的數(shù)據(jù)預(yù)處理，即數(shù)據(jù)的抽取、篩選、清理、綜合等集成工作。1.2.3 time-variant 數(shù)據(jù)的時(shí)變性數(shù)據(jù)倉(cāng)庫(kù)的時(shí)變性，就是數(shù)據(jù)應(yīng)該隨著時(shí)間的推移而變化。盡管數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)并不像業(yè)務(wù)數(shù)據(jù)庫(kù)那樣反映業(yè)務(wù)處理的實(shí)際狀況，但是數(shù)據(jù)也不能長(zhǎng)期不變，如果依據(jù)10年前的數(shù)據(jù)進(jìn)行決策分析，那決策所帶來(lái)的后果將是十分可怕的。因此，數(shù)據(jù)倉(cāng)庫(kù)必須能夠不斷捕捉主題的變化數(shù)據(jù)，將那些變化的數(shù)據(jù)追加到數(shù)據(jù)倉(cāng)庫(kù)中去，也就是說(shuō)在數(shù)據(jù)倉(cāng)庫(kù)中必須不斷的生成主題的新快照，以滿足決策分析的需要。數(shù)據(jù)

5、新快照生成的間隔，可以根據(jù)快照的生成速度和決策分析的需要而定。例如，如果分析企業(yè)近幾年的銷售情況，那快照 可以每隔一個(gè)月生成一次；如果分析一個(gè)月的暢銷產(chǎn)品，那快照生成間隔就需要每天一次。1.2.4 non-volatile 數(shù)據(jù)的非易失性數(shù)據(jù)倉(cāng)庫(kù)的非易失性是指數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)不進(jìn)行更新處理，而是一旦數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后，就會(huì)保持一個(gè)相當(dāng)長(zhǎng)的時(shí)間。因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)大多表示過(guò)去某一時(shí)刻的數(shù)據(jù)，主要用于查詢、分析，不像業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)庫(kù)那樣，要經(jīng)常進(jìn)行修改、添加，除非數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是錯(cuò)誤的。1.3 in support of management decisions 支持決策系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的組織的根

6、本目的在于對(duì)決策的支持。高層的企業(yè)決策者、中層的管理者和基層的業(yè)務(wù)處理者等不同層次的管理人員均可以利用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行決策分析，提高管理決策的質(zhì)量。企業(yè)管理人員可以利用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行各種管理決策的分析，利用自己所特有的、敏銳的商業(yè)洞察力和業(yè)務(wù)知識(shí)從貌似平淡的數(shù)據(jù)發(fā)現(xiàn)眾多的商機(jī)。數(shù)據(jù)倉(cāng)庫(kù)為管理者利用數(shù)據(jù)進(jìn)行管理決策分析提供了極大的便利。1.4 數(shù)據(jù)倉(cāng)庫(kù)與傳統(tǒng)數(shù)據(jù)庫(kù)的比較對(duì)比內(nèi)容數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)內(nèi)容當(dāng)前值歷史的、存檔的、歸納的、計(jì)算的數(shù)據(jù)數(shù)據(jù)目標(biāo)面向業(yè)務(wù)操作程序、重復(fù)處理面向主體域、管理決策分析應(yīng)用數(shù)據(jù)特性動(dòng)態(tài)變化、按字段更新靜態(tài)、不能直接更新、只是定時(shí)添加數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜、市和操作計(jì)算簡(jiǎn)單、

7、適合分析使用頻率高中到低數(shù)據(jù)訪問(wèn)量每個(gè)事務(wù)只訪問(wèn)少量記錄有的事務(wù)可能要訪問(wèn)大量記錄對(duì)相應(yīng)時(shí)間的要求以秒為單位計(jì)量以秒、分鐘、甚至小時(shí)為計(jì)量單位2. 數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)3. 數(shù)據(jù)模型3.1 元數(shù)據(jù)（Metadata）元數(shù)據(jù)描述了數(shù)據(jù)的結(jié)構(gòu)、內(nèi)容、鍵、索引等項(xiàng)內(nèi)容。在數(shù)據(jù)倉(cāng)庫(kù)中，元數(shù)據(jù)定義了數(shù)據(jù)倉(cāng)庫(kù)中的許多對(duì)象表、列、查詢、商業(yè)規(guī)則或是數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部的數(shù)據(jù)轉(zhuǎn)移。元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)的重要構(gòu)件，是數(shù)據(jù)倉(cāng)庫(kù)的指示圖（roadmap）。 對(duì)于元數(shù)據(jù)（Metadata）的定義，這個(gè)概念非常廣，一般都是這樣定義，“元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)（Data about Data）”，這造成一種遞歸定義，就像問(wèn)小強(qiáng)住在哪里，答

8、，在旺財(cái)隔壁。按照這樣的定義，元數(shù)據(jù)所描述的數(shù)據(jù)是什么呢？還是元數(shù)據(jù)。這樣就可能有元元元.元數(shù)據(jù)。3.1.1 元數(shù)據(jù)類型數(shù)據(jù)源的元數(shù)據(jù)數(shù)據(jù)模型的元數(shù)據(jù)數(shù)據(jù)源與數(shù)據(jù)倉(cāng)庫(kù)映射的元數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用的元數(shù)據(jù)3.1.2 元數(shù)據(jù)重要性為數(shù)據(jù)倉(cāng)庫(kù)服務(wù)與DSS分析員及高層決策人員服務(wù)提供便利 解決操作型環(huán)境和數(shù)據(jù)倉(cāng)庫(kù)的復(fù)雜關(guān)系 數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的管理 3.1.3 元數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)期間的使用確認(rèn)數(shù)據(jù)質(zhì)量 、同步化和刷新 、映射3.1.4 元數(shù)據(jù)在數(shù)據(jù)源抽取中的作用資源領(lǐng)域的確定 、跟蹤歷史數(shù)據(jù)結(jié)構(gòu)變化的過(guò)程 、屬性到屬性的映射 、屬性轉(zhuǎn)換 3.1.5 元數(shù)據(jù)在數(shù)據(jù)求精與重構(gòu)工程上的作用數(shù)據(jù)的分割 、概括與聚集

9、 、預(yù)算與推導(dǎo) 、轉(zhuǎn)換與再映像 3.1.6 舉例：校訊通2.0統(tǒng)計(jì)分析元數(shù)據(jù)-元數(shù)據(jù)：列CREATE TABLE DW_COLUMN( COLUMN_ID VARCHAR2(64) PRIMARY KEY, -列ID OWNER VARCHAR2(30) NOT NULL, -用戶名 TABLE_NAME VARCHAR2(30) NOT NULL, -表名 COLUMN_NAME VARCHAR2(30) NOT NULL,-列名 DISPLAY_NAME VARCHAR2(30),-列顯示名 COLUMN_TYPE NUMBER(1),-1.事實(shí)字段：2.維度字段 3.虛擬字段 STATE

10、 NUMBER(1), -無(wú)效：0；有效：1 -DISPLAY_STATE NUMBER(1), -不顯示：0；顯示：1 ORDER_NUM NUMBER(2), -排序： FK_COLUMN_ID VARCHAR2(64) 外鍵列ID);3.2 星型模型星型模型是最常用的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)結(jié)構(gòu)的實(shí)現(xiàn)模式。使數(shù)據(jù)倉(cāng)庫(kù)形成了一個(gè)集成系統(tǒng)，為用戶提供分析服務(wù)對(duì)象。 3.2.1 事實(shí)表核心是事實(shí)表，圍繞事實(shí)表的是維度表。通過(guò)事實(shí)表將各種不同的維度表連接起來(lái)，各個(gè)維度表都連接到中央事實(shí)表。事實(shí)表中一般包含兩部分，一是由主鍵和外鍵所組成的鍵部分，另一是用戶希望在數(shù)據(jù)倉(cāng)庫(kù)中所了解的數(shù)值指標(biāo)。派生事實(shí)主要有兩種，

11、一是可以用同一事實(shí)表中其他事實(shí)計(jì)算得到，還有一類派生事實(shí)是非加法性事實(shí)。3.2.2 維度表維度：是人們觀察數(shù)據(jù)的特定角度，是考慮問(wèn)題時(shí)的一類屬性，屬性集合構(gòu)成一個(gè)維(時(shí)間維、地理維等)。維的層次：人們觀察數(shù)據(jù)的某個(gè)特定角度(即某個(gè)維)還可以存在細(xì)節(jié)程度不同的各個(gè)描述方面(時(shí)間維：日期、月份、季度、年)。維的成員：維的一個(gè)取值。是數(shù)據(jù)項(xiàng)在某維中位置的描述。(“某年某月某日”是在時(shí)間維上位置的描述)時(shí)間維度表（年Date，月Date，日Date）。地點(diǎn)維度表（省Character20，市Character20，縣Character20，街道Character20）。3.2.3 多維數(shù)據(jù)模型多維數(shù)據(jù)

12、模型：是決策分析的支柱，OLAP的核心，有時(shí)也稱立方體或者超立方。OLAP展現(xiàn)在用戶面前的是一幅幅多維視圖。多維數(shù)據(jù)集可以用一個(gè)多維數(shù)組來(lái)表示。3.2.4 舉例：校訊通2.0訂購(gòu)用戶月統(tǒng)計(jì)星型模型3.3 雪花模型雪花模型是對(duì)星型模型的擴(kuò)展，每一個(gè)維度都可以向外連接到多個(gè)詳細(xì)類別表。 雪花模型對(duì)星型模型的維度表進(jìn)一步標(biāo)準(zhǔn)化，對(duì)星型模型中的維度表進(jìn)行了規(guī)范化處理。 3.4 粒度粒度可定義成數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)細(xì)節(jié)的最低層次，如事務(wù)層次。這種數(shù)據(jù)層次是高度細(xì)節(jié)化的，這樣就能使用戶按所需的任何層次進(jìn)行匯總。根據(jù)粒度的劃分標(biāo)準(zhǔn)可以將數(shù)據(jù)劃分為：詳細(xì)數(shù)據(jù)、輕度總結(jié)、高度總結(jié)三級(jí)或更多級(jí)粒度。粒度的具體劃分將直接

13、影響到數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量以及查詢質(zhì)量。在校訊通2.0統(tǒng)計(jì)分析，設(shè)計(jì)上采用兩層粒度：細(xì)粒度：訂購(gòu)用戶明細(xì)表輕度匯總粒度：訂購(gòu)用戶月度匯總表，按班級(jí)匯總，所以說(shuō)是輕度匯總。4. 數(shù)據(jù)的ETL：抽取、轉(zhuǎn)換、加載4.1 抽取4.2 轉(zhuǎn)換4.3 加載說(shuō)明：數(shù)據(jù)的ETL，我們做的不好，還沒(méi)有實(shí)現(xiàn)公共組件級(jí)的抽取、轉(zhuǎn)換、加載模塊，只是實(shí)現(xiàn)了簡(jiǎn)單的任務(wù)調(diào)度，和一些公用的抽取類和載入接口。在做ETL開(kāi)發(fā)時(shí)，剩下的工作還是需要手工完成，主要是寫一些抽取和載入的sql語(yǔ)句。真正的ETL工具，是在元數(shù)據(jù)的基礎(chǔ)，定義數(shù)據(jù)抽取的規(guī)則，數(shù)據(jù)清理的方式，和載入的方式。啟動(dòng)任務(wù)，由系統(tǒng)自動(dòng)實(shí)現(xiàn)整個(gè)過(guò)程。5. 數(shù)據(jù)展現(xiàn)5.1 表

14、格例如：統(tǒng)計(jì)2010年9月武漢市各行政區(qū)某欄目業(yè)務(wù)訂購(gòu)情況。日期地市區(qū)縣學(xué)生總數(shù)訂購(gòu)數(shù)取消數(shù)合計(jì)10005001002010-09武漢市洪山區(qū)600300602010-09武漢市武昌區(qū)40020040表中，藍(lán)色字段代表維度，綠色字段代表事實(shí)字段。5.2 圖形將數(shù)據(jù)以直觀圖像的方式展示出來(lái)，主要有：柱狀圖、餅圖、線性圖等。6. OLAP數(shù)據(jù)倉(cāng)庫(kù)是管理決策分析的基礎(chǔ)，要有效地利用數(shù)據(jù)倉(cāng)庫(kù)的信息資源，必須要有強(qiáng)大的工具對(duì)數(shù)據(jù)倉(cāng)庫(kù)的信息進(jìn)行分析決策。On-line Analytical Processing(在線分析處理或聯(lián)機(jī)分析處理)就是一個(gè)應(yīng)用廣泛的數(shù)據(jù)倉(cāng)庫(kù)使用技術(shù)。它可以根據(jù)分析人員的要求，迅速

15、靈活地對(duì)當(dāng)量的數(shù)據(jù)進(jìn)行復(fù)雜的查詢處理，并以直觀的容易理解的形式將查詢結(jié)果提供給各種決策人員，使他們能夠迅速準(zhǔn)確地掌握企業(yè)的運(yùn)營(yíng)情況，了解市場(chǎng)的需求。60年代，關(guān)系數(shù)據(jù)庫(kù)之父提出了關(guān)系模型，促進(jìn)了聯(lián)機(jī)事務(wù)處理(OLTP)的發(fā)展(數(shù)據(jù)以表格的形式而非文件方式存儲(chǔ))。1993年，提出了OLAP概念，認(rèn)為OLTP已不能滿足終端用戶對(duì)數(shù)據(jù)庫(kù)查詢分析的需要，SQL對(duì)大型數(shù)據(jù)庫(kù)進(jìn)行的簡(jiǎn)單查詢也不能滿足終端用戶分析的要求。用戶的決策分析需要對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行大量計(jì)算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。因此，提出了多維數(shù)據(jù)庫(kù)和多維分析的概念，即OLAP。OLTP數(shù)據(jù)OLAP數(shù)據(jù)原始數(shù)據(jù)導(dǎo)出數(shù)據(jù)細(xì)

16、節(jié)性數(shù)據(jù)綜合性和提煉性數(shù)據(jù)當(dāng)前值數(shù)據(jù)歷史數(shù)據(jù)可更新不可更新，但周期性刷新一次處理的數(shù)據(jù)量小一次處理的數(shù)據(jù)量大面向應(yīng)用，事務(wù)驅(qū)動(dòng)面向分析，分析驅(qū)動(dòng)面向操作人員，支持日常操作面向決策人員，支持管理需要6.1 定義定義1：OLAP(聯(lián)機(jī)分析處理)是針對(duì)特定問(wèn)題的聯(lián)機(jī)數(shù)據(jù)訪問(wèn)和分析。通過(guò)對(duì)信息(維數(shù)據(jù))的多種可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對(duì)數(shù)據(jù)進(jìn)行深入觀察。定義2：OLAP(聯(lián)機(jī)分析處理)是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對(duì)從原始數(shù)據(jù)中轉(zhuǎn)化出來(lái)的、能夠真正為用戶所理解的、并真實(shí)反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對(duì)數(shù)據(jù)的更深入了解的一類軟件技術(shù)。(OLAP委員會(huì)的定義)OLAP的目標(biāo)是滿足決策支持或多維環(huán)境特定的查詢和報(bào)表需求，它的技術(shù)核心是“維”這個(gè)概念，因此OLAP也可以說(shuō)是多維數(shù)據(jù)分析工具的集合。6.2 特性1.快速性：用戶對(duì)OLAP的快速反應(yīng)能力有很高的要求。2.可分析性：OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的邏輯與統(tǒng)計(jì)分析。3.多維性：多維性是OLAP的關(guān)鍵屬性。系統(tǒng)能夠提供對(duì)數(shù)據(jù)分析的多維視圖和多維分析。4.信息型：不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲(chǔ)在何處，OLAP系統(tǒng)應(yīng)能及時(shí)獲得信息，并且管