數(shù)據(jù)倉庫和數(shù)據(jù)挖掘deOLAP技術(shù)課件

數(shù)據(jù)倉庫和數(shù)據(jù)挖掘

de

OLAP技術(shù)茍清龍2002年9月數(shù)據(jù)倉庫和數(shù)據(jù)挖掘

de

OLAP技術(shù)茍清龍第一節(jié)從數(shù)據(jù)庫到數(shù)據(jù)倉庫OLTP不適于DSS應(yīng)用數(shù)據(jù)倉庫的定義及其特征數(shù)據(jù)倉庫的數(shù)據(jù)組織數(shù)據(jù)倉庫的體系化環(huán)境第一節(jié)從數(shù)據(jù)庫到數(shù)據(jù)倉庫OLTP不適于DSS應(yīng)用OLTP不適于DSS應(yīng)用事務(wù)處理的性能特性不同數(shù)據(jù)集成問題事務(wù)處理應(yīng)用分散“蜘蛛網(wǎng)”問題數(shù)據(jù)不一致問題外部數(shù)據(jù)和非結(jié)構(gòu)化問題數(shù)據(jù)動態(tài)集成問題歷史數(shù)據(jù)問題數(shù)據(jù)的綜合問題OLTP不適于DSS應(yīng)用事務(wù)處理的性能特性不同什么是數(shù)據(jù)倉庫數(shù)據(jù)倉庫是一個用以更好地支持企業(yè)或組織的決策分析處理的、面向?qū)ο笾黝}的、集成的、不可更新的、隨時間不斷變化的數(shù)據(jù)集合。什么是數(shù)據(jù)倉庫數(shù)據(jù)倉庫是一個用以更好地支持企業(yè)或組織的決策分操作型數(shù)據(jù)和分析型數(shù)據(jù)的區(qū)別操作型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的綜合的，或提煉的在存取時刻是準(zhǔn)確的代表過去的數(shù)據(jù)可更新不更新操作需求事先可知道操作需求事先不知道對性能要求高對性能要求寬松生命周期符合SDLC完全不同的生命周期一時刻操作一單元一時刻操作一集合事務(wù)驅(qū)動分析驅(qū)動面向應(yīng)用面向分析一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量大支持日常操作支持管理需求操作型數(shù)據(jù)和分析型數(shù)據(jù)的區(qū)別操作型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的綜合的數(shù)據(jù)倉庫的四個特性面向主題的集成的隨時間不斷變化的不可更新的數(shù)據(jù)倉庫的四個特性面向主題的數(shù)據(jù)倉庫數(shù)據(jù)的面向主題性什么是主題？面向主題的例子面向主題的性質(zhì)面向主題的實現(xiàn)方式面向主題的實現(xiàn)示例主題域及其特性數(shù)據(jù)倉庫數(shù)據(jù)的面向主題性什么是主題？什么是主題？主題是一個抽象的概念，是在較高層次上將企業(yè)信息綜合、歸類，并進(jìn)行分析利用的抽象；在邏輯意義上，他是對企業(yè)中某一宏觀領(lǐng)域所涉及的分析對象；面向主題的數(shù)據(jù)組織方式，就是在較高層次上對分析對象的數(shù)據(jù)一個完整、一致的描述，能完整、統(tǒng)一地刻畫各個分析對象所涉及的企業(yè)的各項數(shù)據(jù)，以及數(shù)據(jù)之間的聯(lián)系。什么是主題？主題是一個抽象的概念，是在較高層次上將企業(yè)信息綜一個傳統(tǒng)OLTP環(huán)境下的數(shù)據(jù)庫模式示例采購子系統(tǒng)定單（定單號，供應(yīng)商號，總金額，日期）定單細(xì)則（定單號，商品號，類別，單價，數(shù)量）供應(yīng)商（供應(yīng)商號，供應(yīng)商名，地址，電話）銷售子系統(tǒng)顧客（顧客號，姓名，年齡，文化程度，地址，電話）銷售（員工號，顧客號，商品號，數(shù)量，單價，日期）一個傳統(tǒng)OLTP環(huán)境下的數(shù)據(jù)庫模式示例采購子系統(tǒng)一個傳統(tǒng)OLTP環(huán)境下的數(shù)據(jù)庫模式示例（續(xù)）庫存管理子系統(tǒng)領(lǐng)料單（領(lǐng)料單號，領(lǐng)料人，商品號，數(shù)量，日期）進(jìn)料單（進(jìn)料單號，定單號，進(jìn)料人，收料人，日期）庫存（商品號，庫房號，庫存量，日期）庫房（庫房號，庫房管理員，地點，庫存商品描述）人事子系統(tǒng)員工（員工號，姓名，性別，年齡，文化程度，部門號）部門（部門號，部門名稱，部門主管，電話）一個傳統(tǒng)OLTP環(huán)境下的數(shù)據(jù)庫模式示例（續(xù)）庫存管理子系統(tǒng)一個傳統(tǒng)OLAP環(huán)境下的數(shù)據(jù)庫模式示例商品商品固有信息：商品號，商品名，類別，顏色等；商品采購信息：商品號，供應(yīng)商號，供應(yīng)價，供應(yīng)量，供應(yīng)日期等；商品銷售信息：商品號，顧客號，售價，銷售量，銷售日期等；商品庫存信息：商品號，庫房號，庫存量，日期等。一個傳統(tǒng)OLAP環(huán)境下的數(shù)據(jù)庫模式示例商品一個傳統(tǒng)OLAP環(huán)境下的數(shù)據(jù)庫模式示例（續(xù)）供應(yīng)商供應(yīng)商固有信息：供應(yīng)商號，供應(yīng)商名，地址，電話等；供應(yīng)商品信息：供應(yīng)商號，商品號，供應(yīng)價，供應(yīng)日期，供應(yīng)量等。顧客顧客固有信息：顧客號，顧客名，性別，年齡，文化程度，地址，電話等。顧客購物信息：顧客號，商品號，售價，購買日期，購買量等。一個傳統(tǒng)OLAP環(huán)境下的數(shù)據(jù)庫模式示例（續(xù)）供應(yīng)商面向主題數(shù)據(jù)組織模式的說明在從面向應(yīng)用到面向主題的轉(zhuǎn)變過程中，丟棄了原來有的但不必要的、不適于分析的信息；在原有的數(shù)據(jù)庫模式中，有關(guān)商品的信息分散在各個子系統(tǒng)之中；面向主題的數(shù)據(jù)組織方式所強(qiáng)調(diào)的就是要形成關(guān)于主題一致的信息集合；不同主題之間有重疊內(nèi)容。面向主題數(shù)據(jù)組織模式的說明在從面向應(yīng)用到面向主題的轉(zhuǎn)變過程中主題的實現(xiàn)兩種主題實現(xiàn)方式多維數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫在具體實現(xiàn)中，一個主題可劃分為多個表，主題只是一個邏輯概念。主題的實現(xiàn)兩種主題實現(xiàn)方式主題實現(xiàn)的范例主題：商品公共碼鍵：商品號商品表1（商品號，商品名，類型，顏色，……）/*商品固有信息*/采購表1（商品號，供應(yīng)商號，供應(yīng)日期，供應(yīng)價，采購量，……）/*商品采購的細(xì)節(jié)描述*/采購表2（商品號，時間段，采購總量，……）/*某時段商品采購信息*/……采購表n（……，……）/*時間段不等的采購綜合表*/主題實現(xiàn)的范例主題：商品主題實現(xiàn)的范例（續(xù)）銷售表1（商品號，顧客號，銷售日期，售價，銷售量，……）

/*商品銷售細(xì)節(jié)信息*/銷售表2（商品號，時間段，銷售總量，……）

/*某時段內(nèi)商品銷售信息*/……銷售表n（……，……）/*時段不等的銷售綜合表*/庫存表1（商品號，庫房號，庫存量，日期，……）

/*商品庫存述細(xì)節(jié)信息*/庫存表2（商品號，庫房號，庫存量，月份，……）

/*每月月底的商品庫存信息*/……庫存表n（……，……）/*時點不同的商品庫存信息*/……主題實現(xiàn)的范例（續(xù)）銷售表1（商品號，顧客號，銷售日期，售價主題域面向主題的數(shù)據(jù)組織方式根據(jù)分析要求將數(shù)據(jù)組織成一個完整的分析領(lǐng)域，即主題域。主題域的特性：獨立性一個主題域可以和其他主題有交叉部分，但他必須有獨立內(nèi)涵，即要求有明確的界限規(guī)定數(shù)據(jù)是否屬于該主題。完備性對一個主題的任意分析處理要求，都能在該主題內(nèi)找到該處理要求的一切內(nèi)容。主題域面向主題的數(shù)據(jù)組織方式根據(jù)分析要求將數(shù)據(jù)組織成一個完整數(shù)據(jù)倉庫的數(shù)據(jù)集成性涵義：數(shù)據(jù)倉庫的數(shù)據(jù)是從原有的分散數(shù)據(jù)庫數(shù)據(jù)中抽取集成而來的。問題：操作型數(shù)據(jù)與分析型數(shù)據(jù)的差別需要完成的工作要統(tǒng)一數(shù)據(jù)庫中所有的矛盾，如字段的同名異義，異名同義，單位不統(tǒng)一，字長不一致等；進(jìn)行數(shù)據(jù)綜合和計算。數(shù)據(jù)倉庫的數(shù)據(jù)集成性涵義：數(shù)據(jù)倉庫的數(shù)據(jù)是從原有的分散數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)的不可更新性數(shù)據(jù)倉庫的數(shù)據(jù)主要提供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一般情況不進(jìn)行修改操作。數(shù)據(jù)倉庫數(shù)據(jù)的不可更新性數(shù)據(jù)倉庫數(shù)據(jù)的時變性數(shù)據(jù)倉庫隨時間變化不斷增加新的數(shù)據(jù)內(nèi)容；數(shù)據(jù)倉庫隨時間變化不斷刪去舊的數(shù)據(jù)內(nèi)容；數(shù)據(jù)倉庫中含有大量的綜合數(shù)據(jù)，這些數(shù)據(jù)隨時間變化不斷進(jìn)行重新組合。數(shù)據(jù)倉庫數(shù)據(jù)的時變性數(shù)據(jù)倉庫的數(shù)據(jù)組織數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu)圖元數(shù)據(jù)粒度與分割數(shù)據(jù)倉庫的數(shù)據(jù)組織形式數(shù)據(jù)倉庫的數(shù)據(jù)追加數(shù)據(jù)倉庫的數(shù)據(jù)組織數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu)圖數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu)元數(shù)據(jù)高度綜合級輕度綜合級當(dāng)前細(xì)節(jié)級早期細(xì)節(jié)級數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu)元高度綜合級輕度綜合級當(dāng)前細(xì)節(jié)級早期細(xì)元數(shù)據(jù)元數(shù)據(jù)：關(guān)于數(shù)據(jù)的的數(shù)據(jù)DW中的兩種元數(shù)據(jù)為從操作型環(huán)境向DW環(huán)境轉(zhuǎn)換而建立的元數(shù)據(jù)，在DW中用來與終端用戶的多維商業(yè)模型/前端工具之間建立映射的元數(shù)據(jù)。元數(shù)據(jù)元數(shù)據(jù)：關(guān)于數(shù)據(jù)的的數(shù)據(jù)粒度第一種粒度：對數(shù)據(jù)倉庫中的數(shù)據(jù)綜合程度高低的度量，它影響數(shù)據(jù)倉庫中數(shù)據(jù)量的多少，也影響所能回答問題的種類。第二種粒度：樣本數(shù)據(jù)庫采樣率的高低。（采樣粒度不同的樣本數(shù)據(jù)庫可以有相同級別的綜合級別。）粒度第一種粒度：對數(shù)據(jù)倉庫中的數(shù)據(jù)綜合程度高低的度量，它影響分割將數(shù)據(jù)分散到各自的物理單元中去以便能分別獨立處理，以提高處理效率，數(shù)據(jù)分割后的數(shù)據(jù)單元稱為分片。分割的一個例子健康保險生命保險事故保險1988分片1分片2分片31989分片4分片5分片61990分片7分片8分片9分割將數(shù)據(jù)分散到各自的物理單元中去以便能分別獨立處理，以提高數(shù)據(jù)倉庫的數(shù)據(jù)組織形成簡單堆積文件輪轉(zhuǎn)綜合文件（如股市）簡化直接文件（按一定時間間隔對數(shù)據(jù)庫采樣）連續(xù)文件數(shù)據(jù)倉庫的數(shù)據(jù)組織形成簡單堆積文件數(shù)據(jù)倉庫的數(shù)據(jù)追加時標(biāo)方法DELTA文件前后映象文件的方法日志文件數(shù)據(jù)倉庫的數(shù)據(jù)追加時標(biāo)方法數(shù)據(jù)庫體系化環(huán)境什么是數(shù)據(jù)庫體系化環(huán)境？四層體系化環(huán)境數(shù)據(jù)集市數(shù)據(jù)庫體系化環(huán)境什么是數(shù)據(jù)庫體系化環(huán)境？什么是數(shù)據(jù)庫體系化環(huán)境數(shù)據(jù)庫體系化環(huán)境是在一個企業(yè)或組織內(nèi)，由各面向應(yīng)用的OLTP數(shù)據(jù)庫及各級面向主題的數(shù)據(jù)倉庫所組成的完整的數(shù)據(jù)環(huán)境,在這個數(shù)據(jù)環(huán)境上建立和進(jìn)行一個企業(yè)或部門的從聯(lián)機(jī)事務(wù)處理到企業(yè)管理決策的所有應(yīng)用。兩個組成部分：操作型環(huán)境分析型環(huán)境什么是數(shù)據(jù)庫體系化環(huán)境數(shù)據(jù)庫體系化環(huán)境是在一個企業(yè)或組織內(nèi)，四層體系化環(huán)境操作型環(huán)境數(shù)據(jù)倉庫局部倉庫個人倉庫全局級部門級個人級（1）操作型環(huán)境：存放細(xì)節(jié)操作性數(shù)據(jù)，服務(wù)于高性能事務(wù)處理。（2）全局級DW：存放細(xì)節(jié)數(shù)據(jù)，以及大量導(dǎo)出數(shù)據(jù)。（3）部門級DW：一般僅包含導(dǎo)出數(shù)據(jù)。（4）個人級DW：都是暫時的，用于啟發(fā)式分析。四層體系化環(huán)境操作型環(huán)境數(shù)據(jù)倉庫局部倉庫個人倉庫全局級部門級數(shù)據(jù)集市全局?jǐn)?shù)據(jù)倉庫數(shù)據(jù)再抽取與集成采購子系統(tǒng)銷售子系統(tǒng)庫存子系統(tǒng)人事管理財務(wù)子系統(tǒng)數(shù)據(jù)抽取數(shù)據(jù)抽取數(shù)據(jù)抽取數(shù)據(jù)抽取數(shù)據(jù)抽取DATAMART數(shù)據(jù)集市全局?jǐn)?shù)據(jù)倉庫數(shù)據(jù)再抽取與集成數(shù)據(jù)抽取數(shù)據(jù)抽取數(shù)據(jù)抽取第二節(jié)數(shù)據(jù)倉庫設(shè)計數(shù)據(jù)倉庫系統(tǒng)設(shè)計方法概述DW設(shè)計的三級數(shù)據(jù)模型提高DW性能數(shù)據(jù)倉庫中的元數(shù)據(jù)數(shù)據(jù)倉庫的設(shè)計步驟第二節(jié)數(shù)據(jù)倉庫設(shè)計數(shù)據(jù)倉庫系統(tǒng)設(shè)計方法概述數(shù)據(jù)倉庫系統(tǒng)設(shè)計方法概述DWS與DBS設(shè)計的不同之處SDLC與CLDS方法比較“數(shù)據(jù)驅(qū)動”系統(tǒng)設(shè)計方法的基本思路數(shù)據(jù)模型是數(shù)據(jù)驅(qū)動設(shè)計方法的中心DW系統(tǒng)設(shè)計是一個動態(tài)反饋循環(huán)過程DW的三級數(shù)據(jù)模型提高DW的性能數(shù)據(jù)倉庫系統(tǒng)設(shè)計方法概述DWS與DBS設(shè)計的不同之處DWS與DBS設(shè)計的不同之處面向處理類型不同面向需求不同系統(tǒng)設(shè)計的目標(biāo)不同兩者的數(shù)據(jù)來源或系統(tǒng)的輸入不同系統(tǒng)設(shè)計方法和步驟不同DWS與DBS設(shè)計的不同之處面向處理類型不同SDLC與CLDS方法比較收集應(yīng)用需求分析應(yīng)用需求構(gòu)建數(shù)據(jù)庫應(yīng)用編程系統(tǒng)測試系統(tǒng)實施DB應(yīng)用A應(yīng)用B應(yīng)用C數(shù)據(jù)倉庫建模數(shù)據(jù)獲取與集成構(gòu)建數(shù)據(jù)倉庫DSS應(yīng)用編程系統(tǒng)測試?yán)斫庑枨驞WDBDB外部數(shù)據(jù)SDLC與CLDS方法比較收集應(yīng)用需求分析應(yīng)用需求構(gòu)建數(shù)據(jù)庫“數(shù)據(jù)驅(qū)動”系統(tǒng)設(shè)計方法的基本思路“數(shù)據(jù)驅(qū)動”系統(tǒng)設(shè)計方法的思路就是利用以前所取得的工作成果來進(jìn)行系統(tǒng)建設(shè)。DW的設(shè)計是從已有的DB系統(tǒng)出發(fā)，按照分析領(lǐng)域?qū)?shù)據(jù)及數(shù)據(jù)之間的聯(lián)系重新考察、組織DW中的主題。系統(tǒng)設(shè)計方法的中心是利用數(shù)據(jù)模型有效地識別原有的數(shù)據(jù)庫中的數(shù)據(jù)和數(shù)據(jù)倉庫中主題的數(shù)據(jù)的“共同性”?！皵?shù)據(jù)驅(qū)動”系統(tǒng)設(shè)計方法的基本思路“數(shù)據(jù)驅(qū)動”系統(tǒng)設(shè)計方法的數(shù)據(jù)模型

是數(shù)據(jù)驅(qū)動設(shè)計方法的中心操作型環(huán)境設(shè)計操作型處理應(yīng)用開發(fā)與設(shè)計DBDBDB數(shù)據(jù)倉庫設(shè)計DSS應(yīng)用開發(fā)與設(shè)計DW數(shù)據(jù)模型數(shù)據(jù)模型

是數(shù)據(jù)驅(qū)動設(shè)計方法的中心操作型環(huán)境設(shè)計操作型處理應(yīng)DW系統(tǒng)設(shè)計

是一個動態(tài)反饋循環(huán)過程DW的數(shù)據(jù)內(nèi)容、結(jié)構(gòu)、粒度、分割以及其他物理設(shè)計根據(jù)用戶所返回的信息不斷調(diào)整、完善，以提高系統(tǒng)的效率和性能。通過不斷的理解用戶的分析需求，向用戶提供更準(zhǔn)確，更有用的決策信息。DW系統(tǒng)設(shè)計

是一個動態(tài)反饋循環(huán)過程DW與DB三級數(shù)據(jù)模型的區(qū)別DW的數(shù)據(jù)模型不包含純操作型數(shù)據(jù);DW的數(shù)據(jù)模型擴(kuò)充了碼結(jié)構(gòu)，增加了時間屬性作為碼的一個部分；DW的數(shù)據(jù)模型中增加了一些導(dǎo)出數(shù)據(jù)。DW與DB三級數(shù)據(jù)模型的區(qū)別DW的數(shù)據(jù)模型不包含純操作型數(shù)據(jù)DW的三級數(shù)據(jù)模型概念模型邏輯模型物理模型DW的三級數(shù)據(jù)模型概念模型高級模型、

中級模型和低級模型高級模型：即E-R圖；低級模型：即物理數(shù)據(jù)模型中級模型：稱為數(shù)據(jù)項（dis-dataitemset）高級模型、

中級模型和低級模型高級模型：即E-R圖；Dis中的數(shù)據(jù)組聯(lián)接數(shù)據(jù)組：主要用于本主題域與其他主題域之間的聯(lián)系，體現(xiàn)E-R圖中實體之間的關(guān)系。基本數(shù)據(jù)組二級數(shù)據(jù)組類數(shù)據(jù)組Dis中的數(shù)據(jù)組聯(lián)接數(shù)據(jù)組：主要用于本主題域與其他主題域之間提高DW的性能粒度劃分分割其他問題提高DW的性能粒度劃分粒度劃分粒度劃分的決定因素并非總的數(shù)據(jù)量,而是總的行數(shù)。劃分步驟(1)估算DW中數(shù)據(jù)行數(shù)和所需的DASD(DirectAccessStorageDevice)數(shù)。(2)根據(jù)估算算出的數(shù)據(jù)行數(shù)和DASD，決定是否劃分粒度，如果要，如何劃分。粒度劃分粒度劃分的決定因素并非總的數(shù)據(jù)量,而是總的行數(shù)。分割核心：選擇適當(dāng)?shù)姆指顦?biāo)準(zhǔn)考慮因素：數(shù)據(jù)量、數(shù)據(jù)分析處理的實際情況、簡單易行、粒度劃分分割核心：選擇適當(dāng)?shù)姆指顦?biāo)準(zhǔn)數(shù)據(jù)倉庫物理設(shè)計

中的其他一些問題合并表建立數(shù)據(jù)序列引入冗余表的物理分割生成導(dǎo)出數(shù)據(jù)建立廣義索引數(shù)據(jù)倉庫物理設(shè)計

中的其他一些問題合并表第三節(jié)數(shù)據(jù)操作存儲(ODS)ODS的定義與特點ODS的功能ODS與DW的區(qū)別DB-ODS-DW三層體系結(jié)構(gòu)第三節(jié)數(shù)據(jù)操作存儲(ODS)ODS的定義與特點ODS的定義與特點ODS是用于支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合。保存在ODS中的數(shù)據(jù)具有四個基本特點：（1）面向主題的（2）集成的（3）可變的（4）數(shù)據(jù)是當(dāng)前或接近當(dāng)前的ODS的定義與特點ODS是用于支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集ODS的功能進(jìn)行企業(yè)級的聯(lián)機(jī)事務(wù)處理；“即時OLAP”數(shù)據(jù)處理。ODS的功能進(jìn)行企業(yè)級的聯(lián)機(jī)事務(wù)處理；ODS與DW的區(qū)別操作數(shù)據(jù)存儲ODS數(shù)據(jù)倉庫DW當(dāng)前或接近當(dāng)前的數(shù)據(jù)細(xì)節(jié)數(shù)據(jù)可聯(lián)機(jī)更新歷史數(shù)據(jù)細(xì)節(jié)數(shù)據(jù)和綜合數(shù)據(jù)不可變快照ODS與DW的區(qū)別操作數(shù)據(jù)存儲ODS數(shù)據(jù)倉庫DW當(dāng)前或接近當(dāng)DB-ODS-DW三層體系結(jié)構(gòu)DW分析型環(huán)境ODSDBDBDB應(yīng)用操作型環(huán)境DB-ODS-DW三層體系結(jié)構(gòu)DW分析型環(huán)境ODSDBDBD第四節(jié)數(shù)據(jù)倉庫工具數(shù)據(jù)倉庫體系結(jié)構(gòu)OLTP的基本概念多維分析的基本分析動作OLAP的準(zhǔn)則OLAP實現(xiàn)第四節(jié)數(shù)據(jù)倉庫工具數(shù)據(jù)倉庫體系結(jié)構(gòu)數(shù)據(jù)倉庫體系結(jié)構(gòu)示意圖數(shù)據(jù)倉庫體系結(jié)構(gòu)示意圖數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu)的比較數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)庫：操作型數(shù)據(jù)增、刪、改操作頻繁數(shù)據(jù)倉庫：分析型數(shù)據(jù)極少有更新操作數(shù)據(jù)庫核心：功能強(qiáng)大面向OLTP應(yīng)用數(shù)據(jù)倉庫管理系統(tǒng)：因極少有更新操作，故功能簡單數(shù)據(jù)庫工具：以查詢工具為主數(shù)據(jù)倉庫工具：以分析工具為主。數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu)的比較數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)OLAP的基本概念變量變量是數(shù)據(jù)的實際意義。即描述數(shù)據(jù)“是什么”。維維是人們觀察數(shù)據(jù)的特定角度。如時間維、地理維。OLAP的基本概念變量OLAP的基本概念維的層次人們觀察數(shù)據(jù)的某個特定角度（即某個維）還可以存在細(xì)節(jié)程度不同的多個描述方面，我們稱這個描述方面為維的層次。如：時間維：日期—>月份—>季度—>年地理維：城市—>地區(qū)—>國家OLAP的基本概念維的層次OLAP的基本概念維成員維的一個取值稱為該維的一個維成員。若一個維是多層次的，那么該維的維成員是在不同層次的取值組合。例：時間維：日期、月份、年維成員：某年某月某日、某年某月、某年對應(yīng)一個數(shù)據(jù)項來說，維成員是該數(shù)據(jù)項在某維中位置的描述。例：對一個銷售數(shù)據(jù)而言，時間維成員“某年某月某日”就表示該銷售數(shù)據(jù)是“某年某月某日”的銷售數(shù)據(jù)，“某年某月某日”是該銷售數(shù)據(jù)在時間維位置的描述。OLAP的基本概念維成員OLAP的基本概念多維數(shù)組一個多維數(shù)組可以表示為：（維1，維2，維3……，維n，變量）例：（地區(qū)，時間，銷售渠道，銷售額）OLAP的基本概念多維數(shù)組OLAP的基本概念數(shù)據(jù)單元多維數(shù)組的取值稱為數(shù)據(jù)單元。

例：多維數(shù)組：（地區(qū)，時間，銷售渠道，銷售額）數(shù)據(jù)單元：（北京，2002年7月，批發(fā)，1000）OLAP的基本概念數(shù)據(jù)單元多維分析的基本分析動作切片（Slice）定義1：在多維數(shù)組的某一個維上選定一維成員的操作稱為切片。即在多維數(shù)組（維1，維2，維3……，維n，變量）中選取一維，設(shè)為維i，并取其一維成員（設(shè)為“維成員Vi”），所得多維數(shù)組的子集（維1，…，維成員Vi，…，維n，變量）稱為維i上的一個切片。

例：多維數(shù)組：（地區(qū)，時間，產(chǎn)品，銷售額）一個切片：（地區(qū)，2002年9月，產(chǎn)品，銷售額）多維分析的基本分析動作切片（Slice）多維分析的基本分析動作切片（Slice）定義2：選定多維數(shù)組的一個二維子集的動作叫作切片，即選取多維數(shù)組（維1，維2，維3……，維n，變量）中的兩個維，維i和維j，在這兩個維上取某一區(qū)間或任意維成員，而將其余的維取定一個維成員，則得到的是一個多維數(shù)組在維i和維j上的二維子集，稱這個二維子集為多維數(shù)組在維i和維j上的一個切片，表示為（維i，維j，變量）多維分析的基本分析動作切片（Slice）多維分析的基本分析動作切塊定義1：在多維數(shù)組的某一維上選定某一區(qū)間的維成員動作稱為切塊，即限制多維數(shù)組在某一維上的取值空間。定義2：選取多維數(shù)組的一個三維子集的動作稱為切塊，即選定多維數(shù)組（維1，…，維成員Vi，…，維n，變量）中的三個維：i，j，r，在這三個維上某一區(qū)間或任意維成員，而將其余的維都取定一個維成員則得到的就是多維數(shù)組在維i、維j和維r上的一個三維子集，我們稱這個三維子集為多維數(shù)組在維i、維j和維r上的一個切塊，表示為：（維i，維j，維r，變量）。多維分析的基本分析動作切塊多維分析的基本分析動作旋轉(zhuǎn)旋轉(zhuǎn)即是改變一個報告或頁面顯示的維方向。旋轉(zhuǎn)示例時間維產(chǎn)品維行列交換產(chǎn)品維時間維（a）多維分析的基本分析動作旋轉(zhuǎn)時間維產(chǎn)品維行列交換產(chǎn)品維時間維（多維分析的基本分析動作旋轉(zhuǎn)示例（續(xù)）北京上海地區(qū)→銷售量銷售量產(chǎn)品↓：：時間↓第一季度第二季度第一季度第二季度北京地區(qū)→時間→產(chǎn)品↓上海……：：將某行維換向列維（b）多維分析的基本分析動作旋轉(zhuǎn)示例（續(xù)）北京上海地區(qū)→銷售量銷售多維分析的基本分析動作旋轉(zhuǎn)示例（續(xù)）時間維產(chǎn)品維地區(qū)維時間維地區(qū)維產(chǎn)品維旋轉(zhuǎn)以改變頁面顯示（c）多維分析的基本分析動作旋轉(zhuǎn)示例（續(xù)）時間維產(chǎn)品維地區(qū)維時間維多維分析的基本分析動作上鉆(drill-up)上鉆操作通過一個維的概念分層向上攀升或者通過維歸約，在數(shù)據(jù)方體上進(jìn)行聚集。下鉆（drill-down）下鉆是上鉆的逆操作，它有不太詳細(xì)的數(shù)據(jù)到更詳細(xì)的數(shù)據(jù)。下鉆可以通過沿維的概念分層向下或引入新的維來實現(xiàn)。多維分析的基本分析動作上鉆(drill-up)OLAP的準(zhǔn)則OLAP模型必須提供多維概念視圖透明性準(zhǔn)則存取能力推測穩(wěn)定的報表能力客戶/服務(wù)器體系結(jié)構(gòu)維的等同性準(zhǔn)則動態(tài)的稀疏矩陣處理準(zhǔn)則多用戶支持能力準(zhǔn)則非受限的跨維操作直觀的數(shù)據(jù)操縱靈活的報表生成不受限的維與聚集層次OLAP的準(zhǔn)則OLAP模型必須提供多維概念視圖OLAP實現(xiàn)基于多維數(shù)據(jù)庫的OLAP實現(xiàn)基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)OLAP實現(xiàn)基于多維數(shù)據(jù)庫的OLAP實現(xiàn)RDBMS與MDDB數(shù)據(jù)組織比較產(chǎn)品名稱地區(qū)銷售量冰箱冰箱冰箱彩電彩電彩電空調(diào)空調(diào)空調(diào)東北西北華北東北西北華北東北西北華北506010040708090120140東北西北華北冰箱空調(diào)彩電506010040708090120140（a）（b）RDBMS與MDDB數(shù)據(jù)組織比較產(chǎn)品名稱地區(qū)銷售量冰箱東北5RDBMS與MDDB

在綜合數(shù)據(jù)存放上的比較產(chǎn)品名稱地區(qū)銷售量冰箱冰箱冰箱冰箱彩電彩電彩電彩電空調(diào)空調(diào)空調(diào)空調(diào)總和總和總和總和東北西北華北總和東北西北華北總和東北西北華北總和東北西北華北總和506010021040708019090120140350180250320750東北西北華北總和冰箱空調(diào)彩電總和506010021040708019090120140350180250320750（b）（a）RDBMS與MDDB

在綜合數(shù)據(jù)存放上的比較產(chǎn)品名稱地區(qū)銷售RDBMS與MDDB比較關(guān)系數(shù)據(jù)庫采用關(guān)系來表達(dá)某產(chǎn)品在某地區(qū)的銷售情況，而多維數(shù)據(jù)庫中的數(shù)據(jù)組織形式采用了二維矩陣的形式。顯然，二維矩陣比關(guān)系表達(dá)更清晰而且占用存儲少。關(guān)于綜合數(shù)據(jù)：對關(guān)系表而言，當(dāng)數(shù)據(jù)苦太大時，預(yù)先處理計算各種綜合需要的時間過長，并且這樣會破壞列定義的統(tǒng)一語義。由于在MDDB中，數(shù)據(jù)可以直接按行或列累加，并且由于MDDB不象關(guān)系表那樣重復(fù)出現(xiàn)產(chǎn)品和地區(qū)信息，因此其統(tǒng)計速度遠(yuǎn)超過RDBMS。RDBMS與MDDB比較關(guān)系數(shù)據(jù)庫采用關(guān)系來表達(dá)某產(chǎn)品在某地維的層次關(guān)系地區(qū)總和西北地區(qū)東北地區(qū)華北地區(qū)簡單層次關(guān)系的層次圖維的層次關(guān)系地區(qū)總和西北地區(qū)東北地區(qū)華北地區(qū)簡單層次關(guān)系的層維的層次關(guān)系地區(qū)總和遼寧省華北地區(qū)東北地區(qū)西北地區(qū)沈陽市大連市黑龍江省吉林省維的層次關(guān)系地區(qū)總和遼寧省華北地區(qū)東北地區(qū)西北地區(qū)沈陽市大連維的層次關(guān)系產(chǎn)品維時間維西北陜西甘肅…：寧夏東北黑龍江吉林遼寧沈陽大連

有關(guān)維的層次信息需要放在元數(shù)據(jù)中，這樣系統(tǒng)在進(jìn)行各種綜合查詢時，就能通過元數(shù)據(jù)的信息區(qū)分不同的維層次，從而正確的執(zhí)行查詢。維的層次關(guān)系產(chǎn)品維時間維西北陜西甘肅…：寧夏東北黑龍江吉林遼類類是指按一定的劃分標(biāo)準(zhǔn)對維成員全集的一個分類劃分。用集合論的概念來講，設(shè)全體維成員為一個全集，則類是該全集的一個劃分。產(chǎn)品維東北西北華北華南…東北西北華北華南…按“產(chǎn)品”銷地劃分按“產(chǎn)品”產(chǎn)地劃分維層次關(guān)系類劃分1類劃分2類類是指按一定的劃分標(biāo)準(zhǔn)對維成員全集的一個分類劃分。用集合論維層次和類的區(qū)別層次和類表達(dá)的意義不同維層次表達(dá)的是維所描述的變量的不同綜合層次。維層次越高，對應(yīng)綜合層次越高，粒度也越大。維層次越多，粒度層次也越豐富。表現(xiàn)在層次圖中，父子結(jié)點的關(guān)系就是層次關(guān)系。維成員的類表達(dá)則是某一子集維成員的共同特征。這個共同特征由類屬性的某一個值來表征。表現(xiàn)在層次圖中，父子結(jié)點之間不存在類的關(guān)系，同一層次的維成員才可以劃分為類。維層次和類的區(qū)別層次和類表達(dá)的意義不同維層次和類的區(qū)別在層次和類上進(jìn)行的分析動作不同在維層次關(guān)系上進(jìn)行的分析主要有上卷和下鉆兩種，其分析路徑就是層次圖中從根到葉或從葉到根的一條路徑。按照維成員的類進(jìn)行的分析主要有兩個目的：分類和歸納。即首先選擇某個屬性來對維成員的全集進(jìn)行分類，然后再在分類的基礎(chǔ)上歸納總結(jié)出類的共同特征（或一類別區(qū)別與他類的特征）。表現(xiàn)在層次圖上，按照維成員的類進(jìn)行的分析是對兄弟結(jié)點之間的關(guān)系的分析，因此不可能跨越不同的層次。實際分析中，兩種分析經(jīng)常交叉組合在一起。維層次和類的區(qū)別在層次和類上進(jìn)行的分析動作不同時間序列數(shù)據(jù)類型與其他維不同，時間維包含著特有的周期，不同的周期之間存在著轉(zhuǎn)化規(guī)則。按照時間順序排列的一系列的數(shù)據(jù)稱為時間序列數(shù)據(jù)。時間序列模型的優(yōu)點存放在一個數(shù)據(jù)單元中的時間序列數(shù)據(jù)已經(jīng)包含了時間信息，因而可以省去時間維，簡化了對時間的處理。多維數(shù)據(jù)庫對數(shù)據(jù)單元的數(shù)目是有限制的，采用時間序列類型可以大大減少多維數(shù)據(jù)庫數(shù)據(jù)單元的數(shù)目。時間序列數(shù)據(jù)類型與其他維不同，時間維包含著特有的周期，不同的時間序列數(shù)據(jù)存儲ddddddddddddddweekweekweekweekddddddddddddddweekweekddddddddddddddweekweekweekweekdddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddd產(chǎn)品地區(qū)維東北西北華北總銷量（日）彩電冰箱空調(diào)各地區(qū)總和（周）時間序列數(shù)據(jù)存儲ddddddddddddddweekwe基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)關(guān)系數(shù)據(jù)庫將多維結(jié)構(gòu)劃分為兩類表，即事實表與維表。事實表：用來存儲事實的度量值及各個維的碼值。維表：對每一個維而言，至少有一個用來保存該維的元數(shù)據(jù)，即維的描述信息——包括維的層次及成員類別等?；陉P(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)關(guān)系數(shù)據(jù)庫將多維結(jié)構(gòu)劃分為兩類表基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)“星形模式”事實表是通過每一個維的值和維表聯(lián)系在一起的，該結(jié)構(gòu)稱為“星形”模式。Time_keyItem_keyBranch_keyLocation_keyDollars_soldUnits_soldTime_keyDayDay_of_the_weeKmonthquarteryearBranch_keyBranch_nameBranch_typeItem_keyItem_namebrandtypeSupplier_typecountryProvince_or_statecitystreetLocation_key基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)“星形模式”Time_keyIt基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)“雪片”模式實際應(yīng)用中，數(shù)據(jù)的維往往不僅只有一個維層次，并且，當(dāng)維的層次與類組合在一起將構(gòu)成一個復(fù)雜的維。對于維內(nèi)層次復(fù)雜的維，用一張維表來描述會帶來過多的冗余數(shù)據(jù)。為此，采用多張表來描述一個復(fù)雜的維，這樣，“星形”模式演變?yōu)椤把┢蹦Ｊ??；陉P(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)“雪片”模式基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)“雪片”模式Time_keyItem_keyBranch_keyLocation_keyDollars_soldUnits_soldTime_keyDayDay_of_the_weeKmonthquarteryearBranch_keyBranch_nameBranch_typeItem_keyItem_namebrandtypeSupplier_keycountryProvince_or_stateCity_keystreetLocation_keycityCity_keySupplier_typeSupplier_key基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)“雪片”模式Time_keyIt數(shù)據(jù)倉庫和數(shù)據(jù)挖掘

de

OLAP技術(shù)茍清龍2002年9月數(shù)據(jù)倉庫和數(shù)據(jù)挖掘

de

OLAP技術(shù)茍清龍第一節(jié)從數(shù)據(jù)庫到數(shù)據(jù)倉庫OLTP不適于DSS應(yīng)用數(shù)據(jù)倉庫的定義及其特征數(shù)據(jù)倉庫的數(shù)據(jù)組織數(shù)據(jù)倉庫的體系化環(huán)境第一節(jié)從數(shù)據(jù)庫到數(shù)據(jù)倉庫OLTP不適于DSS應(yīng)用OLTP不適于DSS應(yīng)用事務(wù)處理的性能特性不同數(shù)據(jù)集成問題事務(wù)處理應(yīng)用分散“蜘蛛網(wǎng)”問題數(shù)據(jù)不一致問題外部數(shù)據(jù)和非結(jié)構(gòu)化問題數(shù)據(jù)動態(tài)集成問題歷史數(shù)據(jù)問題數(shù)據(jù)的綜合問題OLTP不適于DSS應(yīng)用事務(wù)處理的性能特性不同什么是數(shù)據(jù)倉庫數(shù)據(jù)倉庫是一個用以更好地支持企業(yè)或組織的決策分析處理的、面向?qū)ο笾黝}的、集成的、不可更新的、隨時間不斷變化的數(shù)據(jù)集合。什么是數(shù)據(jù)倉庫數(shù)據(jù)倉庫是一個用以更好地支持企業(yè)或組織的決策分操作型數(shù)據(jù)和分析型數(shù)據(jù)的區(qū)別操作型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的綜合的，或提煉的在存取時刻是準(zhǔn)確的代表過去的數(shù)據(jù)可更新不更新操作需求事先可知道操作需求事先不知道對性能要求高對性能要求寬松生命周期符合SDLC完全不同的生命周期一時刻操作一單元一時刻操作一集合事務(wù)驅(qū)動分析驅(qū)動面向應(yīng)用面向分析一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量大支持日常操作支持管理需求操作型數(shù)據(jù)和分析型數(shù)據(jù)的區(qū)別操作型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的綜合的數(shù)據(jù)倉庫的四個特性面向主題的集成的隨時間不斷變化的不可更新的數(shù)據(jù)倉庫的四個特性面向主題的數(shù)據(jù)倉庫數(shù)據(jù)的面向主題性什么是主題？面向主題的例子面向主題的性質(zhì)面向主題的實現(xiàn)方式面向主題的實現(xiàn)示例主題域及其特性數(shù)據(jù)倉庫數(shù)據(jù)的面向主題性什么是主題？什么是主題？主題是一個抽象的概念，是在較高層次上將企業(yè)信息綜合、歸類，并進(jìn)行分析利用的抽象；在邏輯意義上，他是對企業(yè)中某一宏觀領(lǐng)域所涉及的分析對象；面向主題的數(shù)據(jù)組織方式，就是在較高層次上對分析對象的數(shù)據(jù)一個完整、一致的描述，能完整、統(tǒng)一地刻畫各個分析對象所涉及的企業(yè)的各項數(shù)據(jù)，以及數(shù)據(jù)之間的聯(lián)系。什么是主題？主題是一個抽象的概念，是在較高層次上將企業(yè)信息綜一個傳統(tǒng)OLTP環(huán)境下的數(shù)據(jù)庫模式示例采購子系統(tǒng)定單（定單號，供應(yīng)商號，總金額，日期）定單細(xì)則（定單號，商品號，類別，單價，數(shù)量）供應(yīng)商（供應(yīng)商號，供應(yīng)商名，地址，電話）銷售子系統(tǒng)顧客（顧客號，姓名，年齡，文化程度，地址，電話）銷售（員工號，顧客號，商品號，數(shù)量，單價，日期）一個傳統(tǒng)OLTP環(huán)境下的數(shù)據(jù)庫模式示例采購子系統(tǒng)一個傳統(tǒng)OLTP環(huán)境下的數(shù)據(jù)庫模式示例（續(xù)）庫存管理子系統(tǒng)領(lǐng)料單（領(lǐng)料單號，領(lǐng)料人，商品號，數(shù)量，日期）進(jìn)料單（進(jìn)料單號，定單號，進(jìn)料人，收料人，日期）庫存（商品號，庫房號，庫存量，日期）庫房（庫房號，庫房管理員，地點，庫存商品描述）人事子系統(tǒng)員工（員工號，姓名，性別，年齡，文化程度，部門號）部門（部門號，部門名稱，部門主管，電話）一個傳統(tǒng)OLTP環(huán)境下的數(shù)據(jù)庫模式示例（續(xù)）庫存管理子系統(tǒng)一個傳統(tǒng)OLAP環(huán)境下的數(shù)據(jù)庫模式示例商品商品固有信息：商品號，商品名，類別，顏色等；商品采購信息：商品號，供應(yīng)商號，供應(yīng)價，供應(yīng)量，供應(yīng)日期等；商品銷售信息：商品號，顧客號，售價，銷售量，銷售日期等；商品庫存信息：商品號，庫房號，庫存量，日期等。一個傳統(tǒng)OLAP環(huán)境下的數(shù)據(jù)庫模式示例商品一個傳統(tǒng)OLAP環(huán)境下的數(shù)據(jù)庫模式示例（續(xù)）供應(yīng)商供應(yīng)商固有信息：供應(yīng)商號，供應(yīng)商名，地址，電話等；供應(yīng)商品信息：供應(yīng)商號，商品號，供應(yīng)價，供應(yīng)日期，供應(yīng)量等。顧客顧客固有信息：顧客號，顧客名，性別，年齡，文化程度，地址，電話等。顧客購物信息：顧客號，商品號，售價，購買日期，購買量等。一個傳統(tǒng)OLAP環(huán)境下的數(shù)據(jù)庫模式示例（續(xù)）供應(yīng)商面向主題數(shù)據(jù)組織模式的說明在從面向應(yīng)用到面向主題的轉(zhuǎn)變過程中，丟棄了原來有的但不必要的、不適于分析的信息；在原有的數(shù)據(jù)庫模式中，有關(guān)商品的信息分散在各個子系統(tǒng)之中；面向主題的數(shù)據(jù)組織方式所強(qiáng)調(diào)的就是要形成關(guān)于主題一致的信息集合；不同主題之間有重疊內(nèi)容。面向主題數(shù)據(jù)組織模式的說明在從面向應(yīng)用到面向主題的轉(zhuǎn)變過程中主題的實現(xiàn)兩種主題實現(xiàn)方式多維數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫在具體實現(xiàn)中，一個主題可劃分為多個表，主題只是一個邏輯概念。主題的實現(xiàn)兩種主題實現(xiàn)方式主題實現(xiàn)的范例主題：商品公共碼鍵：商品號商品表1（商品號，商品名，類型，顏色，……）/*商品固有信息*/采購表1（商品號，供應(yīng)商號，供應(yīng)日期，供應(yīng)價，采購量，……）/*商品采購的細(xì)節(jié)描述*/采購表2（商品號，時間段，采購總量，……）/*某時段商品采購信息*/……采購表n（……，……）/*時間段不等的采購綜合表*/主題實現(xiàn)的范例主題：商品主題實現(xiàn)的范例（續(xù)）銷售表1（商品號，顧客號，銷售日期，售價，銷售量，……）

/*商品銷售細(xì)節(jié)信息*/銷售表2（商品號，時間段，銷售總量，……）

/*某時段內(nèi)商品銷售信息*/……銷售表n（……，……）/*時段不等的銷售綜合表*/庫存表1（商品號，庫房號，庫存量，日期，……）

/*商品庫存述細(xì)節(jié)信息*/庫存表2（商品號，庫房號，庫存量，月份，……）

/*每月月底的商品庫存信息*/……庫存表n（……，……）/*時點不同的商品庫存信息*/……主題實現(xiàn)的范例（續(xù)）銷售表1（商品號，顧客號，銷售日期，售價主題域面向主題的數(shù)據(jù)組織方式根據(jù)分析要求將數(shù)據(jù)組織成一個完整的分析領(lǐng)域，即主題域。主題域的特性：獨立性一個主題域可以和其他主題有交叉部分，但他必須有獨立內(nèi)涵，即要求有明確的界限規(guī)定數(shù)據(jù)是否屬于該主題。完備性對一個主題的任意分析處理要求，都能在該主題內(nèi)找到該處理要求的一切內(nèi)容。主題域面向主題的數(shù)據(jù)組織方式根據(jù)分析要求將數(shù)據(jù)組織成一個完整數(shù)據(jù)倉庫的數(shù)據(jù)集成性涵義：數(shù)據(jù)倉庫的數(shù)據(jù)是從原有的分散數(shù)據(jù)庫數(shù)據(jù)中抽取集成而來的。問題：操作型數(shù)據(jù)與分析型數(shù)據(jù)的差別需要完成的工作要統(tǒng)一數(shù)據(jù)庫中所有的矛盾，如字段的同名異義，異名同義，單位不統(tǒng)一，字長不一致等；進(jìn)行數(shù)據(jù)綜合和計算。數(shù)據(jù)倉庫的數(shù)據(jù)集成性涵義：數(shù)據(jù)倉庫的數(shù)據(jù)是從原有的分散數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)的不可更新性數(shù)據(jù)倉庫的數(shù)據(jù)主要提供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一般情況不進(jìn)行修改操作。數(shù)據(jù)倉庫數(shù)據(jù)的不可更新性數(shù)據(jù)倉庫數(shù)據(jù)的時變性數(shù)據(jù)倉庫隨時間變化不斷增加新的數(shù)據(jù)內(nèi)容；數(shù)據(jù)倉庫隨時間變化不斷刪去舊的數(shù)據(jù)內(nèi)容；數(shù)據(jù)倉庫中含有大量的綜合數(shù)據(jù)，這些數(shù)據(jù)隨時間變化不斷進(jìn)行重新組合。數(shù)據(jù)倉庫數(shù)據(jù)的時變性數(shù)據(jù)倉庫的數(shù)據(jù)組織數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu)圖元數(shù)據(jù)粒度與分割數(shù)據(jù)倉庫的數(shù)據(jù)組織形式數(shù)據(jù)倉庫的數(shù)據(jù)追加數(shù)據(jù)倉庫的數(shù)據(jù)組織數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu)圖數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu)元數(shù)據(jù)高度綜合級輕度綜合級當(dāng)前細(xì)節(jié)級早期細(xì)節(jié)級數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu)元高度綜合級輕度綜合級當(dāng)前細(xì)節(jié)級早期細(xì)元數(shù)據(jù)元數(shù)據(jù)：關(guān)于數(shù)據(jù)的的數(shù)據(jù)DW中的兩種元數(shù)據(jù)為從操作型環(huán)境向DW環(huán)境轉(zhuǎn)換而建立的元數(shù)據(jù)，在DW中用來與終端用戶的多維商業(yè)模型/前端工具之間建立映射的元數(shù)據(jù)。元數(shù)據(jù)元數(shù)據(jù)：關(guān)于數(shù)據(jù)的的數(shù)據(jù)粒度第一種粒度：對數(shù)據(jù)倉庫中的數(shù)據(jù)綜合程度高低的度量，它影響數(shù)據(jù)倉庫中數(shù)據(jù)量的多少，也影響所能回答問題的種類。第二種粒度：樣本數(shù)據(jù)庫采樣率的高低。（采樣粒度不同的樣本數(shù)據(jù)庫可以有相同級別的綜合級別。）粒度第一種粒度：對數(shù)據(jù)倉庫中的數(shù)據(jù)綜合程度高低的度量，它影響分割將數(shù)據(jù)分散到各自的物理單元中去以便能分別獨立處理，以提高處理效率，數(shù)據(jù)分割后的數(shù)據(jù)單元稱為分片。分割的一個例子健康保險生命保險事故保險1988分片1分片2分片31989分片4分片5分片61990分片7分片8分片9分割將數(shù)據(jù)分散到各自的物理單元中去以便能分別獨立處理，以提高數(shù)據(jù)倉庫的數(shù)據(jù)組織形成簡單堆積文件輪轉(zhuǎn)綜合文件（如股市）簡化直接文件（按一定時間間隔對數(shù)據(jù)庫采樣）連續(xù)文件數(shù)據(jù)倉庫的數(shù)據(jù)組織形成簡單堆積文件數(shù)據(jù)倉庫的數(shù)據(jù)追加時標(biāo)方法DELTA文件前后映象文件的方法日志文件數(shù)據(jù)倉庫的數(shù)據(jù)追加時標(biāo)方法數(shù)據(jù)庫體系化環(huán)境什么是數(shù)據(jù)庫體系化環(huán)境？四層體系化環(huán)境數(shù)據(jù)集市數(shù)據(jù)庫體系化環(huán)境什么是數(shù)據(jù)庫體系化環(huán)境？什么是數(shù)據(jù)庫體系化環(huán)境數(shù)據(jù)庫體系化環(huán)境是在一個企業(yè)或組織內(nèi)，由各面向應(yīng)用的OLTP數(shù)據(jù)庫及各級面向主題的數(shù)據(jù)倉庫所組成的完整的數(shù)據(jù)環(huán)境,在這個數(shù)據(jù)環(huán)境上建立和進(jìn)行一個企業(yè)或部門的從聯(lián)機(jī)事務(wù)處理到企業(yè)管理決策的所有應(yīng)用。兩個組成部分：操作型環(huán)境分析型環(huán)境什么是數(shù)據(jù)庫體系化環(huán)境數(shù)據(jù)庫體系化環(huán)境是在一個企業(yè)或組織內(nèi)，四層體系化環(huán)境操作型環(huán)境數(shù)據(jù)倉庫局部倉庫個人倉庫全局級部門級個人級（1）操作型環(huán)境：存放細(xì)節(jié)操作性數(shù)據(jù)，服務(wù)于高性能事務(wù)處理。（2）全局級DW：存放細(xì)節(jié)數(shù)據(jù)，以及大量導(dǎo)出數(shù)據(jù)。（3）部門級DW：一般僅包含導(dǎo)出數(shù)據(jù)。（4）個人級DW：都是暫時的，用于啟發(fā)式分析。四層體系化環(huán)境操作型環(huán)境數(shù)據(jù)倉庫局部倉庫個人倉庫全局級部門級數(shù)據(jù)集市全局?jǐn)?shù)據(jù)倉庫數(shù)據(jù)再抽取與集成采購子系統(tǒng)銷售子系統(tǒng)庫存子系統(tǒng)人事管理財務(wù)子系統(tǒng)數(shù)據(jù)抽取數(shù)據(jù)抽取數(shù)據(jù)抽取數(shù)據(jù)抽取數(shù)據(jù)抽取DATAMART數(shù)據(jù)集市全局?jǐn)?shù)據(jù)倉庫數(shù)據(jù)再抽取與集成數(shù)據(jù)抽取數(shù)據(jù)抽取數(shù)據(jù)抽取第二節(jié)數(shù)據(jù)倉庫設(shè)計數(shù)據(jù)倉庫系統(tǒng)設(shè)計方法概述DW設(shè)計的三級數(shù)據(jù)模型提高DW性能數(shù)據(jù)倉庫中的元數(shù)據(jù)數(shù)據(jù)倉庫的設(shè)計步驟第二節(jié)數(shù)據(jù)倉庫設(shè)計數(shù)據(jù)倉庫系統(tǒng)設(shè)計方法概述數(shù)據(jù)倉庫系統(tǒng)設(shè)計方法概述DWS與DBS設(shè)計的不同之處SDLC與CLDS方法比較“數(shù)據(jù)驅(qū)動”系統(tǒng)設(shè)計方法的基本思路數(shù)據(jù)模型是數(shù)據(jù)驅(qū)動設(shè)計方法的中心DW系統(tǒng)設(shè)計是一個動態(tài)反饋循環(huán)過程DW的三級數(shù)據(jù)模型提高DW的性能數(shù)據(jù)倉庫系統(tǒng)設(shè)計方法概述DWS與DBS設(shè)計的不同之處DWS與DBS設(shè)計的不同之處面向處理類型不同面向需求不同系統(tǒng)設(shè)計的目標(biāo)不同兩者的數(shù)據(jù)來源或系統(tǒng)的輸入不同系統(tǒng)設(shè)計方法和步驟不同DWS與DBS設(shè)計的不同之處面向處理類型不同SDLC與CLDS方法比較收集應(yīng)用需求分析應(yīng)用需求構(gòu)建數(shù)據(jù)庫應(yīng)用編程系統(tǒng)測試系統(tǒng)實施DB應(yīng)用A應(yīng)用B應(yīng)用C數(shù)據(jù)倉庫建模數(shù)據(jù)獲取與集成構(gòu)建數(shù)據(jù)倉庫DSS應(yīng)用編程系統(tǒng)測試?yán)斫庑枨驞WDBDB外部數(shù)據(jù)SDLC與CLDS方法比較收集應(yīng)用需求分析應(yīng)用需求構(gòu)建數(shù)據(jù)庫“數(shù)據(jù)驅(qū)動”系統(tǒng)設(shè)計方法的基本思路“數(shù)據(jù)驅(qū)動”系統(tǒng)設(shè)計方法的思路就是利用以前所取得的工作成果來進(jìn)行系統(tǒng)建設(shè)。DW的設(shè)計是從已有的DB系統(tǒng)出發(fā)，按照分析領(lǐng)域?qū)?shù)據(jù)及數(shù)據(jù)之間的聯(lián)系重新考察、組織DW中的主題。系統(tǒng)設(shè)計方法的中心是利用數(shù)據(jù)模型有效地識別原有的數(shù)據(jù)庫中的數(shù)據(jù)和數(shù)據(jù)倉庫中主題的數(shù)據(jù)的“共同性”?！皵?shù)據(jù)驅(qū)動”系統(tǒng)設(shè)計方法的基本思路“數(shù)據(jù)驅(qū)動”系統(tǒng)設(shè)計方法的數(shù)據(jù)模型

是數(shù)據(jù)驅(qū)動設(shè)計方法的中心操作型環(huán)境設(shè)計操作型處理應(yīng)用開發(fā)與設(shè)計DBDBDB數(shù)據(jù)倉庫設(shè)計DSS應(yīng)用開發(fā)與設(shè)計DW數(shù)據(jù)模型數(shù)據(jù)模型

是數(shù)據(jù)驅(qū)動設(shè)計方法的中心操作型環(huán)境設(shè)計操作型處理應(yīng)DW系統(tǒng)設(shè)計

是一個動態(tài)反饋循環(huán)過程DW的數(shù)據(jù)內(nèi)容、結(jié)構(gòu)、粒度、分割以及其他物理設(shè)計根據(jù)用戶所返回的信息不斷調(diào)整、完善，以提高系統(tǒng)的效率和性能。通過不斷的理解用戶的分析需求，向用戶提供更準(zhǔn)確，更有用的決策信息。DW系統(tǒng)設(shè)計

是一個動態(tài)反饋循環(huán)過程DW與DB三級數(shù)據(jù)模型的區(qū)別DW的數(shù)據(jù)模型不包含純操作型數(shù)據(jù);DW的數(shù)據(jù)模型擴(kuò)充了碼結(jié)構(gòu)，增加了時間屬性作為碼的一個部分；DW的數(shù)據(jù)模型中增加了一些導(dǎo)出數(shù)據(jù)。DW與DB三級數(shù)據(jù)模型的區(qū)別DW的數(shù)據(jù)模型不包含純操作型數(shù)據(jù)DW的三級數(shù)據(jù)模型概念模型邏輯模型物理模型DW的三級數(shù)據(jù)模型概念模型高級模型、

中級模型和低級模型高級模型：即E-R圖；低級模型：即物理數(shù)據(jù)模型中級模型：稱為數(shù)據(jù)項（dis-dataitemset）高級模型、

中級模型和低級模型高級模型：即E-R圖；Dis中的數(shù)據(jù)組聯(lián)接數(shù)據(jù)組：主要用于本主題域與其他主題域之間的聯(lián)系，體現(xiàn)E-R圖中實體之間的關(guān)系?；緮?shù)據(jù)組二級數(shù)據(jù)組類數(shù)據(jù)組Dis中的數(shù)據(jù)組聯(lián)接數(shù)據(jù)組：主要用于本主題域與其他主題域之間提高DW的性能粒度劃分分割其他問題提高DW的性能粒度劃分粒度劃分粒度劃分的決定因素并非總的數(shù)據(jù)量,而是總的行數(shù)。劃分步驟(1)估算DW中數(shù)據(jù)行數(shù)和所需的DASD(DirectAccessStorageDevice)數(shù)。(2)根據(jù)估算算出的數(shù)據(jù)行數(shù)和DASD，決定是否劃分粒度，如果要，如何劃分。粒度劃分粒度劃分的決定因素并非總的數(shù)據(jù)量,而是總的行數(shù)。分割核心：選擇適當(dāng)?shù)姆指顦?biāo)準(zhǔn)考慮因素：數(shù)據(jù)量、數(shù)據(jù)分析處理的實際情況、簡單易行、粒度劃分分割核心：選擇適當(dāng)?shù)姆指顦?biāo)準(zhǔn)數(shù)據(jù)倉庫物理設(shè)計

中的其他一些問題合并表建立數(shù)據(jù)序列引入冗余表的物理分割生成導(dǎo)出數(shù)據(jù)建立廣義索引數(shù)據(jù)倉庫物理設(shè)計

中的其他一些問題合并表第三節(jié)數(shù)據(jù)操作存儲(ODS)ODS的定義與特點ODS的功能ODS與DW的區(qū)別DB-ODS-DW三層體系結(jié)構(gòu)第三節(jié)數(shù)據(jù)操作存儲(ODS)ODS的定義與特點ODS的定義與特點ODS是用于支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合。保存在ODS中的數(shù)據(jù)具有四個基本特點：（1）面向主題的（2）集成的（3）可變的（4）數(shù)據(jù)是當(dāng)前或接近當(dāng)前的ODS的定義與特點ODS是用于支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集ODS的功能進(jìn)行企業(yè)級的聯(lián)機(jī)事務(wù)處理；“即時OLAP”數(shù)據(jù)處理。ODS的功能進(jìn)行企業(yè)級的聯(lián)機(jī)事務(wù)處理；ODS與DW的區(qū)別操作數(shù)據(jù)存儲ODS數(shù)據(jù)倉庫DW當(dāng)前或接近當(dāng)前的數(shù)據(jù)細(xì)節(jié)數(shù)據(jù)可聯(lián)機(jī)更新歷史數(shù)據(jù)細(xì)節(jié)數(shù)據(jù)和綜合數(shù)據(jù)不可變快照ODS與DW的區(qū)別操作數(shù)據(jù)存儲ODS數(shù)據(jù)倉庫DW當(dāng)前或接近當(dāng)DB-ODS-DW三層體系結(jié)構(gòu)DW分析型環(huán)境ODSDBDBDB應(yīng)用操作型環(huán)境DB-ODS-DW三層體系結(jié)構(gòu)DW分析型環(huán)境ODSDBDBD第四節(jié)數(shù)據(jù)倉庫工具數(shù)據(jù)倉庫體系結(jié)構(gòu)OLTP的基本概念多維分析的基本分析動作OLAP的準(zhǔn)則OLAP實現(xiàn)第四節(jié)數(shù)據(jù)倉庫工具數(shù)據(jù)倉庫體系結(jié)構(gòu)數(shù)據(jù)倉庫體系結(jié)構(gòu)示意圖數(shù)據(jù)倉庫體系結(jié)構(gòu)示意圖數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu)的比較數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)庫：操作型數(shù)據(jù)增、刪、改操作頻繁數(shù)據(jù)倉庫：分析型數(shù)據(jù)極少有更新操作數(shù)據(jù)庫核心：功能強(qiáng)大面向OLTP應(yīng)用數(shù)據(jù)倉庫管理系統(tǒng)：因極少有更新操作，故功能簡單數(shù)據(jù)庫工具：以查詢工具為主數(shù)據(jù)倉庫工具：以分析工具為主。數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu)的比較數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)OLAP的基本概念變量變量是數(shù)據(jù)的實際意義。即描述數(shù)據(jù)“是什么”。維維是人們觀察數(shù)據(jù)的特定角度。如時間維、地理維。OLAP的基本概念變量OLAP的基本概念維的層次人們觀察數(shù)據(jù)的某個特定角度（即某個維）還可以存在細(xì)節(jié)程度不同的多個描述方面，我們稱這個描述方面為維的層次。如：時間維：日期—>月份—>季度—>年地理維：城市—>地區(qū)—>國家OLAP的基本概念維的層次OLAP的基本概念維成員維的一個取值稱為該維的一個維成員。若一個維是多層次的，那么該維的維成員是在不同層次的取值組合。例：時間維：日期、月份、年維成員：某年某月某日、某年某月、某年對應(yīng)一個數(shù)據(jù)項來說，維成員是該數(shù)據(jù)項在某維中位置的描述。例：對一個銷售數(shù)據(jù)而言，時間維成員“某年某月某日”就表示該銷售數(shù)據(jù)是“某年某月某日”的銷售數(shù)據(jù)，“某年某月某日”是該銷售數(shù)據(jù)在時間維位置的描述。OLAP的基本概念維成員OLAP的基本概念多維數(shù)組一個多維數(shù)組可以表示為：（維1，維2，維3……，維n，變量）例：（地區(qū)，時間，銷售渠道，銷售額）OLAP的基本概念多維數(shù)組OLAP的基本概念數(shù)據(jù)單元多維數(shù)組的取值稱為數(shù)據(jù)單元。

例：多維數(shù)組：（地區(qū)，時間，銷售渠道，銷售額）數(shù)據(jù)單元：（北京，2002年7月，批發(fā)，1000）OLAP的基本概念數(shù)據(jù)單元多維分析的基本分析動作切片（Slice）定義1：在多維數(shù)組的某一個維上選定一維成員的操作稱為切片。即在多維數(shù)組（維1，維2，維3……，維n，變量）中選取一維，設(shè)為維i，并取其一維成員（設(shè)為“維成員Vi”），所得多維數(shù)組的子集（維1，…，維成員Vi，…，維n，變量）稱為維i上的一個切片。

例：多維數(shù)組：（地區(qū)，時間，產(chǎn)品，銷售額）一個切片：（地區(qū)，2002年9月，產(chǎn)品，銷售額）多維分析的基本分析動作切片（Slice）多維分析的基本分析動作切片（Slice）定義2：選定多維數(shù)組的一個二維子集的動作叫作切片，即選取多維數(shù)組（維1，維2，維3……，維n，變量）中的兩個維，維i和維j，在這兩個維上取某一區(qū)間或任意維成員，而將其余的維取定一個維成員，則得到的是一個多維數(shù)組在維i和維j上的二維子集，稱這個二維子集為多維數(shù)組在維i和維j上的一個切片，表示為（維i，維j，變量）多維分析的基本分析動作切片（Slice）多維分析的基本分析動作切塊定義1：在多維數(shù)組的某一維上選定某一區(qū)間的維成員動作稱為切塊，即限制多維數(shù)組在某一維上的取值空間。定義2：選取多維數(shù)組的一個三維子集的動作稱為切塊，即選定多維數(shù)組（維1，…，維成員Vi，…，維n，變量）中的三個維：i，j，r，在這三個維上某一區(qū)間或任意維成員，而將其余的維都取定一個維成員則得到的就是多維數(shù)組在維i、維j和維r上的一個三維子集，我們稱這個三維子集為多維數(shù)組在維i、維j和維r上的一個切塊，表示為：（維i，維j，維r，變量）。多維分析的基本分析動作切塊多維分析的基本分析動作旋轉(zhuǎn)旋轉(zhuǎn)即是改變一個報告或頁面顯示的維方向。旋轉(zhuǎn)示例時間維產(chǎn)品維行列交換產(chǎn)品維時間維（a）多維分析的基本分析動作旋轉(zhuǎn)時間維產(chǎn)品維行列交換產(chǎn)品維時間維（多維分析的基本分析動作旋轉(zhuǎn)示例（續(xù)）北京上海地區(qū)→銷售量銷售量產(chǎn)品↓：：時間↓第一季度第二季度第一季度第二季度北京地區(qū)→時間→產(chǎn)品↓上海……：：將某行維換向列維（b）多維分析的基本分析動作旋轉(zhuǎn)示例（續(xù)）北京上海地區(qū)→銷售量銷售多維分析的基本分析動作旋轉(zhuǎn)示例（續(xù)）時間維產(chǎn)品維地區(qū)維時間維地區(qū)維產(chǎn)品維旋轉(zhuǎn)以改變頁面顯示（c）多維分析的基本分析動作旋轉(zhuǎn)示例（續(xù)）時間維產(chǎn)品維地區(qū)維時間維多維分析的基本分析動作上鉆(drill-up)上鉆操作通過一個維的概念分層向上攀升或者通過維歸約，在數(shù)據(jù)方體上進(jìn)行聚集。下鉆（drill-down）下鉆是上鉆的逆操作，它有不太詳細(xì)的數(shù)據(jù)到更詳細(xì)的數(shù)據(jù)。下鉆可以通過沿維的概念分層向下或引入新的維來實現(xiàn)。多維分析的基本分析動作上鉆(drill-up)OLAP的準(zhǔn)則OLAP模型必須提供多維概念視圖透明性準(zhǔn)則存取能力推測穩(wěn)定的報表能力客戶/服務(wù)器體系結(jié)構(gòu)維的等同性準(zhǔn)則動態(tài)的稀疏矩陣處理準(zhǔn)則多用戶支持能力準(zhǔn)則非受限的跨維操作直觀的數(shù)據(jù)操縱靈活的報表生成不受限的維與聚集層次OLAP的準(zhǔn)則OLAP模型必須提供多維概念視圖OLAP實現(xiàn)基于多維數(shù)據(jù)庫的OLAP實現(xiàn)基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)OLAP實現(xiàn)基于多維數(shù)據(jù)庫的OLAP實現(xiàn)RDBMS與MDDB數(shù)據(jù)組織比較產(chǎn)品名稱地區(qū)銷售量冰箱冰箱冰箱彩電彩電彩電空調(diào)空調(diào)空調(diào)東北西北華北東北西北華北東北西北華北506010040708090120140東北西北華北冰箱空調(diào)彩電506010040708090120140（a）（b）RDBMS與MDDB數(shù)據(jù)組織比較產(chǎn)品名稱地區(qū)銷售量冰箱東北5RDBMS與MDDB

在綜合數(shù)據(jù)存放上的比較產(chǎn)品名稱地區(qū)銷售量冰箱冰箱冰箱冰箱彩電彩電彩電彩電空調(diào)空調(diào)空調(diào)空調(diào)總和總和總和總和東北西北華北總和東北西北華北總和東北西北華北總和東北西北華北總和506010021040708019090120140350180250320750東北西北華北總和冰箱空調(diào)彩電總和506010021040708019090120140350180250320750（b）（a）RDBMS與MDDB

在綜合數(shù)據(jù)存放上的比較產(chǎn)品名稱地區(qū)銷售RDBMS與MDDB比較關(guān)系數(shù)據(jù)庫采用關(guān)系來表達(dá)某產(chǎn)品在某地區(qū)的銷售情況，而多維數(shù)據(jù)庫中的數(shù)據(jù)組織形式采用了二維矩陣的形式。顯然，二維矩陣比關(guān)系表達(dá)更清晰而且占用存儲少。關(guān)于綜合數(shù)據(jù)：對關(guān)系表而言，當(dāng)數(shù)據(jù)苦太大時，預(yù)先處理計算各種綜合需要的時間過長，并且這樣會破壞列定義的統(tǒng)一語義。由于在MDDB中，數(shù)據(jù)可以直接按行或列累加，并且由于MDDB不象關(guān)系表那樣重復(fù)出現(xiàn)產(chǎn)品和地區(qū)信息，因此其統(tǒng)計速度遠(yuǎn)超過RDBMS。RD