數(shù)據(jù)倉庫設(shè)計.doc

1數(shù)據(jù)倉庫設(shè)計DW設(shè)計是一個操作型系統(tǒng)設(shè)計方法演變而來的范例。DW設(shè)計者不僅要設(shè)計一個數(shù)據(jù)庫（DW用DB實現(xiàn)）和一個用戶接口（數(shù)據(jù)展現(xiàn)部分）。而且還必須設(shè)計數(shù)據(jù)與OLTP系統(tǒng)的接口，數(shù)據(jù)裝載策略，數(shù)據(jù)存取工具，用戶培訓(xùn)方案和不間斷的維護方案。即必須考慮許多在操作型系統(tǒng)設(shè)計中不必考慮的問題。本章的意圖就是幫助你完善的理解如何建立和實現(xiàn)DW和在一個完整的DW設(shè)計必須考慮的問題。本章的主要內(nèi)容：1數(shù)據(jù)倉庫的生命周期2數(shù)據(jù)倉庫的方法論3數(shù)據(jù)倉庫的規(guī)劃4數(shù)據(jù)倉庫的技術(shù)體系結(jié)構(gòu)5數(shù)據(jù)倉庫的數(shù)據(jù)模型設(shè)計6數(shù)據(jù)倉庫的粒度設(shè)計7數(shù)據(jù)倉庫的開發(fā)8數(shù)據(jù)倉庫解決方案31數(shù)據(jù)倉庫的生命周期。按照生命周期發(fā)法可將數(shù)據(jù)倉庫開發(fā)的全部過程分成三個階段：1數(shù)據(jù)倉庫規(guī)劃分析階段2數(shù)據(jù)倉庫設(shè)計實施階段3數(shù)據(jù)倉庫的應(yīng)用階段這三個階段不是簡單的循環(huán)往復(fù)，而是不斷完善提高的過程。一般情況下數(shù)據(jù)倉庫系統(tǒng)都不可能在一個循環(huán)過程中完成，而是經(jīng)過多次循環(huán)開發(fā)，每次循環(huán)都會給系統(tǒng)增加新的功能，這種循環(huán)的工作永遠不會終結(jié)，數(shù)據(jù)倉庫也就一直處于一個不斷完善、不斷提高的循環(huán)玩傅過程中。一數(shù)據(jù)倉庫開發(fā)的生命周期規(guī)劃分析階段使用維護階段設(shè)計實施階段圖3-1數(shù)據(jù)倉庫開發(fā)的生命周期規(guī)劃與確定需求開發(fā)概念模型數(shù)據(jù)倉庫評價數(shù)據(jù)倉庫維護數(shù)據(jù)藏庫應(yīng)用數(shù)據(jù)裝載預(yù)測試開發(fā)中間件確定數(shù)據(jù)抽取源數(shù)據(jù)庫于遠數(shù)據(jù)設(shè)計設(shè)計體系結(jié)構(gòu)開發(fā)邏輯模型數(shù)據(jù)倉庫開發(fā)過程2DW的開發(fā)與應(yīng)用的階段是對DW開發(fā)應(yīng)用的生命周期描述。按照生命周期法可將DW開發(fā)應(yīng)用的全過程分成：DW規(guī)劃分析、DW設(shè)計實施和DW應(yīng)用三個階段，完成這三個階段并不意味著DW開發(fā)的終止，而是DW開發(fā)向更高階段發(fā)展的一個轉(zhuǎn)變。一方面通過這三個階段的DW開發(fā)積累了DW開發(fā)應(yīng)用經(jīng)驗，可對原DW提出改進的建議，使原DW通過改進得到提高，另一方面，用戶新的需求也會豐富原DW的設(shè)計，這就是螺旋式周期性開發(fā)方法。1DW規(guī)劃分析階段調(diào)查、分析DW環(huán)境，完成DW的開發(fā)規(guī)劃，卻定DW開發(fā)需求，建立包括實體圖、星型模型、雪花模型、元數(shù)據(jù)模型及數(shù)據(jù)源分析的主題域數(shù)據(jù)模型，并且根據(jù)主題域數(shù)據(jù)模型開發(fā)DW邏輯模型。2DW設(shè)計實施階段根據(jù)DW的邏輯模型設(shè)計DW體系結(jié)構(gòu)；設(shè)計DW域物理數(shù)據(jù)庫，用武力數(shù)據(jù)庫元數(shù)據(jù)裝載面向最終用戶的元數(shù)據(jù)庫；為DW中每個目標字段確定他在業(yè)務(wù)系統(tǒng)或外部數(shù)據(jù)源中的數(shù)據(jù)來源；開發(fā)或購買用于抽取、清洗、轉(zhuǎn)換和聚合數(shù)據(jù)等中間件程序；將數(shù)據(jù)從數(shù)據(jù)源加載到DW，并且進行測試。3DW使用維護階段DW投入使用，且在使用中改進、維護DW；對DW進行評價，為下一個循環(huán)開發(fā)提供依據(jù)。二DW開發(fā)的特點DW的使用就是在DW中建立決策支持系統(tǒng)應(yīng)用，這與業(yè)務(wù)處理系統(tǒng)應(yīng)用環(huán)境有本質(zhì)的區(qū)別，這也導(dǎo)致DW開發(fā)與傳統(tǒng)的OLTP系統(tǒng)開發(fā)載開發(fā)出發(fā)點、需求確定、開發(fā)過程中有相當大的不同。1數(shù)據(jù)倉庫的開發(fā)是從數(shù)據(jù)出發(fā)的創(chuàng)建DW是在原有的數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)基礎(chǔ)上進行的，即從存在于操作性環(huán)境的數(shù)據(jù)出發(fā)，進行DW的創(chuàng)建工作，我們稱之為“數(shù)據(jù)驅(qū)動”。數(shù)據(jù)驅(qū)動設(shè)計方法的中心是利用數(shù)據(jù)模型有效的識別原有的數(shù)據(jù)庫中的數(shù)據(jù)和DW中主題的數(shù)據(jù)“共同性”。2DW使用的需求不能再開發(fā)初期完全明確面向應(yīng)用的數(shù)據(jù)庫系統(tǒng)設(shè)計往往有一組教確定的應(yīng)用需求，這是數(shù)據(jù)庫系統(tǒng)設(shè)計的出發(fā)點和基礎(chǔ)。而在數(shù)據(jù)倉庫環(huán)境中，并不存在操做型環(huán)境中的固定的且較確切的物流、數(shù)據(jù)流、和信息流，數(shù)據(jù)分析處理的需求更加靈活，更沒有固定的模式，甚至用戶自己也對所要進行的分析處理不能事先全部確定。因而在DW開發(fā)初期不能明確了解DW用戶的全部使用需求。3數(shù)據(jù)倉庫的開發(fā)是一個不斷循環(huán)的過程，是啟發(fā)式的開發(fā)DW的開發(fā)是一個動態(tài)反饋和循環(huán)的過程，一方面DW的數(shù)據(jù)內(nèi)容、結(jié)構(gòu)、力度、分割以及其他物理設(shè)計應(yīng)該根據(jù)用戶所返回的信息不斷的調(diào)整和完善，以提高系統(tǒng)的效率和性能；另一方面，通過不斷理解用戶的分析需求，不斷的調(diào)整和完善，以求向用戶提供更準確、更有效的決策信息。3.2數(shù)據(jù)倉庫開發(fā)的方法論建立一個DW一般需做以下五個方面的工作：1、任務(wù)和環(huán)境的評估。2、需求的收集和分析。3、構(gòu)造DW。34、DW技術(shù)的培訓(xùn)。5、回顧、總結(jié)和再發(fā)展。一、任務(wù)和環(huán)境的評估1、目標：因為數(shù)據(jù)倉庫是建立在原有的運行系統(tǒng)之上的，因此要結(jié)合單位的現(xiàn)狀來明確數(shù)據(jù)倉庫的目標任務(wù)。了解數(shù)據(jù)源所在系統(tǒng)和其中數(shù)據(jù)的狀況、數(shù)據(jù)類型、工作平臺、數(shù)據(jù)量、數(shù)據(jù)質(zhì)量、DW的環(huán)境、網(wǎng)絡(luò)技術(shù)狀況。2、目的：看DW的任務(wù)是否可行。所建立的DW是否是用戶所期望的。有沒有不逾越的障礙。確定DW系統(tǒng)成功與否的基本原則。3、組織：高層負責人參加并組織項目組。人員：項目總負責人與DW相關(guān)的業(yè)務(wù)部門負責人計算機軟/硬件負責人DBA網(wǎng)絡(luò)人員4、項目組的任務(wù)：初步確定主題主題的層次結(jié)構(gòu)二、需求的收集和分析。1、任務(wù)：了解決策者現(xiàn)在的工作目標?，F(xiàn)在獲得決策支持信息的方法、渠道。和競爭對手的差距。決策者希望DW提供什么。制定系統(tǒng)的邏輯模型。分析數(shù)據(jù)源的物理存儲狀況、運行平臺、數(shù)據(jù)質(zhì)量、硬件、軟件和網(wǎng)絡(luò)的限制條件。2、分析文檔。項目概述。差距分析。系統(tǒng)基本架構(gòu)圖示。邏輯模型。物理模型。DW的初始裝載和更新策略。DW的運行計劃。決策信息展現(xiàn)的希望和需求。DW建成的時限。三、構(gòu)造DW構(gòu)造數(shù)據(jù)倉庫包括數(shù)據(jù)倉庫的管理、數(shù)據(jù)倉庫的組織和決策支持信息的展現(xiàn)三部分。設(shè)計和編寫數(shù)據(jù)抽取程序/工具。設(shè)計和編寫數(shù)據(jù)轉(zhuǎn)換程序/工具。1、DW的管理設(shè)計和編寫數(shù)據(jù)更新程序/工具。設(shè)計和編寫運行的接口程序。建立這一階段的所有管理的數(shù)據(jù)（元數(shù)據(jù)）4程序統(tǒng)一標準命名、建檔。初始裝載建立索引2、DW的組織建立數(shù)據(jù)視圖DW及工作平臺的安全檢查裝入數(shù)據(jù)和應(yīng)用功能建立此階段的元數(shù)據(jù)。3、決策支持信息的展現(xiàn)利用多維數(shù)據(jù)展現(xiàn)、數(shù)據(jù)挖掘等一些工具可預(yù)先制作好許多常規(guī)的信息市場項目供支持決策使用，也可以直接操作主題數(shù)據(jù)以得出新的決策支持信息。四、數(shù)據(jù)倉庫技術(shù)的培訓(xùn)。培訓(xùn)內(nèi)容：1、DW中的數(shù)據(jù)內(nèi)容（包括邏輯模型、物理模型）、數(shù)據(jù)質(zhì)量。2、元數(shù)據(jù)的內(nèi)容、位置，如何使用。3、用戶界面和功能介紹。4、數(shù)據(jù)更新計劃。5、DW的安全規(guī)則。6、從OLTP到DW的數(shù)據(jù)流。7、全部的數(shù)據(jù)轉(zhuǎn)換工作。8、數(shù)據(jù)裝載和更新的策略。五、回顧、總結(jié)和再發(fā)展。1、哪些地方可以做得更好。2、業(yè)務(wù)部門對開發(fā)的支持是否到位。3、雙方如何合作得更好。4、什么是業(yè)務(wù)部門立竿見影的效益。5、主題選擇是否得當。6、階段成果是什么？反映如何？7、DW采用是否提高了公司的競爭力。8、投資回報率是否達到預(yù)計的水平。六、SAS數(shù)據(jù)倉庫方法論見圖3-2主要數(shù)據(jù)模型和DW主題的選擇設(shè)計DW結(jié)構(gòu)、數(shù)據(jù)建摸、過程建摸物理的DW組裝、應(yīng)用程序編碼，測試、驗收、把DW展示給業(yè)務(wù)用戶，培訓(xùn)圖3-2SAS數(shù)據(jù)倉庫方法論評估需求調(diào)查設(shè)計構(gòu)建部署總結(jié)5總結(jié)：1、總結(jié)早期項目實施成功和失敗的經(jīng)驗和公布以后努力的結(jié)果。2、應(yīng)用配置是否如愿實現(xiàn)，如有必要須調(diào)整計劃。3、評估項目對單位的影響和得益。3.3數(shù)據(jù)倉庫的技術(shù)體系結(jié)構(gòu)DWS的技術(shù)體系結(jié)構(gòu)如圖3-2所示圖3-3DataBaseAssociation公司定義的DW技術(shù)體系結(jié)構(gòu)一、設(shè)計模塊功能：是由DW的設(shè)計者和管理者來設(shè)計和定義的DW的。在設(shè)計DW時必須考慮到的其他因素還包括DB和瞬時數(shù)據(jù)的處理。某些DW數(shù)據(jù)庫還包括星型模型的非規(guī)范化DB設(shè)計。二、數(shù)據(jù)獲取模塊功能：用于開發(fā)和運行數(shù)據(jù)獲取應(yīng)用程序，從源系統(tǒng)中獲取數(shù)據(jù)并加到DW中。內(nèi)容：1、數(shù)據(jù)抽取規(guī)則界定數(shù)據(jù)源。外部數(shù)據(jù)數(shù)據(jù)獲取模塊數(shù)據(jù)管理員模塊DW的數(shù)據(jù)信息目錄模塊DW的元數(shù)據(jù)數(shù)據(jù)傳遞模塊中間件模塊數(shù)據(jù)訪問模塊設(shè)計模塊管理模塊數(shù)據(jù)源外部元數(shù)據(jù)62、數(shù)據(jù)情況記錄和字段的重組，增補丟失的字段值，數(shù)據(jù)的整性和一致性檢查。3、數(shù)據(jù)增強字段值的解碼和轉(zhuǎn)換，增加時間屬性（若沒有），數(shù)據(jù)的概括或者衍生值的計算。4、數(shù)據(jù)傳輸。5、生成的定義作為元數(shù)據(jù)存入信息目錄模塊。三、數(shù)據(jù)管理員模塊。功能：是DW用來生成、管理和訪問倉庫中數(shù)據(jù)（很可能還有元數(shù)據(jù)）的模塊。一般使用RDBMS或MDBMS（多維DBMS）。四、管理模塊。功能：完成維護DW環(huán)境的系統(tǒng)管理服務(wù)。內(nèi)容：1、管理數(shù)據(jù)獲取操作。2、倉庫數(shù)據(jù)歸檔。3、倉庫數(shù)據(jù)備份。4、倉庫數(shù)據(jù)恢復(fù)。5、訪問DW的安全及授權(quán)等。五、信息目錄模塊功能：幫助技術(shù)用戶和業(yè)務(wù)用戶訪問DWS，通過一套維護和觀察倉庫元數(shù)據(jù)的工具實現(xiàn)這一功能。主要元素：1、源數(shù)據(jù)管理員：維護、輸入/出倉庫元數(shù)據(jù)。2、技術(shù)元數(shù)據(jù)。3、信息助理：為最終用戶提供訪問元數(shù)據(jù)的簡單方法，有些產(chǎn)品能幫助用戶產(chǎn)生、編寫、運行查詢、報表、分析并預(yù)定倉庫中找不到數(shù)據(jù)和信息。六、數(shù)據(jù)訪問模塊功能：提供訪問工具，使用戶訪問和分析倉庫中的數(shù)據(jù)。訪問工具：1、查詢、報表自動生成和數(shù)據(jù)分析工具。2、能訪問RDBMS的多維分析工具。3、能訪問MDBMS的多維分析工具。4、運行4GL或可視化程序設(shè)計語言的DSS應(yīng)用程序開發(fā)工具。七、中間件模塊功能：將DW數(shù)據(jù)與最終用戶工具連接起來，專門中間件：智能數(shù)據(jù)倉庫中間件位用戶提供從業(yè)務(wù)角度、數(shù)據(jù)倉庫的視角；并能監(jiān)視和跟蹤對DW的訪問情況。分析服務(wù)器能改善對RDBMS數(shù)據(jù)進行多維分析的效果。八、數(shù)據(jù)傳遞模塊功能：將數(shù)據(jù)集合分布到其他DW和最終用戶產(chǎn)品中，如電子報表。數(shù)據(jù)的傳遞可以在一天中的某一時刻進行，也可以在一個外部事件結(jié)束時進行。3.4數(shù)據(jù)模型設(shè)計在創(chuàng)建DW時需要使用各種數(shù)據(jù)模型對DW進行描述，DW的開發(fā)人員依據(jù)這些數(shù)據(jù)模型才能開發(fā)出一個滿足用戶需求的DW。DW的各種數(shù)據(jù)模型在DW的開發(fā)中作用很大，主要體現(xiàn)在模型終止旱由于設(shè)計有關(guān)的屬性，排除了無關(guān)的信息，突出了與任務(wù)相關(guān)的重要信7息，是開發(fā)人員能夠?qū)⒆⒁饬性贒W開發(fā)的主要部分。因此，數(shù)據(jù)倉庫的設(shè)計和OLTP系統(tǒng)的設(shè)計一樣，也需要先進行模型的設(shè)計。一、不同層次模型之間的關(guān)系.。1、企業(yè)數(shù)據(jù)模型：特點：只包含原始數(shù)據(jù)。OLTP、DW的數(shù)據(jù)模型均源于企業(yè)模型。2、操作型數(shù)據(jù)模型特點：基本等價于企業(yè)數(shù)據(jù)模型。在數(shù)據(jù)庫設(shè)計之前要加入性能因素。3、DW數(shù)據(jù)模型。特點：去掉純操作性數(shù)據(jù)。給鍵碼增加時間因素合適之處增加導(dǎo)出數(shù)據(jù)把OLTP系統(tǒng)中數(shù)據(jù)關(guān)系變?yōu)槿斯りP(guān)系。4、不同層次模型之間的關(guān)系（1）OLTP系統(tǒng)的數(shù)據(jù)模型來源于企業(yè)數(shù)據(jù)模型。(2)DW數(shù)據(jù)模型源于OLTP系統(tǒng)數(shù)據(jù)模型以及企業(yè)數(shù)據(jù)模型。二、DW數(shù)據(jù)模型的設(shè)計1DW數(shù)據(jù)模型的種類：（1）概念模型DW的概念模型是一個DW的粗略藍本，以此為工具卻人DW的設(shè)計者是否已經(jīng)正確的理解了DW最終用戶的信息需求。在概念模型的設(shè)計中，必須將注意力集中在對上午的理解上，保證DW的所有業(yè)務(wù)都被歸納進概念模型。（2）邏輯模型DW的邏輯模型是維度模型，采用星型模型或雪花模型。在星型模型中主要設(shè)計事實表和維度表。（3）物理模型關(guān)系表