第章數據倉庫設計與開發(fā)

第四章數據倉庫設計與開發(fā)本章目標了解數據倉庫開發(fā)應用過程熟悉數據倉庫的規(guī)劃內容、目標等掌握數據倉庫的分析與設計過程、內容了解數據倉庫的實施過程第四章數據倉庫設計與開發(fā)本章內容4.1數據倉庫開發(fā)應用過程4.2數據倉庫的規(guī)劃4.3數據倉庫的分析與設計4.4數據倉庫的實施4.5數據倉庫技術與開發(fā)的困難4.1數據倉庫開發(fā)應用過程數據倉庫的開發(fā)應用像生物一樣具有其特有的、完整的生命周期，數據倉庫的開發(fā)應用周期可以分成三個階段：數據倉庫規(guī)劃分析數據倉庫設計實施數據倉庫使用維護這三個階段是一個不斷循環(huán)、完善、提高的過程（螺旋式）。螺旋式開發(fā)應用過程設計體系結構開發(fā)概念模型開發(fā)邏輯模型數據庫與元數據設計數據抽取轉換與加載開發(fā)中間件填充與測試數據倉庫數據倉庫應用數據倉庫維護數據倉庫評價規(guī)劃與確定需求規(guī)劃分析階段設計實施階段使用維護階段4.2數據倉庫的規(guī)劃選擇數據倉庫實現策略自頂向下：實際應用比較困難。自底向上：用于一個數據集市或一個部門的數據倉庫開發(fā)，容易獲得成功。兩種策略的聯(lián)合使用：能夠快速地完成數據倉庫的開發(fā)與應用，而且還可以建立具有長遠價值的數據倉庫方案。在實際使用中難以操作。用自頂向下方法建造企業(yè)數據倉庫建設中心數據模型一次性的完成數據的重構工作最小化數據冗余度和不一致性存儲詳細的歷史數據從企業(yè)數據倉庫中建造數據集市得到大部分的集成數據直接依賴于數據倉庫的可用性問題投資效益的時間?建設中心數據模型的必要性和可能性?初始費用?數據集市外部數據數據集市操作數據企業(yè)數據倉庫用自底向上方法建立部門數據集市限制在一個主題區(qū)域快速投資收益區(qū)域自治–設計的可伸縮性強對相關部門的應用容易復制對每個數據集市需要數據重構存在一定的冗余及不一致性逐步擴展到企業(yè)數據倉庫(EDW)把建造EDW作為一個長期的目標存在的問題:數據集市的數據都是可用的嗎?能生成數據模型嗎?如何解決不一致性?操作數據(全局)/外部數據企業(yè)數據倉庫數據集市操作數據(局部)操作數據(局部)數據集市采用從頂向下VS從底向下企業(yè)內部、各個業(yè)務部門和各個工作崗位對數據倉庫的理解和期望不同。作為具體的部門，有特定的信息需求，都希望能在盡可能短的時間內需求獲得滿足。建立局部的系統(tǒng)，所需信息能夠立即為其使用。因此對部門而言，他們追求的是一種短期的局部目標，關心的是基于所在位置的局部解決方案。整個企業(yè)看，建立數據倉庫的目的之一是獲得對整個企業(yè)業(yè)務信息的視圖。以便能把握和管理企業(yè)的經營運行，并對企業(yè)進行業(yè)務重組。企業(yè)現有系統(tǒng)往往不同程度上存在各自為政，缺乏統(tǒng)一的規(guī)劃和設計。數據出自各部門，提供的信息不一致，使得高層無法獲得可靠、統(tǒng)一和協(xié)調的信息。企業(yè)追求的是長期的集成目標，關心的是基于整個企業(yè)的全面解決方案。兩者的目標是有矛盾的！確定數據倉庫的開發(fā)目標和實現范圍首要目標是確定所需要信息的范圍，確定數據倉庫在為用戶提供決策幫助時，在主題和指標領域需要哪些數據源。

另一個重要目標是確定利用哪些方法和工具訪問和導航數據？其它目標是確定數據倉庫內部數據的規(guī)模從用戶的角度分析從技術的角度分析數據倉庫的結構數據倉庫的應用結構

基于業(yè)務處理系統(tǒng)的數據倉庫

單純數據倉庫

單純數據集市

數據倉庫和數據集市

數據倉庫的技術平臺結構單層結構

客戶/服務器兩層結構

三層客戶/服務器

多層式結構數據倉倉庫使使用方方案和和項目目規(guī)劃劃預算算實際使用方方案還可以以將最終用用戶的決策策支持要求求與數據倉倉庫的技術術要求聯(lián)系系起來開發(fā)方案的的預算進行行估計編制數據倉倉庫開發(fā)說說明書：：說明系統(tǒng)與與企業(yè)戰(zhàn)略略目標的關關系，系統(tǒng)統(tǒng)與企業(yè)急急需處理的的、范圍相相對有限的的開發(fā)機會會。業(yè)務機會的的說明以及及任務概況況說明、重重點支持的的職能部門門和今后工工作的建議議。計劃中需要要闡明期望望取得的有有形和無形形利益業(yè)務價值值計劃最最好由目目標業(yè)務務主管來來完成規(guī)劃書中中要確定定數據倉倉庫的開開發(fā)目標標實現范范圍、體體系結構構和使用用方案及及開發(fā)預預算。4.3數數據倉倉庫的分分析與設設計需需求分析析概概念模型型設計邏邏輯模型型設計物物理模型型設計數數據倉庫庫的索引引技術需需求分析析確定主題題域支持決策策的數據據來源數據倉庫庫的成功功標準和和關鍵性性能指標標數據量與與更新頻頻率確定主題題域（1）明明確對于于決策分分析最有有價值的的主題領領域有哪哪些？（2）每每個主題題域的商商業(yè)維度度是哪些些？每個個維度的的粒度層層次有哪哪些？（3）制定決決策的商業(yè)分分區(qū)是什么？？（4）不同地地區(qū)需要哪些些信息來制定定決策？（5）對哪個個區(qū)域提供特特定的商品和和服務？支持決策的數數據來源（1）哪些源源數據（操作作型）與商品品主題有關？？（2）在已有有報表和在線線查詢中得到到什么樣的信信息？（3）提供決決策支持的細細節(jié)程度是怎怎樣的？數據倉庫的成成功標準和關關鍵性能指標標（1）衡量數數據倉庫成功功的標準是什什么？（2）哪些關關鍵的性能指指標？如何監(jiān)監(jiān)控？（3）對數據據倉庫的期望望是什么？（4）對數據據倉庫的預期期用途有哪些些？（5）對計劃劃中的數據倉倉庫的考慮要要點是什么？？數據量與更新新頻率（1）數據倉倉庫的總數據據量有多少？？（2）決策支支持所需的數數據更新頻率率是多少？時時間間隔是多多長?（3）每種決決策分析與不不同時間的標標準對比如何何？（4）數據倉倉庫中的信息息需求的時間間界限是什么么？開發(fā)模型模型是對現實實世界進行抽抽象的工具。。在信息管理中中需要將現實實世界的事物物及其有關特特征轉換為信信息世界的數數據才能對信信息進行處理理與管理，這這就需要依靠靠數據模型作作為這種轉換換的橋梁。這種轉換一般般需要經歷從從現實到概念念模型，從概概念模型到邏邏輯模型，從從邏輯模型到到物理模型的的轉換過程?！，F實世界概念世界邏輯世界計算機世界信用特性屬性列（字段、數據項）張三個體實體記錄客戶整體同質總體表文件客戶與產品整體間聯(lián)系異質總體數據庫概概念模型設設計概念模型的特特點是：能真實反映現現實世界，能能滿足用戶對對數據的分析析，達到決策策支持的要求求，它是現實實世界的一個個真實模型。。易于理解，便便利和用戶交交換意見，在在用戶的參與與下，能有效效地完成對數數據倉庫的成成功設計。易于更改，當當用戶需求發(fā)發(fā)生變化時，，容易對概念念模型修改和和擴充。易于向數據倉倉庫的數據模模型（星型模模型）轉換。。概念模型表示示概念模型最常常用的表示方方法是實體－－關系法（E-R法）。。E-R圖將現實世界表示成信息世界，便利向計算機的表示示形式進行轉化化。建立概念模型型：對每個決決策主題與屬屬性以及主題題之間的關系系用E-R圖模型表示。例子有兩個主題：：商品和客戶戶，主題也是是實體。商品有如下屬屬性組：商品的固有信信息（商品號號、商品名、、類別、價格格等）；商品庫存信息息（商品號、、庫房號、庫庫存量、日期期等）；商品銷售信息息（商品號、、客戶號、銷銷售量等）；；客戶有如下屬屬性組：客戶固有信息息（客戶號、、客戶名、住住址、電話等等）；客戶購物信息息（客戶號、、商品號、售售價、購買量量等）。商品的銷售信信息與用戶的的購物信息是是一致的，它它們是兩個主主題之間的聯(lián)聯(lián)系。商品商品固有信息商品號商品庫存信息銷售信息購物信息客戶客戶固有信息客戶號=邏邏輯模型設計計主要工作：分析主題域進進行概念模型型（E—R圖圖）到邏輯模模型（星型模模型）的轉換換確定粒度層次次劃分確定數據分割割策略關系模式定義義定義記錄系統(tǒng)統(tǒng)分析主題域主題名公共碼鍵屬性組商品商品號商品固有信息：商品號，商品名，類型，顏色等商品采購信息：商品號，供應商號，供應價，供應日期，供應量等商品庫存信息：商品號，庫房號，庫存量，日期等銷售銷售單號銷售單固有信息：銷售單號，銷售地址等銷售信息：客戶號，商品號，銷售價，銷售量、銷售時間等客戶客戶號客戶固有信息：客戶號，客戶名，性別，年齡，文化程度，住址，電話等客戶經濟息：客戶號，年收入，家庭總收入等概念模型到邏邏輯模型的轉轉換星型模型的設設計步驟如下下：（1）確定決決策分析需求求。決策需求是建建立多維數據據模型的依據據。（2）從需求求中識別出事事實。選擇或設計反反映決策主題題業(yè)務的表，，如在“商品品”主題中，，以“銷售業(yè)業(yè)務”作為事事實表。（3）確定維維。確定影響事實實的各種因素素，對銷售業(yè)業(yè)務的維包括括商店，地區(qū)區(qū)，部門，城城市，時間，，商品等。銷售數據和維銷售數據商品促銷時間部門城市地區(qū)商店概念模型到邏邏輯模型的轉轉換星型模型的設設計步驟如下下：（4））確定定數據據匯總總水平平。數據倉倉庫中中對數數據不不同粒粒度的的集成成和綜綜合，，形成成了多多層次次、多多種知知識的的數據據結構構。例例如，，對于于時間間維，，可以以以““年””、““月””或者者“日日”等等不同同水平平進行行匯總總。（5））設設計計事事實實表表和和維維表表。設計計事事實實表表和和維維表表的的具具體體屬屬性性。。在在事事實實表表中中應應該該記記錄錄哪哪些些屬屬性性是是由由維維表表的的數數量量決決定定的的。。一一般般來來說說，，與與事事實實表表相相關關的的維維表表的的數數量量應應該該適適中中，，太太少少的的維維表表會會影影響響查查詢詢的的質質量量，，用用戶戶得得不不到到需需要要的的數數據據，，太太多多的的維維表表又又會會影影響響查查詢詢的的速速度度。概念念模模型型到到邏邏輯輯模模型型的的轉轉換換星型型模模型型的的設設計計步步驟驟如如下下：：（6）按按使用的的DBMS和分分析用戶戶工具，，證實設設計方案案的有效效性。根據系系統(tǒng)使用用的DBMS，，確定事事實表和和維表的的具體實實現。由由于不同同的DBMS對對數據存存儲有不不同的要要求，因因此設計計方案是是否有效效還要放放在DBMS中中進行檢檢驗（7）隨隨著需求求變化修修改設計計方案。。隨著應用用需求的的變化，，整個數數據倉庫庫的數據據模式也也可能會會發(fā)生變變化。因因此在設設計之初初，充分分考慮數數據模型型的可修修改性可可以節(jié)省省系統(tǒng)維維護的代代價。轉換示例例（1）業(yè)業(yè)務數據據的E-R圖銷售銷售日期商店號商品號銷售數量銷售單位商品商品號商品名商品類號存貨星期商店號商品號數量1m1m商店商店號商店名地址城市省郵編地區(qū)號1mm11商品類商品類號商品類名部門號m1m地區(qū)地區(qū)號地區(qū)名轉換示例例（2）E-R圖圖向多維維表的轉轉換商品維地區(qū)維時間維部門地區(qū)年商品大類商店月商品周日銷售事實轉換示示例（3））利用維維關鍵鍵字制制定的的星型型模型型轉換示示例(4)修改改后的的星型型模型型確定粒粒度層層次粒度是是指數數據倉倉庫中中數據據單元元的詳詳細程程度和和級別別。數據越越詳細細，粒粒度越越小，，層次次級別別就越越低；；數據據綜合合度越越高，，粒度度越大大，層層次級級別就就越高高。決定數數據倉倉庫采采取的的是單單一粒粒度還還是多多重粒粒度，，以及及粒度度劃分分的層層次。。通過過聚集集的設設計為為數據據倉庫庫的使使用提提供各各種可可能的的聚集集查詢詢便利利進行粒粒度劃劃分，，首先先要確確定所所有在在數據據倉庫庫中建建立的的表，，然后后估計計每個個表的的大約約行數數。確定數數據分分割策策略把邏輯輯上整整體的的數據據分割割成較較小的的、可可以獨獨立管管理的的物理理單元元進行行存儲儲。便于數數據的的重構構、重重組和和恢復復，以以提高高創(chuàng)建建索引引和順順序掃掃描的的效率率數據分分割標標準：：1.數數據量量2.數數據分分析處處理的的對象象3.粒粒度分分割的的策略略定義關關系模模式在概念念模型型設計計時，，我們們就確確定了了數據據倉庫庫的基基本主主題，，并對對每個個主題題的公公共碼碼鍵、、基本本內容容等做做了描描述。。在這一一步里里，我我們將將要對對選定定的當當前實實施的的主題題進行行模式式劃分分，形形成多多個表表，并并確定定各個個表的的關系系模式式?！吧唐贰敝髦黝}公共碼鍵：：商品號。。商品固有信信息：商品表（商商品號、商商品名、類類型、顏色色）——細細節(jié)級商品銷售信信息：銷售表1（（商品號、、客戶號、、銷售量、、…）———細節(jié)級銷售表2（（商品號、、時間段1、銷售量量、…）———綜合級級……銷售表n（（商品號、、時間段n、銷售量量、…）———綜合級級定義記錄系系統(tǒng)定義記錄系系統(tǒng)是建立立數據倉庫庫中的數據據以源系統(tǒng)統(tǒng)中的數據據的對照記記錄。記錄系統(tǒng)的的定義要記記入數據倉倉庫的元數數據。商品主題的的記錄系統(tǒng)統(tǒng)在元數據據中可描述述如表主題名屬性名數據源系統(tǒng)源表名源屬性名商品商品商品商品商品商品商品商品商品商品號商品名類別客戶號銷售日期售價銷售量庫存量庫存號庫存子系統(tǒng)庫存子系統(tǒng)庫存子系統(tǒng)銷售子系統(tǒng)銷售子系統(tǒng)銷售子系統(tǒng)銷售子系統(tǒng)庫存子系統(tǒng)庫存子系統(tǒng)商品商品商品客戶銷售銷售銷售庫存?zhèn)}庫商品號商品名類別客戶號日期單價數量庫存量倉庫號4.3.4物理模模型設計物理模型設設計因素：：I/O存取取時間空間利用率率維護的代價價主要工作：：全面了解所所選用的數數據庫管理理系統(tǒng)，確定一個最最適合應用用要求的物物理結構，，特別是存儲儲結構和存存取方法。。了解數據環(huán)環(huán)境、數據據的使用頻頻率、使用用方式、數數據規(guī)模以以及響應時時間要求等等。了解外部存存儲設備的的特征。確定一個最最適合應用用要求的物物理結構（1）估計計存儲容量量（2）確定定數據的存存儲計劃（3）確定定索引策略略（4）確定定數據存放放位置（5）確定定存儲分配配(1)估估計存儲容容量對每一個數數據庫表確確定數據量量對所有的表表確定索引引估計臨時存存儲(2)確確定數據的的存儲計劃劃建立聚集（（匯總）計計劃確定數據分分區(qū)方案建立聚類選選項(3)確確定索引策策略在數據倉庫庫中由于數數據量很大大，需要對對數據的存存取路徑進進行仔細設設計和選擇擇，建立專專用的復雜雜的索引，，以獲得最最高的存取取效率。采用B—Tree索索引，它是是一個高效效的索引，，見圖4.7所示。。B樹是一一個平衡（（balance））樹，即每每個葉結點點到根節(jié)點點的路徑長長度相同。。B樹索引引是一個多多級索引。。(4)確定定數據存放放位置在物理設計計時，我們們常常要按按數據的重重要程度、、使用頻率率以及對響響應時間的的要求進行行分類，并并將不同類類的數據分分別存儲在在不同的存存儲設備中中。重要程度高高、經常存存取并對響響應時間要要求高的數數據就存放放在高速存存儲設備上上，如硬盤盤；存取頻率低低或對存取取響應時間間要求低的的數據則可可以放在低低速存儲設設備上，如如磁盤或磁磁帶。(5)確確定存儲分分配物理存儲中中以文件、、塊和記錄錄來實現。。一個文件件包括很多多塊，每個個塊包括若若干條記錄錄。文件中的塊塊是數據庫庫的數據和和內存之間間I/O傳傳輸的基本本單位，在在那里對數數據進行操操作。用一個簡例例來說明邏邏輯模型和和物理模型型的內容，，見下圖所所示。名稱類型長度注釋產品維表包括公司所有產品的信息Product-Keyinteger10主鍵Product-Namechar25產品名稱Product-SKuchar20庫存單位銷售員維表包括不同地區(qū)的所有銷售員信息Salpers-Keyinteger15主鍵Salpers-Namechar30銷售員姓名Territorychar20銷售員所在區(qū)域Regionchar20所在地區(qū)訂單事實表包括公司收到的所有訂單Order-Keyinteger10訂單鍵Order-Namechar20訂單名稱Product-refinteger10參考產品主鍵Salpers-refinteger15參考銷售員主鍵Order-AmountNum8，2銷售額Order-CostNum8，2訂單成本邏輯模型產品維表產品鍵產品名庫存單位品牌訂單事實表訂單鍵訂單名產品鍵銷售員鍵銷售額訂單成本銷售員維表銷售員鍵姓名地域地區(qū)4.3.5數據倉倉庫的索引引技術位索引技術術Bit-Wise索索引技術B-Tree技術與與Bit-Wise索引技術術對比標識技術廣義索引Bit-Wise索索引技術對于每一個個記錄的字字段滿足查查詢條件的的真假值用用“1”或或“0”的的方式表示示，或者用用該字段中中不同取值值（即多位位二進制））來表示。。例如，檢索索“美國加加州有多少少男性未申申請保險？？”利用Bit—Wise技技術得到有有兩個記錄錄滿足條條件。性別保險州1MYMA2MNCA3FYIL4MNCA男未保險加州100111000111B-Tree技技術術與與Bit-Wise索索引引技技術術對對比比Bit-Wise索索引引技技術術比比B-Tree技技術術能能提提高高相相應應速速度度10——100倍倍。。對于于檢檢索索““美美國國加加州州有有多多少少男男性性未未申申請請保保險險？？””為為例例，，假假設設數數據據庫庫有有10M記記錄錄，，每每個個記記錄錄長長800個個字字節(jié)節(jié)，，每每一一頁頁16K字字節(jié)節(jié)。。按傳傳統(tǒng)統(tǒng)的的關關系系數數據據庫庫的的檢檢索索：需需要要經經過過50萬萬次次I/O操操作作。。按Bit——Wise檢檢索索：對對于于10M個個記記錄錄建建立立三三列列的的Bit——Wise索索引引。。存存取取這這些些索索引引只只要要進進行行235次次I/O操操作作。。標識識技技術術樣本本記記錄錄數據據庫庫中中的的每每個個實實體體創(chuàng)創(chuàng)建建一一個個標標識識。?！敖魑鳌薄痹谠诩炟炛兄惺鞘?1標標識識。?！?8”在年年齡中是02標識。“講師”在職職稱名中有一一個03標識識。姓名籍籍貫職職稱年年齡陳文東江江西教教授56何玉輝河河北講講師32李寶湖湖南副副教授37施東江江蘇講講師28曹文湖湖南副副教授36趙玉吉吉林講講師32黃小斌江江蘇講講師28賽英花山山東副副教授32彭宏江江西講講師25廖宇宙湖湖南教教授42標識技術姓名籍籍貫職職稱年年齡陳文東01江西西01教教授012501何玉輝02河北北02副副教授022802李寶03湖湖南03講師師033203施東04江江蘇043604曹文05吉吉林053705趙玉06山山東064206黃小斌075607賽英花08彭宏09廖宇宙10記錄101,01,01,07記錄202,02,03,03記錄303,03,02,05記錄404,04,03,02記錄505,03,02,05記錄606,05,03,03記錄707,04,03,02記錄808,06,02,03記錄909,01,03,01廣義索引對數據倉庫的的一個很廣泛泛的應用問題題是“這個月月銷售最好和和最差的10種商品是哪哪些？”，我我們可以設計計這么一塊““黑板”，在在上面標明了了當月銷售最最好和最差的的10種商品品的名稱或者者它們相關記記錄的存放地地址。這塊““黑板”就是是我們所說的的“廣義索引引”。4.4數據據倉庫的實施施實施過程中需需要完成的工工作：建立數據倉庫庫與業(yè)務處理理系統(tǒng)的接口口數據倉庫的體體系結構建立立實現數據倉庫庫物理倉庫與與元數據庫進行數據倉庫庫的數據初次次加載完成數據倉庫庫的中間件設設計進行數據倉庫庫的測試。數據倉庫與業(yè)業(yè)務處理系統(tǒng)統(tǒng)的接口接口應該具有有這樣一些功功能：從面向應用和和操作環(huán)境生生成完整的數數據；數據基于時間間的轉換；數據的聚集；；對現有數據系系統(tǒng)的有效掃掃描，以便今今后數據倉庫庫的數據追加加。數據倉庫的建建立關系型數據庫庫、多維數據據庫和對象數數據庫創(chuàng)建數據倉庫庫的工具：MSSQLServer2000,2005,2008Oracle9i，10iSybaseInformixRedBrickDecisionServer數據倉庫的加加載、復制和和發(fā)行數據加載之前前，首先需要要對準備加載載的數據進行行清理復制技術，復復制結構應完完成以下的復復雜任務：●不會受到系系統(tǒng)失敗等問問題的影響，，保證提供可可靠的數據復復制。●只傳送符合合數據完整性性規(guī)則的一致致數據。●可以優(yōu)化傳傳送過程，減減少在捕獲或或修改數據和和復制品作為為結果傳送之之間的等待時時間。技術和數據結結構應保證數數據發(fā)行系統(tǒng)統(tǒng)完成以下的的功能：保證數據以適適時和有效的的方式發(fā)行。。保證只發(fā)送被被排序的數據據。建立正確的和和所需要的服服務水平標準準。數據倉倉庫的的測試試單元測測試單元測測試的的目的的是尋尋找出出存在在于單單個程程序、、存儲儲過程程和其其它位位于一一些獨獨立環(huán)環(huán)境中中模塊塊的錯錯誤。。系統(tǒng)集集成測測試測試目目的是是驗證證每個個單元元與數數據倉倉庫系系統(tǒng)和和子系系統(tǒng)之之間的的接口口是否否完好好，是是否能能夠正正常傳傳遞數數據與與執(zhí)行行系統(tǒng)統(tǒng)的整整體功功能。。4.5數數據倉倉庫技技術與與開發(fā)發(fā)的困困難4.5.1數據據倉庫庫技術術4.5.2數據據倉庫庫開發(fā)發(fā)的困困難4.5.1數據據倉庫庫技術術（1））管理理大量量數據據數據倉倉庫要要管理理大量量的數數據，，是因因為它它們：：包括粒粒狀的的、原