數(shù)據(jù)中心邏輯架構(gòu)設(shè)計

1數(shù)據(jù)中心邏輯架構(gòu)設(shè)計數(shù)據(jù)中心邏輯架構(gòu)數(shù)據(jù)挖掘、查詢報表數(shù)據(jù)應(yīng)用層各類業(yè)務(wù)系統(tǒng)、OLTP實時控制系統(tǒng)業(yè)務(wù)數(shù)據(jù)邏輯數(shù)據(jù)訪問機制數(shù)據(jù)粒度與聚集模型元數(shù)據(jù)模型/\「設(shè)備對照、數(shù)據(jù)同??乙) 數(shù)據(jù)抽取、清洗、整合機制問據(jù)單簡數(shù)據(jù)安全機制’,二數(shù)據(jù)抽取接口.二)源數(shù)據(jù)層指服務(wù)于企業(yè)各業(yè)務(wù)系統(tǒng)的基層單元數(shù)據(jù)，這些數(shù)據(jù)支持了企業(yè)各類業(yè)務(wù)的應(yīng)用，但存在數(shù)據(jù)分散、局部性強、不利于企業(yè)級的數(shù)據(jù)分析、應(yīng)用；建設(shè)數(shù)據(jù)中心的目標之一便是將這些分布于各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進行抽取、整合，形成統(tǒng)一的企業(yè)數(shù)據(jù)平臺；從某種意義上，這些數(shù)據(jù)可分為兩種類型：各類事物的靜態(tài)屬性數(shù)據(jù)，譬如設(shè)備、用戶、知識等數(shù)據(jù)；事物的狀態(tài)的動態(tài)變化數(shù)據(jù)，譬如，電量、電壓的實時測量數(shù)據(jù)；第一類數(shù)據(jù)的特點是在局部區(qū)域內(nèi)是保持相對穩(wěn)定的，人們更多關(guān)心的是這些數(shù)據(jù)的關(guān)聯(lián)；第二類數(shù)據(jù)具有很強的“時間本性”，它們或明確或潛在的都具有“時間標簽”的屬性，人們更多關(guān)注的是它們在某一時刻的值。數(shù)據(jù)層或者說是企業(yè)數(shù)據(jù)平臺、數(shù)據(jù)中心，通過對企業(yè)數(shù)據(jù)的整體規(guī)劃、抽取、加工、整合，將存在于各獨立系統(tǒng)的數(shù)據(jù)組織為一個有機的整體，使紛雜無序的數(shù)據(jù)成為企業(yè)有用信息，同時，使基于企業(yè)級的數(shù)據(jù)深層挖掘、分析成為可能；數(shù)據(jù)層負責對企業(yè)數(shù)據(jù)進行收集、加工、標準化并將之進行科學(xué)的存貯，同時，需要為上層應(yīng)用提供安全、高效、方便的訪問接口；如上所述，我們可以將現(xiàn)實世界的數(shù)據(jù)抽象為兩類，基于這兩類數(shù)據(jù)特征，分別采用關(guān)系型數(shù)據(jù)庫譬如Oracle和實時數(shù)據(jù)庫譬如eDNA進行管理，兩類數(shù)據(jù)以數(shù)據(jù)的邏輯關(guān)系進行關(guān)聯(lián)；為便于數(shù)據(jù)的挖掘、分析，在面向業(yè)務(wù)系統(tǒng)的操作型數(shù)據(jù)庫上建立一組基于業(yè)務(wù)主題的數(shù)據(jù)倉庫、集市，可以提高數(shù)據(jù)分析的性能；進一步講，操作型數(shù)據(jù)面向具體業(yè)務(wù)系統(tǒng)、聯(lián)機事務(wù)處理(OLTP)等應(yīng)用，而數(shù)據(jù)倉庫(DataWarehouse)、數(shù)據(jù)集市(DataMarts)為企業(yè)決策支持、聯(lián)機分析處理(OLAP)等深層數(shù)據(jù)挖掘提供基礎(chǔ)。應(yīng)用層指基于業(yè)務(wù)需求的各類應(yīng)用系統(tǒng)，包括企業(yè)各類業(yè)務(wù)信息管理系統(tǒng)、生產(chǎn)控制系統(tǒng)、現(xiàn)場監(jiān)控系統(tǒng)以及對企業(yè)數(shù)據(jù)的進行分析的各類系統(tǒng)。業(yè)務(wù)數(shù)據(jù)邏輯需要提到的是，無論是對源數(shù)據(jù)層的抽取、數(shù)據(jù)層的組織還是應(yīng)用層的開發(fā)，都是圍繞企業(yè)數(shù)據(jù)的業(yè)務(wù)邏輯進行的;不管是具體的某項業(yè)務(wù)需求，還是更高層次的企業(yè)級分析要求，只有基于對業(yè)務(wù)邏輯準確理解、把控的設(shè)計、實現(xiàn)才能正確達到目標。數(shù)據(jù)安全機制信息系統(tǒng)不僅需要關(guān)注數(shù)據(jù)的正確性、完整性等性能，亦必須充分考慮數(shù)據(jù)的安全性；總的來說，可以從網(wǎng)絡(luò)層、操作系統(tǒng)層、數(shù)據(jù)庫層、應(yīng)用層等方面進行安全策略的設(shè)計；本文對數(shù)據(jù)安全策略不做詳細討論。

數(shù)據(jù)中心數(shù)據(jù)架構(gòu)設(shè)計總體數(shù)據(jù)架構(gòu)如上節(jié)所述，供電企業(yè)數(shù)據(jù)可以分為關(guān)系型數(shù)據(jù)和實時型數(shù)據(jù)，關(guān)系型數(shù)據(jù)需要著重考慮數(shù)據(jù)的正確性、完整性、一致性特別數(shù)據(jù)間的關(guān)聯(lián)關(guān)系等特征，一般采用RDBMS進行管理；而實時數(shù)據(jù)更側(cè)重于數(shù)據(jù)的連續(xù)性和時效性，特別是數(shù)據(jù)處理事務(wù)的時效性，并且實時數(shù)據(jù)一般需要連續(xù)、高頻率的采集、讀寫，普通關(guān)系型數(shù)據(jù)庫內(nèi)部的數(shù)據(jù)、事務(wù)處理機制很難保證有效的管理實時數(shù)據(jù)，所以對于實時數(shù)據(jù)，需要專門的實時數(shù)據(jù)庫對之進行管理，本文稍后會對實時數(shù)據(jù)庫技術(shù)和產(chǎn)品作介紹；現(xiàn)存業(yè)務(wù)系統(tǒng)數(shù)據(jù)—企業(yè)數(shù)據(jù)倉庫整合、清洗、歸納后的面向具體主題的數(shù)據(jù)集市——生產(chǎn)數(shù)據(jù)分析——營銷數(shù)據(jù)分析現(xiàn)存業(yè)務(wù)系統(tǒng)數(shù)據(jù)—企業(yè)數(shù)據(jù)倉庫整合、清洗、歸納后的面向具體主題的數(shù)據(jù)集市——生產(chǎn)數(shù)據(jù)分析——營銷數(shù)據(jù)分析 服務(wù)數(shù)據(jù)分析 企業(yè)決策層 企業(yè)管理層 企業(yè)操作層企業(yè)數(shù)據(jù)倉庫——關(guān)系數(shù)據(jù)庫技術(shù)/商業(yè)元數(shù)據(jù)f數(shù)據(jù)預(yù)處理、分類、交換抽取、清洗、轉(zhuǎn)換、移植實時采集 根據(jù)數(shù)據(jù)屬抽取、清洗、轉(zhuǎn)換、移植性，分發(fā)到相應(yīng)數(shù)據(jù)庫mDJ企業(yè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)中心架構(gòu)圖首先，應(yīng)對企業(yè)數(shù)據(jù)進行統(tǒng)一規(guī)劃，建設(shè)統(tǒng)一的數(shù)據(jù)模型，如果技術(shù)和時間允許，最好設(shè)計完整的CIM模型，從而保證數(shù)據(jù)的完整性、一致性、無二義性；對于已經(jīng)存在的系統(tǒng)，數(shù)據(jù)中心應(yīng)針對不同系統(tǒng)建立和統(tǒng)一設(shè)備描述表的對照表；對于新建系統(tǒng)，應(yīng)基于統(tǒng)一設(shè)備描述表建立業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫；數(shù)據(jù)中心對各業(yè)務(wù)系統(tǒng)提供安全的、規(guī)范的訪問接口，一般來說，業(yè)務(wù)系統(tǒng)主動發(fā)送數(shù)據(jù)，根據(jù)數(shù)據(jù)類型，分別寫入到關(guān)系型數(shù)據(jù)和實時數(shù)據(jù)庫；數(shù)據(jù)中心根據(jù)實時數(shù)據(jù)庫廠商提供的API接口，向業(yè)務(wù)系統(tǒng)提供統(tǒng)一的ADO或ODBC訪問接口；需要注意的是，數(shù)據(jù)在寫入數(shù)據(jù)中心時，應(yīng)采取一定措施對數(shù)據(jù)進行預(yù)處理，盡量消除“臟數(shù)據(jù)”，維持中心數(shù)據(jù)的正確性和一致性；為了滿足信息分析和決策支持，數(shù)據(jù)中心建立企業(yè)級數(shù)據(jù)倉庫，將決策支持型數(shù)據(jù)處理從事務(wù)型數(shù)據(jù)處理中分離出來；數(shù)據(jù)按照一定的周期，從事務(wù)型數(shù)據(jù)庫中導(dǎo)入決策支持型數(shù)據(jù)庫一一既“數(shù)據(jù)倉庫”；數(shù)據(jù)倉庫是按回答企業(yè)某方面的問題來分“主題”組織數(shù)據(jù)的；而為了提高檢索等應(yīng)用性能，針對特定的業(yè)務(wù)應(yīng)用，數(shù)據(jù)中心建立基于某一具體主題的數(shù)據(jù)集市，組織更細化的領(lǐng)域數(shù)據(jù)，從而可以支持更深層次的數(shù)據(jù)挖掘；數(shù)據(jù)集市可以是物理存在的，亦可是邏輯實體；在數(shù)據(jù)倉庫基礎(chǔ)上，可以對企業(yè)數(shù)據(jù)進行查詢、報表、OLAP、數(shù)據(jù)挖掘和知識發(fā)現(xiàn)等應(yīng)用；下節(jié)將對數(shù)據(jù)中心總體架構(gòu)設(shè)計中涉及的一些技術(shù)元素作一簡單描述。數(shù)據(jù)架構(gòu)的功能元素實時數(shù)據(jù)庫實時數(shù)據(jù)庫要處理的數(shù)據(jù)都是來自生產(chǎn)或其相關(guān)數(shù)據(jù)，其最主要特點是連續(xù)性和實時性；連續(xù)性是指數(shù)據(jù)一直存在，只要生產(chǎn)過程存在，其數(shù)據(jù)就一直連續(xù)存在，如某開關(guān)檢測點的電壓、電流等，其數(shù)據(jù)是一個連續(xù)過程；實時性是指數(shù)據(jù)只有具有時間戳才具有意義，如說某電力檢測點的電壓是380V，這個電壓只有和某一個時刻對應(yīng)起來才有實際的意義，否則其數(shù)據(jù)將毫無意義；同時，在實時數(shù)據(jù)庫中不僅其數(shù)據(jù)和時間相關(guān)，而且其事務(wù)都必須顯式定時限制，系統(tǒng)的正確性不僅依賴于事務(wù)的邏輯結(jié)果，而且依賴于該邏輯結(jié)果所產(chǎn)生的時間；譬如，對某重要開關(guān)自動控制：需要連續(xù)的采集它的電壓，然后判斷是否正常，進行不同動作，如果超出警戒值，將自動將其閉合；如果上述事務(wù)滯后太長的時間，才判斷出當前電壓超出警戒值，則毫無意義；基于目標的相異，實時數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫相比，其實現(xiàn)機制有明顯的區(qū)別，在數(shù)據(jù)模型及語言，數(shù)據(jù)庫的結(jié)構(gòu)與組織；事務(wù)的模型與特性，尤其是截止時間及軟硬性;事務(wù)的優(yōu)先級分派、調(diào)度和并發(fā)控制協(xié)議與算法；數(shù)據(jù)和事務(wù)特性的語義及其與一致性、正確性的關(guān)系，查詢/事務(wù)處理算法與優(yōu)化；I/O調(diào)度、恢復(fù)、通信的協(xié)議與算法等等方面，實時數(shù)據(jù)庫都有自身技術(shù)；本文只對實時數(shù)據(jù)庫技術(shù)作概要介紹；在實時數(shù)據(jù)庫中，數(shù)據(jù)庫是按照區(qū)域、單元、點、點參數(shù)的層次結(jié)構(gòu)進行數(shù)據(jù)組織和管理的，如下圖所示：系統(tǒng)目前，國內(nèi)外都存在較成熟的實時數(shù)據(jù)庫產(chǎn)品，比較具有代表性的有：OSIsoft公司的PI,InStep公司的eDNA，中科院軟件研究所的Agilor等，下面以eDNA為例作一簡單介紹；eDNA實時數(shù)據(jù)庫系統(tǒng)以服務(wù)目錄為核心，以安全服務(wù)為外圍，圍繞各個服務(wù)建立起安全的網(wǎng)絡(luò)；各個服務(wù)獨立但相互協(xié)作地為客戶服務(wù)，彼此不相互依附；eDNA系統(tǒng)分為服務(wù)器、客戶端和接口三個方面，分別提供采集和存儲現(xiàn)場實時數(shù)據(jù)、瀏覽和處理生產(chǎn)信息及數(shù)據(jù)庫的通信等功能；同時，eDNA采用全息無損壓縮算法，不僅具有較高的壓縮率，提高海量數(shù)據(jù)的訪問性能，亦能保證數(shù)據(jù)100%的準確；eDNA數(shù)據(jù)庫是一種基于P2P(PeertoPeer),核心很小，可以靈活擴展的分布式實時數(shù)據(jù)庫系統(tǒng)；eDNA數(shù)據(jù)庫系統(tǒng)在邏輯功能上分為服務(wù)器、客戶端和接口，eDNA服務(wù)器服務(wù)包括目錄服務(wù)、安全服務(wù)、BOSS服務(wù)、歷史服務(wù)、應(yīng)用服務(wù)、報警服務(wù)、PUSH服務(wù)、數(shù)據(jù)服務(wù)和通知服務(wù)等各組件，提供現(xiàn)場實時數(shù)據(jù)的采集和存儲；eDNA客戶端提供大量方便實用的應(yīng)用工具；另外，需要注意的是eDNA的外接接口；eDNA接口可以分為三大類：定制接口為集散控制系統(tǒng)(DCS)和可編程邏輯控制器(PLC)等控制系統(tǒng)提供的專用接口；標準接口為提供支持工業(yè)標準的數(shù)據(jù)通信接口，如OPC,Modbus,ODBC驅(qū)動等；?eDNA-API為第三方軟件與eDNA數(shù)據(jù)庫通信提供的應(yīng)用程序接口；eDNA組件邏輯結(jié)構(gòu)圖如下：1?2?2.2數(shù)據(jù)倉庫數(shù)據(jù)倉庫(DataWarehouse)是一個面向主題的(SubjectOriented)、集成的(Integrate)、相對穩(wěn)定的(Non-Volatile)、反映歷史變化(TimeVariant)的數(shù)據(jù)集合，用于支持管理決策；數(shù)據(jù)倉庫是一個數(shù)據(jù)環(huán)境，提供用戶用于決策支持的當前和歷史數(shù)據(jù)，這些數(shù)據(jù)在傳統(tǒng)的操作型數(shù)據(jù)庫中很難或不能得到；數(shù)據(jù)倉庫技術(shù)是為了有效的把操作形數(shù)據(jù)(ODS)集成到統(tǒng)一的環(huán)境中以提供決策型數(shù)據(jù)訪問;數(shù)據(jù)倉庫所做的一切都是為了讓用戶更快更方便查詢所需要的信息，提供決策支持；數(shù)據(jù)倉庫區(qū)是專門針對企業(yè)數(shù)據(jù)整合和數(shù)據(jù)歷史存儲需求而組織的集中化、一體化的數(shù)據(jù)存儲區(qū)域；數(shù)據(jù)倉庫由覆蓋多個主題域的企業(yè)信息組成，這些信息主要是低級別、細粒度數(shù)據(jù)，同時可以根據(jù)數(shù)據(jù)分析需求建立一定粒度的匯總數(shù)據(jù)；它們按照一定頻率定期更新，主要用于為數(shù)據(jù)集市提供整合后的、高質(zhì)量的數(shù)據(jù)；數(shù)據(jù)倉庫一般很少直接面向最終用戶，數(shù)據(jù)倉庫側(cè)重于數(shù)據(jù)的存儲和整合，通常采用輕量級索引；數(shù)據(jù)倉庫區(qū)內(nèi)的數(shù)據(jù)按照主題存放，數(shù)據(jù)粒度與ODS緩沖區(qū)一致或粗于緩沖區(qū)，這些數(shù)據(jù)主要是企業(yè)級數(shù)據(jù)與歷史信息，數(shù)據(jù)在線存儲的周期一般較長；數(shù)據(jù)倉庫區(qū)的數(shù)據(jù)是由ODS緩沖區(qū)的數(shù)據(jù)按照數(shù)據(jù)倉庫模型的要求進行整合后形成的；在設(shè)計數(shù)據(jù)倉庫時，應(yīng)注意建立規(guī)范的數(shù)據(jù)模型，下表是數(shù)據(jù)倉庫中數(shù)據(jù)和普通數(shù)據(jù)庫的數(shù)據(jù)特征的比較：數(shù)據(jù)倉庫的數(shù)據(jù)普通數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)長期的框架短期的框架靜態(tài)快速變化數(shù)據(jù)通常是匯總的記錄級的訪問特殊查詢訪問標準查詢訪問定期更新實時更新數(shù)據(jù)驅(qū)動事件驅(qū)動建立數(shù)據(jù)倉庫時，應(yīng)執(zhí)行以下步驟：1、收集和分析業(yè)務(wù)需求；2、建立數(shù)據(jù)模型和數(shù)據(jù)倉庫的物理設(shè)計；3、定義數(shù)據(jù)源；4、選擇數(shù)據(jù)倉庫技術(shù)和平臺；5、從操作型數(shù)據(jù)庫中抽取、凈化、和轉(zhuǎn)換數(shù)據(jù)到數(shù)據(jù)倉庫；6、選擇訪問和報表工具；7、選擇數(shù)據(jù)庫連接軟件；8、選擇數(shù)據(jù)分析和數(shù)據(jù)展示軟件；9、更新數(shù)據(jù)倉庫；設(shè)計數(shù)據(jù)倉庫模型時，需要考慮以下幾點：1、基于主題域；2、側(cè)重于對企業(yè)范圍內(nèi)數(shù)據(jù)進行整合；3、明細數(shù)據(jù)與聚合數(shù)據(jù)共享；4、從技術(shù)而言是3NF模式；1?2?2.3數(shù)據(jù)集市數(shù)據(jù)集市是為了特定的應(yīng)用目的或應(yīng)用范圍，而從數(shù)據(jù)倉庫中獨立出來的一部分數(shù)據(jù)，也可稱為部門數(shù)據(jù)或主題數(shù)據(jù)(subjectarea)；在數(shù)據(jù)倉庫的實施過程中往往可以從一個部門的數(shù)據(jù)集市著手，以后再用幾個數(shù)據(jù)集市組成一個完整的數(shù)據(jù)倉庫；需要注意的就是再實施不同的數(shù)據(jù)集市時，同一含義的字段定義一定要相容，這樣在以后實施數(shù)據(jù)倉庫時才不會造成大麻煩；數(shù)據(jù)集市的數(shù)據(jù)不應(yīng)從源數(shù)據(jù)系統(tǒng)直接抽??；因為，如果數(shù)據(jù)集市從源數(shù)據(jù)系統(tǒng)直接向數(shù)據(jù)集市提供數(shù)據(jù)則可能導(dǎo)致數(shù)據(jù)的不一致，也可能導(dǎo)致多個額外進程產(chǎn)生，這些進程在源系統(tǒng)中將占用額外的系統(tǒng)資源，進而造成資源上的浪費；數(shù)據(jù)集市可以和數(shù)據(jù)倉庫位于同一個物理服務(wù)器上，或者分布在不同的服務(wù)器上；建議數(shù)據(jù)倉庫與數(shù)據(jù)集市采用使用分布式結(jié)構(gòu)來提高整個系統(tǒng)的可用性、可擴展性和高性能；數(shù)據(jù)集市的建立可以采用兩種形式：邏輯集市(視圖方式)和物理集市；其中邏輯集市具有開發(fā)周期稍短，易擴展，節(jié)省存儲空間的優(yōu)點，其缺點是性能較低，而通過物理集市往往可以獲得較高的性能，但其開發(fā)設(shè)計周期相對較長、擴展性低、對于存儲空間要求較高；在建設(shè)中，企業(yè)需要根據(jù)實際情況選擇是使用邏輯集市還是物理集市；一般來說，數(shù)據(jù)集市所存放數(shù)據(jù)根據(jù)應(yīng)用類型的不同而采用不同類型的數(shù)據(jù)模型，如OLAP聯(lián)機分析選用星形模式(Satr-Schema)，數(shù)據(jù)挖掘應(yīng)用則應(yīng)選用數(shù)據(jù)寬表結(jié)構(gòu)等，其存儲數(shù)據(jù)周期根據(jù)應(yīng)用需求而定；數(shù)據(jù)集市區(qū)的數(shù)據(jù)由數(shù)據(jù)倉庫區(qū)的數(shù)據(jù)經(jīng)過轉(zhuǎn)換后形成，直接支撐前端的應(yīng)用需求；數(shù)據(jù)集市的數(shù)據(jù)通常會作為OLAP服務(wù)和應(yīng)用服務(wù)的數(shù)據(jù)輸入。?2.4元數(shù)據(jù)元數(shù)據(jù)是描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)；可將其按用途的不同分為兩類：技術(shù)元數(shù)據(jù)和商業(yè)元數(shù)據(jù)；技術(shù)元數(shù)據(jù)是數(shù)據(jù)倉庫的設(shè)計和管理人員用于開發(fā)和日常管理數(shù)據(jù)倉庫時使用的數(shù)據(jù)；包括：數(shù)據(jù)源信息；數(shù)據(jù)轉(zhuǎn)換的描述；數(shù)據(jù)倉庫內(nèi)對象和數(shù)據(jù)結(jié)構(gòu)的定義；數(shù)據(jù)清理和數(shù)據(jù)更新時用的規(guī)則；源數(shù)據(jù)到目的數(shù)據(jù)的映射；用戶訪問權(quán)限，數(shù)據(jù)備份歷史記錄，數(shù)據(jù)導(dǎo)入歷史記錄，信息發(fā)布歷史記錄等；商業(yè)元數(shù)據(jù)從商業(yè)業(yè)務(wù)的角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù)；包括：業(yè)務(wù)主題的描述，包含的數(shù)據(jù)、查詢、報表等；元數(shù)據(jù)為訪問數(shù)據(jù)倉庫提供了一個信息目錄(informationdirectory)，這個目錄全面描述了數(shù)據(jù)倉庫中都有什么數(shù)據(jù)、這些數(shù)據(jù)怎么得到的、和怎么訪問這些數(shù)據(jù)；是數(shù)據(jù)倉庫運行和維護的中心，數(shù)據(jù)倉庫服務(wù)器利用他來存貯和更新數(shù)據(jù)，用戶通過他來了解和訪問數(shù)據(jù)；元數(shù)據(jù)管理包括對元數(shù)據(jù)的定義、收集、控制和發(fā)布，就供電企業(yè)的具體情況而言則應(yīng)該使用統(tǒng)一的元數(shù)據(jù)管理平臺來對整個企業(yè)范圍內(nèi)的元數(shù)據(jù)進行管理；通常，元數(shù)據(jù)的收集包括以下幾條途徑：1、數(shù)據(jù)源的元數(shù)據(jù)；

2、數(shù)據(jù)模型的元數(shù)據(jù)3、數(shù)據(jù)源與數(shù)據(jù)倉庫映射的元數(shù)據(jù);4、數(shù)據(jù)倉庫應(yīng)用的元數(shù)據(jù)。數(shù)據(jù)倉庫總體執(zhí)行架構(gòu)執(zhí)行架構(gòu)用于規(guī)范和定義數(shù)據(jù)倉庫運行時態(tài)的功能流程；數(shù)據(jù)中心數(shù)據(jù)倉庫總體架構(gòu)設(shè)計圖如下圖所示：數(shù)據(jù)訪問架構(gòu)數(shù)據(jù)倉庫架構(gòu)數(shù)據(jù)抽取數(shù)據(jù)存貯??數(shù)據(jù)集市」數(shù)據(jù)訪問數(shù)據(jù)挖掘，元數(shù)據(jù)管理數(shù)據(jù)訪問架構(gòu)數(shù)據(jù)倉庫架構(gòu)數(shù)據(jù)抽取數(shù)據(jù)存貯??數(shù)據(jù)集市」數(shù)據(jù)訪問數(shù)據(jù)挖掘，元數(shù)據(jù)管理數(shù)據(jù)ETL服務(wù)ETL的過程就是數(shù)據(jù)流動的過程，從不同異構(gòu)數(shù)據(jù)源流向統(tǒng)一的目標數(shù)據(jù)；其間，數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換和裝載形成串行或并行的過程；下面對抽取、清洗、轉(zhuǎn)換、加載等環(huán)節(jié)進行分別介紹：1.3.1.1數(shù)據(jù)抽取抽取步驟負責將數(shù)據(jù)倉庫所需的數(shù)據(jù)從各個業(yè)務(wù)系統(tǒng)數(shù)據(jù)源中提取出來;由于各個數(shù)據(jù)源內(nèi)的數(shù)據(jù)及其質(zhì)量各不相同，因此針對每個數(shù)據(jù)源都可能需要建立各自獨立的抽取流程;抽取流程的目的在于將數(shù)據(jù)從數(shù)據(jù)源抽出并通過一組通用接口傳送給數(shù)據(jù)抽取架構(gòu)中的清洗與轉(zhuǎn)換步驟；數(shù)據(jù)抽取時，應(yīng)考慮影響數(shù)據(jù)抽取的一些因素，譬如：源、目標數(shù)據(jù)格式;壞數(shù)據(jù)；系統(tǒng)的兼容性數(shù)據(jù)源的變化；數(shù)據(jù)抽取的時間；數(shù)據(jù)抽取時，通?？梢圆捎靡韵聦Σ撸喝珟毂容^；利用程序日志；利用數(shù)據(jù)庫日志；利用時間戳或利用位圖索引。數(shù)據(jù)清洗清洗流程負責對數(shù)據(jù)進行清洗與確認，使之與數(shù)據(jù)倉庫所要求的數(shù)據(jù)標準與質(zhì)量相符合;數(shù)據(jù)清洗流程的設(shè)計可以劃分為兩類:一類是針對特定業(yè)務(wù)源系統(tǒng)編寫的專用清洗程序，而另一類則是適用于各類業(yè)務(wù)源系統(tǒng)以及數(shù)據(jù)倉庫內(nèi)清洗需求的通用程序;由于從源系統(tǒng)抽取的數(shù)據(jù)都存在不同程度的不一致性，因此可以通過使用相關(guān)規(guī)則來檢查和改善數(shù)據(jù)質(zhì)量;此外，由于很多業(yè)務(wù)源系統(tǒng)的清洗規(guī)則和處理流程基本相同，因此應(yīng)該將關(guān)鍵的清洗功能設(shè)計為通用函數(shù)(通過變化參數(shù)來滿足不同業(yè)務(wù)源系統(tǒng)的清洗需求)以提高其可重用性。數(shù)據(jù)轉(zhuǎn)換轉(zhuǎn)換步驟負責對源系統(tǒng)所抽出數(shù)據(jù)進行操作或放大;轉(zhuǎn)換流程是數(shù)據(jù)在進入數(shù)據(jù)倉庫前最后一次進行修改的環(huán)節(jié)；事實表的聚合以及關(guān)鍵績效指標(KPI)的計算都在這一步完成。數(shù)據(jù)加載作為ETL流程的最后一步，加載流程負責將數(shù)據(jù)加載到最終數(shù)據(jù)結(jié)構(gòu)中，這些結(jié)構(gòu)可能是維度表，也可能是事實表或者事務(wù)表等；加載步驟中的關(guān)鍵組件是代理鍵管道(surrogatekeypipeline),代理鍵管道主要用于將加載完成的數(shù)據(jù)表內(nèi)自然鍵替換成代理鍵；在代理鍵管道內(nèi)，維度表的主鍵與外鍵仍然得到保留，但是為了提升系統(tǒng)性能，在完成加載結(jié)束以后，一些約束條件將被去除而僅保留自然鍵進行。緩存點在ETL抽取過程中，緩存點的功能主要在于設(shè)定任務(wù)重啟點以及分析數(shù)據(jù)前后沿襲關(guān)系；數(shù)據(jù)緩存既可以使用平面文件實現(xiàn)也可以使用數(shù)據(jù)表存放，但是通常并不直接鏡像目標數(shù)據(jù)表的數(shù)據(jù)結(jié)構(gòu)。元數(shù)據(jù)管理服務(wù)ETL流程的實施關(guān)鍵在于設(shè)計合理的元數(shù)據(jù)使得系統(tǒng)能夠清晰地定義ETL涉及的各個環(huán)節(jié)；數(shù)據(jù)抽取架構(gòu)中主要包含技術(shù)和業(yè)務(wù)兩類元數(shù)據(jù)；ETL架構(gòu)中的源數(shù)據(jù)管理服務(wù)必須與整個數(shù)據(jù)倉庫的元數(shù)據(jù)管理服務(wù)協(xié)同一致，實現(xiàn)統(tǒng)一管理。1.3.2數(shù)據(jù)訪問數(shù)據(jù)倉庫數(shù)據(jù)訪問主要包括報表、查詢、聯(lián)機分析和知識發(fā)現(xiàn)四類，通常在前端展現(xiàn)的時候，最終用戶的類別由于其業(yè)務(wù)級別和工作不同而不同，下表歸納了最終用戶訪問類型如何使用信息，以及每種類型的典型用戶：數(shù)據(jù)訪問訪問工具信息使用用戶報表領(lǐng)導(dǎo)信息系統(tǒng)?狀態(tài)報告?數(shù)據(jù)匯總?數(shù)據(jù)鉆取?企業(yè)領(lǐng)導(dǎo)?高級管理者報表報表生成/發(fā)布?靜態(tài)數(shù)據(jù)?預(yù)定義報表?受限的數(shù)據(jù)交互?數(shù)據(jù)分析人員查詢即席查詢?事實發(fā)現(xiàn)?查詢?高級數(shù)據(jù)分析人員?專家查詢即席報表?事實發(fā)現(xiàn)?報表?數(shù)據(jù)分析人員分析MOLAPROLAPHOLAP?例外管理?問題發(fā)現(xiàn)?What-if分析?多維分析?數(shù)據(jù)分析人員?計劃制定者?專家知識發(fā)現(xiàn)數(shù)據(jù)挖掘?規(guī)則發(fā)現(xiàn)?方案驗證?專家?數(shù)據(jù)分析員數(shù)據(jù)可視化?交互圖表?方案識別?企業(yè)領(lǐng)導(dǎo)?經(jīng)理影響分析?相關(guān)性分析?聚類分析?專家?分析人員風險分析?專家?分析人員時間序列分析?專家?分析人員報表報表是指從數(shù)據(jù)倉庫或數(shù)據(jù)集市中讀取數(shù)據(jù)，并以圖形、表格的形式顯示出來；報表一般會被分發(fā)給企業(yè)各個層面的用戶；報表工具一般分為兩種類型：?報表生成/發(fā)布工具報表生成/發(fā)布工具用于快速、便捷、自動地產(chǎn)生高質(zhì)量的報表，并用報表反映企業(yè)關(guān)鍵商業(yè)信息。報表可以以預(yù)定義的格式通過Web、Email或文件服務(wù)器發(fā)布給目標用戶；?領(lǐng)導(dǎo)信息系統(tǒng)領(lǐng)導(dǎo)信息系統(tǒng)比報表生成/發(fā)布工具更加先進，主要提供了易于操作的查詢界面，使領(lǐng)導(dǎo)及決策者能方便查詢數(shù)據(jù)倉庫及數(shù)據(jù)集市，并且通過易于理解的風格進行顯示，如報表、即時通訊或報紙等樣式；查詢查詢工具用SQL的方式，讀取數(shù)據(jù)倉庫或數(shù)據(jù)集市，并進行顯示；查詢主要面向于基于數(shù)據(jù)的查詢，一般情況下，查詢不提供深層次的數(shù)據(jù)分析；使用查詢的用戶一般知道他需要看什么，直接向數(shù)據(jù)倉庫/數(shù)據(jù)集市發(fā)出查詢指令；下圖給出了典型的查詢場景示例。：c：,'■七■■^：：:：：=：：j：:：：;：c：,'■七■■^：：:：：=：：j：:：：;：：:：：:：：:：：:：=:：：:：：^：f：:：=:：：f：:=^：:：：:：：:：：:：：:：：:：：:：：:：；!!-!!：!■：!：：!!：!!：!!：!!；翳海￥諫舞孽簿舉序群播;:?TT箕二:E二::勺『：：：￡再：：：二：:用毒：：：：丁?。憾罩?:七B：::：!!^：!!^!!：：!：!!;!：!!：!!：：：：：!：!::宏業(yè)：：：：：：：：=：：：：Qiica'^oMihvaukHeSt.Lcuis3t.Fziul

Di?lTCit:：臬再尊/尊騏遴爸：：：：o：：K^iE逐爨LoGkc rggor；hadsoniHp<>:UHrrij.L=it|llIcokatttiebri=￡ikc>LJ-orth?r.iidweJ-.■從boxwFrcjREd □BhIowProj^ctH-dGULsta忙EiMVfS■國團...WlTPriJ...白no甲By...圖2-6典型查詢場景示例查詢工具一般不會包括多維數(shù)據(jù)存儲，也不提供多維分析能力，查詢工具直接通過SQL語句的