數(shù)據(jù)倉庫dw建設(shè)_第1頁
數(shù)據(jù)倉庫dw建設(shè)_第2頁
數(shù)據(jù)倉庫dw建設(shè)_第3頁
數(shù)據(jù)倉庫dw建設(shè)_第4頁
數(shù)據(jù)倉庫dw建設(shè)_第5頁
免費預(yù)覽已結(jié)束,剩余1頁可下載查看

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)

文檔簡介

1、1.數(shù)據(jù)倉庫概述經(jīng)過多年IT的建設(shè),信息對于企業(yè)的日常管理已經(jīng)日益重要,并逐漸成為重要的信息資 產(chǎn),信息資產(chǎn)的管理已經(jīng)成為日常管理中一個非常重要的環(huán)節(jié)。如何管理和利用好企業(yè)內(nèi)部 紛繁的數(shù)據(jù)也越來越成為信息管理的一項重要工作。在過去相當(dāng)一段時間內(nèi),企業(yè)業(yè)務(wù)系統(tǒng)的構(gòu)建主要圍繞著業(yè)務(wù)的數(shù)據(jù)展開,應(yīng)用的構(gòu)建 多是自下而上構(gòu)建,主要以滿足某個部門的業(yè)務(wù)功能為主,我們稱之為業(yè)務(wù)處理的時代。這 樣的構(gòu)建方式造成了一個個分立的應(yīng)用,分立的應(yīng)用導(dǎo)致了一個個的靜態(tài)豎井。由于數(shù)據(jù)從 屬于應(yīng)用,缺乏企業(yè)全局的單一視圖,形成了一個個信息孤島,分立的系統(tǒng)之間缺乏溝通, 同樣數(shù)據(jù)的孤島導(dǎo)致只能獲得片面的信息,而不是全局的單

2、一視圖。存儲這些信息的載體可 能是各種異構(gòu)或同構(gòu)的關(guān)系型數(shù)據(jù)庫,也有可能是XML、EXCEL等文件。因此,構(gòu)建新一代 的一體化平臺提上了日程并最終促成全域數(shù)據(jù)的管理方式,目的是覆蓋企業(yè)各個環(huán)節(jié)的關(guān)鍵 業(yè)務(wù)數(shù)據(jù),完善元數(shù)據(jù)管理,形成全局的數(shù)據(jù)字典、業(yè)務(wù)數(shù)據(jù)規(guī)范和統(tǒng)一的業(yè)務(wù)指標(biāo)含義, 能夠靈活的獲取企業(yè)業(yè)務(wù)數(shù)據(jù)的單一視圖(需要保證數(shù)據(jù)的一致性、完整性、準(zhǔn)確性和及時 性)。數(shù)據(jù)的交換和共享主要發(fā)生在上下級組織機構(gòu)之間或同級的不同部門之間。最終,這 些數(shù)據(jù)可以為部隊分析、決策支持(多維分析、即席查詢、數(shù)據(jù)挖掘)等應(yīng)用提供更及時、 準(zhǔn)確、有效的支持。數(shù)據(jù)倉庫的目標(biāo)是實現(xiàn)跨系統(tǒng)數(shù)據(jù)共享,解決信息孤島,提升

3、數(shù)據(jù)質(zhì)量,輔助決策分 析,提供統(tǒng)一的數(shù)據(jù)服務(wù)。同時,數(shù)據(jù)倉庫的構(gòu)建也面臨著各種挑戰(zhàn),比如信息整合在技術(shù) 上的復(fù)雜度、信息整合的管理成本、數(shù)據(jù)資源的獲取、信息整合的實施周期 以及整合項目的 風(fēng)險等。Page 7 of 72全域數(shù)據(jù)庫總體架構(gòu)展示層門戶手機平板電腦PC單點登錄*統(tǒng)維分席表計測析查統(tǒng)分分詢計析析統(tǒng)一授權(quán)服務(wù)基礎(chǔ)服務(wù)層應(yīng)用服 務(wù)器服務(wù) 總線工作流 引消想中 間件OLAP引華數(shù)據(jù)挖 掘引擎事件 驅(qū)動則擎 規(guī)引同作 協(xié)工主數(shù)據(jù) 管理引擎大數(shù)據(jù) 分析引知識內(nèi) 容管理引簞空間 地理 數(shù)據(jù) 引華應(yīng) 用 層分析 型管 理合數(shù) 據(jù) 整 合空 間 數(shù) 據(jù)其 他 應(yīng) 用數(shù)據(jù)存儲OSDUB數(shù)據(jù)倉庫 數(shù)據(jù)集

4、市數(shù)據(jù)流媒體 數(shù)據(jù)共享數(shù)據(jù) 庫交換 服務(wù) 體系數(shù)據(jù)徵據(jù)1數(shù)據(jù)1消息復(fù)制清洗轉(zhuǎn)換據(jù)流隊列數(shù)據(jù)層(ISB)流程信息服務(wù)服務(wù)服務(wù)服務(wù)應(yīng)用層具他傳感器/監(jiān)控數(shù)據(jù)源攝橡頭虛擬傳感器智能傳感器IT安全% 維管理基礎(chǔ)設(shè)施層(網(wǎng)絡(luò)、存儲、硬件、系統(tǒng)軟件)全域數(shù)據(jù)庫總體架構(gòu)全域數(shù)據(jù)庫總體的層次,最下面是基礎(chǔ)架構(gòu)層,主要包括支撐這一架構(gòu)運行的主機系統(tǒng)、存 儲備份系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)等內(nèi)容。從下往上看,再上面是數(shù)據(jù)源層,既包括各個業(yè)務(wù)的關(guān)系型數(shù)據(jù) 源、內(nèi)容管理數(shù)據(jù)源也包括半結(jié)構(gòu)化數(shù)據(jù)源比如XML、EXCEL等,也包括各個總隊、支隊的業(yè)務(wù)數(shù)據(jù)源。數(shù)據(jù)源層之上是“交換服務(wù)體系”,主要包括信息服務(wù)總線和服務(wù)總線兩部分。信息服務(wù)

5、總 線主要實現(xiàn)數(shù)據(jù)層的信息整合和數(shù)據(jù)轉(zhuǎn)換,而服務(wù)總線主要實現(xiàn)應(yīng)用層的信息交換和整合。信息 服務(wù)總線主要依托聯(lián)邦、復(fù)制、清洗、轉(zhuǎn)換等技術(shù)實現(xiàn),其主要 包括信息整合服務(wù)和清洗轉(zhuǎn)換加 載服務(wù)兩部分。通過信息服務(wù)總線的信息整合服務(wù)(數(shù)據(jù)聯(lián)邦、復(fù)制),可以透明、實時的訪問分布在總隊和支隊的各個業(yè)務(wù)系統(tǒng)中的各種同 構(gòu)、異構(gòu)數(shù)據(jù)(前提是擁有足夠的權(quán)限)。信息整合服務(wù)在整個企業(yè)層面保證了數(shù)據(jù)的完整性和及時性。信息服務(wù)主要使用兩種技術(shù)來完成這一功能:聯(lián)邦和復(fù)制。通過聯(lián)邦功能可以把關(guān)系數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)(如Excel文件、XML文件、Web搜索引擎、MQ查詢和內(nèi)容源)組成一個邏輯數(shù)據(jù)庫,對這些數(shù)據(jù)源中的表可以像操

6、作本地數(shù)據(jù) 庫表一樣進行操作,而不必關(guān)心我們操作的這些數(shù)據(jù)底層是什么數(shù)據(jù)源,物理在什么位置。而針 對大數(shù)據(jù)量的數(shù)據(jù)訪問或高并發(fā)的訪問,通常將源數(shù)據(jù)增量實時復(fù)制到本地,復(fù)制的實現(xiàn)是基于 對源數(shù)據(jù)庫的日志進行捕獲,獲取增量數(shù)據(jù),并基于消息的機制將其復(fù)制到目的數(shù)據(jù)庫,復(fù)制的 過程中可以實現(xiàn)數(shù)據(jù)的合并、拆分、轉(zhuǎn)換等操作。信息服務(wù)總線主要完成數(shù)據(jù)的分析、清洗(標(biāo)準(zhǔn)化)、轉(zhuǎn)換、加載等工作。數(shù)據(jù)清洗,主要 是去除冗余數(shù)據(jù),將零散字段合并成全局記錄,并解決重疊和矛盾的數(shù)據(jù),然后通過添加關(guān)系和 層次結(jié)構(gòu)完善豐富信息。首先面臨的挑戰(zhàn)就是如何更有效的識別現(xiàn)有的業(yè)務(wù)系統(tǒng),包括業(yè)務(wù)系統(tǒng) 使用的分類方法、層次結(jié)構(gòu)、數(shù)據(jù)分

7、布、數(shù)據(jù)字典 等。如果數(shù)據(jù)字典不完整或缺失,就要通過方 法找出其數(shù)據(jù)的存儲結(jié)構(gòu)以及各個表之間的主外鍵關(guān)聯(lián)、各表之間的轉(zhuǎn)換關(guān)系等,同樣,數(shù)據(jù)的 分布情況同樣可以使用分析功能來完成。在對現(xiàn)有數(shù)據(jù)足夠了解的基礎(chǔ)上(完成了數(shù)據(jù)的分 析),接下來就要制定數(shù)據(jù)的清洗規(guī)則以及轉(zhuǎn)換規(guī)則,其中,清洗規(guī)則又分為兩種情況,一種清 洗規(guī)則是明確的,另一種清洗規(guī)則是模糊的,比如不同系統(tǒng)中存儲的地址信息,“南京市定淮 門大街9號和“江蘇省南京市下關(guān)區(qū)定淮門大街9號實際上是一個地址,但計算機會當(dāng)成 兩個地址來處理。概率匹配功能和動態(tài)權(quán)重策略可以匹配創(chuàng)建高質(zhì)量、準(zhǔn)確的數(shù)據(jù),并在整個數(shù) 據(jù)域中一致地識別核心業(yè)務(wù)信息,如人名、位

8、置、和時間。數(shù)據(jù)清洗、轉(zhuǎn)換、加載服務(wù)對保障數(shù)據(jù)的準(zhǔn)確性和一致性非常重要。在不同的系統(tǒng)中,對同 一業(yè)務(wù)會使用不同的分類方法,同樣,數(shù)據(jù)的類別和層次結(jié)構(gòu)也會不同。需要通過數(shù)據(jù)清洗、轉(zhuǎn) 換、加載層實現(xiàn)對這些信息格式的轉(zhuǎn)換,匹配成通用的信息格式和分類方法,以便提供整個企業(yè) 業(yè)務(wù)層面聚合的業(yè)務(wù)視圖。實際證明一體化平臺(一期)的全域數(shù)據(jù)梳理中,手工統(tǒng)計可以完成 這項工作但不夠好,不夠直觀和沒有擴展延續(xù)能力。數(shù)據(jù)清洗、轉(zhuǎn)換、加載工作對未來數(shù)據(jù)的使 用非常重要,即使有工具幫助,工作量依然很大。雖然,開始的時候,這項工作看起來費時費 力,但從長遠(yuǎn)來 看,它使得基于這些數(shù)據(jù)的業(yè)務(wù)流程和統(tǒng)一數(shù)據(jù)視圖實現(xiàn)自動化,并減

9、少了人為 干預(yù)不準(zhǔn)確或不一致數(shù)據(jù)的努力,從而節(jié)省了大量成本。企業(yè)層面的單一視圖一經(jīng)建立,其維 護必將是一個持續(xù)進行的過程。數(shù)據(jù)的管理通常需要一個管理組織來對沖突或缺失的數(shù)據(jù)進行決策,組織會通常需要各個業(yè) 務(wù)部門的人參與,而不僅僅局限于通技處或信息中心的人。企業(yè)單一數(shù)據(jù)視圖的維護,很多業(yè)務(wù) 部門都做的不夠好,時間一久,很多業(yè)務(wù)部門就變得厭倦,數(shù)據(jù)清洗轉(zhuǎn)換的工作沒有堅持下去。一旦數(shù)據(jù)的準(zhǔn)確性出現(xiàn)問題,業(yè)務(wù)系統(tǒng)的全局共享就無法再從中獲益。交換服務(wù)體系中的服務(wù)總線主要基于流程服務(wù)、傳輸服務(wù)、交換服務(wù)等實現(xiàn)。通過 使用總線,可以支持各種協(xié)議以及數(shù)據(jù)格式的數(shù)據(jù)交互。通過搭建一個基于標(biāo)準(zhǔn)的、開發(fā)的、易 于集

10、成的、總線方式的服務(wù)總線,通過今后對現(xiàn)有系統(tǒng)的逐步升級改造,系統(tǒng)之間以一種成為“服務(wù)”的接口方式統(tǒng)一通過總線方式進行交互,通過對服務(wù)的管理,系統(tǒng)之間交互的信息格式 的差異、傳輸協(xié)議的差異、采用技術(shù)的差異、物理位 置的不同等等這些問題都由這個總線來進行 屏蔽。進一步通過流程管理,將模塊和系統(tǒng)之間的服務(wù)按照業(yè)務(wù)流程的需要進行編排,做到了“隨需而變” O數(shù)據(jù)存儲區(qū)包括ODS、數(shù)據(jù)倉庫/數(shù)據(jù)集市、共享數(shù)據(jù)庫、特征庫、模型庫等,主 要提供各種 數(shù)據(jù)的存儲服務(wù)。其中,邏輯視圖中ODS部分存放了整個企業(yè)單位全局級的明細(xì)數(shù)據(jù),而數(shù)據(jù)倉庫數(shù)據(jù)集市中存儲了不同級別的匯總數(shù)據(jù)。特征庫主要存放各種數(shù)據(jù)分 群特征、業(yè)務(wù)

11、分類特征等業(yè)務(wù)信息,模型庫存放構(gòu)建的各種業(yè)務(wù)模型信息等。基礎(chǔ)服務(wù)層主要包括“應(yīng)用服務(wù)器”,“服務(wù)總線,“工作流引擎”,“消息中間件”, u OLAP引擎”,“數(shù)據(jù)挖掘引擎”,“事件驅(qū)動”,“規(guī)則引擎”,“協(xié)同工作”和“空間地 理數(shù)據(jù)引擎” O應(yīng)用層包括各種應(yīng)用,其中多維分析、即席查詢、報表統(tǒng)計、圖形展現(xiàn)等。右邊的信息治理層主要是為了保證數(shù)據(jù)的完整性、一致性、準(zhǔn)確性、及時性,保證歷史數(shù)據(jù) 正確歸檔并在需要的時候可以和現(xiàn)有數(shù)據(jù)一起被聯(lián)合訪問,提供數(shù)據(jù)庫安全、審計、監(jiān)控和合規(guī) 服務(wù),從而防止內(nèi)部人員偷竊,防范欺詐作假,保護數(shù)據(jù)隱私,強制執(zhí)行安全規(guī)范,強制滿足合 規(guī)的要求,防止外部攻擊對數(shù)據(jù)的破壞。而

12、元數(shù)據(jù)管理會貫穿數(shù)據(jù)業(yè)務(wù)層面、業(yè)務(wù)系統(tǒng)、信息整合服務(wù)總線、ETL層、數(shù)據(jù)存儲區(qū)、信息服務(wù)層、展現(xiàn)層等各個層面,當(dāng)數(shù)據(jù)口徑出現(xiàn)問題時,能夠提供數(shù)據(jù)在各個層面的 正向/逆向追蹤功能。元數(shù)據(jù)的管理涉及業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)兩種。3.數(shù)據(jù)倉庫架構(gòu)離線報表多維分析即席查詢報表統(tǒng)計數(shù)據(jù)挖掘決策管理預(yù)測分析邏輯數(shù)據(jù)倉庫層數(shù)據(jù)清洗、轉(zhuǎn)換、加載元數(shù)據(jù)管理信息整合服務(wù)(聯(lián)邦、復(fù)數(shù)據(jù)交換I相關(guān)業(yè)務(wù)單位數(shù)據(jù)倉庫總體架構(gòu)1)多維分析從數(shù)據(jù)的全方位了解現(xiàn)狀,管理人員往往希望從不同的角度來審視業(yè)務(wù)數(shù)值,比如 從時間、地域、類別、功能來看同一類數(shù)據(jù)的總和。每一個分析的角度可以叫做一個維, 因此,把多角度分析方式稱為多維分析。

13、以前,每一個分析的角度需要制作一張報表。由 此產(chǎn)生了在線多維分析功能,根據(jù)用戶常用的多種分析角度,事先計算好一些輔助結(jié)構(gòu), 以便在查詢時能盡快抽取到所要的記錄,并快速地從一維轉(zhuǎn)變到另一維,將不同角度的信 息以數(shù)字、直方圖、餅圖、曲線等等方式展現(xiàn)在您面前。2)即席查詢可以將數(shù)據(jù)進行查詢分組,進行資源的管理,可以設(shè)置查詢優(yōu)先級,可以自動控制,調(diào)度復(fù)雜查詢和進行跟蹤分析查詢??梢园凑找韵轮匾椒ㄟM行使用,主動和動態(tài)地控制 數(shù)據(jù)庫的查詢流程,為不同大小的查詢定義不同的查詢類別,從而改善查詢之間的系統(tǒng)資 源共享,避免較小的查詢被較大的查詢阻塞等。3)數(shù)據(jù)挖掘數(shù)據(jù)挖掘正如在礦井中可以開采出珍貴的礦石,在數(shù)據(jù)倉庫的數(shù)據(jù)里也常??梢蚤_采 出業(yè)務(wù)人員意想不到的信息。它比多維分析更進一步。例如,如果管理人員要求比較各個 區(qū)域某類出入境特征數(shù)量在過去一年的情況,可以從多維分析中找答案。但是,如果管理 人員要問為何一個地區(qū)的出入境特征情況突然變得特別好或是不好,或者問該出入境特征 在另一地區(qū)將會怎么樣,這時數(shù)據(jù)挖掘知識可以作出解答。4)數(shù)據(jù)倉庫層數(shù)據(jù)倉庫用于抽取、整合、分布、存儲有用的

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論