商務(wù)智能技術(shù)基礎(chǔ)ppt課件

1、第二章 商務(wù)智能技術(shù)根底.內(nèi)容提要2.1 商務(wù)智能系統(tǒng)組成及技術(shù)根底2.2 數(shù)據(jù)倉庫技術(shù)2.3 聯(lián)機(jī)分析技術(shù)2.4 數(shù)據(jù)發(fā)掘技術(shù)2.5 數(shù)據(jù)展現(xiàn)技術(shù).2.1 商務(wù)智能系統(tǒng)架構(gòu).商務(wù)智能系統(tǒng)架構(gòu)抽取轉(zhuǎn)換裝載OLAP效力器數(shù)據(jù)發(fā)掘效力器報表設(shè)計工具外部數(shù)據(jù)源業(yè)務(wù)系統(tǒng)數(shù)據(jù)源元數(shù)據(jù)元數(shù)據(jù)數(shù)據(jù)倉庫用戶分析人員。數(shù)據(jù)源 數(shù)據(jù)預(yù)處置 數(shù)據(jù)倉庫 數(shù)據(jù)分析 數(shù)據(jù)展現(xiàn) 圖1.3 商務(wù)智能系統(tǒng)的組成.商務(wù)智能系統(tǒng)架構(gòu)商務(wù)智能系統(tǒng)的最大益處是可以得到準(zhǔn)確、及時的信息，協(xié)助企業(yè)博得競爭優(yōu)勢，這些功能的完成主要依托DW、 DM和OLAP三大技術(shù)和數(shù)據(jù)預(yù)處置、建立數(shù)據(jù)倉庫、數(shù)據(jù)分析及數(shù)據(jù)展現(xiàn)四個階段。.數(shù)據(jù)預(yù)處置是整合企業(yè)

2、原始數(shù)據(jù)的第一步，包括數(shù)據(jù)抽取、轉(zhuǎn)換和裝載三個過程;數(shù)據(jù)倉庫那么是處置海量數(shù)據(jù)的根底;數(shù)據(jù)分析是表達(dá)系統(tǒng)智能的關(guān)鍵，普通采用OLAP和DM兩大技術(shù)。OLAP不僅進(jìn)展數(shù)據(jù)匯總/聚集，同時還提供切片、切塊、下鉆、上卷和旋轉(zhuǎn)等數(shù)據(jù)分析功能，用戶可以方便地對海量數(shù)據(jù)進(jìn)展多維分析。數(shù)據(jù)發(fā)掘那么是發(fā)掘數(shù)據(jù)背后隱藏的知識，經(jīng)過關(guān)聯(lián)分析、聚類和分類等方法建立分析模型，預(yù)測企業(yè)未來開展趨勢和將要面臨的問題。數(shù)據(jù)展現(xiàn)那么主要保證系統(tǒng)分析結(jié)果的可視化。.數(shù)據(jù)分析平臺(數(shù)據(jù)發(fā)掘、報表展現(xiàn)和OLAP工具)外部數(shù)據(jù)源業(yè)務(wù)處置系統(tǒng)數(shù)據(jù)源數(shù)據(jù)倉庫商務(wù)智能運用元數(shù)據(jù)商務(wù)智能框架圖.二、商務(wù)智能技術(shù)簡介1. DW數(shù)據(jù)倉庫 必要性

3、： 實施BI首先要從企業(yè)內(nèi)部和企業(yè)外部不同的數(shù)據(jù)源，如客戶關(guān)系管理(CRM)、供應(yīng)鏈管理(SCM)、企業(yè)資源規(guī)劃(ERP)系統(tǒng)以及其他運用系統(tǒng)等搜集有用的數(shù)據(jù)，進(jìn)展轉(zhuǎn)換和合并，因此需求數(shù)據(jù)倉庫和數(shù)據(jù)集市技術(shù)的支持。 概念：數(shù)據(jù)倉庫(Data Warehouse)是一種語義上一致的數(shù)據(jù)存儲，是指從多個數(shù)據(jù)源搜集的信息，以一種一致的存儲方式保管所得到的數(shù)據(jù)集合。面向不同的需求，對數(shù)據(jù)進(jìn)展清洗以保證數(shù)據(jù)的正確性，然后對數(shù)據(jù)進(jìn)展抽取，轉(zhuǎn)換成數(shù)據(jù)倉庫所需方式，并實現(xiàn)加載到數(shù)據(jù)倉庫。 數(shù)據(jù)倉庫技術(shù)是基于信息系統(tǒng)業(yè)務(wù)開展的需求，基于數(shù)據(jù)庫系統(tǒng)技術(shù)開展而來，并逐漸獨立的一系列新的運用技術(shù)。數(shù)據(jù)倉庫技術(shù)就是基于

4、數(shù)學(xué)及統(tǒng)計學(xué)嚴(yán)謹(jǐn)邏輯思想的并達(dá)成“科學(xué)的判別、有效的行為的一個工具。數(shù)據(jù)倉庫技術(shù)也是一種達(dá)成“數(shù)據(jù)整合、知識管理的有效手段。 .二、商務(wù)智能技術(shù)簡介2. OLAP聯(lián)機(jī)分析處置 聯(lián)機(jī)分析處置(OLAP) 又稱多維分析，它對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)展多維分析和展現(xiàn)，是使分析人員、管理人員或執(zhí)行人員可以從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、可以真正為用戶所了解的、并真實反映企業(yè)維特性的信息進(jìn)展快速、一致、交互地存取，從而獲得對數(shù)據(jù)更深化了解的一類軟件技術(shù)。它的技術(shù)中心是“維這個概念，因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。 進(jìn)展OLAP分析的前提是已有建好的數(shù)據(jù)倉庫，之后即可利用OLAP 復(fù)雜的查詢才

5、干、數(shù)據(jù)對比、數(shù)據(jù)抽取和報表來進(jìn)展探測式數(shù)據(jù)分析了。稱其為探測式數(shù)據(jù)分析，是由于用戶在選擇相關(guān)數(shù)據(jù)后，經(jīng)過切片(按二維選擇數(shù)據(jù))、切塊(按三維選擇數(shù)據(jù))、上鉆(選擇更高一級的數(shù)據(jù)詳細(xì)信息以及數(shù)據(jù)視圖)、下鉆(展開同一級數(shù)據(jù)的詳細(xì)信息)、旋轉(zhuǎn)(獲得不同視圖的數(shù)據(jù)) 等操作，可以在不同的粒度上對數(shù)據(jù)進(jìn)展分析嘗試，得到不同方式的知識和結(jié)果。聯(lián)機(jī)分析處置研討主要集中在ROLAP(基于關(guān)系數(shù)據(jù)庫的OLAP) 的查詢優(yōu)化技術(shù)和MOLAP(基于多維數(shù)據(jù)組織的OLAP) 中減少存儲空間和提高系統(tǒng)性能的方法等。 OLAP操作言語：經(jīng)過擴(kuò)展數(shù)據(jù)庫的操作言語SQL，得到MSQLMultiple SQL。.二、商務(wù)智

6、能技術(shù)簡介3. DM數(shù)據(jù)發(fā)掘 數(shù)據(jù)發(fā)掘是從大量的數(shù)據(jù)中，抽取出潛在的、有價值的知識模型或規(guī)那么的過程。 與OLAP 的探測式數(shù)據(jù)分析不同，數(shù)據(jù)發(fā)掘是按照預(yù)定的規(guī)那么對數(shù)據(jù)庫和數(shù)據(jù)倉庫中已有的數(shù)據(jù)進(jìn)展信息開采、發(fā)掘和分析，從中識別和抽取隱含的方式和有趣知識，為決策者提供決策根據(jù)。數(shù)據(jù)發(fā)掘的義務(wù)是從數(shù)據(jù)中發(fā)現(xiàn)方式。方式有很多種，按功能可分為兩大類：預(yù)測型( Predictive)方式和描畫型(Descriptive)方式。 預(yù)測型方式是可以根據(jù)數(shù)據(jù)項的值準(zhǔn)確確定某種結(jié)果的方式。發(fā)掘預(yù)測型方式所運用的數(shù)據(jù)也都是可以明確知道結(jié)果的。描畫型方式是對數(shù)據(jù)中存在的規(guī)那么做一種描畫，或者根據(jù)數(shù)據(jù)的類似性把數(shù)據(jù)

7、分組。.二、商務(wù)智能技術(shù)簡介4. 三大中心技術(shù)之間關(guān)系 DW是前提和根底。擔(dān)任一致數(shù)據(jù)規(guī)那么的處置和存儲。 OLAP是操作，偏重顯性知識處置和分析。 DM是發(fā)現(xiàn)，偏重于隱性知識開掘和利用 。 OLAP 與數(shù)據(jù)發(fā)掘的區(qū)別和聯(lián)絡(luò)是：OLAP 偏重于與用戶的交互、快速的呼應(yīng)速度及提供數(shù)據(jù)的多維視圖，而數(shù)據(jù)發(fā)掘那么注重自動發(fā)現(xiàn)隱藏在數(shù)據(jù)中的方式和有用信息，雖然允許用戶指點這一過程。OLAP 的分析結(jié)果可以給數(shù)據(jù)發(fā)掘提供分析信息作為發(fā)掘的根據(jù)，數(shù)據(jù)發(fā)掘可以拓展OLAP 分析的深度，可以發(fā)現(xiàn)OLAP 所不能發(fā)現(xiàn)的更為復(fù)雜、細(xì)致的信息。數(shù)據(jù)發(fā)掘的研討重點那么偏向數(shù)據(jù)發(fā)掘算法以及數(shù)據(jù)發(fā)掘技術(shù)在新的數(shù)據(jù)類型、運

8、用環(huán)境中運用時所出現(xiàn)新問題的處理上， 如對各種非構(gòu)造化數(shù)據(jù)的發(fā)掘、數(shù)據(jù)發(fā)掘言語的規(guī)范化以及可視化數(shù)據(jù)發(fā)掘等。.2.2.1 從數(shù)據(jù)庫到數(shù)據(jù)倉庫2.2.2 數(shù)據(jù)倉庫的定義和特點2.2.3 數(shù)據(jù)倉庫體系構(gòu)造2.2.4 數(shù)據(jù)倉庫的設(shè)計與實施建立2.2.5 數(shù)據(jù)倉庫系統(tǒng)的評價規(guī)范2.2 數(shù)據(jù)倉庫 Data Warehouse.事務(wù)型處置事務(wù)型處置：即操作型處置，是指對數(shù)據(jù)庫的聯(lián)機(jī)操作處置OLTP。事務(wù)型處置是用來協(xié)助企業(yè)對呼應(yīng)事件或事務(wù)的日常商務(wù)活動進(jìn)展處置。它是事件驅(qū)動、面向運用的，通常是對一個或一組記錄的增、刪、改以及簡單查詢等大量、簡單、反復(fù)和例行性。在事務(wù)型處置環(huán)境中，數(shù)據(jù)庫要求能支持日常事務(wù)中

9、的大量事務(wù)，用戶對數(shù)據(jù)的存取操作頻率高而每次操作處置的時間短。2.2.1 從數(shù)據(jù)庫到數(shù)據(jù)倉庫.分析型處置分析型處置：用于管理人員的決策分析，例如DSS、 EIS和多維分析等。它協(xié)助決策者分析數(shù)據(jù)以察看趨向、判別問題。分析型處置經(jīng)常要訪問大量的歷史數(shù)據(jù)，支持復(fù)雜的查詢。分析型處置過程中經(jīng)常用到外部數(shù)據(jù)，這部分?jǐn)?shù)據(jù)不是由事務(wù)型處置系統(tǒng)產(chǎn)生的，而是來自于其他外部數(shù)據(jù)源。.事務(wù)型處置數(shù)據(jù)和分析型處置數(shù)據(jù)的區(qū)別特性O(shè)LTPOLAP特征面向用戶功能DB 設(shè)計數(shù)據(jù)匯總視圖任務(wù)單位存取關(guān)注操作訪問記錄數(shù)用戶數(shù)DB規(guī)模優(yōu)先度量操作處置事務(wù)辦事員、DBA、數(shù)據(jù)庫專業(yè)人員日常操作基于E-R，面向運用當(dāng)前的；確保最新

10、原始的，高度詳細(xì)詳細(xì)，普通關(guān)系短的、簡單事務(wù)讀/寫數(shù)據(jù)進(jìn)入主關(guān)鍵字上索引/散列數(shù)十個數(shù)千100MB到GB高性能，高可用性事務(wù)吞吐量信息處置分析知識工人(如經(jīng)理、主管、分析員)長期信息需求，決策支持星形/雪花，面向主題歷史的；跨時間維護(hù)匯總的，一致的匯總的，多維的復(fù)雜查詢大多為讀信息輸出大量掃描數(shù)百萬數(shù)百100GB到TB高靈敏性，端點用戶自治查詢吞吐量，呼應(yīng)時間.數(shù)據(jù)庫系統(tǒng)的局限性數(shù)據(jù)庫適于存儲高度構(gòu)造化的日常事務(wù)細(xì)節(jié)數(shù)據(jù)，而決策型數(shù)據(jù)多為歷史性、匯總性或計算性數(shù)據(jù)，多表現(xiàn)為靜態(tài)數(shù)據(jù)，不需直接更新，但可周期性刷新。決策分析型數(shù)據(jù)是多維性，分析內(nèi)容復(fù)雜。在事務(wù)處置環(huán)境中，決策者能夠并不關(guān)懷詳細(xì)的細(xì)

11、節(jié)信息，在決策分析環(huán)境中，假設(shè)這些細(xì)節(jié)數(shù)據(jù)量太大一方面會嚴(yán)重影響分析效率，另一方面這些細(xì)節(jié)數(shù)據(jù)會分散決策者的留意力。DB2OracleSQLServerExcelspreadsheetXMLdocumentInternetSSLclientapplicationsBrowsersData managementlayerApplicationlayerWebservers.數(shù)據(jù)庫系統(tǒng)的局限性續(xù)當(dāng)事務(wù)型處置環(huán)境和分析型處置環(huán)境在同一個數(shù)據(jù)庫系統(tǒng)中，事務(wù)型處置對數(shù)據(jù)的存取操作頻率高，操作處置的時間短，而分析型處置能夠需求延續(xù)運轉(zhuǎn)幾個小時，從而耗費大量的系統(tǒng)資源。決策型分析數(shù)據(jù)的數(shù)據(jù)量大，這些數(shù)據(jù)有來

12、自企業(yè)內(nèi)部的，也有來自企業(yè)外部的。來自企業(yè)外部的數(shù)據(jù)又能夠來自不同的數(shù)據(jù)庫系統(tǒng)，在分析時假設(shè)直接對這些數(shù)據(jù)操作會呵斥分析的混亂。對于外部數(shù)據(jù)中的一些非構(gòu)造化數(shù)據(jù)，數(shù)據(jù)庫系統(tǒng)經(jīng)常是無能為力。.多庫系統(tǒng)的限制可用性：源站點或通訊網(wǎng)絡(luò)缺點將導(dǎo)致系統(tǒng)癱瘓, 源站點不能經(jīng)過網(wǎng)絡(luò)在線聯(lián)入多庫系統(tǒng)。呼應(yīng)速度：全局查詢多級轉(zhuǎn)換和通訊傳輸, 延遲和低層效率影響呼應(yīng)速度。系統(tǒng)性能：總體性能取決于源站點中性能最低的系統(tǒng), 影響系統(tǒng)性能的發(fā)揚;系統(tǒng)開銷：每次查詢要啟動多個部分系統(tǒng), 通訊和運轉(zhuǎn)開銷大。 .實施數(shù)據(jù)倉庫的條件數(shù)據(jù)積累已到達(dá)一定規(guī)模面臨猛烈的市場競爭在IT方面的資金能得到保證 .數(shù)據(jù)倉庫的開展自從NCR公

13、司為Wal Mart建立了第一個數(shù)據(jù)倉庫。1996年，加拿大的IDC公司調(diào)查了62家實現(xiàn)了數(shù)據(jù)倉庫的歐美企業(yè)，結(jié)果闡明：數(shù)據(jù)倉庫為企業(yè)提供了宏大的收益。早期的數(shù)據(jù)倉庫大都采用當(dāng)時流行的客戶/效力器構(gòu)造。近年來分布式對象技術(shù)飛速開展，整個數(shù)據(jù)倉庫體系構(gòu)造從功能上劃分為假設(shè)干個分布式對象，這些分布式對象不僅可以直接用于建立數(shù)據(jù)倉庫，還可以在運用程序中向用戶提供調(diào)用的接口。IBM的實驗室在數(shù)據(jù)倉庫方面曾經(jīng)進(jìn)展了10多年的研討，并將研討成果開展成為商用產(chǎn)品。其他數(shù)據(jù)庫廠商在數(shù)據(jù)倉庫領(lǐng)域也紛紛提出了各自的處理方案。.2.2.2 數(shù)據(jù)倉庫(Data Warehouse)的定義和特點數(shù)據(jù)倉庫用來保管從多個數(shù)

14、據(jù)庫或其它信息源選取的數(shù)據(jù), 并為上層運用提供一致 用戶接口，完成數(shù)據(jù)查詢和分析。支持整個企業(yè)范圍的主要業(yè)務(wù)來建立的，主要特點是，包含大量面向整個企業(yè)的綜合信息及導(dǎo)出信息。數(shù)據(jù)倉庫是作為DSS效力根底的分析型DB，用來存放大容量的只讀數(shù)據(jù)，為制定決策提供所需求的信息。數(shù)據(jù)倉庫是與操作型系統(tǒng)相分別的、基于規(guī)范企業(yè)模型集成的、帶有時間屬性的、面向主題及不可更新的數(shù)據(jù)集合。以1992年W H Inmon出版為標(biāo)志，數(shù)據(jù)倉庫開展速度很快。 W H Inmon被譽為數(shù)據(jù)倉庫之父。W H Inmon對數(shù)據(jù)倉庫所下的定義：數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的、隨時間變化的數(shù)據(jù)集合，用以支持管理決策的過程。.

15、面向主題數(shù)據(jù)倉庫中的數(shù)據(jù)是按照各種主題來組織的。主題在數(shù)據(jù)倉庫中的物理實現(xiàn)是一系列的相關(guān)表，這不同于面向運用環(huán)境。如保險公司按照運用組織能夠是汽車保險、生命保險、傷亡保險，而數(shù)據(jù)倉庫是按照客戶、政策、保險金和索賠來組織數(shù)據(jù)。面向主題的數(shù)據(jù)組織方式可在較高層次上對分析對象的數(shù)據(jù)給出完好、一致的描畫，能完好、一致的描寫各個分析對象所涉及的企業(yè)的各項數(shù)據(jù)以及數(shù)據(jù)之間的聯(lián)絡(luò)，從而順應(yīng)企業(yè)各個部門的業(yè)務(wù)活動特點和企業(yè)數(shù)據(jù)的動態(tài)特征，從根本上實現(xiàn)數(shù)據(jù)與運用的分別。.面向主題汽車人壽安康不測傷亡操作性環(huán)境應(yīng) 用顧客保險單保險費索賠數(shù)據(jù)倉庫主 題.集成性數(shù)據(jù)倉庫中的數(shù)據(jù)是從原有分散的源數(shù)據(jù)庫中提取出來的，其每

16、一個主題所對應(yīng)的源數(shù)據(jù)在原有的數(shù)據(jù)庫中有許多冗余和不一致，且與不同的運用邏輯相關(guān)。為了創(chuàng)建一個有效的主題域，必需將這些來自不同數(shù)據(jù)源的數(shù)據(jù)集成起來，使之遵照一致的編碼規(guī)那么。.集成 數(shù)據(jù)庫 運用A m,f運用B 1,0運用C x,y運用D 男，女 數(shù)據(jù)倉庫 m,f編碼運用A 管道cm運用B 管道inches運用C 管道m(xù)cf運用D 管道yds管道cm屬性度量.穩(wěn)定性數(shù)據(jù)倉庫內(nèi)的數(shù)據(jù)有很長的時間跨度，通常是5-10年。數(shù)據(jù)倉庫中的數(shù)據(jù)反映的是一段時間內(nèi)歷史數(shù)據(jù)的內(nèi)容，是不同時點的數(shù)據(jù)庫快照的集合，以及基于撰寫快照進(jìn)展統(tǒng)計、綜合和重組的導(dǎo)出數(shù)據(jù)。主要供企業(yè)高層決策分析之用，所涉及的數(shù)據(jù)操作主要是查

17、詢，普通情況下并不進(jìn)展修正操作.數(shù)據(jù)倉庫中的數(shù)據(jù)是不可實時更新的，僅當(dāng)超越規(guī)定的存儲期限，才將其從數(shù)據(jù)倉庫中刪除，提取新的數(shù)據(jù)經(jīng)集成后輸入數(shù)據(jù)倉庫。.穩(wěn)定性插入刪除插入修正刪除訪問修正訪問數(shù)據(jù)的逐個記錄方式處置數(shù)據(jù)的批量載入/訪問數(shù)據(jù)庫數(shù)據(jù)倉庫.時變性時變性：許多商業(yè)分析要求對開展趨勢做出預(yù)測，對開展趨勢的分析需求訪問歷史數(shù)據(jù)。因此數(shù)據(jù)倉庫必需不斷捕捉OLTP數(shù)據(jù)庫中變化的數(shù)據(jù)，生成數(shù)據(jù)庫的快照，經(jīng)集成后添加到數(shù)據(jù)倉庫中去；另外數(shù)據(jù)倉庫還需求隨時間的變化刪去過期的、對分析沒有協(xié)助的數(shù)據(jù)，并且還需求按規(guī)定的時間段添加綜合數(shù)據(jù)。.隨時間變化數(shù)據(jù)庫數(shù)據(jù)倉庫時間期限：當(dāng)前到6090天 記錄更新鍵碼構(gòu)造

18、能夠包括也能夠不 包括時間元素時間期限：510年 數(shù)據(jù)的復(fù)雜快照鍵碼構(gòu)造包括時間元素.支持管理決策數(shù)據(jù)倉庫支持OLAP聯(lián)機(jī)分析處置、數(shù)據(jù)發(fā)掘和決策分析。OLAP從數(shù)據(jù)倉庫中的綜合數(shù)據(jù)出發(fā)，提供面向分析的多維模型，并運用多維分析的方法從多個角度、多個層次對多維數(shù)據(jù)進(jìn)展分析，使決策者可以以更加自然的方式來分析數(shù)據(jù)。數(shù)據(jù)發(fā)掘那么以數(shù)據(jù)倉庫和多維數(shù)據(jù)庫中的數(shù)據(jù)為根底，發(fā)現(xiàn)數(shù)據(jù)中的潛在方式和進(jìn)展預(yù)測。因此，數(shù)據(jù)倉庫的功能是支持管理層進(jìn)展科學(xué)決策，而不是事務(wù)處置。.BI系統(tǒng)VS決策盲點某大型國有企業(yè)老總當(dāng)他查看近十年企業(yè)的消費和運營數(shù)據(jù)時，手邊得到了各種各樣不同的數(shù)據(jù)報表。這些數(shù)據(jù)報表大致可以分成兩種類型

19、：一種是兩年前、即ERP上線之前的，這是一些簡單、雜亂而又枯燥的數(shù)字；另一種是有了ERP以后的，數(shù)據(jù)變得清楚而有條理起來，同時還有來自ERP、CRM、SCM以及計費業(yè)務(wù)等不同運用的數(shù)據(jù)和各種分析報告。在仔細(xì)查看這些報表之后，這位國企老總詫異地發(fā)現(xiàn)，不同的系統(tǒng)可以得出截然相反的兩種結(jié)論。例如某一產(chǎn)品，它的動態(tài)本錢反映在ERP系統(tǒng)和CRM、SCM系統(tǒng)里面相差很大，假設(shè)援用ERP和CRM里面的數(shù)據(jù)，它就是一款很勝利、銷量很好的產(chǎn)品，但在SCM里面來看，它的采購和物流本錢過高，導(dǎo)致了這款看起來很勝利的產(chǎn)品實踐上是一筆賠錢的買賣。.BI系統(tǒng)VS決策盲點(續(xù))其實從這些來自不同系統(tǒng)的數(shù)據(jù)根底產(chǎn)生不同的判別

20、很正常，由于這些系統(tǒng)并不會去縝密地“思索在本人“職責(zé)之外的事情。這樣就給企業(yè)的指點提交了相當(dāng)多顧此失彼的分析報告，結(jié)果就是導(dǎo)致了許多市場決策上的混亂和失誤。把企業(yè)的內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)(企業(yè)內(nèi)部數(shù)據(jù)就是指上述經(jīng)過業(yè)務(wù)系統(tǒng)SCM、ERP、CRM等搜集到的數(shù)據(jù)，這些數(shù)據(jù)能夠在不同的硬件、數(shù)據(jù)庫、網(wǎng)絡(luò)環(huán)境中，為不同的業(yè)務(wù)部門效力。外部數(shù)據(jù)是市場信息和外部競爭對手的信息)。進(jìn)展有效的集成，構(gòu)成直觀的、易于了解的信息，再進(jìn)展分析和思索，為企業(yè)的各層決策及分析人員運用。.數(shù)據(jù)倉庫系統(tǒng)的構(gòu)造.2.2.3 數(shù)據(jù)倉庫體系構(gòu)造源數(shù)據(jù)部分1 消費數(shù)據(jù)：企業(yè)的各種事務(wù)型數(shù)據(jù)庫2 內(nèi)部數(shù)據(jù)：用戶本人的數(shù)據(jù)資料 內(nèi)部數(shù)據(jù)添

21、加了數(shù)據(jù)轉(zhuǎn)換和整合過程的復(fù)雜性3 存檔數(shù)據(jù)：定期存儲的舊數(shù)據(jù)4 外部數(shù)據(jù)：是決策主要的信息來源.2.2.3 數(shù)據(jù)倉庫體系構(gòu)造數(shù)據(jù)預(yù)備1 數(shù)據(jù)抽?。?從數(shù)據(jù)倉庫的角度來看，并不是業(yè)務(wù)數(shù)據(jù)庫中的一切數(shù)據(jù)都是決策支持所必需的。通常，數(shù)據(jù)倉庫按照分析的主題來組織數(shù)據(jù)，我們只需求提取出系統(tǒng)分析必需的那一部分?jǐn)?shù)據(jù)。例如，某超市確定以分析客戶的購買行為為主題建立數(shù)據(jù)倉庫，那么我們只需將同客戶購買行為相關(guān)的數(shù)據(jù)提取出來，而超市效力員工的數(shù)據(jù)就沒有必要放進(jìn)數(shù)據(jù)倉庫。 現(xiàn)有的數(shù)據(jù)倉庫產(chǎn)品幾乎都提供各種關(guān)系型數(shù)據(jù)接口，從關(guān)系型數(shù)據(jù)中提取數(shù)據(jù)。 .2.2.3 數(shù)據(jù)倉庫體系構(gòu)造數(shù)據(jù)預(yù)備2 數(shù)據(jù)轉(zhuǎn)換： 數(shù)據(jù)倉庫的數(shù)據(jù)轉(zhuǎn)換

22、比事務(wù)型系統(tǒng)的更復(fù)雜，由于數(shù)據(jù)倉庫的數(shù)據(jù)來自不同的數(shù)據(jù)源。 步驟： 1數(shù)據(jù)清洗 2數(shù)據(jù)規(guī)范化 3數(shù)據(jù)匯總.1數(shù)據(jù)清洗Data Cleaning 由于企業(yè)經(jīng)常為不同的運用對象建立不同的業(yè)務(wù)數(shù)據(jù)庫，比如一個電信運營公司擁有計費數(shù)據(jù)庫、賬務(wù)數(shù)據(jù)庫、客戶數(shù)據(jù)庫、客戶贊揚數(shù)據(jù)庫等業(yè)務(wù)系統(tǒng)，這些業(yè)務(wù)系統(tǒng)中能夠包含反復(fù)的信息，比如客戶數(shù)據(jù)庫中的部分客戶根本信息也在客戶贊揚數(shù)據(jù)庫中存在。 由于不同的數(shù)據(jù)庫能夠運用不同數(shù)據(jù)庫公司的產(chǎn)品，不同的業(yè)務(wù)系統(tǒng)能夠有不同的軟件開發(fā)商提供，這使得各個業(yè)務(wù)數(shù)據(jù)庫中的數(shù)據(jù)存在不一致的景象，數(shù)據(jù)庫運用人員的操作失誤也會呵斥數(shù)據(jù)的不一致。.如圖2-2所示，顯示了一個數(shù)據(jù)不一致的例子

23、。 客戶數(shù)據(jù)庫中有一張客戶根本信息表，其中記錄了客戶的客戶號、姓名、年齡等根本信息。在客戶效力數(shù)據(jù)庫中有一張客戶咨詢信息表用于記錄客戶咨訊問題的內(nèi)容和解答。由于數(shù)據(jù)庫運用人員的失誤，使得在客戶根本信息表中的100號客戶“張山，在客戶咨詢表中的客戶姓名被錯誤的錄入為“張三。 客戶根本信息表客戶咨詢信息表客戶號：100姓名：張山年齡：23客戶號：100姓名：張三咨訊問題：圖2-2 操作失誤導(dǎo)致數(shù)據(jù)不一致. 由于冗余的數(shù)據(jù)存放在不同的數(shù)據(jù)庫中，假設(shè)不同數(shù)據(jù)庫間的數(shù)據(jù)刷新不是實時的，那么能夠出現(xiàn)數(shù)據(jù)不同步的情況。如圖2-3所示，在客戶根本信息表中記錄了100號客戶“張山的手機(jī)形狀正常，假設(shè)此時張山去辦

24、理停機(jī)手續(xù)，在客戶業(yè)務(wù)變卦表中，張山的手機(jī)形狀將被修正為“停機(jī)，假設(shè)數(shù)據(jù)刷新不夠?qū)崟r，客戶根本信息表中的手機(jī)效力形狀將與客戶業(yè)務(wù)變卦表不同步。 客戶根本信息表客戶業(yè)務(wù)變卦表客戶號：100姓名：張山年齡：23手機(jī)效力形狀：正?？蛻籼枺?00姓名：張三業(yè)務(wù)變卦：停機(jī)圖2-3 數(shù)據(jù)刷新不實時導(dǎo)致數(shù)據(jù)不同步.2數(shù)據(jù)規(guī)范化 由于業(yè)務(wù)系統(tǒng)能夠運用不同的數(shù)據(jù)庫廠商的產(chǎn)品，比如IBM DB2、Informix、Sybase、SQL Server、NCR 等，各種數(shù)據(jù)庫產(chǎn)品提供的數(shù)據(jù)類型能夠不同，因此需求將不同格式的數(shù)據(jù)轉(zhuǎn)換成一致的數(shù)據(jù)格式。比如圖2-4中所示的不同時間格式的差別。 .3數(shù)據(jù)匯總 組合從不同數(shù)據(jù)

25、源提取的數(shù)據(jù)；去除沒有用途的源數(shù)據(jù)，將原紀(jì)錄進(jìn)展新的組合。 .2.2.3 數(shù)據(jù)倉庫體系構(gòu)造數(shù)據(jù)預(yù)備3 數(shù)據(jù)裝載： 數(shù)據(jù)倉庫創(chuàng)建之初的數(shù)據(jù)裝載；數(shù)據(jù)倉庫運用過程中的數(shù)據(jù)裝載。.2.2.3 數(shù)據(jù)倉庫體系構(gòu)造數(shù)據(jù)存儲1 數(shù)據(jù)倉庫：提供數(shù)據(jù)存放的地方并提供數(shù)據(jù)檢索支持。數(shù)據(jù)的存儲方式主要有3種：多維數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫以及前兩種存儲方式的結(jié)合。2 數(shù)據(jù)集市3 元數(shù)據(jù) .2. 數(shù)據(jù)集市Data Market 面向企業(yè)的某個部門主題而在邏輯上或物理上劃分出來的數(shù)據(jù)倉庫中的數(shù)據(jù)子集稱為數(shù)據(jù)集市。 區(qū)別：數(shù)據(jù)倉庫面向整個企業(yè)，而數(shù)據(jù)集市那么是面向企業(yè)中的某個部門。數(shù)據(jù)倉庫中存放了企業(yè)的整體信息，而數(shù)據(jù)集市只存

26、放了某個主題需求的信息，其目的是減少數(shù)據(jù)處置量，使信息的利用更快捷、靈敏。.3.元數(shù)據(jù)數(shù)據(jù)是對事物的描畫，“元數(shù)據(jù)就是描畫數(shù)據(jù)的數(shù)據(jù)，它提供了有關(guān)數(shù)據(jù)的環(huán)境。事務(wù)型元數(shù)據(jù)：元數(shù)據(jù)描畫關(guān)于源數(shù)據(jù)的闡明，包括源數(shù)據(jù)的來源、源數(shù)據(jù)的稱號、源數(shù)據(jù)的定義、源數(shù)據(jù)的創(chuàng)建時間等對源數(shù)據(jù)進(jìn)展管理所需求的信息。源數(shù)據(jù)的來源闡明源數(shù)據(jù)是從哪個系統(tǒng)、哪個歷史數(shù)據(jù)、哪個辦公數(shù)據(jù)、哪個Web頁、哪個外部系統(tǒng)抽取而來。源數(shù)聽闡明源數(shù)據(jù)在數(shù)據(jù)倉庫的作用、用途、數(shù)據(jù)類型和長度等。.元數(shù)據(jù)抽取和轉(zhuǎn)換元數(shù)據(jù)：是用來描畫數(shù)據(jù)的數(shù)據(jù)。它描畫和定位數(shù)據(jù)組件、它們的來源及它們在數(shù)據(jù)倉庫進(jìn)程中的活動；關(guān)于數(shù)據(jù)和操作的相關(guān)描畫(輸入、計算和

27、輸出)。元數(shù)據(jù)可用文件存在元數(shù)據(jù)庫中。元數(shù)據(jù)反映數(shù)據(jù)倉庫中的數(shù)據(jù)項是從哪個特定的數(shù)據(jù)源填充的，經(jīng)過哪些轉(zhuǎn)換、集成過程。要有效的管理數(shù)據(jù)倉庫，必需設(shè)計一個描畫才干強、內(nèi)容完善的元數(shù)據(jù)。.元數(shù)據(jù)最終用戶元數(shù)據(jù)：是數(shù)據(jù)倉庫的導(dǎo)航圖，是最終用戶可以在數(shù)據(jù)倉庫中找到本人需求的信息，建立了最終用戶的多維商業(yè)模型和前端工具之間的映射。.下面經(jīng)過一個簡單的例子闡明元數(shù)據(jù)的根本內(nèi)容，如圖2-5所示 ： 我們從Customer業(yè)務(wù)數(shù)據(jù)庫的user表中取出3列user_id,user_name,address,在清洗轉(zhuǎn)換過程中，將user_name從char(20)轉(zhuǎn)化成varchar(50)格式，最終放進(jìn)User

28、維表User_ID,User_Name,Address中。在轉(zhuǎn)換后，User_ID,User_Name,Address3列原始的存放位置、進(jìn)展的清洗轉(zhuǎn)化處置、數(shù)據(jù)最終的存放位置、數(shù)據(jù)格式、數(shù)據(jù)運用的規(guī)那么等等都將作為元數(shù)據(jù)的一部分 。 通常數(shù)據(jù)庫將建立公用的元數(shù)據(jù)庫來存放和管理元數(shù)據(jù)。 .2.2.3 數(shù)據(jù)倉庫體系構(gòu)造信息傳送.獨立的數(shù)據(jù)集市架構(gòu)Independent data mart architecture 獨立的數(shù)據(jù)集市架構(gòu)有時也稱為獨立的數(shù)據(jù)倉庫架構(gòu)，應(yīng)該是出現(xiàn)最早的架構(gòu)方式，也是很常見的方式。特別是對于中小企業(yè)、中小開發(fā)公司，出于本錢和見效快的思索都會采用這種架構(gòu)方式。大家對這種架構(gòu)

29、方式一定也很熟。 這種架構(gòu)方式的缺陷也很明顯，不是企業(yè)內(nèi)一致的數(shù)據(jù)，產(chǎn)生信息孤島。當(dāng)然假設(shè)企業(yè)就是很小，就一個系統(tǒng)，不用整合，一個數(shù)據(jù)集市足以的情況下采用這種方式也沒什么。先期小投資，讓企業(yè)看看效果，以后開展大了再思索重新建立數(shù)據(jù)倉庫。數(shù)據(jù)倉庫系統(tǒng)的體系架構(gòu).數(shù)據(jù)倉庫系統(tǒng)的體系構(gòu)造基于獨立數(shù)據(jù)集市的數(shù)據(jù)倉庫體系構(gòu)造 .2聯(lián)邦式數(shù)據(jù)倉庫架構(gòu)Federated data warehouse architecture 它的出現(xiàn)是由于企業(yè)開展的初期建立了幾個獨立的數(shù)據(jù)集市架構(gòu)，后來發(fā)現(xiàn)這樣不行，數(shù)據(jù)沒整合，要處理信息孤島得想方法。推倒重建當(dāng)然好，不過投入太大，以前的數(shù)據(jù)集市還想用，怎樣辦。于是，想出另

30、一種方法，在各個獨立的數(shù)據(jù)集市間建立一些對照表，在不推倒它們的根底上能進(jìn)展一下數(shù)據(jù)交換。后來，漸漸發(fā)現(xiàn)，早想好整合戰(zhàn)略，直接這樣建數(shù)據(jù)倉庫也可以，于是，地域聯(lián)邦、功能聯(lián)邦的概念也就都提出來了。 聯(lián)邦架構(gòu)的缺陷也很明顯，除非建立之初就采用類似總線架構(gòu)的方法實現(xiàn)數(shù)據(jù)一致，否那么很容易出現(xiàn)數(shù)據(jù)不一致，導(dǎo)致整合的不徹底。假設(shè)之初就思索好的話，和總線架構(gòu)的差別就不大了。當(dāng)然，對于暫時處理企業(yè)原有獨立數(shù)據(jù)集市的數(shù)據(jù)交換問題，聯(lián)邦架構(gòu)還是有一定作用的。.3集中式架構(gòu)Centralized architecture 集中式架構(gòu)方式的出現(xiàn)，標(biāo)識著數(shù)據(jù)倉庫架構(gòu)曾經(jīng)進(jìn)入比較成熟的時期。它的架構(gòu)方式是建立物理的EDW

31、，即中心數(shù)據(jù)倉庫，數(shù)據(jù)都集中的EDW中，運用和分析程序都在EDW中進(jìn)展訪問，數(shù)據(jù)是全企業(yè)內(nèi)一致的。隨著ROLAP的開展，在這種集中式架構(gòu)中建立ROLAP開場比較流行，常見的 MicroStrategy公司的處理方案就是在EDW中建立ROLAP。ROLAP單獨建表保管元數(shù)據(jù)，只保管維度模型的關(guān)系，不保管維度模型的數(shù)據(jù)，由MicroStrategy的運用去解析，加上運用效力器作為緩存，速度還可以。 這種方式也有一些缺陷，如擴(kuò)展才干差，對EDW所在的RDBMS要求太高，隨著數(shù)據(jù)量和分析的逐漸增長，就不得不再把數(shù)據(jù)進(jìn)展分別。假設(shè)在EDW的根底上進(jìn)展數(shù)據(jù)分別，為不同的運用單獨建立數(shù)據(jù)集市或者發(fā)掘倉庫，集

32、中式構(gòu)造也就演化成Hub and Spoke架構(gòu)方式。.4集線器和車輪輻條架構(gòu)Hub and spoke architecture或Corporate information factoryarchitecture 企業(yè)信息工廠應(yīng)該是這種架構(gòu)方式的最出色的代表。從稱號我們也能大約猜個差不多，中心數(shù)據(jù)倉庫 EDW從各個源系統(tǒng)搜集數(shù)據(jù)，將數(shù)據(jù)提供應(yīng)各個數(shù)據(jù)集市和發(fā)掘倉庫，功能和集線器很類似，所以稱為Hub。假設(shè)大家把圖畫出來，能夠會更籠一致些，EDW 和各個源數(shù)據(jù)庫及數(shù)據(jù)集市、發(fā)掘倉庫之間都連一條線，看起來就向一個車輪，這些連線就像車輪輻條，所以稱為Spoke。而這種采用中心數(shù)據(jù)倉庫EDW集成數(shù)據(jù)

33、，再分散到各個數(shù)據(jù)集市運用數(shù)據(jù)的方式就籠統(tǒng)的稱為Hub and spoke architecture。 缺陷：雖然是在集成的中心數(shù)據(jù)倉庫EDW上建立數(shù)據(jù)集市，但是這些數(shù)據(jù)集市之間還是不能進(jìn)展數(shù)據(jù)交換的，大家建立的方法和ETL程序都會不同，各個數(shù)據(jù)集市之間的數(shù)據(jù)不見得的是一致的。而且這種架構(gòu)方式開場變得復(fù)雜。.5總線架構(gòu)Bus architecture 總線架構(gòu)和Hub and spoke architecture 的最大區(qū)別，應(yīng)該是維度建模的原子層和一致性維度的建立。正由于預(yù)先建立的總線架構(gòu)和一致性維度，所以這種架構(gòu)可以保證在逐漸建立數(shù)據(jù)集市的過程中還能保證企業(yè)數(shù)據(jù)的一致性?？偩€架構(gòu)是數(shù)據(jù)倉庫

34、架構(gòu)方式從復(fù)雜走向簡單的一步，將維度建模的數(shù)據(jù)倉庫原子層和數(shù)據(jù)集市合而為一，一層就把數(shù)據(jù)倉庫建立好的，還能支持各種數(shù)據(jù)集市分析運用。 當(dāng)然總線架構(gòu)也有缺陷，中心數(shù)據(jù)倉庫以維度模型保管，對于特殊的非維度型分析運用會有局限性，支持的不好。 .2.2.4 數(shù)據(jù)倉庫的設(shè)計與實施建立數(shù)據(jù)倉庫的體系架構(gòu).與數(shù)據(jù)庫運用系統(tǒng)的開發(fā)過程相比，有如下幾方面不同：面向的處置類型不同；面向的需求不同；系統(tǒng)設(shè)計的目的不同；兩者的數(shù)據(jù)來源或系統(tǒng)的輸入不同；系統(tǒng)設(shè)計的方法和步驟不同；2.2.4 數(shù)據(jù)倉庫的設(shè)計與實施建立.數(shù)據(jù)庫運用開發(fā)過程SDLC.數(shù)據(jù)倉庫的開發(fā)過程CLDS.數(shù)據(jù)倉庫開發(fā)的特點：數(shù)據(jù)驅(qū)動數(shù)據(jù)驅(qū)動 ：從已有數(shù)

35、據(jù)出發(fā)的數(shù)據(jù)倉庫設(shè)計方法稱為“數(shù)據(jù)驅(qū)動的系統(tǒng)設(shè)計方法。 利用以前所獲得的任務(wù)成果不再是面向運用利用數(shù)據(jù)模型數(shù)據(jù)模型是聯(lián)絡(luò)操作型數(shù)據(jù)環(huán)境的設(shè)計、數(shù)據(jù)倉庫數(shù)據(jù)環(huán)境的設(shè)計、操作型數(shù)據(jù)處置運用的開發(fā)和設(shè)計以及DSS運用的開發(fā)與設(shè)計的紐帶.設(shè)計體系構(gòu)造開發(fā)概念模型開發(fā)邏輯模型數(shù)據(jù)庫與元數(shù)據(jù)設(shè)計數(shù)據(jù)抽取轉(zhuǎn)換與加載開發(fā)中間件填充與測試數(shù)據(jù)倉庫數(shù)據(jù)倉庫運用數(shù)據(jù)倉庫維護(hù)數(shù)據(jù)倉庫評價規(guī)劃與確定需求 規(guī)劃 分析階段 數(shù)據(jù)倉庫 開發(fā)過程 設(shè)計實施 運用維護(hù)階段 階段 數(shù)據(jù)倉庫的螺旋式開發(fā)方法.數(shù)據(jù)倉庫實現(xiàn)戰(zhàn)略.數(shù)據(jù)倉庫的數(shù)據(jù)模型 星型圖模型 物理數(shù)據(jù)模型概念模型邏輯模型物理模型面向用戶的需求細(xì) 化層次更詳細(xì)的技術(shù)細(xì)節(jié)

36、信息包圖.概念模型由于大多數(shù)商務(wù)數(shù)據(jù)是多維的，但傳統(tǒng)的數(shù)據(jù)模型表示三維以上的數(shù)據(jù)有一定困難。概念模型簡化了這個過程并且允許用戶與開發(fā)者和其他用戶建立聯(lián)絡(luò)：確定系統(tǒng)邊境：決策類型、需求的信息、原始信息確定主題域及其內(nèi)容：主題域的公共鍵碼、聯(lián)絡(luò)、屬性組確定維度：如時間維、銷售位置維、產(chǎn)品維、組別維等確定類別：相應(yīng)維的詳細(xì)類別確定目的和現(xiàn)實：用于進(jìn)展分析的數(shù)值化信息.實例例試畫出銷售分析的概念模型。解：首先根據(jù)銷售分析的實踐需求，確定信息包的維度、類別和目的與現(xiàn)實：1維度：包括日期維、銷售地點維、銷售產(chǎn)品維、年齡組別維、性別維等。2類別：確定各維的詳細(xì)類別，如：日期維包括年10、季度40、月120等

37、類別，括號中的數(shù)字分別指出各類別的數(shù)量；銷售地點維包括國家15、區(qū)域45、城市280、區(qū)880、商店2000等類別，括號中的數(shù)字同樣分別指出各類別的數(shù)量；類似地，可以確定銷售產(chǎn)品、年齡組別維、性別維等的詳細(xì)類別。3度量和現(xiàn)實：確定用于進(jìn)展分析的數(shù)值化信息，包括預(yù)測銷售量、實踐銷售量和預(yù)測偏向等。 .銷售分析的概念模型日期銷售地點銷售產(chǎn)品年齡組別性別年(10)國家(15)產(chǎn)品類(6)年齡組(8)性別組(2)季度(40)區(qū)域(45)產(chǎn)品組(48)月(120)城市(280)產(chǎn)品(240)區(qū)(880)商店(2000)度量和事實:預(yù)測銷售量、實際銷售量、預(yù)測偏差信息包： 銷售分析維度類別.概念模型圖實例

38、.邏輯模型星型圖：數(shù)據(jù)倉庫的數(shù)據(jù)模型的第二層是向最終的數(shù)據(jù)構(gòu)造添加某些細(xì)節(jié)的星型圖模型。與傳統(tǒng)的關(guān)系模型相比，星型圖模型簡化了用戶分析所需的關(guān)系，從支持決策的角度去定義數(shù)據(jù)實體，更適宜大量復(fù)雜查詢。星形圖包括了三種邏輯實體：目的、維度和詳細(xì)類別維表的本質(zhì)是多維分析空間在某個角度上的投影，多個維表共同建立一個多維分析空間。.sales數(shù)據(jù)倉庫的雪花方式 .星型模型例子.物理數(shù)據(jù)模型物理數(shù)據(jù)模型：數(shù)據(jù)模型的第三層，它是星型圖模型在數(shù)據(jù)倉庫中的實現(xiàn)，如物理的存取方式、數(shù)據(jù)存儲構(gòu)造等。在物理設(shè)計時，經(jīng)常要按數(shù)據(jù)的重要程度、運用頻率以及對呼應(yīng)時間的要求進(jìn)展分類，并將不同類的數(shù)據(jù)分別存儲在不同的存儲設(shè)備中。重要程度高、經(jīng)常存取并對呼應(yīng)時間高的數(shù)據(jù)就存放在高速存儲