商務(wù)智能基本概念課件

課程性質(zhì)與參考書目專業(yè)課程，綜合性強(qiáng)理論與實(shí)踐相結(jié)合教材：《數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)（第2版）》，陳京民，電子工業(yè)出版社，2007.參考書目《數(shù)據(jù)挖掘概念與技術(shù)（第2版）》，（加）韓家煒，堪博，機(jī)械工業(yè)出版社，2007.《SQLServer2005聯(lián)機(jī)叢書》中的《AnalysisServices教程》、《數(shù)據(jù)挖掘教程》課程性質(zhì)與參考書目專業(yè)課程，綜合性強(qiáng)第1章商務(wù)智能基本概念

信息技術(shù)的不斷推廣應(yīng)用，將企業(yè)帶入了一個(gè)信息爆炸的時(shí)代。每日、每時(shí)、每刻都有潮水般的信息出現(xiàn)在管理者的面前，等待管理者去處理、去使用。與此同時(shí)，企業(yè)的管理者在管理中面對(duì)來自不同部門的、相互矛盾的信息無法對(duì)所要解決的決策問題提出正確的解決方案。為此，需要一種新的信息處理技術(shù)能夠使決策者們獲取及時(shí)準(zhǔn)確的信息，以理解商務(wù)活動(dòng)并做出智能化的、更有效的決策，即能從海量的數(shù)據(jù)中提取有用的信息并轉(zhuǎn)化為商務(wù)知識(shí)，從而告別“拍腦袋”決策方式。通過本章學(xué)習(xí)，可以了解：商務(wù)智能的發(fā)展及體系結(jié)構(gòu)；數(shù)據(jù)倉庫的總體結(jié)構(gòu)框架；數(shù)據(jù)倉庫的功能結(jié)構(gòu)；數(shù)據(jù)倉庫的環(huán)境支持結(jié)構(gòu)；數(shù)據(jù)挖掘的基本原理；數(shù)據(jù)挖掘的應(yīng)用范圍和應(yīng)用過程。第1章商務(wù)智能基本概念信息技術(shù)的不斷推廣1.1商務(wù)智能的基本概念1.1.1商務(wù)智能的定義1989年美國(guó)加特納公司的分析師HowardDresner首次提出“商務(wù)智能”

美國(guó)IBM公司的定義Microsoft認(rèn)為商務(wù)智能IDC國(guó)際數(shù)據(jù)公司BusinessObjects公司認(rèn)為商務(wù)智能Teradata公司認(rèn)為商務(wù)智能的目的美國(guó)MicroStrategy公司的定義1.1商務(wù)智能的基本概念1.1.1商務(wù)智能的定義1.1商務(wù)智能的基本概念

商務(wù)智能是數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘等相關(guān)技術(shù)走向商業(yè)應(yīng)用后形成的一種應(yīng)用技術(shù)。該技術(shù)收集、匯總了與商務(wù)活動(dòng)有關(guān)的各種數(shù)據(jù)，將其集成到數(shù)據(jù)倉庫中。采用聯(lián)機(jī)分析技術(shù)（OLAP）對(duì)商務(wù)活動(dòng)進(jìn)行實(shí)時(shí)的監(jiān)控、分析，便于及時(shí)采取有效的商務(wù)決策，提升商務(wù)活動(dòng)的績(jī)效。應(yīng)用數(shù)據(jù)挖掘技術(shù)(DM)對(duì)描述商務(wù)活動(dòng)的數(shù)據(jù)進(jìn)行挖掘，以獲取有效的商務(wù)信息，從中提取商務(wù)知識(shí)，為企業(yè)商業(yè)發(fā)展尋找新的機(jī)遇。

OLAP與DM之間的區(qū)別？1.1商務(wù)智能的基本概念商務(wù)智能是數(shù)據(jù)倉庫1.1商務(wù)智能的基本概念三種技術(shù)的關(guān)系：數(shù)據(jù)倉庫是BI基礎(chǔ)；OLAP是BI利器；DM是BI源泉。例子：一位消費(fèi)者話34元在網(wǎng)上購買了一本介紹證券交易的圖書。思考？

1.如何記錄消費(fèi)者的購買情況？該書銷售情況，證券交易類，金融類，經(jīng)管類圖書銷售情況？時(shí)間維度，產(chǎn)品類型。

2.如何將向該消費(fèi)者推薦其他產(chǎn)品？

3.如何發(fā)現(xiàn)該類圖書的潛在客戶群體？1.1商務(wù)智能的基本概念三種技術(shù)的關(guān)系：數(shù)據(jù)倉庫是BI基1.1商務(wù)智能的基本概念1.1.2商務(wù)智能的發(fā)展與應(yīng)用1．商務(wù)智能的發(fā)展從20世紀(jì)60年代計(jì)算機(jī)用于管理信息處理開始，經(jīng)過40多年的發(fā)展，信息處理技術(shù)的發(fā)展經(jīng)歷了電子數(shù)據(jù)處理系統(tǒng)（EDPS，ElectronicDataProcessingSystem）、管理信息系統(tǒng)(MIS，ManagementInformationSystem)和決策支持系統(tǒng)(DSS,DecisionSupportingSystem)等階段。

1.1商務(wù)智能的基本概念1.1.2商務(wù)智能的發(fā)展與應(yīng)1.1商務(wù)智能的基本概念2．商務(wù)智能的作用作用主要體現(xiàn)在理解、改善、衡量和創(chuàng)造四個(gè)方面。3．商務(wù)智能的作用域戰(zhàn)略管理、營(yíng)銷管理、市場(chǎng)管理、客戶關(guān)系管理和風(fēng)險(xiǎn)管理等。1.1商務(wù)智能的基本概念2．商務(wù)智能的作用1.1商務(wù)智能的基本概念1.1.3商務(wù)智能的體系結(jié)構(gòu)商務(wù)智能體系架構(gòu)主要有比爾?恩門的信息工廠，扎克曼的企業(yè)體系結(jié)構(gòu)，美國(guó)數(shù)據(jù)倉庫研究院的商務(wù)智能體系結(jié)構(gòu)以及加特納公司的商務(wù)智能體系結(jié)構(gòu)等。這些體系結(jié)構(gòu)中均包含了商務(wù)分析、OLAP、數(shù)據(jù)挖掘和數(shù)據(jù)倉庫四大部分（圖1.1）。1.1商務(wù)智能的基本概念1.1.3商務(wù)智能的體系結(jié)構(gòu)1.1商務(wù)智能的基本概念圖1.1商務(wù)智能體系結(jié)構(gòu)商務(wù)分析：績(jī)效管理、客戶管理、供應(yīng)鏈管理OLAP、數(shù)據(jù)挖掘(差異性：面向?qū)ο蠛蛦栴}不同。)數(shù)據(jù)倉庫1.1商務(wù)智能的基本概念圖1.1商務(wù)智能體系結(jié)構(gòu)商務(wù)1.2數(shù)據(jù)倉庫的發(fā)展與展望1.2.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫1.決策處理的系統(tǒng)響應(yīng)問題2.決策數(shù)據(jù)需求的問題（內(nèi)外部，集成，清潔，實(shí)體統(tǒng)一，部分非結(jié)構(gòu)化，歷史沿革信息）3.決策數(shù)據(jù)操作的問題4.數(shù)據(jù)倉庫與傳統(tǒng)數(shù)據(jù)庫的對(duì)比1.2數(shù)據(jù)倉庫的發(fā)展與展望1.2.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)1.2數(shù)據(jù)倉庫的發(fā)展與展望表1-1數(shù)據(jù)倉庫與數(shù)據(jù)庫對(duì)比表對(duì)比內(nèi)容數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)內(nèi)容當(dāng)前值歷史的、存檔的、歸納的、計(jì)算的數(shù)據(jù)數(shù)據(jù)目標(biāo)面向業(yè)務(wù)操作程序、重復(fù)處理面向主題域、管理決策分析應(yīng)用數(shù)據(jù)特性動(dòng)態(tài)變化、按字段更新靜態(tài)、不能直接更新、只定時(shí)添加數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜、適合操作計(jì)算簡(jiǎn)單、適合分析使用頻率高中到低數(shù)據(jù)訪問量每個(gè)事務(wù)只訪問少量記錄有的事務(wù)可能要訪問大量記錄對(duì)響應(yīng)時(shí)間的要求以秒為單位計(jì)量以秒、分鐘、甚至小時(shí)為計(jì)量單位1.2數(shù)據(jù)倉庫的發(fā)展與展望表1-1數(shù)據(jù)倉庫與數(shù)據(jù)庫對(duì)用戶和系統(tǒng)的面向性面向顧客（事務(wù)）VS.面向市場(chǎng)（分析）、適用知識(shí)工人數(shù)據(jù)內(nèi)容當(dāng)前、詳細(xì)數(shù)據(jù)(不利于決策)VS.不同粒度、歷史的、匯總的數(shù)據(jù)。數(shù)據(jù)庫設(shè)計(jì)實(shí)體－聯(lián)系模型(ER)和面向應(yīng)用的數(shù)據(jù)庫設(shè)計(jì)VS.星型/雪花模型和面向主題的數(shù)據(jù)庫設(shè)計(jì)用戶和系統(tǒng)的面向性數(shù)據(jù)視圖當(dāng)前的、企業(yè)內(nèi)部的數(shù)據(jù)VS.經(jīng)過演化的、集成的數(shù)據(jù)訪問模式事務(wù)操作VS.只讀查詢（但很多是復(fù)雜的查詢）任務(wù)單位簡(jiǎn)短的事務(wù)VS.復(fù)雜的查詢?cè)L問數(shù)據(jù)量數(shù)十個(gè)VS.數(shù)百萬個(gè)數(shù)據(jù)視圖用戶數(shù)(與企業(yè)規(guī)模相關(guān))數(shù)千個(gè)VS.數(shù)百個(gè)數(shù)據(jù)庫規(guī)模100M-數(shù)GBVS.100GB-數(shù)TB設(shè)計(jì)優(yōu)先性高性能、高可用性VS.高靈活性、端點(diǎn)用戶自治度量事務(wù)吞吐量VS.查詢吞吐量、響應(yīng)時(shí)間用戶數(shù)(與企業(yè)規(guī)模相關(guān))1.2數(shù)據(jù)倉庫的發(fā)展與展望1.2.2數(shù)據(jù)倉庫的定義與基本特性WilliamH.Inmon在1993年所寫的論著《BuildingtheDataWarehouse》則首先系統(tǒng)性地闡述了關(guān)于數(shù)據(jù)倉庫的思想、理論，為數(shù)據(jù)倉庫的發(fā)展奠定了歷史基石。在文中，將數(shù)據(jù)倉庫定義為：“一個(gè)面向主題的、集成的、隨時(shí)間變化的、非易失性數(shù)據(jù)的集合，用于支持管理層的決策過程”。1.2數(shù)據(jù)倉庫的發(fā)展與展望1.2.2數(shù)據(jù)倉庫的定義與1.2數(shù)據(jù)倉庫的發(fā)展與展望1.面向主題性面向主題性表示了數(shù)據(jù)倉庫中數(shù)據(jù)組織的基本原則，數(shù)據(jù)倉庫中的所有數(shù)據(jù)都是圍繞著某一主題組織的。

根據(jù)決策問題確定主題。確定主題以后，需要確定主題應(yīng)該包含的數(shù)據(jù)。（并非所有業(yè)務(wù)數(shù)據(jù)都能進(jìn)入數(shù)據(jù)倉庫的主體中）不同的主題之間可能會(huì)出現(xiàn)相互重疊的信息。主題在數(shù)據(jù)倉庫中可以用多維數(shù)據(jù)庫方式進(jìn)行存儲(chǔ)。（數(shù)據(jù)結(jié)構(gòu)）主題的劃分中，必須保證每一個(gè)主題的獨(dú)立性。1.2數(shù)據(jù)倉庫的發(fā)展與展望1.面向主題性1.2數(shù)據(jù)倉庫的發(fā)展與展望2.數(shù)據(jù)集成性根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進(jìn)行抽取、篩選、清理、綜合等工作，最終集成到數(shù)據(jù)倉庫中。數(shù)據(jù)來源廣泛：OLTP,ERP,EC,異質(zhì)性數(shù)據(jù)庫.3.數(shù)據(jù)的時(shí)變性數(shù)據(jù)應(yīng)該隨著時(shí)間的推移而發(fā)生變化。不斷地生成主題的新快照4.數(shù)據(jù)的非易失性數(shù)據(jù)不進(jìn)行更新處理1.2數(shù)據(jù)倉庫的發(fā)展與展望2.數(shù)據(jù)集成性1.2數(shù)據(jù)倉庫的發(fā)展與展望5.數(shù)據(jù)的集合性按照主題，以多維數(shù)據(jù)庫方式進(jìn)行存儲(chǔ)的多維模式、以關(guān)系數(shù)據(jù)庫方式進(jìn)行存儲(chǔ)的關(guān)系模式或以兩者相結(jié)合的方式進(jìn)行存儲(chǔ)的混合模式。集合性即數(shù)據(jù)的閉合性，能夠提供主題分析的全部數(shù)據(jù)信息。6.支持決策作用

1.2數(shù)據(jù)倉庫的發(fā)展與展望5.數(shù)據(jù)的集合性1.2數(shù)據(jù)倉庫的發(fā)展與展望1.2.3數(shù)據(jù)倉庫的發(fā)展1.基于關(guān)系對(duì)象數(shù)據(jù)庫的數(shù)據(jù)倉庫2.網(wǎng)絡(luò)的影響3.操作型動(dòng)態(tài)數(shù)據(jù)倉庫4.Web應(yīng)用中的多智體技術(shù)

1.2數(shù)據(jù)倉庫的發(fā)展與展望1.2.3數(shù)據(jù)倉庫的發(fā)展1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)數(shù)據(jù)源、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市/知識(shí)挖掘庫以及各種管理工具和應(yīng)用工具（圖1.2）。

1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)

數(shù)據(jù)源業(yè)務(wù)系統(tǒng)外部數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)倉庫數(shù)據(jù)庫應(yīng)用工具管理工具數(shù)據(jù)集市/知識(shí)挖掘庫應(yīng)用工具數(shù)據(jù)集市/知識(shí)挖掘庫圖1.2數(shù)據(jù)倉庫的概念結(jié)構(gòu)1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)業(yè)務(wù)系統(tǒng)外部數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.2虛擬數(shù)據(jù)倉庫結(jié)構(gòu)不需要從業(yè)務(wù)系統(tǒng)中抽取數(shù)據(jù)到新的數(shù)據(jù)存儲(chǔ)位置——數(shù)據(jù)倉庫中

用戶數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.2虛擬數(shù)據(jù)倉庫結(jié)構(gòu)數(shù)1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.3數(shù)據(jù)集市結(jié)構(gòu)

用戶

數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫主題1主題21.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.3數(shù)據(jù)集市結(jié)構(gòu)數(shù)據(jù)倉1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.4單一數(shù)據(jù)倉庫結(jié)構(gòu)

用戶

數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)集市1數(shù)據(jù)集市21.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.4單一數(shù)據(jù)倉庫結(jié)構(gòu)數(shù)1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.5分布式數(shù)據(jù)倉庫結(jié)構(gòu)

站點(diǎn)A站點(diǎn)B

站點(diǎn)C站點(diǎn)D局部數(shù)據(jù)倉庫全局?jǐn)?shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫總部1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.5分布式數(shù)據(jù)倉庫結(jié)構(gòu)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)

數(shù)據(jù)倉庫的基本功能包含：數(shù)據(jù)抽取，數(shù)據(jù)篩選、清理，清理后的數(shù)據(jù)加載，設(shè)立數(shù)據(jù)集市，完成數(shù)據(jù)倉庫的查詢、決策分析和知識(shí)的挖掘等操作。數(shù)據(jù)倉庫的管理層分成數(shù)據(jù)管理與元數(shù)據(jù)管理兩部分，主要負(fù)責(zé)對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)抽取、清理、加載、更新等操作進(jìn)行管理。數(shù)據(jù)倉庫環(huán)境支持層包含數(shù)據(jù)傳輸和數(shù)據(jù)倉庫基礎(chǔ)兩部分。數(shù)據(jù)倉庫基本功能層數(shù)據(jù)倉庫管理層數(shù)據(jù)倉庫環(huán)境支持層1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)數(shù)據(jù)倉庫的基本1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)1.4.1數(shù)據(jù)倉庫基本功能層1.數(shù)據(jù)倉庫的數(shù)據(jù)源業(yè)務(wù)數(shù)據(jù)、歷史數(shù)據(jù)、辦公數(shù)據(jù)、Web數(shù)據(jù)、外部數(shù)據(jù)以及數(shù)據(jù)源元數(shù)據(jù)

數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)倉庫結(jié)構(gòu)數(shù)據(jù)集市/知識(shí)挖掘庫存取與使用1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)1.4.1數(shù)據(jù)倉庫基本功能層1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)2.數(shù)據(jù)準(zhǔn)備區(qū)功能結(jié)構(gòu)數(shù)據(jù)準(zhǔn)備區(qū)標(biāo)準(zhǔn)化元數(shù)據(jù)抽取與創(chuàng)建過濾與匹配凈化標(biāo)明時(shí)間戳的數(shù)據(jù)源確認(rèn)數(shù)據(jù)質(zhì)量1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)2.數(shù)據(jù)準(zhǔn)備區(qū)功能結(jié)構(gòu)數(shù)據(jù)準(zhǔn)備區(qū)

元數(shù)據(jù)類型基于應(yīng)用，可以將元數(shù)據(jù)分成以下的若干種。數(shù)據(jù)結(jié)構(gòu)：數(shù)據(jù)集的名稱、關(guān)系、字段、約束等；數(shù)據(jù)部署：數(shù)據(jù)集的物理位置；數(shù)據(jù)流：數(shù)據(jù)集之間的流程依賴關(guān)系（非參照依賴），包括數(shù)據(jù)集到另一個(gè)數(shù)據(jù)集的規(guī)則；質(zhì)量度量：數(shù)據(jù)集上可以計(jì)算的度量；度量邏輯關(guān)系：數(shù)據(jù)集度量之間的邏輯運(yùn)算關(guān)系；

ETL過程：過程運(yùn)行的順序，并行、串行；數(shù)據(jù)集快照：一個(gè)時(shí)間點(diǎn)上，數(shù)據(jù)在所有數(shù)據(jù)集上的分布情況；星型模式元數(shù)據(jù)：事實(shí)表、維度、屬性、層次等；報(bào)表語義層：報(bào)表指標(biāo)的規(guī)則、過濾條件物理名稱和業(yè)務(wù)名稱的對(duì)應(yīng)；數(shù)據(jù)訪問日志：哪些數(shù)據(jù)何時(shí)被何人訪問；質(zhì)量稽核日志：何時(shí)、何度量被稽核，其結(jié)果；數(shù)據(jù)裝載日志：哪些數(shù)據(jù)何時(shí)被何人裝載；

元數(shù)據(jù)類型基于應(yīng)用，可以將元數(shù)據(jù)分成以下的若干種。1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)3.數(shù)據(jù)倉庫功能結(jié)構(gòu)數(shù)據(jù)重整數(shù)據(jù)倉庫創(chuàng)建元數(shù)據(jù)管理集成與分解建模元數(shù)據(jù)瀏覽與導(dǎo)航概括與聚集概括預(yù)算與推導(dǎo)聚集元數(shù)據(jù)創(chuàng)建翻譯與格式化調(diào)整與確認(rèn)轉(zhuǎn)換與映像建立結(jié)構(gòu)化查詢創(chuàng)建詞匯表1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)3.數(shù)據(jù)倉庫功能結(jié)構(gòu)數(shù)據(jù)重整數(shù)據(jù)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)4.數(shù)據(jù)集市/知識(shí)挖掘庫結(jié)構(gòu)求精與重整數(shù)據(jù)集市/知識(shí)挖掘庫創(chuàng)建元數(shù)據(jù)管理過濾與匹配建立模型元數(shù)據(jù)瀏覽與導(dǎo)航集成與分割概括概括與聚集聚集元數(shù)據(jù)的抽取與創(chuàng)建預(yù)測(cè)與推導(dǎo)調(diào)整與確認(rèn)標(biāo)明時(shí)間維的數(shù)據(jù)源建立結(jié)構(gòu)化查詢創(chuàng)建詞匯表1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)4.數(shù)據(jù)集市/知識(shí)挖掘庫結(jié)構(gòu)求精1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)5.數(shù)據(jù)倉庫的數(shù)據(jù)存取與使用結(jié)構(gòu)數(shù)據(jù)倉庫存取與檢索數(shù)據(jù)倉庫分析與報(bào)告元數(shù)據(jù)管理數(shù)據(jù)倉庫直接存取報(bào)表工具（GIS）元數(shù)據(jù)管理與報(bào)表數(shù)據(jù)集市存取分析工具(OLAP)數(shù)據(jù)集市重整分析建模工具元數(shù)據(jù)抽取與創(chuàng)建轉(zhuǎn)換為多維結(jié)構(gòu)數(shù)據(jù)挖掘工具創(chuàng)建局部存儲(chǔ)圖形工具1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)5.數(shù)據(jù)倉庫的數(shù)據(jù)存取與使用結(jié)構(gòu)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)1.4.2數(shù)據(jù)倉庫的管理層1.數(shù)據(jù)倉庫的數(shù)據(jù)管理層數(shù)據(jù)抽取與新數(shù)據(jù)需求與查詢管理數(shù)據(jù)加載、存儲(chǔ)、刷新和更新系統(tǒng)安全性與用戶授權(quán)管理系統(tǒng)數(shù)據(jù)歸檔、恢復(fù)及凈化系統(tǒng)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)1.4.2數(shù)據(jù)倉庫的管理層數(shù)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)2.數(shù)據(jù)倉庫的元數(shù)據(jù)管理層數(shù)據(jù)倉庫、數(shù)據(jù)集市和詞匯表管理元數(shù)據(jù)抽取、創(chuàng)建、存儲(chǔ)和更新管理預(yù)定義的查詢、報(bào)表和索引管理刷新與復(fù)制管理登錄、歸檔、恢復(fù)與凈化管理1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)2.數(shù)據(jù)倉庫的元數(shù)據(jù)管理層數(shù)據(jù)倉1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)1.4.3數(shù)據(jù)倉庫的環(huán)境支持層1)數(shù)據(jù)倉庫的數(shù)據(jù)傳輸層數(shù)據(jù)傳輸和傳輸網(wǎng)絡(luò)客戶/服務(wù)器代理和中間件復(fù)制系統(tǒng)安全和保障系統(tǒng)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)1.4.3數(shù)據(jù)倉庫的環(huán)境支持1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)2)數(shù)據(jù)倉庫的基礎(chǔ)層系統(tǒng)管理工作流程管理存儲(chǔ)系統(tǒng)處理系統(tǒng)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)2)數(shù)據(jù)倉庫的基礎(chǔ)層系統(tǒng)管理工作1.5數(shù)據(jù)挖掘技術(shù)概述1.5.1數(shù)據(jù)挖掘的發(fā)展發(fā)展原因主要有：超大規(guī)模數(shù)據(jù)庫的出現(xiàn)、先進(jìn)的計(jì)算機(jī)技術(shù)、經(jīng)營(yíng)管理的實(shí)際需要和數(shù)據(jù)的精深計(jì)算能力

1.5數(shù)據(jù)挖掘技術(shù)概述1.5.1數(shù)據(jù)挖掘的發(fā)展1.5數(shù)據(jù)挖掘技術(shù)概述1.5.2數(shù)據(jù)挖掘的定義1.數(shù)據(jù)挖掘的技術(shù)定義數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際數(shù)據(jù)中，提取隱含在其中的、人們所不知道的、但又是潛在有用的信息和知識(shí)的過程。2.數(shù)據(jù)挖掘的商業(yè)定義一種嶄新的商業(yè)信息處理技術(shù)，其主要特點(diǎn)是對(duì)商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)化、分析和模式化處理，從中提取輔助商業(yè)決策的關(guān)鍵知識(shí)

1.5數(shù)據(jù)挖掘技術(shù)概述1.5.2數(shù)據(jù)挖掘的定義1.5數(shù)據(jù)挖掘技術(shù)概述傳統(tǒng)數(shù)據(jù)分析工具(DSS/EIS)數(shù)據(jù)挖掘工具工具特點(diǎn)回顧型的、驗(yàn)證型的預(yù)測(cè)型的、發(fā)現(xiàn)型的分析重點(diǎn)已經(jīng)發(fā)生了什么預(yù)測(cè)未來的情況、解釋發(fā)生的原因分析目的從最近的銷售文件中列出最大客戶鎖定未來的可能客戶，以減少未來的銷售成本數(shù)據(jù)集大小數(shù)據(jù)維、維中屬性數(shù)、維中數(shù)據(jù)均是少量的數(shù)據(jù)維、維中屬性數(shù)、維中數(shù)據(jù)均是龐大的啟動(dòng)方式企業(yè)管理人員、系統(tǒng)分析員、管理顧問啟動(dòng)與控制數(shù)據(jù)與系統(tǒng)啟動(dòng)，少量的人員指導(dǎo)技術(shù)狀況成熟統(tǒng)計(jì)分析工具已成熟，其他工具正在發(fā)展中1.5數(shù)據(jù)挖掘技術(shù)概述傳統(tǒng)數(shù)據(jù)分析工具(DSS/EIS)1.6數(shù)據(jù)挖掘技術(shù)與工具1.6.1常用數(shù)據(jù)挖掘技術(shù)1.傳統(tǒng)分析類線性分析和非線性分析、回歸分析、邏輯回歸分析、單變量分析、多變量分析、時(shí)間序列分析、最近鄰算法和聚類分析等技術(shù)。2.知識(shí)發(fā)現(xiàn)類人工神經(jīng)網(wǎng)絡(luò)、決策樹、遺傳算法、粗糙集、規(guī)則發(fā)現(xiàn)、關(guān)聯(lián)順序等。3.數(shù)據(jù)挖掘技術(shù)的發(fā)展文本數(shù)據(jù)挖掘、Web數(shù)據(jù)挖掘、可視化系統(tǒng)、空間數(shù)據(jù)挖掘和分布式數(shù)據(jù)挖掘技術(shù)等。1.6數(shù)據(jù)挖掘技術(shù)與工具1.6.1常用數(shù)據(jù)挖掘技術(shù)1.6數(shù)據(jù)挖掘技術(shù)與工具1.6.2常用數(shù)據(jù)挖掘工具1.按使用方式分類的數(shù)據(jù)挖掘工具決策方案生成工具、商業(yè)分析工具和研究分析工具三大類。2.按數(shù)據(jù)挖掘技術(shù)分類的數(shù)據(jù)挖掘工具基于神經(jīng)網(wǎng)絡(luò)的工具、基于規(guī)則和決策樹的工具、基于模糊邏輯的工具和綜合性數(shù)據(jù)挖掘工具等。

3.按應(yīng)用范圍分類的數(shù)據(jù)挖掘工具專用型數(shù)據(jù)挖掘工具和通用型數(shù)據(jù)挖掘工具。1.6數(shù)據(jù)挖掘技術(shù)與工具1.6.2常用數(shù)據(jù)挖掘工具1.6數(shù)據(jù)挖掘技術(shù)與工具1.6.3數(shù)據(jù)挖掘工具的評(píng)價(jià)標(biāo)準(zhǔn)1.模式種類的數(shù)量2.解決復(fù)雜問題的能力3.操作性能4.數(shù)據(jù)獲取能力5.挖掘結(jié)果的輸出6.噪聲數(shù)據(jù)的處理及挖掘工具的魯棒性1.6數(shù)據(jù)挖掘技術(shù)與工具1.6.3數(shù)據(jù)挖掘工具的評(píng)價(jià)1.6數(shù)據(jù)挖掘技術(shù)與工具1.6.4常用數(shù)據(jù)挖掘工具選擇從工具的實(shí)用性和技術(shù)性方面進(jìn)行考察1.6數(shù)據(jù)挖掘技術(shù)與工具1.6.4常用數(shù)據(jù)挖掘工具選1.7數(shù)據(jù)挖掘的應(yīng)用1.7.1數(shù)據(jù)挖掘與數(shù)據(jù)倉庫大多數(shù)數(shù)據(jù)挖掘工具需要在集成的、一致的、經(jīng)過清理的數(shù)據(jù)上進(jìn)行挖掘。

在數(shù)據(jù)倉庫的構(gòu)造過程中已經(jīng)圍繞數(shù)據(jù)倉庫組建了包括：數(shù)據(jù)存取、數(shù)據(jù)集成、數(shù)據(jù)合并、異種數(shù)據(jù)庫的轉(zhuǎn)換、ODBC/OLEDB的連接、Web訪問和服務(wù)工具以及報(bào)表與OLAP分析工具等全面的數(shù)據(jù)處理和數(shù)據(jù)分析基礎(chǔ)設(shè)施。數(shù)據(jù)倉庫中的OLAP完全可以為數(shù)據(jù)挖掘提供有關(guān)的數(shù)據(jù)操作支持?jǐn)?shù)據(jù)挖掘與數(shù)據(jù)倉庫的應(yīng)用已經(jīng)緊密地捆綁在一起1.7數(shù)據(jù)挖掘的應(yīng)用1.7.1數(shù)據(jù)挖掘與數(shù)據(jù)倉庫1.7數(shù)據(jù)挖掘的應(yīng)用1.7.2數(shù)據(jù)挖掘過程數(shù)據(jù)挖掘過程一般需要經(jīng)歷：確定挖掘?qū)ο?、?zhǔn)備數(shù)據(jù)、建立模型、數(shù)據(jù)挖掘、結(jié)果分析與知識(shí)應(yīng)用這樣幾個(gè)階段。

1.7數(shù)據(jù)挖掘的應(yīng)用1.7.2數(shù)據(jù)挖掘過程1.7數(shù)據(jù)挖掘的應(yīng)用

確定挖掘?qū)ο髚準(zhǔn)備數(shù)據(jù)|模型建立|數(shù)據(jù)挖掘|結(jié)果分析|知識(shí)應(yīng)用

應(yīng)用方案

知識(shí)

商業(yè)模式

預(yù)處理數(shù)據(jù)目標(biāo)數(shù)據(jù)

集成數(shù)據(jù)源數(shù)據(jù)業(yè)務(wù)對(duì)象

業(yè)務(wù)分析人員|數(shù)據(jù)管理人員|數(shù)據(jù)分析人員|業(yè)務(wù)分析人員1.7數(shù)據(jù)挖掘的應(yīng)用

確定挖掘?qū)ο髚1.7數(shù)據(jù)挖掘的應(yīng)用1.7.3數(shù)據(jù)挖掘的用戶業(yè)務(wù)分析人員、數(shù)據(jù)分析人員和數(shù)據(jù)管理人員。1.7數(shù)據(jù)挖掘的應(yīng)用1.7.3數(shù)據(jù)挖掘的用戶課程性質(zhì)與參考書目專業(yè)課程，綜合性強(qiáng)理論與實(shí)踐相結(jié)合教材：《數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)（第2版）》，陳京民，電子工業(yè)出版社，2007.參考書目《數(shù)據(jù)挖掘概念與技術(shù)（第2版）》，（加）韓家煒，堪博，機(jī)械工業(yè)出版社，2007.《SQLServer2005聯(lián)機(jī)叢書》中的《AnalysisServices教程》、《數(shù)據(jù)挖掘教程》課程性質(zhì)與參考書目專業(yè)課程，綜合性強(qiáng)第1章商務(wù)智能基本概念

信息技術(shù)的不斷推廣應(yīng)用，將企業(yè)帶入了一個(gè)信息爆炸的時(shí)代。每日、每時(shí)、每刻都有潮水般的信息出現(xiàn)在管理者的面前，等待管理者去處理、去使用。與此同時(shí)，企業(yè)的管理者在管理中面對(duì)來自不同部門的、相互矛盾的信息無法對(duì)所要解決的決策問題提出正確的解決方案。為此，需要一種新的信息處理技術(shù)能夠使決策者們獲取及時(shí)準(zhǔn)確的信息，以理解商務(wù)活動(dòng)并做出智能化的、更有效的決策，即能從海量的數(shù)據(jù)中提取有用的信息并轉(zhuǎn)化為商務(wù)知識(shí)，從而告別“拍腦袋”決策方式。通過本章學(xué)習(xí)，可以了解：商務(wù)智能的發(fā)展及體系結(jié)構(gòu)；數(shù)據(jù)倉庫的總體結(jié)構(gòu)框架；數(shù)據(jù)倉庫的功能結(jié)構(gòu)；數(shù)據(jù)倉庫的環(huán)境支持結(jié)構(gòu)；數(shù)據(jù)挖掘的基本原理；數(shù)據(jù)挖掘的應(yīng)用范圍和應(yīng)用過程。第1章商務(wù)智能基本概念信息技術(shù)的不斷推廣1.1商務(wù)智能的基本概念1.1.1商務(wù)智能的定義1989年美國(guó)加特納公司的分析師HowardDresner首次提出“商務(wù)智能”

美國(guó)IBM公司的定義Microsoft認(rèn)為商務(wù)智能IDC國(guó)際數(shù)據(jù)公司BusinessObjects公司認(rèn)為商務(wù)智能Teradata公司認(rèn)為商務(wù)智能的目的美國(guó)MicroStrategy公司的定義1.1商務(wù)智能的基本概念1.1.1商務(wù)智能的定義1.1商務(wù)智能的基本概念

商務(wù)智能是數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘等相關(guān)技術(shù)走向商業(yè)應(yīng)用后形成的一種應(yīng)用技術(shù)。該技術(shù)收集、匯總了與商務(wù)活動(dòng)有關(guān)的各種數(shù)據(jù)，將其集成到數(shù)據(jù)倉庫中。采用聯(lián)機(jī)分析技術(shù)（OLAP）對(duì)商務(wù)活動(dòng)進(jìn)行實(shí)時(shí)的監(jiān)控、分析，便于及時(shí)采取有效的商務(wù)決策，提升商務(wù)活動(dòng)的績(jī)效。應(yīng)用數(shù)據(jù)挖掘技術(shù)(DM)對(duì)描述商務(wù)活動(dòng)的數(shù)據(jù)進(jìn)行挖掘，以獲取有效的商務(wù)信息，從中提取商務(wù)知識(shí)，為企業(yè)商業(yè)發(fā)展尋找新的機(jī)遇。

OLAP與DM之間的區(qū)別？1.1商務(wù)智能的基本概念商務(wù)智能是數(shù)據(jù)倉庫1.1商務(wù)智能的基本概念三種技術(shù)的關(guān)系：數(shù)據(jù)倉庫是BI基礎(chǔ)；OLAP是BI利器；DM是BI源泉。例子：一位消費(fèi)者話34元在網(wǎng)上購買了一本介紹證券交易的圖書。思考？

1.如何記錄消費(fèi)者的購買情況？該書銷售情況，證券交易類，金融類，經(jīng)管類圖書銷售情況？時(shí)間維度，產(chǎn)品類型。

2.如何將向該消費(fèi)者推薦其他產(chǎn)品？

3.如何發(fā)現(xiàn)該類圖書的潛在客戶群體？1.1商務(wù)智能的基本概念三種技術(shù)的關(guān)系：數(shù)據(jù)倉庫是BI基1.1商務(wù)智能的基本概念1.1.2商務(wù)智能的發(fā)展與應(yīng)用1．商務(wù)智能的發(fā)展從20世紀(jì)60年代計(jì)算機(jī)用于管理信息處理開始，經(jīng)過40多年的發(fā)展，信息處理技術(shù)的發(fā)展經(jīng)歷了電子數(shù)據(jù)處理系統(tǒng)（EDPS，ElectronicDataProcessingSystem）、管理信息系統(tǒng)(MIS，ManagementInformationSystem)和決策支持系統(tǒng)(DSS,DecisionSupportingSystem)等階段。

1.1商務(wù)智能的基本概念1.1.2商務(wù)智能的發(fā)展與應(yīng)1.1商務(wù)智能的基本概念2．商務(wù)智能的作用作用主要體現(xiàn)在理解、改善、衡量和創(chuàng)造四個(gè)方面。3．商務(wù)智能的作用域戰(zhàn)略管理、營(yíng)銷管理、市場(chǎng)管理、客戶關(guān)系管理和風(fēng)險(xiǎn)管理等。1.1商務(wù)智能的基本概念2．商務(wù)智能的作用1.1商務(wù)智能的基本概念1.1.3商務(wù)智能的體系結(jié)構(gòu)商務(wù)智能體系架構(gòu)主要有比爾?恩門的信息工廠，扎克曼的企業(yè)體系結(jié)構(gòu)，美國(guó)數(shù)據(jù)倉庫研究院的商務(wù)智能體系結(jié)構(gòu)以及加特納公司的商務(wù)智能體系結(jié)構(gòu)等。這些體系結(jié)構(gòu)中均包含了商務(wù)分析、OLAP、數(shù)據(jù)挖掘和數(shù)據(jù)倉庫四大部分（圖1.1）。1.1商務(wù)智能的基本概念1.1.3商務(wù)智能的體系結(jié)構(gòu)1.1商務(wù)智能的基本概念圖1.1商務(wù)智能體系結(jié)構(gòu)商務(wù)分析：績(jī)效管理、客戶管理、供應(yīng)鏈管理OLAP、數(shù)據(jù)挖掘(差異性：面向?qū)ο蠛蛦栴}不同。)數(shù)據(jù)倉庫1.1商務(wù)智能的基本概念圖1.1商務(wù)智能體系結(jié)構(gòu)商務(wù)1.2數(shù)據(jù)倉庫的發(fā)展與展望1.2.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫1.決策處理的系統(tǒng)響應(yīng)問題2.決策數(shù)據(jù)需求的問題（內(nèi)外部，集成，清潔，實(shí)體統(tǒng)一，部分非結(jié)構(gòu)化，歷史沿革信息）3.決策數(shù)據(jù)操作的問題4.數(shù)據(jù)倉庫與傳統(tǒng)數(shù)據(jù)庫的對(duì)比1.2數(shù)據(jù)倉庫的發(fā)展與展望1.2.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)1.2數(shù)據(jù)倉庫的發(fā)展與展望表1-1數(shù)據(jù)倉庫與數(shù)據(jù)庫對(duì)比表對(duì)比內(nèi)容數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)內(nèi)容當(dāng)前值歷史的、存檔的、歸納的、計(jì)算的數(shù)據(jù)數(shù)據(jù)目標(biāo)面向業(yè)務(wù)操作程序、重復(fù)處理面向主題域、管理決策分析應(yīng)用數(shù)據(jù)特性動(dòng)態(tài)變化、按字段更新靜態(tài)、不能直接更新、只定時(shí)添加數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜、適合操作計(jì)算簡(jiǎn)單、適合分析使用頻率高中到低數(shù)據(jù)訪問量每個(gè)事務(wù)只訪問少量記錄有的事務(wù)可能要訪問大量記錄對(duì)響應(yīng)時(shí)間的要求以秒為單位計(jì)量以秒、分鐘、甚至小時(shí)為計(jì)量單位1.2數(shù)據(jù)倉庫的發(fā)展與展望表1-1數(shù)據(jù)倉庫與數(shù)據(jù)庫對(duì)用戶和系統(tǒng)的面向性面向顧客（事務(wù)）VS.面向市場(chǎng)（分析）、適用知識(shí)工人數(shù)據(jù)內(nèi)容當(dāng)前、詳細(xì)數(shù)據(jù)(不利于決策)VS.不同粒度、歷史的、匯總的數(shù)據(jù)。數(shù)據(jù)庫設(shè)計(jì)實(shí)體－聯(lián)系模型(ER)和面向應(yīng)用的數(shù)據(jù)庫設(shè)計(jì)VS.星型/雪花模型和面向主題的數(shù)據(jù)庫設(shè)計(jì)用戶和系統(tǒng)的面向性數(shù)據(jù)視圖當(dāng)前的、企業(yè)內(nèi)部的數(shù)據(jù)VS.經(jīng)過演化的、集成的數(shù)據(jù)訪問模式事務(wù)操作VS.只讀查詢（但很多是復(fù)雜的查詢）任務(wù)單位簡(jiǎn)短的事務(wù)VS.復(fù)雜的查詢?cè)L問數(shù)據(jù)量數(shù)十個(gè)VS.數(shù)百萬個(gè)數(shù)據(jù)視圖用戶數(shù)(與企業(yè)規(guī)模相關(guān))數(shù)千個(gè)VS.數(shù)百個(gè)數(shù)據(jù)庫規(guī)模100M-數(shù)GBVS.100GB-數(shù)TB設(shè)計(jì)優(yōu)先性高性能、高可用性VS.高靈活性、端點(diǎn)用戶自治度量事務(wù)吞吐量VS.查詢吞吐量、響應(yīng)時(shí)間用戶數(shù)(與企業(yè)規(guī)模相關(guān))1.2數(shù)據(jù)倉庫的發(fā)展與展望1.2.2數(shù)據(jù)倉庫的定義與基本特性WilliamH.Inmon在1993年所寫的論著《BuildingtheDataWarehouse》則首先系統(tǒng)性地闡述了關(guān)于數(shù)據(jù)倉庫的思想、理論，為數(shù)據(jù)倉庫的發(fā)展奠定了歷史基石。在文中，將數(shù)據(jù)倉庫定義為：“一個(gè)面向主題的、集成的、隨時(shí)間變化的、非易失性數(shù)據(jù)的集合，用于支持管理層的決策過程”。1.2數(shù)據(jù)倉庫的發(fā)展與展望1.2.2數(shù)據(jù)倉庫的定義與1.2數(shù)據(jù)倉庫的發(fā)展與展望1.面向主題性面向主題性表示了數(shù)據(jù)倉庫中數(shù)據(jù)組織的基本原則，數(shù)據(jù)倉庫中的所有數(shù)據(jù)都是圍繞著某一主題組織的。

根據(jù)決策問題確定主題。確定主題以后，需要確定主題應(yīng)該包含的數(shù)據(jù)。（并非所有業(yè)務(wù)數(shù)據(jù)都能進(jìn)入數(shù)據(jù)倉庫的主體中）不同的主題之間可能會(huì)出現(xiàn)相互重疊的信息。主題在數(shù)據(jù)倉庫中可以用多維數(shù)據(jù)庫方式進(jìn)行存儲(chǔ)。（數(shù)據(jù)結(jié)構(gòu)）主題的劃分中，必須保證每一個(gè)主題的獨(dú)立性。1.2數(shù)據(jù)倉庫的發(fā)展與展望1.面向主題性1.2數(shù)據(jù)倉庫的發(fā)展與展望2.數(shù)據(jù)集成性根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進(jìn)行抽取、篩選、清理、綜合等工作，最終集成到數(shù)據(jù)倉庫中。數(shù)據(jù)來源廣泛：OLTP,ERP,EC,異質(zhì)性數(shù)據(jù)庫.3.數(shù)據(jù)的時(shí)變性數(shù)據(jù)應(yīng)該隨著時(shí)間的推移而發(fā)生變化。不斷地生成主題的新快照4.數(shù)據(jù)的非易失性數(shù)據(jù)不進(jìn)行更新處理1.2數(shù)據(jù)倉庫的發(fā)展與展望2.數(shù)據(jù)集成性1.2數(shù)據(jù)倉庫的發(fā)展與展望5.數(shù)據(jù)的集合性按照主題，以多維數(shù)據(jù)庫方式進(jìn)行存儲(chǔ)的多維模式、以關(guān)系數(shù)據(jù)庫方式進(jìn)行存儲(chǔ)的關(guān)系模式或以兩者相結(jié)合的方式進(jìn)行存儲(chǔ)的混合模式。集合性即數(shù)據(jù)的閉合性，能夠提供主題分析的全部數(shù)據(jù)信息。6.支持決策作用

1.2數(shù)據(jù)倉庫的發(fā)展與展望5.數(shù)據(jù)的集合性1.2數(shù)據(jù)倉庫的發(fā)展與展望1.2.3數(shù)據(jù)倉庫的發(fā)展1.基于關(guān)系對(duì)象數(shù)據(jù)庫的數(shù)據(jù)倉庫2.網(wǎng)絡(luò)的影響3.操作型動(dòng)態(tài)數(shù)據(jù)倉庫4.Web應(yīng)用中的多智體技術(shù)

1.2數(shù)據(jù)倉庫的發(fā)展與展望1.2.3數(shù)據(jù)倉庫的發(fā)展1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)數(shù)據(jù)源、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市/知識(shí)挖掘庫以及各種管理工具和應(yīng)用工具（圖1.2）。

1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)

數(shù)據(jù)源業(yè)務(wù)系統(tǒng)外部數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)倉庫數(shù)據(jù)庫應(yīng)用工具管理工具數(shù)據(jù)集市/知識(shí)挖掘庫應(yīng)用工具數(shù)據(jù)集市/知識(shí)挖掘庫圖1.2數(shù)據(jù)倉庫的概念結(jié)構(gòu)1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)業(yè)務(wù)系統(tǒng)外部數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.2虛擬數(shù)據(jù)倉庫結(jié)構(gòu)不需要從業(yè)務(wù)系統(tǒng)中抽取數(shù)據(jù)到新的數(shù)據(jù)存儲(chǔ)位置——數(shù)據(jù)倉庫中

用戶數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.2虛擬數(shù)據(jù)倉庫結(jié)構(gòu)數(shù)1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.3數(shù)據(jù)集市結(jié)構(gòu)

用戶

數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫主題1主題21.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.3數(shù)據(jù)集市結(jié)構(gòu)數(shù)據(jù)倉1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.4單一數(shù)據(jù)倉庫結(jié)構(gòu)

用戶

數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)集市1數(shù)據(jù)集市21.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.4單一數(shù)據(jù)倉庫結(jié)構(gòu)數(shù)1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.5分布式數(shù)據(jù)倉庫結(jié)構(gòu)

站點(diǎn)A站點(diǎn)B

站點(diǎn)C站點(diǎn)D局部數(shù)據(jù)倉庫全局?jǐn)?shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫總部1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)1.3.5分布式數(shù)據(jù)倉庫結(jié)構(gòu)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)

數(shù)據(jù)倉庫的基本功能包含：數(shù)據(jù)抽取，數(shù)據(jù)篩選、清理，清理后的數(shù)據(jù)加載，設(shè)立數(shù)據(jù)集市，完成數(shù)據(jù)倉庫的查詢、決策分析和知識(shí)的挖掘等操作。數(shù)據(jù)倉庫的管理層分成數(shù)據(jù)管理與元數(shù)據(jù)管理兩部分，主要負(fù)責(zé)對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)抽取、清理、加載、更新等操作進(jìn)行管理。數(shù)據(jù)倉庫環(huán)境支持層包含數(shù)據(jù)傳輸和數(shù)據(jù)倉庫基礎(chǔ)兩部分。數(shù)據(jù)倉庫基本功能層數(shù)據(jù)倉庫管理層數(shù)據(jù)倉庫環(huán)境支持層1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)數(shù)據(jù)倉庫的基本1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)1.4.1數(shù)據(jù)倉庫基本功能層1.數(shù)據(jù)倉庫的數(shù)據(jù)源業(yè)務(wù)數(shù)據(jù)、歷史數(shù)據(jù)、辦公數(shù)據(jù)、Web數(shù)據(jù)、外部數(shù)據(jù)以及數(shù)據(jù)源元數(shù)據(jù)

數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)倉庫結(jié)構(gòu)數(shù)據(jù)集市/知識(shí)挖掘庫存取與使用1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)1.4.1數(shù)據(jù)倉庫基本功能層1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)2.數(shù)據(jù)準(zhǔn)備區(qū)功能結(jié)構(gòu)數(shù)據(jù)準(zhǔn)備區(qū)標(biāo)準(zhǔn)化元數(shù)據(jù)抽取與創(chuàng)建過濾與匹配凈化標(biāo)明時(shí)間戳的數(shù)據(jù)源確認(rèn)數(shù)據(jù)質(zhì)量1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)2.數(shù)據(jù)準(zhǔn)備區(qū)功能結(jié)構(gòu)數(shù)據(jù)準(zhǔn)備區(qū)

元數(shù)據(jù)類型基于應(yīng)用，可以將元數(shù)據(jù)分成以下的若干種。數(shù)據(jù)結(jié)構(gòu)：數(shù)據(jù)集的名稱、關(guān)系、字段、約束等；數(shù)據(jù)部署：數(shù)據(jù)集的物理位置；數(shù)據(jù)流：數(shù)據(jù)集之間的流程依賴關(guān)系（非參照依賴），包括數(shù)據(jù)集到另一個(gè)數(shù)據(jù)集的規(guī)則；質(zhì)量度量：數(shù)據(jù)集上可以計(jì)算的度量；度量邏輯關(guān)系：數(shù)據(jù)集度量之間的邏輯運(yùn)算關(guān)系；

ETL過程：過程運(yùn)行的順序，并行、串行；數(shù)據(jù)集快照：一個(gè)時(shí)間點(diǎn)上，數(shù)據(jù)在所有數(shù)據(jù)集上的分布情況；星型模式元數(shù)據(jù)：事實(shí)表、維度、屬性、層次等；報(bào)表語義層：報(bào)表指標(biāo)的規(guī)則、過濾條件物理名稱和業(yè)務(wù)名稱的對(duì)應(yīng)；數(shù)據(jù)訪問日志：哪些數(shù)據(jù)何時(shí)被何人訪問；質(zhì)量稽核日志：何時(shí)、何度量被稽核，其結(jié)果；數(shù)據(jù)裝載日志：哪些數(shù)據(jù)何時(shí)被何人裝載；

元數(shù)據(jù)類型基于應(yīng)用，可以將元數(shù)據(jù)分成以下的若干種。1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)3.數(shù)據(jù)倉庫功能結(jié)構(gòu)數(shù)據(jù)重整數(shù)據(jù)倉庫創(chuàng)建元數(shù)據(jù)管理集成與分解建模元數(shù)據(jù)瀏覽與導(dǎo)航概括與聚集概括預(yù)算與推導(dǎo)聚集元數(shù)據(jù)創(chuàng)建翻譯與格式化調(diào)整與確認(rèn)轉(zhuǎn)換與映像建立結(jié)構(gòu)化查詢創(chuàng)建詞匯表1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)3.數(shù)據(jù)倉庫功能結(jié)構(gòu)數(shù)據(jù)重整數(shù)據(jù)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)4.數(shù)據(jù)集市/知識(shí)挖掘庫結(jié)構(gòu)求精與重整數(shù)據(jù)集市/知識(shí)挖掘庫創(chuàng)建元數(shù)據(jù)管理過濾與匹配建立模型元數(shù)據(jù)瀏覽與導(dǎo)航集成與分割概括概括與聚集聚集元數(shù)據(jù)的抽取與創(chuàng)建預(yù)測(cè)與推導(dǎo)調(diào)整與確認(rèn)標(biāo)明時(shí)間維的數(shù)據(jù)源建立結(jié)構(gòu)化查詢創(chuàng)建詞匯表1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)4.數(shù)據(jù)集市/知識(shí)挖掘庫結(jié)構(gòu)求精1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)5.數(shù)據(jù)倉庫的數(shù)據(jù)存取與使用結(jié)構(gòu)數(shù)據(jù)倉庫存取與檢索數(shù)據(jù)倉庫分析與報(bào)告元數(shù)據(jù)管理數(shù)據(jù)倉庫直接存取報(bào)表工具（GIS）元數(shù)據(jù)管理與報(bào)表數(shù)據(jù)集市存取分析工具(OLAP)數(shù)據(jù)集市重整分析建模工具元數(shù)據(jù)抽取與創(chuàng)建轉(zhuǎn)換為多維結(jié)構(gòu)數(shù)據(jù)挖掘工具創(chuàng)建局部存儲(chǔ)圖形工具1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)5.數(shù)據(jù)倉庫的數(shù)據(jù)存取與使用結(jié)構(gòu)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)1.4.2數(shù)據(jù)倉庫的管理層1.數(shù)據(jù)倉庫的數(shù)據(jù)管理層數(shù)據(jù)抽取與新數(shù)據(jù)需求與查詢管理數(shù)據(jù)加載、存儲(chǔ)、刷新和更新系統(tǒng)安全性與用戶授權(quán)管理系統(tǒng)數(shù)據(jù)歸檔、恢復(fù)及凈化系統(tǒng)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)1.4.2數(shù)據(jù)倉庫的管理層數(shù)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)2.數(shù)據(jù)倉庫的元數(shù)據(jù)管理層數(shù)據(jù)倉庫、數(shù)據(jù)集市和詞匯表管理元數(shù)據(jù)抽取、創(chuàng)建、存儲(chǔ)和更新管理預(yù)定義的查詢、報(bào)表和索引管理刷新與復(fù)制管理登錄、歸檔、恢復(fù)與凈化管理1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)2.數(shù)據(jù)倉庫的元數(shù)據(jù)管理層數(shù)據(jù)倉1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)1.4.3數(shù)據(jù)倉庫的環(huán)境支持層1)數(shù)據(jù)倉庫的數(shù)據(jù)傳輸層數(shù)據(jù)傳輸和傳輸網(wǎng)絡(luò)客戶/服務(wù)器代理和中間件復(fù)制系統(tǒng)安全和保障系統(tǒng)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)1.4.3數(shù)據(jù)倉庫的環(huán)境支持1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)2)數(shù)據(jù)倉庫的基礎(chǔ)層系統(tǒng)管理工作流程管理存儲(chǔ)系統(tǒng)處理系統(tǒng)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)2)數(shù)據(jù)倉庫的基礎(chǔ)層系統(tǒng)管理工作1.5數(shù)據(jù)挖掘技術(shù)概述1.5.1數(shù)據(jù)挖掘的發(fā)展發(fā)展原因主要有：超大規(guī)模數(shù)據(jù)庫的出現(xiàn)、先進(jìn)的計(jì)算機(jī)技術(shù)、經(jīng)營(yíng)管理的實(shí)際需要和數(shù)據(jù)的精深計(jì)算能力

1.5數(shù)據(jù)挖掘技術(shù)概述1.5.1數(shù)據(jù)挖掘的發(fā)展1.5數(shù)據(jù)挖掘技術(shù)概述1.5.2數(shù)據(jù)挖掘的定義1.數(shù)據(jù)挖掘的技術(shù)定義數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際數(shù)據(jù)中，提取隱含在其中的、人們所不知道的、但又是潛在有用的信息和知識(shí)的過程。2.數(shù)據(jù)挖掘的商業(yè)定義一種嶄新的商業(yè)信息處理技術(shù)，其主要特點(diǎn)是對(duì)商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)化、分析和模式化處理，從中提取輔助商業(yè)決策的關(guān)鍵知識(shí)

1.5數(shù)據(jù)挖掘技術(shù)概述1.5.2數(shù)據(jù)挖掘的定義1.5數(shù)據(jù)挖掘技術(shù)概述傳統(tǒng)數(shù)據(jù)分析工具(DSS/EIS)數(shù)據(jù)挖掘工具工具特點(diǎn)回顧型的、驗(yàn)證型的預(yù)測(cè)型的、發(fā)現(xiàn)型的分析重點(diǎn)已經(jīng)發(fā)生了什么預(yù)測(cè)未來的情況、解釋發(fā)生的原因分析目的從最近的銷售文件中列出最大客戶鎖定未來的可能客戶，以減少未來的銷售成本數(shù)據(jù)集大小數(shù)據(jù)維、維中屬性數(shù)、維中數(shù)據(jù)均是少量的數(shù)據(jù)維、維中屬性數(shù)、維中數(shù)據(jù)均是龐大的啟動(dòng)方式企業(yè)管理人員、系統(tǒng)分析員、管理顧問啟動(dòng)與控制數(shù)據(jù)與系統(tǒng)啟動(dòng)，少量的人員指導(dǎo)技術(shù)狀況成熟統(tǒng)計(jì)分析工具已成熟，其他工具正在發(fā)展中1.5數(shù)據(jù)挖掘技術(shù)概述傳統(tǒng)數(shù)據(jù)分析工具(DSS/EIS)1.6數(shù)據(jù)挖掘技術(shù)與工具1.6.1常用數(shù)據(jù)挖掘技術(shù)1.傳統(tǒng)分析類線性分析和非線性分析、回歸分析、邏輯回歸分析、單變量分析、多變量分析、時(shí)間序列分析、最近鄰算法和聚類分析等技術(shù)。2.知識(shí)發(fā)現(xiàn)類人工神經(jīng)網(wǎng)絡(luò)、決策樹、遺傳算法、粗糙集、規(guī)則發(fā)現(xiàn)、關(guān)聯(lián)順序等。3.數(shù)據(jù)挖掘技術(shù)的發(fā)展文本數(shù)據(jù)挖掘、Web數(shù)據(jù)挖掘、可視化系統(tǒng)、空間數(shù)據(jù)挖掘和分布式數(shù)據(jù)挖掘技術(shù)等。1.6數(shù)據(jù)挖掘技術(shù)與工具1.6.1