數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘概述課件

高性能計(jì)算其他數(shù)據(jù)庫(kù)統(tǒng)計(jì)學(xué)可視化數(shù)據(jù)挖掘數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘是一個(gè)多學(xué)科領(lǐng)域，從多個(gè)學(xué)科汲取營(yíng)養(yǎng)。這些學(xué)科包括數(shù)據(jù)庫(kù)技術(shù)、人工智能、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、統(tǒng)計(jì)學(xué)、模式識(shí)別、知識(shí)庫(kù)系統(tǒng)、知識(shí)獲取、信息檢索、高信能計(jì)算和數(shù)據(jù)可視化。本課程以數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘的基本概念和基本方法為主要內(nèi)容，以方法的應(yīng)用為主線，系統(tǒng)敘述數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的有關(guān)概念和基礎(chǔ)知識(shí)，使學(xué)生盡快掌握數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的基本概念，基本方法和應(yīng)用背景。課程介紹教學(xué)目的本課程的目的主要是要求學(xué)生能對(duì)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的基本方法和基本概念有整體的了解，掌握建立數(shù)據(jù)倉(cāng)庫(kù)的原理和方法,從理論上掌握數(shù)據(jù)倉(cāng)庫(kù)、OLAP聯(lián)機(jī)分析的基本概念、原理、主要算法及應(yīng)用，對(duì)數(shù)據(jù)挖掘的關(guān)聯(lián)規(guī)則，分類方法，聚類方法有深入的了解，并能夠在Clementine軟件使用過(guò)程中熟練掌握這些方法。Clementine介紹1999年SPSS公司收購(gòu)了ISL公司，對(duì)Clementine產(chǎn)品進(jìn)行重新整合和開發(fā)，現(xiàn)在Clementine已經(jīng)成為SPSS公司的又一亮點(diǎn)。作為一個(gè)數(shù)據(jù)挖掘平臺(tái)，Clementine結(jié)合商業(yè)技術(shù)可以快速建立預(yù)測(cè)性模型，進(jìn)而應(yīng)用到商業(yè)活動(dòng)中，幫助人們改進(jìn)決策過(guò)程。強(qiáng)大的數(shù)據(jù)挖掘功能和顯著的投資回報(bào)率使得Clementine在業(yè)界久負(fù)盛譽(yù)。同那些僅僅著重于模型的外在表現(xiàn)而忽略了數(shù)據(jù)挖掘在整個(gè)業(yè)務(wù)流程中的應(yīng)用價(jià)值的其它數(shù)據(jù)挖掘工具相比，Clementine其功能強(qiáng)大的數(shù)據(jù)挖掘算法，使數(shù)據(jù)挖掘貫穿業(yè)務(wù)流程的始終，在縮短投資回報(bào)周期的同時(shí)極大提高了投資回報(bào)率。CRossIndustryStandardProcess-forDataMining6個(gè)步驟業(yè)務(wù)理解數(shù)據(jù)理解數(shù)據(jù)準(zhǔn)備建模模型評(píng)估模型部署EaseofUse:Theuserinterface數(shù)據(jù)抽取、轉(zhuǎn)換、加載第1章

數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘概述

數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘和聯(lián)機(jī)分析處理（OLAP）結(jié)合起來(lái)，完成支持決策的系統(tǒng)，稱為決策支持系統(tǒng)（DSS）。數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、聯(lián)機(jī)分析處理等結(jié)合起來(lái)的技術(shù)稱為商業(yè)智能（BI）。商業(yè)智能是一種新的智能技術(shù)。

1.1數(shù)據(jù)倉(cāng)庫(kù)的興起1.2數(shù)據(jù)挖掘的興起1.3

數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的結(jié)合1.1.1從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)（1）“數(shù)據(jù)太多，信息不足”的現(xiàn)狀（2）異構(gòu)環(huán)境的數(shù)據(jù)的轉(zhuǎn)換和共享

（3）利用數(shù)據(jù)進(jìn)行數(shù)據(jù)處理轉(zhuǎn)換為利用數(shù)據(jù)支持決策1.數(shù)據(jù)庫(kù)用于事務(wù)處理數(shù)據(jù)庫(kù)作為數(shù)據(jù)資源用于管理業(yè)務(wù)中的事務(wù)處理。它已經(jīng)成為了成熟的信息基礎(chǔ)設(shè)施。數(shù)據(jù)庫(kù)中存放的數(shù)據(jù)基本上是保存當(dāng)前數(shù)據(jù)，隨著業(yè)務(wù)的變化隨時(shí)在更新數(shù)據(jù)庫(kù)中的數(shù)據(jù)。不同的管理業(yè)務(wù)需要建立不同的數(shù)據(jù)庫(kù)。例如，銀行中儲(chǔ)蓄業(yè)務(wù)、信用卡業(yè)務(wù)分別要建立儲(chǔ)蓄數(shù)據(jù)庫(kù)和信用卡數(shù)據(jù)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)（DataWarehouse，DW）面向主題的、集成的、穩(wěn)定的、隨時(shí)間不斷變化的數(shù)據(jù)庫(kù)系統(tǒng)ETL數(shù)據(jù)抽?。‥xtraction）數(shù)據(jù)轉(zhuǎn)換（Transformation）數(shù)據(jù)加載（Loading）（1）W.H.Inmon在《建立數(shù)據(jù)倉(cāng)庫(kù)》一書中，對(duì)數(shù)據(jù)倉(cāng)庫(kù)的定義為：

數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、穩(wěn)定的，不同時(shí)間的數(shù)據(jù)集合，用于支持經(jīng)營(yíng)管理中決策制定過(guò)程。1.數(shù)據(jù)倉(cāng)庫(kù)定義（2）SAS軟件研究所觀點(diǎn)：

數(shù)據(jù)倉(cāng)庫(kù)是一種管理技術(shù)，旨在通過(guò)通暢、合理、全面的信息管理，達(dá)到有效的決策支持。2.數(shù)據(jù)倉(cāng)庫(kù)特點(diǎn)（1）數(shù)據(jù)倉(cāng)庫(kù)是面向主題的主題是數(shù)據(jù)歸類的標(biāo)準(zhǔn)，每一個(gè)主題基本對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域。例如，銀行的數(shù)據(jù)倉(cāng)庫(kù)的主題：客戶

DW的客戶數(shù)據(jù)來(lái)源：從銀行儲(chǔ)蓄DB、信用卡DB、貸款DB等三個(gè)DB中抽取同一客戶的數(shù)據(jù)整理而成。

在DW中能全面地分析客戶數(shù)據(jù)，再?zèng)Q定是否繼續(xù)給予貸款。（2）數(shù)據(jù)倉(cāng)庫(kù)是集成的數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之前，必須經(jīng)過(guò)加工與集成。對(duì)不同的數(shù)據(jù)來(lái)源進(jìn)行統(tǒng)一數(shù)據(jù)結(jié)構(gòu)和編碼。統(tǒng)一原始數(shù)據(jù)中的所有矛盾之處，如字段的同名異義，異名同義，單位不統(tǒng)一，字長(zhǎng)不一致等。將原始數(shù)據(jù)結(jié)構(gòu)做一個(gè)從面向應(yīng)用到面向主題的大轉(zhuǎn)變。

（5）數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)量很大大型DW的數(shù)據(jù)是一個(gè)TB（1000GB）級(jí)數(shù)據(jù)量（一般為10GB級(jí)DW，相當(dāng)于一般數(shù)據(jù)庫(kù)100MB的100倍）

（6）數(shù)據(jù)倉(cāng)庫(kù)軟、硬件要求較高

需要一個(gè)巨大的硬件平臺(tái)需要一個(gè)并行的數(shù)據(jù)庫(kù)系統(tǒng)3.數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)對(duì)比1.1.2從OLTP到OLAP1.聯(lián)機(jī)事物處理（OLTP）2.聯(lián)機(jī)分析處理（OLAP）3.OLTP與OLAP的對(duì)比OLTP主要用于包括銀行業(yè)、航空、郵購(gòu)訂單、超級(jí)市場(chǎng)和制造業(yè)等的輸入數(shù)據(jù)和取回交易數(shù)據(jù)。如銀行為分布在各地的自動(dòng)取款機(jī)

(ATM)完成即時(shí)取款交易；機(jī)票預(yù)定系統(tǒng)能每秒處理的定票事務(wù)峰值可以達(dá)到20000個(gè)。OLTP是事務(wù)處理從單機(jī)到網(wǎng)絡(luò)環(huán)境地發(fā)展新階段。OLTP的特點(diǎn)在于事務(wù)處理量大，應(yīng)用要求多個(gè)并行處理，事務(wù)處理內(nèi)容比較簡(jiǎn)單且重復(fù)率高。大量的數(shù)據(jù)操作主要涉及的是一些增加、刪除、修改、查詢等操作。每次操作的數(shù)據(jù)量不大且多為當(dāng)前的數(shù)據(jù)。

OLAP（On-LineAnalyticalProcessing）商務(wù)智能的直接數(shù)據(jù)來(lái)源？OLTP?數(shù)據(jù)倉(cāng)庫(kù)？多維數(shù)據(jù)集?什么是多維數(shù)據(jù)集？“多維數(shù)據(jù)集是一種結(jié)構(gòu)，包含了一個(gè)或多個(gè)度量。這些度量用于所有維度的成員的每個(gè)唯一組合?！監(jiān)LAP專門用于支持復(fù)雜的決策分析操作，側(cè)重對(duì)分析人員和高層管理人員的決策支持，OLAP可以應(yīng)分析人員的要求快速、靈活地進(jìn)行大數(shù)據(jù)量的復(fù)雜處理，并且以一種直觀易懂地形式將查詢結(jié)果提供給決策制定人OLAP軟件，以它先進(jìn)地分析功能和以多維形式提供數(shù)據(jù)的能力，正作為一種支持企業(yè)關(guān)鍵商業(yè)決策的解決方案而迅速崛起。OLAP的基本思想是決策者從多方面和多角度以多維的形式來(lái)觀察企業(yè)的狀態(tài)和了解企業(yè)的變化。3.OLTP與OLAP的對(duì)比OLTPOLAP細(xì)節(jié)性數(shù)據(jù)綜合性數(shù)據(jù)當(dāng)前數(shù)據(jù)歷史數(shù)據(jù)經(jīng)常更新不更新，但周期性刷新一次性處理的數(shù)據(jù)量小一次處理的數(shù)據(jù)量大對(duì)響應(yīng)時(shí)間要求高響應(yīng)時(shí)間合理面向應(yīng)用，事務(wù)驅(qū)動(dòng)面向分析，分析驅(qū)動(dòng)1.2數(shù)據(jù)挖掘的興起1.2.1從機(jī)器學(xué)習(xí)到數(shù)據(jù)挖掘1.2.2數(shù)據(jù)挖掘含義1.2.3數(shù)據(jù)挖掘與OLAP的比較1.2.4數(shù)據(jù)挖掘與統(tǒng)計(jì)學(xué)1.2.1從機(jī)器學(xué)習(xí)到數(shù)據(jù)挖掘?qū)W習(xí)是人類具有的智能行為，主要在于獲取知識(shí)。機(jī)器學(xué)習(xí)是研究使計(jì)算機(jī)模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，即讓計(jì)算機(jī)通過(guò)算法自動(dòng)獲取知識(shí)。機(jī)器學(xué)習(xí)是人工智能領(lǐng)域中的重要研究方向。20世紀(jì)60年代開始了機(jī)器學(xué)習(xí)的研究。

(1)1980年在美國(guó)召開了第一屆國(guó)際機(jī)器學(xué)習(xí)研討會(huì)；明確了機(jī)器學(xué)習(xí)是人工智能的重要研究方向(2)1989年8月于美國(guó)底特律市召開的第一屆知識(shí)發(fā)現(xiàn)（KDD）國(guó)際學(xué)術(shù)會(huì)議；

首次提出知識(shí)發(fā)現(xiàn)概念(3)1995年在加拿大召開了第一屆知識(shí)發(fā)現(xiàn)和數(shù)據(jù)挖掘（DM）國(guó)際學(xué)術(shù)會(huì)議；首次提出數(shù)據(jù)挖掘概念(4)我國(guó)于1987年召開了第一屆全國(guó)機(jī)器學(xué)習(xí)研討會(huì)。1.2.2數(shù)據(jù)挖掘含義知識(shí)發(fā)現(xiàn)（KDD）：從數(shù)據(jù)中發(fā)現(xiàn)有用知識(shí)的整個(gè)過(guò)程。數(shù)據(jù)挖掘（DM）：KDD過(guò)程中的一個(gè)特定步驟，它用專門算法從數(shù)據(jù)中抽取知識(shí)。如在人類數(shù)據(jù)庫(kù)中挖掘知識(shí)為：（頭發(fā)=黑色）∨（眼睛=黑色）→亞洲人該知識(shí)覆蓋了所有亞州人的記錄。

數(shù)據(jù)挖掘做什么？預(yù)測(cè)未來(lái)發(fā)生的事情(分類與回歸)將人或事物按照屬性聚類關(guān)聯(lián)可能一起發(fā)生的事件（購(gòu)物籃）確定事件發(fā)生的序列（股票漲落）異常檢測(cè)數(shù)據(jù)挖掘啤酒與尿布的故事：在一家超市里，有一個(gè)有趣的現(xiàn)象：尿布和啤酒赫然擺在一起出售，但是這個(gè)奇怪的舉措?yún)s使尿布和啤酒的銷量雙雙增加了。原來(lái)，美國(guó)的婦女們經(jīng)常會(huì)囑咐她們的丈夫下班以后要為孩子買尿布。而丈夫在買完尿布之后又要順手買回自己愛喝的啤酒，因此啤酒和尿布在一起購(gòu)買的機(jī)會(huì)還是很多的。1.2.3數(shù)據(jù)挖掘與OLAP的比較1.OLAP的多維分析OLAP的典型應(yīng)用，通過(guò)商業(yè)活動(dòng)變化的查詢發(fā)現(xiàn)的問(wèn)題，經(jīng)過(guò)追蹤查詢找出問(wèn)題出現(xiàn)的原因，達(dá)到輔助決策的作用。

2.數(shù)據(jù)挖掘數(shù)據(jù)挖掘任務(wù)在于聚類（如神經(jīng)網(wǎng)絡(luò)聚類）、分類（如決策樹分類）、預(yù)測(cè)等。1.2.4數(shù)據(jù)挖掘與統(tǒng)計(jì)學(xué)統(tǒng)計(jì)學(xué)與國(guó)家政治有緊密的關(guān)系。支配著社會(huì)現(xiàn)象的法則和方法是概率論。通過(guò)對(duì)全部對(duì)象（總體）進(jìn)行調(diào)查，為制定計(jì)劃和決策提供依據(jù)。統(tǒng)計(jì)學(xué)與數(shù)據(jù)挖掘的比較

統(tǒng)計(jì)學(xué)主要是對(duì)數(shù)量數(shù)據(jù)（數(shù)值）或連續(xù)值數(shù)據(jù)（如年齡、工資等），進(jìn)行數(shù)值計(jì)算（如初等運(yùn)算）的定量分析，得到數(shù)量信息。數(shù)據(jù)挖掘主要對(duì)離散數(shù)據(jù)（如職稱、病癥等）進(jìn)行定性分析（覆蓋、歸納等），得到規(guī)則知識(shí)。統(tǒng)計(jì)學(xué)與數(shù)據(jù)挖掘是有區(qū)別的。但是，它們之間是相互補(bǔ)充的。1.3數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的結(jié)合1.3.1數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的區(qū)別與聯(lián)系1.3.2基于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng)1.3.3數(shù)據(jù)倉(cāng)庫(kù)與商業(yè)智能1.3.1數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的區(qū)別與聯(lián)系1.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘的區(qū)別2.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘的關(guān)系3.數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)存儲(chǔ)特點(diǎn)4.數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)挖掘特點(diǎn)1.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘的區(qū)別數(shù)據(jù)倉(cāng)庫(kù)是一種存儲(chǔ)技術(shù)，它能適應(yīng)于不同用戶對(duì)不同決策需要提供所需的數(shù)據(jù)和信息。數(shù)據(jù)挖掘研究各種方法和技術(shù)，從大量的數(shù)據(jù)中挖掘出有用的信息和知識(shí)。2.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘的關(guān)系數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘都是決策支持新技術(shù)。但它們有著完全不同的輔助決策方式。在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的前端的分析工具中，數(shù)據(jù)挖掘是其中重要工具之一。它可以幫助決策用戶挖掘數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)中隱含的規(guī)律性。數(shù)據(jù)挖掘用于數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)決策支持：（1）預(yù)測(cè)客戶購(gòu)買傾向；（2）客戶利潤(rùn)貢獻(xiàn)度分析；（3）分析欺詐行為；（4）銷售渠道優(yōu)化分析等。數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的結(jié)合對(duì)支持決策會(huì)起更大的作用。3.數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)挖掘特點(diǎn)（1）數(shù)據(jù)挖掘從數(shù)據(jù)倉(cāng)庫(kù)中挖掘更深層次的信息（2）數(shù)據(jù)倉(cāng)庫(kù)為數(shù)據(jù)挖掘提出了新要求①數(shù)據(jù)挖掘需要可擴(kuò)展性②數(shù)據(jù)挖掘方法需要能挖掘多維知識(shí)數(shù)據(jù)倉(cāng)庫(kù)中有大量的綜合數(shù)據(jù)，為決策者提供了綜合信息。數(shù)據(jù)倉(cāng)庫(kù)保存有大量歷史數(shù)據(jù)，通過(guò)預(yù)測(cè)模型計(jì)算可以得到預(yù)測(cè)信息。聯(lián)機(jī)分析處理（OLAP）對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行多維數(shù)據(jù)分析，即多維數(shù)據(jù)的切片、切塊、旋轉(zhuǎn)、鉆取等，得到更深層中的信息和知識(shí)。數(shù)據(jù)挖掘（DM）技術(shù)能獲取關(guān)聯(lián)知識(shí)、時(shí)序知識(shí)、聚類知識(shí)、分類知識(shí)等。數(shù)據(jù)倉(cāng)庫(kù)（DW）、聯(lián)機(jī)分析處理（OLAP）、數(shù)據(jù)挖掘（DM）等結(jié)合，形成決策支持系統(tǒng)。1.3.3數(shù)據(jù)倉(cāng)庫(kù)與商業(yè)智能1.商業(yè)智能的概念2.商業(yè)智能輔助制定更好更快的決策1.商業(yè)智能的概念商業(yè)智能以數(shù)據(jù)倉(cāng)庫(kù)為基礎(chǔ)，通過(guò)聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘技術(shù)幫助企業(yè)領(lǐng)導(dǎo)者針對(duì)市場(chǎng)變化的環(huán)境，做出快速、準(zhǔn)確的決策。商業(yè)智能與決策支持系統(tǒng)從組成和目標(biāo)來(lái)看是一致的。但是，商業(yè)智能是一種技術(shù)，決策支持系統(tǒng)是解決實(shí)際決策問(wèn)題的一個(gè)系統(tǒng)?？梢岳斫鉃椋簺Q策支持系統(tǒng)是利用商業(yè)智能技術(shù)來(lái)解決實(shí)際決策問(wèn)題的系統(tǒng)。2.商業(yè)智能輔助制定更好更快的決策（1）信息共享（2）實(shí)時(shí)反饋分析（3）鼓勵(lì)用戶找出問(wèn)題的根本原因（4）使用主動(dòng)智能（5）實(shí)時(shí)智能BI系統(tǒng)架構(gòu)-1數(shù)據(jù)庫(kù)業(yè)務(wù)數(shù)據(jù)庫(kù)添加、修改、刪除；查詢、統(tǒng)計(jì)、歸檔；存儲(chǔ)、集群、備份、遷移數(shù)據(jù)倉(cāng)庫(kù)ETL數(shù)據(jù)挖掘模型多維分析模型分析展現(xiàn)挖掘展現(xiàn)門戶集成BI的三個(gè)層次用戶數(shù)增加報(bào)表分析OLAPDM復(fù)雜度增加我知道它現(xiàn)在是怎樣的我知道它為什么是這樣我知道它以后會(huì)是怎樣主流商務(wù)智能產(chǎn)品介紹-1廠商產(chǎn)品及簡(jiǎn)介IBMDB2以及Cognos、SPSS、DataStage，覆蓋BI全部領(lǐng)域OracleOracle、Hyperion(海波龍

)，覆蓋BI全部領(lǐng)域，數(shù)據(jù)挖掘領(lǐng)域有待加強(qiáng)Micros