數(shù)據(jù)挖掘的體系結(jié)構(gòu)與模型

1、,1,數(shù)據(jù)挖掘原理與SPSS Clementine應(yīng)用寶典 元昌安 主編 鄧 松 李文敬 劉海濤 編著 電子工業(yè)出版社,雙擊添加主標(biāo)題,數(shù)據(jù)挖掘的體系結(jié)構(gòu)與模型,數(shù)據(jù)挖掘的體系結(jié)構(gòu) 數(shù)據(jù)挖掘的過程模型 Fayyad模型 CRISP-DM模型,3,3.1 數(shù)據(jù)挖掘的體系結(jié)構(gòu),數(shù)據(jù)挖掘系統(tǒng)由各類數(shù)據(jù)庫、挖掘前處理模塊、挖掘操作模塊、模式評估模塊、知識輸出模塊組成，這些模塊的有機(jī)組成就構(gòu)成了數(shù)據(jù)挖掘系統(tǒng)的體系結(jié)構(gòu)。,數(shù)據(jù)挖掘系統(tǒng)的體系結(jié)構(gòu)圖,4,3.1 數(shù)據(jù)挖掘的體系結(jié)構(gòu),數(shù)據(jù)庫管理模塊，負(fù)責(zé)對系統(tǒng)內(nèi)數(shù)據(jù)庫、數(shù)據(jù)倉庫、挖掘知識庫的維護(hù)與管理。這些數(shù)據(jù)庫、數(shù)據(jù)倉庫是對外部數(shù)據(jù)庫進(jìn)行轉(zhuǎn)換、清理、凈化得到

2、，它是數(shù)據(jù)挖掘的基礎(chǔ)。 挖掘前處理模塊，對所收集到的數(shù)據(jù)進(jìn)行清理、集成、選擇、轉(zhuǎn)換，生成數(shù)據(jù)倉庫或數(shù)據(jù)挖掘庫。其中：清理，主要清除噪音；集成，將多種數(shù)據(jù)源組合在一起；選擇，選擇與問題相關(guān)的數(shù)據(jù)；轉(zhuǎn)換，將選擇數(shù)據(jù)轉(zhuǎn)換成可挖掘形式。,5,3.1 數(shù)據(jù)挖掘的體系結(jié)構(gòu),模式評估模塊，對數(shù)據(jù)挖掘結(jié)果進(jìn)行評估。由于所挖掘出的模式可能有許多，需要將用戶的興趣度與這些模式進(jìn)行分析對比，評估模式價值，分析不足原因，如果挖掘出的模式與用戶興趣度相差大，需返回相應(yīng)的過程（如，挖掘前處理或挖掘操作）重新執(zhí)行。 知識輸出模塊，完成對數(shù)據(jù)挖掘出的模式進(jìn)行翻譯、解釋，以人們易于理解的方式提供給真正渴望知識的決策者使用。,6

3、,3.1 數(shù)據(jù)挖掘的體系結(jié)構(gòu),挖掘操作模塊，利用各種數(shù)據(jù)挖掘算法針對數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘庫，并借助挖掘知識庫中的規(guī)則、方法、經(jīng)驗和事實(shí)數(shù)據(jù)等，挖掘和發(fā)現(xiàn)知識。,7,3.2 數(shù)據(jù)挖掘的過程模型,Fayyad數(shù)據(jù)挖掘模型將數(shù)據(jù)庫中的知識發(fā)現(xiàn)看作是一個多階段的處理過程，它從數(shù)據(jù)集中識別出以模式來表示的知識，在整個知識發(fā)現(xiàn)的過程中包括很多處理步驟，各步驟之間相互影響，反復(fù)調(diào)整，形成一種螺旋式的上升過程。,Fayyad數(shù)據(jù)挖掘過程模型,8,3.2.1 Fayyad模型,Fayyad處理過程共分為9個處理階段，分別是 ： 數(shù)據(jù)準(zhǔn)備：了解KDD相關(guān)領(lǐng)域的有關(guān)情況，熟悉有關(guān)的背景知識，并弄清楚用戶的要求

4、。 數(shù)據(jù)選擇：根據(jù)用戶的要求從數(shù)據(jù)庫中提取與KDD相關(guān)的數(shù)據(jù)，KDD將主要從這些數(shù)據(jù)中進(jìn)行知識提取，在此過程中，會利用一些數(shù)據(jù)庫操作對數(shù)據(jù)進(jìn)行處理。,9,3.2.1 Fayyad模型,數(shù)據(jù)清洗和預(yù)處理：對數(shù)據(jù)進(jìn)行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性，對其中的噪音數(shù)據(jù)進(jìn)行處理，對丟失的數(shù)據(jù)可以利用統(tǒng)計方法進(jìn)行填補(bǔ)。 數(shù)據(jù)降維/轉(zhuǎn)換：對經(jīng)過預(yù)處理的數(shù)據(jù)，根據(jù)知識發(fā)現(xiàn)的任務(wù)對數(shù)據(jù)進(jìn)行再處理，主要通過投影或數(shù)據(jù)庫中的其它操作減少數(shù)據(jù)量。 確定KDD的目標(biāo) 根據(jù)用戶的要求：確定KDD是發(fā)現(xiàn)何種類型的知識，因為對KDD的不同要求會在具體的知識發(fā)現(xiàn)過程中采用不同的知識發(fā)現(xiàn)算法。,10,3.2.1 Fayy

5、ad模型,確定知識發(fā)現(xiàn)算法： 根據(jù)階段5所確定的任務(wù)，選擇合適的知識發(fā)現(xiàn)算法，這包括選取合適的模型和參數(shù)，并使得知識發(fā)現(xiàn)算法與整個KDD的評判標(biāo)準(zhǔn)相一致。 數(shù)據(jù)挖掘(Data Mining) ：運(yùn)用選定的知識發(fā)現(xiàn)算法，從數(shù)據(jù)中提取出用戶所感興趣的知識，并以一定的方式表示出來。 模式解釋： 對發(fā)現(xiàn)的模式（知識）進(jìn)行解釋，在此過程中，為了取得更為有效的知識。,11,3.2.1 Fayyad模型,知識評價： 將發(fā)現(xiàn)的知識以用戶能了解的方式呈現(xiàn)給用戶。這期間也包含對知識的一致性檢查，以確信本次發(fā)現(xiàn)的知識不與以前發(fā)現(xiàn)的知識相抵觸。,12,3.2.1 Fayyad模型,Fayyad過程模型是一個偏技術(shù)的模

6、型，該模型在實(shí)際應(yīng)用中存在以下兩個問題： 為什么選擇這些數(shù)據(jù)？Fayyad過程模型忽略了具體業(yè)務(wù)問題的確定。這也是確定選擇哪些數(shù)據(jù)的關(guān)鍵所在。 模型怎樣使用？數(shù)據(jù)挖掘是分析型環(huán)境中的一門技術(shù)，如果數(shù)據(jù)挖掘是一種數(shù)據(jù)分析技術(shù)，那么數(shù)據(jù)挖掘應(yīng)該在分析型環(huán)境中使用。但是，挖掘出的模型需要返回到操作型環(huán)境中進(jìn)行應(yīng)用。因此，需要構(gòu)成一個從操作型環(huán)境到分析型環(huán)境再到操作型環(huán)境的封閉的信息流。,13,3.2.2 CRISP-DM模型,CRISP-DM（Cross-Industry Standard Process for Data Mining，跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程）注重數(shù)據(jù)挖掘技術(shù)的應(yīng)用，解決了Fayy

7、ad模型存在的兩個問題。 CRISP-DM過程模型從商業(yè)的角度給出對數(shù)據(jù)挖掘方法的理解。目前數(shù)據(jù)挖掘系統(tǒng)的研制和開發(fā)大都遵循CRISP-DM標(biāo)準(zhǔn)，將典型的挖掘和模型的部署緊密結(jié)合。,14,3.2.2 CRISP-DM模型,CRISP-DM模型過程的基本步驟包括：業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、建立模型、模型評價、模型實(shí)施。,CRISP-DM數(shù)據(jù)挖掘過程模型,15,3.2.2 CRISP-DM模型,CRISP-DM模型的各個階段任務(wù)。 業(yè)務(wù)理解 （Business Understanding） 最初的階段集中在理解項目目標(biāo)和從業(yè)務(wù)的角度理解需求，同時將這個知識轉(zhuǎn)化為數(shù)據(jù)挖掘問題的定義和完成目標(biāo)的初

8、步計劃。,16,3.2.2 CRISP-DM模型,數(shù)據(jù)理解 （Data Understanding） 數(shù)據(jù)理解階段從初始的數(shù)據(jù)收集開始，通過一些活動的處理，目的是熟悉數(shù)據(jù)，識別數(shù)據(jù)的質(zhì)量問題，首次發(fā)現(xiàn)數(shù)據(jù)的內(nèi)部屬性，或是探測引起興趣的子集去形成隱含信息的假設(shè)。,17,3.2.2 CRISP-DM模型,數(shù)據(jù)準(zhǔn)備 （Data Preparation） 數(shù)據(jù)準(zhǔn)備階段包括從未處理數(shù)據(jù)中構(gòu)造最終數(shù)據(jù)集的所有活動。這些數(shù)據(jù)將是模型工具的輸入值。這個階段的任務(wù)有一個能執(zhí)行多次，沒有任何規(guī)定的順序。任務(wù)包括表、記錄和屬性的選擇，以及為模型工具轉(zhuǎn)換和清洗數(shù)據(jù)。,18,3.2.2 CRISP-DM模型,建立模型（

9、Modeling） 選擇和應(yīng)用不同的模型技術(shù)，模型參數(shù)被調(diào)整到最佳的數(shù)值。一般，有些技術(shù)可以解決一類相同的數(shù)據(jù)挖掘問題。有些技術(shù)在數(shù)據(jù)形成上有特殊要求，因此需要經(jīng)常跳回到數(shù)據(jù)準(zhǔn)備階段。,19,3.2.2 CRISP-DM模型,評價（Evaluation） 已經(jīng)從數(shù)據(jù)分析的角度建立了高質(zhì)量顯示的模型。在開始最后部署模型之前，重要的事情是徹底地評估模型，檢查構(gòu)造模型的步驟，確保模型可以完成業(yè)務(wù)目標(biāo)。這個階段的關(guān)鍵目的是確定是否有重要業(yè)務(wù)問題沒有被充分的考慮。在這個階段結(jié)束后，一個數(shù)據(jù)挖掘結(jié)果使用的決定必須達(dá)成。,20,3.2.2 CRISP-DM模型,實(shí)施 （Deployment） 通常，模型的創(chuàng)建不是項目的結(jié)束。模型的作用是從數(shù)據(jù)中找到知識，獲得的知識需要便于用戶使用的方式重新