電信行業(yè)--數(shù)據(jù)挖掘與Clementine使用培訓(xùn)（PPT 305）

1、來自來自 中國最大的資料庫下載中國最大的資料庫下載數(shù)據(jù)挖掘與數(shù)據(jù)挖掘與Clementine使用培訓(xùn)使用培訓(xùn)北京北京XX泰得數(shù)據(jù)技術(shù)開發(fā)有限公司泰得數(shù)據(jù)技術(shù)開發(fā)有限公司2022-4-20Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載1一、數(shù)據(jù)挖掘概述 什么是數(shù)據(jù)挖掘 數(shù)據(jù)挖掘的實(shí)現(xiàn)路線和流程 數(shù)據(jù)挖掘方法論CRISP-DMBeijing Stats Data Mining Co. Lt

2、d.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載2為什么進(jìn)行數(shù)據(jù)挖掘？ 商業(yè)觀點(diǎn) 業(yè)務(wù)中產(chǎn)生了大量的數(shù)據(jù)，這些數(shù)據(jù)存儲(chǔ)在業(yè)務(wù)系統(tǒng)中卻不能創(chuàng)造價(jià)值 客戶信息數(shù)據(jù) 客戶交易行為數(shù)據(jù) 客戶反饋數(shù)據(jù) 網(wǎng)絡(luò)數(shù)據(jù) 計(jì)算機(jī)變得越來越便宜、功能卻越來越強(qiáng)大 商業(yè)競爭越來越激烈，對(duì)客戶了解越多就意味著機(jī)會(huì)越大Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345

3、 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載3為什么進(jìn)行數(shù)據(jù)挖掘？ 技術(shù)觀點(diǎn) 業(yè)務(wù)中的數(shù)據(jù)量呈現(xiàn)指數(shù)增長（GB/小時(shí)） 傳統(tǒng)技術(shù)難以從這些大量數(shù)據(jù)中發(fā)現(xiàn)有價(jià)值的規(guī)律 數(shù)據(jù)挖掘可以幫助我們從大量數(shù)據(jù)中發(fā)現(xiàn)有價(jià)值的規(guī)律0500,0001,000,0001,500,0002,000,0002,500,0003,000,0003,500,0004,000,00019951996199719981999The Data GapTotal new disk (TB) since 1995Number of analysts From: R. Gros

4、sman, C. Kamath, V. Kumar, “Data Mining for Scientific and Engineering Applications”Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載4一個(gè)市場(chǎng)營銷的例子在數(shù)據(jù)中發(fā)現(xiàn)有價(jià)值的規(guī)則或者模式在數(shù)據(jù)中發(fā)現(xiàn)有價(jià)值的規(guī)則或者模式女性對(duì)市場(chǎng)活動(dòng)做出女性對(duì)市場(chǎng)活動(dòng)做出回應(yīng)，男性對(duì)市場(chǎng)活回應(yīng)，男性對(duì)市場(chǎng)活動(dòng)不做出回應(yīng)，和

5、年動(dòng)不做出回應(yīng)，和年齡無關(guān)齡無關(guān)Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載5一個(gè)市場(chǎng)營銷的例子數(shù)據(jù)變的復(fù)雜會(huì)如何？數(shù)據(jù)變的復(fù)雜會(huì)如何？女性對(duì)市場(chǎng)活動(dòng)做出回應(yīng)，女性對(duì)市場(chǎng)活動(dòng)做出回應(yīng)，老年男性也可能對(duì)市場(chǎng)活動(dòng)老年男性也可能對(duì)市場(chǎng)活動(dòng)做出回應(yīng)做出回應(yīng)Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8

6、621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載6一個(gè)市場(chǎng)營銷的例子數(shù)據(jù)挖掘可以從異常復(fù)雜的數(shù)據(jù)中發(fā)現(xiàn)規(guī)律數(shù)據(jù)挖掘可以從異常復(fù)雜的數(shù)據(jù)中發(fā)現(xiàn)規(guī)律通過數(shù)據(jù)挖掘發(fā)通過數(shù)據(jù)挖掘發(fā)現(xiàn)回應(yīng)的現(xiàn)回應(yīng)的5 5條規(guī)條規(guī)則：則：1 1、如果收入大、如果收入大于于2962229622，有孩，有孩子，并且孩子的子，并且孩子的數(shù)量小于等于數(shù)量小于等于2 2，那么對(duì)市場(chǎng)活，那么對(duì)市場(chǎng)活動(dòng)會(huì)回應(yīng)動(dòng)會(huì)回應(yīng)通過數(shù)據(jù)挖掘發(fā)通過數(shù)據(jù)挖掘發(fā)現(xiàn)不回應(yīng)的現(xiàn)不回應(yīng)的5 5條條規(guī)則：規(guī)則：1 1、如果收入小、如果收入小于于12640.312640.3，并，并且有一

7、個(gè)孩子，且有一個(gè)孩子，那么對(duì)市場(chǎng)活動(dòng)那么對(duì)市場(chǎng)活動(dòng)不會(huì)回應(yīng)不會(huì)回應(yīng)Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載7數(shù)據(jù)挖掘收益分析向60%的客戶發(fā)信，得到了90%的收益數(shù)據(jù)挖掘的意義Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240

8、385來自來自 中國最大的資料庫下載中國最大的資料庫下載8利潤分析圖Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載9數(shù)據(jù)挖掘效果模擬分析數(shù)據(jù)挖掘以前數(shù)據(jù)挖掘以后差別發(fā)信的數(shù)量1,000,000750,000(250,000)成本$1,000,000$750,000($250,000)響應(yīng)的數(shù)量10,0009,000(1,000)每個(gè)響應(yīng)的收入$125$125$0總收入$1,250,0

9、00$1,125,000($125,000)凈利潤$250,000$375,000$125,000建模的費(fèi)用040,000$40,000最終的利潤$250,000$335,000$85,000目的：發(fā)現(xiàn)新客戶目的：發(fā)現(xiàn)新客戶( (使響應(yīng)率從使響應(yīng)率從1%1%提高到提高到1.2%)1.2%)Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載10什么是數(shù)據(jù)挖掘？ 不同的定義 從大量數(shù)據(jù)中發(fā)現(xiàn)

10、非平凡的、先前不知道的、有價(jià)值的規(guī)律的過程 從大量數(shù)據(jù)中自動(dòng)化（或者半自動(dòng)化）的發(fā)現(xiàn)有價(jià)值規(guī)律的過程 數(shù)據(jù)挖掘的其他名稱 數(shù)據(jù)庫內(nèi)知識(shí)發(fā)現(xiàn)（KDD- Knowledge discovery in databases ） 數(shù)據(jù)/模式分析 商業(yè)智能 人工智能 Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載11數(shù)據(jù)挖掘的起源 來源于機(jī)器學(xué)習(xí)/人工智能、模式識(shí)別、統(tǒng)計(jì)學(xué)和數(shù)據(jù)庫 傳統(tǒng)技術(shù)的局

11、限性 巨量的數(shù)據(jù) 高維數(shù)據(jù) 數(shù)據(jù)分布不理想機(jī)器學(xué)習(xí)/模式識(shí)別統(tǒng)計(jì)學(xué)數(shù)據(jù)挖掘數(shù)據(jù)挖掘數(shù)據(jù)庫系統(tǒng)Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載12數(shù)據(jù)挖掘面臨的挑戰(zhàn) 海量數(shù)據(jù) 高維數(shù)據(jù) 數(shù)據(jù)復(fù)雜性 數(shù)據(jù)質(zhì)量問題 數(shù)據(jù)所有權(quán)和分布 隱私問題Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)5306

12、0345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載13數(shù)據(jù)挖掘方法論項(xiàng)目順利實(shí)施的保證 商業(yè)理解商業(yè)理解 數(shù)據(jù)理解數(shù)據(jù)理解 數(shù)據(jù)準(zhǔn)備數(shù)據(jù)準(zhǔn)備 建立模型建立模型 模型評(píng)估模型評(píng)估 模型發(fā)布模型發(fā)布Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載14商業(yè)理解商業(yè)商業(yè)理解理解 數(shù)據(jù)數(shù)據(jù) 理解理解數(shù)據(jù)數(shù)據(jù)準(zhǔn)備準(zhǔn)備建立建立模型模型模型模型

13、評(píng)估評(píng)估結(jié)果結(jié)果發(fā)布發(fā)布確定商業(yè)目標(biāo)形勢(shì)評(píng)估確定數(shù)據(jù)挖掘目標(biāo)制定項(xiàng)目計(jì)劃背景商業(yè)目標(biāo)成功標(biāo)準(zhǔn)擁有資源需求、假定和限制風(fēng)險(xiǎn)和偶然性專業(yè)術(shù)語成本和收益數(shù)據(jù)挖掘目標(biāo)數(shù)據(jù)挖掘成功標(biāo)準(zhǔn)項(xiàng)目計(jì)劃工具和方法評(píng)估Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載15數(shù)據(jù)理解商業(yè)商業(yè)理解理解 數(shù)據(jù)數(shù)據(jù) 理解理解數(shù)據(jù)數(shù)據(jù)準(zhǔn)備準(zhǔn)備建立建立模型模型模型模型評(píng)估評(píng)估結(jié)果結(jié)果發(fā)布發(fā)布收集原始數(shù)據(jù)數(shù)據(jù)描述數(shù)據(jù)探索性分

14、析數(shù)據(jù)質(zhì)量描述數(shù)據(jù)收集報(bào)告數(shù)據(jù)描述報(bào)告探索性數(shù)據(jù)分析報(bào)告數(shù)據(jù)質(zhì)量報(bào)告Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載16數(shù)據(jù)準(zhǔn)備商業(yè)商業(yè)理解理解 數(shù)據(jù)數(shù)據(jù) 理解理解數(shù)據(jù)數(shù)據(jù)準(zhǔn)備準(zhǔn)備建立建立模型模型模型模型評(píng)估評(píng)估結(jié)果結(jié)果發(fā)布發(fā)布選擇數(shù)據(jù)確定分析包含/剔除數(shù)據(jù)數(shù)據(jù)集數(shù)據(jù)集描述數(shù)據(jù)清理數(shù)據(jù)清理報(bào)告數(shù)據(jù)重構(gòu)生成新的變量（字段）生成新的記錄整合數(shù)據(jù)合并相關(guān)數(shù)據(jù)格式化數(shù)據(jù)改變數(shù)據(jù)格式，適應(yīng)分析B

15、eijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載17建立模型商業(yè)商業(yè)理解理解 數(shù)據(jù)數(shù)據(jù) 理解理解數(shù)據(jù)數(shù)據(jù)準(zhǔn)備準(zhǔn)備建立建立模型模型模型模型評(píng)估評(píng)估結(jié)果結(jié)果發(fā)布發(fā)布選擇建模技術(shù)產(chǎn)生檢驗(yàn)設(shè)計(jì)建立模型評(píng)價(jià)模型模型技術(shù)模型假設(shè)檢驗(yàn)設(shè)計(jì)參數(shù)設(shè)定建模模型評(píng)價(jià)參數(shù)設(shè)定的修訂模型描述Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shang

16、hai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載18模型評(píng)估商業(yè)商業(yè)理解理解 數(shù)據(jù)數(shù)據(jù) 理解理解數(shù)據(jù)數(shù)據(jù)準(zhǔn)備準(zhǔn)備建立建立模型模型模型模型評(píng)估評(píng)估結(jié)果結(jié)果發(fā)布發(fā)布結(jié)果評(píng)估數(shù)據(jù)挖掘過程回顧確定下一步的工作評(píng)估數(shù)據(jù)挖掘結(jié)果被認(rèn)可的模型數(shù)據(jù)挖掘過程的回顧列出可能的行動(dòng)決策Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大

17、的資料庫下載19結(jié)果發(fā)布商業(yè)商業(yè)理解理解 數(shù)據(jù)數(shù)據(jù) 理解理解數(shù)據(jù)數(shù)據(jù)準(zhǔn)備準(zhǔn)備建立建立模型模型模型模型評(píng)估評(píng)估結(jié)果結(jié)果發(fā)布發(fā)布發(fā)布結(jié)果計(jì)劃監(jiān)測(cè)和維護(hù)模型計(jì)劃生成最終數(shù)據(jù)挖掘報(bào)告項(xiàng)目回顧結(jié)果發(fā)布計(jì)劃監(jiān)測(cè)和維護(hù)模型計(jì)劃最終數(shù)據(jù)挖掘報(bào)告數(shù)據(jù)挖掘報(bào)告展現(xiàn)項(xiàng)目檢驗(yàn)總結(jié)Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載20商業(yè)理解是數(shù)據(jù)挖掘的起點(diǎn)C2C1解決方案解決方案商業(yè)價(jià)值商業(yè)價(jià)值商業(yè)需要商業(yè)需要

18、Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載21商業(yè)理解的內(nèi)容 數(shù)據(jù)挖掘能解決什么樣的商業(yè)問題？數(shù)據(jù)挖掘能解決什么樣的商業(yè)問題？ 數(shù)據(jù)挖掘得到的結(jié)果，是否可以采取相應(yīng)數(shù)據(jù)挖掘得到的結(jié)果，是否可以采取相應(yīng)的行動(dòng)以提高利潤或降低成本？的行動(dòng)以提高利潤或降低成本？ 我們期望模型能夠給我們?cè)鯓拥木_率？我們期望模型能夠給我們?cè)鯓拥木_率？ 有那些前提假定？有那些前提假定？Beijing S

19、tats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載22約束分析 時(shí)間約束分析時(shí)間約束分析 資源約束分析資源約束分析人力資源人力資源數(shù)據(jù)資源數(shù)據(jù)資源軟件資源軟件資源硬件資源硬件資源Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的

20、資料庫下載中國最大的資料庫下載23制定特定的數(shù)據(jù)挖掘目標(biāo)制定的數(shù)據(jù)挖掘目標(biāo)應(yīng)具有：制定的數(shù)據(jù)挖掘目標(biāo)應(yīng)具有： 可評(píng)估性（可評(píng)估性（assessable)assessable) 可實(shí)現(xiàn)性（可實(shí)現(xiàn)性（attainableattainable）Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載24如何給定一個(gè)數(shù)據(jù)挖掘問題 是檢驗(yàn)性數(shù)據(jù)挖掘還是探索性數(shù)據(jù)挖掘？是檢驗(yàn)性數(shù)據(jù)挖掘還是探索性數(shù)據(jù)挖掘？

21、 確定哪些是可以實(shí)現(xiàn)的數(shù)據(jù)挖掘問題確定哪些是可以實(shí)現(xiàn)的數(shù)據(jù)挖掘問題 結(jié)果可測(cè)度性結(jié)果可測(cè)度性 信息（數(shù)據(jù)）的可獲得性信息（數(shù)據(jù)）的可獲得性 評(píng)估和控制其他相關(guān)因素的影響評(píng)估和控制其他相關(guān)因素的影響B(tài)eijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載25數(shù)據(jù)來源與數(shù)據(jù)之間的關(guān)系Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 S

22、hanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載26使數(shù)據(jù)適合數(shù)據(jù)挖掘 對(duì)數(shù)據(jù)進(jìn)行適當(dāng)?shù)暮喜⒑蛥R總 一般數(shù)據(jù)挖掘分析都要一個(gè)行列(記錄變量）的二維表，必須把從不同數(shù)據(jù)源得到的不同格式的數(shù)據(jù)整合成這樣一張表，要求：所有的記錄含有排列順序一致的變量所有記錄的變量信息是完整的（理想化狀態(tài)，在現(xiàn)實(shí)中很難達(dá)到）Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)3824

23、0385來自來自 中國最大的資料庫下載中國最大的資料庫下載27檢查數(shù)據(jù)質(zhì)量 影響數(shù)據(jù)質(zhì)量的幾個(gè)主要問題缺失值缺失值不合理值不合理值不同數(shù)據(jù)源的不一致不同數(shù)據(jù)源的不一致異常值異常值Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載28對(duì)數(shù)據(jù)進(jìn)行適當(dāng)?shù)淖儞Q 數(shù)據(jù)的標(biāo)準(zhǔn)化變換 生成新的變量 數(shù)據(jù)的重新編碼 數(shù)據(jù)降維，從變量角度或者從記錄角度Beijing Stats Data Mining C

24、o. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載29數(shù)據(jù)挖掘模型的分類 數(shù)據(jù)描述和匯總(Data description and summarization) 細(xì)分(Segmentation) 概念描述(Concept descriptions) 分類(Classification) 預(yù)測(cè)(Prediction) 相關(guān)分析(Dependency analysis)Beijing Stats Data Mining Co. Ltd.Beij

25、ing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載30數(shù)據(jù)挖掘技術(shù)的分類數(shù)據(jù)挖掘數(shù)據(jù)挖掘描述描述預(yù)測(cè)預(yù)測(cè)統(tǒng)計(jì)回歸統(tǒng)計(jì)回歸關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則決策樹決策樹可視化可視化聚類聚類順序關(guān)聯(lián)順序關(guān)聯(lián)匯總匯總神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)分類分類時(shí)間序列預(yù)測(cè)時(shí)間序列預(yù)測(cè)Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最

26、大的資料庫下載中國最大的資料庫下載31數(shù)據(jù)挖掘的典型結(jié)果金融 問題描述：預(yù)測(cè)信用水平是好還是差，銀行據(jù)此決定是否向客戶發(fā)放貸款，發(fā)放多少 結(jié)果描述:(決策樹）收入大于5萬元/年是否有無儲(chǔ)蓄帳戶是否房主否是是否批準(zhǔn)不批準(zhǔn)批準(zhǔn)Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載32數(shù)據(jù)挖掘的典型結(jié)果電信 問題描述：根據(jù)客戶信息，預(yù)測(cè)客戶流失可能性 結(jié)果描述:(神經(jīng)網(wǎng)絡(luò)）輸 入流失概率（0.87

27、)輸 出男293000元/月套餐A130元/月Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載33數(shù)據(jù)挖掘的典型結(jié)果零售 問題描述：如何決定超市中商品的擺放來增加銷售額 結(jié)果描述:(Web圖）Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)3

28、8240385來自來自 中國最大的資料庫下載中國最大的資料庫下載34數(shù)據(jù)挖掘的典型結(jié)果制造業(yè) 問題描述：如何對(duì)市場(chǎng)進(jìn)行細(xì)分，使產(chǎn)品滿足最有價(jià)值客戶 結(jié)果描述:(Koholen聚類）Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載35數(shù)據(jù)挖掘的典型結(jié)果政府 問題描述：如何從眾多申請(qǐng)經(jīng)費(fèi)或者納稅中發(fā)現(xiàn)欺詐 結(jié)果描述:(回歸、神經(jīng)網(wǎng)絡(luò)）Beijing Stats Data Mining Co

29、. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載36檢驗(yàn)的形式 方法層面的檢驗(yàn)方法層面的檢驗(yàn) 訓(xùn)練集和檢驗(yàn)集訓(xùn)練集和檢驗(yàn)集 不同方法的互相印證和比較不同方法的互相印證和比較 模型準(zhǔn)確性的檢驗(yàn)?zāi)Ｐ蜏?zhǔn)確性的檢驗(yàn): : 商業(yè)層面上的檢驗(yàn)商業(yè)層面上的檢驗(yàn) 利潤率的檢驗(yàn)利潤率的檢驗(yàn) 模型結(jié)果可操作性的檢驗(yàn)?zāi)Ｐ徒Y(jié)果可操作性的檢驗(yàn) 其他檢驗(yàn)其他檢驗(yàn)Beijing Stats Data Mining Co. Ltd.Beijing (8610)517220

30、52 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載37關(guān)注那些錯(cuò)誤的預(yù)測(cè)Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載38數(shù)據(jù)挖掘不成功的幾種可能性 糟糕的數(shù)據(jù)糟糕的數(shù)據(jù) 組織抵制組織抵制 結(jié)果沒有被有效的發(fā)布結(jié)果沒有被有效的發(fā)布 得到了無用的結(jié)果得到了無用的結(jié)果Beijing St

31、ats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載39模型發(fā)布的形式 書面報(bào)告書面報(bào)告 數(shù)據(jù)庫更新數(shù)據(jù)庫更新 針對(duì)特定主題的應(yīng)用系統(tǒng)針對(duì)特定主題的應(yīng)用系統(tǒng)Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫

32、下載40數(shù)據(jù)挖掘的體系結(jié)構(gòu)用戶界面SPSS Data Access PackClementine Solutions Publisher RuntimeC/S結(jié)構(gòu)或B/S結(jié)構(gòu)發(fā)布數(shù)據(jù)挖掘模型C/S結(jié)構(gòu)建立數(shù)據(jù)挖掘模型數(shù)據(jù)庫模型庫分析員ClementineSPSS Data Access PackBeijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載41Beijing Stats Data M

33、ining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載42二、Clementine概述 Clementine在數(shù)據(jù)挖掘中的地位 Clementine發(fā)展歷史 Clementine的配置 Clementine操作基礎(chǔ)Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自

34、中國最大的資料庫下載中國最大的資料庫下載43數(shù)據(jù)挖掘的一般流程及數(shù)據(jù)挖掘軟件在數(shù)據(jù)挖掘過程中的地位!?Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載44數(shù)據(jù)挖掘方法論項(xiàng)目順利實(shí)施的保證 商業(yè)理解商業(yè)理解 數(shù)據(jù)理解數(shù)據(jù)理解 數(shù)據(jù)準(zhǔn)備數(shù)據(jù)準(zhǔn)備 建立模型建立模型 模型評(píng)估模型評(píng)估 模型發(fā)布模型發(fā)布Beijing Stats Data Mining Co. Ltd.Beijing (8610

35、)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載45Clementine發(fā)展歷程 Clementine是ISL (Integral Solutions Limited)公司開發(fā)的數(shù)據(jù)挖掘工具平臺(tái) 1998年SPSS公司收購了ISL公司,對(duì)Clementine產(chǎn)品進(jìn)行重新整合和開發(fā),現(xiàn)在Clementine已經(jīng)成為SPSS公司的又一亮點(diǎn)1994:Clementine V1.0發(fā)布發(fā)布1998:被被SPSS收購收購1999:Clementine ServerClementine S

36、olution Publisher2000:Clementine V6.02002年年9月月:Clementine 7.02003年年9月月:Clementine 7.1中文版中文版2003年年4季度季度Clementine 8.01998-20072004年年1季度季度Clementine 8.1中文版中文版2006年年12月月Clementine 10.0中文版中文版Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最

37、大的資料庫下載中國最大的資料庫下載46Clementine的軟件構(gòu)成 Clementine Client; Clementine Server; Clementine Batch; SPSS Data Access Pack; Clementine Solution Publisher (Optional)。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載47Clementine的兩種

38、運(yùn)行方式單機(jī)版運(yùn)行單機(jī)版運(yùn)行以下情況必須使用單機(jī)版運(yùn)行：以下情況必須使用單機(jī)版運(yùn)行： 數(shù)據(jù)存儲(chǔ)在本機(jī)，且不能在網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)在本機(jī)，且不能在網(wǎng)絡(luò)上共享；上共享； 機(jī)器不聯(lián)網(wǎng)；機(jī)器不聯(lián)網(wǎng)； 無無Clementine Server可供使用?？晒┦褂?。以下情況可以使用單機(jī)版運(yùn)行：以下情況可以使用單機(jī)版運(yùn)行： 要處理的數(shù)據(jù)量很?。ū热纾盒∫幚淼臄?shù)據(jù)量很?。ū热纾盒∮谟?M）并且數(shù)據(jù)存儲(chǔ)在單機(jī)或可）并且數(shù)據(jù)存儲(chǔ)在單機(jī)或可到達(dá)局域網(wǎng)處；到達(dá)局域網(wǎng)處； 單機(jī)內(nèi)存、硬盤相對(duì)要處理的數(shù)單機(jī)內(nèi)存、硬盤相對(duì)要處理的數(shù)據(jù)量來說足夠大，并且速度也滿據(jù)量來說足夠大，并且速度也滿足要求。足要求。C/SC/S結(jié)構(gòu)運(yùn)行結(jié)構(gòu)運(yùn)行

39、以下情況必須使用以下情況必須使用C/SC/S結(jié)構(gòu)運(yùn)行：結(jié)構(gòu)運(yùn)行： 單機(jī)內(nèi)存或者硬盤不夠大，難以單機(jī)內(nèi)存或者硬盤不夠大，難以運(yùn)行大量數(shù)據(jù)；運(yùn)行大量數(shù)據(jù)； 單機(jī)上沒有或者無法配置數(shù)據(jù)連單機(jī)上沒有或者無法配置數(shù)據(jù)連結(jié)，無法從數(shù)據(jù)庫中獲取數(shù)據(jù)；結(jié)，無法從數(shù)據(jù)庫中獲取數(shù)據(jù)； 組織規(guī)則不允許下載大量數(shù)據(jù)到組織規(guī)則不允許下載大量數(shù)據(jù)到單機(jī)。單機(jī)。以下情況可以使用以下情況可以使用C/SC/S結(jié)構(gòu)運(yùn)行：結(jié)構(gòu)運(yùn)行： 要處理的數(shù)據(jù)量很大，并且存儲(chǔ)要處理的數(shù)據(jù)量很大，并且存儲(chǔ)在可以通過在可以通過SPSS Data AccessSPSS Data Access技技術(shù)可到達(dá)的數(shù)據(jù)庫處；術(shù)可到達(dá)的數(shù)據(jù)庫處； 單機(jī)速度慢，單

40、機(jī)速度慢，Clementine Clementine ServerServer運(yùn)行的機(jī)器配置高。運(yùn)行的機(jī)器配置高。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載48Clementine的系統(tǒng)結(jié)構(gòu)Clementine的三層結(jié)構(gòu)的三層結(jié)構(gòu):1、數(shù)據(jù)庫層；、數(shù)據(jù)庫層；通過Clementine Server進(jìn)行調(diào)度，把那些可以通過SQL語句執(zhí)行的數(shù)據(jù)操作過程以SQL語句的形式導(dǎo)入數(shù)據(jù)庫并在其

41、中進(jìn)行；2、服務(wù)器端；、服務(wù)器端；進(jìn)行調(diào)度，不能在數(shù)據(jù)庫層面進(jìn)行的操作在服務(wù)器端進(jìn)行（比如數(shù)據(jù)挖掘模型計(jì)算過程）3、客戶端。、客戶端。在三層結(jié)構(gòu)下通過Clementine Server進(jìn)行調(diào)度，由客戶端向服務(wù)器端發(fā)送數(shù)據(jù)挖掘指令，并接受和展示數(shù)據(jù)挖掘結(jié)果。Clementine ClientClementine Client和和Clementine ServerClementine Server通過通過SDLSDL（Stream Stream Description LanguageDescription Language ）之間進(jìn)行信息交換，）之間進(jìn)行信息交換，Clementine Serve

42、rClementine Server和和DatabaseDatabase通過通過SQLSQL語句進(jìn)行信息交換。語句進(jìn)行信息交換。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載49Clementine運(yùn)行的兩種方式 圖形界面方式圖形界面方式 適用操作系統(tǒng)適用操作系統(tǒng) Windows系列系列 特點(diǎn)：特點(diǎn)： 圖形化界面圖形化界面 與客戶直接交互與客戶直接交互 適合交互式分析過程適合交互式分

43、析過程命令行方式命令行方式使用操作系統(tǒng)使用操作系統(tǒng) WindowsWindows系列系列 UnixUnix系列系列特點(diǎn)：特點(diǎn)：命令行操作命令行操作不能生成圖形，所有結(jié)果保存在不能生成圖形，所有結(jié)果保存在文件里或者數(shù)據(jù)庫中文件里或者數(shù)據(jù)庫中適合于以下情況使用：適合于以下情況使用：1.1. 運(yùn)行耗時(shí)較長的建模過程運(yùn)行耗時(shí)較長的建模過程2.2. 希望在后臺(tái)運(yùn)行一些耗時(shí)較長的希望在后臺(tái)運(yùn)行一些耗時(shí)較長的數(shù)據(jù)準(zhǔn)備數(shù)據(jù)準(zhǔn)備3.3. 過程希望按照一定的時(shí)間定期運(yùn)過程希望按照一定的時(shí)間定期運(yùn)行（比如每周、每月等）行（比如每周、每月等）4.4. 希望把希望把ClementineClementine（數(shù)據(jù)挖掘過（

44、數(shù)據(jù)挖掘過程）運(yùn)行過程嵌入應(yīng)用系統(tǒng)中程）運(yùn)行過程嵌入應(yīng)用系統(tǒng)中Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載50Clementine的界面和設(shè)計(jì)思路 可視化界面可視化界面 四個(gè)區(qū)域分別是建模區(qū)、結(jié)點(diǎn)區(qū)、模型描述區(qū)、項(xiàng)目管理四個(gè)區(qū)域分別是建模區(qū)、結(jié)點(diǎn)區(qū)、模型描述區(qū)、項(xiàng)目管理區(qū)區(qū) 通過連接結(jié)點(diǎn)構(gòu)成數(shù)據(jù)流建立模型通過連接結(jié)點(diǎn)構(gòu)成數(shù)據(jù)流建立模型 ClementineClementine通過通

45、過6 6類結(jié)點(diǎn)的連接完成數(shù)據(jù)挖掘工作，它們類結(jié)點(diǎn)的連接完成數(shù)據(jù)挖掘工作，它們是：是：Source(源結(jié)點(diǎn)):Database、Var. Files等Record Ops (記錄處理結(jié)點(diǎn)):Select、Sample等Field Ops(字段處理結(jié)點(diǎn)):Type、Filter等Graphs(圖形結(jié)點(diǎn)):Plot、Distribute等Modeling(模型結(jié)點(diǎn)):Neural Net、C5.0等Output(輸出結(jié)點(diǎn)):Table、Matrix等Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)5306

46、0345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載51Clementine操作基本知識(shí) 鼠標(biāo)應(yīng)用鼠標(biāo)應(yīng)用三鍵與雙鍵鼠標(biāo)三鍵與雙鍵鼠標(biāo)左鍵左鍵 選擇節(jié)點(diǎn)或圖標(biāo)置于建模區(qū)選擇節(jié)點(diǎn)或圖標(biāo)置于建模區(qū)右鍵右鍵 激活浮動(dòng)菜單激活浮動(dòng)菜單中鍵中鍵 連接或斷開兩個(gè)節(jié)點(diǎn)連接或斷開兩個(gè)節(jié)點(diǎn) 幫助幫助Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載5

47、2Clementine操作基本知識(shí) 節(jié)點(diǎn)的增加，以節(jié)點(diǎn)的增加，以 為例為例Click “Sources”Click “Sources”，Click Click ，Click “Click “流區(qū)域流區(qū)域”Click “Sources”Click “Sources”，Double Click Double Click Click “Sources”Click “Sources”，Drag to “Drag to “流區(qū)域流區(qū)域” 節(jié)點(diǎn)的刪除節(jié)點(diǎn)的刪除Click Click ， DeleteDeleteRight Click Right Click ，Click “Delete”Click “De

48、lete” 節(jié)點(diǎn)的移動(dòng)：節(jié)點(diǎn)的移動(dòng)：DragDragBeijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載53Clementine操作基本知識(shí) 節(jié)點(diǎn)的編輯節(jié)點(diǎn)的編輯Double ClickDouble ClickRight Click Right Click ，Click “Edit”Click “Edit” 節(jié)點(diǎn)的重命名和解釋節(jié)點(diǎn)的重命名和解釋Right Click Right Click

49、 ，Click “Edit”Click “Edit”，Click “Annotations”Click “Annotations”Double Click Double Click ，Click Click “Annotations”“Annotations”Right Click Right Click ，Click “Rename Click “Rename and Annotations”and Annotations” 拷貝、粘貼拷貝、粘貼Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53

50、060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載54Clementine操作基本知識(shí) 構(gòu)建流時(shí)節(jié)點(diǎn)的連接構(gòu)建流時(shí)節(jié)點(diǎn)的連接Highlight Highlight ，Add to the CanvasAdd to the CanvasRight Click Right Click ，Click “Connect”Click “Connect”，Click Click Drag the middle mutton from to Drag the middle mutton from to 構(gòu)建流時(shí)節(jié)點(diǎn)連接的刪除構(gòu)建流時(shí)節(jié)點(diǎn)連接的刪除

51、Right Click or Right Click or ， Click Click “Disconnect”“Disconnect”Right Click “Connection”Right Click “Connection”，Click “Delete Click “Delete Connection”Connection”Double Click orDouble Click or Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240

52、385來自來自 中國最大的資料庫下載中國最大的資料庫下載55Clementine操作基本知識(shí) 流的執(zhí)行流的執(zhí)行Highlight “Stream”Highlight “Stream”，ClickClickRight Click Right Click ，Click “Execute”Click “Execute”In the Edit Window of the In the Edit Window of the ， Click Click “Execute”“Execute” 流的保存流的保存 幫助幫助Help MenuHelp MenuDialogue WindowDialogue Win

53、dowBeijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載56一個(gè)例子羅斯文商貿(mào)公司 商業(yè)問題：商業(yè)問題： 微軟公司提供的微軟公司提供的案例案例數(shù)據(jù)庫數(shù)據(jù)庫羅斯文商貿(mào)公司，羅斯文商貿(mào)公司，如何對(duì)客戶價(jià)值進(jìn)行評(píng)估如何對(duì)客戶價(jià)值進(jìn)行評(píng)估 背景介紹：背景介紹：1.1.羅斯文商貿(mào)公司是羅斯文商貿(mào)公司是MicrosoftMicrosoft數(shù)據(jù)庫產(chǎn)品（數(shù)據(jù)庫產(chǎn)品（Access, Access, SQL

54、 ServerSQL Server等等) )中的一個(gè)示例數(shù)據(jù)庫；中的一個(gè)示例數(shù)據(jù)庫；2.2.它虛擬了一家經(jīng)銷日用品的商貿(mào)公司它虛擬了一家經(jīng)銷日用品的商貿(mào)公司的的情況；情況；3.3.目前該公司保存目前該公司保存的的歷史數(shù)據(jù)資料，見下頁；歷史數(shù)據(jù)資料，見下頁；4.4.我們需要對(duì)客戶的價(jià)值進(jìn)行評(píng)估，以便采取有效的我們需要對(duì)客戶的價(jià)值進(jìn)行評(píng)估，以便采取有效的市場(chǎng)銷售策略。市場(chǎng)銷售策略。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自

55、中國最大的資料庫下載中國最大的資料庫下載57羅斯林商貿(mào)公司數(shù)據(jù)Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載58羅斯文商貿(mào)公司統(tǒng)計(jì)問題 數(shù)據(jù)挖掘問題：數(shù)據(jù)挖掘問題： （1 1）如何描述客戶價(jià)值？）如何描述客戶價(jià)值？購買總金額？購買購買總金額？購買頻次？平均每次購買金額？最近購買金額？它們的頻次？平均每次購買金額？最近購買金額？它們的線性組合？線性組合？使用最簡單的購買總金額使用最簡單

56、的購買總金額 （2 2）需要什么樣的數(shù)據(jù)挖掘方法？）需要什么樣的數(shù)據(jù)挖掘方法？描述匯總？描述匯總？分類？預(yù)測(cè)？概念描述？細(xì)分？相關(guān)分析？分類？預(yù)測(cè)？概念描述？細(xì)分？相關(guān)分析？使使用最簡單的描述匯總用最簡單的描述匯總 （3 3）需要的數(shù)據(jù)從哪里來？）需要的數(shù)據(jù)從哪里來？從以下幾個(gè)來源：從以下幾個(gè)來源：客戶訂單訂單明細(xì)Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載59羅斯文商貿(mào)公司商業(yè)問

57、題解決方案 商業(yè)問題解決方案商業(yè)問題解決方案 從所有客戶中找出最有價(jià)值的從所有客戶中找出最有價(jià)值的1010個(gè)客戶，將個(gè)客戶，將名單發(fā)給市場(chǎng)部門，讓其對(duì)這些客戶進(jìn)行更多名單發(fā)給市場(chǎng)部門，讓其對(duì)這些客戶進(jìn)行更多的關(guān)注的關(guān)注Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載60Clementine的優(yōu)化包括兩個(gè)方面的優(yōu)化 結(jié)構(gòu)優(yōu)化 用戶優(yōu)化Beijing Stats Data Mining C

58、o. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385來自來自 中國最大的資料庫下載中國最大的資料庫下載61結(jié)構(gòu)優(yōu)化 把中間結(jié)果存儲(chǔ)在Server上（盡量使用server版處理） 從數(shù)據(jù)流上整理考慮的執(zhí)行數(shù)據(jù)流（能一步完成的處理盡量不要分解到多個(gè)執(zhí)行） 減少數(shù)據(jù)的遷移（數(shù)據(jù)提前進(jìn)行規(guī)劃）Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385

59、來自來自 中國最大的資料庫下載中國最大的資料庫下載62用戶優(yōu)化自動(dòng)優(yōu)化數(shù)據(jù)流：當(dāng)使用這一選項(xiàng)時(shí)，自動(dòng)優(yōu)化數(shù)據(jù)流：當(dāng)使用這一選項(xiàng)時(shí)，ClementineClementine將重寫數(shù)據(jù)流以使效率最高（可以通將重寫數(shù)據(jù)流以使效率最高（可以通過過Clementine ServerClementine Server中的中的sql_rewriting_enabledsql_rewriting_enabled來調(diào)整是否可以使用）來調(diào)整是否可以使用）1.優(yōu)化的SQL生成。使盡可能的操作在數(shù)據(jù)庫內(nèi)進(jìn)行。2.優(yōu)化Clementine執(zhí)行。調(diào)整數(shù)據(jù)降維的操作盡可能接近數(shù)據(jù)源完成。手動(dòng)優(yōu)化數(shù)據(jù)流手動(dòng)優(yōu)化數(shù)據(jù)流1.操作順序：有些操作可以在SQL中完成，有些操作不能在SQL中完成，盡可能把能夠在SQL中完成的一起排在前面2.數(shù)據(jù)類型：盡可能在源節(jié)點(diǎn)處由用戶自定義數(shù)據(jù)類型，而不是Clementine自動(dòng)讀取。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)5306