第七章crm軟件選擇與技術(shù)應(yīng)用

第三節(jié)數(shù)據(jù)挖掘技術(shù)在CRM中的應(yīng)用數(shù)據(jù)挖掘技術(shù)內(nèi)涵1數(shù)據(jù)挖掘分析方法23數(shù)據(jù)挖掘技術(shù)流程4一、數(shù)據(jù)挖掘技術(shù)內(nèi)涵1.數(shù)據(jù)挖據(jù)技術(shù)定義數(shù)據(jù)挖掘的定義非常多，可以從技術(shù)角度進(jìn)行定義，也可以從商業(yè)角度定義。（1）從技術(shù)角度定義數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。數(shù)據(jù)挖掘是一個從數(shù)據(jù)集中找到有效的、新的、可能有用的并且最終能被理解的模式的過程。數(shù)據(jù)挖掘是為尋找那些未知的信息模式而研究大型數(shù)據(jù)集的一個決策支持過程。一、數(shù)據(jù)挖掘技術(shù)內(nèi)涵數(shù)據(jù)挖掘是用來在知識發(fā)現(xiàn)過程中辨識存在于數(shù)據(jù)中的未知關(guān)系和模式的一些方法。數(shù)據(jù)挖掘是一個完整的過程，該過程從大型數(shù)據(jù)庫中挖掘先前未知的、有效的、可實用的信息，并使用這些信息做出決策或豐富知識。（2）從商業(yè)角度定義數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù)，其主要特點是對大型商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取以前未知的、可理解的、可執(zhí)行的模式，并用它來進(jìn)行關(guān)鍵的商業(yè)決策。一、數(shù)據(jù)挖掘技術(shù)內(nèi)涵綜上，數(shù)據(jù)挖掘就是從數(shù)據(jù)中提取有用的模式和知識。這里就牽涉到三個概念，即數(shù)據(jù)、模式和知識。其中，數(shù)據(jù)是指有關(guān)事實的集合，記錄與事物有關(guān)的所有原始信息，模式是一個可以用語言來表示的一個表達(dá)式，它可用來描述數(shù)據(jù)集的某個子集，該數(shù)據(jù)子集中的數(shù)據(jù)都具有相同的特性；知識則是對數(shù)據(jù)中所包涵信息更抽象的描述。一、數(shù)據(jù)挖掘技術(shù)內(nèi)涵2.數(shù)據(jù)挖掘是掌握商機的命脈數(shù)據(jù)挖掘通過高等統(tǒng)計工具的使用，從數(shù)據(jù)庫或其他電子文檔中識別出對商業(yè)有用的樣本或關(guān)系的程序，并收集與客戶相關(guān)的數(shù)據(jù)，利用統(tǒng)計分析與人工智能技術(shù)，針對大量數(shù)據(jù)進(jìn)行篩選、推導(dǎo)與模型構(gòu)造等操作，以揭露隱含在數(shù)據(jù)與模式中的閃光點，從而把原始數(shù)據(jù)轉(zhuǎn)換成商機，成為決策依據(jù)的嶄新知識。從CRM的整體結(jié)構(gòu)來說，數(shù)據(jù)挖掘是整個CRM最重要的一個階段，也是構(gòu)成商業(yè)智能整體解決方案的基礎(chǔ)一、數(shù)據(jù)挖掘技術(shù)內(nèi)涵完整的數(shù)據(jù)挖掘不但可以做到準(zhǔn)確的目標(biāo)市場行銷，當(dāng)分析工具及技術(shù)成熟時，加上數(shù)據(jù)存儲提供大量存儲客戶數(shù)據(jù)的能力，還可使數(shù)據(jù)挖掘進(jìn)行大規(guī)模的針對個人客戶的定制，準(zhǔn)確地對客戶作一對一行銷。企業(yè)只有對客戶有了充分的了解，才能有效地和客戶建立親密的關(guān)系，進(jìn)而有效地進(jìn)行行銷，創(chuàng)造商機。數(shù)據(jù)挖掘是CRM中的關(guān)鍵性階段，透過數(shù)據(jù)挖掘，能有效地提供行銷、銷售和服務(wù)的決策支持，讓工作人員得到充分信息而展開行動，并于適當(dāng)?shù)臅r間和地點給客戶提供適當(dāng)?shù)漠a(chǎn)品及服務(wù)。演化過程商務(wù)問題基礎(chǔ)技術(shù)產(chǎn)品供應(yīng)商特點數(shù)據(jù)收集（20世紀(jì)60年代）

數(shù)據(jù)訪問（20世紀(jì)80年代）

數(shù)據(jù)倉庫與決策支持（20世紀(jì)90年代）

數(shù)據(jù)挖掘（當(dāng)前）

在上個五年里我們的總體收入情況如何？

去年四月在新英格蘭的銷售情況如何

去年四月在新英格蘭的銷售情況如何，而具體到波士頓區(qū)域情況又如何呢？

下個月在波士頓的銷售情況會怎么樣，為什么？計算機、磁帶、磁盤

關(guān)系型數(shù)據(jù)庫（RDBMS）、結(jié)構(gòu)化查詢語言（SQL）、ODBC

聯(lián)機分析處理（OLAP）、多維數(shù)據(jù)庫（MOLAP）、數(shù)據(jù)倉庫

高級算法、多處理器計算機、神經(jīng)網(wǎng)絡(luò)、知識發(fā)現(xiàn)、模糊查詢、大規(guī)模數(shù)據(jù)庫IBMCDC

Oracle、SybaseInformix、DB2SQL*Server

Essbase、Teradata、Cognos、MicrosStradgey、Pilot、Comshare

PilotLockheedIBMSGICognosOracleSPSS和許多剛剛起步的公司（新生事業(yè)）回溯、靜態(tài)數(shù)據(jù)分發(fā)

回溯記錄級的動態(tài)數(shù)據(jù)分發(fā)

回溯多級動態(tài)數(shù)據(jù)分發(fā)

預(yù)期的、前攝的Pro-active信息分發(fā)數(shù)據(jù)挖掘技術(shù)內(nèi)涵1數(shù)據(jù)挖掘分析方法23數(shù)據(jù)挖掘技術(shù)流程4二、數(shù)據(jù)挖掘分析方法1.統(tǒng)計分析方法統(tǒng)計分析方法主要用于完成知識總結(jié)和關(guān)系型知識挖掘。對關(guān)系表中各屬性進(jìn)行統(tǒng)計分析，找到它們之間存在的關(guān)系。在關(guān)系表的屬性之間，一般存在兩種關(guān)系：函數(shù)關(guān)系（能用函數(shù)公式表示的確定性關(guān)系）；相關(guān)關(guān)系（不能用函數(shù)公式表示的關(guān)系）。對于確定性關(guān)系和相關(guān)關(guān)系，可采用回歸分析、相關(guān)分析、主成分分析等設(shè)計分析方法。二、數(shù)據(jù)挖掘分析方法2.決策樹決策樹可用于分類。利用信息論中的信息增益尋找數(shù)據(jù)庫中具有最大信息量的字節(jié)。建立決策樹的一個結(jié)點，再根據(jù)字段的不同取值建立樹的分支。在每個分支子集中重復(fù)建立下層結(jié)點和分支，這樣便生成一棵決策樹。接下來還要對決策樹進(jìn)行剪枝處理，最后將決策樹轉(zhuǎn)化為規(guī)則，運用這些規(guī)則，可以對新事例進(jìn)行分類。典型的決策樹方法有“分類回歸樹”(ClassificationAndRegressionTrees,CART)、ID3、C4.5、卡方自動歸納法、卡方自動互動偵測器等技術(shù)產(chǎn)生的有效模型。二、數(shù)據(jù)挖掘分析方法2.決策樹決策樹可用于分類。利用信息論中的信息增益尋找數(shù)據(jù)庫中具有最大信息量的字節(jié)。建立決策樹的一個結(jié)點，再根據(jù)字段的不同取值建立樹的分支。在每個分支子集中重復(fù)建立下層結(jié)點和分支，這樣便生成一棵決策樹。接下來還要對決策樹進(jìn)行剪枝處理，最后將決策樹轉(zhuǎn)化為規(guī)則，運用這些規(guī)則，可以對新事例進(jìn)行分類。典型的決策樹方法有“分類回歸樹”(Classi-ficationAndRegressionTrees,CART)、ID3、C4.5、卡方自動歸納法、卡方自動互動偵測器等技術(shù)產(chǎn)生的有效模型。二、數(shù)據(jù)挖掘分析方法3.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)用于分類、群集、特征挖掘、預(yù)測和模式識別。人工神經(jīng)網(wǎng)絡(luò)仿真生物神經(jīng)網(wǎng)絡(luò)，本質(zhì)上是一個分散型或矩陣結(jié)構(gòu)，它通過對訓(xùn)練數(shù)據(jù)的挖掘，逐步計算網(wǎng)絡(luò)連接的加權(quán)值。人工神經(jīng)網(wǎng)絡(luò)可分為3種：前饋式網(wǎng)絡(luò)：以感應(yīng)機、逆向傳播模型、函數(shù)型網(wǎng)絡(luò)為代表，可用于預(yù)測及模式識別等方面。反饋式網(wǎng)絡(luò)：以Hopfield的離散模型和連續(xù)模型為代表，分別用于聯(lián)想記憶和最優(yōu)化計算。自組織型網(wǎng)絡(luò)：以ART模型、Koholon模型為代表，用于群集。二、數(shù)據(jù)挖掘分析方法4.基因算法基因算法用于分類、關(guān)系型規(guī)則挖掘等?；蛩惴７氯斯みx擇培育良種的思想，從一個初始規(guī)則集合（知識基因）開始，逐步地通過交換對象成員（雜交、基因突變）產(chǎn)生群體（繁殖），評估并擇優(yōu)復(fù)制（物競天擇、適者生存），優(yōu)勝劣敗，逐代積累計算，最終得到最優(yōu)化的知識集。二、數(shù)據(jù)挖掘分析方法5.粗糙集粗糙集用于數(shù)據(jù)簡化、數(shù)據(jù)意義評估、對象相似性或共性分析、因果關(guān)系及范式挖掘等。粗糙集理論由Z.Pawlak在20世紀(jì)80年代提出，用于處理不確定性。其主要思路如下：把對象的屬性分為條件屬性和決策屬性，按各種屬性值相同劃分成等價類。條件屬性上的等價類E與決策屬性上的等價類Y之間有3種情況：下近似：Y包含E上近似：Y和E的交集并非空集無關(guān)：Y和E的交集為空集對下近似建立確定性規(guī)則；對上近似建立不確定性規(guī)則（含可信度）；而無關(guān)情況下不存在規(guī)則二、數(shù)據(jù)挖掘分析方法6.聯(lián)機分析處理技術(shù)(OLAP)用具體圖形將信息模式、數(shù)據(jù)的關(guān)聯(lián)或趨勢呈獻(xiàn)給決策者，使客戶能交互式地分析數(shù)據(jù)的關(guān)系，而OLAP技術(shù)將人的觀察力和智力融入挖掘系統(tǒng)中，極大地改善了系統(tǒng)挖掘的速度和深度OLAP特征1)能夠提供數(shù)據(jù)的多維視圖2)強大的分析功能OLAP系統(tǒng)的一般結(jié)構(gòu)OLAP系統(tǒng)的一般結(jié)構(gòu)OLAP的基本分析操作1.切片操作OLAP的基本分析操作2.鉆取3.旋轉(zhuǎn)/轉(zhuǎn)軸OLAP在CRM中的應(yīng)用在CRM系統(tǒng)中的OLAP主要被應(yīng)用于以下幾個方面：1.快速查詢客戶信息2.決策支持3.數(shù)據(jù)分析4.實時、動態(tài)、直觀的展示CRM中的客戶數(shù)據(jù)數(shù)據(jù)挖掘技術(shù)內(nèi)涵1數(shù)據(jù)挖掘分析方法23數(shù)據(jù)挖掘技術(shù)流程4三、數(shù)據(jù)挖掘技術(shù)流程將CRM分析應(yīng)用需求進(jìn)行技術(shù)型整理，可以歸納出以下幾類數(shù)據(jù)挖據(jù)需求：數(shù)據(jù)描述和總結(jié)：對歷史數(shù)據(jù)描述和總結(jié)，可以看清過去發(fā)生了什么。數(shù)據(jù)分類、市場分割：市場細(xì)分，提高可操作性和可管理性。預(yù)測：給出一個或一批預(yù)測輸入，其結(jié)果會如何？數(shù)據(jù)相關(guān)性發(fā)現(xiàn)：一種行為的發(fā)生有很大可能觸發(fā)另一種行為數(shù)據(jù)依賴性分析：一種行為的發(fā)生以另一種行為為前提三、數(shù)據(jù)挖掘技術(shù)流程1.確定分析和預(yù)測目標(biāo)在進(jìn)行數(shù)據(jù)挖掘之前，需要明確業(yè)務(wù)目標(biāo)：通過數(shù)據(jù)挖掘解決什么樣的問題，達(dá)到什么目的將要解決的問題轉(zhuǎn)化為可以測量的目標(biāo)，即數(shù)據(jù)挖掘的成功準(zhǔn)則按照項目管理的一般方法考慮其他因素，如可用的技術(shù)、資金、人才和時間等資源投入，確定項目期等。必須有一個明確的計劃，以確定挖掘項目的總體框架三、數(shù)據(jù)挖掘技術(shù)流程2.了解數(shù)據(jù)對數(shù)據(jù)挖掘的基礎(chǔ)數(shù)據(jù)進(jìn)行初步了解。比如，數(shù)據(jù)從哪里獲得，數(shù)據(jù)倉庫里有無直接可用的數(shù)據(jù)集市，所選用數(shù)據(jù)表哪些字段是必要的，如何描述這些數(shù)據(jù)等，對數(shù)據(jù)的初步了解可以幫助分析這些數(shù)據(jù)的可用性與適用性利用一些簡單的工具隨機地抽取一些記錄，檢驗它們的質(zhì)量，只有對數(shù)據(jù)建立基本的可信度之后，才可以進(jìn)入下面的步驟，否則太多的返工會產(chǎn)生很多不必要的資源浪費。三、數(shù)據(jù)挖掘技術(shù)流程3.數(shù)據(jù)準(zhǔn)備這一階段是對已確定的基本數(shù)據(jù)進(jìn)行必要的轉(zhuǎn)換、清理、填補以及合并工作。比如，有些數(shù)據(jù)挖掘工具只能處理數(shù)字類型。這種情況下，就必須將對字段值進(jìn)行必要的轉(zhuǎn)化。數(shù)據(jù)準(zhǔn)備工作比較繁瑣，但非常重要。因為，如果數(shù)據(jù)里噪音大，就會影響建立模型的準(zhǔn)確度．?dāng)?shù)據(jù)越完整，越準(zhǔn)確，在此基礎(chǔ)上發(fā)掘的數(shù)據(jù)規(guī)律(Pattern)就具有更高的可信度，從而更好地實現(xiàn)數(shù)據(jù)挖掘的目標(biāo)三、數(shù)據(jù)挖掘技術(shù)流程4.數(shù)據(jù)相關(guān)性前期探索有些數(shù)據(jù)挖掘在定性和數(shù)據(jù)分類方面使用方便，可以作為更高一級預(yù)測的“探索”工具。比如，先用決策樹或聚類方法幫助找出數(shù)據(jù)的總體趨勢以及預(yù)測變量相關(guān)事件之后，再用神經(jīng)網(wǎng)絡(luò)或規(guī)則導(dǎo)引方法有針對性地建模。一方面可以細(xì)化數(shù)據(jù)，提高性能；另一方面在某種程度上也可以幫助消除噪音；另外也可以作為不同方法比較之用。三、數(shù)據(jù)挖掘技術(shù)流程5.模型構(gòu)造模型構(gòu)造階段是數(shù)據(jù)挖掘技術(shù)應(yīng)用的關(guān)鍵階段，有以下幾個子步驟：選擇適用的挖掘技術(shù)。根據(jù)挖掘目標(biāo)所要解決的問題，比如是歷史數(shù)據(jù)描述的，還是對未來行為進(jìn)行預(yù)測的，選擇相應(yīng)的挖掘技術(shù)，因為每一種挖掘技術(shù)有其適用性。建立培訓(xùn)數(shù)據(jù)和測試數(shù)據(jù)。對基礎(chǔ)數(shù)據(jù)必須分為兩部分，一個是供模型建立的數(shù)據(jù)，另一個是供模型建立后檢驗其準(zhǔn)確率的數(shù)據(jù)，兩者的使用目的是不一樣的。利用培訓(xùn)數(shù)據(jù)采用相應(yīng)算法建立模型。模型解釋。模型建立以后必須對模型進(jìn)行分析和解釋，業(yè)務(wù)專家和數(shù)據(jù)庫專家同時參與，以找出模型中的實際意義三、數(shù)據(jù)挖掘技術(shù)流程6.模型評估和檢驗這個階段對所建立的模型用測試數(shù)據(jù)進(jìn)行測試，計算誤差率，以確定模型的可信度，如果不令人滿意，未達(dá)到預(yù)期的誤差率目標(biāo)，那么，就必須重回到數(shù)據(jù)了解階段，重復(fù)相關(guān)過程，一直找到令人滿意度模型位置。當(dāng)然