數(shù)據(jù)挖掘之關(guān)聯(lián)分析.ppt

數(shù)據(jù)挖掘關(guān)聯(lián)分析,概念,數(shù)據(jù)挖掘(Data Mining) 是通過分析每個數(shù)據(jù)，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，主要有數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示3個步驟。 數(shù)據(jù)挖掘的任務(wù)有關(guān)聯(lián)分析、聚類分析、分類分析、異常分析、特異群組分析和演變分析等。 關(guān)聯(lián)分析是指如果兩個或多個事物之間存在一定的關(guān)聯(lián),那么其中一個事物就能通過其他事物進(jìn)行預(yù)測.它的目的是為了挖掘隱藏在數(shù)據(jù)間的相互關(guān)系 。,數(shù)據(jù)挖掘能做什么,分類 （Classification） 首先從數(shù)據(jù)中選出已經(jīng)分好類的訓(xùn)練集，在該訓(xùn)練集上運(yùn)用數(shù)據(jù)挖掘分類的技術(shù)，建立分類模型，對于沒有分類的數(shù)據(jù)進(jìn)行分類。 例子： a. 信用卡申請者，分類為低、中、高風(fēng)險 b. 故障診斷：中國寶鋼集團(tuán)與上海天律信息技術(shù)有限公司合作，采用數(shù)據(jù)挖掘技術(shù)對鋼材生產(chǎn)的全流程進(jìn)行質(zhì)量監(jiān)控和分析，構(gòu)建故障地圖，實時分析產(chǎn)品出現(xiàn)瑕疵的原因，有效提高了產(chǎn)品的優(yōu)良率。,數(shù)據(jù)挖掘能做什么,估計（Estimation） 估計與分類類似，不同之處在于，分類描述的是離散型變量的輸出，而估值處理連續(xù)值的輸出；分類 數(shù)據(jù)挖掘 的類別是確定數(shù)目的，估值的量是不確定的。 例子： a. 根據(jù)購買模式，估計一個家庭的孩子個數(shù) b. 根據(jù)購買模式，估計一個家庭的收入 c. 估計real estate的價值 一般來說，估值可以作為分類的前一步工作。例如：銀行對家庭貸款業(yè)務(wù)，運(yùn)用估值，給各個客戶記分（Score 01）。然后，根據(jù)閾值，將貸款級別分類。,數(shù)據(jù)挖掘能做什么,預(yù)測（Prediction） 通常，預(yù)測是通過分類或估值起作用的，也就是說，通過分類或估值得出模型，該模型用于對未知變量的預(yù)言。從這種意義上說，預(yù)言其實沒有必要分為一個單獨(dú)的類。預(yù)言其目的是對未來未知變量的預(yù)測，這種預(yù)測是需要時間來驗證的，即必須經(jīng)過一定時間后，才知道預(yù)言準(zhǔn)確性是多少。,數(shù)據(jù)挖掘能做什么,相關(guān)性分組或關(guān)聯(lián)規(guī)則 （Affinity grouping or association rules） 決定哪些事情將一起發(fā)生。 例子： a. 超市中客戶在購買A的同時，經(jīng)常會購買B，即A = B(關(guān)聯(lián)規(guī)則) b. 客戶在購買A后，隔一段時間，會購買B （序列分析）,數(shù)據(jù)挖掘能做什么,聚類（Clustering） 聚類是對記錄分組，把相似的記錄在一個聚集里。聚類和分類的區(qū)別是聚集不依賴于預(yù)先定義好的類，不需要訓(xùn)練集。 例子： a. 一些特定癥狀的聚集可能預(yù)示了一個特定的疾病 b. 租VCD類型不相似的客戶聚集，可能暗示成員屬于不同的亞文化群,數(shù)據(jù)關(guān)聯(lián),我們會發(fā)現(xiàn)很多網(wǎng)站都具備了內(nèi)容推薦的功能，這類功能無疑在幫助用戶發(fā)現(xiàn)需求，促進(jìn)商品購買和服務(wù)應(yīng)用方面起到了顯著性的效果。,那么這類的推薦是怎么得到的呢？,數(shù)據(jù)關(guān)聯(lián),關(guān)聯(lián)推薦在營銷上被分為兩類： 向上營銷(Up Marketing)：根據(jù)既有客戶過去的消費(fèi)喜好，提供更高價值或者其他用以加強(qiáng)其原有功能或者用途的產(chǎn)品或服務(wù)。 交叉營銷(Cross Marketing)：從客戶的購買行為中發(fā)現(xiàn)客戶的多種需求，向其推銷相關(guān)的產(chǎn)品或服務(wù)。,數(shù)據(jù)關(guān)聯(lián),向上營銷是基于同類產(chǎn)品線的升級或優(yōu)化產(chǎn)品的推薦，而交叉營銷是基于相似但不同類的產(chǎn)品的推薦。,數(shù)據(jù)關(guān)聯(lián),關(guān)聯(lián)推薦在實現(xiàn)方式上也可以分為兩種： 以產(chǎn)品分析為基礎(chǔ)的關(guān)聯(lián)推薦 以用戶分析為基礎(chǔ)的關(guān)聯(lián)推薦,比如Web Analytics和Web Analytics 2.0的作者都是Avinash Kaushik，而且書名都包含Web Analytics，都是網(wǎng)站分析類的書籍，同時也可能是同一個出版社那么基于產(chǎn)品的關(guān)聯(lián)就可以向購買了Web Analytics的用戶推薦Web Analytics 2.0。,數(shù)據(jù)關(guān)聯(lián),關(guān)聯(lián)推薦在實現(xiàn)方式上也可以分為兩種： 以產(chǎn)品分析為基礎(chǔ)的關(guān)聯(lián)推薦 以用戶分析為基礎(chǔ)的關(guān)聯(lián)推薦,基于用戶分析的推薦是通過分析用戶的歷史行為數(shù)據(jù)，可能會發(fā)現(xiàn)購買了Web Analytics的很多用戶也買了The Elements of User Experience這本書，那么就可以基于這個發(fā)現(xiàn)進(jìn)行推薦。,關(guān)聯(lián)規(guī)則,數(shù)據(jù)關(guān)聯(lián),經(jīng)典案例：沃爾瑪?shù)钠【坪湍虿嫉墓适?關(guān)聯(lián)規(guī)則,基于用戶行為分析的關(guān)聯(lián)推薦,更有利于發(fā)現(xiàn)用戶的潛在需求，幫助用戶更好的選擇它們需要的產(chǎn)品，并由用戶決定是否購買，也就是所謂的“拉式”營銷。通過向用戶推薦產(chǎn)品或服務(wù)，激發(fā)用戶的潛在需求，促使用戶消費(fèi)，更加符合“以用戶為中心”的理念。 以電子商務(wù)網(wǎng)站為例來說明一下關(guān)聯(lián)規(guī)則的具體實現(xiàn): 目前大部分電子商務(wù)網(wǎng)站都提供用戶注冊的功能，而購物的用戶一般都是基于登錄的條件下完成的，所以這里為用戶識別提供了最為有效的標(biāo)示符用戶ID；同時網(wǎng)站會把所有用戶的購物數(shù)據(jù)儲存在自己的運(yùn)營數(shù)據(jù)庫里面，這個為用戶行為分析提供了數(shù)據(jù)基礎(chǔ)用戶歷史購物數(shù)據(jù)。,基于用戶行為分析的關(guān)聯(lián)推薦,關(guān)聯(lián)規(guī)則的實現(xiàn)原理: 從所有的用戶購物數(shù)據(jù)中（如果數(shù)據(jù)量過大，可以選取一定的時間區(qū)間，如一年、一個季度等），尋找當(dāng)用戶購買了A商品的基礎(chǔ)上，又購買了B商品的人數(shù)