數(shù)據(jù)挖掘?qū)嶒?yàn)報(bào)告

1、市場(chǎng)購(gòu)物籃分析經(jīng)濟(jì)管理學(xué)院 企業(yè)管理專(zhuān)業(yè) 楊歡歡一、 實(shí)驗(yàn)背景隨著社會(huì)進(jìn)入信息化時(shí)代，現(xiàn)代化的企業(yè)搜集了大量數(shù)據(jù)或高維數(shù)據(jù)，包括市場(chǎng)、客戶(hù)、供貨商、競(jìng)爭(zhēng)對(duì)手以及未來(lái)趨勢(shì)等重要信息，但是信息超載與無(wú)結(jié)構(gòu)化，使得企業(yè)決策部門(mén)無(wú)法有效利用現(xiàn)存的信息，甚至使決策行為產(chǎn)生混亂與誤用。通過(guò)數(shù)據(jù)挖掘技術(shù)，可以從大量的數(shù)據(jù)中，挖掘出不同的信息與知識(shí)來(lái)支持決策，必能產(chǎn)生企業(yè)的競(jìng)爭(zhēng)優(yōu)勢(shì)。數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)是一個(gè)涉及多學(xué)科的研究領(lǐng)域。數(shù)據(jù)庫(kù)技術(shù)、人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、粗糙集、模糊集、神經(jīng)網(wǎng)絡(luò)、模式識(shí)別、知識(shí)庫(kù)系統(tǒng)、高性能計(jì)算、數(shù)據(jù)可視化等均與數(shù)據(jù)挖掘相關(guān)。近年來(lái)，與數(shù)據(jù)庫(kù)的知識(shí)發(fā)現(xiàn)研究領(lǐng)域已經(jīng)成為熱點(diǎn)，其中關(guān)

2、聯(lián)規(guī)則數(shù)據(jù)挖掘算法是數(shù)據(jù)挖掘中的一個(gè)很重要的課題，它是從背后發(fā)現(xiàn)數(shù)據(jù)中的關(guān)聯(lián)或聯(lián)系。本實(shí)驗(yàn)主要處理描述超級(jí)市場(chǎng)購(gòu)物籃內(nèi)容（所購(gòu)買(mǎi)的全部商品的集合）的虛構(gòu)數(shù)據(jù)，以及購(gòu)買(mǎi)者的相關(guān)個(gè)人數(shù)據(jù)。目的是尋找購(gòu)買(mǎi)相似產(chǎn)品并且購(gòu)買(mǎi)相似產(chǎn)品的客戶(hù)群特征。二、 實(shí)驗(yàn)?zāi)康?、 掌握數(shù)據(jù)挖掘的基礎(chǔ)知識(shí)，能夠深刻理解并熟練運(yùn)用GRI和C5.0規(guī)則，能夠熟練運(yùn)用SPSS Clementine11.1軟件進(jìn)行數(shù)據(jù)分析。2、 利用GRI和C5.0規(guī)則對(duì)商場(chǎng)客戶(hù)交易數(shù)據(jù)進(jìn)行分析，從中發(fā)現(xiàn)客戶(hù)購(gòu)買(mǎi)的商品之間的關(guān)聯(lián)關(guān)系，并進(jìn)一步歸納出購(gòu)買(mǎi)相似商品的顧客群的特征 。3、 理解并操作實(shí)驗(yàn)中數(shù)據(jù)挖掘的兩個(gè)部分，一是關(guān)聯(lián)規(guī)則建模和一個(gè)顯示

3、所購(gòu)買(mǎi)商品關(guān)聯(lián)關(guān)系的網(wǎng)絡(luò)圖；二是C5.0 規(guī)則歸納，顯示購(gòu)買(mǎi)建立的產(chǎn)品組合的顧客群具有的特征。三、 操作環(huán)境1、系統(tǒng)環(huán)境：Windows XP2、軟件環(huán)境：SPSS Clementine11.13、軟件簡(jiǎn)介：作為一個(gè)數(shù)據(jù)挖掘平臺(tái)， Clementine結(jié)合商業(yè)技術(shù)可以快速建立預(yù)測(cè)性模型，進(jìn)而應(yīng)用到商業(yè)活動(dòng)中，幫助人們改進(jìn)決策過(guò)程。強(qiáng)大的數(shù)據(jù)挖掘功能和顯著的投資回報(bào)率使得Clementine在業(yè)界久負(fù)盛譽(yù)。同那些僅僅著重于模型的外在表現(xiàn)而忽略了數(shù)據(jù)挖掘在整個(gè)業(yè)務(wù)流程中的應(yīng)用價(jià)值的其它數(shù)據(jù)挖掘工具相比， Clementine其功能強(qiáng)大的數(shù)據(jù)挖掘算法，使數(shù)據(jù)挖掘貫穿業(yè)務(wù)流程的始終，在縮短投資回報(bào)周期

4、的同時(shí)極大提高了投資回報(bào)率。四、實(shí)驗(yàn)數(shù)據(jù)本實(shí)驗(yàn)所使用的數(shù)據(jù)是SPSS Clementine11.1自帶的數(shù)據(jù)，名為BSAKETS1n，該數(shù)據(jù)包含18個(gè)字段，1000條記錄。1、購(gòu)物籃摘要：cardid（購(gòu)買(mǎi)此籃商品的客戶(hù)的忠誠(chéng)卡標(biāo)識(shí)符）、Value（購(gòu)物籃的總購(gòu)買(mǎi)價(jià)格）、pmethod（購(gòu)物籃的支付方法）；2、卡持有者的個(gè)人詳細(xì)信息： Sex、homeown（卡持有者是否擁有住房）、收入、age ；3、購(gòu)物籃內(nèi)容產(chǎn)品類(lèi)別的出現(xiàn)標(biāo)志：fruitveg, freshmeat, dairy, cannedveg, cannedmeat, frozenmeal, beer, wine, softdri

5、nk, fish, confectionery。五、實(shí)驗(yàn)步驟1、新建工作流，附加數(shù)據(jù)1.1、該模型的數(shù)據(jù)存儲(chǔ)為BSAKETS1n，首先在選擇面板選擇可變文件節(jié)點(diǎn)作為數(shù)據(jù)讀入節(jié)點(diǎn)，雙擊該結(jié)點(diǎn)進(jìn)行編輯，加入數(shù)據(jù)存儲(chǔ)文件。結(jié)果如圖1。 圖12、使用一般規(guī)則歸納 (GRI) 大致了解購(gòu)物籃內(nèi)容的關(guān)系（關(guān)聯(lián)）以生成關(guān)聯(lián)規(guī)則2.1、選擇要在此建模過(guò)程中使用的字段，方法是：編輯“類(lèi)型”節(jié)點(diǎn)，將所有產(chǎn)品類(lèi)別的方向設(shè)置為雙向，其他方向設(shè)置為無(wú)，如圖2。其中，雙向表示該字段可以是結(jié)果模型的輸入或輸出。然后，連接一個(gè)“表”節(jié)點(diǎn)，執(zhí)行查看需要字段的數(shù)據(jù)，如圖3。圖2圖32.2、在選擇面板中的建模目錄中選擇GRI節(jié)點(diǎn)連

6、接到到數(shù)據(jù)流中，然后對(duì)該節(jié)點(diǎn)進(jìn)行編輯，選擇選項(xiàng)只顯示值為真的標(biāo)志變量，然后執(zhí)行 GRI 節(jié)點(diǎn)。在管理器的模型欄中顯示產(chǎn)生未精煉模型 ，這些規(guī)則顯示凍肉、罐裝蔬菜和啤酒之間存在多種關(guān)聯(lián)；酒和糖果也具有關(guān)聯(lián)。如圖4與圖5。這些規(guī)則顯示凍肉、罐裝蔬菜和啤酒之間存在多種關(guān)聯(lián)；酒和糖果也具有關(guān)聯(lián)。圖4圖5結(jié)果分析：圖四結(jié)果顯示了購(gòu)買(mǎi)各種商品之間的關(guān)聯(lián)關(guān)系。這個(gè)表的每一行表明了購(gòu)買(mǎi)某種商品的時(shí)候還有可能購(gòu)買(mǎi)哪些商品，它是用關(guān)聯(lián)分析中的支持度和置信度來(lái)分析的。支持度越大，說(shuō)明同時(shí)被購(gòu)買(mǎi)的可能性越大。我們以第一行結(jié)果為例分析，支持度為3.0%，置信度為96.67，顧客在購(gòu)買(mǎi)cannedveg時(shí)有可能會(huì)同時(shí)購(gòu)f

7、reshmeat,frozenmeal,beer這三種商品，對(duì)于其它行同樣用此方法分析。2.3、在“圖形”中選擇“網(wǎng)絡(luò)”節(jié)點(diǎn)拖入到工作框，然后與 “類(lèi)型”節(jié)點(diǎn)連接。編輯“網(wǎng)絡(luò)”節(jié)點(diǎn)，選擇購(gòu)物籃所有產(chǎn)品字段，選擇僅顯示 真值，如圖6。圖62.4執(zhí)行網(wǎng)絡(luò)節(jié)點(diǎn)，得到如圖7所示的網(wǎng)絡(luò)圖。然后指定弱連接和強(qiáng)連接，單擊工具欄上的黃色雙箭頭按鈕。這會(huì)展開(kāi)顯示 Web 輸出摘要和控件的對(duì)話(huà)框。選擇大小表示強(qiáng)/正常/弱。將弱鏈接設(shè)置為低于90，將強(qiáng)接連設(shè)置為101。結(jié)果如圖8示。圖7圖8在圖中有三個(gè)客戶(hù)群突出顯示：購(gòu)買(mǎi)魚(yú)和果蔬，我們將該組合定義為“健康”，購(gòu)買(mǎi)酒和糧果，該組合定義為“小資”，購(gòu)買(mǎi)啤酒、凍肉和罐裝

8、蔬菜，該組合定義為“火鍋”。3、C5.0規(guī)則歸納3.1、選中網(wǎng)絡(luò)圖中連接魚(yú)和果蔬的連線(xiàn)，導(dǎo)出“與”節(jié)點(diǎn)，字段命名“健康”。如圖9和圖10。在真值和假值欄分別填寫(xiě)新字段的兩種數(shù)據(jù)值，其中真值表示當(dāng)條件滿(mǎn)足時(shí)該字段的值，假值表示當(dāng)條件不滿(mǎn)足時(shí)該字段的值。圖9圖103.2、設(shè)置字段的輸入與輸出。在健康節(jié)點(diǎn)后連接一個(gè)類(lèi)型結(jié)點(diǎn)，通過(guò)該類(lèi)型節(jié)點(diǎn)來(lái)制定字段的輸入或輸出方向。這里我們要分析購(gòu)買(mǎi)健康食物的顧客特征，所以我們將健康字段的方向選項(xiàng)設(shè)置為輸出，將顧客的個(gè)人特征設(shè)置為輸入，將其他商品設(shè)置為無(wú)。如圖10圖113.4附加 C5.0 節(jié)點(diǎn)。在選擇面板中選擇C5.0拖到工作框中。將輸出類(lèi)型設(shè)置為規(guī)則集，然后執(zhí)行

9、。如圖12。 圖12結(jié)果分析：圖中的結(jié)果顯示了14.5%的人會(huì)選擇購(gòu)買(mǎi)健康食物，85.5%的人不會(huì)購(gòu)買(mǎi)健康食物。下一個(gè)分支中，按照年齡特征來(lái)劃分，小于等于24歲的人中購(gòu)買(mǎi)健康食品占40.4%，其余的59.6%的人則不會(huì)購(gòu)買(mǎi)。年齡大于24歲的人中，4.6%的人選擇購(gòu)買(mǎi)健康食物，95.4%的人不會(huì)購(gòu)買(mǎi)健康食物。而在小于24歲且有房子的人中，1.4%的人會(huì)購(gòu)買(mǎi)健康食品，98.6%的人不會(huì)購(gòu)買(mǎi)。年齡小于24歲且沒(méi)有房子的人中80.3%的人會(huì)選擇購(gòu)買(mǎi)健康食物，19.3%的人不會(huì)購(gòu)買(mǎi)健康食物。3.5、對(duì)定義的其它組合重復(fù)上述操作，然后對(duì)于火鍋組合的規(guī)則集執(zhí)行，結(jié)果如圖12。圖13結(jié)果分析：圖中的結(jié)果顯示了

10、16.7%的人會(huì)選擇購(gòu)買(mǎi)火鍋組合，83.3%的人不會(huì)購(gòu)買(mǎi)火鍋組合。下一個(gè)分支中，按照收入特征來(lái)劃分，收入小于等于16900元的人42.604%購(gòu)買(mǎi)該組合，其余的57.396%的人則不會(huì)購(gòu)買(mǎi)。收入大于16900元的人中，3.474%的人選擇購(gòu)買(mǎi)火鍋組合，96.526%的人不會(huì)購(gòu)買(mǎi)。而在收入小于等于16900的男性中，84.242%的人會(huì)購(gòu)買(mǎi)火鍋組合， 15.758%的人不會(huì)購(gòu)買(mǎi)。收入小于等于16900的女性中2.89%的人會(huì)購(gòu)買(mǎi)火鍋組合，97.11%的人不會(huì)購(gòu)買(mǎi)火鍋組合。3.6、最終工作框的流程如圖13示。圖13六、實(shí)驗(yàn)總結(jié)本實(shí)驗(yàn)一共分為三個(gè)部分，第一部分主要是附加數(shù)據(jù)，第二部分是通過(guò)GRI關(guān)聯(lián)規(guī)則來(lái)建模，以此來(lái)揭示購(gòu)買(mǎi)的商品之間的關(guān)聯(lián)關(guān)系，并用網(wǎng)絡(luò)圖顯示出來(lái)；我在第三部分探索了用C5.0模型來(lái)歸納其中的規(guī)則。通過(guò)本