尿布與啤酒與數(shù)據(jù)挖掘技術(shù)

1、12在一家超市，有個(gè)有趣的在一家超市，有個(gè)有趣的現(xiàn)象：尿布和啤酒赫然擺在現(xiàn)象：尿布和啤酒赫然擺在一起出售，但是這個(gè)一起出售，但是這個(gè)“奇怪奇怪的舉措的舉措”卻使尿布和啤酒的卻使尿布和啤酒的銷量雙雙增加了。銷量雙雙增加了。 3總部位于美國(guó)阿肯色州的世界著名商業(yè)零售連總部位于美國(guó)阿肯色州的世界著名商業(yè)零售連鎖企業(yè)沃爾瑪（鎖企業(yè)沃爾瑪（Wal Mart）擁有世界上最大的數(shù)據(jù)）擁有世界上最大的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。為了能夠準(zhǔn)確了解顧客在其門店的購(gòu)買倉(cāng)庫(kù)系統(tǒng)。為了能夠準(zhǔn)確了解顧客在其門店的購(gòu)買習(xí)慣，沃爾瑪利對(duì)其顧客的購(gòu)物行為進(jìn)行購(gòu)物籃分習(xí)慣，沃爾瑪利對(duì)其顧客的購(gòu)物行為進(jìn)行購(gòu)物籃分析，想知道顧客經(jīng)常一起購(gòu)買的商品

2、有哪些。沃爾析，想知道顧客經(jīng)常一起購(gòu)買的商品有哪些。沃爾瑪數(shù)據(jù)倉(cāng)庫(kù)里集中了其各門店的詳細(xì)原始交易數(shù)據(jù)。瑪數(shù)據(jù)倉(cāng)庫(kù)里集中了其各門店的詳細(xì)原始交易數(shù)據(jù)。在這些原始交易數(shù)據(jù)的基礎(chǔ)上，沃爾瑪利用在這些原始交易數(shù)據(jù)的基礎(chǔ)上，沃爾瑪利用NCR數(shù)數(shù)據(jù)挖掘工具對(duì)這些數(shù)據(jù)進(jìn)行分析和挖掘。一個(gè)意外據(jù)挖掘工具對(duì)這些數(shù)據(jù)進(jìn)行分析和挖掘。一個(gè)意外的發(fā)現(xiàn)是：的發(fā)現(xiàn)是：跟尿布一起購(gòu)買最多的商品竟是啤酒！跟尿布一起購(gòu)買最多的商品竟是啤酒！ 4這是數(shù)據(jù)挖掘技術(shù)對(duì)歷史數(shù)據(jù)進(jìn)行分析這是數(shù)據(jù)挖掘技術(shù)對(duì)歷史數(shù)據(jù)進(jìn)行分析的結(jié)果，反映數(shù)據(jù)內(nèi)在的規(guī)律。那么這個(gè)結(jié)的結(jié)果，反映數(shù)據(jù)內(nèi)在的規(guī)律。那么這個(gè)結(jié)果符合現(xiàn)實(shí)情況嗎？是否是一個(gè)有用的知識(shí)？果

3、符合現(xiàn)實(shí)情況嗎？是否是一個(gè)有用的知識(shí)？是否有利用價(jià)值？是否有利用價(jià)值？ 5沃爾瑪派出市場(chǎng)調(diào)查人員和分析師對(duì)這沃爾瑪派出市場(chǎng)調(diào)查人員和分析師對(duì)這一數(shù)據(jù)挖掘結(jié)果進(jìn)行調(diào)查分析。經(jīng)過大量實(shí)一數(shù)據(jù)挖掘結(jié)果進(jìn)行調(diào)查分析。經(jīng)過大量實(shí)際調(diào)查和分析，揭示了隱藏在際調(diào)查和分析，揭示了隱藏在“尿布與啤酒尿布與啤酒”背后的美國(guó)人的一種行為模式：在美國(guó)，一背后的美國(guó)人的一種行為模式：在美國(guó)，一些年輕父親下班后經(jīng)常要到超市去買嬰兒尿些年輕父親下班后經(jīng)常要到超市去買嬰兒尿布，而他們中有布，而他們中有30%到到40%的人同時(shí)也為自的人同時(shí)也為自己買一些啤酒。產(chǎn)生這一現(xiàn)象的原因是：美己買一些啤酒。產(chǎn)生這一現(xiàn)象的原因是：美國(guó)的太

4、太們常叮囑她們的丈夫下班后為小孩國(guó)的太太們常叮囑她們的丈夫下班后為小孩買尿布，而丈夫們?cè)谫I尿布后又隨手帶回了買尿布，而丈夫們?cè)谫I尿布后又隨手帶回了他們喜歡的啤酒。他們喜歡的啤酒。6 既然尿布與啤酒一起被購(gòu)買的機(jī)會(huì)很多，既然尿布與啤酒一起被購(gòu)買的機(jī)會(huì)很多，于是沃爾瑪就在其一個(gè)個(gè)門店將尿布與啤酒于是沃爾瑪就在其一個(gè)個(gè)門店將尿布與啤酒擺放在一起，結(jié)果，尿布與啤酒的銷售量雙擺放在一起，結(jié)果，尿布與啤酒的銷售量雙雙增長(zhǎng)。雙增長(zhǎng)。 7按常規(guī)思維，尿布與啤酒風(fēng)馬牛不相及，按常規(guī)思維，尿布與啤酒風(fēng)馬牛不相及，若不是借助數(shù)據(jù)挖掘技術(shù)對(duì)大量交易數(shù)據(jù)進(jìn)若不是借助數(shù)據(jù)挖掘技術(shù)對(duì)大量交易數(shù)據(jù)進(jìn)行挖掘分析，沃爾瑪是不可能

5、發(fā)現(xiàn)數(shù)據(jù)內(nèi)在行挖掘分析，沃爾瑪是不可能發(fā)現(xiàn)數(shù)據(jù)內(nèi)在這一有價(jià)值的規(guī)律的。這一有價(jià)值的規(guī)律的。是什么讓沃爾瑪發(fā)現(xiàn)了尿布和啤酒之間是什么讓沃爾瑪發(fā)現(xiàn)了尿布和啤酒之間的關(guān)系呢？正是商家通過對(duì)超市一年多原始的關(guān)系呢？正是商家通過對(duì)超市一年多原始交易數(shù)字進(jìn)行詳細(xì)的分析，才發(fā)現(xiàn)了這對(duì)神交易數(shù)字進(jìn)行詳細(xì)的分析，才發(fā)現(xiàn)了這對(duì)神奇的組合。奇的組合。 8數(shù)據(jù)挖掘是從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，數(shù)據(jù)挖掘是從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，主要有數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示三個(gè)步驟。主要有數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示三個(gè)步驟。但在具體實(shí)施數(shù)據(jù)挖掘應(yīng)用時(shí)，還要有一個(gè)步但在具體實(shí)施數(shù)據(jù)挖掘應(yīng)用時(shí)，還要有一個(gè)步驟就是結(jié)果評(píng)價(jià)。這

6、是因?yàn)閿?shù)據(jù)算法尋找出來的是驟就是結(jié)果評(píng)價(jià)。這是因?yàn)閿?shù)據(jù)算法尋找出來的是數(shù)據(jù)的規(guī)律，其中有些是人們感興趣的有用的，還數(shù)據(jù)的規(guī)律，其中有些是人們感興趣的有用的，還有一些可能是不感興趣的沒有用的。這就要對(duì)尋找有一些可能是不感興趣的沒有用的。這就要對(duì)尋找出的規(guī)律進(jìn)行評(píng)估。例如：出的規(guī)律進(jìn)行評(píng)估。例如：跟尿布一起購(gòu)買最多跟尿布一起購(gòu)買最多的商品是啤酒的商品是啤酒這樣一條規(guī)律是否有用呢？這就需這樣一條規(guī)律是否有用呢？這就需要市場(chǎng)調(diào)查和評(píng)估工程師根據(jù)實(shí)際情況做出評(píng)估判要市場(chǎng)調(diào)查和評(píng)估工程師根據(jù)實(shí)際情況做出評(píng)估判斷。這是一個(gè)人工步驟，還難以自動(dòng)化。斷。這是一個(gè)人工步驟，還難以自動(dòng)化。 9數(shù)據(jù)挖掘分為描述性和預(yù)

7、測(cè)性兩類。數(shù)據(jù)挖掘分為描述性和預(yù)測(cè)性兩類。v描述性數(shù)據(jù)挖掘提供數(shù)據(jù)的一般規(guī)律描述性數(shù)據(jù)挖掘提供數(shù)據(jù)的一般規(guī)律v預(yù)測(cè)性數(shù)據(jù)挖掘產(chǎn)生關(guān)于數(shù)據(jù)的預(yù)測(cè)。預(yù)測(cè)性數(shù)據(jù)挖掘產(chǎn)生關(guān)于數(shù)據(jù)的預(yù)測(cè)。 10關(guān)聯(lián)分析關(guān)聯(lián)分析：尋找數(shù)據(jù)項(xiàng)之間感興趣：尋找數(shù)據(jù)項(xiàng)之間感興趣的關(guān)聯(lián)關(guān)系。例如：我們可以通過對(duì)的關(guān)聯(lián)關(guān)系。例如：我們可以通過對(duì)交易數(shù)據(jù)的分析可能得出交易數(shù)據(jù)的分析可能得出86%買買啤酒啤酒的人同時(shí)也買的人同時(shí)也買尿布尿布這樣一條這樣一條啤酒啤酒和和尿布尿布之間的關(guān)聯(lián)規(guī)則。之間的關(guān)聯(lián)規(guī)則。 11演變分析演變分析：描述時(shí)間序列數(shù)據(jù)隨時(shí)：描述時(shí)間序列數(shù)據(jù)隨時(shí)間變化的數(shù)據(jù)的規(guī)律或趨勢(shì)，并對(duì)其間變化的數(shù)據(jù)的規(guī)律或趨勢(shì)，并對(duì)其

8、建模。包括時(shí)間序列趨勢(shì)分析、周期建模。包括時(shí)間序列趨勢(shì)分析、周期模式匹配等。例如：通過對(duì)交易數(shù)據(jù)模式匹配等。例如：通過對(duì)交易數(shù)據(jù)的演變分析，可能會(huì)得到的演變分析，可能會(huì)得到89%情況股情況股票票X上漲一周左右后，股票上漲一周左右后，股票Y會(huì)上漲會(huì)上漲這這樣一條序列知識(shí)。樣一條序列知識(shí)。 12聚類分析聚類分析：根據(jù)最大化類內(nèi)的相似性、根據(jù)最大化類內(nèi)的相似性、最小化類間的相似性的原則將數(shù)據(jù)對(duì)象聚最小化類間的相似性的原則將數(shù)據(jù)對(duì)象聚類或分組，所形成的每個(gè)簇（聚類）可以類或分組，所形成的每個(gè)簇（聚類）可以看作一個(gè)數(shù)據(jù)對(duì)象類，用顯式或隱式的方看作一個(gè)數(shù)據(jù)對(duì)象類，用顯式或隱式的方法描述它們。也就是我們常說

9、的物以類聚法描述它們。也就是我們常說的物以類聚人以群分。人以群分。 13分類分析分類分析：找出描述并區(qū)分?jǐn)?shù)據(jù)類的模型：找出描述并區(qū)分?jǐn)?shù)據(jù)類的模型（可以是顯式或隱式），以便能夠使用模型預(yù)（可以是顯式或隱式），以便能夠使用模型預(yù)測(cè)給定數(shù)據(jù)所屬的數(shù)據(jù)類。測(cè)給定數(shù)據(jù)所屬的數(shù)據(jù)類。例如：信用卡公司可以將持卡人的信譽(yù)度例如：信用卡公司可以將持卡人的信譽(yù)度分類為：良好、普通和較差三類。分類分析通分類為：良好、普通和較差三類。分類分析通過對(duì)這些數(shù)據(jù)類的分析給出一個(gè)信譽(yù)等級(jí)的顯過對(duì)這些數(shù)據(jù)類的分析給出一個(gè)信譽(yù)等級(jí)的顯式模型：式模型：信譽(yù)良好的持卡人是年收入在信譽(yù)良好的持卡人是年收入在30000元到元到50000

10、元之間，年齡在元之間，年齡在30至至45歲之間，居歲之間，居住面積達(dá)住面積達(dá)90M2 左右的人左右的人。這樣對(duì)于一個(gè)新的。這樣對(duì)于一個(gè)新的持卡人，就可以根據(jù)他的特征預(yù)測(cè)其信譽(yù)度。持卡人，就可以根據(jù)他的特征預(yù)測(cè)其信譽(yù)度。 14異常分析異常分析：一個(gè)數(shù)據(jù)集中往往包：一個(gè)數(shù)據(jù)集中往往包含一些特別的數(shù)據(jù)，其行為和模式與含一些特別的數(shù)據(jù)，其行為和模式與一般的數(shù)據(jù)不同，這些數(shù)據(jù)稱為一般的數(shù)據(jù)不同，這些數(shù)據(jù)稱為異異常常。對(duì)。對(duì)異常異常數(shù)據(jù)的分析稱為數(shù)據(jù)的分析稱為異常異常分析分析。它在欺詐甄別、網(wǎng)絡(luò)入侵檢。它在欺詐甄別、網(wǎng)絡(luò)入侵檢測(cè)等領(lǐng)域有著廣泛的應(yīng)用。測(cè)等領(lǐng)域有著廣泛的應(yīng)用。 15數(shù)據(jù)挖掘應(yīng)用領(lǐng)域非常廣闊數(shù)

11、據(jù)挖掘應(yīng)用領(lǐng)域非常廣闊 先期將在數(shù)據(jù)先期將在數(shù)據(jù)積累比較充分的領(lǐng)域銀行、證券、電信等領(lǐng)域積累比較充分的領(lǐng)域銀行、證券、電信等領(lǐng)域到應(yīng)用，以后將在各行各業(yè)各領(lǐng)域中獲得應(yīng)用。到應(yīng)用，以后將在各行各業(yè)各領(lǐng)域中獲得應(yīng)用。只要數(shù)據(jù)積累充分，就需要數(shù)據(jù)挖掘技術(shù)。只要數(shù)據(jù)積累充分，就需要數(shù)據(jù)挖掘技術(shù)。 16數(shù)據(jù)挖掘技術(shù)將被社會(huì)長(zhǎng)期使用數(shù)據(jù)挖掘技術(shù)將被社會(huì)長(zhǎng)期使用 隨著信息隨著信息化工作的深入發(fā)展，計(jì)算機(jī)中積累的數(shù)據(jù)只會(huì)化工作的深入發(fā)展，計(jì)算機(jī)中積累的數(shù)據(jù)只會(huì)越來越多，人們會(huì)越來越重視對(duì)這些信息的挖越來越多，人們會(huì)越來越重視對(duì)這些信息的挖掘利用，所以對(duì)數(shù)據(jù)挖掘技術(shù)的需求也會(huì)越來掘利用，所以對(duì)數(shù)據(jù)挖掘技術(shù)的需求也會(huì)越來越大。當(dāng)然，數(shù)據(jù)挖掘技術(shù)本身會(huì)不斷發(fā)展進(jìn)越大。當(dāng)然，數(shù)據(jù)挖掘技術(shù)本身會(huì)不斷發(fā)展進(jìn)步，該技術(shù)將被長(zhǎng)期使用。步，該技術(shù)將被長(zhǎng)期使用。 171819202122232425262728293031v解釋：購(gòu)買解釋：購(gòu)買Mountain Tire Tube的人常常也會(huì)購(gòu)買的人常常也會(huì)購(gòu)買Sport-100。v所選商品的銷售情況：說明有多少個(gè)事務(wù)包含了選所選商品的銷售情況：說明有多少個(gè)事務(wù)包含了選中的項(xiàng)。有中