數(shù)據(jù)挖掘 概念和技術(shù)1ppt課件

1、2001-11-6;.1數(shù)據(jù)發(fā)掘: 概念和技術(shù) Chapter 6 張曉輝 2001-11-6;.2第6章：從大數(shù)據(jù)庫(kù)中發(fā)掘關(guān)聯(lián)規(guī)那么n關(guān)聯(lián)規(guī)那么發(fā)掘n從買(mǎi)賣(mài)數(shù)據(jù)庫(kù)中發(fā)掘一維的布爾形關(guān)聯(lián)規(guī)那么n從買(mǎi)賣(mài)數(shù)據(jù)庫(kù)中發(fā)掘多層次關(guān)聯(lián)規(guī)那么n在買(mǎi)賣(mài)數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)中發(fā)掘多維關(guān)聯(lián)規(guī)那么n從關(guān)聯(lián)發(fā)掘到相關(guān)性分析n基于約束的關(guān)聯(lián)發(fā)掘n小結(jié)2001-11-6;.3什么是關(guān)聯(lián)發(fā)掘?n關(guān)聯(lián)規(guī)那么發(fā)掘：n在買(mǎi)賣(mài)數(shù)據(jù)、關(guān)系數(shù)據(jù)或其他信息載體中，查找存在于工程集合或?qū)ο蠹现g的頻繁方式、關(guān)聯(lián)、相關(guān)性、或因果構(gòu)造。n運(yùn)用：n購(gòu)物籃分析、交叉銷(xiāo)售、產(chǎn)品目錄設(shè)計(jì)、 loss-leader analysis、聚集、分類(lèi)等。n舉例

2、： n規(guī)那么方式： “Body Head support, confidence.nbuys(x, “diapers) buys(x, “beers) 0.5%, 60%nmajor(x, “CS) takes(x, “DB) grade(x, “A) 1%, 75%2001-11-6;.4關(guān)聯(lián)規(guī)那么：根本概念n給定: (1)買(mǎi)賣(mài)數(shù)據(jù)庫(kù) (2)每筆買(mǎi)賣(mài)是：一個(gè)工程列表 (消費(fèi)者一次購(gòu)買(mǎi)活動(dòng)中購(gòu)買(mǎi)的商品)n查找: 一切描畫(huà)一個(gè)工程集合與其他工程集合相關(guān)性的規(guī)那么nE.g., 98% of people who purchase tires and auto accessories also ge

3、t automotive services donen運(yùn)用n* 護(hù)理用品 (商店應(yīng)該怎樣提高護(hù)理用品的銷(xiāo)售？)n家用電器 * (其他商品的庫(kù)存有什么影響?)n在產(chǎn)品直銷(xiāo)中運(yùn)用附加郵寄nDetecting “ping-ponging of patients, faulty “collisions2001-11-6;.5規(guī)那么度量：支持度與可信度n查找一切的規(guī)那么 X & Y Z 具有最小支持度和可信度n支持度, s, 一次買(mǎi)賣(mài)中包含X 、 Y 、 Z的能夠性n可信度, c, 包含X 、 Y的買(mǎi)賣(mài)中也包含Z的條件概率交易ID購(gòu)買(mǎi)的商品2000A,B,C1000A,C4000A,D5000B

4、,E,F設(shè)最小支持度為50%, 最小可信度為 50%, 那么可得到A C (50%, 66.6%)C A (50%, 100%)買(mǎi)尿布的客買(mǎi)尿布的客戶(hù)戶(hù)二者都買(mǎi)二者都買(mǎi)的客戶(hù)的客戶(hù)買(mǎi)啤酒的客戶(hù)買(mǎi)啤酒的客戶(hù)2001-11-6;.6關(guān)聯(lián)規(guī)那么發(fā)掘：道路圖n布爾 vs. 定量 關(guān)聯(lián) (基于 處置數(shù)據(jù)的類(lèi)型)nbuys(x, “SQLServer) buys(x, “DMBook) buys(x, “DBMiner) 0.2%, 60%nage(x, “30.39) income(x, “42.48K) buys(x, “PC) 1%, 75%n單維 vs. 多維 關(guān)聯(lián) (例子同上)n單層 vs. 多

5、層 分析n那個(gè)種類(lèi)牌子的啤酒與那個(gè)牌子的尿布有關(guān)系?n各種擴(kuò)展n相關(guān)性、因果分析n關(guān)聯(lián)并不一定意味著相關(guān)或因果n最大方式和閉合相集n添加約束n如, 哪些“小東西的銷(xiāo)售促發(fā)了“大家伙的買(mǎi)賣(mài)？2001-11-6;.7第6章：從大數(shù)據(jù)庫(kù)中發(fā)掘關(guān)聯(lián)規(guī)那么n關(guān)聯(lián)規(guī)那么發(fā)掘n從買(mǎi)賣(mài)數(shù)據(jù)庫(kù)中發(fā)掘一維的布爾形關(guān)聯(lián)規(guī)那么n從買(mǎi)賣(mài)數(shù)據(jù)庫(kù)中發(fā)掘多層次關(guān)聯(lián)規(guī)那么n在買(mǎi)賣(mài)數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)中發(fā)掘多維關(guān)聯(lián)規(guī)那么n從關(guān)聯(lián)發(fā)掘到相關(guān)性分析n基于約束的關(guān)聯(lián)發(fā)掘n小結(jié)2001-11-6;.8關(guān)聯(lián)規(guī)那么發(fā)掘一個(gè)例子對(duì)于 A C：support = support(A 、C) = 50%confidence = support(A 、

6、C)/support(A) = 66.6%Apriori的根本思想:頻繁項(xiàng)集的任何子集也一定是頻繁的交易ID購(gòu)買(mǎi)商品2000A,B,C1000A,C4000A,D5000B,E,F頻繁項(xiàng)集支持度A75%B50%C50%A,C50%最小值尺度 50%最小可信度 50%2001-11-6;.9關(guān)鍵步驟：發(fā)掘頻繁集n頻繁集:是指滿(mǎn)足最小支持度的工程集合n頻繁集的子集也一定是頻繁的n如, 假設(shè)AB 是頻繁集，那么 A B 也一定是頻繁集n從1到kk-頻繁集遞歸查找頻繁集n用得到的頻繁集生成關(guān)聯(lián)規(guī)那么2001-11-6;.10Apriori算法n銜接: 用 Lk-1自銜接得到Ckn修剪: 一個(gè)k-項(xiàng)集，

7、假設(shè)他的一個(gè)k-1項(xiàng)集他的子集 不是頻繁的，那他本身也不能夠是頻繁的。n偽代碼:nCk: Candidate itemset of size knLk : frequent itemset of size knL1 = frequent items;nfor (k = 1; Lk !=; k+) do beginn Ck+1 = candidates generated from Lk;n for each transaction t in database don increment the count of all candidates in Ck+1 that are contained

8、 in tn Lk+1 = candidates in Ck+1 with min_supportn endnreturn k Lk;2001-11-6;.11Apriori算法 例子TID Items100 1 3 4200 2 3 5300 1 2 3 5400 2 5數(shù)據(jù)庫(kù) Ditemset sup.1223334153itemset sup.12233353掃描 DC1L1itemset1 21 31 52 32 53 5itemset sup1 211 321 512 322 533 52itemset sup1 322 322 533 52L2C2C2掃描 DC3L3itemset2 3 5掃描 Ditemset sup2 3 522001-11-6;.12如何生成候選集n假定 Lk-1 中的項(xiàng)按順序陳列n第一步: 自銜接 Lk-1 ninsert into Cknselect p.item1, p.item2, , p.itemk-1, q.ite