數(shù)據(jù)倉庫復(fù)習(xí)題

數(shù)據(jù)倉庫復(fù)習(xí)題數(shù)據(jù)倉庫復(fù)習(xí)題數(shù)據(jù)倉庫復(fù)習(xí)題xxx公司數(shù)據(jù)倉庫復(fù)習(xí)題文件編號(hào)：文件日期：修訂次數(shù)：第1.0次更改批準(zhǔn)審核制定方案設(shè)計(jì)，管理制度第一章概述1.數(shù)據(jù)挖掘的定義？（書P2，PPT_P8）從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。2.數(shù)據(jù)挖掘的源是否必須是數(shù)據(jù)倉庫的數(shù)據(jù)可以有哪些來源（PPT_P14）關(guān)系數(shù)據(jù)庫、數(shù)據(jù)倉庫、事務(wù)數(shù)據(jù)庫、高級(jí)數(shù)據(jù)等3.數(shù)據(jù)挖掘的常用方法？（P4、PPT_P29）聚類分析、決策樹、人工神經(jīng)網(wǎng)絡(luò)、粗糙集、關(guān)聯(lián)規(guī)則挖掘、統(tǒng)計(jì)分析等4.數(shù)據(jù)挖掘的過程包括哪些步驟，每一步具體包括哪些內(nèi)容？（書P2-3，PPT_P17-19）確定業(yè)務(wù)對(duì)象、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、結(jié)果分析與知識(shí)同化。5.數(shù)據(jù)挖掘與數(shù)據(jù)倉庫的關(guān)系（聯(lián)系和區(qū)別）

書P6-7，PPT_P45-46聯(lián)系：1，數(shù)據(jù)倉庫為數(shù)據(jù)挖掘提供了更好的，更廣泛的數(shù)據(jù)源2，數(shù)據(jù)倉庫韋數(shù)據(jù)挖掘提供了新的支持平臺(tái)。3，數(shù)據(jù)倉庫為更好地使用數(shù)據(jù)挖掘工具提供了方便4，數(shù)據(jù)挖掘?qū)?shù)據(jù)倉庫提供了更好的決策支持。5，數(shù)據(jù)挖掘?qū)?shù)據(jù)倉庫的數(shù)據(jù)組織提出了更高的要求6，數(shù)據(jù)挖掘還為數(shù)據(jù)倉庫提供了廣泛的技術(shù)支持區(qū)別：數(shù)據(jù)倉庫是一種存儲(chǔ)技術(shù)，它包含大量的歷史數(shù)據(jù)、當(dāng)前的詳細(xì)數(shù)據(jù)以及綜合數(shù)據(jù)，它能為不同用戶的不同決策需要提供所需的數(shù)據(jù)和信息。~~數(shù)據(jù)挖掘是從人工智能機(jī)器學(xué)習(xí)中發(fā)展起來的，它研究各種方法和技術(shù)，從大量的數(shù)據(jù)中挖掘出有用的信息和知識(shí)。第二章數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫——是一個(gè)面向主題的、集成的、隨時(shí)間而變化的、不容易丟失的數(shù)據(jù)集合，支持管理部門的決策定制過程。2.數(shù)據(jù)倉庫數(shù)據(jù)的四大基本特征：面向主題的、集成的、不可更新的、隨時(shí)間變化的。3.數(shù)據(jù)倉庫體系結(jié)構(gòu)有三個(gè)獨(dú)立的數(shù)據(jù)層次：信息獲取層、信息存儲(chǔ)層、信息傳遞層。4.粒度的定義它對(duì)數(shù)據(jù)倉庫有什么影響（1）是指數(shù)據(jù)倉庫的數(shù)據(jù)單位中保存數(shù)據(jù)細(xì)化或綜合程度的級(jí)別。粒度越小，細(xì)節(jié)程度越高，綜合程度越低，回答查詢的種類就越多。（2）影響存放在數(shù)據(jù)倉庫中的數(shù)據(jù)量大小；影響數(shù)據(jù)倉庫所能回答查詢問題的細(xì)節(jié)程度。5.在數(shù)據(jù)倉庫中，數(shù)據(jù)按照粒度從小到大可分為四個(gè)級(jí)別：早期細(xì)節(jié)級(jí)、當(dāng)前細(xì)節(jié)級(jí)、輕度細(xì)節(jié)級(jí)和高度細(xì)節(jié)級(jí)。6.數(shù)據(jù)分割的標(biāo)準(zhǔn)：可按日期、地域、業(yè)務(wù)領(lǐng)域、或按多個(gè)分割標(biāo)準(zhǔn)的組合，但一般包括日期項(xiàng)。7.數(shù)據(jù)倉庫設(shè)計(jì)中，一般存在著三級(jí)數(shù)據(jù)模型：概念數(shù)據(jù)模型、邏輯數(shù)據(jù)模型、物理數(shù)據(jù)模型8.數(shù)據(jù)倉庫設(shè)計(jì)步驟（1）概念模型設(shè)計(jì)（2）技術(shù)準(zhǔn)備工作（3）邏輯模型設(shè)計(jì)（4）物理模型設(shè)計(jì)（5）數(shù)據(jù)倉庫的生成（6）數(shù)據(jù)倉庫的使用和維護(hù)9.數(shù)據(jù)裝入時(shí)，并不是一次就將準(zhǔn)備裝入的數(shù)據(jù)全部裝入數(shù)據(jù)倉庫，而是按照邏輯模型設(shè)計(jì)中所確定和分析的主題域，先裝入并生成某一主題域。10.建立數(shù)據(jù)倉庫的步驟并不是一成不變的，但最終應(yīng)該滿足用戶的分析需求。第三章聯(lián)機(jī)分析處理技術(shù)1.聯(lián)機(jī)事務(wù)處理與聯(lián)機(jī)分析處理的區(qū)別？ 聯(lián)機(jī)事務(wù)處理（OLTP）作為數(shù)據(jù)管理手段，主要用于事務(wù)處理，但它對(duì)分析處理一直不能令人滿意。 聯(lián)機(jī)分析處理（OLAP）是決策支持系統(tǒng)的有機(jī)組成部分，利用存儲(chǔ)在數(shù)據(jù)倉庫中的數(shù)據(jù)完成各種分析操作，并以直觀易懂的形式將分析結(jié)果返回給決策分析人員。的主要特征 快速性、可分析性、多維性、信息性。3.鉆取Drill/Rollup,Drilldown改變維的層次，變換分析的粒度。分向上鉆取和向下鉆取。向上鉆取：在某一維上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層的匯總數(shù)據(jù)，或者減少維數(shù)。向下鉆取：從匯總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察或增加新維。是基于關(guān)系數(shù)據(jù)庫的OLAP實(shí)現(xiàn)，而MOLAP是基于多維數(shù)據(jù)結(jié)構(gòu)組織的OLAP實(shí)現(xiàn)。根據(jù)其數(shù)據(jù)存儲(chǔ)格式可分為三類：關(guān)系OLAP(ROLAP)、多維OLAP(MOLAP)和混合OLAP(HOLAP)。6.雪花型模式是對(duì)星型模式維表的進(jìn)一步層次化和規(guī)范化來消除冗余的數(shù)據(jù)。的衡量標(biāo)準(zhǔn)（1）透明性準(zhǔn)則：——OLAP在體系結(jié)構(gòu)中的位置和數(shù)據(jù)源對(duì)用戶是透明的。（2）動(dòng)態(tài)的稀疏矩陣處理準(zhǔn)則：——對(duì)任意給定的稀疏矩陣，存在且僅存在一個(gè)最優(yōu)的物理視圖。（3）維的等同性準(zhǔn)則：——每一數(shù)據(jù)維在數(shù)據(jù)結(jié)構(gòu)和操作能力上都是等同的。第四章數(shù)據(jù)預(yù)處理1.數(shù)據(jù)預(yù)處理的方法——數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)規(guī)約等。2.分箱方法——統(tǒng)一權(quán)重、統(tǒng)一區(qū)間、最小熵、用戶自定義區(qū)間。3.數(shù)據(jù)平滑處理方法——按平均值、按邊界值、按中值4.數(shù)據(jù)規(guī)范化定義規(guī)范化的常用方法有哪些（1）將數(shù)據(jù)按比例縮放，使之落入一個(gè)特定的區(qū)域，如[0,1]，稱為規(guī)范化/標(biāo)準(zhǔn)化。（2）常用方法：最小-最大規(guī)范化、零-均值規(guī)范化、小數(shù)定標(biāo)規(guī)范化。5.數(shù)據(jù)規(guī)約從大數(shù)據(jù)集中得到其規(guī)約表示——小數(shù)據(jù)集規(guī)約的目的是減少原始數(shù)據(jù)量；可以在小數(shù)據(jù)集上得到與原始數(shù)據(jù)相同的挖掘結(jié)果。6.下面是一個(gè)超市某種商品連續(xù)24個(gè)月的銷售數(shù)據(jù)(百元):21，16，19，24，27，23，22，21，20，17，16，20，23，22，18，24，26，25，20，26，23，21，15，17使用統(tǒng)一權(quán)重、統(tǒng)一區(qū)間和自定義區(qū)間方法對(duì)數(shù)據(jù)分箱，并對(duì)分箱后的數(shù)據(jù)采用平均值、邊界值或中值等方法進(jìn)行平滑。解：15，16,16,17,17,18,19,20,20,20,21,21,21,22,22,23,23,23,2,24,25,26,26,27統(tǒng)一權(quán)重：設(shè)權(quán)重為6，表示每箱6個(gè)記錄，分四箱：箱1:15,16,16,17,17,18 箱2：19,20,20,20,21,21箱3:21,22,22,23,23,23 箱4:24,24,25,26,26,27邊界：箱1:15,15,15,18,18,18 箱2：19,19,19,21,21,21箱3:21,21,21,23,23,23 箱4:24,24,24,27,27,27統(tǒng)一區(qū)間：每個(gè)箱子寬度為（27-15）/4=3，區(qū)間[15,18）、[18,21)、[21,24)、[24,27)：箱1:15,16,16,17,17 箱2：18,19,20,20,20箱3:21,21,21,22,22,23,23,23 箱4:24,24,25,26,26,27中值：箱1:16,16,16,16,16 箱2：20,20,20,20,20箱3:22,22,22,22,22,22,22,22 箱4:,,,,,第五章關(guān)聯(lián)規(guī)則方法1.關(guān)聯(lián)規(guī)則挖掘的任務(wù)？ 找到事務(wù)數(shù)據(jù)庫D中支持度和置信度分別滿足用戶指定的最小支持度min_sup和最小置信度min_con的規(guī)則。2.關(guān)聯(lián)規(guī)則挖掘問題分哪兩個(gè)步驟？（1）找出D中所有的頻繁項(xiàng)集；（2）從頻繁項(xiàng)集中產(chǎn)生關(guān)聯(lián)規(guī)則。性質(zhì)：頻繁項(xiàng)集的所有非空子集也都必須是頻繁的；這是頻繁項(xiàng)集的先驗(yàn)知識(shí)；可以減少候選頻繁項(xiàng)集的數(shù)量。4.負(fù)邊界：負(fù)邊界中的項(xiàng)集是非頻繁的，但每個(gè)項(xiàng)集的所有子集都是頻繁的。5.數(shù)據(jù)庫如下圖所示，如果設(shè)定最小支持度s=40%，置信度c=70%，計(jì)算該數(shù)據(jù)庫中的頻繁項(xiàng)集和負(fù)邊界，以及由頻繁項(xiàng)集產(chǎn)生的規(guī)則。TID項(xiàng)目列表T1I1，I3，I4T2I2，I3，I5T3I1，I2，I3，I5T4I2，I5解：S=40%候選1-項(xiàng)集計(jì)數(shù)S（%）頻繁1-項(xiàng)集L1{i1}250{i1}{i2}375{i2}{i3375{i3}{i4}125{i5}375{i5} 候選2-項(xiàng)集計(jì)數(shù)S(%)頻繁2-項(xiàng)集L2{i1，i2}125{i1，i3}250{i1，i3}{i1，i5}125{i2，i3}250{i2，i3}{}375{i2，i5}{i3，i5}250{i3，i5}候選3-項(xiàng)集計(jì)數(shù)S（%）頻繁3-項(xiàng)集L3{i2，i3，i5}250{i2，i3，i}頻繁項(xiàng)集：L1，L2，L3，即{i1}、{i2}、{i3}、{i5}、{i1，i3}、{i2，i3}、{i2，i5}、{i，i5}、{i2，i3，i5}。負(fù)邊界：{i1，i2}，{i1，i5}。置信度c=70%頻繁項(xiàng)集產(chǎn)生的規(guī)則置信度強(qiáng)規(guī)則{i1，i3}i1→i32/21i→i3i3→i12/3{i2，i3}i2→i32/3i3→i22/3{i2，i5}i2→i53/3i2→i5i5→i23/3i5→i2{i3，i5}i3→i52/3i5→i32/3{i2，i3，i5}i2,i3→i52/2i2,i3→i5i2,i5→i32/3i3,i5→i22/2i3,i5→i2第六章決策樹方法1.決策樹的基本概念： 適用于離散值屬性、連續(xù)值屬性；采用自項(xiàng)向下的規(guī)約方法產(chǎn)生一個(gè)類似于流程圖的樹結(jié)構(gòu)；在根節(jié)點(diǎn)和各內(nèi)部節(jié)點(diǎn)上選擇合適的描述屬性，并且根據(jù)該屬性的不同取值向下建立分枝。2.決策樹的優(yōu)點(diǎn) 進(jìn)行分類器設(shè)計(jì)時(shí)，決策樹分類方法所需時(shí)間相對(duì)較少；決策樹的分類模型是樹型結(jié)構(gòu)，簡單直觀，比較符合人類的理解方式；可以講決策樹中到達(dá)每個(gè)葉節(jié)點(diǎn)的路徑轉(zhuǎn)換為IF—THEN形式的分類規(guī)則，這種形式更有利于理解。3.決策樹剪枝 決策樹剪枝過程試圖檢測和去掉多余的分枝，以提高對(duì)未知類標(biāo)號(hào)的數(shù)據(jù)進(jìn)行分類時(shí)的準(zhǔn)確性。第八章人工神經(jīng)網(wǎng)絡(luò)方法1.神經(jīng)網(wǎng)絡(luò)直所以能勝任一些復(fù)雜的工作，是因?yàn)樗袑W(xué)習(xí)的能力。2.具有較好的泛華能力是神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的評(píng)價(jià)指標(biāo)之一。神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)分為多個(gè)層次：輸入層、隱含層、輸出層。4.神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)實(shí)際上就是學(xué)習(xí)其連接的權(quán)值。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程由信號(hào)的正向傳播與誤差的反響傳播兩個(gè)過程組成。6.在線訓(xùn)練：每處理一個(gè)訓(xùn)練實(shí)例，就更新一次權(quán)重。7.離線訓(xùn)練：把所有訓(xùn)練實(shí)例都處理一遍之后，再更新權(quán)重。8.利用梯度下降法更新權(quán)重易于陷入局部極小值，從而無法得到最優(yōu)解。神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)和缺點(diǎn)（1）BP神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)：抗噪性能好；既能處理連續(xù)數(shù)據(jù)，也能處理類別型數(shù)據(jù)；在多個(gè)領(lǐng)域有成功應(yīng)用；既適合有監(jiān)督學(xué)習(xí)，也適合無監(jiān)督學(xué)習(xí)；具有較好的泛化能力；具有較好的逼近非線性映射的能力；具有較好的容錯(cuò)性。（2）BP神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)：缺乏可解釋性；可能無法找到優(yōu)解；可能存在過學(xué)習(xí)問題(overfitting)；收斂速度慢。第九章聚類分析1.聚類分析定義把一個(gè)給定的數(shù)據(jù)對(duì)象集合分成不同的簇；在同一個(gè)簇（或類）中，對(duì)象之間具有相似性；不同簇（或類）的對(duì)象之間具有較高的相宜性。2.聚類分析方法通常分為哪些方法？基于劃分方法；基于層次的方法；基于密度的方法；基于網(wǎng)格的方法；譜聚類方法3.數(shù)據(jù)挖掘技術(shù)對(duì)聚類分析的要求有哪幾個(gè)方面？（1）可伸縮性（適用于增長的大數(shù)據(jù)集）；（2）處理不同類型屬性的能力（支持多種類型屬性的數(shù)據(jù)集）；（3）發(fā)現(xiàn)任意形狀聚類的能力（除了球形聚類外，能劃分出任意形狀聚類）；（4）減小對(duì)先驗(yàn)知識(shí)和用戶自定義參數(shù)的依賴性；（5）處理噪聲數(shù)據(jù)的能力（對(duì)孤立點(diǎn)、缺失值。錯(cuò)誤數(shù)據(jù)等噪聲數(shù)據(jù)的抗干擾性）；（6）可解釋性和實(shí)用性（降維，可視化顯示）。平均方法與K中心點(diǎn)方法比較（1）當(dāng)存在噪聲和離群點(diǎn)時(shí)，K中心點(diǎn)方法比K均值方法更加魯棒。（2）K中心點(diǎn)方法的執(zhí)行代價(jià)比K平均方法要高。（3）兩種方法都要用戶指定簇的數(shù)目K。5.聚類分析中最常用的距離有歐幾里得距離，曼哈坦距離、明可夫斯基距離等。6.基于劃分的聚類算法有K中心點(diǎn)方法和K平均方法等單選題舉例1.決策樹中不包含以下哪種結(jié)點(diǎn)（C）A.根結(jié)點(diǎn) B.內(nèi)部結(jié)點(diǎn) C.外部結(jié)點(diǎn) D.葉結(jié)點(diǎn)2.某超市研究銷售記錄數(shù)據(jù)后發(fā)現(xiàn)，買啤酒的人很大概率也會(huì)買尿布，這種屬于數(shù)據(jù)挖掘的哪類問題（A）A.關(guān)聯(lián)規(guī)則發(fā)現(xiàn) B.聚類 C.分類 D.自然語言處理3.將原始數(shù)據(jù)進(jìn)行集成、變換、維度規(guī)約、數(shù)值規(guī)約是在以下哪個(gè)步驟的任務(wù)（C）A.頻繁模式挖掘 B.分類和預(yù)測 C.數(shù)據(jù)預(yù)處理 D.數(shù)據(jù)流挖掘4.當(dāng)不知道數(shù)據(jù)所帶標(biāo)簽（類別）時(shí)，可以使用哪種技術(shù)促使帶同類標(biāo)簽的數(shù)據(jù)與帶其他標(biāo)簽的數(shù)據(jù)相分離（B）A.分類 B.聚類 C.關(guān)聯(lián)分析 D.決策樹分析5.什么是KDD（A）A.數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn) B.領(lǐng)域知識(shí)發(fā)現(xiàn) C.文檔知識(shí)發(fā)現(xiàn) D.動(dòng)態(tài)知識(shí)發(fā)現(xiàn)判斷題舉例1.數(shù)據(jù)挖掘的主要任務(wù)是從數(shù)據(jù)中發(fā)現(xiàn)潛在的規(guī)則，從而能更好的完成描述數(shù)據(jù)、預(yù)測數(shù)據(jù)等任務(wù)。2.數(shù)據(jù)挖掘的目標(biāo)不在于數(shù)據(jù)采集策略，而在于對(duì)于已經(jīng)存在的數(shù)據(jù)進(jìn)行模式的發(fā)掘。3.離群點(diǎn)可以是合法的數(shù)據(jù)對(duì)象或值。主要是基于數(shù)據(jù)倉庫，聯(lián)機(jī)數(shù)據(jù)分析和數(shù)據(jù)挖掘技術(shù)的應(yīng)用。技術(shù)側(cè)重于把數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行分析、轉(zhuǎn)換成輔助決策信息，是繼數(shù)據(jù)庫技術(shù)發(fā)展滯后迅猛發(fā)展起來的一種新技術(shù)。6.離散屬性總是具有有限個(gè)值。7.關(guān)聯(lián)規(guī)則挖掘過程是發(fā)現(xiàn)滿足最小支持度的所有項(xiàng)集代