數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘-概念與結(jié)構(gòu)

1、數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘2022-5-282數(shù)據(jù)倉(cāng)庫(kù)的概念與性質(zhì)數(shù)據(jù)倉(cāng)庫(kù)的概念與性質(zhì) 內(nèi)容提要內(nèi)容提要 數(shù)據(jù)倉(cāng)庫(kù)的概念與特性數(shù)據(jù)倉(cāng)庫(kù)的概念與特性 數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)2022-5-283作業(yè)作業(yè) 2 1、學(xué)習(xí)了解數(shù)據(jù)倉(cāng)庫(kù)的基本概念，理解數(shù)、學(xué)習(xí)了解數(shù)據(jù)倉(cāng)庫(kù)的基本概念，理解數(shù)據(jù)倉(cāng)庫(kù)的特性。據(jù)倉(cāng)庫(kù)的特性。 2、查閱、學(xué)習(xí)數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用材料，分析、查閱、學(xué)習(xí)數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用材料，分析數(shù)據(jù)倉(cāng)庫(kù)在其中的作用。數(shù)據(jù)倉(cāng)庫(kù)在其中的作用。2022-5-284內(nèi)容回顧：數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)的演變內(nèi)容回顧：數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)的演變 “蜘蛛網(wǎng)蜘蛛網(wǎng)”問(wèn)題問(wèn)題2022-5-285數(shù)據(jù)分析的結(jié)果缺乏可靠性數(shù)據(jù)

2、分析的結(jié)果缺乏可靠性 2022-5-286數(shù)據(jù)處理的效率很低數(shù)據(jù)處理的效率很低 2022-5-287處理與分析分離處理與分析分離 2022-5-288數(shù)據(jù)倉(cāng)庫(kù)的基本特性數(shù)據(jù)倉(cāng)庫(kù)的基本特性q數(shù)據(jù)倉(cāng)庫(kù)的概念數(shù)據(jù)倉(cāng)庫(kù)的概念世界公認(rèn)的數(shù)據(jù)倉(cāng)庫(kù)概念創(chuàng)世界公認(rèn)的數(shù)據(jù)倉(cāng)庫(kù)概念創(chuàng)始人始人W.H.InmonW.H.Inmon在在數(shù)據(jù)倉(cāng)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)（Building the Data Building the Data WarehouseWarehouse）一書中對(duì)數(shù)據(jù)）一書中對(duì)數(shù)據(jù)倉(cāng)庫(kù)的定義是：數(shù)據(jù)倉(cāng)庫(kù)就倉(cāng)庫(kù)的定義是：數(shù)據(jù)倉(cāng)庫(kù)就是面向主題的、集成的、非是面向主題的、集成的、非易失的（穩(wěn)定性）、隨時(shí)間易失的（穩(wěn)定性

3、）、隨時(shí)間變化（不同時(shí)間）的數(shù)據(jù)集變化（不同時(shí)間）的數(shù)據(jù)集合，用以支持經(jīng)營(yíng)管理中的合，用以支持經(jīng)營(yíng)管理中的決策制定過(guò)程。決策制定過(guò)程。面向主題的面向主題的集成的集成的隨時(shí)間變化的隨時(shí)間變化的非易失的非易失的數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)倉(cāng)庫(kù)2022-5-289數(shù)據(jù)倉(cāng)庫(kù)的基本特性數(shù)據(jù)倉(cāng)庫(kù)的基本特性q主題是什么？主題是什么？主題是一個(gè)抽象的概念，是在較高層次上將企業(yè)主題是一個(gè)抽象的概念，是在較高層次上將企業(yè)信息綜合、歸類，并進(jìn)行分析利用的抽象；信息綜合、歸類，并進(jìn)行分析利用的抽象；在邏輯意義上，是對(duì)企業(yè)中某一宏觀領(lǐng)域所涉及在邏輯意義上，是對(duì)企業(yè)中某一宏觀領(lǐng)域所涉及的分析對(duì)象；的分析對(duì)象；例如，銀行的數(shù)據(jù)倉(cāng)庫(kù)的主題：

4、客戶。從例如，銀行的數(shù)據(jù)倉(cāng)庫(kù)的主題：客戶。從銀行銀行儲(chǔ)蓄儲(chǔ)蓄DBDB、信用卡、信用卡DBDB、貸款、貸款DBDB等不同等不同DBDB中抽取同中抽取同一客戶的數(shù)據(jù)整理而成。在一客戶的數(shù)據(jù)整理而成。在D DW W中分析客戶數(shù)據(jù)，中分析客戶數(shù)據(jù)，可決定是否繼續(xù)給予貸款?？蓻Q定是否繼續(xù)給予貸款。面向主題的數(shù)據(jù)組織方式，就是在較高層次上對(duì)面向主題的數(shù)據(jù)組織方式，就是在較高層次上對(duì)分析對(duì)象的數(shù)據(jù)一個(gè)完整、一致的描述，能完整、分析對(duì)象的數(shù)據(jù)一個(gè)完整、一致的描述，能完整、統(tǒng)一地刻畫各個(gè)分析對(duì)象所涉及的企業(yè)的各項(xiàng)數(shù)統(tǒng)一地刻畫各個(gè)分析對(duì)象所涉及的企業(yè)的各項(xiàng)數(shù)據(jù)，以及數(shù)據(jù)之間的聯(lián)系。據(jù)，以及數(shù)據(jù)之間的聯(lián)系。2022

5、-5-2810傳統(tǒng)傳統(tǒng)OLTP應(yīng)用的數(shù)據(jù)庫(kù)模式（示例）應(yīng)用的數(shù)據(jù)庫(kù)模式（示例）q采購(gòu)管理系統(tǒng)采購(gòu)管理系統(tǒng)定單（定單號(hào)，供應(yīng)商號(hào)，總金額，日期）定單（定單號(hào)，供應(yīng)商號(hào)，總金額，日期）定單細(xì)則（定單號(hào)，商品號(hào)，類別，單價(jià)，數(shù)量）定單細(xì)則（定單號(hào)，商品號(hào)，類別，單價(jià)，數(shù)量）供應(yīng)商（供應(yīng)商號(hào)，供應(yīng)商名，地址，電話）供應(yīng)商（供應(yīng)商號(hào)，供應(yīng)商名，地址，電話）q銷售管理系統(tǒng)銷售管理系統(tǒng)顧客（顧客號(hào)，姓名，年齡，文化程度，地址，電話）顧客（顧客號(hào)，姓名，年齡，文化程度，地址，電話）銷售（員工號(hào)，顧客號(hào)，商品號(hào)，數(shù)量，單價(jià)，日期）銷售（員工號(hào)，顧客號(hào)，商品號(hào)，數(shù)量，單價(jià)，日期）q庫(kù)存管理系統(tǒng)庫(kù)存管理系統(tǒng)領(lǐng)料單（

6、領(lǐng)料單號(hào)，領(lǐng)料人，商品號(hào)，數(shù)量，日期）領(lǐng)料單（領(lǐng)料單號(hào)，領(lǐng)料人，商品號(hào)，數(shù)量，日期）進(jìn)料單（進(jìn)料單號(hào)，定單號(hào)，進(jìn)料人，收料人，日期）進(jìn)料單（進(jìn)料單號(hào)，定單號(hào)，進(jìn)料人，收料人，日期）庫(kù)存（商品號(hào)，庫(kù)房號(hào)，庫(kù)存量，日期）庫(kù)存（商品號(hào)，庫(kù)房號(hào)，庫(kù)存量，日期）庫(kù)房（庫(kù)房號(hào)，庫(kù)房管理員，地點(diǎn)，庫(kù)存商品描述）庫(kù)房（庫(kù)房號(hào)，庫(kù)房管理員，地點(diǎn)，庫(kù)存商品描述）2022-5-2811面向主題的面向主題的 財(cái)務(wù)管理：財(cái)務(wù)管理：資產(chǎn)、信貸、儲(chǔ)蓄、資產(chǎn)、信貸、儲(chǔ)蓄、客戶財(cái)務(wù)信息客戶財(cái)務(wù)信息資產(chǎn)資產(chǎn)股票股票保險(xiǎn)保險(xiǎn)貸款貸款儲(chǔ)蓄儲(chǔ)蓄2022-5-2812面向主題數(shù)據(jù)組織模式的說(shuō)明面向主題數(shù)據(jù)組織模式的說(shuō)明q在從面向應(yīng)用到面

7、向主題的轉(zhuǎn)變過(guò)程中，丟棄了在從面向應(yīng)用到面向主題的轉(zhuǎn)變過(guò)程中，丟棄了原來(lái)有的但不必要的、不適于分析的信息；原來(lái)有的但不必要的、不適于分析的信息；q在原有的數(shù)據(jù)庫(kù)模式中，有關(guān)商品的信息分散在在原有的數(shù)據(jù)庫(kù)模式中，有關(guān)商品的信息分散在各個(gè)子系統(tǒng)之中；面向主題的數(shù)據(jù)組織方式所強(qiáng)各個(gè)子系統(tǒng)之中；面向主題的數(shù)據(jù)組織方式所強(qiáng)調(diào)的就是要形成關(guān)于主題一致的信息集合；調(diào)的就是要形成關(guān)于主題一致的信息集合；q不同主題之間有重疊內(nèi)容。不同主題之間有重疊內(nèi)容。q兩種主題實(shí)現(xiàn)方式兩種主題實(shí)現(xiàn)方式u 多維數(shù)據(jù)庫(kù)多維數(shù)據(jù)庫(kù)u 關(guān)系數(shù)據(jù)庫(kù)關(guān)系數(shù)據(jù)庫(kù)u在具體實(shí)現(xiàn)中，一個(gè)主題可劃分為多個(gè)表，主題只是一個(gè)邏輯概在具體實(shí)現(xiàn)中，一個(gè)主

8、題可劃分為多個(gè)表，主題只是一個(gè)邏輯概念。念。2022-5-2813集成的集成的SavingsCurrent accountsLoansCustomer2022-5-2814集成的過(guò)程集成的過(guò)程q 對(duì)不同的數(shù)據(jù)來(lái)對(duì)不同的數(shù)據(jù)來(lái)源進(jìn)行統(tǒng)一數(shù)據(jù)源進(jìn)行統(tǒng)一數(shù)據(jù)結(jié)構(gòu)和編碼。統(tǒng)結(jié)構(gòu)和編碼。統(tǒng)一原始數(shù)據(jù)中的一原始數(shù)據(jù)中的所有矛盾之處，所有矛盾之處，如字段的同名異如字段的同名異義，異名同義，義，異名同義，單位不統(tǒng)一，字單位不統(tǒng)一，字長(zhǎng)不一致等。長(zhǎng)不一致等。q 通過(guò)集成將原始通過(guò)集成將原始數(shù)據(jù)結(jié)構(gòu)做一個(gè)數(shù)據(jù)結(jié)構(gòu)做一個(gè)從面向應(yīng)用到面從面向應(yīng)用到面向主題的轉(zhuǎn)變。向主題的轉(zhuǎn)變。2022-5-2815非易失的非易失的2

9、022-5-2816非易失的非易失的2022-5-2817隨時(shí)間變化的隨時(shí)間變化的01/0902/0903/09JanuaryFebruaryMarchTimeData2009200920092022-5-2818數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)的對(duì)比數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)的對(duì)比 對(duì)對(duì) 比比 內(nèi)內(nèi) 容容 數(shù)數(shù) 據(jù)據(jù) 庫(kù)庫(kù) 數(shù)數(shù) 據(jù)據(jù) 倉(cāng)倉(cāng) 庫(kù)庫(kù)數(shù)據(jù)內(nèi)容數(shù)據(jù)內(nèi)容當(dāng)前值當(dāng)前值歷史的、存檔的、歸納的、計(jì)算的數(shù)歷史的、存檔的、歸納的、計(jì)算的數(shù)據(jù)據(jù)數(shù)據(jù)目標(biāo)數(shù)據(jù)目標(biāo)面向業(yè)務(wù)操作程序，重復(fù)處理面向業(yè)務(wù)操作程序，重復(fù)處理面向主題域，分析應(yīng)用面向主題域，分析應(yīng)用數(shù)據(jù)特性數(shù)據(jù)特性動(dòng)態(tài)變化，按字段更新動(dòng)態(tài)變化，按字段更新靜態(tài)、不能直接更

10、新，只能定時(shí)添加、靜態(tài)、不能直接更新，只能定時(shí)添加、刷新刷新數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜，適合操作高度結(jié)構(gòu)化、復(fù)雜，適合操作計(jì)算計(jì)算簡(jiǎn)單、適合分析簡(jiǎn)單、適合分析使用頻率使用頻率高高中到低中到低數(shù)據(jù)訪問(wèn)量數(shù)據(jù)訪問(wèn)量每個(gè)事物只訪問(wèn)少量記錄每個(gè)事物只訪問(wèn)少量記錄有的事物可能需要訪問(wèn)大量記錄有的事物可能需要訪問(wèn)大量記錄對(duì)響應(yīng)時(shí)間對(duì)響應(yīng)時(shí)間的要求的要求以秒為單位以秒為單位時(shí)間長(zhǎng)時(shí)間長(zhǎng)q 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)量很大：大型數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)量很大：大型DW是一個(gè)是一個(gè)TB（1000GB）級(jí)）級(jí)q 數(shù)據(jù)倉(cāng)庫(kù)對(duì)軟、硬件要求較高，需要一個(gè)巨大的硬件平臺(tái)、需要一個(gè)并行數(shù)據(jù)倉(cāng)庫(kù)對(duì)軟、硬件要求較高，需要一個(gè)巨大的硬件平臺(tái)、需

11、要一個(gè)并行的數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)2022-5-2819數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用與發(fā)展數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用與發(fā)展 1.數(shù)據(jù)倉(cāng)庫(kù)技術(shù)和應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)和應(yīng)用 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的發(fā)展包括數(shù)據(jù)抽取、數(shù)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的發(fā)展包括數(shù)據(jù)抽取、數(shù)據(jù)管理、數(shù)據(jù)表現(xiàn)和方法論等方面。據(jù)管理、數(shù)據(jù)表現(xiàn)和方法論等方面。 數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展趨勢(shì)主要表現(xiàn)在三個(gè)方面：數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展趨勢(shì)主要表現(xiàn)在三個(gè)方面： （1）對(duì)非結(jié)構(gòu)化數(shù)據(jù)的處理）對(duì)非結(jié)構(gòu)化數(shù)據(jù)的處理 （2）實(shí)現(xiàn)共享數(shù)據(jù)）實(shí)現(xiàn)共享數(shù)據(jù) （3）對(duì)信息進(jìn)行打包）對(duì)信息進(jìn)行打包2022-5-2820 2.國(guó)內(nèi)數(shù)據(jù)倉(cāng)庫(kù)的需求與應(yīng)用特點(diǎn)國(guó)內(nèi)數(shù)據(jù)倉(cāng)庫(kù)的需求與應(yīng)用特點(diǎn) 國(guó)內(nèi)數(shù)據(jù)倉(cāng)庫(kù)的需求主要表現(xiàn)在如下方面：國(guó)內(nèi)

12、數(shù)據(jù)倉(cāng)庫(kù)的需求主要表現(xiàn)在如下方面： （1）由于銀行商業(yè)化的步伐正在加大，各大、中）由于銀行商業(yè)化的步伐正在加大，各大、中型銀行開(kāi)始重新考慮自身的業(yè)務(wù)，特別是加強(qiáng)對(duì)型銀行開(kāi)始重新考慮自身的業(yè)務(wù)，特別是加強(qiáng)對(duì)自身的信貸風(fēng)險(xiǎn)的管理，因而對(duì)有關(guān)信貸風(fēng)險(xiǎn)管自身的信貸風(fēng)險(xiǎn)的管理，因而對(duì)有關(guān)信貸風(fēng)險(xiǎn)管理和風(fēng)險(xiǎn)規(guī)避的決策支持系統(tǒng)的需求逐漸多了起理和風(fēng)險(xiǎn)規(guī)避的決策支持系統(tǒng)的需求逐漸多了起來(lái)。來(lái)。 （2）由于電子商務(wù)的迅速發(fā)展，不少網(wǎng)站開(kāi)始考）由于電子商務(wù)的迅速發(fā)展，不少網(wǎng)站開(kāi)始考慮如何提高對(duì)顧客的忠誠(chéng)度，為客戶提供更進(jìn)一慮如何提高對(duì)顧客的忠誠(chéng)度，為客戶提供更進(jìn)一步的步的“貼身貼身”服務(wù)。服務(wù)。 （3）各大型企業(yè)

13、（如移動(dòng)通信、各商業(yè)銀行）等）各大型企業(yè)（如移動(dòng)通信、各商業(yè)銀行）等開(kāi)始考慮著手進(jìn)行決策支持以及數(shù)據(jù)倉(cāng)庫(kù)規(guī)則。開(kāi)始考慮著手進(jìn)行決策支持以及數(shù)據(jù)倉(cāng)庫(kù)規(guī)則。數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用與發(fā)展數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用與發(fā)展2022-5-2821數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用與發(fā)展數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用與發(fā)展 雖然國(guó)內(nèi)的數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)經(jīng)過(guò)了多年的發(fā)展，但雖然國(guó)內(nèi)的數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)經(jīng)過(guò)了多年的發(fā)展，但是比起國(guó)外大企業(yè)所建的巨型企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)來(lái)是比起國(guó)外大企業(yè)所建的巨型企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)來(lái)講，還只能算是剛剛起步，還存在很多的不足之講，還只能算是剛剛起步，還存在很多的不足之處，主要表現(xiàn)為以下幾點(diǎn)：處，主要表現(xiàn)為以下幾點(diǎn)： （1）計(jì)算機(jī)應(yīng)用水平較低，無(wú)法提出決策支持）計(jì)算機(jī)應(yīng)用水平較低，無(wú)法提出決策支持需求，所以很多企業(yè)無(wú)法馬上實(shí)施數(shù)據(jù)倉(cāng)庫(kù)。需求，所以很多企業(yè)無(wú)法馬上實(shí)施數(shù)據(jù)倉(cāng)庫(kù)。 （2）缺乏數(shù)據(jù)倉(cāng)庫(kù)方面的人才。）缺乏數(shù)據(jù)倉(cāng)庫(kù)方面的人才。 （3）缺乏以國(guó)內(nèi)環(huán)境為背景的