第17講數(shù)據(jù)庫新進(jìn)展

1、 第第10章章 數(shù)據(jù)庫新進(jìn)展數(shù)據(jù)庫新進(jìn)展l10.1 10.1 數(shù)據(jù)庫新技術(shù)概述數(shù)據(jù)庫新技術(shù)概述l1 10.2 0.2 新型數(shù)據(jù)庫系統(tǒng)新型數(shù)據(jù)庫系統(tǒng)l10.3 10.3 數(shù)據(jù)倉庫數(shù)據(jù)倉庫l10.4 10.4 數(shù)據(jù)挖掘數(shù)據(jù)挖掘10.1數(shù)據(jù)庫新技術(shù)概述數(shù)據(jù)庫新技術(shù)概述 1、新一代數(shù)據(jù)庫管理系統(tǒng)產(chǎn)生的背景 由于計算機應(yīng)用領(lǐng)域的不斷拓廣，前面DBMS已不能適應(yīng)下列新的應(yīng)用需要： 多媒體數(shù)據(jù)； 空間數(shù)據(jù)； 時態(tài)數(shù)據(jù)； 復(fù)合對象。 2、新一代DBMS的三個顯著的特征： 支持面向?qū)ο髷?shù)據(jù)模型； 繼承第二代數(shù)據(jù)庫系統(tǒng)技術(shù)； 數(shù)據(jù)庫技術(shù)與其它科學(xué)技術(shù)內(nèi)容緊密結(jié)合。10.1數(shù)據(jù)庫新技術(shù)概述數(shù)據(jù)庫新技術(shù)概述 3 3、

2、數(shù)據(jù)庫家族的含義：、數(shù)據(jù)庫家族的含義： 由于數(shù)據(jù)庫技術(shù)與其它科學(xué)技術(shù)內(nèi)容緊密結(jié)合，使得新一代數(shù)據(jù)庫系統(tǒng)已不單純地是一個或一種數(shù)據(jù)庫系統(tǒng)，而是產(chǎn)生了一個數(shù)據(jù)庫系統(tǒng)家族： 數(shù)據(jù)庫技術(shù)與面向?qū)ο蠹夹g(shù)結(jié)合產(chǎn)生了面向?qū)ο髷?shù)據(jù)庫；面向?qū)ο髷?shù)據(jù)庫； 數(shù)據(jù)數(shù)據(jù)庫技術(shù)與數(shù)據(jù)的分布處理和并行處理技術(shù)結(jié)合，就分別產(chǎn)生了分布式數(shù)據(jù)庫和并行數(shù)據(jù)庫分布式數(shù)據(jù)庫和并行數(shù)據(jù)庫； 數(shù)據(jù)庫技術(shù)與多媒體技術(shù)和模糊理論結(jié)合，就分別產(chǎn)生了多多媒體數(shù)據(jù)庫和模糊數(shù)據(jù)庫媒體數(shù)據(jù)庫和模糊數(shù)據(jù)庫； 數(shù)據(jù)庫技術(shù)與人工智能技術(shù)結(jié)合就產(chǎn)生了知識數(shù)據(jù)庫和演繹知識數(shù)據(jù)庫和演繹數(shù)據(jù)庫數(shù)據(jù)庫等； 數(shù)據(jù)庫技術(shù)與特定應(yīng)用領(lǐng)域結(jié)合，也產(chǎn)生出新的數(shù)據(jù)庫技術(shù)，比如數(shù)據(jù)

3、倉庫、工程數(shù)據(jù)庫、統(tǒng)計數(shù)據(jù)庫、空間數(shù)據(jù)庫、科學(xué)數(shù)據(jù)倉庫、工程數(shù)據(jù)庫、統(tǒng)計數(shù)據(jù)庫、空間數(shù)據(jù)庫、科學(xué)數(shù)據(jù)庫、文獻(xiàn)數(shù)據(jù)庫數(shù)據(jù)庫、文獻(xiàn)數(shù)據(jù)庫等。分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫面向?qū)ο髷?shù)據(jù)庫面向?qū)ο髷?shù)據(jù)庫對象對象關(guān)系數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫并行數(shù)據(jù)庫并行數(shù)據(jù)庫多媒體數(shù)據(jù)庫多媒體數(shù)據(jù)庫工程數(shù)據(jù)庫工程數(shù)據(jù)庫智能數(shù)據(jù)庫智能數(shù)據(jù)庫模糊數(shù)據(jù)庫模糊數(shù)據(jù)庫嵌入式數(shù)據(jù)庫嵌入式數(shù)據(jù)庫主動數(shù)據(jù)庫主動數(shù)據(jù)庫空間數(shù)據(jù)庫空間數(shù)據(jù)庫時態(tài)數(shù)據(jù)庫時態(tài)數(shù)據(jù)庫WebWeb數(shù)據(jù)庫數(shù)據(jù)庫數(shù)據(jù)倉庫和數(shù)據(jù)挖掘數(shù)據(jù)倉庫和數(shù)據(jù)挖掘 4.4. 數(shù)據(jù)庫新技術(shù)數(shù)據(jù)庫新技術(shù)10.2.1 10.2.1 并行數(shù)據(jù)庫系統(tǒng)并行數(shù)據(jù)庫系統(tǒng) 1.1.并行數(shù)據(jù)庫系統(tǒng)的產(chǎn)生并行數(shù)據(jù)庫系統(tǒng)

4、的產(chǎn)生 馮.諾依曼型計算機結(jié)構(gòu)的局限不能發(fā)揮應(yīng)用中普遍存在的內(nèi)在的可并行處理特性。 數(shù)據(jù)庫管理性能受到I/O瓶頸的影響，比如：內(nèi)存速度比硬盤速度快1000倍、增加帶寬提高磁盤存取的并行性、使用并行可存取的多個小磁盤。1 10.2 0.2 新型數(shù)據(jù)庫系統(tǒng)新型數(shù)據(jù)庫系統(tǒng) 2. 2. 并行數(shù)據(jù)庫系統(tǒng)的特點并行數(shù)據(jù)庫系統(tǒng)的特點 并行數(shù)據(jù)庫系統(tǒng)中有多個并行數(shù)據(jù)庫系統(tǒng)中有多個CPUCPU、多個存儲器、多個多個存儲器、多個磁盤并行操作，以提高處理速度和磁盤并行操作，以提高處理速度和I/OI/O速度。速度。 在并行數(shù)據(jù)庫系統(tǒng)中，多個在并行數(shù)據(jù)庫系統(tǒng)中，多個CPUCPU、多個存儲器、多多個存儲器、多個磁盤通過互

5、連網(wǎng)絡(luò)互相通信，發(fā)送和接收數(shù)據(jù)。個磁盤通過互連網(wǎng)絡(luò)互相通信，發(fā)送和接收數(shù)據(jù)。 并行數(shù)據(jù)庫系統(tǒng)可以組成不同的體系結(jié)構(gòu)。如共享并行數(shù)據(jù)庫系統(tǒng)可以組成不同的體系結(jié)構(gòu)。如共享內(nèi)存、共享磁盤等。內(nèi)存、共享磁盤等。 3. 并行數(shù)據(jù)服務(wù)器并行數(shù)據(jù)服務(wù)器l類型類型 完全共享資源結(jié)構(gòu)l對每個數(shù)據(jù)項的存取都要經(jīng)過公共通信線路，引起通信瓶頸l類似于集中式DBMS,差別是數(shù)據(jù)庫操作可以并行處理 完全不共享資源結(jié)構(gòu)l高功能計算機系統(tǒng)可以由多個較小的系統(tǒng)替代l每個站點都要實現(xiàn)全局?jǐn)?shù)據(jù)目錄，分布數(shù)據(jù)定義和控制，分布查詢處理和分布式事務(wù)管理l站點不能運行應(yīng)用程序處理機1處理機n高速互聯(lián)總線磁盤1磁盤n內(nèi)存1內(nèi)存n完全共享資源

6、系統(tǒng)結(jié)構(gòu)處理機1處理機n高速互聯(lián)總線磁盤1磁盤n內(nèi)存1內(nèi)存n完全不共享資源系統(tǒng)結(jié)構(gòu)4. 并行數(shù)據(jù)服務(wù)器數(shù)據(jù)定位并行數(shù)據(jù)服務(wù)器數(shù)據(jù)定位 類似于分布式數(shù)據(jù)庫中的數(shù)據(jù)片段定位 分簇(Declustering) 數(shù)據(jù)的水平分片l提高響應(yīng)速度和內(nèi)存查詢并行度 聚簇(Clustering) 聚集關(guān)系的片段l綜合查詢或減少系統(tǒng)總體運行代價 程序應(yīng)在數(shù)據(jù)存儲的站點上運行 DDBS中DBA根據(jù)對片段的使用情況檢測, 進(jìn)行調(diào)整, 包括移動片段和重組。l5.并行數(shù)據(jù)服務(wù)器與并行數(shù)據(jù)服務(wù)器與DDBS的不同的不同 應(yīng)用目標(biāo)不同l并行中用戶不專門使用某個站點, 所以不要求最大化本地性處理 實現(xiàn)方式不同l站點間高速網(wǎng)互連,

7、 傳輸代價小, 可以調(diào)節(jié)站點間工作負(fù)載 各站點地位不同l不存在全局應(yīng)用和局部應(yīng)用l各站點完全不獨立, 處理時只能發(fā)揮協(xié)同作用, 無局部應(yīng)用l6. 數(shù)據(jù)定位方法數(shù)據(jù)定位方法 全分簇：片段分布到系統(tǒng)中所有有磁盤的站點l散列算法分片：查詢時, 與選擇屬性精確匹配的子查詢得以在一個站點上處理, 所有其它子查詢在其他站點處理, 適于大范圍多用戶工作負(fù)載l但復(fù)雜查詢(多個連接)時, 聚簇方法較好 可變分簇l 依據(jù)“分簇度”對關(guān)系分片l 分簇度是關(guān)系數(shù)據(jù)分片的站點數(shù)量, 是關(guān)系大小和存取頻率的函數(shù)l這種方法比聚簇和分簇更加復(fù)雜，因為數(shù)據(jù)分布的改變可能導(dǎo)致結(jié)構(gòu)調(diào)整 l7. 數(shù)據(jù)查詢數(shù)據(jù)查詢l關(guān)聯(lián)查詢關(guān)聯(lián)查詢

8、傳統(tǒng)系統(tǒng)中，關(guān)聯(lián)存取是由查詢處理器在編譯時利用數(shù)據(jù)目錄完成 并行系統(tǒng)中, 采用“全局索引”復(fù)制到每一個站點l全局索引全局索引 能確定關(guān)系在各站點分布的二級索引l主聚簇：關(guān)于關(guān)系名l次聚簇：關(guān)于關(guān)系中的某些屬性 基于散列法或B樹實現(xiàn) 10.2.2 10.2.2 多媒體數(shù)據(jù)庫系統(tǒng)多媒體數(shù)據(jù)庫系統(tǒng)l1. 多媒體數(shù)據(jù)庫概述多媒體數(shù)據(jù)庫概述 l 傳統(tǒng)數(shù)據(jù)庫的模型主要針對整數(shù)、實數(shù)、定長字符等規(guī)范傳統(tǒng)數(shù)據(jù)庫的模型主要針對整數(shù)、實數(shù)、定長字符等規(guī)范數(shù)據(jù)。數(shù)據(jù)庫的設(shè)計者必須把真實的世界抽象為規(guī)范數(shù)據(jù)，這數(shù)據(jù)。數(shù)據(jù)庫的設(shè)計者必須把真實的世界抽象為規(guī)范數(shù)據(jù)，這要求設(shè)計者具有一定的技巧，而且在一定情況下，這項工作會

9、要求設(shè)計者具有一定的技巧，而且在一定情況下，這項工作會特別的困難。即使抽象完成了，抽象得到的結(jié)果往往會損失部特別的困難。即使抽象完成了，抽象得到的結(jié)果往往會損失部分的原始信息，甚至?xí)霈F(xiàn)錯誤。分的原始信息，甚至?xí)霈F(xiàn)錯誤。l 當(dāng)圖像、聲音、動態(tài)視頻等多媒體信息引入計算機之后，當(dāng)圖像、聲音、動態(tài)視頻等多媒體信息引入計算機之后，可以表達(dá)的信息范圍大大擴展，但又帶來許多新的問題。在這可以表達(dá)的信息范圍大大擴展，但又帶來許多新的問題。在這種情況下，如何使用數(shù)據(jù)庫系統(tǒng)來描述這些數(shù)據(jù)呢？另一方面，種情況下，如何使用數(shù)據(jù)庫系統(tǒng)來描述這些數(shù)據(jù)呢？另一方面，傳統(tǒng)數(shù)據(jù)庫可以在用戶給出查詢條件之后迅速地檢索到正確的

10、傳統(tǒng)數(shù)據(jù)庫可以在用戶給出查詢條件之后迅速地檢索到正確的信息，但那是針對使用字符數(shù)值型數(shù)據(jù)的。信息，但那是針對使用字符數(shù)值型數(shù)據(jù)的。l 現(xiàn)在，我們面臨著這樣的問題：如果基本數(shù)據(jù)不再是字符現(xiàn)在，我們面臨著這樣的問題：如果基本數(shù)據(jù)不再是字符數(shù)值型，而是圖像、聲音，甚至是視頻數(shù)據(jù)，那我們將怎樣檢數(shù)值型，而是圖像、聲音，甚至是視頻數(shù)據(jù)，那我們將怎樣檢索？如何表達(dá)多媒體信息的內(nèi)容？我們應(yīng)該如何組織這些數(shù)據(jù)索？如何表達(dá)多媒體信息的內(nèi)容？我們應(yīng)該如何組織這些數(shù)據(jù)呢？查詢應(yīng)該如何進(jìn)行？這些都是我們不得不考慮的。呢？查詢應(yīng)該如何進(jìn)行？這些都是我們不得不考慮的。 l 隨著社會的信息化，各種媒體也逐步數(shù)字化?，F(xiàn)在計算

11、機隨著社會的信息化，各種媒體也逐步數(shù)字化?，F(xiàn)在計算機所處理的數(shù)據(jù)已遠(yuǎn)遠(yuǎn)超出早先數(shù)字、文字的范圍，而是包括各所處理的數(shù)據(jù)已遠(yuǎn)遠(yuǎn)超出早先數(shù)字、文字的范圍，而是包括各種媒體的數(shù)據(jù)。這種多樣化的數(shù)據(jù)稱為多媒體數(shù)據(jù)種媒體的數(shù)據(jù)。這種多樣化的數(shù)據(jù)稱為多媒體數(shù)據(jù)（multimedia data） ，多媒體數(shù)據(jù)庫就是為了存取這些多媒，多媒體數(shù)據(jù)庫就是為了存取這些多媒體數(shù)據(jù)而產(chǎn)生的一種新型數(shù)據(jù)庫。體數(shù)據(jù)而產(chǎn)生的一種新型數(shù)據(jù)庫。l 隨著技術(shù)的發(fā)展，產(chǎn)生了許多可以對多媒體數(shù)據(jù)進(jìn)行管理隨著技術(shù)的發(fā)展，產(chǎn)生了許多可以對多媒體數(shù)據(jù)進(jìn)行管理和使用的技術(shù)，例如面向?qū)ο髷?shù)據(jù)庫、基于多媒體內(nèi)容檢索技和使用的技術(shù)，例如面向?qū)ο髷?shù)據(jù)

12、庫、基于多媒體內(nèi)容檢索技術(shù)、超媒體技術(shù)等等。一般認(rèn)為，多媒體數(shù)據(jù)庫不應(yīng)該是對現(xiàn)術(shù)、超媒體技術(shù)等等。一般認(rèn)為，多媒體數(shù)據(jù)庫不應(yīng)該是對現(xiàn)有的數(shù)據(jù)庫系統(tǒng)進(jìn)行界面上的包裝，使之看起來象一個多媒體有的數(shù)據(jù)庫系統(tǒng)進(jìn)行界面上的包裝，使之看起來象一個多媒體數(shù)據(jù)庫，而應(yīng)該是從多媒體數(shù)據(jù)與信息的本身特征出發(fā)，才能數(shù)據(jù)庫，而應(yīng)該是從多媒體數(shù)據(jù)與信息的本身特征出發(fā)，才能找到相應(yīng)的解決方法。找到相應(yīng)的解決方法。 2. 多媒體數(shù)據(jù)的種類多媒體數(shù)據(jù)的種類l l多媒體數(shù)據(jù)按其特征可以分為多媒體數(shù)據(jù)按其特征可以分為 6 種：種： l l 字符數(shù)值：字符數(shù)值：簡單，規(guī)范，易于管理，傳統(tǒng)數(shù)據(jù)庫只要是針簡單，規(guī)范，易于管理，傳統(tǒng)數(shù)據(jù)

13、庫只要是針對這種數(shù)據(jù)的。在多媒體數(shù)據(jù)庫中仍然需要管理大量這種類型對這種數(shù)據(jù)的。在多媒體數(shù)據(jù)庫中仍然需要管理大量這種類型的數(shù)據(jù)。的數(shù)據(jù)。 l文本數(shù)據(jù)：文本數(shù)據(jù)：從計算機內(nèi)部來看，文本數(shù)據(jù)是由一個具有特從計算機內(nèi)部來看，文本數(shù)據(jù)是由一個具有特定意義的字符串表示的，在數(shù)據(jù)庫中，對文本數(shù)據(jù)處理較為常定意義的字符串表示的，在數(shù)據(jù)庫中，對文本數(shù)據(jù)處理較為常見的操作時檢索操作，一般采用關(guān)鍵詞檢索和全文檢索等方法。見的操作時檢索操作，一般采用關(guān)鍵詞檢索和全文檢索等方法。 l圖形數(shù)據(jù)：圖形數(shù)據(jù)：圖形數(shù)據(jù)的數(shù)據(jù)庫管理已有一些成功的應(yīng)用范圖形數(shù)據(jù)的數(shù)據(jù)庫管理已有一些成功的應(yīng)用范例，例如地理信息系統(tǒng)，工業(yè)圖紙數(shù)據(jù)庫等

14、。由于圖形數(shù)據(jù)可例，例如地理信息系統(tǒng)，工業(yè)圖紙數(shù)據(jù)庫等。由于圖形數(shù)據(jù)可以分解，所以只要有合理的描述模型來描述這個分層的結(jié)構(gòu)。以分解，所以只要有合理的描述模型來描述這個分層的結(jié)構(gòu)。 l 圖像數(shù)據(jù)：圖像數(shù)據(jù)：目前在圖像領(lǐng)域已有很多研究，屬性描述，特目前在圖像領(lǐng)域已有很多研究，屬性描述，特征提取，分割，紋理識別，顏色檢索等。對專業(yè)性很強的應(yīng)用，征提取，分割，紋理識別，顏色檢索等。對專業(yè)性很強的應(yīng)用，已有一些比較成功的研究成果。但對多媒體數(shù)據(jù)庫來說，將更已有一些比較成功的研究成果。但對多媒體數(shù)據(jù)庫來說，將更強調(diào)對通用圖像數(shù)據(jù)的管理和查詢。強調(diào)對通用圖像數(shù)據(jù)的管理和查詢。 ll 聲音數(shù)據(jù)聲音數(shù)據(jù)：聲音是

15、常用的信息媒體。聲音的模擬信號是隨：聲音是常用的信息媒體。聲音的模擬信號是隨著時間變化的波形，經(jīng)數(shù)字化后就成為聲音數(shù)據(jù)。不同的應(yīng)用著時間變化的波形，經(jīng)數(shù)字化后就成為聲音數(shù)據(jù)。不同的應(yīng)用所需要的聲音質(zhì)量不同，所以聲音數(shù)據(jù)的大小也就不同。所需要的聲音質(zhì)量不同，所以聲音數(shù)據(jù)的大小也就不同。 l視頻數(shù)據(jù)：視頻數(shù)據(jù)：時間屬性帶來了新的復(fù)雜程度。例如，在檢索時間屬性帶來了新的復(fù)雜程度。例如，在檢索和查詢操作中，檢索和查詢的內(nèi)容可以包括鏡頭、場景、內(nèi)容和查詢操作中，檢索和查詢的內(nèi)容可以包括鏡頭、場景、內(nèi)容等許多方面，這些傳統(tǒng)的數(shù)據(jù)庫中是不存在地問題。等許多方面，這些傳統(tǒng)的數(shù)據(jù)庫中是不存在地問題。 l 3.

16、多媒體數(shù)據(jù)的特點多媒體數(shù)據(jù)的特點 （1） 數(shù)據(jù)量大數(shù)據(jù)量大 多媒體數(shù)據(jù)的數(shù)據(jù)量一般是很大的，多媒體數(shù)據(jù)的數(shù)據(jù)量一般是很大的，1分鐘的視頻分鐘的視頻和音頻數(shù)據(jù)就需要幾十兆的數(shù)據(jù)空間。和音頻數(shù)據(jù)就需要幾十兆的數(shù)據(jù)空間。 （2） 結(jié)構(gòu)復(fù)雜結(jié)構(gòu)復(fù)雜 多媒體數(shù)據(jù)種類繁多結(jié)構(gòu)復(fù)雜，大多是非結(jié)構(gòu)化多媒體數(shù)據(jù)種類繁多結(jié)構(gòu)復(fù)雜，大多是非結(jié)構(gòu)化的數(shù)據(jù)，可以是文字、圖像、聲音等復(fù)雜對象。的數(shù)據(jù)，可以是文字、圖像、聲音等復(fù)雜對象。 （3）時序性）時序性 有文字、聲音或圖形組成的復(fù)雜對象需要有一定的有文字、聲音或圖形組成的復(fù)雜對象需要有一定的同步機制。如一幅畫面的配音或文字需要與畫面同步。同步機制。如一幅畫面的配音或文

17、字需要與畫面同步。 （4）數(shù)據(jù)傳輸?shù)倪B續(xù)性）數(shù)據(jù)傳輸?shù)倪B續(xù)性 4. 多媒體數(shù)據(jù)庫管理系統(tǒng)多媒體數(shù)據(jù)庫管理系統(tǒng) (MDBMS) 的功能的功能l 多媒體功能要求數(shù)據(jù)庫能管理分布在不同輔助存多媒體功能要求數(shù)據(jù)庫能管理分布在不同輔助存儲媒體上的巨量數(shù)據(jù)。除了需要大的存儲容量外，儲媒體上的巨量數(shù)據(jù)。除了需要大的存儲容量外， MDBMS 處理連續(xù)的數(shù)據(jù)時要滿足實時性的要求。處理連續(xù)的數(shù)據(jù)時要滿足實時性的要求。l 多媒體數(shù)據(jù)庫管理系統(tǒng)應(yīng)具有以下基本功能：多媒體數(shù)據(jù)庫管理系統(tǒng)應(yīng)具有以下基本功能：l（1）系統(tǒng)應(yīng)能夠有效地表示多媒體數(shù)據(jù)）系統(tǒng)應(yīng)能夠有效地表示多媒體數(shù)據(jù)l （2）系統(tǒng)應(yīng)能夠處理各種多媒體數(shù)據(jù)）系統(tǒng)應(yīng)

18、能夠處理各種多媒體數(shù)據(jù)l （3）系統(tǒng)應(yīng)能夠?qū)Ω鞣N多媒體數(shù)據(jù)進(jìn)行操作）系統(tǒng)應(yīng)能夠?qū)Ω鞣N多媒體數(shù)據(jù)進(jìn)行操作l （4）系統(tǒng)應(yīng)具有開放功能，提供多種數(shù)據(jù)庫的應(yīng)用）系統(tǒng)應(yīng)具有開放功能，提供多種數(shù)據(jù)庫的應(yīng)用程序接口。程序接口。 5.多媒體數(shù)據(jù)庫體系結(jié)構(gòu)多媒體數(shù)據(jù)庫體系結(jié)構(gòu)l集中統(tǒng)一型結(jié)構(gòu)：只存在一個單一的多媒體數(shù)據(jù)庫和單一集中統(tǒng)一型結(jié)構(gòu)：只存在一個單一的多媒體數(shù)據(jù)庫和單一的多媒體數(shù)據(jù)庫管理系統(tǒng)。各種媒體被統(tǒng)一地建模，對這種媒的多媒體數(shù)據(jù)庫管理系統(tǒng)。各種媒體被統(tǒng)一地建模，對這種媒體的管理與操縱被集中到一個數(shù)據(jù)庫管理系統(tǒng)中，各種用戶的體的管理與操縱被集中到一個數(shù)據(jù)庫管理系統(tǒng)中，各種用戶的需求被統(tǒng)一到一個多媒體

19、用戶接口上。需求被統(tǒng)一到一個多媒體用戶接口上。 l主從型結(jié)構(gòu)：減少集中統(tǒng)一型多媒體數(shù)據(jù)庫系統(tǒng)復(fù)雜性的主從型結(jié)構(gòu)：減少集中統(tǒng)一型多媒體數(shù)據(jù)庫系統(tǒng)復(fù)雜性的一個很有效的辦法是采用主從結(jié)構(gòu)。所有服務(wù)器的綜合和操縱一個很有效的辦法是采用主從結(jié)構(gòu)。所有服務(wù)器的綜合和操縱也用一個服務(wù)器來完成。與用戶的接口采用客戶進(jìn)程來實現(xiàn)。也用一個服務(wù)器來完成。與用戶的接口采用客戶進(jìn)程來實現(xiàn)。 l超媒體結(jié)構(gòu)：這種多媒體數(shù)據(jù)庫體系結(jié)構(gòu)，強調(diào)對數(shù)據(jù)時超媒體結(jié)構(gòu)：這種多媒體數(shù)據(jù)庫體系結(jié)構(gòu)，強調(diào)對數(shù)據(jù)時空索引的組織。在這種結(jié)構(gòu)的理論下，世界上所有計算機中的空索引的組織。在這種結(jié)構(gòu)的理論下，世界上所有計算機中的信息和其他系統(tǒng)中的信息

20、都應(yīng)該連接在一起，而且信息也要能信息和其他系統(tǒng)中的信息都應(yīng)該連接在一起，而且信息也要能夠隨意擴展和訪問。夠隨意擴展和訪問。 10.2.3 10.2.3 其它新型數(shù)據(jù)庫系統(tǒng)其它新型數(shù)據(jù)庫系統(tǒng)1. 工程數(shù)據(jù)庫工程數(shù)據(jù)庫l 工程數(shù)據(jù)庫（工程數(shù)據(jù)庫（ engineering dadabase)是存儲、管是存儲、管理和使用工程設(shè)計所需數(shù)據(jù)的數(shù)據(jù)庫，是將工程設(shè)計方理和使用工程設(shè)計所需數(shù)據(jù)的數(shù)據(jù)庫，是將工程設(shè)計方法、人工智能技術(shù)與數(shù)據(jù)庫技術(shù)相結(jié)合發(fā)展起來的智能法、人工智能技術(shù)與數(shù)據(jù)庫技術(shù)相結(jié)合發(fā)展起來的智能化的化的CAD/CAM集成系統(tǒng)。集成系統(tǒng)。l工程數(shù)據(jù)庫的特點：工程數(shù)據(jù)庫的特點：l（1）實體模型）實體

21、模型l（2）模式演變）模式演變l（3）數(shù)據(jù)類型）數(shù)據(jù)類型l（4）數(shù)據(jù)一致性）數(shù)據(jù)一致性l 工程數(shù)據(jù)庫系統(tǒng)和傳統(tǒng)數(shù)據(jù)庫系統(tǒng)一樣，包括工工程數(shù)據(jù)庫系統(tǒng)和傳統(tǒng)數(shù)據(jù)庫系統(tǒng)一樣，包括工程數(shù)據(jù)庫管理系統(tǒng)和工程數(shù)據(jù)庫設(shè)計兩方面的內(nèi)容程數(shù)據(jù)庫管理系統(tǒng)和工程數(shù)據(jù)庫設(shè)計兩方面的內(nèi)容.l 工程數(shù)據(jù)庫設(shè)計的主要任務(wù)是在工程數(shù)據(jù)庫管理工程數(shù)據(jù)庫設(shè)計的主要任務(wù)是在工程數(shù)據(jù)庫管理系統(tǒng)的支持下，按照應(yīng)用的要求，為某一類或某個工系統(tǒng)的支持下，按照應(yīng)用的要求，為某一類或某個工程項目設(shè)計一個結(jié)構(gòu)合理、使用方便、效率較高的工程項目設(shè)計一個結(jié)構(gòu)合理、使用方便、效率較高的工程數(shù)據(jù)庫及其應(yīng)用系統(tǒng)程數(shù)據(jù)庫及其應(yīng)用系統(tǒng).l 數(shù)據(jù)庫設(shè)計得好，可

22、以使整個應(yīng)用系統(tǒng)效率高、數(shù)據(jù)庫設(shè)計得好，可以使整個應(yīng)用系統(tǒng)效率高、維護(hù)簡單、使用容易維護(hù)簡單、使用容易.即使是最佳的應(yīng)用程序，也無法即使是最佳的應(yīng)用程序，也無法彌補數(shù)據(jù)庫設(shè)計時的某些缺陷彌補數(shù)據(jù)庫設(shè)計時的某些缺陷.這方面的研究包括工程這方面的研究包括工程數(shù)據(jù)庫設(shè)計方法和輔助設(shè)計工具的研究和開發(fā)數(shù)據(jù)庫設(shè)計方法和輔助設(shè)計工具的研究和開發(fā). 2. 智能數(shù)據(jù)庫智能數(shù)據(jù)庫l 智能數(shù)據(jù)庫是研究利用人的推理、想像、記憶原智能數(shù)據(jù)庫是研究利用人的推理、想像、記憶原理，實現(xiàn)對數(shù)據(jù)庫的存儲、搜索和修改。智能數(shù)據(jù)庫理，實現(xiàn)對數(shù)據(jù)庫的存儲、搜索和修改。智能數(shù)據(jù)庫通過有效的組織，能夠滿足人們快速檢索和修改數(shù)據(jù)通過有效的

23、組織，能夠滿足人們快速檢索和修改數(shù)據(jù)庫的要求。智能數(shù)據(jù)庫系統(tǒng)是一個對象數(shù)據(jù)庫管理系庫的要求。智能數(shù)據(jù)庫系統(tǒng)是一個對象數(shù)據(jù)庫管理系統(tǒng)。統(tǒng)。l IDB （智能數(shù)據(jù)庫）思想的提出，預(yù)示著人類的（智能數(shù)據(jù)庫）思想的提出，預(yù)示著人類的信息處理即將步入一個嶄新的時代信息處理即將步入一個嶄新的時代IDB將計算機科將計算機科學(xué)中近年來日趨發(fā)展成熟的五大主要技術(shù)，學(xué)中近年來日趨發(fā)展成熟的五大主要技術(shù)，（面（面向?qū)ο螅┘夹g(shù)、向?qū)ο螅┘夹g(shù)、DB（數(shù)據(jù)庫）技術(shù)、（數(shù)據(jù)庫）技術(shù)、AI（人工智能）、（人工智能）、HypertextHypermedia（超文本超媒體）和正文（超文本超媒體）和正文數(shù)據(jù)庫與聯(lián)機信息檢索技術(shù)，集

24、成為一體其中數(shù)據(jù)庫與聯(lián)機信息檢索技術(shù)，集成為一體其中、AI和和DB是是IDB中的三大支柱技術(shù)中的三大支柱技術(shù) 3. 模糊數(shù)據(jù)庫模糊數(shù)據(jù)庫l指能夠處理模糊數(shù)據(jù)的指能夠處理模糊數(shù)據(jù)的數(shù)據(jù)庫數(shù)據(jù)庫。一般的數(shù)據(jù)庫都。一般的數(shù)據(jù)庫都是以二值邏輯和精確的數(shù)據(jù)工具為基礎(chǔ)的，不能表示是以二值邏輯和精確的數(shù)據(jù)工具為基礎(chǔ)的，不能表示許多模糊不清的事情。隨著模糊數(shù)學(xué)理論體系的建立，許多模糊不清的事情。隨著模糊數(shù)學(xué)理論體系的建立，人們可以用數(shù)量來描述模糊事件并能進(jìn)行模糊運算。人們可以用數(shù)量來描述模糊事件并能進(jìn)行模糊運算。這樣就可以把不完全性、不確定性、模糊性引入數(shù)據(jù)這樣就可以把不完全性、不確定性、模糊性引入數(shù)據(jù)庫系統(tǒng)

25、中，從而形成模糊數(shù)據(jù)庫。庫系統(tǒng)中，從而形成模糊數(shù)據(jù)庫。l 模糊數(shù)據(jù)庫研究主要有兩方面，首先是如何在數(shù)模糊數(shù)據(jù)庫研究主要有兩方面，首先是如何在數(shù)據(jù)庫中存放模糊數(shù)據(jù)；其次是定義各種運算建立模糊據(jù)庫中存放模糊數(shù)據(jù)；其次是定義各種運算建立模糊數(shù)據(jù)上的數(shù)據(jù)上的函數(shù)函數(shù)。模糊數(shù)模糊數(shù)的表示主要有模糊區(qū)間數(shù)、模的表示主要有模糊區(qū)間數(shù)、模糊中心數(shù)、模糊集合數(shù)和糊中心數(shù)、模糊集合數(shù)和隸屬函數(shù)隸屬函數(shù)等。等。結(jié)束 4. 4. 嵌入式數(shù)據(jù)庫系統(tǒng)嵌入式數(shù)據(jù)庫系統(tǒng) 嵌入式數(shù)據(jù)庫或移動式數(shù)據(jù)庫嵌入式數(shù)據(jù)庫或移動式數(shù)據(jù)庫( (EDBS/EMDBS)EDBS/EMDBS) 各種移動設(shè)備、智能計算設(shè)備、嵌入式設(shè)備各種移動設(shè)備、

26、智能計算設(shè)備、嵌入式設(shè)備（手（手機、機頂盒、電冰箱、洗衣機）機、機頂盒、電冰箱、洗衣機） 基于基于GPSGPS的應(yīng)用的應(yīng)用 通過地球同步通訊衛(wèi)星（通過地球同步通訊衛(wèi)星（GPSGPS）傳送地圖信息或位）傳送地圖信息或位置信息。置信息。 用于車輛定位、對自然資源和環(huán)境的控制用于車輛定位、對自然資源和環(huán)境的控制和管理和管理. . 5. .主動數(shù)據(jù)庫主動數(shù)據(jù)庫l主動數(shù)據(jù)庫是相對傳統(tǒng)數(shù)據(jù)庫的被動性而言的。在傳統(tǒng)數(shù)據(jù)庫主動數(shù)據(jù)庫是相對傳統(tǒng)數(shù)據(jù)庫的被動性而言的。在傳統(tǒng)數(shù)據(jù)庫中，當(dāng)用戶要對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行存取時，只能通過執(zhí)行相應(yīng)的中，當(dāng)用戶要對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行存取時，只能通過執(zhí)行相應(yīng)的數(shù)據(jù)庫命令或應(yīng)用程序

27、來實現(xiàn)。數(shù)據(jù)庫本身不會根據(jù)數(shù)據(jù)庫的狀態(tài)數(shù)據(jù)庫命令或應(yīng)用程序來實現(xiàn)。數(shù)據(jù)庫本身不會根據(jù)數(shù)據(jù)庫的狀態(tài)主動做些什么，因而是被動的。主動做些什么，因而是被動的。l然而在許多實際應(yīng)用領(lǐng)域中，例如計算機集成制造系統(tǒng)，管理然而在許多實際應(yīng)用領(lǐng)域中，例如計算機集成制造系統(tǒng)，管理信息系統(tǒng)，辦公自動化中常常希望數(shù)據(jù)庫系統(tǒng)在緊急情況下能夠根信息系統(tǒng)，辦公自動化中常常希望數(shù)據(jù)庫系統(tǒng)在緊急情況下能夠根據(jù)數(shù)據(jù)庫的當(dāng)前狀態(tài)，主動、適時地作出反應(yīng)，執(zhí)行某些操作，向據(jù)數(shù)據(jù)庫的當(dāng)前狀態(tài)，主動、適時地作出反應(yīng)，執(zhí)行某些操作，向用戶提供某些信息。這類應(yīng)用的特點是事件驅(qū)動數(shù)據(jù)庫操作以及要用戶提供某些信息。這類應(yīng)用的特點是事件驅(qū)動數(shù)據(jù)庫

28、操作以及要求數(shù)據(jù)庫系統(tǒng)支持涉及事件方面的約束條件。為此，人們在傳統(tǒng)數(shù)求數(shù)據(jù)庫系統(tǒng)支持涉及事件方面的約束條件。為此，人們在傳統(tǒng)數(shù)據(jù)庫的基礎(chǔ)上，結(jié)合人工智能技術(shù)研制和開發(fā)了主動數(shù)據(jù)庫。據(jù)庫的基礎(chǔ)上，結(jié)合人工智能技術(shù)研制和開發(fā)了主動數(shù)據(jù)庫。l所謂主動數(shù)據(jù)庫就是除了完成一切傳統(tǒng)數(shù)據(jù)庫的服務(wù)外，還具所謂主動數(shù)據(jù)庫就是除了完成一切傳統(tǒng)數(shù)據(jù)庫的服務(wù)外，還具有各種主動服務(wù)功能的數(shù)據(jù)庫系統(tǒng)。有各種主動服務(wù)功能的數(shù)據(jù)庫系統(tǒng)。 6.空間數(shù)據(jù)庫空間數(shù)據(jù)庫l 空間數(shù)據(jù)庫指的是空間數(shù)據(jù)庫指的是地理信息系統(tǒng)地理信息系統(tǒng)在計算機物理存在計算機物理存儲介質(zhì)上存儲的與應(yīng)用相關(guān)的地理空間數(shù)據(jù)的總和，儲介質(zhì)上存儲的與應(yīng)用相關(guān)的地理空

29、間數(shù)據(jù)的總和，一般是以一系列特定結(jié)構(gòu)的文件的形式組織在存儲介一般是以一系列特定結(jié)構(gòu)的文件的形式組織在存儲介質(zhì)之上的。質(zhì)之上的。l 空間數(shù)據(jù)庫的研究始于空間數(shù)據(jù)庫的研究始于20 世紀(jì)世紀(jì) 70年代的地圖制圖年代的地圖制圖與遙感圖像處理領(lǐng)域與遙感圖像處理領(lǐng)域,其目的是為了有效地利用衛(wèi)星遙其目的是為了有效地利用衛(wèi)星遙感資源迅速繪制出各種經(jīng)濟(jì)專題地圖。由于傳統(tǒng)的感資源迅速繪制出各種經(jīng)濟(jì)專題地圖。由于傳統(tǒng)的關(guān)關(guān)系數(shù)據(jù)庫系數(shù)據(jù)庫在空間數(shù)據(jù)的表示、存儲、管理、檢索上存在空間數(shù)據(jù)的表示、存儲、管理、檢索上存在許多缺陷，從而形成了空間數(shù)據(jù)庫這一數(shù)據(jù)庫研究在許多缺陷，從而形成了空間數(shù)據(jù)庫這一數(shù)據(jù)庫研究領(lǐng)域。而傳統(tǒng)

30、數(shù)據(jù)庫系統(tǒng)只針對簡單對象，無法有效領(lǐng)域。而傳統(tǒng)數(shù)據(jù)庫系統(tǒng)只針對簡單對象，無法有效的支持復(fù)雜對象（如圖形、圖像）。的支持復(fù)雜對象（如圖形、圖像）。 7.時態(tài)數(shù)據(jù)庫時態(tài)數(shù)據(jù)庫l 時態(tài)數(shù)據(jù)庫時態(tài)數(shù)據(jù)庫(Temporal Database)是指存儲現(xiàn)實世界的時間是指存儲現(xiàn)實世界的時間經(jīng)歷狀態(tài)信息的數(shù)據(jù)庫。經(jīng)歷狀態(tài)信息的數(shù)據(jù)庫。l時態(tài)數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫最大的區(qū)別在于它對時間相關(guān)的時態(tài)數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫最大的區(qū)別在于它對時間相關(guān)的操作進(jìn)行了有力的支持。操作進(jìn)行了有力的支持。l一般而言，數(shù)據(jù)庫系統(tǒng)對世界的當(dāng)前狀態(tài)建模，不會保存一般而言，數(shù)據(jù)庫系統(tǒng)對世界的當(dāng)前狀態(tài)建模，不會保存過去狀態(tài)的信息。但在許多應(yīng)用中，

31、保存和檢索有關(guān)過去狀態(tài)過去狀態(tài)的信息。但在許多應(yīng)用中，保存和檢索有關(guān)過去狀態(tài)的信息非常重要。比如一個病人數(shù)據(jù)庫必須保存每個病人的病的信息非常重要。比如一個病人數(shù)據(jù)庫必須保存每個病人的病歷信息，一個工廠監(jiān)視系統(tǒng)可能要保存?zhèn)鞲衅鳟?dāng)前和過去的讀歷信息，一個工廠監(jiān)視系統(tǒng)可能要保存?zhèn)鞲衅鳟?dāng)前和過去的讀入數(shù)據(jù)以進(jìn)行分析。入數(shù)據(jù)以進(jìn)行分析。l 8. Web數(shù)據(jù)庫數(shù)據(jù)庫lWeb數(shù)據(jù)庫屬于深度數(shù)據(jù)庫屬于深度Web（Deep Web）的一種資源形勢，）的一種資源形勢，通常指在互聯(lián)網(wǎng)中以通常指在互聯(lián)網(wǎng)中以Web查詢接口方式訪問的數(shù)據(jù)庫資源，其查詢接口方式訪問的數(shù)據(jù)庫資源，其結(jié)構(gòu)是后臺采用數(shù)據(jù)庫管理系統(tǒng)存儲數(shù)據(jù)信息，

32、對外提供包含結(jié)構(gòu)是后臺采用數(shù)據(jù)庫管理系統(tǒng)存儲數(shù)據(jù)信息，對外提供包含表單的表單的Web頁面作為訪問接口，查詢結(jié)果也以包含數(shù)據(jù)列表的頁面作為訪問接口，查詢結(jié)果也以包含數(shù)據(jù)列表的Web頁面形式返回給用戶。頁面形式返回給用戶。lWeb數(shù)據(jù)庫的數(shù)據(jù)相比搜索引擎返回的查詢結(jié)果，特點是數(shù)據(jù)庫的數(shù)據(jù)相比搜索引擎返回的查詢結(jié)果，特點是提供一個或多個領(lǐng)域的數(shù)據(jù)記錄，且具有完整的模式信息。提供一個或多個領(lǐng)域的數(shù)據(jù)記錄，且具有完整的模式信息。lWeb數(shù)據(jù)庫集成的主要目的是為用戶提供多個數(shù)據(jù)庫集成的主要目的是為用戶提供多個Web數(shù)據(jù)庫數(shù)據(jù)庫資源的統(tǒng)一訪問方式?，F(xiàn)有的資源的統(tǒng)一訪問方式。現(xiàn)有的Web數(shù)據(jù)庫集成方式可以分為

33、三數(shù)據(jù)庫集成方式可以分為三類：類：l（1）數(shù)據(jù)供應(yīng)模式；）數(shù)據(jù)供應(yīng)模式；l（2）數(shù)據(jù)收集模式；）數(shù)據(jù)收集模式；l（3）元搜索模式。）元搜索模式。 10.3 數(shù)據(jù)倉庫數(shù)據(jù)倉庫l10.3.1 10.3.1 數(shù)據(jù)倉庫的產(chǎn)生數(shù)據(jù)倉庫的產(chǎn)生l1 1、數(shù)據(jù)處理方式可分為兩類、數(shù)據(jù)處理方式可分為兩類 l 操作型處理也叫事務(wù)處理：操作型處理也叫事務(wù)處理：對數(shù)據(jù)庫聯(lián)機的日常操對數(shù)據(jù)庫聯(lián)機的日常操作，通常是對一個或一組記錄的查詢和修改。主要應(yīng)用為作，通常是對一個或一組記錄的查詢和修改。主要應(yīng)用為企業(yè)的特定數(shù)據(jù)管理，如出入庫登記，憑證錄入、生產(chǎn)管企業(yè)的特定數(shù)據(jù)管理，如出入庫登記，憑證錄入、生產(chǎn)管理等服務(wù)的，人們關(guān)心

34、的是響應(yīng)時間、數(shù)據(jù)的安全性和完理等服務(wù)的，人們關(guān)心的是響應(yīng)時間、數(shù)據(jù)的安全性和完整性。整性。l 分析型處理：分析型處理：用于管理人員的決策分析，如決策支持用于管理人員的決策分析，如決策支持系統(tǒng)系統(tǒng)(Decision Surport System(Decision Surport System，DSS)DSS)和多維分析等，經(jīng)和多維分析等，經(jīng)常要訪問大量的歷史數(shù)據(jù)，其目的是通過對這些歷史數(shù)據(jù)常要訪問大量的歷史數(shù)據(jù)，其目的是通過對這些歷史數(shù)據(jù)的分析，從中提取管理決策所需要的重要信息。的分析，從中提取管理決策所需要的重要信息。 l 2 2、面向事務(wù)處理的數(shù)據(jù)庫環(huán)境不適宜、面向事務(wù)處理的數(shù)據(jù)庫環(huán)境不適

35、宜DSSDSS應(yīng)用的原因應(yīng)用的原因主要有：主要有：l 事務(wù)處理和分析處理的性能特點不同事務(wù)處理和分析處理的性能特點不同l 在事務(wù)處理環(huán)境中，用戶對數(shù)據(jù)的存取操作頻率高，每次操作處在事務(wù)處理環(huán)境中，用戶對數(shù)據(jù)的存取操作頻率高，每次操作處理的時間短。系統(tǒng)可以允許多個用戶按分時方式使用系統(tǒng)資源，同時理的時間短。系統(tǒng)可以允許多個用戶按分時方式使用系統(tǒng)資源，同時保持較短的使用時間。保持較短的使用時間。l 在分析處理環(huán)境中，某個決策支持系統(tǒng)在分析處理環(huán)境中，某個決策支持系統(tǒng)(DSS)(DSS)應(yīng)用程序由于涉及大應(yīng)用程序由于涉及大量的歷史數(shù)據(jù)，可能需要運行幾個小時甚至更長時間。量的歷史數(shù)據(jù)，可能需要運行幾個

36、小時甚至更長時間。l 數(shù)據(jù)集成困難數(shù)據(jù)集成困難l DSSDSS不僅需要整個企業(yè)內(nèi)部各個部門的相關(guān)數(shù)據(jù)，還需要企業(yè)外部不僅需要整個企業(yè)內(nèi)部各個部門的相關(guān)數(shù)據(jù)，還需要企業(yè)外部競爭對手的相關(guān)數(shù)據(jù)。競爭對手的相關(guān)數(shù)據(jù)。l 事務(wù)處理系統(tǒng)自身沒有事務(wù)處理系統(tǒng)自身沒有動態(tài)集成能力動態(tài)集成能力，而，而DSSDSS需定時刷新。需定時刷新。l 事務(wù)處理系統(tǒng)一般只需要當(dāng)前數(shù)據(jù)，而事務(wù)處理系統(tǒng)一般只需要當(dāng)前數(shù)據(jù)，而DSSDSS需要大量的需要大量的歷史數(shù)據(jù)歷史數(shù)據(jù)。l 事務(wù)處理系統(tǒng)中主要是細(xì)節(jié)數(shù)據(jù)，而事務(wù)處理系統(tǒng)中主要是細(xì)節(jié)數(shù)據(jù)，而DSSDSS需要需要綜合數(shù)據(jù)綜合數(shù)據(jù)。 3.操作操作型數(shù)據(jù)與分析型數(shù)據(jù)之間的區(qū)別型數(shù)據(jù)與

37、分析型數(shù)據(jù)之間的區(qū)別 操作型數(shù)據(jù)操作型數(shù)據(jù)( (原始的原始的) ) 分析型數(shù)據(jù)分析型數(shù)據(jù)( (導(dǎo)出的導(dǎo)出的) ) 細(xì)節(jié)的細(xì)節(jié)的在存取瞬間是準(zhǔn)確的在存取瞬間是準(zhǔn)確的可更新可更新操作需求事先可知道操作需求事先可知道生命周期符合生命周期符合SDLCSDLC對性能要求高對性能要求高事務(wù)驅(qū)動事務(wù)驅(qū)動面向應(yīng)用面向應(yīng)用一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量小支持日常操作支持日常操作 綜合的，或提煉的綜合的，或提煉的 代表過去的數(shù)據(jù)代表過去的數(shù)據(jù)不更新（不更新（指用戶對數(shù)據(jù)分析處理時）指用戶對數(shù)據(jù)分析處理時）操作需求事先不知道操作需求事先不知道完全不同的生命周期完全不同的生命周期對性能要求寬松對性能要求寬松分析驅(qū)動分

38、析驅(qū)動面向分析面向分析一次操作數(shù)據(jù)量大一次操作數(shù)據(jù)量大支持管理需求支持管理需求 1.數(shù)據(jù)倉庫定義： 一個是專門用于支持企業(yè)或部門的管理決策分析的、面向主題的、集成的、不可更新的、隨時間不斷變化的數(shù)據(jù)集合。 10.3.2 數(shù)據(jù)倉庫及其特征數(shù)據(jù)倉庫及其特征2.2.數(shù)據(jù)倉庫數(shù)據(jù)有四個基本特征：數(shù)據(jù)倉庫數(shù)據(jù)有四個基本特征：l（1 1） 數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題l 面向主題是一個在較高層次上對數(shù)據(jù)進(jìn)行歸類與組織的標(biāo)面向主題是一個在較高層次上對數(shù)據(jù)進(jìn)行歸類與組織的標(biāo)準(zhǔn)，每個主題基于對應(yīng)一個宏觀的決策分析領(lǐng)域。準(zhǔn)，每個主題基于對應(yīng)一個宏觀的決策分析領(lǐng)域。l（2 2）數(shù)據(jù)倉庫的數(shù)據(jù)是集

39、成的）數(shù)據(jù)倉庫的數(shù)據(jù)是集成的l 首先要統(tǒng)一原始數(shù)據(jù)中所有矛盾之處，如：同名異義、單首先要統(tǒng)一原始數(shù)據(jù)中所有矛盾之處，如：同名異義、單位不同、字長不一致等，還要還要把原始數(shù)據(jù)轉(zhuǎn)變?yōu)槊嫦蛑黝}位不同、字長不一致等，還要還要把原始數(shù)據(jù)轉(zhuǎn)變?yōu)槊嫦蛑黝}方式組織的決策分析數(shù)據(jù)，然后才能放入數(shù)據(jù)倉庫中。方式組織的決策分析數(shù)據(jù)，然后才能放入數(shù)據(jù)倉庫中。l（3 3） 數(shù)據(jù)倉庫的數(shù)據(jù)是不可更新的數(shù)據(jù)倉庫的數(shù)據(jù)是不可更新的l 數(shù)據(jù)倉庫的數(shù)據(jù)室企業(yè)相當(dāng)一段時間內(nèi)的歷史數(shù)據(jù)，它主數(shù)據(jù)倉庫的數(shù)據(jù)室企業(yè)相當(dāng)一段時間內(nèi)的歷史數(shù)據(jù)，它主要供企業(yè)決策分析之用，所涉及的操作主要是數(shù)據(jù)查詢，一般要供企業(yè)決策分析之用，所涉及的操作主要是

40、數(shù)據(jù)查詢，一般沒有更新操作。沒有更新操作。l（4 4） 數(shù)據(jù)倉庫的數(shù)據(jù)是隨時間變化的數(shù)據(jù)倉庫的數(shù)據(jù)是隨時間變化的l 數(shù)據(jù)倉庫隨時間變化不斷增加新的數(shù)據(jù)內(nèi)容。數(shù)據(jù)倉庫隨時間變化不斷增加新的數(shù)據(jù)內(nèi)容。l 數(shù)據(jù)倉庫隨時間變化不斷刪去舊的數(shù)據(jù)內(nèi)容。數(shù)據(jù)倉庫隨時間變化不斷刪去舊的數(shù)據(jù)內(nèi)容。l 數(shù)據(jù)倉庫中包含有大量的綜合數(shù)據(jù)，且隨著時間的變化不斷數(shù)據(jù)倉庫中包含有大量的綜合數(shù)據(jù)，且隨著時間的變化不斷地進(jìn)行重新綜合。地進(jìn)行重新綜合。10.3.3 數(shù)據(jù)倉庫系統(tǒng)的組成數(shù)據(jù)倉庫系統(tǒng)的組成l 數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)倉庫系統(tǒng)(Data Warehouse System(Data Warehouse System，DWS)DW

41、S)的組成：的組成：數(shù)據(jù)抽取數(shù)據(jù)抽取工具、數(shù)據(jù)倉庫、工具、數(shù)據(jù)倉庫、元數(shù)據(jù)、數(shù)據(jù)倉庫管理系統(tǒng)、訪問工具。元數(shù)據(jù)、數(shù)據(jù)倉庫管理系統(tǒng)、訪問工具。l 數(shù)據(jù)抽取工具：數(shù)據(jù)抽取工具：它將面向聯(lián)機事務(wù)處理（它將面向聯(lián)機事務(wù)處理（ on line transaction on line transaction processing OLTP)processing OLTP)應(yīng)用的數(shù)據(jù)庫中已有的數(shù)據(jù)抽取出來，并按照主題應(yīng)用的數(shù)據(jù)庫中已有的數(shù)據(jù)抽取出來，并按照主題組織成決策分析所需的綜合數(shù)據(jù)，一般由監(jiān)視器和集成器兩部組織成決策分析所需的綜合數(shù)據(jù)，一般由監(jiān)視器和集成器兩部分組成。分組成。l 監(jiān)視器負(fù)責(zé)感知數(shù)據(jù)源中

42、數(shù)據(jù)所發(fā)生的變化，并對變化的數(shù)監(jiān)視器負(fù)責(zé)感知數(shù)據(jù)源中數(shù)據(jù)所發(fā)生的變化，并對變化的數(shù)據(jù)按數(shù)據(jù)倉庫的主題需求抽取數(shù)據(jù)。據(jù)按數(shù)據(jù)倉庫的主題需求抽取數(shù)據(jù)。l 集成器將從集成器將從OLTPOLTP數(shù)據(jù)庫中提取的數(shù)據(jù)經(jīng)過轉(zhuǎn)換、計算、綜合數(shù)據(jù)庫中提取的數(shù)據(jù)經(jīng)過轉(zhuǎn)換、計算、綜合等操作，集成后追加到數(shù)據(jù)倉庫等操作，集成后追加到數(shù)據(jù)倉庫(DW)(DW)中去。中去。l 數(shù)據(jù)倉庫：數(shù)據(jù)倉庫：存貯已經(jīng)按主題組織的數(shù)據(jù)，供決策分析處理之存貯已經(jīng)按主題組織的數(shù)據(jù)，供決策分析處理之用。在整個數(shù)據(jù)系統(tǒng)中，數(shù)據(jù)倉庫居于核心地位，是信息分析用。在整個數(shù)據(jù)系統(tǒng)中，數(shù)據(jù)倉庫居于核心地位，是信息分析和挖掘的基礎(chǔ)。和挖掘的基礎(chǔ)。10.3.

43、3 數(shù)據(jù)倉庫系統(tǒng)的組成數(shù)據(jù)倉庫系統(tǒng)的組成l 元數(shù)據(jù)：元數(shù)據(jù)：描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)，描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)，是數(shù)據(jù)倉庫的重要組成部分。主要有兩種元數(shù)據(jù)：是數(shù)據(jù)倉庫的重要組成部分。主要有兩種元數(shù)據(jù)：l 為從操作型環(huán)境向數(shù)據(jù)倉庫環(huán)境轉(zhuǎn)換而建立的元數(shù)據(jù)，它包為從操作型環(huán)境向數(shù)據(jù)倉庫環(huán)境轉(zhuǎn)換而建立的元數(shù)據(jù)，它包含了所有源數(shù)據(jù)項目名、屬性及其在數(shù)據(jù)倉庫中的轉(zhuǎn)換；含了所有源數(shù)據(jù)項目名、屬性及其在數(shù)據(jù)倉庫中的轉(zhuǎn)換；l 用來與終端用戶的多維商業(yè)模型用來與終端用戶的多維商業(yè)模型/ /前端工具之間建立映射的元前端工具之間建立映射的元數(shù)據(jù)，稱為數(shù)據(jù)，稱為DSSDSS元數(shù)據(jù)，常用來

44、支持開發(fā)更先進(jìn)的決策支持工具。元數(shù)據(jù)，常用來支持開發(fā)更先進(jìn)的決策支持工具。l數(shù)據(jù)倉庫管理系統(tǒng)（數(shù)據(jù)倉庫管理系統(tǒng)（ DWMSDWMS）：）：整個數(shù)據(jù)倉庫系統(tǒng)運轉(zhuǎn)管整個數(shù)據(jù)倉庫系統(tǒng)運轉(zhuǎn)管理引擎，它提供負(fù)責(zé)數(shù)據(jù)定義，數(shù)據(jù)操縱和系統(tǒng)運行管理等功能。理引擎，它提供負(fù)責(zé)數(shù)據(jù)定義，數(shù)據(jù)操縱和系統(tǒng)運行管理等功能。l 訪問工具：訪問工具：用戶訪問數(shù)據(jù)倉庫的手段，是整個系統(tǒng)發(fā)揮作用戶訪問數(shù)據(jù)倉庫的手段，是整個系統(tǒng)發(fā)揮作用的關(guān)鍵和重要組成部分。用的關(guān)鍵和重要組成部分。l 訪問工具主要包括：數(shù)據(jù)查詢和報表工具、應(yīng)用開發(fā)工具、訪問工具主要包括：數(shù)據(jù)查詢和報表工具、應(yīng)用開發(fā)工具、聯(lián)機分析工具聯(lián)機分析工具（on line

45、analytic processing OATPon line analytic processing OATP）、）、數(shù)據(jù)挖掘工具數(shù)據(jù)挖掘工具（date mining ,DM)date mining ,DM)等等. .10.3.4 數(shù)據(jù)倉庫中數(shù)據(jù)的組織數(shù)據(jù)倉庫中數(shù)據(jù)的組織 l1 1、數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu)、數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu)l 以早期細(xì)節(jié)級、當(dāng)前細(xì)節(jié)級、輕度綜合級和高度綜合級以早期細(xì)節(jié)級、當(dāng)前細(xì)節(jié)級、輕度綜合級和高度綜合級形成的四級組織結(jié)構(gòu)。形成的四級組織結(jié)構(gòu)。比如：一個企業(yè)的數(shù)據(jù)倉庫中對應(yīng)的四個階段：比如：一個企業(yè)的數(shù)據(jù)倉庫中對應(yīng)的四個階段：2005-20102005-2010年的銷售

46、明細(xì)表、年的銷售明細(xì)表、2005-20102005-2010銷售情況表、銷售情況表、 2005-20102005-2010每周銷售每周銷售表、表、 2005-20102005-2010每月銷售表。每月銷售表。l 數(shù)據(jù)倉庫中存在著不同的綜合級別，一般稱之為數(shù)據(jù)倉庫中存在著不同的綜合級別，一般稱之為“粒度粒度”，粒度越，粒度越大，表示細(xì)節(jié)程度越低，綜合程度越高。大，表示細(xì)節(jié)程度越低，綜合程度越高。l2 2、數(shù)據(jù)倉庫的數(shù)據(jù)組織形式、數(shù)據(jù)倉庫的數(shù)據(jù)組織形式l 兩種常見數(shù)據(jù)組織形式：兩種常見數(shù)據(jù)組織形式：l 簡單堆積文件。它將每日從簡單堆積文件。它將每日從OLTPOLTP數(shù)據(jù)庫中提取和加工得到數(shù)據(jù)庫中提

47、取和加工得到的數(shù)據(jù)逐天積累地存儲起來形成一個數(shù)據(jù)文件。的數(shù)據(jù)逐天積累地存儲起來形成一個數(shù)據(jù)文件。l 輪轉(zhuǎn)綜合文件。數(shù)據(jù)存儲單位被分為日、周、月、年等幾輪轉(zhuǎn)綜合文件。數(shù)據(jù)存儲單位被分為日、周、月、年等幾個級別。個級別。 l 3 3、數(shù)據(jù)倉庫工具的分類、數(shù)據(jù)倉庫工具的分類l 查詢工具查詢工具l 一般是對數(shù)據(jù)分析結(jié)果一般是對數(shù)據(jù)分析結(jié)果( (發(fā)展趨勢或模式總結(jié)發(fā)展趨勢或模式總結(jié)) )的查詢。的查詢。而不是對記錄級別數(shù)據(jù)的查詢。而不是對記錄級別數(shù)據(jù)的查詢。l 驗證型工具驗證型工具l 根據(jù)用戶提出的假設(shè)，利用各種工具通過反復(fù)的、遞歸的檢根據(jù)用戶提出的假設(shè)，利用各種工具通過反復(fù)的、遞歸的檢索查詢索查詢DW

48、DW以驗證或否定用戶的假設(shè)。以驗證或否定用戶的假設(shè)。l 從用戶的觀點，驗證工具是從從用戶的觀點，驗證工具是從DWDW中發(fā)現(xiàn)事實，主要工具是中發(fā)現(xiàn)事實，主要工具是聯(lián)聯(lián)機分析工具機分析工具（on line analytic processing OATPon line analytic processing OATP），它提供多），它提供多維分析工具，能從多個可能的觀察角度對數(shù)據(jù)進(jìn)行快速、一致和維分析工具，能從多個可能的觀察角度對數(shù)據(jù)進(jìn)行快速、一致和交互性的存取，使用戶能對數(shù)據(jù)進(jìn)行深入地分析和多角度觀察。交互性的存取，使用戶能對數(shù)據(jù)進(jìn)行深入地分析和多角度觀察。l 發(fā)掘型工具發(fā)掘型工具l 發(fā)掘型的應(yīng)

49、用主要負(fù)責(zé)從大量數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)模式，預(yù)發(fā)掘型的應(yīng)用主要負(fù)責(zé)從大量數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)模式，預(yù)測趨勢和行為。測趨勢和行為。 l4 4、OLAP OLAP (on line analytic processing)分析工具分析工具l OLAP的概念l OLAP OLAP是支持信息管理和業(yè)務(wù)管理人員是支持信息管理和業(yè)務(wù)管理人員決策活動的一種決策分析工具。它可以根據(jù)決策活動的一種決策分析工具。它可以根據(jù)分析人員的要求，迅速、靈活地對大量數(shù)據(jù)分析人員的要求，迅速、靈活地對大量數(shù)據(jù)進(jìn)行復(fù)雜的查詢處理，并且以直觀的、容易進(jìn)行復(fù)雜的查詢處理，并且以直觀的、容易理解的形式將查詢結(jié)果提供給各種決策人員，理解的形式將查詢

50、結(jié)果提供給各種決策人員，使他們迅速、準(zhǔn)確地掌握企業(yè)的運營情況，使他們迅速、準(zhǔn)確地掌握企業(yè)的運營情況，了解市場的需求。了解市場的需求。l 在線(On-Line)(On-Line)l 表現(xiàn)為對用戶請求的快速響應(yīng)和交互操作，表現(xiàn)為對用戶請求的快速響應(yīng)和交互操作，它的實現(xiàn)是由客戶機服務(wù)器體系結(jié)構(gòu)完成它的實現(xiàn)是由客戶機服務(wù)器體系結(jié)構(gòu)完成的的. .l 多維分析(Multi-Analysis)(Multi-Analysis)l 對數(shù)據(jù)進(jìn)行多維分析，是對數(shù)據(jù)進(jìn)行多維分析，是OLAPOLAP技術(shù)的核心技術(shù)的核心所在。系統(tǒng)必須提供對數(shù)據(jù)分析的多維視圖所在。系統(tǒng)必須提供對數(shù)據(jù)分析的多維視圖和分析，包括對層次維和多重

51、層次維的完全和分析，包括對層次維和多重層次維的完全支持。支持。l OLAPOLAP展現(xiàn)在用戶面前的是一幅幅多維視圖。展現(xiàn)在用戶面前的是一幅幅多維視圖。 (2) OLAP (2) OLAP技術(shù)主要有兩個特點技術(shù)主要有兩個特點l 變量：對數(shù)據(jù)的實際意義的描述，即描述數(shù)據(jù)對數(shù)據(jù)的實際意義的描述，即描述數(shù)據(jù)“是什么是什么”。l 維：維是人們觀察數(shù)據(jù)的特定角度。例如，時間：維是人們觀察數(shù)據(jù)的特定角度。例如，時間維、地理維、產(chǎn)品維等。維、地理維、產(chǎn)品維等。l 維的層次：人們在某個維上觀察數(shù)據(jù)時的細(xì)節(jié)程：人們在某個維上觀察數(shù)據(jù)時的細(xì)節(jié)程度描述。例如，時間維上可以有：日，月，季，年度描述。例如，時間維上可以有

52、：日，月，季，年等不同層次。等不同層次。l 維成員：維的一個取值稱為該維上的一個維成員。：維的一個取值稱為該維上的一個維成員。l 多維數(shù)組( (超立方體超立方體) )：( (維維1, 1, 維維2, , 2, , 維維n, n, 變量變量) )為為一個一個n n維數(shù)組。維數(shù)組。l 數(shù)據(jù)單元( (單元格單元格) )：多維數(shù)組的一個取值稱為數(shù)：多維數(shù)組的一個取值稱為數(shù)據(jù)單元。據(jù)單元。 OLAPOLAP的多維數(shù)據(jù)概念的多維數(shù)據(jù)概念 l OLAP的多維數(shù)據(jù)結(jié)構(gòu)l l 超立方結(jié)構(gòu)(Hypercube)(Hypercube)：描述一個：描述一個數(shù)據(jù)對象的三維或更多維數(shù)組，且每個數(shù)據(jù)對象的三維或更多維數(shù)組，

53、且每個維彼此垂直，數(shù)據(jù)空間的各個部分都有維彼此垂直，數(shù)據(jù)空間的各個部分都有相同的維屬性。相同的維屬性。 l 多立方結(jié)構(gòu)(Multicube)(Multicube)：多個小的多多個小的多維結(jié)構(gòu)的集合，它表示了一個大的超立維結(jié)構(gòu)的集合，它表示了一個大的超立方結(jié)構(gòu)。方結(jié)構(gòu)。 10.4 數(shù)據(jù)挖掘 1.1.數(shù)據(jù)挖掘數(shù)據(jù)挖掘 數(shù)據(jù)挖掘是從超大型數(shù)據(jù)庫（VLDB）或數(shù)據(jù)倉庫中發(fā)現(xiàn)并提取隱藏在內(nèi)的模式的過程，這些模式是有效的、新穎的、有潛在使用價值的和易于理解的。目的是幫助決策者尋找數(shù)據(jù)間潛在的關(guān)聯(lián)，發(fā)現(xiàn)經(jīng)營者被忽略的要素，而這些要素對預(yù)測趨勢、決策行為也許是十分有用的信息。 此外，數(shù)據(jù)挖掘的對象除傳統(tǒng)數(shù)據(jù)庫

54、和數(shù)據(jù)倉庫外，現(xiàn)在擴展到Internet環(huán)境下的Web數(shù)據(jù)挖掘等許多方面。 l2.2.常用的技術(shù)方法常用的技術(shù)方法l DMDM的技術(shù)基礎(chǔ)是人工智能，其常用的技術(shù)方法有的技術(shù)基礎(chǔ)是人工智能，其常用的技術(shù)方法有：人工神經(jīng)網(wǎng)絡(luò)、遺傳算法人工神經(jīng)網(wǎng)絡(luò)、遺傳算法、決策樹方法、粗集方法等。l 人工神經(jīng)網(wǎng)絡(luò)：人工神經(jīng)網(wǎng)絡(luò)：對人類大腦的一種物理結(jié)構(gòu)上的對人類大腦的一種物理結(jié)構(gòu)上的模擬，即以計算機仿真的方法，從物理結(jié)構(gòu)上模擬人模擬，即以計算機仿真的方法，從物理結(jié)構(gòu)上模擬人腦，以使系統(tǒng)具有人腦的某些智能。主要有三種神經(jīng)腦，以使系統(tǒng)具有人腦的某些智能。主要有三種神經(jīng)網(wǎng)絡(luò)模型：網(wǎng)絡(luò)模型：l 前饋式網(wǎng)絡(luò)。前饋式網(wǎng)絡(luò)。l

55、 反饋式網(wǎng)絡(luò)。反饋式網(wǎng)絡(luò)。l 自組織網(wǎng)絡(luò)。自組織網(wǎng)絡(luò)。l 遺傳算法遺傳算法l一種模擬生物進(jìn)化過程的優(yōu)化算法，它將繁殖、雜交、一種模擬生物進(jìn)化過程的優(yōu)化算法，它將繁殖、雜交、變異、競爭和選擇等概念引入到算法中。變異、競爭和選擇等概念引入到算法中。l 決策樹方法：一種利用信息論中的互信息一種利用信息論中的互信息( (信信息增益息增益) )尋找數(shù)據(jù)庫中具有最大信息量的屬性字尋找數(shù)據(jù)庫中具有最大信息量的屬性字段，建立決策樹的算法方法。段，建立決策樹的算法方法。l 粗集方法：利用粗集利用粗集(Rough set)(Rough set)理論處理不理論處理不確定和不精確問題的新型數(shù)學(xué)方法。確定和不精確問題的

56、新型數(shù)學(xué)方法。l 其它還有鄰近搜索方法、規(guī)則推理、模糊邏輯和公式發(fā)現(xiàn)等。等。 3 3、DMDM的分析方法的分析方法 關(guān)聯(lián)分析：分析并挖掘出隱藏在數(shù)據(jù)之間的相互聯(lián)系，分析并挖掘出隱藏在數(shù)據(jù)之間的相互聯(lián)系，即對給定的一組項目即對給定的一組項目(Item)(Item)和一個記錄集合，通過分析這個和一個記錄集合，通過分析這個記錄集合，推導(dǎo)出項目間的相關(guān)性。關(guān)聯(lián)分析中用戶需要輸記錄集合，推導(dǎo)出項目間的相關(guān)性。關(guān)聯(lián)分析中用戶需要輸入的兩個參數(shù)：入的兩個參數(shù)：l 最小置信度(Confidence)(Confidence)，以濾掉可能性過小的規(guī)則。，以濾掉可能性過小的規(guī)則。l 最小支持度(Support)(Support)，以表示這種規(guī)則發(fā)生的概率，即，以表示這種規(guī)則發(fā)生的概率，即可信度?？尚哦?。l 序列模式分析：分析并挖掘出數(shù)據(jù)之間在時間維上的前后分析并挖掘出數(shù)據(jù)之間在時間維上的前后因果關(guān)系。因果關(guān)系。l 分類分析：對給定集