數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)

數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)數(shù)據(jù)倉庫庫和數(shù)據(jù)據(jù)挖掘的的OLAP技術(shù)什么是數(shù)數(shù)據(jù)倉庫庫？多維數(shù)據(jù)據(jù)模型數(shù)據(jù)倉庫庫的體系系結(jié)構(gòu)數(shù)據(jù)倉庫庫實現(xiàn)數(shù)據(jù)立方方體技術(shù)術(shù)的進一一步發(fā)展展從數(shù)據(jù)倉倉庫到數(shù)數(shù)據(jù)挖掘掘什么是數(shù)數(shù)據(jù)倉庫庫?數(shù)據(jù)倉庫庫的定義義很多，，但卻很很難有一一種嚴(yán)格格的定義義它是一個個提供決決策支持持功能的的數(shù)據(jù)庫庫，它與與公司的的操作數(shù)數(shù)據(jù)庫分分開維護護。為統(tǒng)一的的歷史數(shù)數(shù)據(jù)分析析提供堅堅實的平平臺，對對信息處處理提供供支持“數(shù)據(jù)倉倉庫是一一個面向向主題的的、集成成的、隨隨時間而而變化的的、不容容易丟失失的數(shù)據(jù)據(jù)集合，，支持管管理部門門的決策策過程.”—W.H.Inmon（數(shù)據(jù)倉倉庫構(gòu)造造方面的的領(lǐng)頭設(shè)設(shè)計師））建立數(shù)據(jù)據(jù)倉庫(datawarehousing)::構(gòu)造和使使用數(shù)據(jù)據(jù)倉庫的的過程。。數(shù)據(jù)倉庫庫關(guān)鍵特特征一——面向主題題圍繞一些些主題，，如顧客客、供應(yīng)應(yīng)商、產(chǎn)產(chǎn)品等關(guān)注決策策者的數(shù)數(shù)據(jù)建模模與分析析，而不不是集中中于組織織機構(gòu)的的日常操操作和事事務(wù)處理理。排除對于于決策無無用的數(shù)數(shù)據(jù)，提提供特定定主題的的簡明視視圖。數(shù)據(jù)倉庫庫關(guān)鍵特特征二——數(shù)據(jù)集成成一個數(shù)據(jù)據(jù)倉庫是是通過集集成多個個異種數(shù)數(shù)據(jù)源來來構(gòu)造的的。關(guān)系數(shù)據(jù)據(jù)庫，一一般文件件，聯(lián)機機事務(wù)處處理記錄錄使用數(shù)據(jù)據(jù)清理和和數(shù)據(jù)集集成技術(shù)術(shù)。確保命名名約定、、編碼結(jié)結(jié)構(gòu)、屬屬性度量量等的一一致性。。當(dāng)數(shù)據(jù)被被移到數(shù)數(shù)據(jù)倉庫庫時，它它們要經(jīng)經(jīng)過轉(zhuǎn)化化。數(shù)據(jù)倉庫庫關(guān)鍵特特征三——隨時間而而變化數(shù)據(jù)倉庫庫的時間間范圍比比操作數(shù)數(shù)據(jù)庫系系統(tǒng)要長長的多。。操作數(shù)據(jù)據(jù)庫系統(tǒng)統(tǒng):主要保存存當(dāng)前數(shù)數(shù)據(jù)。數(shù)據(jù)倉庫庫:從歷史的的角度提提供信息息（比如如過去5-10年）數(shù)據(jù)倉庫庫中的每每一個關(guān)關(guān)鍵結(jié)構(gòu)構(gòu)都隱式式或顯式式地包含含時間元元素，而而操作數(shù)數(shù)據(jù)庫中中的關(guān)鍵鍵結(jié)構(gòu)可可能就不不包括時時間元素素。數(shù)據(jù)倉庫庫關(guān)鍵特特征四——數(shù)據(jù)不易易丟失盡管數(shù)據(jù)據(jù)倉庫中中的數(shù)據(jù)據(jù)來自于于操作數(shù)數(shù)據(jù)庫，，但他們們卻是在在物理上上分離保保存的。。操作數(shù)據(jù)據(jù)庫的更更新操作作不會出出現(xiàn)在數(shù)數(shù)據(jù)倉庫庫環(huán)境下下。不需要事事務(wù)處理理，恢復(fù)復(fù)，和并并發(fā)控制制等機制制只需要兩兩種數(shù)據(jù)據(jù)訪問:數(shù)據(jù)的初初始轉(zhuǎn)載載和數(shù)據(jù)據(jù)訪問（（讀操作作）數(shù)據(jù)倉庫庫與異種種數(shù)據(jù)庫庫集成傳統(tǒng)的異異種數(shù)據(jù)據(jù)庫集成成:在多個異異種數(shù)據(jù)據(jù)庫上建建立包裝裝程序（（wrappers）和中介介程序（（mediators）查詢驅(qū)動動方法——當(dāng)從客戶戶端傳過過來一個個查詢時時，首先先使用元元數(shù)據(jù)字字典將查查詢轉(zhuǎn)換換成相應(yīng)應(yīng)異種數(shù)數(shù)據(jù)庫上上的查詢詢；然后后，將這這些查詢詢映射和和發(fā)送到到局部查查詢處理理器缺點：復(fù)復(fù)雜的信信息過慮慮和集成成處理，，競爭資資源數(shù)據(jù)倉庫庫:更新驅(qū)動動將來自多多個異種種源的信信息預(yù)先先集成，，并存儲儲在數(shù)據(jù)據(jù)倉庫中中，供直直接查詢詢和分析析高性能數(shù)據(jù)倉庫庫與操作作數(shù)據(jù)庫庫系統(tǒng)操作數(shù)據(jù)據(jù)庫系統(tǒng)統(tǒng)的主要要任務(wù)是是聯(lián)機事事務(wù)處理理OLTP日常操作作:購買，庫庫存，銀銀行，制制造，工工資，注注冊，記記帳等數(shù)據(jù)倉庫庫的主要要任務(wù)是是聯(lián)機分分析處理理OLAP數(shù)據(jù)分析析和決策策OLTP和OLAP的主要區(qū)區(qū)別：用戶和系系統(tǒng)的面面向性:顧客VS.市場數(shù)據(jù)內(nèi)容容:當(dāng)前的、、詳細(xì)的的數(shù)據(jù)VS.歷史的、、匯總的的數(shù)據(jù)數(shù)據(jù)庫設(shè)設(shè)計:實體－聯(lián)聯(lián)系模型型(ER))和面向應(yīng)應(yīng)用的數(shù)數(shù)據(jù)庫設(shè)設(shè)計VS.星型/雪花模型型和面向向主題的的數(shù)據(jù)庫庫設(shè)計視圖:當(dāng)前的、、企業(yè)內(nèi)內(nèi)部的數(shù)數(shù)據(jù)VS.經(jīng)過演化化的、集集成的數(shù)數(shù)據(jù)訪問模式式:事務(wù)操作作VS.只讀查詢詢（但很很多是復(fù)復(fù)雜的查查詢）OLTP系統(tǒng)和OLAP系統(tǒng)的比比較特征OLTPOLAP任務(wù)特點操作處理信息處理面向事務(wù)分析用戶辦事員、DBA、數(shù)據(jù)庫專業(yè)人員經(jīng)理、主管、數(shù)據(jù)分析員功能日常操作長期信息分析、決策支持DB設(shè)計基于E-R，面向應(yīng)用星型/雪花，面向主體數(shù)據(jù)最新的、詳細(xì)的歷史的、匯總的視圖詳細(xì)的、二維關(guān)系型匯總的、多維的任務(wù)單位簡短的事務(wù)復(fù)雜的查詢訪問數(shù)據(jù)量數(shù)十個數(shù)百萬個用戶數(shù)數(shù)千個數(shù)百個DB規(guī)模100M-數(shù)GB100GB-數(shù)TB優(yōu)先性高性能、高可用性高靈活性、端點用戶自治度量事務(wù)吞吐量查詢吞吐量、響應(yīng)時間為什么需需要一個個分離的的數(shù)據(jù)倉倉庫?提高兩個個系統(tǒng)的的性能DBMS是為OLTP而設(shè)計的的：存儲儲方式,索引,并發(fā)控制制,恢復(fù)數(shù)據(jù)倉庫庫是為OLAP而設(shè)計：：復(fù)雜的的OLAP查詢,多維視圖圖，匯總總不同的功功能和不不同的數(shù)數(shù)據(jù):歷史數(shù)據(jù)據(jù):決策支持持需要歷歷史數(shù)據(jù)據(jù)，而這這些數(shù)據(jù)據(jù)在操作作數(shù)據(jù)庫庫中一般般不會去去維護數(shù)據(jù)匯總總：決策策支持需需要將來來自異種種源的數(shù)數(shù)據(jù)統(tǒng)一一（如聚聚集和匯匯總）數(shù)據(jù)質(zhì)量量:不同的源源使用不不一致的的數(shù)據(jù)表表示、編編碼和格格式，對對這些數(shù)數(shù)據(jù)進行行有效的的分析需需要將他他們轉(zhuǎn)化化后進行行集成從關(guān)系表表和電子子表格到到數(shù)據(jù)立立方體數(shù)據(jù)倉庫庫和數(shù)據(jù)據(jù)倉庫技技術(shù)基于于多維數(shù)據(jù)據(jù)模型。這個模模型把數(shù)數(shù)據(jù)看作作是數(shù)據(jù)立方方體形式。多多維數(shù)據(jù)據(jù)模型圍圍繞中心心主題組組織，該該主題用用事實表表示。事實是數(shù)值度度量的。。數(shù)據(jù)立方方體允許以多多維數(shù)據(jù)據(jù)建模和和觀察。。它由維和事實定義。維是關(guān)于一一個組織織想要記記錄的視視角或觀觀點。每每個維都都有一個個表與之之相關(guān)聯(lián)聯(lián)，稱為為維表。事實表包括事實實的名稱稱或度量量以及每每個相關(guān)關(guān)維表的的關(guān)鍵字字在數(shù)據(jù)倉倉庫的研研究文獻獻中，一一個n維的數(shù)據(jù)據(jù)的立方方體叫做做基本方體體。給定一一個維的的集合，，我們可可以構(gòu)造造一個方體的格格，每個都都在不同同的匯總總級或不不同的數(shù)數(shù)據(jù)子集集顯示數(shù)數(shù)據(jù)，方方體的格格稱為數(shù)據(jù)立方方體。0維方體存存放最高高層的匯匯總，稱稱作頂點方體體；而存放放最底層層匯總的的方體則則稱為基本方體體。教科書第第31頁數(shù)據(jù)立方方體——一個方體體的格alltimeitemlocationsuppliertime,itemtime,locationtime,supplieritem,locationitem,supplierlocation,suppliertime,item,,locationtime,item,,suppliertime,location,supplieritem,location,suppliertime,item,location,supplier0-D((apex)cuboid1-Dcuboids2-Dcuboids3-Dcuboids4-D((base)cuboid數(shù)據(jù)倉庫庫的概念念模型最流行的的數(shù)據(jù)倉倉庫概念念模型是是多維數(shù)數(shù)據(jù)模型型。這種種模型可可以以星星型模式式、雪花花模式、、或事實實星座模模式的形形式存在在。星型模式式（Starschema）:事實表在在中心，，周圍圍圍繞地連連接著維維表（每每維一個個），事事實表含含有大量量數(shù)據(jù)，，沒有冗冗余。雪花模式式（Snowflakeschema）:是星型模模式的變變種，其其中某些些維表是是規(guī)范化化的，因因而把數(shù)數(shù)據(jù)進一一步分解解到附加加表中。。結(jié)果，，模式圖圖形成類類似于雪雪花的形形狀。事實星座座（Factconstellations）:多個事實實表共享享維表,這種模式式可以看看作星型型模式集集，因此此稱為星星系模式式（galaxyschema），或者者事實星星座（factconstellation）星型模式式實例

time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcitystate_or_provincecountrylocationSalesFactTabletime_keyitem_keybranch__keylocation_keyunits_solddollars_soldavg__salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranch雪花模式式實例time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcity_keylocationSalesFactTabletime_keyitem_keybranch__keylocation_keyunits_solddollars_soldavg__salesMeasuresitem_keyitem_namebrandtypesupplier_keyitembranch_keybranch_namebranch_typebranchsupplier_keysupplier_typesuppliercity_keycitystate_or_provincecountrycity事實星座座模式實實例time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcityprovince_or_statecountrylocationSalesFactTabletime_keyitem_keybranch__keylocation_keyunits_solddollars_soldavg__salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranchShippingFactTabletime_keyitem_keyshipper_keyfrom_locationto_locationdollars_costunits_shippedshipper_keyshipper_namelocation_keyshipper_typeshipper一種數(shù)據(jù)據(jù)挖掘查查詢語言言:DMQLDMQL首先包括括定義數(shù)數(shù)據(jù)倉庫庫和數(shù)據(jù)據(jù)集市的的語言原原語，這這包括兩兩種原語語定義：：一種是是立方體體定義，，一種是是維定義義立方體定定義(事實表)definecube<cube_name>[[<dimension_list>]::<<measure__list>維定義(維表)definedimension<dimension_name>>as(<attribute_or_subdimension__list>))特殊案例例(共享維表表的定義義)第一次作作為維表表定義“cubedefinition”然后：definedimension<dimension_name>>as<dimension_name__first__time>incube<cube_name_first_time>>實例：使使用DMQL定義星型型模式definecubesales_star[time,item,branch,,location]:dollars_sold==sum((sales__in__dollars),,avg_sales==avg(sales_in_dollars),units__sold==count(*))definedimensiontimeas(time_key,,day,day_of_week,,month,quarter,year)definedimensionitemas(item_key,,item__name,brand,,type,,supplier_type))definedimensionbranchas(branch_key,branch_name,,branch_type)definedimensionlocationas(location__key,street,,city,,province_or_state,country)實例：使使用DMQL定義雪花花模式definecubesales_snowflake[[time,,item,,branch,location]]:dollars_sold==sum((sales__in__dollars),,avg_sales==avg(sales_in_dollars),units__sold==count(*))definedimensiontimeas(time_key,,day,day_of_week,,month,quarter,year)definedimensionitemas(item_key,,item__name,brand,,type,,supplier(supplier_key,,supplier_type)))definedimensionbranchas(branch_key,branch_name,,branch_type)definedimensionlocationas(location__key,street,,city(city__key,province_or_state,country)))度量的分分類一個數(shù)據(jù)據(jù)立方體體的度量量是一個個數(shù)值函函數(shù)，該該函數(shù)可可以對數(shù)數(shù)據(jù)立方方體的每每一個點點求值。。度量可可以根據(jù)據(jù)其所用用的聚集集函數(shù)分分為三類類：分布的(distributive)：將函數(shù)數(shù)用于n個聚集值值得到的的結(jié)果和和將函數(shù)數(shù)用于所所有數(shù)據(jù)據(jù)得到的的結(jié)果一一樣。比如：count())，sum(()，min(()，max(()等代數(shù)的(algebraic)：函數(shù)可可以由一一個帶M個參數(shù)的的代數(shù)函函數(shù)計算算（M為有界整整數(shù)），，而每個個參數(shù)值值都可以以有一個個分布的的聚集函函數(shù)求得得。比如：avg(()，min__N())，standard_deviation(()整體的(holistic))：描述函函數(shù)的子子聚集所所需的存存儲沒有有一個常常數(shù)界。。比如：median(()，mode()，rank()概念分層層：location維的一個個概念分分層allEuropeNorth_AmericaMexicoCanadaSpainGermanyVancouverM.WindL.Chan..................allregionofficecountryTorontoFrankfurtcity多維數(shù)據(jù)據(jù)模型上上的OLAP操作上卷(roll-up)::匯總數(shù)據(jù)據(jù)通過一個個維的概概念分層層向上攀攀升或者者通過維維規(guī)約下鉆(drill--down)：上卷的的逆操作作由不太詳詳細(xì)的數(shù)數(shù)據(jù)到更更詳細(xì)的的數(shù)據(jù)，，可以通通過沿維維的概念念分層向向下或引引入新的的維來實實現(xiàn)切片和切切塊(sliceanddice))投影和選選擇操作作轉(zhuǎn)軸(pivot))立方體的的重定位位，可視視化，或或?qū)⒁粋€個3維立方體體轉(zhuǎn)化維維一個2維平面序序列其他OLAP操作鉆過(drill__across)：執(zhí)行涉涉及多個個事實表表的查詢詢鉆透(drill__through)：使用關(guān)關(guān)系SQL機制，鉆鉆到數(shù)據(jù)據(jù)立方體體的底層層，到后后端關(guān)系系表數(shù)據(jù)倉庫庫設(shè)計：：一個商商務(wù)分析析框架數(shù)據(jù)倉庫庫設(shè)計中中必須考考慮的四四種視圖圖自頂向下下視圖允許我們們選擇數(shù)數(shù)據(jù)倉庫庫所需的的相關(guān)信信息，這這些信息息能夠滿滿足當(dāng)前前和未來來商務(wù)的的需求。。數(shù)據(jù)源視視圖揭示被操操作數(shù)據(jù)據(jù)庫系統(tǒng)統(tǒng)所捕獲獲、存儲儲和管理理的信息息數(shù)據(jù)倉庫庫視圖有事實表表和維表表所組成成，提供供存放在在數(shù)據(jù)倉倉庫內(nèi)部部的信息息，包括括預(yù)先計計算的綜綜合與技技術(shù)，以以及關(guān)于于源、日日期和源源時間等等信息商務(wù)查詢詢視圖從最終用用戶的角角度透視視數(shù)據(jù)倉倉庫中的的數(shù)據(jù)數(shù)據(jù)倉庫庫的設(shè)計計過程（（P43）自頂向下下法、自自底向上上法或者者兩者的的混合方方法自頂向下下法：由由總體設(shè)設(shè)計和規(guī)規(guī)劃開始始（成熟熟）自底向上上法：以以實驗和和原型開開始（快快速）從軟件過過程的觀觀點瀑布式方方法：在在進行下下一步前前，每一一步都進進行結(jié)構(gòu)構(gòu)化和系系統(tǒng)的分分析螺旋式方方法：功功能漸增增的系統(tǒng)統(tǒng)的快速速產(chǎn)生，，相繼版版本之間間間隔很很短典型的數(shù)數(shù)據(jù)倉庫庫設(shè)計過過程選取待建建模的商務(wù)過程程選取商務(wù)務(wù)過程的的粒度選取用于于每個事事實表記記錄的維選取將安安放在事事實表中中的度量三層數(shù)據(jù)據(jù)倉庫架架構(gòu)DataWarehouseExtractTransformLoadRefreshOLAP服務(wù)器AnalysisQueryReportsDataminingMonitor&IntegratorMetadata數(shù)據(jù)源前端工具具ServeDataMartsOperational

DBsothersources數(shù)據(jù)倉庫庫服務(wù)器器OLAPServer三種數(shù)據(jù)據(jù)倉庫模模型（從從結(jié)構(gòu)的的角度））企業(yè)倉庫庫搜集關(guān)于于跨越整整個組織織的主題題的所有有信息，，來自一一個或多多個操作作的系統(tǒng)統(tǒng)，跨功功能的。。數(shù)據(jù)集市市企業(yè)范圍圍數(shù)據(jù)的的一個子子集，對對于特定定的客戶戶是有用用的。其其范圍限限于選定定的主題題，比如如一個商商場的數(shù)數(shù)據(jù)集市市獨立的數(shù)數(shù)據(jù)集市市VS.非獨立的的數(shù)據(jù)集集市（數(shù)數(shù)據(jù)來自自于企業(yè)業(yè)數(shù)據(jù)倉倉庫）虛擬倉庫庫操作數(shù)據(jù)據(jù)庫上的的一系列列視圖只有一些些可能的的匯總視視圖被物物化數(shù)據(jù)倉庫庫開發(fā)自頂向下下開發(fā)：：一種系系統(tǒng)的而而解決方方法，并并能最大大限度地地減少集集成問題題。但費費用高，，長時間間開發(fā)，，缺乏靈靈活性，，因為整整個組織織的共同同數(shù)據(jù)模模型達到到一致是是困難的的。自底向上上:設(shè)計、開開發(fā)、部部署獨立立的數(shù)據(jù)據(jù)集市方方法提供供了靈活活性、低低花費，，并能快快速回報報投資。。然后，，將分散散的數(shù)據(jù)據(jù)集市集集成，形形成一個個一致的的企業(yè)數(shù)數(shù)據(jù)倉庫庫時，可可能導(dǎo)致致問題。。數(shù)據(jù)倉庫庫開發(fā)——一個推薦薦的方法法定義高層層數(shù)據(jù)模模型數(shù)據(jù)集市市數(shù)據(jù)集市市分布式數(shù)數(shù)據(jù)集市市多層數(shù)據(jù)據(jù)倉庫企業(yè)數(shù)據(jù)據(jù)倉庫模型提煉煉模型提煉煉OLAP服務(wù)器類類型關(guān)系OLAP服務(wù)器(ROLAP))使用關(guān)系系數(shù)據(jù)庫庫或擴展展的關(guān)系系數(shù)據(jù)庫庫存放并并管理數(shù)數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)，而用用OLAP中間件支支持其余余部分包括每個個DBMS后端優(yōu)化化，聚集集導(dǎo)航邏邏輯的實實現(xiàn)，附附加的工工具和服服務(wù)較大的可可擴展性性多維OLAP服務(wù)器(MOLAP))基于數(shù)組組的多維維存儲引引擎（稀稀疏矩陣陣技術(shù)））能對預(yù)計計算的匯匯總數(shù)據(jù)據(jù)快速索索引混合OLAP服務(wù)器(HOLAP))結(jié)合上述述兩種技技術(shù)，更更大的使使用靈活活性特殊的SQL服務(wù)器在星型和和雪花模模型上支支持SQL查詢數(shù)據(jù)倉庫庫的實現(xiàn)現(xiàn)難點海量數(shù)據(jù)據(jù)快速反應(yīng)應(yīng)OLAP服務(wù)器要要在幾秒秒內(nèi)響應(yīng)應(yīng)決策支支持查詢詢方法高效的數(shù)數(shù)據(jù)立方方體計算算技術(shù)高效的存存取方法法高效的查查詢處理理技術(shù)數(shù)據(jù)立方方體的有有效計算算數(shù)據(jù)立方方體可以以被看成成是一個個方體的格格最底層的的方體是是基本方方體最頂端的的方體（（頂點））只包含含一個單單元的值值一個n維的數(shù)據(jù)據(jù)立方體體，每維維Li層，可能能產(chǎn)生的的方體總總數(shù)是多多少？數(shù)據(jù)立方方體的物化（materialization))預(yù)先計算算所有方方體（全物化）:需要海量量存儲空空間，存存放預(yù)先先計算的的方體不預(yù)先計計算任何何“非基基本”方方體（不物化），在運運行時計計算昂貴貴的多維維聚集，，可能很很慢有選擇的的計算一一個所有有方體的的適當(dāng)子子集（部分物化化）：相應(yīng)應(yīng)時間和和存儲空空間的折折中。確定物化化哪些方方體考慮工作作負(fù)荷下下的查詢詢、它們們的頻率率和它們們的開銷銷等等方體的操操作DMQL中的方體體定義和和計算definecubesales[item,city,year]:sum(sales_in_dollars))computecubesales上述的computecube子句可以以轉(zhuǎn)化為為一個類類似于SQL的語句SELECTitem,city,year,SUM(amount))FROMSALESCUBEBYitem,city,year需要計算算以下的的groupby子句(item,city,year)(item,city),,(itemyear)),((city,year)(item),,(city),((year))()(item)(city)()(year)(city,item)(city,year)(item,year)(city,item,year)方體計算算：關(guān)系系型OLAP的方法（（ROLAP）方體計算算的有效效方法基于ROLAP的方體算算法(Agarwaletal’96)基于數(shù)組組的算法法(MOLAP))(Zhaoetal’’97))自底向上上的計算算方法(Beyer&&Ramarkrishnan’99)H-cubing技術(shù)(Han,Pei,,Dong&&Wang:SIGMOD’01)基于ROLAP的方法將排序、、散列(hashing)和分組操操作應(yīng)用用于維的的屬性，，以便對對相關(guān)元元組重新新排序和和聚類在某些子子聚集上上分組，，作為““部分分分組步驟驟”?？梢杂梢砸郧坝嬎闼愕木奂嬎阈滦碌木奂?，而不不必有基基本事實實表計算算方體計算算的多路路數(shù)組聚聚集方法法(1)將數(shù)組分分成塊（（chunk,一個可以以裝入內(nèi)內(nèi)存的小小子方））壓縮的稀稀疏數(shù)組組尋址：：(chunk__id,,offset)通過訪問問立方體體單元，，計算聚聚集。可可以優(yōu)化化訪問單單元組的的次序，，使得每每個單元元被訪問問的次數(shù)數(shù)最小化化，從而而減少內(nèi)內(nèi)存訪問問和磁盤盤I/O的開銷。。A(month)B29303132123459131415166463626148474645a1a0c3c2c1c0b3b2b1b0a2a3C(item)B(city)442856402452362060哪個是多多路數(shù)組組聚集的的最佳遍遍歷次序序？方體計算算的多路路數(shù)組聚聚集方法法(2)A(month)40B29303132123459131415166463626148474645a1a0c3c2c1c0b3b2b1b0a2a3C(item)4000442856402452362060B(city))400方體計算算的多路路數(shù)組聚聚集方法法(3)AB29303132123459131415166463626148474645a1a0c3c2c1c0b3b2b1b0a2a3C442856402452362060B方體計算算的多路路數(shù)組聚聚集方法法(4)方法：各各平面要要按他們們大小的的升序排排列進行行排序和和計算詳見書P50例2.12思想：將將最小的的平面放放在內(nèi)存存中，對對最大的的平面每每次只是是取并計計算一塊塊這種方法法的限制制：只有有在維數(shù)數(shù)比較小小的情況況下，效效果才比比較理想想(要計算的的立方體體隨維數(shù)數(shù)指數(shù)增增長)如果維的的數(shù)目比比較多，，可以考考慮使用用“自底底向上的的計算””或者時時“冰山山方體””計算算元數(shù)據(jù)存存儲在數(shù)據(jù)倉倉庫中，，元數(shù)據(jù)據(jù)就是定定義數(shù)據(jù)據(jù)倉庫對對象的數(shù)數(shù)據(jù)。關(guān)關(guān)于數(shù)據(jù)據(jù)的數(shù)據(jù)據(jù)。有以以下幾種種：數(shù)據(jù)倉庫庫結(jié)構(gòu)的的描述倉庫模式式、視圖圖、維、、層次結(jié)結(jié)構(gòu)、導(dǎo)導(dǎo)出數(shù)據(jù)據(jù)的定義義，以及及數(shù)據(jù)集集市的位位置和內(nèi)內(nèi)容操作元數(shù)數(shù)據(jù)包括數(shù)據(jù)據(jù)血統(tǒng)(datalineage)、數(shù)據(jù)類類別(currencyofdata)，以及監(jiān)監(jiān)視信息息匯總用的的算法：：包括度量量和維定定義算法法，數(shù)據(jù)據(jù)粒度、、分割、、主題領(lǐng)領(lǐng)域、聚聚集、匯匯總、預(yù)預(yù)定義的的查詢和和報告由操作環(huán)環(huán)境到數(shù)數(shù)據(jù)倉庫庫的映射射：數(shù)據(jù)提取取、清理理、轉(zhuǎn)換換規(guī)則、、剪裁規(guī)規(guī)則、安安全等關(guān)于系統(tǒng)統(tǒng)性能的的數(shù)據(jù)索引，profiles，數(shù)據(jù)刷刷新、更更新或復(fù)復(fù)制事件件的調(diào)度度和定時時商務(wù)元數(shù)數(shù)據(jù)商務(wù)術(shù)語語和定義義、數(shù)據(jù)據(jù)擁有者者信息、、收費政政策等元數(shù)據(jù)的的使用元數(shù)據(jù)與與數(shù)據(jù)一一起，構(gòu)構(gòu)成了數(shù)數(shù)據(jù)倉庫庫中的數(shù)數(shù)據(jù)模型型，元數(shù)數(shù)據(jù)所描描述的更更多的是是這個模模型的結(jié)結(jié)構(gòu)方面面的信息息。在數(shù)據(jù)倉倉庫中，，元數(shù)據(jù)據(jù)的主要要用途包包括：用作目錄錄，幫助助決策支支持系統(tǒng)統(tǒng)分析者者對數(shù)據(jù)據(jù)倉庫的的內(nèi)容定定義作為數(shù)據(jù)據(jù)倉庫和和操作性性數(shù)據(jù)庫庫之間進進行數(shù)據(jù)據(jù)轉(zhuǎn)換時時的映射射標(biāo)準(zhǔn)用于指導(dǎo)導(dǎo)當(dāng)前細(xì)細(xì)節(jié)數(shù)據(jù)據(jù)和稍加加綜合的的數(shù)據(jù)之之間的匯匯總算法法，指導(dǎo)導(dǎo)稍加綜綜合的數(shù)數(shù)據(jù)和高高度綜合合的數(shù)據(jù)據(jù)之間的的匯總算算法。數(shù)據(jù)倉庫庫后端工工具和使使用程序序用于加載載和刷新新它的數(shù)數(shù)據(jù)數(shù)據(jù)提取?。簭亩鄠€外外部的異異構(gòu)數(shù)據(jù)據(jù)源收集集數(shù)據(jù)數(shù)據(jù)清理理檢測數(shù)據(jù)據(jù)種的錯錯誤并作作可能的的訂正數(shù)據(jù)變換換將數(shù)據(jù)由由歷史或或主機的的格式轉(zhuǎn)轉(zhuǎn)化為數(shù)數(shù)據(jù)倉庫庫的格式式裝載排序、匯匯總、合合并、計計算視圖圖，檢查查完整性性，并建建立索引引和分區(qū)區(qū)刷新將數(shù)據(jù)源源的更新新傳播到到數(shù)據(jù)倉倉庫中數(shù)據(jù)倉庫庫的應(yīng)用用數(shù)據(jù)倉庫庫的三種種應(yīng)用信息處理理支持查詢詢和基本本的統(tǒng)計計分析，，并使用用交叉表表、表、、圖標(biāo)和和圖進行行報表處處理分析處理理對數(shù)據(jù)倉倉庫中的的數(shù)據(jù)進進行多維維數(shù)據(jù)分分析支持基本本的OLAP操作，切切塊、切切片、上上卷、下下鉆、轉(zhuǎn)轉(zhuǎn)軸等數(shù)據(jù)挖掘掘從隱藏模模式中發(fā)發(fā)現(xiàn)知識識支持關(guān)聯(lián)聯(lián)分析，，構(gòu)建分分析性模模型，分分類和預(yù)預(yù)測，并并用可視視化工具具呈現(xiàn)挖挖掘的結(jié)結(jié)果三種應(yīng)用用間的差差別（P62）從聯(lián)機分分析處理理到聯(lián)機機分析挖挖掘為什么要要聯(lián)機分分析挖掘掘（P63）數(shù)據(jù)倉庫庫中有高高質(zhì)量的的數(shù)據(jù)數(shù)據(jù)倉庫庫中存放放著整合合的、一一致的、、清理過過的數(shù)據(jù)據(jù)圍繞數(shù)據(jù)據(jù)倉庫的的信息處處理結(jié)構(gòu)構(gòu)存取、集集成、合合并多個個異種數(shù)數(shù)據(jù)庫的的轉(zhuǎn)換，，ODBC/OLEDB連接,Web訪問和訪訪問工具具等基于OLAP的探測式式數(shù)據(jù)分分析使用上卷卷、下鉆鉆、切片片、轉(zhuǎn)軸軸等技術(shù)術(shù)進行數(shù)數(shù)據(jù)挖掘掘數(shù)據(jù)挖掘掘功能的的聯(lián)機選選擇多種數(shù)據(jù)據(jù)挖掘功功能、算算法和任任務(wù)的整整合聯(lián)機分析析挖掘的的體系結(jié)結(jié)構(gòu)數(shù)據(jù)倉庫庫元數(shù)據(jù)多維數(shù)據(jù)據(jù)庫OLAM引擎OLAP引擎用戶圖形形界面API數(shù)據(jù)方體體API數(shù)據(jù)庫API數(shù)據(jù)清理理數(shù)據(jù)集成成Layer3OLAP/OLAMLayer2多維數(shù)據(jù)據(jù)庫Layer1數(shù)據(jù)存儲儲Layer4用戶界面面數(shù)據(jù)的過過濾、集集成過濾數(shù)據(jù)庫基于約束束的數(shù)據(jù)據(jù)挖掘挖掘結(jié)果果數(shù)據(jù)預(yù)處處理主要內(nèi)容容為什么要要預(yù)處理理數(shù)據(jù)？？數(shù)據(jù)清理理數(shù)據(jù)集成成和變換換數(shù)據(jù)歸約約為什么要要預(yù)處理理數(shù)據(jù)？？現(xiàn)實世界界的數(shù)據(jù)據(jù)是“骯骯臟的””不完整的的：有些些感興趣趣的屬性性缺少屬屬性值，，或僅包包含聚集集數(shù)據(jù)含噪聲的的：包含含錯誤或或者“孤孤立點””不一致的的：在編編碼或者者命名上上存在差差異沒有高質(zhì)質(zhì)量的數(shù)數(shù)據(jù)，就就沒有高高質(zhì)量的的挖掘結(jié)結(jié)果高質(zhì)量的的決策必必須依賴賴高質(zhì)量量的數(shù)據(jù)據(jù)數(shù)據(jù)倉庫庫需要對對高質(zhì)量量的數(shù)據(jù)據(jù)進行一一致地集集成數(shù)據(jù)質(zhì)量量的多維維度量一個廣為為認(rèn)可的的多維度度量觀點點：精確度完整度一致性合乎時機機可信度附加價值值可訪問性性跟數(shù)據(jù)本本身的含含義相關(guān)關(guān)的內(nèi)在的、、上下文文的、表表象的數(shù)據(jù)預(yù)處處理的主主要任務(wù)務(wù)數(shù)據(jù)清理理填寫空缺缺的值，，平滑噪噪聲數(shù)據(jù)據(jù)，識別別、刪除除孤立點點，解決決不一致致性數(shù)據(jù)集成成集成多個個數(shù)據(jù)庫庫、數(shù)據(jù)據(jù)立方體體或文件件數(shù)據(jù)變換換規(guī)范化和和聚集數(shù)據(jù)歸約約得到數(shù)據(jù)據(jù)集的壓壓縮表示示，它小小得多，，但可以以得到相相同或相相近的結(jié)結(jié)果數(shù)據(jù)離散散化數(shù)據(jù)歸約約的一部部分，通通過概念念分層和和數(shù)據(jù)的的離散化化來規(guī)約約數(shù)據(jù)，，對數(shù)字字型數(shù)據(jù)據(jù)特別重重要數(shù)據(jù)預(yù)處處理的形形式空缺值數(shù)據(jù)并不不總是完完整的例如：數(shù)數(shù)據(jù)庫表表中，很很多條記記錄的對對應(yīng)字段段沒有相相應(yīng)值，，比如銷銷售表中中的顧客客收入引起空缺缺值的原原因設(shè)備異常常與其他已已有數(shù)據(jù)據(jù)不一致致而被刪刪除因為誤解解而沒有有被輸入入的數(shù)據(jù)據(jù)在輸入時時，有些些數(shù)據(jù)應(yīng)應(yīng)為得不不到重視視而沒有有被輸入入對數(shù)據(jù)的的改變沒沒有進行行日志記記載空缺值要要經(jīng)過推推斷而補補上如何處理理空缺值值忽略元組組：當(dāng)類類標(biāo)號缺缺少時通通常這么么做（假假定挖掘掘任務(wù)設(shè)設(shè)計分類類或描述述），當(dāng)當(dāng)每個屬屬性缺少少值的百百分比變變化很大大時，它它的效果果非常差差。人工填寫寫空缺值值：工作作量大，，可行性性低使用一個個全局變變量填充充空缺值值：比如如使用unknown或-∞使用屬性性的平均均值填充充空缺值值使用與給給定元組組屬同一一類的所所有樣本本的平均均值使用最可可能的值值填充空空缺值：：使用像像Bayesian公式或判判定樹這這樣的基基于推斷斷的方法法噪聲數(shù)據(jù)據(jù)噪聲：一一個測量量變量中中的隨機機錯誤或或偏差引起不正正確屬性性值的原原因數(shù)據(jù)收集集工具的的問題數(shù)據(jù)輸入入錯誤數(shù)據(jù)傳輸輸錯誤技術(shù)限制制命名規(guī)則則的不一一致其它需要要數(shù)據(jù)清清理的數(shù)數(shù)據(jù)問題題重復(fù)記錄錄不完整的的數(shù)據(jù)不一致的的數(shù)據(jù)如何處理理噪聲數(shù)數(shù)據(jù)分箱(binning)::首先排序序數(shù)據(jù)，，并將他他們分到到等深的的箱中然后可以以按箱的的平均值值平滑、、按箱中中值平滑滑、按箱箱的邊界界平滑等等等聚類：監(jiān)測并且且去除孤孤立點計算機和和人工檢檢查結(jié)合合計算機檢檢測可疑疑數(shù)據(jù)，，然后對對它們進進行人工工判斷回歸通過讓數(shù)數(shù)據(jù)適應(yīng)應(yīng)回歸函函數(shù)來平平滑數(shù)據(jù)據(jù)數(shù)據(jù)平滑滑的分箱箱方法price的排序后后數(shù)據(jù)（（單位：：美元））：4，8，15，21，21，24，25，28，34劃分為（（等深的的）箱：：箱1：4，8，15箱2：21，21，24箱3：25，28，34用箱平均均值平滑滑：箱1：9，9，9箱2：22，22，22箱3：29，29，29用箱邊界界平滑：：箱1：4，4，15箱2：21，21，24箱3：25，25，34聚類回歸xyy=x++1X1Y1Y1’數(shù)據(jù)集成成數(shù)據(jù)集成成：將多個數(shù)數(shù)據(jù)源中中的數(shù)據(jù)據(jù)整合到到一個一一致的存存儲中模式集成成：整合不同同數(shù)據(jù)源源中的元元數(shù)據(jù)實體識別別問題：：匹配來來自不同同數(shù)據(jù)源源的現(xiàn)實實世界的的實體，，比如：：A.cust--id==B.customer_no檢測并解解決數(shù)據(jù)據(jù)值的沖沖突對現(xiàn)實世世界中的的同一實實體，來來自不同同數(shù)據(jù)源源的屬性性值可能能是不同同的可能的原原因：不不同的數(shù)數(shù)據(jù)表示示，不同同的度量量等等處理數(shù)據(jù)據(jù)集成中中的冗余余數(shù)據(jù)集成多個個數(shù)據(jù)庫庫時，經(jīng)經(jīng)常會出出現(xiàn)冗余余數(shù)據(jù)同一屬性性在不同同的數(shù)據(jù)據(jù)庫中會會有不同同的字段段名一個屬性性可以由由另外一一個表導(dǎo)導(dǎo)出，如如“年薪薪”有些冗余余可以被被相關(guān)分分析檢測測到仔細(xì)將多多個數(shù)據(jù)據(jù)源中的的數(shù)據(jù)集集成起來來，能夠夠減少或或避免結(jié)結(jié)果數(shù)據(jù)據(jù)中的冗冗余與不不一致性性，從而而可以提提高挖掘掘的速度度和質(zhì)量量。數(shù)據(jù)變換換平滑：去去除數(shù)據(jù)據(jù)中的噪噪聲聚集：匯匯總，數(shù)數(shù)據(jù)立方方體的構(gòu)構(gòu)建數(shù)據(jù)概化化：沿概概念分層層向上匯匯總規(guī)范化：：將數(shù)據(jù)據(jù)按比例例縮放，，使之落落入一個個小的特特定區(qū)間間最?。钭畲笠?guī)范范化z-score規(guī)范化小數(shù)定標(biāo)標(biāo)規(guī)范化化屬性構(gòu)造造通過現(xiàn)有有屬性構(gòu)構(gòu)造新的的屬性，，并添加加到屬性性集中。。數(shù)據(jù)變換換——規(guī)范化最?。钭畲笠?guī)范范化z-score規(guī)范化小數(shù)定標(biāo)標(biāo)規(guī)范化化其中，j是使Max((|||)<<1的最小整整數(shù)數(shù)據(jù)歸約約策略數(shù)據(jù)倉庫庫中往往往存有海海量數(shù)據(jù)據(jù)，在其其上進行行復(fù)雜的的數(shù)據(jù)分分析與挖挖掘需要要很長的的時間數(shù)據(jù)歸約約數(shù)據(jù)歸約約可以用用來得到到數(shù)據(jù)集集的歸約約表示，，它小得得多，但但可以產(chǎn)產(chǎn)生相同同的（或或幾乎相相同的））分析結(jié)結(jié)果數(shù)據(jù)歸約約策略數(shù)據(jù)立方方體聚集集維歸約數(shù)據(jù)壓縮縮數(shù)值歸約約離散化和和概念分分層產(chǎn)生生用于數(shù)據(jù)據(jù)歸約的的時間不不應(yīng)當(dāng)超超過或““抵消””在歸約約后的數(shù)數(shù)據(jù)上挖挖掘節(jié)省省的時間間。數(shù)據(jù)立方方體聚集集最底層的的方體對對應(yīng)于基基本方體體基本方體體對應(yīng)于于感興趣趣的實體體在數(shù)據(jù)立立方體中中存在著著不同級級別的匯匯總數(shù)據(jù)立方方體可以以看成方方體的格格每個較高高層次的的抽象將將進一步步減少結(jié)結(jié)果數(shù)據(jù)據(jù)數(shù)據(jù)立方方體提供供了對預(yù)預(yù)計算的的匯總數(shù)數(shù)據(jù)的快快速訪問問使用與給給定任務(wù)務(wù)相關(guān)的的最小方方體在可能的的情況下下，對于于匯總數(shù)數(shù)據(jù)的查查詢應(yīng)當(dāng)當(dāng)使用數(shù)數(shù)據(jù)立方方體維歸約通過刪除除不相干干的屬性性或維減減少數(shù)據(jù)據(jù)量屬性子集集選擇找出最小小屬性集集，使得得數(shù)據(jù)類類的概率率分布盡盡可能的的接近使使用所有有屬性的的原分布布減少出現(xiàn)現(xiàn)在發(fā)現(xiàn)現(xiàn)模式上上的屬性性的數(shù)目目，使得得模式更更易于理理解啟發(fā)式的的（探索索性的））方法逐步向前前選擇逐步向后后刪除向前選擇擇和向后后刪除相相結(jié)合判定歸納納樹探索性選選擇方法法d個屬性有有2d個可能的的子集逐步向前前選擇由空屬性性集開始始，選擇擇原屬性性集中最最好的屬屬性，并并將其添添加入該該集合，，重復(fù)該該步驟。。逐步向后后刪除由整個屬屬性集開開始，每每一步都都刪除掉掉尚在屬屬性集中中的最壞壞屬性向前選擇擇和向后后刪除相相結(jié)合每一步選選擇一個個最好屬屬性，并并刪除一一個最壞壞屬性可以使用用一個臨臨界值來來判定上上述三種種方法的的結(jié)束條條件判定歸納納樹數(shù)據(jù)壓縮縮有損壓縮縮VS.無損壓縮縮字符串壓壓縮有廣泛的的理論基基礎(chǔ)和精精妙的算算法通常是無無損壓縮縮在解壓縮縮前對字字符串的的操作非非常有限限音頻/視頻壓縮縮通常是有有損壓縮縮，壓縮縮精度可可以遞進進選擇有時可以以在不解解壓整體體數(shù)據(jù)的的情況下下，重構(gòu)構(gòu)某個片片斷兩種有損損數(shù)據(jù)壓壓縮的方方法：小小波變換換和主要要成分分分析數(shù)值歸約約通過選擇擇替代的的、較小小的數(shù)據(jù)據(jù)表示形形式來減減少數(shù)據(jù)據(jù)量有參方法法：使用用一個參參數(shù)模型型估計數(shù)數(shù)據(jù)，最最后只要要存儲參參數(shù)即可可。線性回歸歸方法：：Y=α+βX多元回歸歸：線性性回歸的的擴充對數(shù)線性性模型：：近似離離散的多多維數(shù)據(jù)據(jù)概率分分布無參方法法：直方圖聚類選樣直方圖一種流行行的數(shù)據(jù)據(jù)歸約技技術(shù)將某屬性性的數(shù)據(jù)據(jù)劃分為為不相交交的子集集，或桶桶，桶中中放置該該值的出出現(xiàn)頻率率桶和屬性性值的劃劃分規(guī)則則等寬等深V-最優(yōu)MaxDiff聚類將數(shù)據(jù)集集劃分為為聚類，，然后通通過聚類類來表示示數(shù)據(jù)集集如果數(shù)據(jù)據(jù)可以組組成各種種不同的的聚類，，則該技技術(shù)非常常有效，，反之如如果數(shù)據(jù)據(jù)界線模模糊，則則方法無無效數(shù)據(jù)可以以分層聚聚類，并并被存儲儲在多層層索引樹樹中聚類的定定義和算算法都有有很多選選擇選樣允許用數(shù)數(shù)據(jù)的較較小隨機機樣本（（子集））表示大大的數(shù)據(jù)據(jù)集對數(shù)據(jù)集集D的樣本選選擇：簡單隨機機選擇n個樣本，，不回放放：由D的N個元組中中抽取n個樣本簡單隨機機選擇n個樣本，，回放：：過程同同上，只只是元組組被抽取取后，將將被回放放，可能能再次被被抽取聚類選樣樣：D中元組被被分入M個互不相相交的聚聚類中，，可在其其中的m個聚類上上進行簡簡單隨機機選擇（（m<M）分層選樣樣：D被劃分為為互不相相交的““層”，，則可通通過對每每一層的的簡單隨隨機選樣樣得到D的分層選選樣離散化三種類型型的屬性性值：名稱型——e..g.無序集合合中的值值序數(shù)——e..g.有序集合合中的值值連續(xù)值——e..g.實數(shù)離散化將連續(xù)屬屬性的范范圍劃分分為區(qū)間間有效的規(guī)規(guī)約數(shù)據(jù)據(jù)基于判定定樹的分分類挖掘掘基于判定定樹的分分類挖掘掘的大部部分時間間花在數(shù)數(shù)據(jù)的分分類和比比較上（（比如一一個判定定條件為為：>400?，0－1000的整數(shù)將將在比較較1000次后得出出結(jié)果，，但是如如果先將將這1000個值劃分分為10個區(qū)間：：0-100,100--200…900-1000，則只要要比較10次就可