第章數(shù)據(jù)庫和數(shù)據(jù)倉庫技術(shù)

第6章數(shù)據(jù)庫和數(shù)據(jù)倉庫技術(shù)6.1企業(yè)數(shù)據(jù)處理方式6.2文件組織6.3數(shù)據(jù)庫系統(tǒng)6.4數(shù)據(jù)倉庫和商業(yè)智能6.1企業(yè)數(shù)據(jù)處理方式以聯(lián)機事務(wù)處理形式處理信息以聯(lián)機分析處理形式處理信息，并利用信息進行決策在信息應(yīng)用過程中管理信息圖6-1 聯(lián)機事務(wù)處理與聯(lián)機分析處理

數(shù)據(jù)項,記錄,文件,數(shù)據(jù)庫數(shù)據(jù)庫文件3文件2文件1記錄3記錄2記錄1數(shù)據(jù)項3數(shù)據(jù)項2數(shù)據(jù)項16.2文件組織6.2.1文件組織術(shù)語和概念字段記錄某個數(shù)據(jù)庫中的一份表文件，該文件存儲了選修《管理信息系統(tǒng)》課程的10級物流專業(yè)的同學名單。每列是一個字段，每行為一個記錄。從數(shù)據(jù)庫原理的角度來看，表中反映了“學生”這一類實體集（EntitySet），表中的每一行是該類型中的一個具體的實體，每個實體都具有學號、姓名、專業(yè)名稱等屬性6.2.2數(shù)據(jù)的物理組織和邏輯組織圖6-2信息的物理組織與邏輯組織圖6-4邏輯數(shù)據(jù)元素之間的關(guān)系6.2.3文件的組織方式學生數(shù)據(jù)庫學生情況文件學生成績文件記錄數(shù)據(jù)項學生1┅┅學生n學號姓名性別┅┅學號姓名性別9608101張勇男┅┅9608138王英女記錄1記錄4記錄3記錄2記錄2圖6-5磁盤順序文件

1順序文件組織2索引文件記錄地址學號姓名數(shù)學物理Basic

主關(guān)鍵字(學號)記錄地址A870701張╳687472

870701AB870705李╳958792

870705BC870707趙╳778384

870707CD870712周╳858188

870712DE870721陳╳626461

870721EF870724王╳828892

870724FG870736黃╳757477

870736G記錄地址學號姓名數(shù)學物理Basic

主關(guān)鍵字(學號)記錄地址A870712周╳858188

870701DB870724王╳828892

870705GC870707趙╳778384

870707CD870701張╳687472

870712AE870736黃╳757477

870721FF870721陳╳626461

870724BG870705李╳958792

870736E(b) 非索引順序文件 索引(a) 索引順序文件 索引3鏈表文件記錄地址職工號姓名部門編號部門指南工作年限D(zhuǎn)T入口→A1111-DTC-NW入口→B1121-NWE-C1981-DTD-D2014-DTH-E2084-NWF-F2918-NW∧-EA入口→G3001-EAI-H3101-DTJ-I3241-EA∧-J3358-DT∧-NE入口→K3861-NEL-L3871-NE∧-部門代碼（輔關(guān)鍵字符）鏈表長度（記錄個數(shù)）鏈頭指針（入口地址）部門代碼（輔關(guān)鍵字符）鏈表長度（記錄個數(shù)）鏈頭指針（入口地址）DT5AEA2GNW3BNE2K4倒排文件件輔關(guān)鍵字指針表輔關(guān)鍵字值指針

部門編號

DT11111981201431013358

NW112120842918

EA30013241

NE38613871

工作年限N

N≤51111201420842918

5＜N≤1031013861

15＜N≤2030013871

N＞201981

透支現(xiàn)額%

011112014208429183101386110011213001324133583871

2001981

InquiryCustomerTransactionProcessingSavingInstallDatabaseManagementSystemCheckCustomerDatabaseADatabaseManagementSystem(DBMS)isasetofcomputerprogramsthatcontrolsthecreation,maintenanceanduseoftheDatabaseofaorganizationandit’senduser.數(shù)據(jù)庫管管理系統(tǒng)統(tǒng)圖6-8DBMS的主要功功能數(shù)據(jù)庫管理操作系統(tǒng)統(tǒng)數(shù)據(jù)庫管理系統(tǒng)統(tǒng)應(yīng)用程序序數(shù)據(jù)庫數(shù)據(jù)詞典典DatabaseManagementOperatingSystemDBMSApplicationPrograms*Datadevelopment*Datainterrogation*DatabaseMaintenance*ApplicationdevelopmentDatabaseDatadictionary*DataDevelopment由DatabaseAdministrator(DBA)開發(fā)用DatadictionaryLanguage去開發(fā).ADatadictionaryisacomputer-basedcatalogordirectorycontainingmetadatathatisdataaboutdata.數(shù)據(jù)庫查詢Databaseinterrogationquerylanguage,reportgeneratorCorporatePayrollReportingSystemHighlightyourselectionandpressEnterMainMenu.EmployeeFileMaintenanceTaxReportPrinterSQL(StructuredQueryLanguage)SELECTNAME,SSNO,DEPARTMENT,SALARYFROMEMPLOYEE,PAYROLLWHEREEMPLOYEE.SSNO=PAYROLL.SSNOANDCLASSIFICATION=““FINANCIALANALYST”*數(shù)據(jù)庫的維護護在DBMS的支持下,用UTILITY等*應(yīng)用開發(fā)發(fā)程序用DataManipulationLanguageDML不必用通常程程序設(shè)計語言言，如COBOL圖6-9數(shù)據(jù)模型數(shù)據(jù)庫系統(tǒng)S1R2R4R3S6S7S9S8S5S4S3S2學號姓名年齡性別學生關(guān)系框框架：學號姓名年齡性別課程關(guān)系框框架：學號姓名年齡性別學習關(guān)系框框架：（a）網(wǎng)絡(luò)模型型（b）層次模型型（c）關(guān)系模型型圖6-10數(shù)據(jù)庫的三三級體系結(jié)結(jié)構(gòu)用戶A1工作區(qū)用戶A2工作區(qū)用戶B工作區(qū)外模式A（子模式A）外模式B（子模式B）子模式/概念模式映射A子模式/概念模式映射B概念模型（（模式）模式（內(nèi)模模式映射））DBMSOS………..圖6-11三個不同的的世界客觀世界信息世界（概念世界）數(shù)據(jù)世界組織（事物及其聯(lián)系）實體及其聯(lián)系（概念模型）數(shù)據(jù)庫（數(shù)據(jù)模型）事物類（總體）實體集文件事物（對象、個體）實體記錄特征（性質(zhì)）屬性數(shù)據(jù)項表6-7三個不同世世界術(shù)語對對照表客觀事物事物類：相關(guān)性質(zhì)集集合人實體及聯(lián)系實體集合實體相關(guān)屬性集集合數(shù)據(jù)庫文件記錄相關(guān)數(shù)據(jù)項項集合存儲結(jié)構(gòu)二進制數(shù)據(jù)據(jù)集合加工轉(zhuǎn)換加工轉(zhuǎn)換E-R模型DBMS的數(shù)據(jù)模型型DBMS的計算機世世界現(xiàn)實世界認識選擇描描述信息世界數(shù)據(jù)庫設(shè)計計步驟對現(xiàn)實世界界進行需求求分析了解組織機機構(gòu)情況，，為分析信信息流做準準備；了解各部門門業(yè)務(wù)情況況，調(diào)查各各部門輸入入和使用的的數(shù)據(jù)，及及處理數(shù)據(jù)據(jù)的方式與與算法；確定數(shù)據(jù)庫庫的信息組組成及計算算機系統(tǒng)應(yīng)應(yīng)實現(xiàn)的功功能。建立信息世世界中E-R（概念）模模型建立分E-R圖；綜合分E-R圖，產(chǎn)生總總E-R圖。從E-R圖導(dǎo)出計算算機世界的的關(guān)系數(shù)據(jù)據(jù)模型E-R圖中每個實實體，都相相應(yīng)地轉(zhuǎn)換換為一個關(guān)關(guān)系將聯(lián)系轉(zhuǎn)換成成一個關(guān)系系某學院“教學管理”數(shù)據(jù)庫模型型設(shè)計“系和教師關(guān)關(guān)系”的分E-R圖設(shè)計“學生和課程程關(guān)系”的分E-R圖設(shè)計“教師與課程程關(guān)系”的分E-R圖將上述三個個分綜合，，建立學院院教學管理理總E-R圖將學院“教學管理E-R圖”所描述的信信息（概念念）世界中中的概念模模型轉(zhuǎn)化為為計算機上上由關(guān)系型型DBMS支持的關(guān)系系數(shù)據(jù)模型型。設(shè)計“系和教師關(guān)關(guān)系”的分E-R圖該學院下設(shè)設(shè)四個系：：管理工程程系、會計計系、市場場營銷系和和信息管理理系。每個個系有一個個系主任主主管該系工工作。將“系”設(shè)為一個實實體，該實實體具有以以下屬性：：系代號、、系名稱、、系主任姓姓名、辦公公地點、電電話。其中中系代號是是主關(guān)鍵字字該學院聘請請了一定數(shù)數(shù)量的專職職教師。將“教師”設(shè)為一個實實體，該實實體具有以以下屬性：：教師編號號、教師姓姓名、專業(yè)業(yè)特長。其其中教師編編號是主關(guān)關(guān)鍵字。學院聘請教教師后，分分配到各系系。一個系有多多個教師；；一個教師師只能屬于于一個系。。“教師”實體與“系”實體之間發(fā)發(fā)生一對多多（1：M）的“分配”聯(lián)系。教學管理總總E-R圖圖6-13““教學管理””E-R圖28業(yè)務(wù)流程調(diào)調(diào)查舉例——教學管理學籍處理1學生登記表表學生學生檔案招生辦各院系教務(wù)務(wù)處處制定定教教學學計劃劃2教師師基基本本信息息管管理理3教室室管管理理4教學學計計劃劃教師師信信息息教學學計計劃劃教師師信信息息教室室信信息息教師師任任課課情情況況教學學秘書書人事事處統(tǒng)計計報報表表處理理8制定定教教學學計劃劃5成績績管管理理7學生生選選課課6學生生成成績績學生生檔檔案案統(tǒng)計計報報表表課表表教務(wù)務(wù)處學生生教師師各院院系系校領(lǐng)領(lǐng)導(dǎo)導(dǎo)上級級主管管各院院系系教務(wù)務(wù)處處教務(wù)務(wù)處處數(shù)據(jù)據(jù)庫庫技技術(shù)術(shù)的的發(fā)發(fā)展展趨趨勢勢數(shù)據(jù)據(jù)管管理理方方式式：：集集中中式式分分布布式式數(shù)據(jù)據(jù)模模型型：：關(guān)關(guān)系系數(shù)數(shù)據(jù)據(jù)庫庫多多媒媒體體數(shù)數(shù)據(jù)據(jù)庫庫、、面面向向?qū)ο笙髷?shù)數(shù)據(jù)據(jù)庫庫（a）(b)圖6-14分布布式式數(shù)數(shù)據(jù)據(jù)庫庫的的結(jié)結(jié)構(gòu)構(gòu)形形式式數(shù)據(jù)據(jù)庫庫的的分分布布左圖：集集中式數(shù)數(shù)據(jù)庫右右圖圖：分布布式數(shù)據(jù)據(jù)庫數(shù)據(jù)倉庫庫數(shù)據(jù)倉庫庫之父：“數(shù)據(jù)倉庫庫是一個個面向主主題的（（SubjectOriented）、集成成的（Integrated）、非易易失的（（Non-Volatile）、隨時時間變化化的（TimeVariant）的數(shù)據(jù)據(jù)集合，，用于支支持管理理決策”。圖6-15數(shù)據(jù)倉庫庫源于業(yè)業(yè)務(wù)數(shù)據(jù)據(jù)庫聯(lián)機分析析處理聯(lián)機分析析處理(On-LineAnalyticalProcessing，OLAP)：主要是是對大量量多維數(shù)數(shù)據(jù)的動動態(tài)綜合合、分析析和歸納納。OLAP中的一個個主要操操作是“多維分析析”，即通過過對信息息的多種種可能的的觀察形形式進行行快速、、穩(wěn)定、、一致和和交互性性的存取取，允許許管理決決策人員員對數(shù)據(jù)據(jù)進行深深入分析析。圖6-16多維視圖圖示例切片和切切塊(SliceandDice)鉆取(Drill)旋轉(zhuǎn)(Rotate)/轉(zhuǎn)軸(Pivot)從OLTP到OLAPOLAP和數(shù)據(jù)倉倉庫OLAP應(yīng)用構(gòu)建建于數(shù)據(jù)據(jù)倉庫而而非數(shù)據(jù)據(jù)庫之上上，主要要是由于于以下三三個技術(shù)術(shù)方面的的原因：：計算機處處理速度度階躍式式增長，，單位字字節(jié)的存存儲和處處理成本本大幅度度降低，，是保證證數(shù)據(jù)倉倉庫有效效運行的的物理基基礎(chǔ)；決策分析析理論的的完善和和應(yīng)用使使得數(shù)據(jù)據(jù)倉庫中中的分析析技術(shù)能能夠有效效實現(xiàn)，，使得決決策人員員可以直直接從系系統(tǒng)中獲獲得需要要的決策策支持信信息；數(shù)據(jù)倉庫庫系統(tǒng)中中，數(shù)據(jù)據(jù)用于支支持各種種分析任任務(wù)，并并生成多多角度，，多層次次和不同同粒度上上的分析析結(jié)果.OLAP中的基本本概念⑴⑴變量:從現(xiàn)實系系統(tǒng)中抽抽象出來來，用于于描述數(shù)數(shù)據(jù)的實實際含義義。維:人們觀察察數(shù)據(jù)的的特定角角度維的層次次類別:構(gòu)成一個個維的獨獨立的數(shù)數(shù)據(jù)元素素，是存存在于層層里每一一個數(shù)據(jù)據(jù)。維、層和和類別的的關(guān)系示示意圖OLAP中的基本本概念⑵⑵維的取值值：也稱稱為維的的成員度量：企企業(yè)收集集和存儲儲的用于于評價業(yè)業(yè)務(wù)狀況況的數(shù)值值性數(shù)據(jù)據(jù)，以監(jiān)監(jiān)測和評評估企業(yè)業(yè)成效。。多維數(shù)組組數(shù)據(jù)單元元（單元元格）多維數(shù)數(shù)組的的取值值稱為為數(shù)據(jù)據(jù)單元元多維數(shù)數(shù)據(jù)立立方體體OLAP的基本本操作作－－切片片（Slice）在多維維數(shù)組組的某某一維維上選選定其其維成成員的的動作作稱為為切片片在多維維數(shù)組組（維維1，維2，…維n，度量量）中中選中中某一一維，，如維維i，并取取其某某一維維成員員（設(shè)設(shè)為維維成員員Vi），所所得的的多維維數(shù)組組的子子集（（維1，維2，…維成員員Vi，…維n，度量量）稱稱為在在維i上的一一個切切片。。OLAP的基本本操作作－－切塊塊（Dice）數(shù)據(jù)切切塊就就是將將完整整的數(shù)數(shù)據(jù)立立方體體切取取一部部分數(shù)數(shù)據(jù)而而得到到的新新的數(shù)數(shù)據(jù)立立方體體。選取多多維數(shù)數(shù)組（（維1，維2，…，維n，度量量）中中若干干維度度（通通常是是3個維度度便于于圖形形顯示示）的的取值值范圍圍，從從而形形成了了多維維數(shù)據(jù)據(jù)的子子集（（維1，維2，…，Ai<維i<Bi，…，Bj<維j<Bj，…，維度度n，度量量），，這個個多維維數(shù)據(jù)據(jù)子集集被稱稱為切切塊。。OLAP的基本本操作作－－下鉆/上卷（（DrillDown/RollUp）數(shù)據(jù)下下鉆（（向下下鉆取取）是是從較較高的的維度度層次次下降降到較較低的的層次次上來來觀察察多維維數(shù)據(jù)據(jù)數(shù)據(jù)上上卷是是下鉆鉆的逆逆向操操作，，是對對數(shù)據(jù)據(jù)進行行高層層次聚聚合的的操作作。OLAP的基本操作作－旋轉(zhuǎn)（Rotate）數(shù)據(jù)旋轉(zhuǎn)是是改變維度度的位置關(guān)關(guān)系，使最最終用戶可可以從其他他視角來觀觀察多維數(shù)數(shù)據(jù)。不同維度間間的旋轉(zhuǎn)維層次間的的旋轉(zhuǎn)OLAP的準則(Codd1993)準則1：多維概念念視圖準則2：透明性準則3：存取能力力準則4：穩(wěn)定的報報表功能準則5：客戶機/服務(wù)器體系系結(jié)構(gòu)準則6：維的等同同性準則7：動態(tài)稀疏疏矩陣處理理準則8：支持多用用戶準則9：非限定的的跨維操作作準則10：直觀的數(shù)數(shù)據(jù)處理準則11：柔性報表表準則12：不受限的的維與層次次聚類商業(yè)智能商業(yè)智能（（BusinessIntelligence）是指通過過對數(shù)據(jù)的的收集、管管理、分析析以及轉(zhuǎn)化化，使數(shù)據(jù)據(jù)成為可用用的信息，，并在企業(yè)業(yè)中共享傳傳遞，從而而幫助企業(yè)業(yè)獲得必要要的洞察力力和理解力力，更好地地輔助決策策和指導(dǎo)行行動。數(shù)據(jù)挖掘數(shù)據(jù)挖掘（（DataMining）是從大量量數(shù)據(jù)中自自動發(fā)現(xiàn)隱隱藏的有用用知識的過過程，是從從大量數(shù)據(jù)據(jù)中挖掘“寶藏”的過程。分類（Classification）聚類（Clustering）關(guān)聯(lián)規(guī)則發(fā)發(fā)現(xiàn)（AssociationRuleDiscovery）時序模式發(fā)發(fā)現(xiàn)（SequentialPatternDiscovery）商務(wù)智能、、多維數(shù)據(jù)據(jù)分析和數(shù)數(shù)據(jù)挖掘博彩業(yè)的Harrahs（哈拉斯））借助于商商業(yè)智能，，判斷高價價值客戶，，并制定鼓鼓勵他們更更多投資的的方案通過聯(lián)系分分析處理（（OLAP）和多維數(shù)數(shù)據(jù)分析，，用戶可以以不同方法法分析同一一數(shù)據(jù)，從從而得到對對該數(shù)據(jù)從從不同層面面進行解釋釋的結(jié)果商務(wù)智能知識發(fā)現(xiàn)、、數(shù)據(jù)挖掘掘與商務(wù)智智能20世紀80年代末，機機器學習方方法在數(shù)據(jù)據(jù)分析中的的應(yīng)用導(dǎo)致致數(shù)據(jù)庫知知識發(fā)現(xiàn)（（KDD，KnowledgeDiscoveryinDatabase）的產(chǎn)生。。20世紀90年代以來，，以數(shù)據(jù)挖挖掘技術(shù)為為核心的商商務(wù)智能（（知識發(fā)現(xiàn)現(xiàn)在商業(yè)的的應(yīng)用）受受到了學術(shù)術(shù)界和業(yè)界界的廣泛關(guān)關(guān)注。數(shù)據(jù)挖掘(DataMining)數(shù)據(jù)挖掘/知識發(fā)現(xiàn)(從海量數(shù)據(jù)據(jù)中淘“金金”)數(shù)據(jù)挖掘的的特點傳統(tǒng)的決策策分析技術(shù)術(shù)中，都是是決策人員員事先給出出邏輯假設(shè)設(shè)和模型，，而后在數(shù)數(shù)據(jù)中進行行檢驗和參參數(shù)評估。。數(shù)據(jù)挖掘是是數(shù)據(jù)驅(qū)動動，始于紛紛繁復(fù)雜的的海量數(shù)據(jù)據(jù)，利用強強大的數(shù)據(jù)據(jù)分析工具具和特定的的知識提取取方法，從從數(shù)據(jù)出發(fā)發(fā)，挖掘中中其中有效效的模式，，從而獲得得潛在的、、新穎的以以及有用的的知識。數(shù)據(jù)挖掘的的任務(wù)數(shù)據(jù)挖掘的的基本任務(wù)務(wù)是預(yù)測（（prediction）和描述(description）預(yù)測就是利利用數(shù)據(jù)中中已知的變變量和字段段來確定一一些感興趣趣的未知或或未來的值值，如分類類等。描述則集中中于尋找一一種人類能能夠理解和和解釋的模模式對數(shù)據(jù)據(jù)進行刻畫畫，如聚類類、關(guān)聯(lián)規(guī)規(guī)則等。數(shù)據(jù)挖掘的的分類按所挖掘的的模式的類類型將數(shù)據(jù)據(jù)挖掘劃分分為：概念描述（（歸納或簡簡約）分類和預(yù)測測聚類關(guān)聯(lián)規(guī)則其它的一些些模式識別別和統(tǒng)計方方法數(shù)據(jù)挖掘－－概念描述述（歸納））概念描述與與數(shù)據(jù)概化化密切相關(guān)關(guān)以簡潔的形形式在更一一般的（而而不是在較較低的）抽抽象層描述述數(shù)據(jù)是很很有用的允許數(shù)據(jù)集集在多個抽抽象層概化化，便于用用戶考察數(shù)數(shù)據(jù)的一般般行為與OLAp的區(qū)別更為復(fù)雜的的數(shù)據(jù)類型型用戶控制與與自動處理理數(shù)據(jù)挖掘－－分類和預(yù)預(yù)測分類：給定定已有的數(shù)數(shù)據(jù)和類別別，通過分分類算法得得到描述和和區(qū)分數(shù)據(jù)據(jù)類或概念念的模型。。預(yù)測：將上上述分類模模型應(yīng)用到到要進行測測試的數(shù)據(jù)據(jù)上，對未未來或者未未知的數(shù)據(jù)據(jù)進行預(yù)測測。貸款分類模模型數(shù)據(jù)挖掘－－聚類分析析聚類是將一一個數(shù)據(jù)集集按照某個個標準分成成幾個簇的的過程。每個簇內(nèi)部部的數(shù)據(jù)按按照該標