版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
數(shù)據(jù)倉庫與數(shù)據(jù)挖掘楊春博士講師Email:171165@
Tel據(jù)倉庫與數(shù)據(jù)挖掘楊春博士講師平時成績(30-40%)考勤、課堂回答問題、討論:期末成績(60-70%)考核方式:閉卷考試,16或17周。
平時成績(30-40%)數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)(第2版)作者:陳京民
出版社:電子工業(yè)出版社
出版日期:2007年11月
ISBN:9787121053054
數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)(第2版)參考書參考書第一章商務(wù)智能基本概念
第一章商務(wù)智能基本概念1.1商務(wù)智能的基本概念1.1商務(wù)智能的基本概念信息:有用的數(shù)據(jù)SenderReceiver處理數(shù)據(jù)信息知識一個人的垃圾(數(shù)據(jù))是另一個人的財富(信息)Dataendowedwithrelevanceandpurpose信息是經(jīng)過某種加工處理后的數(shù)據(jù),是反映客觀事物規(guī)律的一些數(shù)據(jù)。數(shù)據(jù)是信息的載體,信息是對數(shù)據(jù)的解釋。
信息:有用的數(shù)據(jù)SenderReceiver處理數(shù)據(jù)信息知識第一章商務(wù)智能基本概念課件IBM商務(wù)智能產(chǎn)品IBM商務(wù)智能產(chǎn)品第一章商務(wù)智能基本概念課件第一章商務(wù)智能基本概念課件第一章商務(wù)智能基本概念課件第一章商務(wù)智能基本概念課件第一章商務(wù)智能基本概念課件SAP
BusinessObjects智能平臺SAPBusinessObjects智能平臺企業(yè)數(shù)據(jù)倉庫ETL(抽取、轉(zhuǎn)換、加載)即席查詢、預(yù)定義報表、自定義報表、OLAP、數(shù)據(jù)挖掘、專題分析模型元數(shù)據(jù)管理Web服務(wù)器客戶端客戶端客戶端客戶端客戶端大客戶分析數(shù)據(jù)集市財務(wù)分析數(shù)據(jù)集市客戶分析數(shù)據(jù)集市...模型庫業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)發(fā)展分析客戶分析大客戶分析用戶發(fā)展分析收益情況分析服務(wù)質(zhì)量分析營銷管理分析財務(wù)分析渠道分析反欺詐專題分析客戶流失專題分析...企業(yè)數(shù)據(jù)倉庫ETL(抽取、轉(zhuǎn)換、加載)即席查詢、預(yù)定義報表、商務(wù)智能供應(yīng)商商務(wù)智能供應(yīng)商
商務(wù)智能(BI,BusinessIntelligence)的定義
IBM:利用已有的數(shù)據(jù)資源作出更好的商業(yè)決策,它包括數(shù)據(jù)訪問、數(shù)據(jù)和業(yè)務(wù)分析,以及發(fā)現(xiàn)新的商業(yè)的機(jī)會。這說明商務(wù)智能的實質(zhì)是從數(shù)據(jù)中有效地提取信息,從信息中發(fā)現(xiàn)知識,為商務(wù)決策和戰(zhàn)略發(fā)展。
Microsoft認(rèn)為商務(wù)智能是任何嘗試獲取、分析企業(yè)數(shù)據(jù)以更清楚地了解市場和客戶、改進(jìn)企業(yè)流程、更有效地參與競爭的努力,以便在正確的時間向正確的決策者提供正確的信息。商務(wù)智能使企業(yè)能夠做出比以前更好的決策。此外,IDC,Business,Objectes,Teradata,MicroStrategy公司也都有對商務(wù)智能不同的解釋。
商務(wù)智能(BI,BusinessIntellige總而言之,商務(wù)智能是由數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘三種信息技術(shù)應(yīng)用于商務(wù)活動后所形成的一組信息技術(shù)的應(yīng)用技術(shù)。
總而言之,商務(wù)智能是由數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘三種信業(yè)務(wù)數(shù)據(jù)分析的類型Increasing#ofusersOLAPStatisticalAnalysisStandardQueryReportingDMIncreasingComplexity數(shù)據(jù)分析技術(shù)的發(fā)展可分成報表查詢、在線分析處理(OLAP)和數(shù)據(jù)挖掘3個階段。
業(yè)務(wù)數(shù)據(jù)分析的類型IncreasingOLAPStatist數(shù)據(jù)倉庫是基礎(chǔ),它提供了商務(wù)智能所需要的各種信息;聯(lián)機(jī)分析處理是商務(wù)智能應(yīng)用之利器,管理決策者使用聯(lián)機(jī)分析工具對反映企業(yè)商務(wù)活動的數(shù)據(jù)倉庫進(jìn)行智能分析,可以提高企業(yè)的市場競爭力;數(shù)據(jù)挖掘是商務(wù)智能的形成之源,利用數(shù)據(jù)挖掘可以從數(shù)據(jù)倉庫中尋找企業(yè)的商務(wù)智能模式,從數(shù)據(jù)倉庫的海量數(shù)據(jù)中歸納出商務(wù)知識。實例數(shù)據(jù)倉庫是基礎(chǔ),它提供了商務(wù)智能所需要的各種信息;聯(lián)機(jī)分析處銷售分析儀表盤銷售分析儀表盤客戶流失分析客戶流失分析目標(biāo)顧客群目標(biāo)顧客群信息流暢通了還需要?ERP企業(yè)資源規(guī)劃系統(tǒng)SCM供應(yīng)鏈管理商務(wù)智能BI(businessintelligence)B2B、B2CCRMInternet等基礎(chǔ)設(shè)施數(shù)據(jù)信息流暢通了還需要?ERPSCM商務(wù)智能新一代決策支持系統(tǒng)交易處理系統(tǒng)DSS軟件系統(tǒng)模式OLAP工具資料挖掘工具外部資料使用者使用者界面DSS資料庫數(shù)據(jù)導(dǎo)向型決策支持系統(tǒng):事務(wù)處理系統(tǒng)等搜集的大量數(shù)據(jù),隱藏對決策有用的模式和規(guī)則,可以用統(tǒng)計方法、OLAP和數(shù)據(jù)挖掘等分析得到,以輔助決策分析用。新一代決策支持系統(tǒng)交易處外部資料使用者使用者界面DSS數(shù)據(jù)導(dǎo)1.1.2商務(wù)智能的發(fā)展與應(yīng)用商務(wù)智能的發(fā)展與應(yīng)用:電子數(shù)據(jù)處理系統(tǒng)-〉管理信息系統(tǒng)-〉決策支持系統(tǒng)商務(wù)智能的作用:理解、改善、衡量、創(chuàng)造商務(wù)智能的作用域:戰(zhàn)略管理、營銷管理、市場管理、客戶關(guān)系管理和風(fēng)險管理
1.1.2商務(wù)智能的發(fā)展與應(yīng)用商務(wù)智能的發(fā)展與應(yīng)用:電子商務(wù)分析:商務(wù)風(fēng)險分析、數(shù)據(jù)庫營銷分析、智能型客戶關(guān)系管理、供應(yīng)鏈管理OLAP、數(shù)據(jù)挖掘數(shù)據(jù)倉庫圖1.1商務(wù)智能體系結(jié)構(gòu)1.1.3商務(wù)智能的體系結(jié)構(gòu)商務(wù)分析:商務(wù)風(fēng)險分析、數(shù)據(jù)庫營銷分析、智能型客戶關(guān)系管理、BusinessIntelligenceArchitectureOperationalandExternalDataWarehousemodelingandConstructionTools(ETL)BusinessIntelligenceApplicationsDecisionSupportToolsQueryandReporting
OLAPInformationMiningAccessenablersApplicationInterfacesMiddlewareServicesDepartmentalwarehouses(datamarts)AdministrationGlobalWarehouseOtherInformationStoresOperationalandExternalDataDataManagementMetadataManagementBusinessIntelligenceArchitec第一章商務(wù)智能基本概念課件1.2數(shù)據(jù)倉庫的發(fā)展與展望管理人員常常希望能夠通過對組織中的大量數(shù)據(jù)進(jìn)行分析,了解業(yè)務(wù)的發(fā)展趨勢,而傳統(tǒng)的數(shù)據(jù)庫只保留了當(dāng)前的業(yè)務(wù)處理信息,缺乏決策分析所需要的大量歷史信息,為滿足管理人員的決策分析需要,在數(shù)據(jù)庫的基礎(chǔ)上就產(chǎn)生了適應(yīng)決策分析的數(shù)據(jù)環(huán)境-數(shù)據(jù)倉庫(DW,DataWarehouse)1.2數(shù)據(jù)倉庫的發(fā)展與展望管理人員常常希望能夠通過對組織1.2.1從數(shù)據(jù)庫到數(shù)據(jù)倉庫
傳統(tǒng)數(shù)據(jù)庫在聯(lián)機(jī)事物處理中取得了較大的成功,但在基于事物處理的數(shù)據(jù)庫幫助決策分析時卻產(chǎn)生了很大的困難。主要原因是傳統(tǒng)數(shù)據(jù)庫的處理方式和決策分析中的數(shù)據(jù)需求不相稱,導(dǎo)致傳統(tǒng)數(shù)據(jù)庫無法支持決策分析活動。這些不相稱主要體現(xiàn)在如下幾個方面:1.2.1從數(shù)據(jù)庫到數(shù)據(jù)倉庫傳統(tǒng)數(shù)據(jù)庫在聯(lián)機(jī)事物處理中(1)決策處理的系統(tǒng)響應(yīng)問題:傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)存取頻率高、操作時間快,有較高的響應(yīng)時間。而在決策分析處理中,有些決策處理請求問題則可能需要系統(tǒng)長達(dá)數(shù)小時的運行,耗費大量的系統(tǒng)資源,而使事務(wù)聯(lián)機(jī)系統(tǒng)無法忍受。(2)決策數(shù)據(jù)需求的問題:決策分析需要全面、正確的集成數(shù)據(jù),這些數(shù)據(jù)不僅包括企業(yè)內(nèi)部各部門的數(shù)據(jù)而且包括企業(yè)外部的、甚至競爭對手的相關(guān)數(shù)據(jù)。在決策數(shù)據(jù)的集成中還需要解決數(shù)據(jù)混亂的問題(0和1,M&F)。決策分析需要從數(shù)據(jù)庫中抽取數(shù)據(jù),查找有用的數(shù)據(jù)。(1)決策處理的系統(tǒng)響應(yīng)問題:傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)存取頻率高、操作數(shù)據(jù)的集成還涉及外部數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用問題。決策數(shù)據(jù)一般涉及到長期的大量歷史數(shù)據(jù)。在決策分析過程中,往往需要經(jīng)過匯總、概括的數(shù)據(jù)。(3)決策數(shù)據(jù)操作的問題:在對數(shù)據(jù)的操作方式上,事務(wù)處理系統(tǒng)往往不能滿足決策人員的需要(訪問權(quán)限、用戶身份、報表表現(xiàn)形式)。同時,由于系統(tǒng)響應(yīng)、決策數(shù)據(jù)需求和決策數(shù)據(jù)操作等影響,使企業(yè)無法使用現(xiàn)有的事務(wù)處理系統(tǒng)去解決決策分析的需要。(4)數(shù)據(jù)倉庫與傳統(tǒng)數(shù)據(jù)庫的比較數(shù)據(jù)的集成還涉及外部數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用問題。決策數(shù)據(jù)一表1-1數(shù)據(jù)倉庫與數(shù)據(jù)庫的對比
對比內(nèi)容
數(shù)據(jù)庫
數(shù)據(jù)倉庫數(shù)據(jù)內(nèi)容當(dāng)前值歷史的、存檔的、歸納的、計算的數(shù)據(jù)數(shù)據(jù)目標(biāo)面向業(yè)務(wù)操作程序,重復(fù)處理面向主題域,分析應(yīng)用數(shù)據(jù)特性動態(tài)變化,按字段更新靜態(tài)、不能直接更新,只能定時添加、刷新數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜,適合操作計算簡單、適合分析使用頻率高中到低數(shù)據(jù)訪問量每個事物只訪問少量記錄有的事物可能需要訪問大量記錄對響應(yīng)時間的要求以秒為單位時間長表1-1數(shù)據(jù)倉庫與數(shù)據(jù)庫的對比對比內(nèi)容數(shù)據(jù)庫數(shù)據(jù)倉庫的定義:數(shù)據(jù)倉庫就是一個面向主題的、集成的、不可更新的、隨時間不斷變化的數(shù)據(jù)集合,它用以支持企業(yè)或組織的決策分析處理。
1.2.2數(shù)據(jù)倉庫的基本特性數(shù)據(jù)倉庫的定義:數(shù)據(jù)倉庫就是一個面向主題的、集成的、不可更新數(shù)據(jù)倉庫的基本特征(1)數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題的:數(shù)據(jù)倉庫中所有的數(shù)據(jù)都是圍繞著某一主題組織展開的。例如企業(yè)中的客戶、產(chǎn)品、供應(yīng)商等都可以作為主題看待。(2)數(shù)據(jù)倉庫的數(shù)據(jù)是集成的:根據(jù)決策分析的要求,將分散于各處的源數(shù)據(jù)進(jìn)行抽取、篩選、清理、綜合等工作,最終集成到數(shù)據(jù)倉庫中。(業(yè)務(wù)處理系統(tǒng):在線事務(wù)處理系統(tǒng)OLTP、企業(yè)資源計劃ERP、企業(yè)業(yè)務(wù)流程重組BPR、電子商務(wù)EC)數(shù)據(jù)倉庫的基本特征(3)數(shù)據(jù)倉庫是隨時間變化的:數(shù)據(jù)應(yīng)該隨著時間的推移而變化;數(shù)據(jù)的追加和刪除都是時變的;同時,概括數(shù)據(jù)也是時變的。(4)數(shù)據(jù)的非易失性:數(shù)據(jù)倉庫中的數(shù)據(jù)不進(jìn)行更新處理,而是一旦數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫以后,就會保持一個相當(dāng)長的時間,而且數(shù)據(jù)主要是用于查詢、分析。(3)數(shù)據(jù)倉庫是隨時間變化的:數(shù)據(jù)應(yīng)該隨著時間的推移而變化;(5)數(shù)據(jù)的集合性:數(shù)據(jù)倉庫必須按照主題,以某種數(shù)據(jù)集合的形式存儲起來。(6)支持決策作用:高層的企業(yè)決策者、中層的管理者和基層的業(yè)務(wù)處理者等不同層次的管理人員均利用數(shù)據(jù)倉庫進(jìn)行決策分析,提高管理決策質(zhì)量。第一章商務(wù)智能基本概念課件1.2.3數(shù)據(jù)倉庫的發(fā)展1.基于關(guān)系對象數(shù)據(jù)庫的數(shù)據(jù)倉庫:將多媒體數(shù)據(jù)、復(fù)雜的數(shù)據(jù)類型和其他各種類型的數(shù)據(jù)引入數(shù)據(jù)倉庫。2.網(wǎng)絡(luò)的影響:數(shù)據(jù)倉庫越來越依賴于網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)的傳輸、數(shù)據(jù)的請求處理。3.操作型動態(tài)數(shù)據(jù)倉庫:重在戰(zhàn)術(shù)性決策支持,為執(zhí)行工資的戰(zhàn)略員工提供支持。(EMS-ESB(企業(yè)服務(wù)總線)追蹤包裹)4.Web應(yīng)用中的多智能體技術(shù):利用合作伙伴的數(shù)據(jù)倉庫或Internet系統(tǒng)中的多為數(shù)據(jù)集進(jìn)行決策分析活動。1.2.3數(shù)據(jù)倉庫的發(fā)展1.基于關(guān)系對象數(shù)據(jù)庫的數(shù)據(jù)倉庫1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)數(shù)據(jù)倉庫體系結(jié)構(gòu)建立在其概念基礎(chǔ)之上,并根據(jù)商務(wù)智能的不同應(yīng)用情況可以選擇虛擬數(shù)據(jù)倉庫結(jié)構(gòu)、數(shù)據(jù)集市結(jié)構(gòu)、單一數(shù)據(jù)倉庫結(jié)構(gòu)和分布式數(shù)據(jù)倉庫結(jié)構(gòu)。1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)圖1.2數(shù)據(jù)倉庫的概念結(jié)構(gòu)
業(yè)務(wù)系統(tǒng)外部數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)集市/知識挖掘庫數(shù)據(jù)倉庫數(shù)據(jù)庫數(shù)據(jù)集市/知識挖掘庫應(yīng)用工具應(yīng)用工具用戶用戶管理工具數(shù)據(jù)源1.3.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)圖1.2數(shù)據(jù)倉庫的概念結(jié)構(gòu)業(yè)務(wù)系統(tǒng)外部數(shù)數(shù)
從數(shù)據(jù)倉庫的概念結(jié)構(gòu)看,應(yīng)該包含數(shù)據(jù)源、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市/知識挖掘庫以及各種管理工具和應(yīng)用工具。數(shù)據(jù)倉庫的創(chuàng)建、應(yīng)用可以利用各種數(shù)據(jù)倉庫管理工具輔助完成。第一章商務(wù)智能基本概念課件業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫查詢管理服務(wù)器用戶圖1.3虛擬數(shù)據(jù)倉庫結(jié)構(gòu)問題:這種數(shù)據(jù)庫由于主要依靠原系統(tǒng)的運行,使原系統(tǒng)的運行效率大幅度下降;系統(tǒng)在操作過程中可能會涉及許多原系統(tǒng),這些系統(tǒng)中的同一數(shù)據(jù)缺乏相同字段結(jié)構(gòu)、編碼和關(guān)鍵字,而且不同系統(tǒng)中數(shù)據(jù)的更新不一致,必然會產(chǎn)生在不同時間對同一查詢結(jié)果的不同結(jié)果。
業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫查詢用戶圖1.3虛擬數(shù)據(jù)倉庫結(jié)構(gòu)問業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫查詢管理服務(wù)器用戶1圖1.4數(shù)據(jù)集市結(jié)構(gòu)問題:數(shù)據(jù)集市的結(jié)構(gòu)往往只能對某一主題進(jìn)行操作,如果用戶希望對兩個以上主題操作,就要求用戶對這兩個主題的數(shù)據(jù)結(jié)構(gòu)都了解,否則無法實現(xiàn)多主題的操作;在多主題數(shù)據(jù)倉庫結(jié)構(gòu)中往往產(chǎn)生大量的數(shù)據(jù)冗余。
主題1主題2用戶2業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫查詢用戶1圖1.4數(shù)據(jù)集市結(jié)構(gòu)問題業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫查詢管理服務(wù)器用戶1圖1.5單一數(shù)據(jù)倉庫結(jié)構(gòu)問題:這種體系結(jié)構(gòu)需要構(gòu)建一個統(tǒng)一的企業(yè)體系結(jié)構(gòu),而且數(shù)據(jù)存儲過程中需要高昂的存儲費用和維護(hù)費用。從數(shù)據(jù)倉庫的應(yīng)用情況看,許多企業(yè)大多采用單一的數(shù)據(jù)倉庫,因為數(shù)據(jù)倉庫中集成了企業(yè)的所有數(shù)據(jù),使企業(yè)能夠使用企業(yè)總體視圖對企業(yè)總體決策提供幫助。
主題1主題2用戶2數(shù)據(jù)倉庫業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫查詢用戶1圖1.5單一數(shù)據(jù)倉庫結(jié)構(gòu)局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫全局?jǐn)?shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫站點A站點C總部站點B站點D圖1.6分布式數(shù)據(jù)倉庫結(jié)構(gòu)問題:隨著服務(wù)器的增加,最后可能會使網(wǎng)絡(luò)中的數(shù)據(jù)傳輸不堪重負(fù)。此外,全局?jǐn)?shù)據(jù)倉庫與局部數(shù)據(jù)倉庫中的數(shù)據(jù)冗余是分布式數(shù)據(jù)倉庫的又一缺陷。局部數(shù)局部數(shù)全局?jǐn)?shù)局部數(shù)局部數(shù)站點A站點C總部站點B站點D圖1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)基本功能層:數(shù)據(jù)抽取,數(shù)據(jù)篩選、清洗,清洗后的數(shù)據(jù)加載,設(shè)立數(shù)據(jù)集市,完成數(shù)據(jù)倉庫的查詢、決策分析和知識的挖掘等操作。數(shù)據(jù)倉庫的管理層分成數(shù)據(jù)管理與元數(shù)據(jù)管理兩部分,主要負(fù)責(zé)對數(shù)據(jù)倉庫中的數(shù)據(jù)抽取、清理、加載、更新等操作進(jìn)行管理。數(shù)據(jù)倉庫環(huán)境支持層包含數(shù)據(jù)傳輸和數(shù)據(jù)倉庫基礎(chǔ)兩部分。數(shù)據(jù)倉庫的基本功能層數(shù)據(jù)倉庫的管理層數(shù)據(jù)倉庫的環(huán)境支持層圖1.7數(shù)據(jù)倉庫總體框架結(jié)構(gòu)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)基本功能層:數(shù)據(jù)抽取,數(shù)據(jù)篩選1.4.1數(shù)據(jù)倉庫基本功能層1.數(shù)據(jù)倉庫的數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)倉庫數(shù)據(jù)集市/知識挖掘庫數(shù)據(jù)倉庫的數(shù)據(jù)存取與使用圖1.8數(shù)據(jù)倉庫功能結(jié)構(gòu)業(yè)務(wù)數(shù)據(jù)歷史數(shù)據(jù)辦公數(shù)據(jù)Web數(shù)據(jù)外部數(shù)據(jù)數(shù)據(jù)源元數(shù)據(jù)圖1.9數(shù)據(jù)源功能結(jié)構(gòu)1.4.1數(shù)據(jù)倉庫基本功能層1.數(shù)據(jù)倉庫的數(shù)據(jù)源數(shù)據(jù)源業(yè)務(wù)數(shù)據(jù):從組織目前正在運行的業(yè)務(wù)處理系統(tǒng)那里收集到,并保存在業(yè)務(wù)處理系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)。往往由關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫或文件系統(tǒng)所構(gòu)成。歷史數(shù)據(jù):長期的信息處理過程中所積累下來的數(shù)據(jù),一般進(jìn)行了脫機(jī)處理,以磁帶或者其他脫機(jī)存儲設(shè)施保存,對業(yè)務(wù)系統(tǒng)的當(dāng)前運行不起作用。辦公數(shù)據(jù):組織內(nèi)部的辦公系統(tǒng)數(shù)據(jù),這些數(shù)據(jù)分電子數(shù)據(jù)和非電子數(shù)據(jù)。電子數(shù)據(jù)方式保存的數(shù)據(jù),主要指電子表格、數(shù)據(jù)庫或業(yè)務(wù)數(shù)據(jù):從組織目前正在運行的業(yè)務(wù)處理系統(tǒng)那里收集到,并保存文字處理文檔等形式保存的數(shù)據(jù)。非電子數(shù)據(jù)主要是指那些文件、通知、會議紀(jì)要等文件。(OCR,文字識別軟件)Web數(shù)據(jù):企業(yè)通過Internet所獲取的數(shù)據(jù),可以通過企業(yè)的電子商務(wù)系統(tǒng)獲取,也可以通過網(wǎng)絡(luò)調(diào)查獲取。外部數(shù)據(jù):不為企業(yè)所操作、所擁有、所控制的數(shù)據(jù)。這些數(shù)據(jù)可以以電子形式或者非電子形式保存。數(shù)據(jù)源數(shù)據(jù):屬于元數(shù)據(jù)管理范圍,在數(shù)據(jù)倉庫中的所有數(shù)據(jù)都需要通過元數(shù)據(jù)管理層來進(jìn)行管理、控制。文字處理文檔等形式保存的數(shù)據(jù)。非電子數(shù)據(jù)主要是指那些文件、通2.數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)的標(biāo)準(zhǔn)化處理元數(shù)據(jù)抽取與創(chuàng)建數(shù)據(jù)的過濾與匹配數(shù)據(jù)的凈化處理標(biāo)明數(shù)據(jù)的時間戳確認(rèn)數(shù)據(jù)質(zhì)量圖1.10數(shù)據(jù)準(zhǔn)備區(qū)功能結(jié)構(gòu)圖2.數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)的標(biāo)準(zhǔn)化處理元數(shù)據(jù)抽取與創(chuàng)建數(shù)據(jù)的過濾與匹3.數(shù)據(jù)倉庫功能結(jié)構(gòu)數(shù)據(jù)集成與分解數(shù)據(jù)倉庫的建模元數(shù)據(jù)瀏覽與導(dǎo)航數(shù)據(jù)概括與聚集數(shù)據(jù)的概括數(shù)據(jù)預(yù)算與推導(dǎo)數(shù)據(jù)的聚集元數(shù)據(jù)的創(chuàng)建數(shù)據(jù)翻譯與格式化數(shù)據(jù)的調(diào)整與確認(rèn)數(shù)據(jù)轉(zhuǎn)換與映射建立結(jié)構(gòu)化查詢創(chuàng)建詞匯表圖1.11數(shù)據(jù)倉庫的功能結(jié)構(gòu)數(shù)據(jù)重整數(shù)據(jù)倉庫創(chuàng)建元數(shù)據(jù)管理3.數(shù)據(jù)倉庫功能結(jié)構(gòu)數(shù)據(jù)集成與分解數(shù)據(jù)倉庫的建模元數(shù)據(jù)瀏覽與4.數(shù)據(jù)集市/知識挖掘庫過濾與匹配建立模型元數(shù)據(jù)瀏覽與導(dǎo)航集成與分割概括概括與聚集聚集元數(shù)據(jù)的抽取與創(chuàng)建預(yù)測與推導(dǎo)調(diào)整與確認(rèn)標(biāo)明時間維的數(shù)據(jù)源建立結(jié)構(gòu)化查詢創(chuàng)建詞匯表圖1.12數(shù)據(jù)集市的結(jié)構(gòu)求精與重整數(shù)據(jù)集市/知識挖掘庫創(chuàng)建元數(shù)據(jù)管理4.數(shù)據(jù)集市/知識挖掘庫過濾與匹配建立模型元數(shù)據(jù)瀏覽與導(dǎo)航集數(shù)據(jù)集市/知識挖掘庫的功能結(jié)構(gòu)與數(shù)據(jù)倉庫的結(jié)構(gòu)極為相似,只是數(shù)據(jù)集市設(shè)立的目的在于為某一部門或某一領(lǐng)域的用戶提供服務(wù),而設(shè)立數(shù)據(jù)倉庫的目的則在于為企業(yè)全體用戶提供服務(wù)。因此,可將數(shù)據(jù)集市/知識挖掘庫看成是數(shù)據(jù)倉庫的一個邏輯上或物理上的子集,數(shù)據(jù)集市/知識挖掘庫也包含了用戶所需要查詢的詳細(xì)數(shù)據(jù)和概括性數(shù)據(jù)。從數(shù)據(jù)集市/知識挖掘庫所包含的主題與數(shù)據(jù)量看,都比數(shù)據(jù)倉庫少。數(shù)據(jù)集市/知識挖掘庫的功能結(jié)構(gòu)與數(shù)據(jù)倉庫的結(jié)構(gòu)極為相似,只是5.數(shù)據(jù)倉庫的數(shù)據(jù)存取與使用數(shù)據(jù)倉庫直接存取報表處理工具元數(shù)據(jù)管理與報表數(shù)據(jù)集市存取分析與決策支持工具數(shù)據(jù)集市重整業(yè)務(wù)建模與分析處理工具元數(shù)據(jù)的抽取與創(chuàng)建轉(zhuǎn)換為多維結(jié)構(gòu)數(shù)據(jù)挖掘工具創(chuàng)建局部存儲圖形工具圖1.13數(shù)據(jù)倉庫存取與使用結(jié)構(gòu)數(shù)據(jù)倉庫存取與檢索數(shù)據(jù)倉庫分析與報告元數(shù)據(jù)管理5.數(shù)據(jù)倉庫的數(shù)據(jù)存取與使用數(shù)據(jù)倉庫直接存取報表處理工具元數(shù)1.4.2.數(shù)據(jù)倉庫的管理層1.數(shù)據(jù)倉庫的數(shù)據(jù)管理層圖1.14數(shù)據(jù)倉庫的數(shù)據(jù)管理層數(shù)據(jù)抽取與新數(shù)據(jù)需求與查詢管理數(shù)據(jù)加載、存儲、刷新和更新系統(tǒng)安全性與用戶授權(quán)管理數(shù)據(jù)歸檔、恢復(fù)及凈化處理圖1.14數(shù)據(jù)倉庫的數(shù)據(jù)管理層1.4.2.數(shù)據(jù)倉庫的管理層1.數(shù)據(jù)倉庫的數(shù)據(jù)管理層圖1.12.數(shù)據(jù)倉庫的元數(shù)據(jù)管理層圖1.15數(shù)據(jù)倉庫的元數(shù)據(jù)管理層數(shù)據(jù)倉庫、數(shù)據(jù)集市/知識挖掘庫和詞匯表管理元數(shù)據(jù)抽取、創(chuàng)建、存儲和更新管理預(yù)定義的查詢、報表和索引管理刷新與復(fù)制管理登錄、歸檔、恢復(fù)與凈化管理圖1.15數(shù)據(jù)倉庫的元數(shù)據(jù)管理層2.數(shù)據(jù)倉庫的元數(shù)據(jù)管理層圖1.15數(shù)據(jù)倉庫的元數(shù)據(jù)管理1.4.3.數(shù)據(jù)倉庫的環(huán)境支持層1.數(shù)據(jù)倉庫的數(shù)據(jù)傳輸層圖1.16數(shù)據(jù)倉庫的數(shù)據(jù)傳輸曾數(shù)據(jù)傳輸和傳送網(wǎng)絡(luò)客戶-服務(wù)器代理和中間件數(shù)據(jù)復(fù)制系統(tǒng)數(shù)據(jù)傳輸?shù)陌踩捅U舷到y(tǒng)圖1.16數(shù)據(jù)倉庫的數(shù)據(jù)傳輸層1.4.3.數(shù)據(jù)倉庫的環(huán)境支持層1.數(shù)據(jù)倉庫的數(shù)據(jù)傳輸層圖12.數(shù)據(jù)倉庫的基礎(chǔ)層系統(tǒng)管理工作流程管理存儲系統(tǒng)處理系統(tǒng)圖1.17數(shù)據(jù)倉庫的基礎(chǔ)層2.數(shù)據(jù)倉庫的基礎(chǔ)層系統(tǒng)管理工作流程管理存儲系統(tǒng)處理系統(tǒng)圖11.5數(shù)據(jù)挖掘技術(shù)概述1.5.1數(shù)據(jù)挖掘的發(fā)展1.超大規(guī)模數(shù)據(jù)庫的出現(xiàn)2.先進(jìn)的計算機(jī)技術(shù)3.經(jīng)營管理的實際需要4.對數(shù)據(jù)挖掘的精深計算能力1.5數(shù)據(jù)挖掘技術(shù)概述1.5.1數(shù)據(jù)挖掘的發(fā)展1.超大規(guī)模數(shù)決策需要信息與知識情報階段:確定問題設(shè)計階段:找出解決方案選擇階段:選出解決方案實施階段:實施方案返回情報階段返回設(shè)計階段返回選擇階段決策過程的四個階段決策的過程發(fā)現(xiàn)那些需要引起注意的征兆并加以解釋,如
銷售滑坡、生產(chǎn)成本猛漲、老顧客對新產(chǎn)品的需求、新競爭對手帶來的威脅等。最優(yōu)方案由多種因素決定,如成本、實施的難易程度、對員工的要求、方案實施的時間順序等。執(zhí)行選中的方案,檢測實施的結(jié)果,并作出必要的調(diào)整。決策需要信息與知識情報階段:確定問題設(shè)計階段:找出解決方案選
高效消費者響應(yīng)(ECR)
及時、準(zhǔn)確和無紙的信息流通
流暢,不間斷的產(chǎn)品流通,滿足消費者的需求
供應(yīng)商零售商商店
消費者
ERP/CM企業(yè)資源計劃管理品類管理
SCM供應(yīng)鏈管理CRM客戶關(guān)系管理POS銷售時點系統(tǒng)
商業(yè)企業(yè)信息系統(tǒng)高效消費者響應(yīng)(ECR)及時、準(zhǔn)確和無紙的數(shù)據(jù)爆炸,知識貧乏
苦惱:淹沒在數(shù)據(jù)中,不能制定合適的決策!數(shù)據(jù)知識決策模式趨勢事實關(guān)系模型關(guān)聯(lián)規(guī)則序列目標(biāo)市場資金分配貿(mào)易選擇在哪兒做廣告銷售的地理位置金融經(jīng)濟(jì)POS人口統(tǒng)計生命周期數(shù)據(jù)爆炸,知識貧乏苦惱:淹沒在數(shù)據(jù)中,不能制定合適的決策1.5.2數(shù)據(jù)挖掘的定義各行業(yè)電子商務(wù)網(wǎng)站算法層商業(yè)邏輯層行業(yè)應(yīng)用層商業(yè)應(yīng)用商業(yè)模型挖掘算法CRM產(chǎn)品推薦客戶細(xì)分客戶流失客戶利潤客戶響應(yīng)關(guān)聯(lián)規(guī)則、序列模式、分類、聚集、神經(jīng)元網(wǎng)絡(luò)、偏差分析…WEB挖掘網(wǎng)站結(jié)構(gòu)優(yōu)化網(wǎng)頁推薦商品推薦。。。基因挖掘基因表達(dá)路徑分析基因表達(dá)相似性分析基因表達(dá)共發(fā)生分析。。。銀行電信零售保險制藥生物信息科學(xué)研究。。。相關(guān)行業(yè)1.5.2數(shù)據(jù)挖掘的定義各行業(yè)電子商務(wù)網(wǎng)站算商行商業(yè)應(yīng)用商業(yè)數(shù)據(jù)挖掘數(shù)據(jù)庫技術(shù)統(tǒng)計分析機(jī)器學(xué)習(xí)模式識別算法其它。。??梢暬夹g(shù)數(shù)據(jù)挖掘數(shù)據(jù)庫技術(shù)統(tǒng)計分析機(jī)器學(xué)習(xí)模式識別算法其它。。??梢?1December2022DataMining:ConceptsandTechniques67數(shù)據(jù)挖掘與商務(wù)智能IncreasingpotentialtosupportbusinessdecisionsEndUserBusinessAnalyst
DataAnalystDBADecision
MakingDataPresentationVisualizationTechniquesDataMiningInformationDiscoveryDataExplorationStatisticalSummary,Querying,andReportingDataPreprocessing/Integration,DataWarehousesDataSourcesPaper,Files,Webdocuments,Scientificexperiments,DatabaseSystems08December2022DataMining:C
從技術(shù)角度看,數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實際數(shù)據(jù)中,提取隱含在其中的、人們所不知道的、但又是潛在有用的信息和知識的過程。
從商業(yè)應(yīng)用角度看,數(shù)據(jù)挖掘是一種嶄新的商業(yè)信息處理技術(shù)、主要特點是對商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)化、分析和模式化處理,從中提取輔助商業(yè)決策的關(guān)鍵知識,即從一個數(shù)據(jù)庫中自動發(fā)現(xiàn)相關(guān)商業(yè)模式。因此數(shù)據(jù)挖掘可以描述成:按企業(yè)既定目標(biāo),對大量的企業(yè)數(shù)據(jù)進(jìn)行探索和分析,揭示隱藏的、未知的或驗證已知的商業(yè)規(guī)律,并進(jìn)一步模式化的處理方法。從技術(shù)角度看,數(shù)據(jù)挖掘是從大量的、不完全的、有噪表1-2數(shù)據(jù)挖掘工具與傳統(tǒng)數(shù)據(jù)分析工具的比較傳統(tǒng)數(shù)據(jù)分析工具(DSS/EIS)數(shù)據(jù)挖掘工具工具特點回顧型的,驗證型的預(yù)測型的、發(fā)現(xiàn)型的分析重點已經(jīng)發(fā)生了什么預(yù)測未來的情況、解釋發(fā)生的原因分析目的從過去的事實中列出了管理人員感興趣的事實鎖定未來的可能客戶,以減少未來的銷售成本數(shù)據(jù)集大小數(shù)據(jù)維、維中屬性值、維中數(shù)據(jù)均是少量的數(shù)據(jù)維、維中屬性值、維中數(shù)據(jù)均是龐大的啟動方式企業(yè)管理人員、系統(tǒng)分析員、管理顧問啟動與控制數(shù)據(jù)與系統(tǒng)啟動,少量的人員指導(dǎo)技術(shù)狀況成熟統(tǒng)計分析工具已成熟,其他工具正在發(fā)展中表1-2數(shù)據(jù)挖掘工具與傳統(tǒng)數(shù)據(jù)分析工具的比較傳統(tǒng)數(shù)據(jù)分析1.6數(shù)據(jù)挖掘技術(shù)與工具1.6.1常用數(shù)據(jù)挖掘技術(shù)傳統(tǒng)分析類:常用的數(shù)據(jù)挖掘模型主要有線性分析和非線性分析、回歸分析、邏輯回歸分析、單變量分析、時間序列數(shù)據(jù)、最近鄰算法和聚類分析等技術(shù)。知識發(fā)現(xiàn)類:包含人工神經(jīng)網(wǎng)絡(luò)、決策樹、遺傳算法、粗糙集(RoughSet,RS)和關(guān)聯(lián)規(guī)則等。最新發(fā)展的數(shù)據(jù)挖掘技術(shù):包含文本數(shù)據(jù)挖掘、Web數(shù)據(jù)挖掘、可視化系統(tǒng)、空間數(shù)據(jù)挖掘和分布式數(shù)據(jù)挖掘技術(shù)等。1.6數(shù)據(jù)挖掘技術(shù)與工具1.6.1常用數(shù)據(jù)挖掘技術(shù)傳統(tǒng)分析類1.6.2常用數(shù)據(jù)挖掘工具按使用方式分類的數(shù)據(jù)挖掘工具:決策方案生成工具、商業(yè)分析工具和研究分析工具。按照數(shù)據(jù)挖掘技術(shù)分類的數(shù)據(jù)挖掘工具:基于規(guī)則和決策樹的工具,基于模糊邏輯的工具和綜合性數(shù)據(jù)挖掘工具等。按應(yīng)用范圍分類的數(shù)據(jù)挖掘工具:專用型數(shù)據(jù)挖掘工具(SKICAT空間數(shù)據(jù)挖掘,TASA網(wǎng)絡(luò)通信故障)和通用型數(shù)據(jù)挖掘工具(IM、SPSS和RedBrisk等)。1.6.2常用數(shù)據(jù)挖掘工具按使用方式分類的數(shù)據(jù)挖掘工具:決策1.6.3數(shù)據(jù)挖掘工具的評價標(biāo)準(zhǔn)模式種類的數(shù)量解決復(fù)雜問題的能力操作能力數(shù)據(jù)獲取能力數(shù)據(jù)結(jié)果的輸出噪聲數(shù)據(jù)的處理及挖掘工具的魯棒性1.6.3數(shù)據(jù)挖掘工具的評價標(biāo)準(zhǔn)模式種類的數(shù)量1.6.4常用數(shù)據(jù)挖掘工具的選擇工具的實用性工具的技術(shù)型1.6.4常用數(shù)據(jù)挖掘工具的選擇工具的實用性1.7數(shù)據(jù)挖掘的應(yīng)用1.7.1數(shù)據(jù)挖掘與數(shù)據(jù)倉庫
傳統(tǒng)數(shù)據(jù)庫在聯(lián)機(jī)事物處理中取得了較大的成功,但在基于事物處理的數(shù)據(jù)庫幫助決策分析時卻產(chǎn)生了很大的困難。主要原因是傳統(tǒng)數(shù)據(jù)庫的處理方式和決策分析中的數(shù)據(jù)需求不相稱,導(dǎo)致傳統(tǒng)數(shù)據(jù)庫無法支持決策分析活動。1.7數(shù)據(jù)挖掘的應(yīng)用1.7.1數(shù)據(jù)挖掘與數(shù)據(jù)倉庫1.7.2數(shù)據(jù)挖掘與數(shù)據(jù)倉庫業(yè)務(wù)對象知識應(yīng)用方案源數(shù)據(jù)集成數(shù)據(jù)目標(biāo)數(shù)據(jù)預(yù)處理數(shù)據(jù)商業(yè)模式業(yè)務(wù)分析人員數(shù)據(jù)管理人員數(shù)據(jù)分析人員業(yè)務(wù)分析人員確定挖掘?qū)ο鬁?zhǔn)備數(shù)據(jù)建立模型數(shù)據(jù)挖掘結(jié)果分析知識應(yīng)用1.7.2數(shù)據(jù)挖掘與數(shù)據(jù)倉庫業(yè)務(wù)對象知識應(yīng)用方案源數(shù)據(jù)集成數(shù)商務(wù)智能流程1
Identifybusinessissue2Formulatebusinessquestion3WhatinformationdoIneed4WheredoIfindtheinformation5Retrieveinformation6
Analyse
Information7
Report
answers8
Take
actions商務(wù)智能流程1
Identifybusinessissu1.7.3數(shù)據(jù)挖掘的用戶數(shù)據(jù)分析人員或稱其為企業(yè)管理顧問。要求這些人精通業(yè)務(wù),能夠解釋業(yè)務(wù)對象,并能夠根據(jù)具體業(yè)務(wù)對象要求確定用于數(shù)據(jù)定義和挖掘的算法。數(shù)據(jù)分析人員。要求這些人員精通數(shù)據(jù)挖掘分析技術(shù),并較熟練地掌握統(tǒng)計學(xué),有能力把業(yè)務(wù)需求轉(zhuǎn)化為數(shù)據(jù)挖掘的各步進(jìn)行操作,并能為每步操作合適的技術(shù)。數(shù)據(jù)管理人員。這些人員需要精通數(shù)據(jù)管理技術(shù),能夠從數(shù)據(jù)庫或數(shù)據(jù)倉庫中收集數(shù)據(jù)挖掘所需要的數(shù)據(jù)。1.7.3數(shù)據(jù)挖掘的用戶數(shù)據(jù)分析人員或稱其為企業(yè)管理顧問。要78知識發(fā)現(xiàn)過程(KDD)數(shù)據(jù)清洗數(shù)據(jù)集成數(shù)據(jù)庫數(shù)據(jù)倉庫知識任務(wù)(主題)相關(guān)數(shù)據(jù)數(shù)據(jù)選擇數(shù)據(jù)挖掘評估與表示78知識發(fā)現(xiàn)過程(KDD)數(shù)據(jù)清洗數(shù)據(jù)集成數(shù)據(jù)庫數(shù)據(jù)倉庫知識11December2022經(jīng)典數(shù)據(jù)挖掘系統(tǒng)的結(jié)構(gòu)數(shù)據(jù)清洗、集成和選擇數(shù)據(jù)庫或數(shù)據(jù)倉庫服務(wù)器數(shù)據(jù)挖掘引擎模式評估用戶界面知識庫數(shù)據(jù)庫數(shù)據(jù)倉庫World-WideWeb其它信息存儲庫08December2022經(jīng)典數(shù)據(jù)挖掘系統(tǒng)的結(jié)構(gòu)數(shù)據(jù)清商務(wù)智能動態(tài)
實時標(biāo)準(zhǔn)化嵌入式商務(wù)智能移動商務(wù)智能大眾化趨勢供應(yīng)商的動向易用性商務(wù)智能動態(tài)實時數(shù)據(jù)倉庫與數(shù)據(jù)挖掘楊春博士講師Email:171165@
Tel據(jù)倉庫與數(shù)據(jù)挖掘楊春博士講師平時成績(30-40%)考勤、課堂回答問題、討論:期末成績(60-70%)考核方式:閉卷考試,16或17周。
平時成績(30-40%)數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)(第2版)作者:陳京民
出版社:電子工業(yè)出版社
出版日期:2007年11月
ISBN:9787121053054
數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)(第2版)參考書參考書第一章商務(wù)智能基本概念
第一章商務(wù)智能基本概念1.1商務(wù)智能的基本概念1.1商務(wù)智能的基本概念信息:有用的數(shù)據(jù)SenderReceiver處理數(shù)據(jù)信息知識一個人的垃圾(數(shù)據(jù))是另一個人的財富(信息)Dataendowedwithrelevanceandpurpose信息是經(jīng)過某種加工處理后的數(shù)據(jù),是反映客觀事物規(guī)律的一些數(shù)據(jù)。數(shù)據(jù)是信息的載體,信息是對數(shù)據(jù)的解釋。
信息:有用的數(shù)據(jù)SenderReceiver處理數(shù)據(jù)信息知識第一章商務(wù)智能基本概念課件IBM商務(wù)智能產(chǎn)品IBM商務(wù)智能產(chǎn)品第一章商務(wù)智能基本概念課件第一章商務(wù)智能基本概念課件第一章商務(wù)智能基本概念課件第一章商務(wù)智能基本概念課件第一章商務(wù)智能基本概念課件SAP
BusinessObjects智能平臺SAPBusinessObjects智能平臺企業(yè)數(shù)據(jù)倉庫ETL(抽取、轉(zhuǎn)換、加載)即席查詢、預(yù)定義報表、自定義報表、OLAP、數(shù)據(jù)挖掘、專題分析模型元數(shù)據(jù)管理Web服務(wù)器客戶端客戶端客戶端客戶端客戶端大客戶分析數(shù)據(jù)集市財務(wù)分析數(shù)據(jù)集市客戶分析數(shù)據(jù)集市...模型庫業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)發(fā)展分析客戶分析大客戶分析用戶發(fā)展分析收益情況分析服務(wù)質(zhì)量分析營銷管理分析財務(wù)分析渠道分析反欺詐專題分析客戶流失專題分析...企業(yè)數(shù)據(jù)倉庫ETL(抽取、轉(zhuǎn)換、加載)即席查詢、預(yù)定義報表、商務(wù)智能供應(yīng)商商務(wù)智能供應(yīng)商
商務(wù)智能(BI,BusinessIntelligence)的定義
IBM:利用已有的數(shù)據(jù)資源作出更好的商業(yè)決策,它包括數(shù)據(jù)訪問、數(shù)據(jù)和業(yè)務(wù)分析,以及發(fā)現(xiàn)新的商業(yè)的機(jī)會。這說明商務(wù)智能的實質(zhì)是從數(shù)據(jù)中有效地提取信息,從信息中發(fā)現(xiàn)知識,為商務(wù)決策和戰(zhàn)略發(fā)展。
Microsoft認(rèn)為商務(wù)智能是任何嘗試獲取、分析企業(yè)數(shù)據(jù)以更清楚地了解市場和客戶、改進(jìn)企業(yè)流程、更有效地參與競爭的努力,以便在正確的時間向正確的決策者提供正確的信息。商務(wù)智能使企業(yè)能夠做出比以前更好的決策。此外,IDC,Business,Objectes,Teradata,MicroStrategy公司也都有對商務(wù)智能不同的解釋。
商務(wù)智能(BI,BusinessIntellige總而言之,商務(wù)智能是由數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘三種信息技術(shù)應(yīng)用于商務(wù)活動后所形成的一組信息技術(shù)的應(yīng)用技術(shù)。
總而言之,商務(wù)智能是由數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘三種信業(yè)務(wù)數(shù)據(jù)分析的類型Increasing#ofusersOLAPStatisticalAnalysisStandardQueryReportingDMIncreasingComplexity數(shù)據(jù)分析技術(shù)的發(fā)展可分成報表查詢、在線分析處理(OLAP)和數(shù)據(jù)挖掘3個階段。
業(yè)務(wù)數(shù)據(jù)分析的類型IncreasingOLAPStatist數(shù)據(jù)倉庫是基礎(chǔ),它提供了商務(wù)智能所需要的各種信息;聯(lián)機(jī)分析處理是商務(wù)智能應(yīng)用之利器,管理決策者使用聯(lián)機(jī)分析工具對反映企業(yè)商務(wù)活動的數(shù)據(jù)倉庫進(jìn)行智能分析,可以提高企業(yè)的市場競爭力;數(shù)據(jù)挖掘是商務(wù)智能的形成之源,利用數(shù)據(jù)挖掘可以從數(shù)據(jù)倉庫中尋找企業(yè)的商務(wù)智能模式,從數(shù)據(jù)倉庫的海量數(shù)據(jù)中歸納出商務(wù)知識。實例數(shù)據(jù)倉庫是基礎(chǔ),它提供了商務(wù)智能所需要的各種信息;聯(lián)機(jī)分析處銷售分析儀表盤銷售分析儀表盤客戶流失分析客戶流失分析目標(biāo)顧客群目標(biāo)顧客群信息流暢通了還需要?ERP企業(yè)資源規(guī)劃系統(tǒng)SCM供應(yīng)鏈管理商務(wù)智能BI(businessintelligence)B2B、B2CCRMInternet等基礎(chǔ)設(shè)施數(shù)據(jù)信息流暢通了還需要?ERPSCM商務(wù)智能新一代決策支持系統(tǒng)交易處理系統(tǒng)DSS軟件系統(tǒng)模式OLAP工具資料挖掘工具外部資料使用者使用者界面DSS資料庫數(shù)據(jù)導(dǎo)向型決策支持系統(tǒng):事務(wù)處理系統(tǒng)等搜集的大量數(shù)據(jù),隱藏對決策有用的模式和規(guī)則,可以用統(tǒng)計方法、OLAP和數(shù)據(jù)挖掘等分析得到,以輔助決策分析用。新一代決策支持系統(tǒng)交易處外部資料使用者使用者界面DSS數(shù)據(jù)導(dǎo)1.1.2商務(wù)智能的發(fā)展與應(yīng)用商務(wù)智能的發(fā)展與應(yīng)用:電子數(shù)據(jù)處理系統(tǒng)-〉管理信息系統(tǒng)-〉決策支持系統(tǒng)商務(wù)智能的作用:理解、改善、衡量、創(chuàng)造商務(wù)智能的作用域:戰(zhàn)略管理、營銷管理、市場管理、客戶關(guān)系管理和風(fēng)險管理
1.1.2商務(wù)智能的發(fā)展與應(yīng)用商務(wù)智能的發(fā)展與應(yīng)用:電子商務(wù)分析:商務(wù)風(fēng)險分析、數(shù)據(jù)庫營銷分析、智能型客戶關(guān)系管理、供應(yīng)鏈管理OLAP、數(shù)據(jù)挖掘數(shù)據(jù)倉庫圖1.1商務(wù)智能體系結(jié)構(gòu)1.1.3商務(wù)智能的體系結(jié)構(gòu)商務(wù)分析:商務(wù)風(fēng)險分析、數(shù)據(jù)庫營銷分析、智能型客戶關(guān)系管理、BusinessIntelligenceArchitectureOperationalandExternalDataWarehousemodelingandConstructionTools(ETL)BusinessIntelligenceApplicationsDecisionSupportToolsQueryandReporting
OLAPInformationMiningAccessenablersApplicationInterfacesMiddlewareServicesDepartmentalwarehouses(datamarts)AdministrationGlobalWarehouseOtherInformationStoresOperationalandExternalDataDataManagementMetadataManagementBusinessIntelligenceArchitec第一章商務(wù)智能基本概念課件1.2數(shù)據(jù)倉庫的發(fā)展與展望管理人員常常希望能夠通過對組織中的大量數(shù)據(jù)進(jìn)行分析,了解業(yè)務(wù)的發(fā)展趨勢,而傳統(tǒng)的數(shù)據(jù)庫只保留了當(dāng)前的業(yè)務(wù)處理信息,缺乏決策分析所需要的大量歷史信息,為滿足管理人員的決策分析需要,在數(shù)據(jù)庫的基礎(chǔ)上就產(chǎn)生了適應(yīng)決策分析的數(shù)據(jù)環(huán)境-數(shù)據(jù)倉庫(DW,DataWarehouse)1.2數(shù)據(jù)倉庫的發(fā)展與展望管理人員常常希望能夠通過對組織1.2.1從數(shù)據(jù)庫到數(shù)據(jù)倉庫
傳統(tǒng)數(shù)據(jù)庫在聯(lián)機(jī)事物處理中取得了較大的成功,但在基于事物處理的數(shù)據(jù)庫幫助決策分析時卻產(chǎn)生了很大的困難。主要原因是傳統(tǒng)數(shù)據(jù)庫的處理方式和決策分析中的數(shù)據(jù)需求不相稱,導(dǎo)致傳統(tǒng)數(shù)據(jù)庫無法支持決策分析活動。這些不相稱主要體現(xiàn)在如下幾個方面:1.2.1從數(shù)據(jù)庫到數(shù)據(jù)倉庫傳統(tǒng)數(shù)據(jù)庫在聯(lián)機(jī)事物處理中(1)決策處理的系統(tǒng)響應(yīng)問題:傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)存取頻率高、操作時間快,有較高的響應(yīng)時間。而在決策分析處理中,有些決策處理請求問題則可能需要系統(tǒng)長達(dá)數(shù)小時的運行,耗費大量的系統(tǒng)資源,而使事務(wù)聯(lián)機(jī)系統(tǒng)無法忍受。(2)決策數(shù)據(jù)需求的問題:決策分析需要全面、正確的集成數(shù)據(jù),這些數(shù)據(jù)不僅包括企業(yè)內(nèi)部各部門的數(shù)據(jù)而且包括企業(yè)外部的、甚至競爭對手的相關(guān)數(shù)據(jù)。在決策數(shù)據(jù)的集成中還需要解決數(shù)據(jù)混亂的問題(0和1,M&F)。決策分析需要從數(shù)據(jù)庫中抽取數(shù)據(jù),查找有用的數(shù)據(jù)。(1)決策處理的系統(tǒng)響應(yīng)問題:傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)存取頻率高、操作數(shù)據(jù)的集成還涉及外部數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用問題。決策數(shù)據(jù)一般涉及到長期的大量歷史數(shù)據(jù)。在決策分析過程中,往往需要經(jīng)過匯總、概括的數(shù)據(jù)。(3)決策數(shù)據(jù)操作的問題:在對數(shù)據(jù)的操作方式上,事務(wù)處理系統(tǒng)往往不能滿足決策人員的需要(訪問權(quán)限、用戶身份、報表表現(xiàn)形式)。同時,由于系統(tǒng)響應(yīng)、決策數(shù)據(jù)需求和決策數(shù)據(jù)操作等影響,使企業(yè)無法使用現(xiàn)有的事務(wù)處理系統(tǒng)去解決決策分析的需要。(4)數(shù)據(jù)倉庫與傳統(tǒng)數(shù)據(jù)庫的比較數(shù)據(jù)的集成還涉及外部數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用問題。決策數(shù)據(jù)一表1-1數(shù)據(jù)倉庫與數(shù)據(jù)庫的對比
對比內(nèi)容
數(shù)據(jù)庫
數(shù)據(jù)倉庫數(shù)據(jù)內(nèi)容當(dāng)前值歷史的、存檔的、歸納的、計算的數(shù)據(jù)數(shù)據(jù)目標(biāo)面向業(yè)務(wù)操作程序,重復(fù)處理面向主題域,分析應(yīng)用數(shù)據(jù)特性動態(tài)變化,按字段更新靜態(tài)、不能直接更新,只能定時添加、刷新數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜,適合操作計算簡單、適合分析使用頻率高中到低數(shù)據(jù)訪問量每個事物只訪問少量記錄有的事物可能需要訪問大量記錄對響應(yīng)時間的要求以秒為單位時間長表1-1數(shù)據(jù)倉庫與數(shù)據(jù)庫的對比對比內(nèi)容數(shù)據(jù)庫數(shù)據(jù)倉庫的定義:數(shù)據(jù)倉庫就是一個面向主題的、集成的、不可更新的、隨時間不斷變化的數(shù)據(jù)集合,它用以支持企業(yè)或組織的決策分析處理。
1.2.2數(shù)據(jù)倉庫的基本特性數(shù)據(jù)倉庫的定義:數(shù)據(jù)倉庫就是一個面向主題的、集成的、不可更新數(shù)據(jù)倉庫的基本特征(1)數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題的:數(shù)據(jù)倉庫中所有的數(shù)據(jù)都是圍繞著某一主題組織展開的。例如企業(yè)中的客戶、產(chǎn)品、供應(yīng)商等都可以作為主題看待。(2)數(shù)據(jù)倉庫的數(shù)據(jù)是集成的:根據(jù)決策分析的要求,將分散于各處的源數(shù)據(jù)進(jìn)行抽取、篩選、清理、綜合等工作,最終集成到數(shù)據(jù)倉庫中。(業(yè)務(wù)處理系統(tǒng):在線事務(wù)處理系統(tǒng)OLTP、企業(yè)資源計劃ERP、企業(yè)業(yè)務(wù)流程重組BPR、電子商務(wù)EC)數(shù)據(jù)倉庫的基本特征(3)數(shù)據(jù)倉庫是隨時間變化的:數(shù)據(jù)應(yīng)該隨著時間的推移而變化;數(shù)據(jù)的追加和刪除都是時變的;同時,概括數(shù)據(jù)也是時變的。(4)數(shù)據(jù)的非易失性:數(shù)據(jù)倉庫中的數(shù)據(jù)不進(jìn)行更新處理,而是一旦數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫以后,就會保持一個相當(dāng)長的時間,而且數(shù)據(jù)主要是用于查詢、分析。(3)數(shù)據(jù)倉庫是隨時間變化的:數(shù)據(jù)應(yīng)該隨著時間的推移而變化;(5)數(shù)據(jù)的集合性:數(shù)據(jù)倉庫必須按照主題,以某種數(shù)據(jù)集合的形式存儲起來。(6)支持決策作用:高層的企業(yè)決策者、中層的管理者和基層的業(yè)務(wù)處理者等不同層次的管理人員均利用數(shù)據(jù)倉庫進(jìn)行決策分析,提高管理決策質(zhì)量。第一章商務(wù)智能基本概念課件1.2.3數(shù)據(jù)倉庫的發(fā)展1.基于關(guān)系對象數(shù)據(jù)庫的數(shù)據(jù)倉庫:將多媒體數(shù)據(jù)、復(fù)雜的數(shù)據(jù)類型和其他各種類型的數(shù)據(jù)引入數(shù)據(jù)倉庫。2.網(wǎng)絡(luò)的影響:數(shù)據(jù)倉庫越來越依賴于網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)的傳輸、數(shù)據(jù)的請求處理。3.操作型動態(tài)數(shù)據(jù)倉庫:重在戰(zhàn)術(shù)性決策支持,為執(zhí)行工資的戰(zhàn)略員工提供支持。(EMS-ESB(企業(yè)服務(wù)總線)追蹤包裹)4.Web應(yīng)用中的多智能體技術(shù):利用合作伙伴的數(shù)據(jù)倉庫或Internet系統(tǒng)中的多為數(shù)據(jù)集進(jìn)行決策分析活動。1.2.3數(shù)據(jù)倉庫的發(fā)展1.基于關(guān)系對象數(shù)據(jù)庫的數(shù)據(jù)倉庫1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)數(shù)據(jù)倉庫體系結(jié)構(gòu)建立在其概念基礎(chǔ)之上,并根據(jù)商務(wù)智能的不同應(yīng)用情況可以選擇虛擬數(shù)據(jù)倉庫結(jié)構(gòu)、數(shù)據(jù)集市結(jié)構(gòu)、單一數(shù)據(jù)倉庫結(jié)構(gòu)和分布式數(shù)據(jù)倉庫結(jié)構(gòu)。1.3數(shù)據(jù)倉庫的體系結(jié)構(gòu)圖1.2數(shù)據(jù)倉庫的概念結(jié)構(gòu)
業(yè)務(wù)系統(tǒng)外部數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)集市/知識挖掘庫數(shù)據(jù)倉庫數(shù)據(jù)庫數(shù)據(jù)集市/知識挖掘庫應(yīng)用工具應(yīng)用工具用戶用戶管理工具數(shù)據(jù)源1.3.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)圖1.2數(shù)據(jù)倉庫的概念結(jié)構(gòu)業(yè)務(wù)系統(tǒng)外部數(shù)數(shù)
從數(shù)據(jù)倉庫的概念結(jié)構(gòu)看,應(yīng)該包含數(shù)據(jù)源、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市/知識挖掘庫以及各種管理工具和應(yīng)用工具。數(shù)據(jù)倉庫的創(chuàng)建、應(yīng)用可以利用各種數(shù)據(jù)倉庫管理工具輔助完成。第一章商務(wù)智能基本概念課件業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫查詢管理服務(wù)器用戶圖1.3虛擬數(shù)據(jù)倉庫結(jié)構(gòu)問題:這種數(shù)據(jù)庫由于主要依靠原系統(tǒng)的運行,使原系統(tǒng)的運行效率大幅度下降;系統(tǒng)在操作過程中可能會涉及許多原系統(tǒng),這些系統(tǒng)中的同一數(shù)據(jù)缺乏相同字段結(jié)構(gòu)、編碼和關(guān)鍵字,而且不同系統(tǒng)中數(shù)據(jù)的更新不一致,必然會產(chǎn)生在不同時間對同一查詢結(jié)果的不同結(jié)果。
業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫查詢用戶圖1.3虛擬數(shù)據(jù)倉庫結(jié)構(gòu)問業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫查詢管理服務(wù)器用戶1圖1.4數(shù)據(jù)集市結(jié)構(gòu)問題:數(shù)據(jù)集市的結(jié)構(gòu)往往只能對某一主題進(jìn)行操作,如果用戶希望對兩個以上主題操作,就要求用戶對這兩個主題的數(shù)據(jù)結(jié)構(gòu)都了解,否則無法實現(xiàn)多主題的操作;在多主題數(shù)據(jù)倉庫結(jié)構(gòu)中往往產(chǎn)生大量的數(shù)據(jù)冗余。
主題1主題2用戶2業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫查詢用戶1圖1.4數(shù)據(jù)集市結(jié)構(gòu)問題業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫查詢管理服務(wù)器用戶1圖1.5單一數(shù)據(jù)倉庫結(jié)構(gòu)問題:這種體系結(jié)構(gòu)需要構(gòu)建一個統(tǒng)一的企業(yè)體系結(jié)構(gòu),而且數(shù)據(jù)存儲過程中需要高昂的存儲費用和維護(hù)費用。從數(shù)據(jù)倉庫的應(yīng)用情況看,許多企業(yè)大多采用單一的數(shù)據(jù)倉庫,因為數(shù)據(jù)倉庫中集成了企業(yè)的所有數(shù)據(jù),使企業(yè)能夠使用企業(yè)總體視圖對企業(yè)總體決策提供幫助。
主題1主題2用戶2數(shù)據(jù)倉庫業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫查詢用戶1圖1.5單一數(shù)據(jù)倉庫結(jié)構(gòu)局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫全局?jǐn)?shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫站點A站點C總部站點B站點D圖1.6分布式數(shù)據(jù)倉庫結(jié)構(gòu)問題:隨著服務(wù)器的增加,最后可能會使網(wǎng)絡(luò)中的數(shù)據(jù)傳輸不堪重負(fù)。此外,全局?jǐn)?shù)據(jù)倉庫與局部數(shù)據(jù)倉庫中的數(shù)據(jù)冗余是分布式數(shù)據(jù)倉庫的又一缺陷。局部數(shù)局部數(shù)全局?jǐn)?shù)局部數(shù)局部數(shù)站點A站點C總部站點B站點D圖1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)基本功能層:數(shù)據(jù)抽取,數(shù)據(jù)篩選、清洗,清洗后的數(shù)據(jù)加載,設(shè)立數(shù)據(jù)集市,完成數(shù)據(jù)倉庫的查詢、決策分析和知識的挖掘等操作。數(shù)據(jù)倉庫的管理層分成數(shù)據(jù)管理與元數(shù)據(jù)管理兩部分,主要負(fù)責(zé)對數(shù)據(jù)倉庫中的數(shù)據(jù)抽取、清理、加載、更新等操作進(jìn)行管理。數(shù)據(jù)倉庫環(huán)境支持層包含數(shù)據(jù)傳輸和數(shù)據(jù)倉庫基礎(chǔ)兩部分。數(shù)據(jù)倉庫的基本功能層數(shù)據(jù)倉庫的管理層數(shù)據(jù)倉庫的環(huán)境支持層圖1.7數(shù)據(jù)倉庫總體框架結(jié)構(gòu)1.4數(shù)據(jù)倉庫的參照結(jié)構(gòu)基本功能層:數(shù)據(jù)抽取,數(shù)據(jù)篩選1.4.1數(shù)據(jù)倉庫基本功能層1.數(shù)據(jù)倉庫的數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)倉庫數(shù)據(jù)集市/知識挖掘庫數(shù)據(jù)倉庫的數(shù)據(jù)存取與使用圖1.8數(shù)據(jù)倉庫功能結(jié)構(gòu)業(yè)務(wù)數(shù)據(jù)歷史數(shù)據(jù)辦公數(shù)據(jù)Web數(shù)據(jù)外部數(shù)據(jù)數(shù)據(jù)源元數(shù)據(jù)圖1.9數(shù)據(jù)源功能結(jié)構(gòu)1.4.1數(shù)據(jù)倉庫基本功能層1.數(shù)據(jù)倉庫的數(shù)據(jù)源數(shù)據(jù)源業(yè)務(wù)數(shù)據(jù):從組織目前正在運行的業(yè)務(wù)處理系統(tǒng)那里收集到,并保存在業(yè)務(wù)處理系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)。往往由關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫或文件系統(tǒng)所構(gòu)成。歷史數(shù)據(jù):長期的信息處理過程中所積累下來的數(shù)據(jù),一般進(jìn)行了脫機(jī)處理,以磁帶或者其他脫機(jī)存儲設(shè)施保存,對業(yè)務(wù)系統(tǒng)的當(dāng)前運行不起作用。辦公數(shù)據(jù):組織內(nèi)部的辦公系統(tǒng)數(shù)據(jù),這些數(shù)據(jù)分電子數(shù)據(jù)和非電子數(shù)據(jù)。電子數(shù)據(jù)方式保存的數(shù)據(jù),主要指電子表格、數(shù)據(jù)庫或業(yè)務(wù)數(shù)據(jù):從組織目前正在運行的業(yè)務(wù)處理系統(tǒng)那里收集到,并保存文字處理文檔等形式保存的數(shù)據(jù)。非電子數(shù)據(jù)主要是指那些文件、通知、會議紀(jì)要等文件。(OCR,文字識別軟件)Web數(shù)據(jù):企業(yè)通過Internet所獲取的數(shù)據(jù),可以通過企業(yè)的電子商務(wù)系統(tǒng)獲取,也可以通過網(wǎng)絡(luò)調(diào)查獲取。外部數(shù)據(jù):不為企業(yè)所操作、所擁有、所控制的數(shù)據(jù)。這些數(shù)據(jù)可以以電子形式或者非電子形式保存。數(shù)據(jù)源數(shù)據(jù):屬于元數(shù)據(jù)管理范圍,在數(shù)據(jù)倉庫中的所有數(shù)據(jù)都需要通過元數(shù)據(jù)管理層來進(jìn)行管理、控制。文字處理文檔等形式保存的數(shù)據(jù)。非電子數(shù)據(jù)主要是指那些文件、通2.數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)的標(biāo)準(zhǔn)化處理元數(shù)據(jù)抽取與創(chuàng)建數(shù)據(jù)的過濾與匹配數(shù)據(jù)的凈化處理標(biāo)明數(shù)據(jù)的時間戳確認(rèn)數(shù)據(jù)質(zhì)量圖1.10數(shù)據(jù)準(zhǔn)備區(qū)功能結(jié)構(gòu)圖2.數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)的標(biāo)準(zhǔn)化處理元數(shù)據(jù)抽取與創(chuàng)建數(shù)據(jù)的過濾與匹3.數(shù)據(jù)倉庫功能結(jié)構(gòu)數(shù)據(jù)集成與分解數(shù)據(jù)倉庫的建模元數(shù)據(jù)瀏覽與導(dǎo)航數(shù)據(jù)概括與聚集數(shù)據(jù)的概括數(shù)據(jù)預(yù)算與推導(dǎo)數(shù)據(jù)的聚集元數(shù)據(jù)的創(chuàng)建數(shù)據(jù)翻譯與格式化數(shù)據(jù)的調(diào)整與確認(rèn)數(shù)據(jù)轉(zhuǎn)換與映射建立結(jié)構(gòu)化查詢創(chuàng)建詞匯表圖1.11數(shù)據(jù)倉庫的功能結(jié)構(gòu)數(shù)據(jù)重整數(shù)據(jù)倉庫創(chuàng)建元數(shù)據(jù)管理3.數(shù)據(jù)倉庫功能結(jié)構(gòu)數(shù)據(jù)集成與分解數(shù)據(jù)倉庫的建模元數(shù)據(jù)瀏覽與4.數(shù)據(jù)集市/知識挖掘庫過濾與匹配建立模型元數(shù)據(jù)瀏覽與導(dǎo)航集成與分割概括概括與聚集聚集元數(shù)據(jù)的抽取與創(chuàng)建預(yù)測與推導(dǎo)調(diào)整與確認(rèn)標(biāo)明時間維的數(shù)據(jù)源建立結(jié)構(gòu)化查詢創(chuàng)建詞匯表圖1.12數(shù)據(jù)集市的結(jié)構(gòu)求精與重整數(shù)據(jù)集市/知識挖掘庫創(chuàng)建元數(shù)據(jù)管理4.數(shù)據(jù)集市/知識挖掘庫過濾與匹配建立模型元數(shù)據(jù)瀏覽與導(dǎo)航集數(shù)據(jù)集市/知識挖掘庫的功能結(jié)構(gòu)與數(shù)據(jù)倉庫的結(jié)構(gòu)極為相似,只是數(shù)據(jù)集市設(shè)立的目的在于為某一部門或某一領(lǐng)域的用戶提供服務(wù),而設(shè)立數(shù)據(jù)倉庫的目的則在于為企業(yè)全體用戶提供服務(wù)。因此,可將數(shù)據(jù)集市/知識挖掘庫看成是數(shù)據(jù)倉庫的一個邏輯上或物理上的子集,數(shù)據(jù)集市/知識挖掘庫也包含了用戶所需要查詢的詳細(xì)數(shù)據(jù)和概括性數(shù)據(jù)。從數(shù)據(jù)集市/知識挖掘庫所包含的主題與數(shù)據(jù)量看,都比數(shù)據(jù)倉庫少。數(shù)據(jù)集市/知識挖掘庫的功能結(jié)構(gòu)與數(shù)據(jù)倉庫的結(jié)構(gòu)極為相似,只是5.數(shù)據(jù)倉庫的數(shù)據(jù)存取與使用數(shù)據(jù)倉庫直接存取報表處理工具元數(shù)據(jù)管理與報表數(shù)據(jù)集市存取分析與決策支持工具數(shù)據(jù)集市重整業(yè)務(wù)建模與分析處理工具元數(shù)據(jù)的抽取與創(chuàng)建轉(zhuǎn)換為多維結(jié)構(gòu)數(shù)據(jù)挖掘工具創(chuàng)建局部存儲圖形工具圖1.13數(shù)據(jù)倉庫存取與使用結(jié)構(gòu)數(shù)據(jù)倉庫存取與檢索數(shù)據(jù)倉庫分析與報告元數(shù)據(jù)管理5.數(shù)據(jù)倉庫的數(shù)據(jù)存取與使用數(shù)據(jù)倉庫直接存取報表處理工具元數(shù)1.4.2.數(shù)據(jù)倉庫的管理層1.數(shù)據(jù)倉庫的數(shù)據(jù)管理層圖1.14數(shù)據(jù)倉庫的數(shù)據(jù)管理層數(shù)據(jù)抽取與新數(shù)據(jù)需求與查詢管理數(shù)據(jù)加載、存儲、刷新和更新系統(tǒng)安全性與用戶授權(quán)管理數(shù)據(jù)歸檔、恢復(fù)及凈化處理圖1.14數(shù)據(jù)倉庫的數(shù)據(jù)管理層1.4.2.數(shù)據(jù)倉庫的管理層1.數(shù)據(jù)倉庫的數(shù)據(jù)管理層圖1.12.數(shù)據(jù)倉庫的元數(shù)據(jù)管理層圖1.15數(shù)據(jù)倉庫的元數(shù)據(jù)管理層數(shù)據(jù)倉庫、數(shù)據(jù)集市/知識挖掘庫和詞匯表管理元數(shù)據(jù)抽取、創(chuàng)建、存儲和更新管理預(yù)定義的查詢、報表和索引管理刷新與復(fù)制管理登錄、歸檔、恢復(fù)與凈化管理圖1.15數(shù)據(jù)倉庫的元數(shù)據(jù)管理層2.數(shù)據(jù)倉庫的元數(shù)據(jù)管理層圖1.15數(shù)據(jù)倉庫的元數(shù)據(jù)管理1.4.3.數(shù)據(jù)倉庫的環(huán)境支持層1.數(shù)據(jù)倉庫的數(shù)據(jù)傳輸層圖1.16數(shù)據(jù)倉庫的數(shù)據(jù)傳輸曾數(shù)據(jù)傳輸和傳送網(wǎng)絡(luò)客戶-服務(wù)器代理和中間件數(shù)據(jù)復(fù)制系統(tǒng)數(shù)據(jù)傳輸?shù)陌踩捅U舷到y(tǒng)圖1.16數(shù)據(jù)倉庫的數(shù)據(jù)傳輸層1.4.3.數(shù)據(jù)倉庫的環(huán)境支持層1.數(shù)據(jù)倉庫的數(shù)據(jù)傳輸層圖12.數(shù)據(jù)倉庫的基礎(chǔ)層系統(tǒng)管理工作流程管理存儲系統(tǒng)處理系統(tǒng)圖1.17數(shù)據(jù)倉庫的基礎(chǔ)層2.數(shù)據(jù)倉庫的基礎(chǔ)層系統(tǒng)管理工作流程管理存儲系統(tǒng)處理系統(tǒng)圖11.5數(shù)據(jù)挖掘技術(shù)概述1.5.1數(shù)據(jù)挖掘的發(fā)展1.超大規(guī)模數(shù)據(jù)庫的出現(xiàn)2.先進(jìn)的計算機(jī)技術(shù)3.經(jīng)營管理的實際需要4.對數(shù)據(jù)挖掘的精深計算能力1.5數(shù)據(jù)挖掘技術(shù)概述1.5.1數(shù)據(jù)挖掘的發(fā)展1.超大規(guī)模數(shù)決策需要信息與知識情報階段:確定問題設(shè)計階段:找出解決方案選擇階段:選出解決方案實施階段:實施方案返回情報階段返回設(shè)計階段返回選擇階段決策過程的四個階段決策的過程發(fā)現(xiàn)那些需要引起注意的征兆并加以解釋,如
銷售滑坡、生產(chǎn)成本猛漲、老顧客對新產(chǎn)品的需求、新競爭對手帶來的威脅等。最優(yōu)方案由多種因素決定,如成本、實施的難易程度、對員工的要求、方案實施的時間順序等。執(zhí)行選中的方案,檢測實施的結(jié)果,并作出必要的調(diào)整。決策需要信息與知識情報階段:確定問題設(shè)計階段:找出解決方案選
高效消費者響應(yīng)(ECR)
及時、準(zhǔn)確和無紙的信息流通
流暢,不間斷的產(chǎn)品流通,滿足消費者的需求
供應(yīng)商零售商商店
消費者
ERP/CM企業(yè)資源計劃管理品類管理
SCM供應(yīng)鏈管理CRM客戶關(guān)系管理POS銷售時點系統(tǒng)
商業(yè)企業(yè)信息系統(tǒng)高效消費者響應(yīng)(ECR)及時、準(zhǔn)確和無紙的數(shù)據(jù)爆炸,知識貧乏
苦惱:淹沒在數(shù)據(jù)中,不能制定合適的決策!數(shù)據(jù)知識決策模式趨勢事實關(guān)系模型關(guān)聯(lián)規(guī)則序列目標(biāo)市場資金分配貿(mào)易選擇在哪兒做廣告銷售的地理位置金融經(jīng)濟(jì)POS人口統(tǒng)計生命周期數(shù)據(jù)爆炸,知識貧乏苦惱:淹沒在數(shù)據(jù)中,不能制定合適的決策1.5.2數(shù)據(jù)挖掘的定義各行業(yè)電子商務(wù)網(wǎng)站算法層商業(yè)邏輯層行業(yè)應(yīng)用層商業(yè)應(yīng)用商業(yè)模型挖掘算法CRM產(chǎn)品推薦客戶細(xì)分客戶流失客戶利潤客戶響應(yīng)關(guān)聯(lián)規(guī)則、序列模式、分類、聚集、神經(jīng)元網(wǎng)絡(luò)、偏差分析…WEB挖掘網(wǎng)站結(jié)構(gòu)優(yōu)化網(wǎng)頁推薦商品推薦。。?;蛲诰蚧虮磉_(dá)路徑分析基因表達(dá)相似性分析基因表達(dá)共發(fā)生分析。。。銀行電信零售保險制藥生物信息科學(xué)研究。。。相關(guān)行業(yè)1.5.2數(shù)據(jù)挖掘的定義各行業(yè)電子商務(wù)網(wǎng)站算商行商業(yè)應(yīng)用商業(yè)數(shù)據(jù)挖掘數(shù)據(jù)庫技術(shù)統(tǒng)計分析機(jī)器學(xué)習(xí)模式識別算法其它。。??梢暬夹g(shù)數(shù)據(jù)挖掘數(shù)據(jù)庫技術(shù)統(tǒng)計分析機(jī)器學(xué)習(xí)模式識別算法其它。。。可視11December2022DataMining:ConceptsandTechniques147數(shù)據(jù)挖掘與商務(wù)智能IncreasingpotentialtosupportbusinessdecisionsEndUserBusinessAnalyst
DataAnalystDBADecision
MakingDataPresentationVisualizationTechniquesDataMiningInformationDiscoveryDataExplorationStatisticalSumma
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 勞動合同法員工離職的規(guī)定2024年-
- 轉(zhuǎn)租房屋租賃協(xié)議范例
- 房屋建設(shè)四鄰合作協(xié)議
- 房地產(chǎn)開發(fā)承包合同
- 房地產(chǎn)項目抵押借款合同
- 房產(chǎn)認(rèn)購協(xié)議書
- 新昌縣茶葉種植收購合同匯編
- 2023年高考押題預(yù)測卷01浙江卷-生物(原卷版)
- 2023年高考地理第一次模擬考試卷-(天津A卷)(全解全析)
- 2023年高考地理復(fù)習(xí)精題精練-城鎮(zhèn)化(解析版)
- 電動客車驅(qū)動橋總成設(shè)計
- 四川省阿壩藏族羌族自治州《綜合知識》事業(yè)單位國考真題
- 2023年人民法院電子音像出版社招聘筆試題庫及答案解析
- 大學(xué)生心理健康優(yōu)秀說課-比賽課件
- 收款賬戶變更的聲明
- 九年級道德與法治中考復(fù)習(xí)資料
- 《化學(xué)發(fā)展簡史》學(xué)習(xí)心得
- 班組建設(shè)與班組長管理技巧課件
- 簽派員執(zhí)照考試題庫匯總-8簽派和實踐應(yīng)用
- 30屈原《楚辭·橘頌》課件
- 銷售人員十大軍規(guī)課件
評論
0/150
提交評論