BI商業(yè)智能簡介

1、BI/DW IntroductionJames ChenPSO Sr. Consultant程序=算法+數(shù)據(jù)結(jié)構(gòu)構(gòu)-NiklausWirth數(shù)據(jù)結(jié)構(gòu)構(gòu)離散結(jié)構(gòu)構(gòu)線形結(jié)構(gòu)構(gòu)-數(shù)組鏈表表棧隊列列樹圖算法空間復(fù)雜雜度時間復(fù)雜雜度用戶內(nèi)存中數(shù)數(shù)據(jù)結(jié)構(gòu)構(gòu)物理數(shù)據(jù)據(jù)結(jié)構(gòu)E-R業(yè)務(wù)流程程二者相輔輔相成，不同應(yīng)應(yīng)用側(cè)重重不同經(jīng)典業(yè)務(wù)務(wù)系統(tǒng)模模型Skillset數(shù)據(jù)庫C+/J2EE/.netPowerDesignerER_WINOOUML面向過程程OODesignWorkflowDevelop Business TypeModelIdentifyBusinessInterfacesIdentifySystemI

2、nterfaces& OpsCreateInitialComp Specs &ArchitectureDiscoverBusinessOperationsRefineInterfaces& OpsRefineComponent Specs &ArchitectureDefineInterface Information ModelsSpecify OperationPre/PostconditionsSpecify ComponentInterfaceConstraintsBusinessConcept ModelUseCaseModelBusinessInterfacesSystemInte

3、rfacesInterfacesInterfacesComponentSpecs&ArchitectureComponentSpecs&ArchitectureComponentSpecs&ArchitectureBusinessType ModelArchitecturePatternsExistingInterfacesExistingAssetsComponentIdentificationComponentInteractionComponentSpecification笑一笑數(shù)據(jù)倉庫庫初學(xué)者者：數(shù)據(jù)據(jù)倉庫與與數(shù)據(jù)庫庫有什么么區(qū)別？某專家：一個有有倉一個個沒倉！BI/DW的引出統(tǒng)計報表

4、表需求數(shù)字越來來越重要要報表越來來越多效率越來來越差數(shù)據(jù)倉庫庫的定義義“數(shù)據(jù)倉庫庫是在企企業(yè)管理理和決策策中面向主題的的,集成的,與時間相相關(guān)的和不可修修改的數(shù)數(shù)據(jù)集合合”Bill Inmon數(shù)據(jù)倉庫庫(DataWarehouse)是一種專專為聯(lián)機(jī)機(jī)分析應(yīng)應(yīng)用和決決策支持持系統(tǒng)提提供數(shù)據(jù)據(jù)源的結(jié)結(jié)構(gòu)化的的數(shù)據(jù)環(huán)環(huán)境數(shù)據(jù)倉庫庫要解決決的問題題是從數(shù)數(shù)據(jù)庫中中獲取信信息的問問題。數(shù)據(jù)信息INFORMATIONINFORMATIONINFORMATIONINFORMATION影響數(shù)據(jù)據(jù)倉庫的的幾個人人物Bill Inmon-數(shù)據(jù)倉庫庫RalphKimball -數(shù)據(jù)倉庫庫工具箱箱Bernard Li

5、autaud- 商業(yè)智能能OLTP與數(shù)據(jù)倉倉庫系統(tǒng)統(tǒng)RDBMS關(guān)系數(shù)據(jù)據(jù)庫SAP/ERPVSAM主機(jī)系統(tǒng)統(tǒng)EXCELWeb/XMLOLTP業(yè)務(wù)系統(tǒng)統(tǒng)數(shù)據(jù)倉庫庫系統(tǒng) 數(shù)據(jù)是當(dāng)前的數(shù)據(jù)總在實(shí)時變化中存儲明細(xì)數(shù)據(jù)優(yōu)化是針對即時更新的事務(wù)處理支持日常的業(yè)務(wù)支持辦事人員或行政人員 數(shù)據(jù)是歷史的數(shù)據(jù)是靜態(tài)的，除數(shù)據(jù)刷新外數(shù)據(jù)是匯總的優(yōu)化是針對大批量查詢而不是更新支持長遠(yuǎn)的業(yè)務(wù)戰(zhàn)略決策支持決策人員和管理人員面向事務(wù)面向決策5-10 年數(shù)據(jù)集市分析型CRM業(yè)務(wù)指標(biāo)分析數(shù)據(jù)倉庫BI系統(tǒng)建設(shè)設(shè)方法（1）直接建立立BI應(yīng)用OLTP數(shù)據(jù)源 各種前端應(yīng)用KPI指標(biāo)報表多維分析析即席查詢詢數(shù)據(jù)挖掘掘數(shù)據(jù)倉庫環(huán)境 業(yè)務(wù)智能

6、層中央數(shù)據(jù)倉庫數(shù)據(jù)倉庫數(shù)據(jù)集結(jié)數(shù)據(jù)源 公司數(shù)據(jù)源外部數(shù)據(jù)源BIW數(shù)據(jù)集市數(shù)據(jù)倉庫管理子系統(tǒng) 數(shù)據(jù)倉庫元數(shù)據(jù)目錄信息訪問和 引用部件 BI系統(tǒng)建設(shè)設(shè)方法（2）企業(yè)數(shù)據(jù)據(jù)倉庫體體系架構(gòu)構(gòu)RelationalPackageLegacyExternalsourceDataCleanToolSource DataDataStagingWareHouseAdmin. ToolsEnterprise DataWarehouse Data Extraction,Transformationand loadDatamartDatamartEnterprise/Central DataWarehouseRDBMS

7、ROLAPRDBMSRDBMSArchitectedDatamartsCentralMetadata Data Modeling ToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocal MetadataLocal Metadata典型物理理架構(gòu)ETL_DM1ETL_DM2BAS_DW1BAS_DW2BAS_OP1BAS_OP2Bas_sw01Bas_sw02Dx_sp01Dx_sp02Dx_sp03元數(shù)據(jù)管管理服務(wù)務(wù)器BAS_SM1BAS_SM270T!企業(yè)數(shù)據(jù)據(jù)倉庫的的目的數(shù)據(jù)整合合-建立一個個企業(yè)統(tǒng)統(tǒng)一的信信息平臺臺建立統(tǒng)一

8、一的業(yè)務(wù)務(wù)數(shù)據(jù)定定義建立唯一一的統(tǒng)計計分析數(shù)數(shù)據(jù)源快速訪問問采用適合合企業(yè)BI應(yīng)用的數(shù)數(shù)據(jù)組織織方式新需求的的開發(fā)快快數(shù)據(jù)獲取取的效率率快業(yè)務(wù)管理層業(yè)務(wù)操作層戰(zhàn)略層底層數(shù)據(jù)據(jù)低粒度匯匯總高粒度匯匯總建設(shè)數(shù)據(jù)據(jù)倉庫的的主要任任務(wù)數(shù)據(jù)倉庫庫建模ETL前端展現(xiàn)現(xiàn)組數(shù)據(jù)挖掘掘元數(shù)據(jù)數(shù)據(jù)倉庫庫引擎NCRTeredataORACLE9以上DB2EEESybaseIQMSSQLServer維模型的的設(shè)計每個維可以由一個或多個維層次或聚合路徑組成Dimension 1事實(shí)Dimension 2Dimension 4measure 1measure 2.supportive attributes.Dimensi

9、on 3aggregation path or dimension hierarchydimension key 1dimension key 2.aggregation levelsIWS模型的特特點(diǎn)簡單視圖圖實(shí)例倉庫底層層設(shè)計考考量（一一）慢速變化化維問題題快速變化化和慢速速變化倉庫底層層設(shè)計考考量（二二）粒度問題題一天變化化多次入庫時間間倉庫中間間層設(shè)計計考量基于用戶戶標(biāo)識多個粒度度匯總綜合各個個數(shù)據(jù)集集市效率考慮慮倉庫集市市層設(shè)計計考量面向應(yīng)用用報表集市市挖掘集市市主題集市市KPI集市維模型以最細(xì)粒粒度數(shù)據(jù)據(jù)為主表加物化化視圖數(shù)據(jù)倉庫庫與數(shù)據(jù)據(jù)集市數(shù)據(jù)源CUBE報表事實(shí)表維表維表維表維

10、表數(shù)據(jù)倉庫庫事實(shí)視圖圖維視圖維視圖維視圖維視圖業(yè)務(wù)驅(qū)動動數(shù)據(jù)驅(qū)動動數(shù)據(jù)集市市設(shè)計技巧巧星型還是是雪花？組合代理理鍵慢速變化化維維度的不不同層次次處理聚合表的的設(shè)計.ETL過程源表結(jié)構(gòu)構(gòu)-目標(biāo)結(jié)構(gòu)構(gòu)工具？自自己編碼碼？-業(yè)務(wù)邏輯輯的任務(wù)務(wù)已經(jīng)很很大實(shí)時任務(wù)務(wù)和批量量任務(wù)CDC的處理ODS的處理？BODate IntegratorInformaticaPowerCenterDatastageSagent數(shù)據(jù)源大數(shù)據(jù)量量變化數(shù)據(jù)據(jù)關(guān)聯(lián)數(shù)據(jù)據(jù)手工數(shù)據(jù)據(jù)抽取時機(jī)機(jī)和最遲遲到達(dá)時時間！數(shù)據(jù)源考考量-大數(shù)據(jù)量量二十余種種清單上萬個文文件，大大小不一一一天幾十十GB的數(shù)據(jù)數(shù)據(jù)源考考量-變化數(shù)據(jù)據(jù)實(shí)時變化化未存

11、歷史史數(shù)據(jù)源考考量-關(guān)聯(lián)數(shù)據(jù)據(jù)沒有transaction幾個文件件不一致致怎么辦辦？數(shù)據(jù)源考考量-手工數(shù)據(jù)據(jù)外部錄入入？OLTP系統(tǒng)？天氣社會指標(biāo)標(biāo)集團(tuán)客戶戶信息操作型CRM數(shù)據(jù)源考考量-歷史數(shù)據(jù)據(jù)更新修改昨日日數(shù)據(jù)批錯價/延遲話單單等ETL抽取/轉(zhuǎn)換/加載源數(shù)據(jù)的的理解加載時間間4小時ETL實(shí)現(xiàn)工具Loader匯總（數(shù)數(shù)據(jù)庫匯匯總還是是文件匯匯總）調(diào)度ETL-調(diào)度一天幾十十GB的數(shù)據(jù)并行度/任務(wù)大小小/資源/優(yōu)先級調(diào)度清單類（大數(shù)據(jù)據(jù)量）-文件的拆拆分和合合并/實(shí)時處理理業(yè)務(wù)類（實(shí)體之之間的關(guān)關(guān)系復(fù)雜雜）-稽合帳務(wù)類（數(shù)據(jù)準(zhǔn)準(zhǔn)確）-驗(yàn)證參數(shù)類（變化影影響其他他實(shí)體）-告警/事先處理理其他任務(wù)

12、務(wù)月末處理理前端展現(xiàn)現(xiàn)固定報表表多維分析析即席查詢詢儀表盤數(shù)據(jù)挖據(jù)據(jù)BO(CR)Hyperion(Brio)CognosMicrostrategy儀表盤OLAP分析報表，即即席查詢詢固定報表表格式靈活活多變Crystal ReportMSTRBrioReportNet多維分析析MOLAP-Cognos PowerPlay,HyperionEssbaseROLAP-BOE,MSTRHOLAP-BO - MS OLAP切片旋轉(zhuǎn)切塊鉆取OLAP分析多角度、多層次次對同一一主題進(jìn)進(jìn)行分析析通過旋轉(zhuǎn)轉(zhuǎn)、鉆取取、切片片等技術(shù)術(shù)探察數(shù)數(shù)據(jù)旋轉(zhuǎn)：按按不同順順序組織織各個維維，對結(jié)結(jié)果進(jìn)行行考察鉆?。涸谠谝粋€維

13、維內(nèi)部沿沿著從高高到低或或從低到到高的方方向考察察數(shù)據(jù)(有上鉆和和下鉆兩兩種)切片：在在確定某某些維數(shù)數(shù)據(jù)的情情況下對對其他維維進(jìn)行觀觀察有MOLAP、ROLAP、HOLAP三種實(shí)現(xiàn)現(xiàn)方式OLAP設(shè)計-指標(biāo)還是是維度性別年齡長途類型通話時段客戶數(shù)通話時長性別年齡客戶數(shù)通話時長 長途類型通話時長 通話時段通話時長 1-2點(diǎn)通話時長即席查詢詢語義層效率很關(guān)關(guān)鍵BO語義層儀表盤儀表盤、KPI-EPM整合了企企業(yè)的整整個績效效、把告告警、報報表、分分析穿在在了一起起B(yǎng)OEPMHyperionBPM數(shù)據(jù)挖掘掘機(jī)器學(xué)習(xí)習(xí)數(shù)理統(tǒng)計計數(shù)據(jù)庫預(yù)測、特特征分析析、客戶戶分類SASSPSS數(shù)據(jù)挖掘掘?qū)嵤┑牡捏w系結(jié)結(jié)

14、構(gòu)數(shù)據(jù)倉庫數(shù)據(jù)挖掘引擎算法數(shù)據(jù)選擇知識庫評價修改知識建模分析員領(lǐng)域知識元數(shù)據(jù)元數(shù)據(jù)管管理什么是元元數(shù)據(jù)？元數(shù)據(jù)和和開發(fā)文文檔有何何區(qū)別？為什么單單單在數(shù)數(shù)據(jù)倉庫庫中如此此重視元元數(shù)據(jù)？文檔語音計費(fèi)費(fèi)GPRS計費(fèi)文檔帳務(wù)文檔結(jié)算營業(yè)文檔文檔客服文檔MIS網(wǎng)管HR文檔文檔文檔元數(shù)據(jù)管管理(續(xù))業(yè)務(wù)元數(shù)數(shù)據(jù)業(yè)務(wù)元數(shù)數(shù)據(jù)用業(yè)業(yè)務(wù)名稱稱、定義義、描述述和別名名來表示示數(shù)據(jù)倉倉庫和業(yè)業(yè)務(wù)系統(tǒng)統(tǒng)中的各各種屬性性，直接接供業(yè)務(wù)務(wù)分析人人員使用用。技術(shù)元數(shù)數(shù)據(jù)技術(shù)元數(shù)數(shù)據(jù)描述述了數(shù)據(jù)據(jù)源、數(shù)數(shù)據(jù)轉(zhuǎn)換換、抽取取過程、加載策策略以及及目標(biāo)數(shù)數(shù)據(jù)庫的的定義等等。元數(shù)據(jù)管管理(續(xù))CWM1.0數(shù)據(jù)源ETL數(shù)據(jù)倉庫庫數(shù)據(jù)集市市OLAP CUBE元數(shù)據(jù)管管理(續(xù))能分析什什么？WhereUsed