版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
商務(wù)智能入門(mén)培訓(xùn)
BusinessIntelligence
商務(wù)智能入門(mén)培訓(xùn)
BusinessIntelligence1一、概念篇商務(wù)智能入門(mén)培訓(xùn)課件2實(shí)例:沃爾瑪?shù)匿N(xiāo)售部在總結(jié)歷史銷(xiāo)售記錄的時(shí)候發(fā)現(xiàn),每到周末的時(shí)候,啤酒和尿布的銷(xiāo)量都比平時(shí)要高很多,這是一個(gè)巧合還是這個(gè)現(xiàn)象的背后隱藏著一定的必然因素?銷(xiāo)售人員展開(kāi)了調(diào)查,結(jié)果發(fā)現(xiàn):每到周末,有孩子的家庭主婦就會(huì)讓他們的丈夫去超市給孩子買(mǎi)足一周用的尿布,這些丈夫們必然會(huì)選擇一些自己愛(ài)喝的啤酒,以便周末在欣賞橄欖球賽和籃球賽的時(shí)候可以和朋友們一起慶祝。原因找到了之后,銷(xiāo)售部采取了措施,每到周末將超市的啤酒和尿布捆綁銷(xiāo)售,這樣,啤酒和尿布的銷(xiāo)量又同時(shí)增加了一成。什么是商務(wù)智能?實(shí)例:沃爾瑪?shù)匿N(xiāo)售部在總結(jié)歷史銷(xiāo)售記錄的時(shí)候發(fā)現(xiàn),每到周末的3二、市場(chǎng)分析篇商務(wù)智能入門(mén)培訓(xùn)課件4商務(wù)智能的應(yīng)用分為縱向商務(wù)智能和橫向商務(wù)智能。縱向商務(wù)智能是指企業(yè)分別實(shí)施多個(gè)信息化系統(tǒng),比如財(cái)務(wù)系統(tǒng)中的管理會(huì)計(jì)就是商務(wù)智能的一部分,從以前只關(guān)注運(yùn)營(yíng)報(bào)表,到關(guān)注整個(gè)財(cái)務(wù)的運(yùn)作情況,像現(xiàn)金流、資產(chǎn)負(fù)債等。而人力資源系統(tǒng)可以稱為智能人力資源,關(guān)注員工的流失率,分析從什么途徑招聘的員工流失率最高,分析公司人才結(jié)構(gòu)、人才培養(yǎng)方向等。總而言之,企業(yè)有了核心業(yè)務(wù)系統(tǒng)、管理信息系統(tǒng),在這些系統(tǒng)之上做智能的分析,而這些分析得到的信息完全是來(lái)自單獨(dú)的系統(tǒng)。那么橫向商務(wù)智能指的是什么呢?舉例來(lái)說(shuō),比如汽車(chē)制造廠生產(chǎn)多款不同的車(chē)型,公司老總會(huì)問(wèn),生產(chǎn)哪一款車(chē)型、生產(chǎn)多少,企業(yè)的效率能夠達(dá)到最高?這樣的問(wèn)題,不能通過(guò)分析單獨(dú)的系統(tǒng)得到,因?yàn)樾б孀罡呷Q于生產(chǎn)成本、人力資源成本、市場(chǎng)的需求、競(jìng)爭(zhēng)對(duì)手、市場(chǎng)定價(jià)等多方面的信息。而這些信息則分散在財(cái)務(wù)系統(tǒng)、人力資源系統(tǒng)、采購(gòu)系統(tǒng)中,這就需要系統(tǒng)和信息有效的整合才能解決這個(gè)問(wèn)題,所以稱為橫向商務(wù)智能。商業(yè)智能應(yīng)用領(lǐng)域?商務(wù)智能的應(yīng)用分為縱向商務(wù)智能和橫向商務(wù)智能。商業(yè)智能應(yīng)用領(lǐng)5商業(yè)智能是一種整體化的解決方案,他可以幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營(yíng)決策,而依據(jù)則是企業(yè)內(nèi)部的各種數(shù)據(jù),例如訂單、庫(kù)存、交易賬目、客戶和供應(yīng)商資料、行業(yè)數(shù)據(jù)和競(jìng)爭(zhēng)對(duì)手信息等等。商業(yè)智能其實(shí)是一種將企業(yè)信息數(shù)據(jù)轉(zhuǎn)化為決策的重要工具。商業(yè)智能的應(yīng)用是需要一定的基礎(chǔ)的。實(shí)施商業(yè)智能的企業(yè)至少應(yīng)該具備以下幾個(gè)條件:用戶的數(shù)據(jù)已達(dá)到一定的規(guī)模;用戶面臨激烈的市場(chǎng)競(jìng)爭(zhēng):用戶在IT方面的資金能得到保障。滿足以上幾點(diǎn)的行業(yè)集中在重要的政府機(jī)構(gòu)(如財(cái)務(wù)、稅務(wù)、審計(jì)、工商、海關(guān)等)、零售業(yè)(連鎖店、網(wǎng)上零售等)、大型現(xiàn)代化的制造業(yè)(如寶鋼、上汽集團(tuán)等)、金融(包括銀行、證券、保險(xiǎn)等)、電信業(yè)(如中國(guó)電信、中國(guó)網(wǎng)通、中國(guó)移動(dòng)等)、能源業(yè)(電力)、運(yùn)輸?shù)?,這也是目前國(guó)內(nèi)急需要數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能技術(shù)來(lái)提升企業(yè)競(jìng)爭(zhēng)力的主要行業(yè)。金融、電信行業(yè)是BI應(yīng)用最集中的行業(yè),約占40%的市場(chǎng)分額,保險(xiǎn)、能源、煙草、政務(wù)行業(yè)約占30%的市場(chǎng)份額,制造、零售行業(yè)約占30%的市場(chǎng)份額,是BI應(yīng)用最具潛力的行業(yè)。金融:隨著國(guó)內(nèi)五大商業(yè)銀行的信息化不斷發(fā)展,在BI領(lǐng)域投資穩(wěn)步增長(zhǎng),每年均有大量的BI需求,其中BI已經(jīng)不僅局限于高層管理者的決策,操作型BI應(yīng)用越來(lái)越廣泛,尤其是信貸評(píng)審領(lǐng)域。中小型銀行BI需求也不斷涌現(xiàn),未來(lái)將是金融行業(yè)BI市場(chǎng)的主要增長(zhǎng)點(diǎn)。電信:電信行業(yè)信息化程度很高,對(duì)信息化依賴很強(qiáng),積累了大量的數(shù)據(jù),具有實(shí)施商業(yè)智能項(xiàng)目的基礎(chǔ)條件和資金實(shí)力。電信行業(yè)對(duì)于BI深入應(yīng)用是最渴望的,在話費(fèi)套餐設(shè)置、客戶潛力分析等都需要數(shù)據(jù)挖掘技術(shù)來(lái)提供決策依據(jù)。行業(yè)現(xiàn)狀?商業(yè)智能是一種整體化的解決方案,他可以幫助企業(yè)做出明智的業(yè)務(wù)6行業(yè)市場(chǎng)規(guī)模?行業(yè)市場(chǎng)規(guī)模?7發(fā)展趨勢(shì)?發(fā)展趨勢(shì)及預(yù)測(cè)移動(dòng)商業(yè)智能
商業(yè)智能系統(tǒng)會(huì)把大量數(shù)據(jù)轉(zhuǎn)變成可視化形式(如圖形和表格),以便使用者詳細(xì)深入地分析潛在商業(yè)趨勢(shì)。因此如果為這種分析賦予移動(dòng)性——通常利用功能強(qiáng)大的智能終端,許多公司就能與客戶和商業(yè)合作伙伴進(jìn)行實(shí)時(shí)互動(dòng),從而改善服務(wù)、提高工作效率。SaaSBI將得到快速發(fā)展 SaaS是基于互聯(lián)網(wǎng)提供軟件服務(wù)的軟件應(yīng)用模式,企業(yè)根據(jù)實(shí)際需要,從SaaS提供商租賃軟件服務(wù)。SaaS模式在CRM領(lǐng)域獲得了成功,不論是國(guó)外還是國(guó)內(nèi)具有成熟的產(chǎn)品,并取得了不錯(cuò)的收益。SAAS在BI領(lǐng)域的應(yīng)用的挑戰(zhàn)是應(yīng)用于互聯(lián)網(wǎng)上的SAAS軟件無(wú)法處理BI所需的海量數(shù)據(jù)。商業(yè)智能日漸與業(yè)務(wù)融合
業(yè)務(wù)分析作為商業(yè)智能領(lǐng)域中最貼近業(yè)務(wù)的層面,在2010年成為業(yè)界關(guān)注的重點(diǎn),不管是SAP還是IBM,都將業(yè)務(wù)分析作為今年的業(yè)務(wù)發(fā)展重點(diǎn)。企業(yè)希望由BI系統(tǒng)帶來(lái)的透明度和洞察力能夠幫助企業(yè)降低成本,提高生產(chǎn)率和業(yè)務(wù)敏捷性。通過(guò)商業(yè)智能,企業(yè)能更清晰更深刻的了解包括公司管理、利潤(rùn)分析、市場(chǎng)競(jìng)爭(zhēng)、財(cái)務(wù)狀況等信息,而未來(lái)商業(yè)智能的這種特性還將繼續(xù)加強(qiáng)。操作型BI應(yīng)用得到發(fā)展
目前商業(yè)智能技術(shù)不僅僅應(yīng)用于企業(yè)高層管理者的決策分析,越來(lái)越多的商業(yè)智能分析結(jié)果正被用于普通員工的日常工作流程中,直接推動(dòng)業(yè)務(wù)的執(zhí)行。例如:在家樂(lè)福購(gòu)物時(shí),收銀員已經(jīng)可以根據(jù)顧客的購(gòu)物籃進(jìn)行產(chǎn)品推薦。發(fā)展趨勢(shì)?發(fā)展趨勢(shì)及預(yù)測(cè)8發(fā)展趨勢(shì)?數(shù)據(jù)集成應(yīng)用得到重視
在一些大型企業(yè)中往往有幾十個(gè)甚至幾百個(gè)信息系統(tǒng),將這些數(shù)據(jù)整合到數(shù)據(jù)倉(cāng)庫(kù)中,一般采取ETL工具抽取多個(gè)廠商數(shù)據(jù)庫(kù)的數(shù)據(jù),有些甚至還包含非結(jié)構(gòu)化數(shù)據(jù),例如XML、EXCEL、文本等。這些數(shù)據(jù)往往需要加工和整理放入ODS(中間庫(kù)),最后以規(guī)范、標(biāo)準(zhǔn)的格式存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)。在這個(gè)數(shù)據(jù)集成的過(guò)程中,要做到系統(tǒng)兼容性好、開(kāi)發(fā)效率高、處理性能好,而且能夠捕捉數(shù)據(jù)的變化處理增量數(shù)據(jù)。數(shù)據(jù)集成是建立實(shí)用的數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵,而且數(shù)據(jù)集成的過(guò)程占商業(yè)智能應(yīng)用中一半以上的工作量,因此越是大型企業(yè)越是重視數(shù)據(jù)集成。中小企業(yè)BI應(yīng)用逐漸擴(kuò)大市場(chǎng)
份額
中國(guó)中小企業(yè)逐漸呈現(xiàn)對(duì)管理軟件旺盛的需求態(tài)勢(shì),很多廠商發(fā)布了專門(mén)針對(duì)中小企業(yè)的BI套件,例如CognosExpress等。中小企業(yè)在實(shí)施ERP、CRM產(chǎn)品后,必將應(yīng)用商業(yè)智能,中小企業(yè)市場(chǎng)是BI應(yīng)用非常重要的組成部分。BI企業(yè)將在壟斷中不斷新生
中國(guó)商業(yè)智能市場(chǎng)兩極競(jìng)爭(zhēng)趨勢(shì)日益加劇。在高端市場(chǎng),由國(guó)際廠商壟斷與競(jìng)爭(zhēng)的局面是2010年的主流,其中IBM、Oracle、SAP、Microsoft擁有完整的BI產(chǎn)品線,將占據(jù)70%以上的市場(chǎng)份額。剩余的30%市場(chǎng)將由其他外資企業(yè)和國(guó)內(nèi)企業(yè)分享。隨著國(guó)內(nèi)企業(yè)的成長(zhǎng)與并購(gòu),國(guó)內(nèi)廠商的實(shí)力不斷壯大,但是主要集中于中低端市場(chǎng),在2010年優(yōu)秀的國(guó)產(chǎn)BI產(chǎn)品將開(kāi)始不斷向四大國(guó)際廠商發(fā)起挑戰(zhàn),但是競(jìng)爭(zhēng)的過(guò)程將是極其漫長(zhǎng)的。發(fā)展趨勢(shì)?數(shù)據(jù)集成應(yīng)用得到重視91)國(guó)際BI廠商,如BO公司(SAP)、Hyperion公司(Oracle)、微軟公司、SAS公司等。這些國(guó)際廠商的品牌與規(guī)模優(yōu)勢(shì)非常突出,是國(guó)內(nèi)大部分BI廠商難以與之匹敵的。2)起步比較早的國(guó)內(nèi)BI廠商,如菲奈特(成立于1995年10月,從1997年開(kāi)始進(jìn)入BI領(lǐng)域)、先進(jìn)數(shù)通公司(成立于2000年)、吉貝克公司(成立于2002年)等。這些國(guó)內(nèi)BI廠商憑借本土化的優(yōu)勢(shì)以及對(duì)國(guó)內(nèi)BI用戶所需要的應(yīng)用的獨(dú)特見(jiàn)解,也在國(guó)內(nèi)的BI市場(chǎng)上占有超過(guò)30%的市場(chǎng)份額。3)非專業(yè)BI廠商,主要有以下幾類:一、從事某些行業(yè)核心業(yè)務(wù)系統(tǒng)建設(shè)的公司;二、從事系統(tǒng)集成的公司;三、從事專業(yè)財(cái)務(wù)系統(tǒng)及個(gè)別ERP廠商。商務(wù)智能主要廠商有哪些?廠商產(chǎn)品及簡(jiǎn)介IBMDB2以及Cognos、SPSS、DataStage,覆蓋BI全部領(lǐng)域。數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品結(jié)合了DB2數(shù)據(jù)服務(wù)器的長(zhǎng)處和IBM的商業(yè)智能基礎(chǔ)設(shè)施,集成了用于倉(cāng)庫(kù)管理、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)挖掘以及OLAP分析和報(bào)告的核心組件,提供了一套基于可視數(shù)據(jù)倉(cāng)庫(kù)的商業(yè)智能解決方案。OracleOracle、Hyperion,覆蓋BI全部領(lǐng)域,數(shù)據(jù)挖掘領(lǐng)域有待加強(qiáng)。數(shù)據(jù)倉(cāng)庫(kù)解決方案包含了業(yè)界領(lǐng)先的數(shù)據(jù)庫(kù)平臺(tái)、開(kāi)發(fā)工具和應(yīng)用系統(tǒng),能夠提供一系列的數(shù)據(jù)倉(cāng)庫(kù)工具集和服務(wù),具有多用戶數(shù)據(jù)倉(cāng)庫(kù)管理能力,多種分區(qū)方式,較強(qiáng)的與OLAP工具的交互能力及快速和便捷的數(shù)據(jù)移動(dòng)機(jī)制等特性。SAPBusinessObjects、CrystalReports,主要是OLAP和報(bào)表領(lǐng)域。Sybase(SAP)提供了稱為WarehouseStudio的一整套覆蓋整個(gè)數(shù)據(jù)倉(cāng)庫(kù)建立周期的產(chǎn)品包,包括數(shù)據(jù)倉(cāng)庫(kù)的建模、數(shù)據(jù)集成和轉(zhuǎn)換、數(shù)據(jù)存儲(chǔ)和管理、元數(shù)據(jù)管理和數(shù)據(jù)可視化分析等產(chǎn)品。BusinessObjects(SAP)是集查詢、報(bào)表和OLAP技術(shù)為一身的智能決策支持系統(tǒng),具有較好的查詢和報(bào)表功能,提供多維分析技術(shù),支持多種數(shù)據(jù)庫(kù),同時(shí)它還支持基于Web瀏覽器的查詢、報(bào)表和分析決策。MicrosoftSQLServer,覆蓋BI全部領(lǐng)域,適合中小型企業(yè),性價(jià)比高。它提供了三大服務(wù)和一個(gè)工具來(lái)實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的整合,為用戶提供了可用于構(gòu)建典型和創(chuàng)新的分析應(yīng)用程序所需的各種特性、工具和功能,可以實(shí)現(xiàn)建模、ETL、建立查詢分析或圖表、定制KPI、建立報(bào)表和構(gòu)造數(shù)據(jù)挖掘應(yīng)用及發(fā)布等功能。TeradataTeradata,主要是數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域。它提出了可擴(kuò)展數(shù)據(jù)倉(cāng)庫(kù)基本架構(gòu),包括數(shù)據(jù)裝載、數(shù)據(jù)管理和信息訪問(wèn)幾個(gè)部分,是高端數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)最有力競(jìng)爭(zhēng)者,主要運(yùn)行在基于Unix操作系統(tǒng)平臺(tái)的NCR硬件設(shè)備上。SASSAS,數(shù)據(jù)挖掘領(lǐng)域領(lǐng)先。SAS公司的數(shù)據(jù)倉(cāng)庫(kù)解決方案是一個(gè)由30多個(gè)專用模塊構(gòu)成的架構(gòu)體系,適應(yīng)于對(duì)企業(yè)級(jí)的數(shù)據(jù)進(jìn)行重新整合,支持多維、快速查詢,提供服務(wù)于OLAP操作和決策支持的數(shù)據(jù)采集、管理、處理和展現(xiàn)功能。國(guó)內(nèi)其他菲奈特(BIoffice)、和勤(Hinge)、奧威智動(dòng)(Power-BI)、科加諾(QlikView)、尚南(BlueQuery),潤(rùn)乾、探智(Trinity)。目前活躍在國(guó)內(nèi)BI市場(chǎng)上的廠商大致可分為以下三類:1)國(guó)際BI廠商,如BO公司(SAP)、Hyperion公10商務(wù)智能主要廠商產(chǎn)品鏈介紹?廠商數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)、管理ETLOLAP數(shù)據(jù)挖掘報(bào)表IBMDB2IBMDWEDesignStudioIBMWebshpereDatastage、DecisionStream(Cognos)IBMDB2OLAPServerIBMIntelligentMiner、SPSSIBMCognosReportOracleOracleOracleWarehouseBuilderOracleWarehouseBuilderOracleExpress/DiscovererOracleDataMinerOracleReportsSAP-BusinessObjectsRapidMartsBusinessObjectsDataIntegratoinBusinessObjectsOLAPIntelligence-BusinessObjectsCrystalReportMicrosoftSQLServerSQLServerManagementStudioSQLServerIntegrationServicesSQLServerAnalysisServicesSQLServerDataMinerSQLServerReportingServicesTeradataTeradataTeradataRDBMS/TeradataMetaDataServicesTeradataETLAutomation-TeradataWarehouseMinerBTEQSybaseSybase
IQPowerDesinger/WarehouseControlCenterDataIntegratoinSuitePowerDimension-InfoMakerSAS-SASWarehouseAdministratorSASETLStudioSASOLAPServerSASEnterpriseMinerSASReportStudio商務(wù)智能主要廠商產(chǎn)品鏈介紹?廠商數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)、管理ET11三、技術(shù)篇商務(wù)智能入門(mén)培訓(xùn)課件12商務(wù)智能總體解決方案財(cái)務(wù)信息“ETL”Extract–Transform-Load數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)集市/ODS商務(wù)智能平臺(tái)信息展現(xiàn)*決策者分析員管理者業(yè)務(wù)員數(shù)據(jù)查詢報(bào)表分析多維分析數(shù)據(jù)挖掘分析門(mén)戶數(shù)據(jù)整合*OracleDB2SQLServerSybaseTeraData……銷(xiāo)售信息庫(kù)存信息DataIntegrationRapidMart商務(wù)智能總體解決方案財(cái)務(wù)信息“ETL”數(shù)據(jù)倉(cāng)庫(kù)/商務(wù)智能平臺(tái)商務(wù)智能核心技術(shù)有哪些?三.ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一.數(shù)據(jù)倉(cāng)庫(kù)技術(shù)四.在線聯(lián)機(jī)分析處理技術(shù)(OLAP)五.數(shù)據(jù)挖掘技術(shù)商務(wù)智能核心技術(shù)有哪些?三.ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一14
數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、時(shí)變的、非易失的數(shù)據(jù)集合,支持管理部門(mén)的決策過(guò)程。面向主題的(subject-oriented):數(shù)據(jù)倉(cāng)庫(kù)圍繞一些主題,如顧客、供應(yīng)商、產(chǎn)品和銷(xiāo)售組織。數(shù)據(jù)倉(cāng)庫(kù)關(guān)注決策者的數(shù)據(jù)建模與分析,而不是集中于組織機(jī)構(gòu)的日常操作和事務(wù)處理。因此,數(shù)據(jù)倉(cāng)庫(kù)排除對(duì)決策無(wú)用的數(shù)據(jù),提供特定主題的簡(jiǎn)明視圖。集成的(integrated):通常,構(gòu)造數(shù)據(jù)倉(cāng)庫(kù)是將多個(gè)異種數(shù)據(jù)源,如關(guān)系數(shù)據(jù)庫(kù)、一般文件和聯(lián)機(jī)事務(wù)處理記錄集成在一起。使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù),確保命名約定、編碼結(jié)構(gòu)和屬性度量等指標(biāo)的一致性。時(shí)變的(time-variant):數(shù)據(jù)存儲(chǔ)從歷史的角度提供信息。數(shù)據(jù)倉(cāng)庫(kù)中的關(guān)鍵結(jié)構(gòu),隱式或顯式地包含時(shí)間元素。非易失的(nonvolatile):數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是有歷史保存意義的,數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)也只使用添加的方式,進(jìn)入了數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)一般情況下是不需要更新的,這樣就保證了數(shù)據(jù)的穩(wěn)定性。通常,它只需要三種數(shù)據(jù)訪問(wèn):數(shù)據(jù)的初始化裝入、數(shù)據(jù)的添加和數(shù)據(jù)查詢?cè)L問(wèn)。數(shù)據(jù)倉(cāng)庫(kù)定義 數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、時(shí)變的、15事實(shí)表是用來(lái)記錄具體事件的,包含了每個(gè)事件的具體要素,以及具體發(fā)生的事情;維度表是對(duì)事實(shí)表中事件的要素的描述信息;
數(shù)據(jù)倉(cāng)庫(kù)相關(guān)概念
一個(gè)事實(shí)表和多個(gè)維度表構(gòu)成一個(gè)立方體(主題),一個(gè)或者多個(gè)相關(guān)主題構(gòu)成一個(gè)數(shù)據(jù)集市,一個(gè)或者多個(gè)數(shù)據(jù)集市構(gòu)成了數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)模型包括了星型架構(gòu)與雪花型架構(gòu)兩種模式。星型架構(gòu)的中間為事實(shí)表,四周為維度表,類似星星;雪花型架構(gòu)的中間為事實(shí)表,兩邊的維度表可以再有其關(guān)聯(lián)子表,從而表達(dá)了清晰的維度層次關(guān)系。數(shù)據(jù)倉(cāng)庫(kù)相關(guān)概念一個(gè)事實(shí)表和多個(gè)維度表構(gòu)成一個(gè)立方體16步驟一:確定主題
即確定數(shù)據(jù)分析或前端展現(xiàn)的主題。例如:我們希望分析某年某月某一地區(qū)的啤酒銷(xiāo)售情況,這就是一個(gè)主題。主題要體現(xiàn)出某一方面的各分析角度(維度)和統(tǒng)計(jì)數(shù)據(jù)(量度)之間的關(guān)系,確定主題時(shí)要綜合考慮。我們可以形象的將一個(gè)主題想象為一顆星星:統(tǒng)計(jì)數(shù)據(jù)(量度)存在于星星中間的事實(shí)表;分析角度(維度)是星星的各個(gè)角;我們將通過(guò)維度的組合,來(lái)考察量度。那么,“某年某月某一地區(qū)的啤酒銷(xiāo)售情況”這樣一個(gè)主題,就要求我們通過(guò)時(shí)間和地區(qū)兩個(gè)維度的組合,來(lái)考察銷(xiāo)售情況這個(gè)量度。步驟二:確定量度
在確定了主題以后,我們將考慮要分析的技術(shù)指標(biāo),諸如年銷(xiāo)售額之類。它們一般為數(shù)值,稱為量度。量度是統(tǒng)計(jì)的指標(biāo),必須事先選擇恰當(dāng),基于不同的量度可以進(jìn)行復(fù)雜關(guān)鍵性能指標(biāo)(KPI)的設(shè)計(jì)和計(jì)算。數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建步驟步驟一:確定主題數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建步驟17步驟二:確定量度
在確定了主題以后,我們將考慮要分析的技術(shù)指標(biāo),諸如年銷(xiāo)售額之類。它們一般為數(shù)值,稱為量度。量度是統(tǒng)計(jì)的指標(biāo),必須事先選擇恰當(dāng),基于不同的量度可以進(jìn)行復(fù)雜關(guān)鍵性能指標(biāo)(KPI)的設(shè)計(jì)和計(jì)算。步驟三:確定事實(shí)數(shù)據(jù)粒度
在確定了量度之后,我們要考慮到該量度的匯總情況和不同維度下量度的聚合情況??紤]到量度的聚合程度不同,或采用“最小粒度原則”,即將量度的粒度設(shè)置到最小。數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建步驟步驟二:確定量度數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建步驟18步驟四:確定維度
維度是指分析的各個(gè)角度。例如我們希望按照時(shí)間,或者按照地區(qū),或者按照產(chǎn)品進(jìn)行分析,那么這里的時(shí)間、地區(qū)、產(chǎn)品就是相應(yīng)的維度。基于不同的維度,我們可以看到各量度的匯總情況,也可以基于所有的維度進(jìn)行交叉分析。步驟五:
創(chuàng)建事實(shí)表
在確定好事實(shí)數(shù)據(jù)和維度后,我們將考慮加載事實(shí)表。在公司的大量數(shù)據(jù)堆積如山時(shí),我們想看看里面究竟是什么,結(jié)果發(fā)現(xiàn)里面是一筆筆生產(chǎn)記錄,一筆筆交易記錄…那么這些記錄是我們將要建立的事實(shí)表的原始數(shù)據(jù),即關(guān)于某一主題的事實(shí)記錄表。事實(shí)表是數(shù)據(jù)倉(cāng)庫(kù)的核心。數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建步驟步驟四:確定維度數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建步驟19商務(wù)智能核心技術(shù)有哪些?三.ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一.數(shù)據(jù)倉(cāng)庫(kù)技術(shù)四.在線聯(lián)機(jī)分析處理技術(shù)(OLAP)五.數(shù)據(jù)挖掘技術(shù)商務(wù)智能核心技術(shù)有哪些?三.ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一20元數(shù)據(jù)通常定義
“關(guān)于數(shù)據(jù)的數(shù)據(jù)(例如視圖,查詢SQL,事務(wù),存儲(chǔ)過(guò)程)”,是描述和管理數(shù)據(jù)倉(cāng)庫(kù)自身內(nèi)容對(duì)象、用來(lái)表示數(shù)據(jù)項(xiàng)的意義及其在系統(tǒng)各組成部件之間的關(guān)系的數(shù)據(jù)。元數(shù)據(jù)作用于數(shù)據(jù)倉(cāng)庫(kù)的創(chuàng)建,維護(hù),管理和使用的各個(gè)方面。是從廣義上來(lái)講,用元數(shù)據(jù)來(lái)描述數(shù)據(jù)倉(cāng)庫(kù)對(duì)象的任何東西——無(wú)論是一個(gè)表、一個(gè)列、一個(gè)查詢、一個(gè)商業(yè)規(guī)則,或者是數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部的數(shù)據(jù)轉(zhuǎn)移。它在數(shù)據(jù)源的抽取、數(shù)據(jù)加工、訪問(wèn)與使用等過(guò)程中都會(huì)存在。實(shí)現(xiàn)元數(shù)據(jù)管理的主要目標(biāo)就是使企業(yè)內(nèi)部元數(shù)據(jù)的定義標(biāo)準(zhǔn)化。數(shù)據(jù)倉(cāng)庫(kù)的維護(hù)工具可以根據(jù)元數(shù)據(jù)完成數(shù)據(jù)的抽取、清洗和轉(zhuǎn)換,并做適度的匯總。數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)包括:(1)數(shù)據(jù)資源:包括各個(gè)數(shù)據(jù)源的模型,描述源數(shù)據(jù)表字段屬性及業(yè)務(wù)含義,源數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)的映射關(guān)系;(2)數(shù)據(jù)組織:數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市表的結(jié)構(gòu)、屬性及業(yè)務(wù)含義,多維結(jié)構(gòu)等等;(3)數(shù)據(jù)應(yīng)用:查詢與報(bào)表輸出格式描述、OLAP、數(shù)據(jù)挖掘等的數(shù)據(jù)模型的信息展現(xiàn);(4)數(shù)據(jù)管理:這里包括數(shù)據(jù)倉(cāng)庫(kù)過(guò)程以及數(shù)據(jù)倉(cāng)庫(kù)操作結(jié)果的模型,包括描述數(shù)據(jù)抽取和清洗規(guī)則、數(shù)據(jù)加載控制、臨時(shí)表結(jié)構(gòu)、用途和使用情況、數(shù)據(jù)匯總控制。元數(shù)據(jù)元數(shù)據(jù)通常定義元數(shù)據(jù)21分析用戶數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)我想知道今年、做得最好的5個(gè)產(chǎn)品數(shù)據(jù)倉(cāng)庫(kù)中有80張數(shù)據(jù)表無(wú)語(yǔ)義層的工作模式分析用戶數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)我想知道今年、做得最好的5個(gè)產(chǎn)品數(shù)據(jù)22無(wú)語(yǔ)義層的工作模式以往的兩種主要的解決數(shù)據(jù)訪問(wèn)問(wèn)題的方法:TheBureauApproach:業(yè)務(wù)人員技術(shù)人員SQLTheSQLEducationApproach:業(yè)務(wù)人員技術(shù)人員SQL無(wú)語(yǔ)義層的工作模式以往的兩種主要的解決數(shù)據(jù)訪問(wèn)問(wèn)題的方法:T23透過(guò)語(yǔ)義層訪問(wèn)數(shù)據(jù)設(shè)計(jì)語(yǔ)義層Universe設(shè)計(jì)數(shù)據(jù)庫(kù)和數(shù)據(jù)安全機(jī)制企業(yè)數(shù)據(jù)庫(kù)業(yè)務(wù)人員的要求業(yè)務(wù)人員可以基于語(yǔ)義層進(jìn)行數(shù)據(jù)查詢和分析不需要了解數(shù)據(jù)庫(kù)內(nèi)部結(jié)構(gòu)不需要學(xué)習(xí)SQL語(yǔ)句股票財(cái)經(jīng)銷(xiāo)售IT人員的要求專注于數(shù)據(jù)庫(kù)維護(hù)專注于語(yǔ)義層開(kāi)發(fā)有語(yǔ)義層的工作模式透過(guò)語(yǔ)義層訪問(wèn)數(shù)據(jù)設(shè)計(jì)語(yǔ)義層Universe設(shè)計(jì)數(shù)據(jù)庫(kù)和數(shù)據(jù)24商務(wù)智能核心技術(shù)有哪些?三.ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一.數(shù)據(jù)倉(cāng)庫(kù)技術(shù)四.在線聯(lián)機(jī)分析處理技術(shù)(OLAP)五.數(shù)據(jù)挖掘技術(shù)商務(wù)智能核心技術(shù)有哪些?三.ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一25商業(yè)智能的核心內(nèi)容是從許多來(lái)自企業(yè)不同的業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)(分布的、異構(gòu)的源數(shù)據(jù))中,提取出有用的數(shù)據(jù),進(jìn)行清理以保證數(shù)據(jù)的正確性,然后經(jīng)過(guò)抽?。‥xtraction)、轉(zhuǎn)換(Transformation)和裝載(Load),即ETL過(guò)程(本質(zhì)上是樣本提取的過(guò)程),整合到一個(gè)企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)里,從而得到企業(yè)信息的一個(gè)全局視圖,在此基礎(chǔ)上利用合適的查詢和分析工具、數(shù)據(jù)挖掘工具等對(duì)數(shù)據(jù)倉(cāng)庫(kù)里的數(shù)據(jù)進(jìn)行分析和處理,形成信息,甚至進(jìn)一步把信息提煉出輔助決策的知識(shí),最后把知識(shí)呈現(xiàn)給管理者,為管理者的決策過(guò)程提供支持。ETL概念ETL特征:以串行/并行方式,從不同異構(gòu)數(shù)據(jù)源流向統(tǒng)一的目標(biāo)數(shù)據(jù),核心在于轉(zhuǎn)換過(guò)程(關(guān)聯(lián),聚集),而抽取和裝載一般可以作為轉(zhuǎn)換的輸入和輸出。ETL元數(shù)據(jù)主要包括每次轉(zhuǎn)換前后的數(shù)據(jù)結(jié)構(gòu)和轉(zhuǎn)換的規(guī)則。數(shù)據(jù)同步,數(shù)據(jù)ETL是經(jīng)常性的活動(dòng),按照固定周期運(yùn)行,甚至實(shí)時(shí)運(yùn)行。流程控制和數(shù)據(jù)驗(yàn)證機(jī)制。商業(yè)智能的核心內(nèi)容是從許多來(lái)自企業(yè)不同的業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)(26字段映射;映射的自動(dòng)匹配;字段的拆分;多字段的混合運(yùn)算;跨異構(gòu)數(shù)據(jù)庫(kù)的關(guān)聯(lián);自定義函數(shù);多數(shù)據(jù)類型支持;復(fù)雜條件過(guò)濾;支持臟讀;數(shù)據(jù)的批量裝載;時(shí)間類型的轉(zhuǎn)換;對(duì)各種碼表的支持;環(huán)境變量是否可以動(dòng)態(tài)修改;去重復(fù)記錄;抽取斷點(diǎn);記錄間合并或計(jì)算;記錄拆分;抽取的字段是否可以動(dòng)態(tài)修改;行、列變換;排序;統(tǒng)計(jì);度量衡等常用的轉(zhuǎn)換函數(shù);代理主鍵的生成;調(diào)試功能;抽取遠(yuǎn)程數(shù)據(jù);增量抽取的處理方式;制造樣品數(shù)據(jù);在轉(zhuǎn)換過(guò)程中是否支持?jǐn)?shù)據(jù)比較的功能;數(shù)據(jù)預(yù)覽;性能監(jiān)控;數(shù)據(jù)清洗及標(biāo)準(zhǔn)化;按行、按列的分組聚合等ETL技術(shù)功能清單字段映射;記錄拆分;ETL技術(shù)功能清單27增量數(shù)據(jù)ETL解決方案比較技術(shù)路線相關(guān)產(chǎn)品適用場(chǎng)合優(yōu)點(diǎn)缺點(diǎn)觸發(fā)器(Trigger)客戶自己非常熟悉自己開(kāi)發(fā)的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存儲(chǔ)邏輯,而且數(shù)據(jù)的實(shí)時(shí)性要求非常高,整表數(shù)據(jù)量大于100萬(wàn)的情況獲取增量數(shù)據(jù)實(shí)時(shí)性好;性能好;實(shí)現(xiàn)容易容易導(dǎo)致原業(yè)務(wù)系統(tǒng)不能正常工作;觸發(fā)器狀態(tài)不易監(jiān)控和管理;觸發(fā)器失效容易造成監(jiān)控期間的增量數(shù)據(jù)丟失時(shí)間戳客戶自己對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)存儲(chǔ)邏輯不是很熟,業(yè)務(wù)系統(tǒng)安全性要求很高,對(duì)增量數(shù)據(jù)的實(shí)時(shí)性要求不是很高,整表的數(shù)據(jù)量不大于100萬(wàn)的情況不需要對(duì)原系統(tǒng)進(jìn)行任何修改;實(shí)現(xiàn)容易增量數(shù)據(jù)的獲取和更新機(jī)制對(duì)目的數(shù)據(jù)庫(kù)和源數(shù)據(jù)庫(kù)都存在較大性能影響。數(shù)據(jù)庫(kù)日志CDC(IBM)在不適合觸發(fā)器、時(shí)間戳的情況下,通過(guò)數(shù)據(jù)庫(kù)日志的方式通過(guò)第三方監(jiān)聽(tīng)工具實(shí)現(xiàn)增量數(shù)據(jù)的同步不用對(duì)業(yè)務(wù)系統(tǒng)表結(jié)構(gòu)進(jìn)行直接修改;對(duì)數(shù)據(jù)ETL過(guò)程進(jìn)行監(jiān)控,有利于后續(xù)日常管理需要源數(shù)據(jù)庫(kù)支持日志功能,并且修改源數(shù)據(jù)庫(kù)的日志監(jiān)控選項(xiàng);啟動(dòng)日志監(jiān)控會(huì)適當(dāng)?shù)赜绊懺磾?shù)據(jù)庫(kù)的性能;購(gòu)買(mǎi)專業(yè)的數(shù)據(jù)庫(kù)監(jiān)控軟件增加項(xiàng)目的成本。增量數(shù)據(jù)ETL解決方案比較技術(shù)路線相關(guān)產(chǎn)品適用場(chǎng)合優(yōu)點(diǎn)缺點(diǎn)觸28ETL技術(shù)與數(shù)據(jù)庫(kù)復(fù)制技術(shù)比較序號(hào)項(xiàng)目ETL數(shù)據(jù)庫(kù)復(fù)制1適用場(chǎng)合適合于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng),尤其適合于數(shù)據(jù)抽取中需要進(jìn)行數(shù)據(jù)清晰、轉(zhuǎn)換和運(yùn)算的情況適合數(shù)據(jù)庫(kù)的數(shù)據(jù)復(fù)制,可用于數(shù)據(jù)庫(kù)系統(tǒng)的備份、數(shù)據(jù)容災(zāi)、以及備份數(shù)據(jù)的再利用,在備份系統(tǒng)上開(kāi)發(fā)新的業(yè)務(wù)模塊。2性能性能比較低非常高(高兩個(gè)數(shù)量級(jí))3相關(guān)產(chǎn)品SSIS,CDC,Datastage等DSGRealsync,QUESTShareplex以及ORACLEDataGuard、HighVolumeReplicator等ETL技術(shù)與數(shù)據(jù)庫(kù)復(fù)制技術(shù)比較序號(hào)項(xiàng)目ETL數(shù)據(jù)庫(kù)復(fù)制1適用297、商務(wù)智能核心技術(shù)有哪些?三.ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一.數(shù)據(jù)倉(cāng)庫(kù)技術(shù)四.在線聯(lián)機(jī)分析處理技術(shù)(OLAP)五.數(shù)據(jù)挖掘技術(shù)7、商務(wù)智能核心技術(shù)有哪些?三.ETL技術(shù)二.元數(shù)據(jù)管理技30聯(lián)機(jī)分析處理(OLAP)是對(duì)立方體中的數(shù)據(jù)進(jìn)行在線的分析,可以包括切片、切塊、鉆取、旋轉(zhuǎn)、鉆透等分析方法;根據(jù)數(shù)據(jù)的存儲(chǔ)模式不同OLAP可劃分為:MOLAP、ROLAP、HOLAP三種OLAP概念聯(lián)機(jī)分析處理(OLAP)是對(duì)立方體中的數(shù)據(jù)進(jìn)行在線的分析,可31主流的OLAP產(chǎn)品有OracleExpress/Discoverer、SQLServerAnalysisServices、DB2OLAPServer、SASOLAPServer等,這些產(chǎn)品都可以生成多維數(shù)據(jù)立方體,提供多維數(shù)據(jù)的快速分析,支持所有主流關(guān)系型數(shù)據(jù)庫(kù)如DB2,Oracle,SQLServer,Sybase等,同時(shí)可讀取關(guān)系數(shù)據(jù)庫(kù)中細(xì)節(jié)數(shù)據(jù),實(shí)現(xiàn)混合在線分析(HOLAP)或關(guān)系型在線分析(ROLAP)商務(wù)智能核心技術(shù)-OLAP主流的OLAP產(chǎn)品有OracleExpress/Disc32旋轉(zhuǎn)、切片、鉆取、鉆透分析旋轉(zhuǎn)、切片、鉆取、鉆透分析33聯(lián)動(dòng)分析聯(lián)動(dòng)分析34模型預(yù)測(cè)分析模型預(yù)測(cè)分析357、商務(wù)智能核心技術(shù)有哪些?三.ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一.數(shù)據(jù)倉(cāng)庫(kù)技術(shù)四.在線聯(lián)機(jī)分析處理技術(shù)(OLAP)五.數(shù)據(jù)挖掘技術(shù)7、商務(wù)智能核心技術(shù)有哪些?三.ETL技術(shù)二.元數(shù)據(jù)管理技36數(shù)據(jù)挖掘(DataMining)是采用數(shù)學(xué)的、統(tǒng)計(jì)的、人工智能和神經(jīng)網(wǎng)絡(luò)等領(lǐng)域的科學(xué)方法,從大量數(shù)據(jù)中挖掘出隱含的、先前未知的、對(duì)決策有潛在價(jià)值的關(guān)系、模式和趨勢(shì),并用這些知識(shí)和規(guī)則建立用于決策支持的模型,為商業(yè)智能系統(tǒng)服務(wù)的各業(yè)務(wù)領(lǐng)域提供預(yù)測(cè)性決策支持的方法、工具和過(guò)程。數(shù)據(jù)挖掘前身是知識(shí)發(fā)現(xiàn)(KDD,KnowledgeDiscoveryinDatabases),屬于機(jī)器學(xué)習(xí)的范疇,所用技術(shù)和工具主要有統(tǒng)計(jì)分析(或數(shù)據(jù)分析)和知識(shí)發(fā)現(xiàn)。知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘是人工智能、機(jī)器學(xué)習(xí)與數(shù)據(jù)庫(kù)技術(shù)相結(jié)合的產(chǎn)物,是從數(shù)據(jù)中發(fā)現(xiàn)有用知識(shí)的整個(gè)過(guò)程。數(shù)據(jù)挖掘概念數(shù)據(jù)挖掘(DataMining)是采用數(shù)學(xué)的、統(tǒng)計(jì)的、人工371.?dāng)?shù)據(jù)選擇
數(shù)據(jù)選擇過(guò)程是根據(jù)用戶的挖掘目標(biāo),交互式地完成對(duì)源數(shù)據(jù)的裁減,使生成的目標(biāo)數(shù)據(jù)只集中在與挖掘目標(biāo)相一致的數(shù)據(jù)上。目標(biāo)數(shù)據(jù)應(yīng)該以適合于挖掘的形式進(jìn)行組織,常用的是關(guān)系數(shù)據(jù)庫(kù)或多維數(shù)據(jù)立方體等形式。2.模型建立
數(shù)據(jù)特征探索、分析和預(yù)處理,消除數(shù)據(jù)中的噪聲,然后建立挖掘模型并實(shí)施對(duì)應(yīng)的算法。3.模型驗(yàn)證
不論是自己建立挖掘模型還是選取或改進(jìn)已有模型都必須要進(jìn)行驗(yàn)證。這種驗(yàn)證最常用的方法是樣本學(xué)習(xí)。先用一部分?jǐn)?shù)據(jù)建立模型,然后再用剩下的數(shù)據(jù)來(lái)測(cè)試和驗(yàn)證這個(gè)模型。
數(shù)據(jù)挖掘是一個(gè)反復(fù)的過(guò)程。通過(guò)反復(fù)的交互式執(zhí)行和驗(yàn)證才能找到解決問(wèn)題的最好途徑。通過(guò)不斷地產(chǎn)生、篩選和驗(yàn)證,才能把有意義的知識(shí)集成到企業(yè)的知識(shí)庫(kù)或商業(yè)智能系統(tǒng)中去。數(shù)據(jù)挖掘三個(gè)步驟1.?dāng)?shù)據(jù)選擇數(shù)據(jù)挖掘三個(gè)步驟38分類:樣本分析貝葉斯分類
貝葉斯分類是利用貝葉斯公式,通過(guò)計(jì)算每個(gè)特征下分類的條件概率,來(lái)計(jì)算某個(gè)特征組合實(shí)例的分類概率,選取最大概率的分類作為分類結(jié)果,樸素貝葉斯分類要求各特征間是相互獨(dú)立的,對(duì)異常的反應(yīng)敏感。常見(jiàn)的貝葉斯分類器有NaiveBayes,TAN,BAN,GBN等方法。KNN法 KNN(K-NearestNeighbor)法即K最近鄰法,最初由Cover和Hart于1968年提出的,是一個(gè)理論上比較成熟的方法。該方法的思路非常簡(jiǎn)單直觀:如果一個(gè)樣本在特征空間中的K個(gè)最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個(gè)類別,則該樣本也屬于這個(gè)類別。該方法在定類決策上只依據(jù)最鄰近的一個(gè)或者幾個(gè)樣本的類別來(lái)決定待分樣本所屬的類別。該方法的不足之處是計(jì)算量較大。SVM法 SVM法即支持向量機(jī)(SupportVectorMachine)法,由Vapnik等人于1995年提出,具有相對(duì)優(yōu)良的性能指標(biāo)。該方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上的機(jī)器學(xué)習(xí)方法。通過(guò)學(xué)習(xí)算法,SVM可以自動(dòng)尋找出那些對(duì)分類有較好區(qū)分能力的支持向量,由此構(gòu)造出的分類器可以最大化類與類的間隔,因而有較好的適應(yīng)能力和較高的分準(zhǔn)率。該方法只需要由各類域的邊界樣本的類別來(lái)決定最后的分類結(jié)果。數(shù)據(jù)挖掘方法分類:樣本分析數(shù)據(jù)挖掘方法39聚類分析:馬氏距離,K距離
聚類分析(Cluster)根據(jù)已知數(shù)據(jù),計(jì)算各觀察個(gè)體或變量之間親疏關(guān)系的統(tǒng)計(jì)量(距離或相關(guān)系數(shù))。根據(jù)某種準(zhǔn)則(最短距離法、最長(zhǎng)距離法、中間距離法、重心法等),使同一類內(nèi)的差別較小,而類與類之間的差別較大,最終將觀察個(gè)體或變量分為若干類。
聚類分析主要用在客戶和市場(chǎng)細(xì)分方面。以客戶關(guān)系管理為例,利用聚類分析,根據(jù)客戶在不同特征如性別、年齡、收入水平、交易歷史、教育狀況、家庭情況等方面的相似程度,對(duì)客戶進(jìn)行分類。通過(guò)聚類分析,企業(yè)往往可以發(fā)現(xiàn)客戶的喜好或行為模式,了解客戶的共性,從而提供有針對(duì)性的客戶服務(wù),提高企業(yè)服務(wù)成功率,如提供針對(duì)性的產(chǎn)品組合等等。關(guān)聯(lián)分析:發(fā)現(xiàn)關(guān)聯(lián)規(guī)則,事件序列,相似性時(shí)間序列
關(guān)聯(lián)分析(Association)反映一個(gè)事件和其它事件之間的依賴或關(guān)聯(lián)。數(shù)據(jù)庫(kù)中的數(shù)據(jù)關(guān)聯(lián)是現(xiàn)實(shí)世界中事物聯(lián)系的表現(xiàn)。關(guān)聯(lián)可分為簡(jiǎn)單關(guān)聯(lián)、時(shí)序(TimeSeries)關(guān)聯(lián)、因果關(guān)聯(lián)、數(shù)量關(guān)聯(lián)等。這些關(guān)聯(lián)并不總是事先知道的,而是通過(guò)數(shù)據(jù)庫(kù)中數(shù)據(jù)的關(guān)聯(lián)分析獲得的,因而對(duì)商業(yè)決策具有新價(jià)值。
關(guān)聯(lián)分析常被用于市場(chǎng)購(gòu)物籃分析、交叉銷(xiāo)售,促銷(xiāo)計(jì)劃等。例如,在尋求諸如當(dāng)購(gòu)買(mǎi)油漆時(shí)是否購(gòu)買(mǎi)刷子一類的模式過(guò)程中,人們發(fā)現(xiàn),如果顧客購(gòu)買(mǎi)了油漆,有20%的可能性也會(huì)購(gòu)買(mǎi)刷子。統(tǒng)計(jì)分析方法
非線性回歸分析(Nonlinearregression)、邏輯回歸分析、單變量分析、多變量分析、時(shí)間序列分析、最近鄰算法。數(shù)據(jù)挖掘方法聚類分析:馬氏距離,K距離數(shù)據(jù)挖掘方法40T檢驗(yàn)
假設(shè)檢驗(yàn)方法,主要用來(lái)比較兩個(gè)總體均值的差異是否顯著。方差分析(AnalysisofVariance,ANOVA)
超過(guò)兩個(gè)總體的均值檢驗(yàn),也經(jīng)常用于實(shí)驗(yàn)設(shè)計(jì)后的檢驗(yàn)問(wèn)題。主成分分析和因子分析
主成分分析(PrincipleAnalysis)和因子分析(FactorAnalysis)目標(biāo)是找出多個(gè)潛藏的變量之間的關(guān)系,主要用在消費(fèi)者行為態(tài)度等研究、價(jià)值觀態(tài)度語(yǔ)句的分析、市場(chǎng)細(xì)分之前的因子聚類等,問(wèn)卷的信度和效度檢驗(yàn)等,因子分析也可算是數(shù)據(jù)的預(yù)處理技術(shù)。主成分分析與因子分析是兩種方法,要能夠區(qū)分。主成分分析可以消減變量,權(quán)重等,主成分還可以用作構(gòu)建綜合排名統(tǒng)計(jì)分析方法。時(shí)間序列分析
時(shí)間序列分析(TimeSequence)用于識(shí)別具體具有先后次序的不同時(shí)間之間的關(guān)聯(lián)性。比如,客戶一月購(gòu)買(mǎi)了飯盒和帳篷,二月購(gòu)買(mǎi)了旅行背包和錄像帶,三月購(gòu)買(mǎi)了睡袋。時(shí)間序列分析查看所有記錄并返回如下規(guī)則:如果一月的購(gòu)買(mǎi)目標(biāo)中包括飯盒,則三月購(gòu)買(mǎi)睡袋的機(jī)率是30%。關(guān)聯(lián)分析可發(fā)現(xiàn)時(shí)間相關(guān)性。回歸分析
回歸分析(RegressionAnalysis)是重要的認(rèn)識(shí)多變量分析的基礎(chǔ)方法,只有掌握了回歸我們才能進(jìn)入多變量分析,其它很多方法都是變種。主要用在影響研究、滿意度研究等,當(dāng)然市場(chǎng)研究基本上是解釋性回歸分析,也就是不注重預(yù)測(cè)而關(guān)注解釋自變量對(duì)因變量的影響。主要把握R平方、逐步回歸、標(biāo)準(zhǔn)化回歸系數(shù)(當(dāng)作權(quán)重或重要性)等;回歸也是預(yù)處理技術(shù),缺省值處理等。數(shù)據(jù)挖掘方法T檢驗(yàn)數(shù)據(jù)挖掘方法41Logistics回歸技術(shù)
分類技術(shù),主要針對(duì)因變量是0-1情況下的判別,該技術(shù)是我們認(rèn)識(shí)非線性關(guān)系的重要基礎(chǔ),很多情況下,我們需要作出是與否的判斷,基礎(chǔ)模型就是它了,像客戶離網(wǎng)分析、客戶價(jià)值分析、客戶信用等都用這個(gè)模型;方差分析(AnalysisofVariance,ANOVA)。決策樹(shù)(Decisiontrees):主要用于分類和細(xì)分,分析事件分支及概率分布。
決策樹(shù)是將特征的判別序列形成一顆樹(shù),從樹(shù)根到葉子節(jié)點(diǎn)進(jìn)行每個(gè)節(jié)點(diǎn)的判斷,葉子節(jié)點(diǎn)處對(duì)應(yīng)某個(gè)類別標(biāo)號(hào),就是最終的分類結(jié)果。
決策樹(shù)分類的關(guān)鍵是樹(shù)的構(gòu)造,由每個(gè)節(jié)點(diǎn)引申每個(gè)屬性的判別分支。如何選擇特征屬性的判別順序?一種方法是利用每個(gè)特征對(duì)最終分類結(jié)果的區(qū)分度(訓(xùn)練集中),常用的區(qū)分標(biāo)準(zhǔn)有卡方,信息增益,信息增益率。主要的決策樹(shù)算法有ID3,C4.5,CHAID,CART,Quest和C5.0。神經(jīng)網(wǎng)絡(luò)方法:正向傳播和反向傳播
神經(jīng)網(wǎng)絡(luò)(Neuralnetworks)方法的目標(biāo)是捕獲市場(chǎng)巴素(如廣告等促銷(xiāo)手段)與總的銷(xiāo)售額間的復(fù)雜關(guān)系,找出輸人量變化引起的輸出量波動(dòng)之間的映射關(guān)系,通過(guò)神經(jīng)網(wǎng)絡(luò)的預(yù)報(bào)模型和敏感性分析可能找出重要的影響因子,此模型能夠在給定的短期預(yù)報(bào)中取得良好的性能。
反向傳播神經(jīng)網(wǎng)絡(luò)適合于每日或每周數(shù)據(jù)預(yù)報(bào).與反向傳播相比,正向傳播神經(jīng)網(wǎng)絡(luò)在速度方面更具優(yōu)勢(shì)。遺傳算法(人工生命)博弈算法數(shù)據(jù)挖掘方法Logistics回歸技術(shù)數(shù)據(jù)挖掘方法42三、實(shí)施篇商務(wù)智能入門(mén)培訓(xùn)課件43商務(wù)智能一個(gè)成功商務(wù)智能案例需要做些什么?商務(wù)智能實(shí)施商務(wù)智能一個(gè)成功商務(wù)智能案例需要做些什么?商務(wù)智能實(shí)施44三.商務(wù)智能實(shí)施方法二.商務(wù)智能實(shí)施經(jīng)驗(yàn)一.商務(wù)智能實(shí)施層次三.商務(wù)智能實(shí)施方法二.商務(wù)智能實(shí)施經(jīng)驗(yàn)一.商務(wù)智能實(shí)45一、商務(wù)智能實(shí)施層次實(shí)施商務(wù)智能一定是業(yè)務(wù)驅(qū)動(dòng),目標(biāo)導(dǎo)向。與ERP等系統(tǒng)最大的區(qū)別是,ERP是企業(yè)的運(yùn)營(yíng)系統(tǒng),管理企業(yè)的日常流程,以流程為導(dǎo)向。而商務(wù)智能是目標(biāo)導(dǎo)向,那么要做好商務(wù)智能,企業(yè)要明確解決什么問(wèn)題。當(dāng)企業(yè)明確了要解決的問(wèn)題后,再分析為了解決這些問(wèn)題要采取哪些方式。
企業(yè)級(jí)商業(yè)智能的構(gòu)建是一個(gè)系統(tǒng)工程,它有三個(gè)層次,需要一步一步建設(shè)。
第一個(gè)層次BusinessInformation-Mode是整個(gè)BI工程的基礎(chǔ);第二個(gè)層次BusinessIntegration是整個(gè)BI工程的技術(shù)實(shí)現(xiàn)基礎(chǔ);第三個(gè)層次BusinessIntelligence才是真正意義上的商業(yè)智能的軟件實(shí)現(xiàn)。一、商務(wù)智能實(shí)施層次實(shí)施商務(wù)智能一定是業(yè)務(wù)驅(qū)464、商務(wù)智能實(shí)施三.商務(wù)智能實(shí)施方法一.商務(wù)智能實(shí)施層次二.商務(wù)智能實(shí)施經(jīng)驗(yàn)4、商務(wù)智能實(shí)施三.商務(wù)智能實(shí)施方法一.商務(wù)智能實(shí)施層次47二、商務(wù)智能實(shí)施經(jīng)驗(yàn)1)數(shù)據(jù)種類少、數(shù)據(jù)量大是企業(yè)實(shí)施商業(yè)智能應(yīng)用的最佳環(huán)境,因?yàn)檫@將有利于數(shù)據(jù)整合、轉(zhuǎn)換、清洗、抽取、裝載及數(shù)據(jù)模型的建立。2)先導(dǎo)入ERP有利于數(shù)據(jù)整合,減少導(dǎo)入BI系統(tǒng)的工作量,缺點(diǎn)是需要增加ERP的導(dǎo)入周期。3)首先確定企業(yè)需求,定義明確的目標(biāo)和收益率,以重點(diǎn)業(yè)務(wù)為突破口(自上而下),選擇合適的數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品和系統(tǒng)架構(gòu),迅速部署,風(fēng)險(xiǎn)控制,然后在使用中逐步調(diào)整和完善整個(gè)BI系統(tǒng)。4)從一開(kāi)始就采取統(tǒng)一的綜合性的措施來(lái)建立數(shù)據(jù)倉(cāng)庫(kù),確保所用的數(shù)據(jù)是可靠的。5)與主管充分溝通(如果有同業(yè)有成功的導(dǎo)入案例,通常是取得主管支持的好方法),系統(tǒng)上線后對(duì)使用人員進(jìn)行必要的培訓(xùn),鼓勵(lì)使用。6)設(shè)立專門(mén)的數(shù)據(jù)分析師。BI的目的是要從中找出最有價(jià)值的數(shù)據(jù),如果沒(méi)有相應(yīng)的人對(duì)其進(jìn)行跟蹤處理,它的價(jià)值也就只停留在迅速做出報(bào)表的層面了。永遠(yuǎn)不要因?yàn)槟阏J(rèn)為需要BI就購(gòu)買(mǎi)BI軟件。不要先購(gòu)買(mǎi)了BI軟件再去考慮哪些地方可能需要,而應(yīng)該是已經(jīng)明確在哪些地方需要應(yīng)用BI后再去購(gòu)買(mǎi)和部署。商業(yè)智能項(xiàng)目是一個(gè)需要不斷優(yōu)化的循環(huán)過(guò)程,而不是一個(gè)可以一步到位的結(jié)果,在整個(gè)企業(yè)發(fā)展商業(yè)智能的過(guò)程中,重復(fù)是很正常的,也是很必然的。二、商務(wù)智能實(shí)施經(jīng)驗(yàn)1)數(shù)據(jù)種類少、數(shù)據(jù)量大是企業(yè)實(shí)施商業(yè)484、商務(wù)智能實(shí)施一.商務(wù)智能實(shí)施層次二.商務(wù)智能實(shí)施經(jīng)驗(yàn)三.商務(wù)智能實(shí)施方法4、商務(wù)智能實(shí)施一.商務(wù)智能實(shí)施層次二.商務(wù)智能實(shí)施經(jīng)驗(yàn)49三、商務(wù)智能實(shí)施方法1、自上而下把數(shù)據(jù)倉(cāng)庫(kù)定義為一個(gè)大系統(tǒng),“全局考慮,全面實(shí)施”,建立適合企業(yè)信息共性需求的完整的數(shù)據(jù)模型,然后從業(yè)務(wù)運(yùn)營(yíng)系統(tǒng)中提取數(shù)據(jù),進(jìn)行數(shù)據(jù)的清洗、合并、規(guī)范化和合理化,并加載到數(shù)據(jù)倉(cāng)庫(kù)中,形成企業(yè)統(tǒng)一的數(shù)據(jù)集成平臺(tái),最后可以根據(jù)部門(mén)個(gè)性需要將數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)分發(fā)到面向主題的數(shù)據(jù)集市中。優(yōu)點(diǎn):◆企業(yè)統(tǒng)一的數(shù)據(jù)集成平臺(tái);◆集中化的控制管理;◆數(shù)據(jù)容易分發(fā)到各個(gè)數(shù)據(jù)集市中;缺點(diǎn):◆開(kāi)發(fā)過(guò)程復(fù)雜,費(fèi)用高;◆開(kāi)發(fā)時(shí)間長(zhǎng),難以滿足快速變化的業(yè)務(wù)需求;◆需要進(jìn)行大量的業(yè)務(wù)需求分析,需要大量的資源;◆結(jié)構(gòu)比較僵化,比較難以擴(kuò)展;三、商務(wù)智能實(shí)施方法1、自上而下優(yōu)點(diǎn):缺點(diǎn):50三、商務(wù)智能實(shí)施方法2、自下而上大量的舊系統(tǒng),要想在短時(shí)間內(nèi)進(jìn)行數(shù)據(jù)的合理性和完整性統(tǒng)一是相當(dāng)困難的,而市場(chǎng)變化和企業(yè)決策規(guī)則變化不允許花大量的時(shí)間和精力去建立一個(gè)滿足日后需求,但不滿足現(xiàn)在變化的系統(tǒng)。自下而上的開(kāi)發(fā)方法就是根據(jù)特定的業(yè)務(wù)主題,“分部門(mén)考慮,分部門(mén)實(shí)施”,可以在很短的時(shí)間內(nèi)實(shí)現(xiàn)部門(mén)級(jí)的數(shù)據(jù)集市,多個(gè)數(shù)據(jù)集市組成企業(yè)聯(lián)邦制的數(shù)據(jù)倉(cāng)庫(kù)。優(yōu)點(diǎn):◆可以并行開(kāi)發(fā);◆見(jiàn)效快;◆分散化的資源和管理控制;缺點(diǎn):◆很難協(xié)調(diào)各個(gè)數(shù)據(jù)集市的建設(shè);◆可能存在著部門(mén)之間的政治斗爭(zhēng)和數(shù)據(jù)集市歸屬問(wèn)題;◆如果采用不同的技術(shù)建立起來(lái)的數(shù)據(jù)集市,最終造成多個(gè)相互獨(dú)立、互不兼容的“煙囪式”數(shù)據(jù)集市,給維護(hù)和數(shù)據(jù)共享帶來(lái)很大的障礙;◆多種數(shù)據(jù)源采集系統(tǒng),可能造成對(duì)業(yè)務(wù)系統(tǒng)的沖擊和數(shù)據(jù)的不一致;三、商務(wù)智能實(shí)施方法2、自下而上優(yōu)點(diǎn):缺點(diǎn):51三、商務(wù)智能實(shí)施方法3、元數(shù)據(jù)驅(qū)動(dòng)元數(shù)據(jù)管理在商業(yè)智能項(xiàng)目開(kāi)發(fā)建設(shè)中有很重要的作用。元數(shù)據(jù)驅(qū)動(dòng)、螺旋上升的數(shù)據(jù)倉(cāng)庫(kù)建立的過(guò)程就是“建立元數(shù)據(jù)――構(gòu)造數(shù)據(jù)倉(cāng)庫(kù)/集市”的不斷循環(huán)、不斷上升的過(guò)程。優(yōu)點(diǎn):◆建立企業(yè)數(shù)據(jù)的統(tǒng)一視圖;◆有統(tǒng)一的元數(shù)據(jù)管理;◆具有靈活可擴(kuò)展的的體系結(jié)構(gòu);◆分步式開(kāi)發(fā),螺旋式上升,既能快速看到效果,又保證系統(tǒng)的連續(xù)性、一致性缺點(diǎn):◆真正地實(shí)現(xiàn)元數(shù)據(jù)的驅(qū)動(dòng)則不是一件容易的事情。三、商務(wù)智能實(shí)施方法3、元數(shù)據(jù)驅(qū)動(dòng)優(yōu)點(diǎn):缺點(diǎn):52BusinessIntelligenceThankyou!THEENDBusinessIntelligenceThankyou53商務(wù)智能入門(mén)培訓(xùn)課件54樹(shù)立質(zhì)量法制觀念、提高全員質(zhì)量意識(shí)。12月-2212月-22Friday,December30,2022人生得意須盡歡,莫使金樽空對(duì)月。16:50:2616:50:2616:5012/30/20224:50:26PM安全象只弓,不拉它就松,要想保安全,常把弓弦繃。12月-2216:50:2616:50Dec-2230-Dec-22加強(qiáng)交通建設(shè)管理,確保工程建設(shè)質(zhì)量。16:50:2616:50:2616:50Friday,December30,2022安全在于心細(xì),事故出在麻痹。12月-2212月-2216:50:2616:50:26December30,2022踏實(shí)肯干,努力奮斗。2022年12月30日4:50下午12月-2212月-22追求至善憑技術(shù)開(kāi)拓市場(chǎng),憑管理增創(chuàng)效益,憑服務(wù)樹(shù)立形象。30十二月20224:50:26下午16:50:2612月-22嚴(yán)格把控質(zhì)量關(guān),讓生產(chǎn)更加有保障。十二月224:50下午12月-2216:50December30,2022作業(yè)標(biāo)準(zhǔn)記得牢,駕輕就熟除煩惱。2022/12/3016:50:2616:50:2630December2022好的事情馬上就會(huì)到來(lái),一切都是最好的安排。4:50:26下午4:50下午16:50:2612月-22一馬當(dāng)先,全員舉績(jī),梅開(kāi)二度,業(yè)績(jī)保底。12月-2212月-2216:5016:50:2616:50:26Dec-22牢記安全之責(zé),善謀安全之策,力務(wù)安全之實(shí)。2022/12/3016:50:26Friday,December30,2022相信相信得力量。12月-222022/12/3016:50:2612月-22謝謝大家!樹(shù)立質(zhì)量法制觀念、提高全員質(zhì)量意識(shí)。12月-2212月-2255生活中的辛苦阻撓不了我對(duì)生活的熱愛(ài)。12月-2212月-22Friday,December30,2022人生得意須盡歡,莫使金樽空對(duì)月。16:50:2616:50:2616:5012/30/20224:50:26PM做一枚螺絲釘,那里需要那里上。12月-2216:50:2616:50Dec-2230-Dec-22日復(fù)一日的努力只為成就美好的明天。16:50:2616:50:2616:50Friday,December30,2022安全放在第一位,防微杜漸。12月-2212月-2216:50:2616:50:26December30,2022加強(qiáng)自身建設(shè),增強(qiáng)個(gè)人的休養(yǎng)。2022年12月30日4:50下午12月-2212月-22精益求精,追求卓越,因?yàn)橄嘈哦鴤ゴ蟆?0十二月20224:50:26下午16:50:2612月-22讓自己更加強(qiáng)大,更加專業(yè),這才能讓自己更好。十二月224:50下午12月-2216:50December30,2022這些年的努力就為了得到相應(yīng)的回報(bào)。2022/12/3016:50:2616:50:2630December2022科學(xué),你是國(guó)力的靈魂;同時(shí)又是社會(huì)發(fā)展的標(biāo)志。4:50:26下午4:50下午16:50:2612月-22每天都是美好的一天,新的一天開(kāi)啟。12月-2212月-2216:5016:50:2616:50:26Dec-22相信命運(yùn),讓自己成長(zhǎng),慢慢的長(zhǎng)大。2022/12/3016:50:26Friday,December30,2022愛(ài)情,親情,友情,讓人無(wú)法割舍。12月-222022/12/3016:50:2612月-22謝謝大家!生活中的辛苦阻撓不了我對(duì)生活的熱愛(ài)。12月-2212月-2256商務(wù)智能入門(mén)培訓(xùn)
BusinessIntelligence
商務(wù)智能入門(mén)培訓(xùn)
BusinessIntelligence57一、概念篇商務(wù)智能入門(mén)培訓(xùn)課件58實(shí)例:沃爾瑪?shù)匿N(xiāo)售部在總結(jié)歷史銷(xiāo)售記錄的時(shí)候發(fā)現(xiàn),每到周末的時(shí)候,啤酒和尿布的銷(xiāo)量都比平時(shí)要高很多,這是一個(gè)巧合還是這個(gè)現(xiàn)象的背后隱藏著一定的必然因素?銷(xiāo)售人員展開(kāi)了調(diào)查,結(jié)果發(fā)現(xiàn):每到周末,有孩子的家庭主婦就會(huì)讓他們的丈夫去超市給孩子買(mǎi)足一周用的尿布,這些丈夫們必然會(huì)選擇一些自己愛(ài)喝的啤酒,以便周末在欣賞橄欖球賽和籃球賽的時(shí)候可以和朋友們一起慶祝。原因找到了之后,銷(xiāo)售部采取了措施,每到周末將超市的啤酒和尿布捆綁銷(xiāo)售,這樣,啤酒和尿布的銷(xiāo)量又同時(shí)增加了一成。什么是商務(wù)智能?實(shí)例:沃爾瑪?shù)匿N(xiāo)售部在總結(jié)歷史銷(xiāo)售記錄的時(shí)候發(fā)現(xiàn),每到周末的59二、市場(chǎng)分析篇商務(wù)智能入門(mén)培訓(xùn)課件60商務(wù)智能的應(yīng)用分為縱向商務(wù)智能和橫向商務(wù)智能。縱向商務(wù)智能是指企業(yè)分別實(shí)施多個(gè)信息化系統(tǒng),比如財(cái)務(wù)系統(tǒng)中的管理會(huì)計(jì)就是商務(wù)智能的一部分,從以前只關(guān)注運(yùn)營(yíng)報(bào)表,到關(guān)注整個(gè)財(cái)務(wù)的運(yùn)作情況,像現(xiàn)金流、資產(chǎn)負(fù)債等。而人力資源系統(tǒng)可以稱為智能人力資源,關(guān)注員工的流失率,分析從什么途徑招聘的員工流失率最高,分析公司人才結(jié)構(gòu)、人才培養(yǎng)方向等??偠灾?,企業(yè)有了核心業(yè)務(wù)系統(tǒng)、管理信息系統(tǒng),在這些系統(tǒng)之上做智能的分析,而這些分析得到的信息完全是來(lái)自單獨(dú)的系統(tǒng)。那么橫向商務(wù)智能指的是什么呢?舉例來(lái)說(shuō),比如汽車(chē)制造廠生產(chǎn)多款不同的車(chē)型,公司老總會(huì)問(wèn),生產(chǎn)哪一款車(chē)型、生產(chǎn)多少,企業(yè)的效率能夠達(dá)到最高?這樣的問(wèn)題,不能通過(guò)分析單獨(dú)的系統(tǒng)得到,因?yàn)樾б孀罡呷Q于生產(chǎn)成本、人力資源成本、市場(chǎng)的需求、競(jìng)爭(zhēng)對(duì)手、市場(chǎng)定價(jià)等多方面的信息。而這些信息則分散在財(cái)務(wù)系統(tǒng)、人力資源系統(tǒng)、采購(gòu)系統(tǒng)中,這就需要系統(tǒng)和信息有效的整合才能解決這個(gè)問(wèn)題,所以稱為橫向商務(wù)智能。商業(yè)智能應(yīng)用領(lǐng)域?商務(wù)智能的應(yīng)用分為縱向商務(wù)智能和橫向商務(wù)智能。商業(yè)智能應(yīng)用領(lǐng)61商業(yè)智能是一種整體化的解決方案,他可以幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營(yíng)決策,而依據(jù)則是企業(yè)內(nèi)部的各種數(shù)據(jù),例如訂單、庫(kù)存、交易賬目、客戶和供應(yīng)商資料、行業(yè)數(shù)據(jù)和競(jìng)爭(zhēng)對(duì)手信息等等。商業(yè)智能其實(shí)是一種將企業(yè)信息數(shù)據(jù)轉(zhuǎn)化為決策的重要工具。商業(yè)智能的應(yīng)用是需要一定的基礎(chǔ)的。實(shí)施商業(yè)智能的企業(yè)至少應(yīng)該具備以下幾個(gè)條件:用戶的數(shù)據(jù)已達(dá)到一定的規(guī)模;用戶面臨激烈的市場(chǎng)競(jìng)爭(zhēng):用戶在IT方面的資金能得到保障。滿足以上幾點(diǎn)的行業(yè)集中在重要的政府機(jī)構(gòu)(如財(cái)務(wù)、稅務(wù)、審計(jì)、工商、海關(guān)等)、零售業(yè)(連鎖店、網(wǎng)上零售等)、大型現(xiàn)代化的制造業(yè)(如寶鋼、上汽集團(tuán)等)、金融(包括銀行、證券、保險(xiǎn)等)、電信業(yè)(如中國(guó)電信、中國(guó)網(wǎng)通、中國(guó)移動(dòng)等)、能源業(yè)(電力)、運(yùn)輸?shù)?,這也是目前國(guó)內(nèi)急需要數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能技術(shù)來(lái)提升企業(yè)競(jìng)爭(zhēng)力的主要行業(yè)。金融、電信行業(yè)是BI應(yīng)用最集中的行業(yè),約占40%的市場(chǎng)分額,保險(xiǎn)、能源、煙草、政務(wù)行業(yè)約占30%的市場(chǎng)份額,制造、零售行業(yè)約占30%的市場(chǎng)份額,是BI應(yīng)用最具潛力的行業(yè)。金融:隨著國(guó)內(nèi)五大商業(yè)銀行的信息化不斷發(fā)展,在BI領(lǐng)域投資穩(wěn)步增長(zhǎng),每年均有大量的BI需求,其中BI已經(jīng)不僅局限于高層管理者的決策,操作型BI應(yīng)用越來(lái)越廣泛,尤其是信貸評(píng)審領(lǐng)域。中小型銀行BI需求也不斷涌現(xiàn),未來(lái)將是金融行業(yè)BI市場(chǎng)的主要增長(zhǎng)點(diǎn)。電信:電信行業(yè)信息化程度很高,對(duì)信息化依賴很強(qiáng),積累了大量的數(shù)據(jù),具有實(shí)施商業(yè)智能項(xiàng)目的基礎(chǔ)條件和資金實(shí)力。電信行業(yè)對(duì)于BI深入應(yīng)用是最渴望的,在話費(fèi)套餐設(shè)置、客戶潛力分析等都需要數(shù)據(jù)挖掘技術(shù)來(lái)提供決策依據(jù)。行業(yè)現(xiàn)狀?商業(yè)智能是一種整體化的解決方案,他可以幫助企業(yè)做出明智的業(yè)務(wù)62行業(yè)市場(chǎng)規(guī)模?行業(yè)市場(chǎng)規(guī)模?63發(fā)展趨勢(shì)?發(fā)展趨勢(shì)及預(yù)測(cè)移動(dòng)商業(yè)智能
商業(yè)智能系統(tǒng)會(huì)把大量數(shù)據(jù)轉(zhuǎn)變成可視化形式(如圖形和表格),以便使用者詳細(xì)深入地分析潛在商業(yè)趨勢(shì)。因此如果為這種分析賦予移動(dòng)性——通常利用功能強(qiáng)大的智能終端,許多公司就能與客戶和商業(yè)合作伙伴進(jìn)行實(shí)時(shí)互動(dòng),從而改善服務(wù)、提高工作效率。SaaSBI將得到快速發(fā)展 SaaS是基于互聯(lián)網(wǎng)提供軟件服務(wù)的軟件應(yīng)用模式,企業(yè)根據(jù)實(shí)際需要,從SaaS提供商租賃軟件服務(wù)。SaaS模式在CRM領(lǐng)域獲得了成功,不論是國(guó)外還是國(guó)內(nèi)具有成熟的產(chǎn)品,并取得了不錯(cuò)的收益。SAAS在BI領(lǐng)域的應(yīng)用的挑戰(zhàn)是應(yīng)用于互聯(lián)網(wǎng)上的SAAS軟件無(wú)法處理BI所需的海量數(shù)據(jù)。商業(yè)智能日漸與業(yè)務(wù)融合
業(yè)務(wù)分析作為商業(yè)智能領(lǐng)域中最貼近業(yè)務(wù)的層面,在2010年成為業(yè)界關(guān)注的重點(diǎn),不管是SAP還是IBM,都將業(yè)務(wù)分析作為今年的業(yè)務(wù)發(fā)展重點(diǎn)。企業(yè)希望由BI系統(tǒng)帶來(lái)的透明度和洞察力能夠幫助企業(yè)降低成本,提高生產(chǎn)率和業(yè)務(wù)敏捷性。通過(guò)商業(yè)智能,企業(yè)能更清晰更深刻的了解包括公司管理、利潤(rùn)分析、市場(chǎng)競(jìng)爭(zhēng)、財(cái)務(wù)狀況等信息,而未來(lái)商業(yè)智能的這種特性還將繼續(xù)加強(qiáng)。操作型BI應(yīng)用得到發(fā)展
目前商業(yè)智能技術(shù)不僅僅應(yīng)用于企業(yè)高層管理者的決策分析,越來(lái)越多的商業(yè)智能分析結(jié)果正被用于普通員工的日常工作流程中,直接推動(dòng)業(yè)務(wù)的執(zhí)行。例如:在家樂(lè)福購(gòu)物時(shí),收銀員已經(jīng)可以根據(jù)顧客的購(gòu)物籃進(jìn)行產(chǎn)品推薦。發(fā)展趨勢(shì)?發(fā)展趨勢(shì)及預(yù)測(cè)64發(fā)展趨勢(shì)?數(shù)據(jù)集成應(yīng)用得到重視
在一些大型企業(yè)中往往有幾十個(gè)甚至幾百個(gè)信息系統(tǒng),將這些數(shù)據(jù)整合到數(shù)據(jù)倉(cāng)庫(kù)中,一般采取ETL工具抽取多個(gè)廠商數(shù)據(jù)庫(kù)的數(shù)據(jù),有些甚至還包含非結(jié)構(gòu)化數(shù)據(jù),例如XML、EXCEL、文本等。這些數(shù)據(jù)往往需要加工和整理放入ODS(中間庫(kù)),最后以規(guī)范、標(biāo)準(zhǔn)的格式存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)。在這個(gè)數(shù)據(jù)集成的過(guò)程中,要做到系統(tǒng)兼容性好、開(kāi)發(fā)效率高、處理性能好,而且能夠捕捉數(shù)據(jù)的變化處理增量數(shù)據(jù)。數(shù)據(jù)集成是建立實(shí)用的數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵,而且數(shù)據(jù)集成的過(guò)程占商業(yè)智能應(yīng)用中一半以上的工作量,因此越是大型企業(yè)越是重視數(shù)據(jù)集成。中小企業(yè)BI應(yīng)用逐漸擴(kuò)大市場(chǎng)
份額
中國(guó)中小企業(yè)逐漸呈現(xiàn)對(duì)管理軟件旺盛的需求態(tài)勢(shì),很多廠商發(fā)布了專門(mén)針對(duì)中小企業(yè)的BI套件,例如CognosExpress等。中小企業(yè)在實(shí)施ERP、CRM產(chǎn)品后,必將應(yīng)用商業(yè)智能,中小企業(yè)市場(chǎng)是BI應(yīng)用非常重要的組成部分。BI企業(yè)將在壟斷中不斷新生
中國(guó)商業(yè)智能市場(chǎng)兩極競(jìng)爭(zhēng)趨勢(shì)日益加劇。在高端市場(chǎng),由國(guó)際廠商壟斷與競(jìng)爭(zhēng)的局面是2010年的主流,其中IBM、Oracle、SAP、Microsoft擁有完整的BI產(chǎn)品線,將占據(jù)70%以上的市場(chǎng)份額。剩余的30%市場(chǎng)將由其他外資企業(yè)和國(guó)內(nèi)企業(yè)分享。隨著國(guó)內(nèi)企業(yè)的成長(zhǎng)與并購(gòu),國(guó)內(nèi)廠商的實(shí)力不斷壯大,但是主要集中于中低端市場(chǎng),在2010年優(yōu)秀的國(guó)產(chǎn)BI產(chǎn)品將開(kāi)始不斷向四大國(guó)際廠商發(fā)起挑戰(zhàn),但是競(jìng)爭(zhēng)的過(guò)程將是極其漫長(zhǎng)的。發(fā)展趨勢(shì)?數(shù)據(jù)集成應(yīng)用得到重視651)國(guó)際BI廠商,如BO公司(SAP)、Hyperion公司(Oracle)、微軟公司、SAS公司等。這些國(guó)際廠商的品牌與規(guī)模優(yōu)勢(shì)非常突出,是國(guó)內(nèi)大部分BI廠商難以與之匹敵的。2)起步比較早的國(guó)內(nèi)BI廠商,如菲奈特(成立于1995年10月,從1997年開(kāi)始進(jìn)入BI領(lǐng)域)、先進(jìn)數(shù)通公司(成立于2000年)、吉貝克公司(成立于2002年)等。這些國(guó)內(nèi)BI廠商憑借本土化的優(yōu)勢(shì)以及對(duì)國(guó)內(nèi)BI用戶所需要的應(yīng)用的獨(dú)特見(jiàn)解,也在國(guó)內(nèi)的BI市場(chǎng)上占有超過(guò)30%的市場(chǎng)份額。3)非專業(yè)BI廠商,主要有以下幾類:一、從事某些行業(yè)核心業(yè)務(wù)系統(tǒng)建設(shè)的公司;二、從事系統(tǒng)集成的公司;三、從事專業(yè)財(cái)務(wù)系統(tǒng)及個(gè)別ERP廠商。商務(wù)智能主要廠商有哪些?廠商產(chǎn)品及簡(jiǎn)介IBMDB2以及Cognos、SPSS、DataStage,覆蓋BI全部領(lǐng)域。數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品結(jié)合了DB2數(shù)據(jù)服務(wù)器的長(zhǎng)處和IBM的商業(yè)智能基礎(chǔ)設(shè)施,集成了用于倉(cāng)庫(kù)管理、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)挖掘以及OLAP分析和報(bào)告的核心組件,提供了一套基于可視數(shù)據(jù)倉(cāng)庫(kù)的商業(yè)智能解決方案。OracleOracle、Hyperion,覆蓋BI全部領(lǐng)域,數(shù)據(jù)挖掘領(lǐng)域有待加強(qiáng)。數(shù)據(jù)倉(cāng)庫(kù)解決方案包含了業(yè)界領(lǐng)先的數(shù)據(jù)庫(kù)平臺(tái)、開(kāi)發(fā)工具和應(yīng)用系統(tǒng),能夠提供一系列的數(shù)據(jù)倉(cāng)庫(kù)工具集和服務(wù),具有多用戶數(shù)據(jù)倉(cāng)庫(kù)管理能力,多種分區(qū)方式,較強(qiáng)的與OLAP工具的交互能力及快速和便捷的數(shù)據(jù)移動(dòng)機(jī)制等特性。SAPBusinessObjects、CrystalReports,主要是OLAP和報(bào)表領(lǐng)域。Sybase(SAP)提供了稱為WarehouseStudio的一整套覆蓋整個(gè)數(shù)據(jù)倉(cāng)庫(kù)建立周期的產(chǎn)品包,包括數(shù)據(jù)倉(cāng)庫(kù)的建模、數(shù)據(jù)集成和轉(zhuǎn)換、數(shù)據(jù)存儲(chǔ)和管理、元數(shù)據(jù)管理和數(shù)據(jù)可視化分析等產(chǎn)品。BusinessObjects(SAP)是集查詢、報(bào)表和OLAP技術(shù)為一身的智能決策支持系統(tǒng),具有較好的查詢和報(bào)表功能,提供多維分析技術(shù),支持多種數(shù)據(jù)庫(kù),同時(shí)它還支持基于Web瀏覽器的查詢、報(bào)表和分析決策。MicrosoftSQLServer,覆蓋BI全部領(lǐng)域,適合中小型企業(yè),性價(jià)比高。它提供了三大服務(wù)和一個(gè)工具來(lái)實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的整合,為用戶提供了可用于構(gòu)建典型和創(chuàng)新的分析應(yīng)用程序所需的各種特性、工具和功能,可以實(shí)現(xiàn)建模、ETL、建立查詢分析或圖表、定制KPI、建立報(bào)表和構(gòu)造數(shù)據(jù)挖掘應(yīng)用及發(fā)布等功能。TeradataTeradata,主要是數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域。它提出了可擴(kuò)展數(shù)據(jù)倉(cāng)庫(kù)基本架構(gòu),包括數(shù)據(jù)裝載、數(shù)據(jù)管理和信息訪問(wèn)幾個(gè)部分,是高端數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)最有力競(jìng)爭(zhēng)者,主要運(yùn)行在基于Unix操作系統(tǒng)平臺(tái)的NCR硬件設(shè)備上。SASSAS,數(shù)據(jù)挖掘領(lǐng)域領(lǐng)先。SAS公司的數(shù)據(jù)倉(cāng)庫(kù)解決方案是一個(gè)由30多個(gè)專用模塊構(gòu)成的架構(gòu)體系,適應(yīng)于對(duì)企業(yè)級(jí)的數(shù)據(jù)進(jìn)行重新整合,支持多維、快速查詢,提供服務(wù)于OLAP操作和決策支持的數(shù)據(jù)采集、管理、處理和展現(xiàn)功能。國(guó)內(nèi)其他菲奈特(BIoffice)、和勤(Hinge)、奧威智動(dòng)(Power-BI)、科加諾(QlikView)、尚南(BlueQuery),潤(rùn)乾、探智(Trinity)。目前活躍在國(guó)內(nèi)BI市場(chǎng)上的廠商大致可分為以下三類:1)國(guó)際BI廠商,如BO公司(SAP)、Hyperion公66商務(wù)智能主要廠商產(chǎn)品鏈介紹?廠商數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)、管理ETLOLAP數(shù)據(jù)挖掘報(bào)表IBMDB2IBMDWEDesignStudioIBMWebshpereDatastage、DecisionStream(Cognos)IBMDB2OLAPServerIBMIntelligentMiner、SPSSIBMCognosReportOracleOracleOracleWarehouseBuilderOracleWarehouseBuilderOracleExpress/DiscovererOracleDataMinerOracleReportsSAP-BusinessObjectsRapidMartsBusinessObjectsDataIntegratoinBusinessObjectsOLAPIntelligence-BusinessObjectsCrystalReportMicrosoftSQLServerSQLServerManagementStudioSQLServerIntegrationServicesSQLServerAnalysisServicesSQLServerDataMinerSQLServerReportingServicesTeradataTeradataTeradataRDBMS/TeradataMetaDataServicesTeradataETLAutomation-TeradataWarehouseMinerBTEQSybaseSybase
IQPowerDesinger/WarehouseControlCenterDataIntegratoinSuitePowerDimension-InfoMakerSAS-SASWarehouseAdministratorSASETLStudioSASOLAPServerSASEnterpriseMinerSASReportStudio商務(wù)智能主要廠商產(chǎn)品鏈介紹?廠商數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)、管理ET67三、技術(shù)篇商務(wù)智能入門(mén)培訓(xùn)課件68商務(wù)智能總體解決方案財(cái)務(wù)信息“ETL”Extract–Transform-Load數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)集市/ODS商務(wù)智能平臺(tái)信息展現(xiàn)*決策者分析員管理者業(yè)務(wù)員數(shù)據(jù)查詢報(bào)表分析多維分析數(shù)據(jù)挖掘分析門(mén)戶數(shù)據(jù)整合*OracleDB2SQLServerSybaseTeraData……銷(xiāo)售信息庫(kù)存信息DataIntegrationRapidMart商務(wù)智能總體解決方案財(cái)務(wù)信息“ETL”數(shù)據(jù)倉(cāng)庫(kù)/商務(wù)智能平臺(tái)商務(wù)智能核心技術(shù)有哪些?三.ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一.數(shù)據(jù)倉(cāng)庫(kù)技術(shù)四.在線聯(lián)機(jī)分析處理技術(shù)(OLAP)五.數(shù)據(jù)挖掘技術(shù)商務(wù)智能核心技術(shù)有哪些?三.ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一70
數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、時(shí)變的、非易失的數(shù)據(jù)集合,支持管理部門(mén)的決策過(guò)程。面向主題的(subject-oriented):數(shù)據(jù)倉(cāng)庫(kù)圍繞一些主題,如顧客、供應(yīng)商、產(chǎn)品和銷(xiāo)售組織。數(shù)據(jù)倉(cāng)庫(kù)關(guān)注決策者的數(shù)據(jù)建模與分析,而不是集中于組織機(jī)構(gòu)的日常操作和事務(wù)處理。因此,數(shù)據(jù)倉(cāng)庫(kù)排除對(duì)決策無(wú)用的數(shù)據(jù),提供特定主題的簡(jiǎn)明視圖。集成的(integrated):通常,構(gòu)造數(shù)據(jù)倉(cāng)庫(kù)是將多個(gè)異種數(shù)據(jù)源,如關(guān)系數(shù)據(jù)庫(kù)、一般文件和聯(lián)機(jī)事務(wù)處理記錄集成在一起。使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù),確保命名約定、編碼結(jié)構(gòu)和屬性度量等指標(biāo)的一致性。時(shí)變的(time-variant):數(shù)據(jù)存儲(chǔ)從歷史的角度提供信息。數(shù)據(jù)倉(cāng)庫(kù)中的關(guān)鍵結(jié)構(gòu),隱式或顯式地包含時(shí)間元素。非易失的(nonvolatile):數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是有歷史保存意義的,數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)也只使用添加的方式,進(jìn)入了數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)一般情況下是不需要更新的,這樣就保證了數(shù)據(jù)的穩(wěn)定性。通常,它只需要三種數(shù)據(jù)訪問(wèn):數(shù)據(jù)的初始化裝入、數(shù)據(jù)的添加和數(shù)據(jù)查詢?cè)L問(wèn)。數(shù)據(jù)倉(cāng)庫(kù)定義 數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、時(shí)變的、71事實(shí)表是用來(lái)記錄具體事件的,包含了每個(gè)事件的具體要素,以及具體發(fā)生的事情;維度表是對(duì)事實(shí)表中事件的要素的描述信息;
數(shù)據(jù)倉(cāng)庫(kù)相關(guān)概念
一個(gè)事實(shí)表和多個(gè)維度表構(gòu)成一個(gè)立方體(主題),一個(gè)或者多個(gè)相關(guān)主題構(gòu)成一個(gè)數(shù)據(jù)集市,一個(gè)或者多個(gè)數(shù)據(jù)集市構(gòu)成了數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)模型包括了星型架構(gòu)與雪花型架構(gòu)兩種模式。星型架構(gòu)的中間為事實(shí)表,四周為維度表,類似星星;雪花型架構(gòu)的中間為事實(shí)表,兩邊的維度表可以再有其關(guān)聯(lián)子表,從而表達(dá)了清晰的維度層次關(guān)系。數(shù)據(jù)倉(cāng)庫(kù)相關(guān)概念一個(gè)事實(shí)表和多個(gè)維度表構(gòu)成一個(gè)立方體72步驟一:確定主題
即確定數(shù)據(jù)分析或前端展現(xiàn)的主題。例如:我們希望分析某年某月某一地區(qū)的啤酒銷(xiāo)售情況,這就是一個(gè)主題。主題要體現(xiàn)出某一方面的各分析角度(維度)和統(tǒng)計(jì)數(shù)據(jù)(量度)之間的關(guān)系,確定主題時(shí)要綜合考慮。我們可以形象的將一個(gè)主題想象為一顆星星:統(tǒng)計(jì)數(shù)據(jù)(量度)存在于星星中間的事實(shí)表;分析角度(維度)是星星的各個(gè)角;我們將通過(guò)維度的組合,來(lái)考察量度。那么,“某年某月某一地區(qū)的啤酒銷(xiāo)售情況”這樣一個(gè)主題,就要求我們通過(guò)時(shí)間和地區(qū)兩個(gè)維度的組合,來(lái)考察銷(xiāo)售情況這個(gè)量度。步驟二:確定量度
在確定了主題以后,我們將考慮要分析的技術(shù)指標(biāo),諸如年銷(xiāo)售額之類。它們一般為數(shù)值,稱為量度。量度是統(tǒng)計(jì)的指標(biāo),必須事先選擇恰當(dāng),基于不同的量度可以進(jìn)行復(fù)雜關(guān)鍵性能指標(biāo)(KPI)的設(shè)計(jì)和計(jì)算。數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建步驟步驟一:確定主題數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建步驟73步驟二:確定量度
在確定了主題以后,我們將考慮要分析的技術(shù)指標(biāo),諸如年銷(xiāo)售額之類。它們一般為數(shù)值,稱為量度。量度是統(tǒng)計(jì)的指標(biāo),必須事先選擇恰當(dāng),基于不同的量度可以進(jìn)行復(fù)雜關(guān)鍵性能指標(biāo)(KPI)的設(shè)計(jì)和計(jì)算。步驟三:確定事實(shí)數(shù)據(jù)粒度
在確定了量度之后,我們要考慮到該量度的匯總情況和不同維度下量度的聚合情況??紤]到量度的聚合程度不同,或采用“最小粒度原則”,即將量度的粒度設(shè)置到最小。數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建步驟步驟二:確定量度數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建步驟74步驟四:確定維度
維度是指分析的各個(gè)角度。例如我們希望按照時(shí)間,或者按照地區(qū),或者按照產(chǎn)品進(jìn)行分析,那么這里的時(shí)間、地區(qū)、產(chǎn)品就是相應(yīng)的維度。基于不同的維度,我們可以看到各量度的匯總情況,也可以基于所有的維度進(jìn)行交叉分析。步驟五:
創(chuàng)建事實(shí)表
在確定好事實(shí)數(shù)據(jù)和維度后,我們將考慮加載事實(shí)表。在公司的大量數(shù)據(jù)堆積如山時(shí),我們想看看里面究竟是什么,結(jié)果發(fā)現(xiàn)里面是一筆筆生產(chǎn)記錄,一筆筆交易記錄…那么這些記錄是我們將要建立的事實(shí)表的原始數(shù)據(jù),即關(guān)于某一主題的事實(shí)記錄表。事實(shí)表是數(shù)據(jù)倉(cāng)庫(kù)的核心。數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建步驟步驟四:確定維度數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建步驟75商務(wù)智能核心技術(shù)有哪些?三.ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一.數(shù)據(jù)倉(cāng)庫(kù)技術(shù)四.在線聯(lián)機(jī)分析處理技術(shù)(OLAP)五.數(shù)據(jù)挖掘技術(shù)商務(wù)智能核心技術(shù)有哪些?三.ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一76元數(shù)據(jù)通常定義
“關(guān)于數(shù)據(jù)的數(shù)據(jù)(例如視圖,查詢SQL,事務(wù),存儲(chǔ)過(guò)程)”,是描述和管理數(shù)據(jù)倉(cāng)庫(kù)自身內(nèi)容對(duì)象、用來(lái)表示數(shù)據(jù)項(xiàng)的意義及其在系統(tǒng)各組成部件之間的關(guān)系的數(shù)據(jù)。元數(shù)據(jù)作用于數(shù)據(jù)倉(cāng)庫(kù)的創(chuàng)建,維護(hù),管理和使用的各個(gè)方面。是從廣義上來(lái)講,用元數(shù)據(jù)來(lái)描述數(shù)據(jù)倉(cāng)庫(kù)對(duì)象的任何東西——無(wú)論是一個(gè)表、一個(gè)列、一個(gè)查詢、一個(gè)商業(yè)規(guī)則,或者是數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部的數(shù)據(jù)轉(zhuǎn)移。它在數(shù)據(jù)源的抽取、數(shù)據(jù)加工、訪問(wèn)與使用等過(guò)程中都會(huì)存在。實(shí)現(xiàn)元數(shù)據(jù)管理的主要目標(biāo)就是使企業(yè)內(nèi)部元數(shù)據(jù)的定義標(biāo)準(zhǔn)化。數(shù)據(jù)倉(cāng)庫(kù)的維護(hù)工具可以根據(jù)元數(shù)據(jù)完成數(shù)據(jù)的抽取、清洗和轉(zhuǎn)換,并做適度的匯總。數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)包括:(1)數(shù)據(jù)資源:包括各個(gè)數(shù)據(jù)源的模型,描述源數(shù)據(jù)表字段屬性及業(yè)務(wù)含義,源數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)的映射關(guān)系;(2)數(shù)據(jù)組織:數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市表的結(jié)構(gòu)、屬性及業(yè)務(wù)含義,多維結(jié)構(gòu)等等;(3)數(shù)據(jù)應(yīng)用:查詢與報(bào)表輸出格式描述、OLAP、數(shù)據(jù)挖掘等的數(shù)據(jù)模型的信息展現(xiàn);(4)數(shù)據(jù)管理:這里包括數(shù)據(jù)倉(cāng)庫(kù)過(guò)程以及數(shù)據(jù)倉(cāng)庫(kù)操作結(jié)果的模型,包括描述數(shù)據(jù)抽取和清洗規(guī)則、數(shù)據(jù)加載控制、臨時(shí)表結(jié)構(gòu)、用途和使用情況、數(shù)據(jù)匯總控制。元數(shù)據(jù)元數(shù)據(jù)通常定義元數(shù)據(jù)77分析用戶數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)我想知道今年、做得最好的5個(gè)產(chǎn)品數(shù)據(jù)倉(cāng)庫(kù)中有80張數(shù)據(jù)表無(wú)語(yǔ)義層的工作模式分析用戶數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)我想知道今年、做得最好的5個(gè)產(chǎn)品數(shù)據(jù)78無(wú)語(yǔ)義層的工作模式以往的兩種主要的解決數(shù)據(jù)訪問(wèn)問(wèn)題的方法:TheBureauApproach:業(yè)務(wù)人員技術(shù)人員SQLTheSQLEducationApproach:業(yè)務(wù)人員技術(shù)人員SQL無(wú)語(yǔ)義層的工作模式以往的兩種主要的解決數(shù)據(jù)訪問(wèn)問(wèn)題的方法:T79透過(guò)語(yǔ)義層訪問(wèn)數(shù)據(jù)設(shè)計(jì)語(yǔ)義層Universe設(shè)計(jì)數(shù)據(jù)庫(kù)和數(shù)據(jù)安全機(jī)制企業(yè)數(shù)據(jù)庫(kù)業(yè)務(wù)人員的要求業(yè)務(wù)人員可以基于語(yǔ)義層進(jìn)行數(shù)據(jù)查詢和分析不需要了解數(shù)據(jù)庫(kù)內(nèi)部結(jié)構(gòu)不需要學(xué)習(xí)SQL語(yǔ)句股票財(cái)經(jīng)銷(xiāo)售IT人員的要求專注于數(shù)據(jù)庫(kù)維護(hù)專注
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 旅游餐飲員工績(jī)效總結(jié)
- 木材銷(xiāo)售工作總結(jié)
- 服裝店衛(wèi)生衛(wèi)生規(guī)范標(biāo)準(zhǔn)
- 十年級(jí)化學(xué)學(xué)科的教學(xué)工作總結(jié)
- 制冷空調(diào)行業(yè)人力資源管理實(shí)踐
- 《疼痛治療》課件
- 《房地產(chǎn)市場(chǎng)簡(jiǎn)報(bào)》課件
- 2021年廣東省汕尾市公開(kāi)招聘警務(wù)輔助人員輔警筆試自考題1卷含答案
- 2024年四川省德陽(yáng)市公開(kāi)招聘警務(wù)輔助人員輔警筆試自考題2卷含答案
- 2021年內(nèi)蒙古自治區(qū)烏海市公開(kāi)招聘警務(wù)輔助人員輔警筆試自考題1卷含答案
- 泌尿科一科一品匯報(bào)課件
- 2024年江西省三校生高職英語(yǔ)高考試卷
- 中國(guó)古代文學(xué)智慧樹(shù)知到期末考試答案章節(jié)答案2024年廣州大學(xué)
- 重慶市南岸區(qū)2022-2023學(xué)年五年級(jí)上學(xué)期期末語(yǔ)文試卷
- 現(xiàn)澆鋼筋混凝土整體式肋梁樓蓋結(jié)構(gòu)-課程設(shè)計(jì)
- 浙江省舟山市2023-2024學(xué)年高二上學(xué)期1月期末檢測(cè)地理試題(解析版)
- 《寫(xiě)字樓招商方案》課件
- 服務(wù)器維保應(yīng)急預(yù)案
- 煙花爆竹經(jīng)營(yíng)
- 文旅劇本殺項(xiàng)目策劃方案
- 藥房庫(kù)存盤(pán)點(diǎn)與管理培訓(xùn)
評(píng)論
0/150
提交評(píng)論