BI基礎(chǔ)概念培訓(xùn)

讓數(shù)據(jù)變?yōu)樨?cái)富

——商務(wù)智能平臺(tái)交流

目錄商務(wù)智能(BI)簡(jiǎn)介介紹術(shù)語(yǔ)OLTP和OLAP的區(qū)別OLAP的整體框架數(shù)據(jù)倉(cāng)庫(kù)的內(nèi)部結(jié)構(gòu)數(shù)據(jù)立方和數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系多維數(shù)據(jù)集組成數(shù)據(jù)倉(cāng)庫(kù)的維度表在OLAP里的表現(xiàn)形式。查詢(xún)立方什么是商務(wù)智能(BI)?現(xiàn)代化的業(yè)務(wù)操作，通常會(huì)產(chǎn)生大量的數(shù)據(jù)，如何從如此繁多的業(yè)務(wù)數(shù)據(jù)中提取有用的信息，然后根據(jù)這些信息來(lái)采取明智的行動(dòng)，這是決策者面臨的最大問(wèn)題，這也就是商務(wù)智能解決的問(wèn)題。什么是商務(wù)智能(BI)?商業(yè)智能能夠輔助業(yè)務(wù)經(jīng)營(yíng)決策，既可以是操作層的，也可以是戰(zhàn)術(shù)層和戰(zhàn)略層的決策。商業(yè)智能是對(duì)商業(yè)信息的搜集、管理和分析過(guò)程，目的是使企業(yè)的各級(jí)決策者獲得知識(shí)或洞察力（insight），促使他們做出對(duì)企業(yè)更有利的決策。理解商務(wù)智能目標(biāo)：數(shù)據(jù)信息轉(zhuǎn)化為商務(wù)價(jià)值方法：轉(zhuǎn)儲(chǔ)、監(jiān)控、分析和展現(xiàn)海量數(shù)據(jù)過(guò)程：知識(shí)決策價(jià)值數(shù)據(jù)信息分析提煉指導(dǎo)創(chuàng)造行動(dòng)落實(shí)什么是商務(wù)智能(BI)?商業(yè)智能的關(guān)鍵:是根據(jù)企業(yè)發(fā)展需要,建立業(yè)務(wù)模型,從許多來(lái)自不同的企業(yè)運(yùn)作系統(tǒng)的數(shù)據(jù)中提取出有用的數(shù)據(jù)并進(jìn)行清理，以保證數(shù)據(jù)的正確性.然后對(duì)數(shù)據(jù)經(jīng)過(guò)抽取（Extraction）、轉(zhuǎn)換（Transformation）和裝載（Loading），即ETL過(guò)程，合并到一個(gè)企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)里，從而得到企業(yè)數(shù)據(jù)的一個(gè)全局視圖.在此基礎(chǔ)上利用合適的查詢(xún)和分析工具、數(shù)據(jù)挖掘工具、聯(lián)機(jī)分析處理（OLAP）工具等對(duì)其進(jìn)行分析和處理（這時(shí)信息變?yōu)檩o助決策的知識(shí)），最后將知識(shí)呈現(xiàn)給管理者，為管理者的決策過(guò)程提供支持。BI的基本框架什么是商務(wù)智能(BI)?所需技術(shù):ETL數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理（OLAP）工具數(shù)據(jù)挖掘等技術(shù)。商務(wù)智能的實(shí)現(xiàn)涉及到軟件、硬件、咨詢(xún)服務(wù)及應(yīng)用商務(wù)智能發(fā)展歷程1964年，一個(gè)叫MichaelS.ScottMorton的研究員在哈佛商業(yè)學(xué)院提出了“決策支持系統(tǒng)”的想法，這便是BI商務(wù)智能萌芽。20世紀(jì)70年代之后，當(dāng)企業(yè)建立了大量的IT系統(tǒng)，信息已經(jīng)不再缺乏而是泛濫，而企業(yè)國(guó)際化、消費(fèi)者需求的多樣化與苛刻、競(jìng)爭(zhēng)對(duì)手?jǐn)?shù)量的增加和競(jìng)爭(zhēng)層次的提高，無(wú)不要求企業(yè)更加關(guān)注對(duì)企業(yè)內(nèi)部知識(shí)、外部信息的提煉和洞察，以保證企業(yè)決策的快速與準(zhǔn)確。80年代，“商業(yè)智能”的標(biāo)準(zhǔn)是能容易地獲得想要的數(shù)據(jù)和信息。90年代是商業(yè)智能真正起步的階段。商務(wù)智能發(fā)展當(dāng)前，商務(wù)智能（BI）市場(chǎng)正處于一個(gè)重要的轉(zhuǎn)型期進(jìn)入二十一世紀(jì)，“應(yīng)用”成為關(guān)鍵詞之一，商務(wù)智能的深入應(yīng)用也成為業(yè)界關(guān)注的焦點(diǎn)2003年起，商務(wù)智能領(lǐng)域掀起并購(gòu)熱潮BI受市場(chǎng)關(guān)關(guān)注的原因如何利用大量量數(shù)據(jù)進(jìn)行決決策：ERP/SCM/CRM等產(chǎn)生大量地地?cái)?shù)據(jù)，刺激激了BI投資，其目的的應(yīng)用數(shù)據(jù)進(jìn)進(jìn)行決策績(jī)效管理成為為BI市場(chǎng)增長(zhǎng)重要要因素：績(jī)績(jī)效管理是驅(qū)驅(qū)動(dòng)商業(yè)智能能市場(chǎng)增長(zhǎng)的的重要因素之之一，絕大多多數(shù)公司希望望在該領(lǐng)域做做出成績(jī)?nèi)找鎳?yán)格的行行業(yè)規(guī)范要求求：例如薩班班斯-奧克斯利(Sarbanes-Oxley)法等法案的頒頒布，也推動(dòng)動(dòng)了BI工具的接受和和認(rèn)同商務(wù)智能的熱熱點(diǎn)應(yīng)用財(cái)務(wù)績(jī)效評(píng)估盈利分析預(yù)算風(fēng)險(xiǎn)控制欺詐識(shí)別市場(chǎng)客戶(hù)關(guān)系管理理市場(chǎng)促銷(xiāo)市場(chǎng)細(xì)分品牌管理客戶(hù)忠誠(chéng)度分分析客戶(hù)流失分析析產(chǎn)品及服務(wù)目目錄管理銷(xiāo)售銷(xiāo)售分析客戶(hù)管理銷(xiāo)售漏斗管理理需求預(yù)測(cè)關(guān)聯(lián)銷(xiāo)售分析析Web點(diǎn)擊流和銷(xiāo)售售分析運(yùn)營(yíng)供應(yīng)鏈優(yōu)化IT運(yùn)營(yíng)優(yōu)化分銷(xiāo)商評(píng)估質(zhì)量控制內(nèi)部管理流程程優(yōu)化BI國(guó)內(nèi)應(yīng)用l企業(yè)信息化整整體上處理基基礎(chǔ)建設(shè)階段段數(shù)據(jù)整合，規(guī)規(guī)劃基礎(chǔ)體系系架構(gòu)，實(shí)施施基礎(chǔ)應(yīng)用l多數(shù)企業(yè)BI應(yīng)用處于較低低的層次報(bào)表查詢(xún)+初步分析l金融、電信、、保險(xiǎn)等企業(yè)業(yè)起步早些BI應(yīng)用的大好時(shí)時(shí)期正在到來(lái)來(lái)BI主要用途途BI具有三方面的的主要用途：：對(duì)組織的財(cái)務(wù)務(wù)和運(yùn)營(yíng)健康康狀況進(jìn)行監(jiān)視。報(bào)告、分析工工具、關(guān)鍵性性能指標(biāo)（KPI）和儀表板規(guī)范組織的運(yùn)營(yíng)從數(shù)據(jù)中挖掘掘出新的信息息同運(yùn)營(yíng)系統(tǒng)、、信息反饋系系統(tǒng)的雙向集集成BI對(duì)現(xiàn)有有系統(tǒng)的整合合基于現(xiàn)有業(yè)務(wù)務(wù)系統(tǒng)和歷史史數(shù)據(jù)通過(guò)對(duì)數(shù)據(jù)的的充分運(yùn)用提提升現(xiàn)有系統(tǒng)統(tǒng)價(jià)值可以同時(shí)支持持多種不同的的數(shù)據(jù)庫(kù)平臺(tái)臺(tái)面向數(shù)據(jù)分析析而非過(guò)程跟跟蹤可以基于實(shí)時(shí)時(shí)數(shù)據(jù)也可以以基于非實(shí)時(shí)時(shí)數(shù)據(jù)商務(wù)智能系統(tǒng)統(tǒng)如何輔助決決策通過(guò)數(shù)據(jù)的整整合提供更加加全面的信息息通過(guò)預(yù)先計(jì)算算提供更快捷捷的速度通過(guò)OLAP技術(shù)可以非非常靈活的以以多種形式展展現(xiàn)數(shù)據(jù)，以以使管理者發(fā)發(fā)現(xiàn)問(wèn)題通過(guò)數(shù)據(jù)挖掘掘模型（以歷歷史數(shù)據(jù)為基基礎(chǔ)）預(yù)測(cè)商商務(wù)的未來(lái)走走勢(shì)，為管理理者提供決策策支持商務(wù)智能應(yīng)用用的范圍不局限于某一一個(gè)行業(yè)或局局限于具體的的業(yè)務(wù)面向的是數(shù)據(jù)據(jù)，不是過(guò)程程使用通用的分分析方法和模模型不局限于特定定的使用人Informationworker、KnowledgeWorker領(lǐng)導(dǎo)層和決策策層任何其他需要要使用數(shù)據(jù)和和報(bào)表的人受行業(yè)發(fā)展冷冷熱的影響不不大IT行業(yè)發(fā)展的時(shí)時(shí)候需要商務(wù)務(wù)智能IT行業(yè)冬天的時(shí)時(shí)候仍然需要要商務(wù)智能市場(chǎng)份額主要要由國(guó)際BI廠(chǎng)商占領(lǐng)為什么我們需需要商務(wù)智能能？我們們?cè)谠谖次磥?lái)來(lái)的的三三年年中中將將會(huì)會(huì)制制造造出出比比過(guò)過(guò)去去三三十十萬(wàn)萬(wàn)年年更更多多的的數(shù)數(shù)據(jù)據(jù)資資料料?。。。。。。蛹又葜荽蟠髮W(xué)學(xué)信信息息管管理理學(xué)學(xué)院院<<商業(yè)業(yè)周周刊刊>>統(tǒng)計(jì)計(jì),54%的人人認(rèn)認(rèn)為為很很難難找找到到他他們們想想得得到到的的信信息息.43%的人人認(rèn)認(rèn)為為不不知知道道這這些些內(nèi)內(nèi)部部的的信信息息是是否否正正確確.77%的人人認(rèn)認(rèn)為為由由于于信信息息的的缺缺乏乏,很多多決決定定是是不不正正確確的的.61%的人人認(rèn)認(rèn)為為50%的決決定定是是拍拍腦腦袋袋來(lái)來(lái)的的.為什什么么我我們們需需要要商商務(wù)務(wù)智智能能？？在過(guò)過(guò)去去的的幾幾十十年年里里，，各各種種機(jī)機(jī)構(gòu)構(gòu)已已經(jīng)經(jīng)花花費(fèi)費(fèi)了了大大量量的的財(cái)財(cái)力力和和資資源源去去構(gòu)構(gòu)建建聯(lián)聯(lián)機(jī)機(jī)事事務(wù)務(wù)處處理理系系統(tǒng)統(tǒng)(OLTP)和資資源源計(jì)計(jì)劃劃系系統(tǒng)統(tǒng)(ERP)等各各種種系系統(tǒng)統(tǒng).不斷斷累累計(jì)計(jì)的的信信息息和和存存儲(chǔ)儲(chǔ)在在數(shù)據(jù)據(jù)倉(cāng)倉(cāng)庫(kù)庫(kù)中的的數(shù)數(shù)據(jù)據(jù)達(dá)達(dá)到到了了令令人人驚驚訝訝的的規(guī)規(guī)模模。。當(dāng)這這些些系系統(tǒng)統(tǒng)極極大大地地改改善善了了信信息息的的自自動(dòng)動(dòng)處處理理能能力力時(shí)時(shí)，，也也造造就就了了很很多多““信信息息孤孤島島””(informationsilos)------大量量只只有有很很有有限限的的獲獲取取和和分分析析能能力力的的數(shù)數(shù)據(jù)據(jù)。。一一項(xiàng)項(xiàng)IBM的調(diào)調(diào)查查表表明明，，大大部部分分機(jī)機(jī)構(gòu)構(gòu)只只利利用用了了其其存存儲(chǔ)儲(chǔ)信信息息的的2%--4%。北京京市市管管委委IT狀況況應(yīng)急急事事件件處處理理數(shù)數(shù)據(jù)據(jù)基礎(chǔ)礎(chǔ)地地理理信信息息數(shù)數(shù)據(jù)據(jù)視頻頻監(jiān)監(jiān)控控?cái)?shù)數(shù)據(jù)據(jù)城管管通通平平臺(tái)臺(tái)數(shù)數(shù)據(jù)據(jù)井蓋蓋數(shù)數(shù)據(jù)據(jù)市政政設(shè)設(shè)施施數(shù)數(shù)據(jù)據(jù)環(huán)衛(wèi)衛(wèi)信信息息數(shù)數(shù)據(jù)據(jù)戶(hù)外外廣廣告告數(shù)數(shù)據(jù)據(jù)……視頻監(jiān)控?cái)?shù)據(jù)應(yīng)急事件處理數(shù)據(jù)基礎(chǔ)地理信息數(shù)據(jù)城管通平臺(tái)數(shù)據(jù)環(huán)衛(wèi)信息數(shù)據(jù)戶(hù)外廣告數(shù)據(jù)市政設(shè)施數(shù)據(jù)井蓋數(shù)據(jù)?為什什么么我我們們需需要要商商務(wù)務(wù)智智能能？？傳統(tǒng)統(tǒng)的的方方案案不不能能提提供供一一個(gè)個(gè)經(jīng)經(jīng)過(guò)過(guò)整整合合的的，，功功能能強(qiáng)強(qiáng)大大的的分分析析工工具具給給最最終終用用戶(hù)戶(hù)。。特特別別是是給給那那些些非非技技術(shù)術(shù)的的商商業(yè)業(yè)用用戶(hù)戶(hù)。。由由于于下下圖圖中中所所示示的的兩兩個(gè)個(gè)主主要要原原因因，，傳傳統(tǒng)統(tǒng)系系統(tǒng)統(tǒng)不不能能滿(mǎn)滿(mǎn)足足商商務(wù)務(wù)層層面面的的分分析析需需要要。。難以以獲獲得得的的信信息息未經(jīng)經(jīng)整整合合的的信信息息獲得得性性和和整整合合性性的的空空缺缺傳統(tǒng)統(tǒng)分分析析系系統(tǒng)統(tǒng)常常見(jiàn)見(jiàn)問(wèn)問(wèn)題題術(shù)語(yǔ)語(yǔ)介介紹紹數(shù)據(jù)據(jù)倉(cāng)倉(cāng)庫(kù)庫(kù)：：面面向向主主題題的的、、集集成成的的、、與與時(shí)時(shí)間間相相關(guān)關(guān)且且不不可可修修改改的的數(shù)數(shù)據(jù)據(jù)集集合合。。維度度：：維維度度是是分分析析中中描描述述性性的的分分類(lèi)類(lèi)，，通通過(guò)過(guò)它它可可以以將將度度量量值值分分離離出出來(lái)來(lái)進(jìn)進(jìn)行行分分析析度量量：：在在多多維維數(shù)數(shù)據(jù)據(jù)集集中中，，度度量量值值是是一一組組值值，，這這些些值值基基于于多多維維數(shù)數(shù)據(jù)據(jù)集集的的事事實(shí)實(shí)數(shù)數(shù)據(jù)據(jù)表表中中的的一一列列，，而而且且通通常常為為數(shù)數(shù)字字。。此此外外，，度度量量值值是是所所分分析析的的多多維維數(shù)數(shù)據(jù)據(jù)集集的的中中心心值值。。即即，，度度量量值值是是最最終終用用戶(hù)戶(hù)瀏瀏覽覽多多維維數(shù)數(shù)據(jù)據(jù)集集時(shí)時(shí)重重點(diǎn)點(diǎn)查查看看的的數(shù)數(shù)字字?jǐn)?shù)數(shù)據(jù)據(jù)。。您您所所選選擇擇的的度度量量值值取取決決于于最最終終用用戶(hù)戶(hù)所所請(qǐng)請(qǐng)求求的的信信息息類(lèi)類(lèi)型型。。一一些些常常見(jiàn)見(jiàn)的的度度量量值值有有salescost、和productioncount等術(shù)語(yǔ)介介紹粒度：：數(shù)數(shù)據(jù)匯匯總的的層次次或深深度。。聚合：：聚聚合是是預(yù)先先計(jì)算算好的的數(shù)據(jù)據(jù)匯總總，由由于在在問(wèn)題題提出出之前前已經(jīng)經(jīng)準(zhǔn)備備了答答案，，聚合合可以以改進(jìn)進(jìn)查詢(xún)?cè)冺憫?yīng)應(yīng)時(shí)間間。切片：：由由一個(gè)個(gè)維的的一個(gè)個(gè)成員員限定定的分分區(qū)數(shù)數(shù)據(jù)，，稱(chēng)為為一個(gè)個(gè)切片片。數(shù)據(jù)鉆鉆?。海鹤钭罱K用用戶(hù)從從常規(guī)規(guī)多維維數(shù)據(jù)據(jù)集、、虛擬擬多維維數(shù)據(jù)據(jù)集或或鏈接接多維維數(shù)據(jù)據(jù)集中中選擇擇單個(gè)個(gè)單元元，并并從該該單元元的源源數(shù)據(jù)據(jù)中檢檢索結(jié)結(jié)果集集以獲獲得更更詳細(xì)細(xì)的信信息，，這個(gè)個(gè)操作作過(guò)程程就是是數(shù)據(jù)據(jù)鉆取取。級(jí)別：：級(jí)級(jí)別是是維度度層次次結(jié)構(gòu)構(gòu)的一一個(gè)元元素。。級(jí)別別描述述了數(shù)數(shù)據(jù)的的層次次結(jié)構(gòu)構(gòu)，從從數(shù)據(jù)據(jù)的最最高（（匯總總程度度最大大）級(jí)級(jí)別直直到最最低（（最詳詳細(xì)））級(jí)別別。OLTP與與OLAP的的區(qū)別別OLTP（（On-LineTransactionProcessing））聯(lián)機(jī)機(jī)事務(wù)務(wù)處理理OLAP（（On-LineAnalysisProcessing））聯(lián)聯(lián)機(jī)分分析處處理OLTP與與OLAP的的區(qū)別別OLTP系統(tǒng)的的特征征處理實(shí)實(shí)時(shí)業(yè)業(yè)務(wù)包含了了為數(shù)數(shù)據(jù)錄錄入和和編輯輯進(jìn)行行優(yōu)化化的數(shù)數(shù)據(jù)結(jié)結(jié)構(gòu)提供有有限的的決策策支持持能力力OLTP系統(tǒng)的的例子子訂單系系統(tǒng)客戶(hù)服服務(wù)庫(kù)存管管理財(cái)務(wù)OLTP與與OLAP的的區(qū)別別OLTP原始數(shù)數(shù)據(jù)細(xì)節(jié)性性數(shù)據(jù)據(jù)當(dāng)前值值數(shù)據(jù)據(jù)可實(shí)時(shí)時(shí)更新新一次處處理的的數(shù)據(jù)據(jù)量小小面向應(yīng)應(yīng)用,事務(wù)驅(qū)驅(qū)動(dòng)業(yè)務(wù)操操作人人員支持日日常操操作簡(jiǎn)單的的事務(wù)務(wù)100MB-GBOLAP整理后后的數(shù)數(shù)據(jù)綜合性性和提提煉性性數(shù)據(jù)據(jù)歷史數(shù)數(shù)據(jù)周期性性刷新新更新新一次處處理大大量的的數(shù)據(jù)據(jù)面向主主題，，分析析驅(qū)動(dòng)動(dòng)決策人人員,高級(jí)管管理人人員分析決決策復(fù)雜的的查詢(xún)?cè)?00GB-TB數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)的的特征征為商業(yè)業(yè)分析析過(guò)程程展示示數(shù)據(jù)據(jù)提供一一致的的歷史史數(shù)據(jù)據(jù)存儲(chǔ)儲(chǔ)把數(shù)據(jù)據(jù)儲(chǔ)存存為抽抽取和和查詢(xún)?cè)兌鴥?yōu)優(yōu)化的的結(jié)構(gòu)構(gòu)整合異異構(gòu)的的數(shù)據(jù)據(jù)統(tǒng)一有有效的的數(shù)據(jù)據(jù)源把數(shù)據(jù)據(jù)整理理為穩(wěn)穩(wěn)定、、面向向主題題的結(jié)結(jié)構(gòu)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)系系統(tǒng)的的創(chuàng)建建數(shù)據(jù)倉(cāng)庫(kù)終端用戶(hù)原始業(yè)務(wù)數(shù)據(jù)數(shù)據(jù)集結(jié)區(qū)

數(shù)據(jù)的提取，轉(zhuǎn)換，加載（ETL）了解數(shù)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)終端用用戶(hù)數(shù)據(jù)集集市OLAP數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)維度表表維度是是分析析中描描述性性的分分類(lèi)，，通過(guò)過(guò)它可可以將將度量量值分分離出出來(lái)進(jìn)進(jìn)行分分析。。主鍵主鍵唯一性性關(guān)聯(lián)事事實(shí)表表與維維度表表兩個(gè)選選擇應(yīng)用主主鍵(appsuffix)：原業(yè)業(yè)務(wù)系系統(tǒng)的的主鍵鍵代理鍵鍵(keysuffix)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)系系統(tǒng)產(chǎn)產(chǎn)生的的數(shù)字字鍵product_id_appproduct_dim_key在維度度中分分不同同的層層次定義層層次結(jié)結(jié)構(gòu)的的好處處允許用用戶(hù)從從不同同的層層次展展示數(shù)數(shù)據(jù)在分析析中采采用不不同的的路徑徑進(jìn)行行鉆取取舉例：：日期期分分為，，年－－半年年－季季度－－月－－日期期星型模模型Employee_DimEmployeeKeyEmployeeID...Time_DimTimeKeyTheDate...Product_DimProductKeyProductID...Customer_DimCustomerKeyCustomerID...Shipper_DimShipperKeyShipperID...Sales_FactTimeKeyEmployeeKeyProductKeyCustomerKeyShipperKeySalesAmountUnitSales...雪花模模型在多維維表中中定義義層次次節(jié)省存存儲(chǔ)空空間存取效效率較較低事實(shí)表表的組組成維度表表customer_dim201ALFIAlfredsproduct_dim25123Chai事實(shí)表表customer_keyproduct_keytime_keyquantity_salesamount_sales外鍵20125134400