2電子商務(wù)BI中的基礎(chǔ)思考ppt課件

1、電子商務(wù)BI的基礎(chǔ)思考Bobby Luo 羅如意(18907295660189）2019年7月weibo/cquptvlryBobby的Senior BIer之路之二對于BI認識的兩個誤區(qū)BI是一個完整的體系架構(gòu)規(guī)劃的實例如何分階段實施關(guān)于數(shù)據(jù)質(zhì)量的思考BI到底是什么？BI已經(jīng)是現(xiàn)在很流行的概念了從數(shù)據(jù)獲取信息，產(chǎn)生價值）。但到底什么是BI？應(yīng)該怎么樣實施？誤區(qū)一：BI就是報表和取數(shù)1、在生產(chǎn)系統(tǒng)之外，建立單獨的報表庫及報表系統(tǒng)，需要時就開發(fā)一些特定的報表，或者手工提取數(shù)據(jù)，再做一些簡單分析。2、一般的需求由業(yè)務(wù)部門如市場部、產(chǎn)品部發(fā)起，BI部門淪為簡單的數(shù)據(jù)提供部門。帶來問題：業(yè)務(wù)部門一般都

2、是從自己部門角度考慮，同時缺乏對其他部門數(shù)據(jù)和BI技術(shù)的了解，分析一般比較狹窄。而BI部門疲于應(yīng)付各種取數(shù)和開發(fā)需求，缺乏對高級BI應(yīng)用的開發(fā)和對整個企業(yè)BI分析的規(guī)劃。誤區(qū)二：數(shù)據(jù)挖掘等高級應(yīng)用才是BI1、很多人尤其是領(lǐng)導(dǎo)者一般很容易被現(xiàn)在流行的BI概念所影響，認為只有數(shù)據(jù)挖掘、精準(zhǔn)營銷這些相對高級一點的應(yīng)用才是BI。2、從而很關(guān)心每月做了多少個挖掘或分析，而不愿意做一些基礎(chǔ)性的數(shù)據(jù)整合、模型規(guī)劃等工作。帶來問題：應(yīng)用很多，但都是淺嘗則止，沒有真正地給企業(yè)帶來多大實際價值。同時應(yīng)用開發(fā)的效率低下，很多數(shù)據(jù)每個人重復(fù)地計算來計算去，結(jié)果卻各不一致。數(shù)據(jù)質(zhì)量問題也影響了分析和挖掘的結(jié)果及應(yīng)用價值

3、。對于BI認識的兩個誤區(qū)BI是一個完整的體系架構(gòu)規(guī)劃的實例如何分階段實施關(guān)于數(shù)據(jù)質(zhì)量的思考BI是一個完整的體系數(shù)據(jù)源業(yè)務(wù)用戶ETL數(shù)據(jù)集市抽取轉(zhuǎn)換清洗加載CUSTOMERCUSTOMER NUMBERCUSTOMER NAMECUSTOMER CITYCUSTOMER POSTCUSTOMER STCUSTOMER ADDRCUSTOMER PHONECUSTOMER FAXORDERORDER NUMBERORDER DATESTATUSORDER ITEM BACKORDEREDQUANTITYITEMITEM NUMBERQUANTITYDESCRIPTIONORDER ITEM SHI

4、PPEDQUANTITYSHIP DATE查詢報表OLAP數(shù)據(jù)挖掘數(shù)據(jù)倉庫信息訪問網(wǎng)絡(luò)管理 數(shù)據(jù)庫管理 系統(tǒng)管理元數(shù)據(jù) 邏輯數(shù)據(jù)模型 物理數(shù)據(jù)模型業(yè)務(wù)和技術(shù)咨詢與培訓(xùn)服務(wù)中間件/EAI可選項整合的數(shù)據(jù)基礎(chǔ)良好的層次體系長遠的應(yīng)用規(guī)劃恰當(dāng)?shù)淖罱K展現(xiàn)+一、要有整合的數(shù)據(jù)基礎(chǔ)二、要有良好的體系規(guī)劃及運維機制三、要結(jié)合業(yè)務(wù)需求做好應(yīng)用規(guī)劃四、需求出發(fā)、各盡其用對于BI認識的兩個誤區(qū)BI是一個完整的體系架構(gòu)規(guī)劃的實例如何分階段實施關(guān)于數(shù)據(jù)質(zhì)量的思考公司的現(xiàn)狀需要考慮的幾個關(guān)鍵問題1/3)1、是否需要將Oracle數(shù)據(jù)和應(yīng)用全部遷移到Teradata？ 否。 Teradata是單節(jié)點，如果全部遷移到Ter

5、adata，隨著數(shù)據(jù)和應(yīng)用增加遲早也會遇到性能和存儲瓶頸；而且現(xiàn)在ORACLE已經(jīng)有大量的腳本和報表，如果全部遷移的話，需要花費大量精力，數(shù)據(jù)核對也很復(fù)雜。2、哪是否形成兩套獨立的系統(tǒng)？老的保留，新的應(yīng)用全部基于TD。 否。 這樣仍存在Teradata瓶頸問題。同時需要維護兩套不同的ETL系統(tǒng)，工作量增加，兩套系統(tǒng)間的數(shù)據(jù)一致性也會存在很大問題。 因此最好的方法是充分利用現(xiàn)有Oracle的ETL和匯總數(shù)據(jù)，形成Oracle和Teradata整合的體系架構(gòu)。 Teradata和Oracle結(jié)合的EDW體系Oracle生產(chǎn)庫/備庫報表系統(tǒng)TeradataHadoop分析與挖掘輕度匯總表明細數(shù)據(jù)整合

6、數(shù)據(jù)應(yīng)用層模型明細數(shù)據(jù)輕度匯總1、Oracle作為Teradata的主要數(shù)據(jù)來源，負責(zé)對原始數(shù)據(jù)進行清洗整合，并生成輕度匯總表。之后將清洗整合后的數(shù)據(jù)送給TD做匯總處理。2、報表分為兩類，明細報表主要從Oracle產(chǎn)生，匯總報表則來源于TD數(shù)據(jù)倉庫。好處：1、綜合利用Oracle的OLTP處理優(yōu)勢和TD的OLAP優(yōu)勢，分散處理，避免單一系統(tǒng)瓶頸。2、可保證數(shù)據(jù)的一致性。3、用Automation統(tǒng)一維護和監(jiān)控ETL過程。4、最大限度保留已有的腳本和程序，保護投資，減少重復(fù)工作量。明細報表匯總報表* 參考了電信IT體系中的ODS系統(tǒng)需要考慮的幾個關(guān)鍵問題(2/2)3、怎樣保證基礎(chǔ)建設(shè)和應(yīng)用開發(fā)的

7、平衡？ 分階段實施，以應(yīng)用觸發(fā)，在開發(fā)的過程中逐步將數(shù)據(jù)倉庫架構(gòu)、模型體系、ETL開發(fā)和維護流程、MSTR開發(fā)流程等框架搭建起來，后續(xù)再通過新應(yīng)用將數(shù)據(jù)不斷完善起來。即不專門花時間做基礎(chǔ)建設(shè)，而是在應(yīng)用開發(fā)過程中將基礎(chǔ)建設(shè)工作同步完成。 對于模型，想法是先將所有數(shù)據(jù)抽取到STG層，后續(xù)在根據(jù)需求逐步分主題設(shè)計實體模型和匯總表等。需要考慮的幾個關(guān)鍵問題(2/2)4、模型該怎樣設(shè)計？STG抽取的原始數(shù)據(jù)ODS/STG清洗整合DW面向應(yīng)用的模型TMP存放臨時數(shù)據(jù)VIEW供訪問的視圖庫1、分層次的模型體系便于管理和維護。2、對原始數(shù)據(jù)進行清洗和整合。3、分主題建模型。4、DW層采用維度建模。5、對于維

8、表設(shè)計，考慮同時使用當(dāng)前表和歷史拉鏈表的形式。大部分情況下直接使用當(dāng)前表即可，少數(shù)情況下需要進行歷史分析時使用拉鏈表。對于BI認識的兩個誤區(qū)BI是一個完整的體系架構(gòu)規(guī)劃的實例如何分階段實施關(guān)于數(shù)據(jù)質(zhì)量的思考在原來基礎(chǔ)上1個多月完成體系框架搭建共同討論完成體系架構(gòu)的規(guī)劃完成模型體系和產(chǎn)品、銷售主體模型設(shè)計ETL流程、開發(fā)和維護機制的建立MSTR開發(fā)出第一個可用的報表和DASHBOARD基礎(chǔ)框架和流程已確定團隊成員慢慢熟悉流程可以開發(fā)更多地應(yīng)用了8.31近幾周分別關(guān)注的重點完成ETL流程的整理和調(diào)試7.25-7.29產(chǎn)品模型設(shè)計及新品動銷的MSTR報表財務(wù)DASHBOARD的重新設(shè)計及上線8.1-

9、8.58.8-8.12其他報表的遷移8.15-8.31每個階段重點關(guān)注某一方面的事情。Teradata服務(wù)器能否到位的影響Automation安裝抽數(shù)測試定時任務(wù)測試作業(yè)配置模型上線腳本核查數(shù)據(jù)核查報表開發(fā)測試上線模型上線腳本及數(shù)據(jù)核查界面美化調(diào)整報表開發(fā)測試上線對于BI認識的兩個誤區(qū)BI是一個完整的體系架構(gòu)規(guī)劃的實例如何分分階段實施關(guān)于數(shù)據(jù)質(zhì)量的思考數(shù)據(jù)質(zhì)量對于分析的意義這一部分算湊數(shù)的吧?？吹揭粋€微博說做分析時不要太糾結(jié)于數(shù)據(jù)質(zhì)量，從某種意義上來講是有道理的，一些小的數(shù)據(jù)問題不影響大的趨勢，以及分析結(jié)論。但個人認為做BI還是要把數(shù)據(jù)整合、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量這些基礎(chǔ)工作做好。如前所述BI是涉

10、及從報表、KPI到分析、挖掘的完整體系，數(shù)據(jù)問題必然影響大家對數(shù)據(jù)倉庫使用的信心，乃至整個決策的正確性。同時在大趨勢分析時小的數(shù)據(jù)質(zhì)量問題是不影響分析結(jié)論，但細致分析時可能就是某個小問題恰好能反映背后的故事。所以作為整個企業(yè)的BI來講，還是從一開始就把數(shù)據(jù)質(zhì)量考慮好，否則真就是那句話“rubbish in，rubbish out了。不要過度將BI神化好像現(xiàn)在大家都在說BI，也很關(guān)注BI了。甚至跟數(shù)據(jù)沒啥關(guān)系的也都扯上BI分析，其實完全沒必要。我一直認為BI的理念是好的，讓大家認識到數(shù)據(jù)的價值，遵循數(shù)據(jù)說話、科學(xué)決策的思想。但要說通過BI一下子讓企業(yè)競爭力提升，超越競爭對手是不可能；只能是逐步實施BI的過程提升大家決策的科學(xué)性，同時改進生產(chǎn)環(huán)節(jié)的細節(jié)問題，增強管理的規(guī)范程度。只能錦上添花，不能雪中送炭。而且真正要把BI做好也是不容易的，既要考慮做好基礎(chǔ)性工作，又要考慮業(yè)務(wù)的需求，還需要進行長遠地規(guī)劃，最重要的是能夠使B