BI數(shù)據(jù)中心搭建經(jīng)過流程

1、數(shù)據(jù)中心搭建流程目錄一、前言 3二、總體架構(gòu) 4自頂向下搭建 5自底向上搭建 6三、數(shù)據(jù)中心搭建具體流程（架構(gòu)角度） 71、 數(shù)據(jù)源整合ETL 72、 ODS 或 DWH 搭建 83、 多維分析模型建立 84、 數(shù)據(jù)展現(xiàn)平臺搭建 95、 Protal 門戶的搭建 9四、數(shù)據(jù)中心搭建具體流程（項目角度） 101、 前期調(diào)研階段 102、 需求階段 113、 設(shè)計階段 114、 開發(fā)階段 115、 系統(tǒng)測試階段 126、 用戶測試階段 127、 上線階段 128、 結(jié)項階段 12五、分布搭建規(guī)劃 121、 一期任務(wù)和目標 132、 二期任務(wù)和目標 14、3、 三期任務(wù)和目標 15六、項目管理行動對

2、照表 161、啟動過程組 162、規(guī)劃過程組 173、執(zhí)行過程組 184、監(jiān)控過程組 205、收尾過程組 21一、前言數(shù)據(jù)中心的整體搭建主要涉及軟環(huán)境和硬件架構(gòu)設(shè)計兩方面，軟環(huán)境包含數(shù)據(jù)源、ETL過程、ODS DW即口前端展現(xiàn)等。硬件架構(gòu)為使用的服務(wù)器、交換機等硬件承載設(shè)備。為了有效的利用數(shù)據(jù)中心，需要在軟、硬兩方面都要關(guān)注，不能出現(xiàn)“短板現(xiàn)象”，使其中之一成為整個系統(tǒng)的瓶頸。硬件部分相對較為簡單，確定設(shè)備數(shù)量、型號和性能指標，進行Infra 設(shè)計，在系統(tǒng)開發(fā)完成之前到位，不可耽誤系統(tǒng)測試階段的進度。在此著重介紹軟環(huán)境部分。、總體架構(gòu)其中針對數(shù)據(jù)倉庫的設(shè)計會有兩在整個數(shù)據(jù)中心項目過程中，將會涉

3、及上圖中的各個環(huán)節(jié), 種情況：、自頂向下搭建企業(yè)級數(shù)據(jù)倉庫本地散據(jù)曖曲這種搭建方法，是將用戶目前所涉及的所有業(yè)務(wù)系統(tǒng)都統(tǒng)一的進行數(shù)據(jù)抽取并按照一定規(guī)則存放在數(shù)據(jù)倉庫中，搭建好這個整體的數(shù)據(jù)倉庫之后所有的數(shù)據(jù)利用通過此數(shù)據(jù)倉庫完成優(yōu)勢：數(shù)據(jù)倉庫一步成型，規(guī)劃思路明確，數(shù)據(jù)存放有條理，對日后業(yè)務(wù)的開展可進行快速響應(yīng)。劣勢：整合所有數(shù)據(jù)源耗時長、人力、物力、財力投入大，對于完成整體數(shù)據(jù)倉庫之后有利用不上的可能，造成資產(chǎn)浪費外部飩據(jù)小地敬泉4小抑H M敷也自底向上搭建操作型數(shù)據(jù)（全部）局部數(shù)據(jù)柒南局部數(shù)據(jù)集市EDB這種搭建方法，是針對業(yè)務(wù)分析主題而去逐步整合用戶數(shù)據(jù)源的過程，當企 業(yè)發(fā)展到某一階段需要

4、對某項業(yè)務(wù)主題進行分析時，可以通過此種方法整合所涉 及的數(shù)據(jù)源，已達成數(shù)據(jù)分析利用的目的。優(yōu)勢：有針對性的整合數(shù)據(jù)源，目標明確，能夠有效的避免資源浪費，縮小項目 范圍，大大提高項目成功率并能充分利用，縮短項目周期，效果立竿見影。劣勢：分布實施使得總體項目周期延長，當遇到突發(fā)業(yè)務(wù)變化時，局部整合的數(shù) 據(jù)源有可能不能支持業(yè)務(wù)的需要，應(yīng)變能力有所不足。三、數(shù)據(jù)中心搭建具體流程（架構(gòu)角度）對于數(shù)據(jù)中心的搭建流程，從架構(gòu)角度出發(fā)會涉及數(shù)據(jù)源整合ETL ODS或DWH搭建、多維分析模型建立、數(shù)據(jù)展現(xiàn)平臺搭建、Protal門戶的搭建。不論是選擇哪種方式進行數(shù)據(jù)中心搭建，都需遵從以下步驟。1、數(shù)據(jù)源整合 ET

5、L數(shù)捌整合寸JT 轉(zhuǎn)換日.質(zhì)晶H如故技術(shù)元數(shù)據(jù)對于現(xiàn)有業(yè)務(wù)數(shù)據(jù)源進行整合。有可能當前分析主題只涉及一個數(shù)據(jù)源，即 使如此也許進行ETLM程首先，搭建數(shù)據(jù)倉庫或數(shù)據(jù)集市不應(yīng)直接使用原有業(yè)務(wù)數(shù)據(jù)庫，這樣既不 高效也不安全，數(shù)據(jù)格式還不統(tǒng)一。其次，數(shù)據(jù)源的數(shù)據(jù)質(zhì)量不能保證，其中 有可能存在重復數(shù)據(jù)、臟數(shù)據(jù)等問題，在進行數(shù)據(jù)分析過程時，這些因素是必 須要去掉的。所以，進行數(shù)據(jù)源的整合步驟時，不論是涉及一個還是多個數(shù)據(jù)源，操作原 理是一樣的，此過程為必要過程2、ODS或DWH搭建ODS(Operational Data Store )操作型數(shù)據(jù)存儲，是一個面向主題的、集成的、可變的、當前的細節(jié)數(shù)據(jù)集合，

6、用于支持企業(yè)對于即時性的、操作性的、集成的全體信息的需求。DWHData warehouse)數(shù)據(jù)倉庫，是在企業(yè)管理和決策中面向主題的、集成的、 與時間相關(guān)的、不可修改的數(shù)據(jù)集合。搭建此層級的目的很明確，為分析主題提供數(shù)據(jù)支持。有了DWH£ ODS+DWH后，就可在此層級之上進行數(shù)據(jù)建模、展現(xiàn)等工作。3、多維分析模型建立作為商業(yè)智能領(lǐng)域的核心，多維建模可以說是非常重要的一個環(huán)節(jié)。在這個環(huán)節(jié)中的維度設(shè)計、指標劃分、度量等多方面的考慮，直接影響數(shù)據(jù)利用的效率 和可實現(xiàn)的功能結(jié)果。在建立多維模型前，需要與最終用戶進行需求分析，明確用戶想要的，并明 確能實現(xiàn)的是哪些。將需求工作做好，以免日后

7、項目功能不達標。4、數(shù)據(jù)展現(xiàn)平臺搭建協(xié)同展現(xiàn)平弁決簞工持赧務(wù)笈，卡Kpi_ELanf)ln4信息發(fā)布服與樂傅噠通 教櫥型疝工柞彼4HM鞅據(jù)展現(xiàn)展務(wù)展在這個展現(xiàn)平臺上包含了決策支持服務(wù)層、信息發(fā)布服務(wù)層、數(shù)據(jù)展現(xiàn)服務(wù) 層和聯(lián)機分析服務(wù)層等。對于商業(yè)智能的表現(xiàn)手段來說，可以是多種多樣的 通過儀表板、平衡記分卡、圖表、報表等多種手段進行展現(xiàn)； ? 使用上鉆、下鉆、鉆透等方式來輔助使用者利用數(shù)據(jù)信息;? 通過預設(shè)好的數(shù)據(jù)模型，用戶可以自主的進行自定義報表的制定，完成這一切只需要簡單的拖、拉、拽操作，便于使用5、Protal門戶的搭建作為整個數(shù)據(jù)利用的最后一層，擔負的責任最為重大，直接將界面呈現(xiàn)給最終用

8、戶，一般情況下會使用 B/S結(jié)構(gòu)，通過瀏覽器進行展現(xiàn)，如其中涉及了一些特殊 控件時，可能會通過瀏覽器調(diào)用一個本地應(yīng)用來支持完成。當然，通過Protal對用戶進行安全驗證和權(quán)限控制也是另外一個很重要的原 因，當不同的用戶登錄后，會驗證在不同的用戶組中，登錄之后展現(xiàn)的界面也是 有所差異的，這樣就使數(shù)據(jù)利用系統(tǒng)有一個統(tǒng)一的展現(xiàn)界面，關(guān)心不同問題的用 戶等夠有所劃分的看到不同展現(xiàn)。四、數(shù)據(jù)中心搭建具體流程（項目角度）前期調(diào)研階s需求圻 設(shè)計階 開發(fā)階系宗則用戶測 階結(jié)項階 段 '段 ,段）段）試階段 7潮網(wǎng) 二段 .段XJL合同簽訂后對于數(shù)據(jù)中心的搭建流程，從項目角度出發(fā)會涉及前期調(diào)研階段、需

9、求分析階 段、設(shè)計階段、開發(fā)階段、系統(tǒng)測試階段、用戶測試階段、上線階段、結(jié)項階1、前期調(diào)研階段在此階段中，需要大致明確用戶需求，對用戶環(huán)境進行調(diào)研，如讓用戶填寫 調(diào)查問卷等。如采用招標流程，需要仔細研究標書內(nèi)容，確定工作范圍，并能保 證功能滿足用戶需求。此段時間一般不超過2周工作日，細致的用戶調(diào)研會安排在需求分析階段。、2、 需求階段在簽訂項目合同之后，正式進入項目階段，需求分析階段主要是明確用戶的需求，將可實現(xiàn)與不可實現(xiàn)的列出，將需求分析落實在紙面上，并雙方確認達成共識，在確認之后發(fā)生的變化，統(tǒng)一劃分為需求變更處理。按照項目規(guī)定完成時間，此階段占用時間根據(jù)對用戶環(huán)境、系統(tǒng)和需求的了解程度而制

10、定，如對上述都不了解，則應(yīng)放寬需求階段時間，以確保項目最終能 夠達成用戶需求，減少不必要的項目變更。3、 設(shè)計階段在設(shè)階段會涉及模型設(shè)計、用戶界面設(shè)計、數(shù)據(jù)模型驗證和原型演示功能設(shè) 計等。? 模型設(shè)計中會包括元數(shù)據(jù)與 CUBE設(shè)計；? 用戶界面設(shè)計中包括Protal 部分設(shè)計、報表等其他功能設(shè)計；? Coding部分編寫；將設(shè)計總結(jié)為完整的設(shè)計報告，提交項目小組。此階段需要用戶進行配合，進行階段性成果物確認及設(shè)計方案確認。當出現(xiàn) 與用戶不一致時，及時進行討論，以免有所偏差。4、 開發(fā)階段開發(fā)階段將會按照前期的設(shè)計部分執(zhí)行，設(shè)計Protal 開發(fā)（主要為客戶化需求制定）、前端展現(xiàn)部分開發(fā)、CUB

11、ESB分開發(fā)和ETL部分開發(fā)。由于項目屬于BI項目，所以編寫代碼部分較少，在Protal部分及前端展現(xiàn)部分會涉及到一些.net 開發(fā)，其余屬于所見即所得式開發(fā)。在開發(fā)階段基本不需要用戶進行配合，每周進行項目周報進度提交即可。5、 系統(tǒng)測試階段進入系統(tǒng)測試階段后，開發(fā)部分已經(jīng)基本結(jié)束，由開發(fā)團隊進行系統(tǒng)測試。開發(fā)團隊中將安排專職負責系統(tǒng)測試人員，通過黑盒、白盒等模式進行測試，主要涉及功能實現(xiàn)、數(shù)據(jù)比對、性能測試、排查bug等工作，并提交完整的測試報告。此部分如無重大開發(fā)失誤，則耗時較短。6、 用戶測試階段經(jīng)過系統(tǒng)測試階段后，最終用戶可進行實際測試，查看否符合項目預期，此時在理論上應(yīng)不存在功能和設(shè)

12、計上的缺陷，主要是實際數(shù)據(jù)加載后的性能測試。7、 上線階段通過兩輪測試之后，系統(tǒng)正式進入上線階段，此時主要為收集實際用戶使用反饋情況，記錄系統(tǒng)正式上線后的性能等。對最終用戶進行系統(tǒng)操作培訓，提交相關(guān)使用文檔。8、 結(jié)項階段舉行項目慶祝會。提供完善的項目售后服務(wù)。總結(jié)項目得失，如有后期工程，開始進行準備后期項目。五、分布搭建規(guī)劃作為一個企業(yè)構(gòu)筑數(shù)據(jù)中心是一項龐大而復雜的項目，想一蹴而就能夠很快的呈現(xiàn)出一個完美的數(shù)據(jù)中心系統(tǒng)是不現(xiàn)實的，我們在這里為了能夠化繁為簡、逐步深入，將數(shù)據(jù)中心項目分成了三期工程來實現(xiàn)，這樣做的好處是能夠快速的體驗的數(shù)據(jù)中心的價值，將項目時間劃分為段落，縮短單個項目時間和范圍

13、，便 于項目的整體把控和開展。對于用戶能夠減少首次投入，減小項目風險，在項目的實施過程中不斷的完 善自己的想法，整理出一套適合自身企業(yè)的度量標準。1、一期任務(wù)和目標一期的主要任務(wù)如下圖：規(guī)劃分解一期平臺搭建期數(shù)據(jù)集成?關(guān)鍵業(yè)務(wù)系統(tǒng)導入數(shù)據(jù)整合?供應(yīng)、庫存、銷售統(tǒng)一視圖?一維度和指標體系KPI?基本指標建立信息協(xié)同統(tǒng)計報表?制式報表?常用報表?專用業(yè)務(wù)分析報表?綜合報表分析報告分析監(jiān)控?常用數(shù)據(jù)圖表工作流一期目標在于能夠搭建出一個企業(yè)數(shù)據(jù)中心的基礎(chǔ)平臺，將此平臺搭建好之 后，做到關(guān)鍵數(shù)據(jù)源整合，對目前企業(yè)最重要的痛點進行改造，有了完善、可 信、準確的數(shù)據(jù)之后就可將企業(yè)日常管理中最熟悉、最常用的管

14、理方法、手段，十 nt通過我們的數(shù)據(jù)中心展示出來，讓用戶開始對數(shù)據(jù)中心概念有所直觀了解逐步 深入挖掘數(shù)據(jù)中心的價值。2、二期任務(wù)和目標二期的主要任務(wù)如下圖:規(guī)劃分解數(shù)據(jù)集成數(shù)據(jù)整合KPI信息協(xié)同二期深入應(yīng)用期?其他系統(tǒng)導入?外部系統(tǒng)數(shù)據(jù)?其他公司經(jīng)營系統(tǒng)數(shù)據(jù)?供應(yīng)、物流、銷售、服務(wù)、庫存、財務(wù)統(tǒng)一視 圖?優(yōu)化完善維度和指標體系?建立局性KPI指標體系?部門間信息互通?信息訂閱分發(fā)統(tǒng)計報表分析報告?常用業(yè)務(wù)報表?專用業(yè)務(wù)分析報表?綜合分析報告分析監(jiān)控?供應(yīng)、物流、銷售、倉儲相關(guān)指標監(jiān)控儀表板工作流二期目標在于深入利用數(shù)據(jù)中心的強大功能，將企業(yè)中設(shè)計的多個數(shù)據(jù)源進 行導入，如果有外部數(shù)據(jù)也可一起導

15、入。當數(shù)據(jù)的來源越多，數(shù)據(jù)中心所能提供 能綜合分析能力越強，就像一臺可自我學習的機器一般，將企業(yè)的整體信息融匯、在一處。通過一期項目的摸索和使用后，對關(guān)鍵指標的建立、數(shù)據(jù)的展現(xiàn)方式、 綜合分析的能力等都會提出更高的要求，在二期項目中將會完善這些要求。3、三期任務(wù)和目標三期的主要任務(wù)如下圖:規(guī)劃分解三期普及提高期數(shù)據(jù)集成數(shù)據(jù)整合?相關(guān)外部數(shù)據(jù)?內(nèi)、外結(jié)合的綜合分析數(shù)據(jù)視圖KPI信息協(xié)同統(tǒng)計報表分析報告分析監(jiān)控 工作流?部門化KPI指標? KPI指標分解?建立分析模型?用戶自定義分析?自行報表發(fā)布?文檔交互?數(shù)據(jù)驅(qū)動分發(fā)? KPI驅(qū)動的報表?狀態(tài)分析類報告?預測、評估類報告?考核類分析報告?績效考

16、核?指標監(jiān)控?預警、提示?業(yè)務(wù)協(xié)同驅(qū)動的工作流?監(jiān)控預警數(shù)據(jù)驅(qū)動的工作流三期作為項目劃分的最后一個階段，當然也許還會有后期項目，因為數(shù)據(jù)中心的搭建本身就是一個不斷完善的過程。而這里的第三期項目主要就是進行分 析、利用、綜合的加強改造，通過前兩期的設(shè)計和使用，用戶已經(jīng)對數(shù)據(jù)中心和 BI理念有了充足的認識，不論是數(shù)據(jù)整合層面還是指標建立或是展現(xiàn)方式等等， 都有了更加深入的理解和自身的感悟。在三期項目中目標就是要將這個數(shù)據(jù)中心 能夠更加適應(yīng)企業(yè)的特點、更加全面的服務(wù)企業(yè)，使其能夠成為企業(yè)管理中不可 或缺的一部分。六、項目管理行動對照表1、啟動過程組啟動過程組核對表行動1從通過可行性研究的候選項目中選

17、擇一個項目23選擇項目經(jīng)理授權(quán)給項目經(jīng)理4收集歷史信息56把大項目劃分成幾個階段確定高層次干系人，識別他們的影響，以及對風險的承受力7把干系人的需求和期望轉(zhuǎn)換成項目的要求89保證商業(yè)需求已經(jīng)記錄記錄假設(shè)10記錄限制條件11保證最終的產(chǎn)品范圍是可實施的12理解項目如何與組織的戰(zhàn)略目標相適應(yīng)13決定項目目標和產(chǎn)品目標14使解決沖突目標的方法實施起來更加方便15熟悉與項目相關(guān)的公司文化和結(jié)構(gòu)1617找到現(xiàn)有的流程和標準理解公司如何開展業(yè)務(wù)及適用于項目的公司已有的程序和政策18使用項目規(guī)劃過程組做高層次計劃1920完成關(guān)于項目進度和預算重要估算的順序 決定項目章程的形式，以及原因21和干系人及客戶協(xié)調(diào)

18、項目的啟動事宜22和客戶一起決定可交付成果的標準及項目的范圍23決定最初的項目組織2425記錄已知的所有風險決定所后需要的里程碑26決定范圍如何控制2728最終確定項目章程得到項目章程的正式批準2、規(guī)劃過程組規(guī)劃過程組核對表行動1決定如何計劃范圍、時間、成本、風險、質(zhì)量、過程改進和米購，以及 將這些計劃放在各個知識領(lǐng)域管理計劃的開始2完善來自項目啟動的要求，使它們更加具體3創(chuàng)建一個關(guān)于項目可交付成果的描述，這項工作要求完成項目范圍說明 書4在進一步的計劃完成前利用項目范圍說明書從干系人那里得到關(guān)于最終 范圍的批準5確定項目團隊6建立WBS7在WBS司典里創(chuàng)建關(guān)于每個工作包的描述，使得被分派做這

19、項任務(wù)的新 手也能夠明白8如果必要的話把工作包劃分為活動910排列活動，確定先行和后續(xù)的活動 佶計資源需求11和職能經(jīng)理會面狄得資源使用權(quán)1213決定估計的準確程度保證人員在估計的時間和成本內(nèi)工作14確定如果不壓縮工期的話項目多久能夠完成1516編制進度模型編制預算17確定質(zhì)量標準及考核質(zhì)量的績效標準18確定隨后需要哪些程序以減少監(jiān)管的工作，改進質(zhì)量和使用標準19明確確定所有項目成員的角色和責任，確保干系人知道這些人的職責， 以及他們需要做哪些工作20確定需要從其他項目那里得到的信息，以及能給其他項目什么信息、21和所有干系人一起工作并理解他們的溝通要求2223完成風險識別、定性和定量分析，以

20、及風險應(yīng)對計劃 對項目管理計劃進行滾動更新24確定采購對象2526準備采購文件注意其他項目可能積極或者消極影響本項目的地方，以及本項目對其他 項目的影響27最后確定如何執(zhí)行和控制所有管理計劃28計劃考核項目績效的方法，使用的標準，什么時候用及如何使用2930確定為了保證項目績效和項目計劃一致需要的控制手段包括會議、報告 及其他活動確定改進過程的計劃3132制定最終的項目管理計劃，通過進度網(wǎng)絡(luò)圖和項目能夠達到的目標的績 效測量標準從出資人、團隊和職能經(jīng)理那里得到正式的批準33和所有干系人、團隊成員、團隊成員的職能經(jīng)理、客戶一起舉行啟動大 會，保證所有目標和利益的一致性3、執(zhí)行過程組1執(zhí)行過程組核

21、對表行動確定并管理所有干系人的期望2保證對工作的理解一致3實施最初的項目管理計劃或者經(jīng)過控制修改后的項目管理計劃4完成工作包5收集并記錄經(jīng)驗教訓6建立并管理共同渠道7評價項目團隊作升-個整體的有效性8實施批準的變更、糾止行動、預防措施和缺陷補救9實施質(zhì)量保證程序1011產(chǎn)生項目報告舉辦團隊建設(shè)活動12在團隊會議上遵循程序13為團隊成員爭取必要的培訓14發(fā)布信息15清除障礙1617實現(xiàn)滿足需求的工作結(jié)果與職能經(jīng)理會面確認資源的承諾18當項目需要資源時，保證職能經(jīng)理被通知到192021讓資源與項目管理計劃的安排協(xié)致管理項目過程引導、輔助、溝通、領(lǐng)導、協(xié)商、幫助、指導以推進項目計劃 的執(zhí)行22在項目

22、執(zhí)行中運用技術(shù)知識23在完成工作包需要使用工作授權(quán)系統(tǒng)時授予權(quán)利24舉辦進度會議2526收發(fā)信息聚焦于事前預防而不是事后處理27確保所有的成員具備完成工作所需的技能、信息和設(shè)備28聚焦于管理批準的項目管理計劃的期望，而不是檢查每個成員 的工作29推薦變更及糾正措施并整合在變更管理中3031遵循組織的政策、過程和程序增加程序的有效性32推薦活動以增加組織績效完成的效率3334確定項目活動是否遵從過程、政策和程序 確保對項目管理計劃的一致認同35保持每個人都聚焦于項目章程、要求或者產(chǎn)品范圍，商業(yè)情況 和項目管理計劃3637當嚴重問題出現(xiàn)時重新評估項目的商業(yè)情況 解決問題38實施在規(guī)劃過程組制定的識別和獎勵系統(tǒng)39確定原來在規(guī)劃過程組列入的而在執(zhí)行過程組中沒有用到的項 目成員4041實施品準的改進過程實施在規(guī)劃時制定的計劃或者要求的工作范圍42要求供應(yīng)商對米購文件做出回應(yīng)43重新審視投標報價并選擇供應(yīng)商44花費并監(jiān)控項目資金4、監(jiān)控過程組監(jiān)控過程組核對表行動1依據(jù)管理計劃測量項目績效2依據(jù)績效測量基準測量績效3確定差異并確定推薦的糾正行為或者變更是否止當45確定什么差異是重要的，并不斷訓練這種判斷力 推薦變更、缺陷補救、預防和糾正性行動6在整合變更控制中批準變更、缺陷補救、預防和糾正性措施7使用沖突解決技術(shù)使得解決沖突更加便利8創(chuàng)建預測9管理配置10控制范圍